미국 매사추세츠 공대(MIT), 스탠퍼드대, Adobe Systems의 연구자로 구성된 그룹은 13일(미국 시간) 클라우드를 활용하는 것으로 스마트폰 영상 가공 처리를 극적으로 가볍게 만드는 기술을 SIGGRAPH ASIA에서 발표했다.

Instagram으로 대표되는 스마트폰 영상 가공 처리는 작금의 카메라의 고화질화와 함께 상당한 CPU 처리 능력을 필요로 하여 배터리 구동 시간이 짧아지는 한편 화상을 클라우드 서버에 업로드하여 클라우드에서 처리하면 스마트폰의 처리는 필요없지만 전송에 시간이 걸리고 원활한 조작이 어렵다.

 

여기서 연구 그룹은 극도로 압축한 화상을 클라우드에 송신, 클라우드에서 계산하고 최종 처리를 스마트폰에서 진행하는 방법을 고안했다. 순서는 다음과 같다.

우선 스마트폰에 본래의 비디오 크기의 1.5% 정도로 JPEG 압축을 걸어 서버에 송신한다. 화상을 받으면 서버에서는 그것에 고해상도의 노이즈를 적용한다. 이 노이즈는 그냥 여러 점에 불과하지만 원래는 1화소에 압축된 것으로 복수의 화소에 걸친 단색의 구역 부분이 그 이하의 크기로 세분화된다. 즉, 노이즈에 의한 압축 영상을 일단 가상적으로 고화질화한다.

 

계속해서 서버는 이 화상에 대해 콘트라스트와 컬러 스펙트럼 조정, 엣지의 샤프화 등, 유저가 적용하고 싶은 처리를 실시한다. 그 후 그 화상을 예를 들면 64×64 픽셀의 덩어리로 분할한다. 각각의 덩어리에 대해 기계 학습으로 얻어진 알고리즘을 사용하여 몇가지 기본적인 파라메타에 기초하여 미세 조정 효과에 특성을 얻는다. 사용하는 파라미터는 그 덩어리의 밝기의 정도를 나타내는 것이지만 25 파라미터를 쓰는 경우가 가장 효과적이라고 한다.

이에 의해 세로 64픽셀의 덩어리에서 각각의 화소는 3개중 1개의 값을 취득하고 서버는 25의 파라미터의 값을 스마트폰에 답신한다.

최종적으로 스마트폰에서는 이 25개의 값에 의해서 나타난 수정을 원래의 화상에 적용한다. 이렇게 수정된 화상은 육안 차원에서 원래 화상에 직접 가공한 경우와 손색 없는 수정이 실현 된다고 한다. 또 전술한 대로 서버-스마트폰 사이의 데이터 전송량은 1.5%로 묶였고 서버의 에너지 소비량은 50~85%, 처리 시간은 50~75% 줄일 수 있다고 한다.

연구진은 이 기술은 사진에서 쓸데없는 것을 없애고 그곳을 배경으로 메우는 같은 처리에서는 효과가 희박하지만 향후 영상 처리 알고리즘이 보다 고도화되면 중요한 부문이 될 것이라고 밝혔다.

출처 - http://pc.watch.impress.co.jp/docs/news/20151116_730792.html