KR102092846B1 - 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법 - Google Patents

3차원 영상 줌을 수행하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102092846B1
KR102092846B1 KR1020130024936A KR20130024936A KR102092846B1 KR 102092846 B1 KR102092846 B1 KR 102092846B1 KR 1020130024936 A KR1020130024936 A KR 1020130024936A KR 20130024936 A KR20130024936 A KR 20130024936A KR 102092846 B1 KR102092846 B1 KR 102092846B1
Authority
KR
South Korea
Prior art keywords
zoom
mode
area
depth information
image
Prior art date
Application number
KR1020130024936A
Other languages
English (en)
Other versions
KR20140110499A (ko
Inventor
정승원
최욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130024936A priority Critical patent/KR102092846B1/ko
Priority to US13/974,677 priority patent/US9396590B2/en
Publication of KR20140110499A publication Critical patent/KR20140110499A/ko
Application granted granted Critical
Publication of KR102092846B1 publication Critical patent/KR102092846B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

3차원 영상에서 일부 영역에 줌을 수행하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택하는 모드 선택부; 및 상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터와 선택한 줌 모드를 이용하여 상기 줌 영역을 스케일링하는 스케일링부를 포함할 수 있다.

Description

3차원 영상 줌을 수행하는 영상 처리 장치 및 방법{IMAGE PROCESS APPARATUS AND METHOD FOR PROCESSING THREE-DIMENSIONAL IMAGE ZOOM}
이하의 일실시예들은 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법에 관한 것으로 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 하나를 이용하여 컬러 영상과 깊이 영상의 줌 영역을 스케일링하는 장치 및 방법에 관한 것이다.
줌(Zoom)은 영상 전체, 또는 영상의 일부 영역을 확대 또는 축소함으로써, 사용자에게 영상에 포함된 오브젝트들이 접근하거나 멀어지는 느낌을 제공하는 기술이다. 따라서, 줌은 카메라로 원거리 영상을 촬영하거나, 비디오에서 특수한 효과를 주기 위하여 활용되고 있다.
최근 3차원 영상의 취득 및 재생 기술이 발전함에 따라 3차원 영상의 줌 기술이 3D 카메라와 3D 디스플레이 장치의 필수 요소 기술이 될 수 있다.
그러나, 3차원 영상은 2차원 영상과 달리 깊이 정보가 있으므로, 종래의 줌과 같이 영상 전체, 또는 영상의 일부 영역을 확대 또는 축소하는 것만으로는 영상에 포함된 오브젝트들이 접근하거나 멀어지는 느낌을 제공할 수 없다.
따라서, 3차원 영상에서 영상에 포함된 오브젝트들이 접근하거나 멀어지는 느낌을 제공할 수 있는 줌 기술이 요구된다.
일실시예에 따른 영상 처리 장치는 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택하는 모드 선택부; 및 상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터와 선택한 줌 모드를 이용하여 상기 줌 영역을 스케일링하는 스케일링부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치의 스케일링부는 중간 차원 줌 모드가 선택된 경우, 줌 팩터에 기초하여 줌 영역의 깊이 정보를 스케일링할 수 있다.
일실시예에 따른 영상 처리 장치의 스케일링부는 줌 팩터를 이용하여 줌 영역을 확대하는 경우, 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링할 수 있다.
일실시예에 따른 영상 처리 장치의 모드 선택부는 중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 중간 차원 줌 모드를 선택할 수 있다.
일실시예에 따른 영상 처리 장치의 스케일링부는 3D 줌 모드가 선택된 경우, 줌 팩터를 이용하여 줌 영역의 깊이 정보를 시프트(shift)할 수 있다.
일실시예에 따른 영상 처리 장치의 스케일링부는 줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성할 수 있다.
일실시예에 따른 영상 처리 장치의 모드 선택부는 중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값을 초과하는 경우, 3D 줌 모드를 선택할 수 있다.
일실시예에 따른 영상 처리 장치의 스케일링부는 2D 줌 모드가 선택된 경우, 줌 팩터에 비례하여 줌 영역의 크기를 스케일링할 수 있다.
일실시예에 따른 영상 처리 장치의 모드 선택부는 중간 차원 줌 모드, 또는 3D 줌 모드로 스케일링될 줌 영역의 깊이 정보가 사용자가 입체 영상을 감지할 수 있는 깊이 구간에 포함되는지 여부를 판단하고, 포함되지 않는 경우, 2D 줌 모드를 선택할 수 있다.
일실시예에 따른 영상 처리 장치의 모드 선택부는 줌 영역이 컬러 영상의 부가 정보, 또는 깊이 정보가 없는 정보를 포함하는 경우, 2D 줌 모드를 선택할 수 있다.
일실시예에 따른 영상 처리 장치는 3차원 영상에서 사용자가 선택한 영역에 기초하여 컬러 영상의 줌 영역과 깊이 영상의 줌 영역을 설정하는 줌 영역 설정부; 및 줌 영역의 컬러 정보, 및 깊이 정보 분석 결과, 또는 사용자로부터 수신한 정보 중 적어도 하나에 따라 줌 팩터를 설정하는 줌 팩터 설정부를 더 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정하는 줌 영역 설정부; 및 상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터에 따라 상기 줌 영역의 깊이 정보를 스케일링하는 스케일링부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정하는 줌 영역 설정부; 및 줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성하는 스케일링부를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택하는 단계; 및 상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터와 선택한 줌 모드를 이용하여 상기 줌 영역을 스케일링하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정하는 단계; 및 상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터에 따라 상기 줌 영역의 깊이 정보를 스케일링하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정하는 줌 영역 설정부; 및 줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성하는 스케일링하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 컬러 영상과 깊이 영상의 변화를 도시한 도면이다.
도 3은 일실시예에 따른 2D 줌 모드의 동작을 도시한 도면이다.
도 4는 일실시예에 따른 중간 차원 줌 모드의 동작을 도시한 도면이다.
도 5는 일실시예에 따른 3D 줌 모드의 동작을 도시한 도면이다.
도 6는 일실시예에 따라 줌 모드를 변화하는 동작을 도시한 도면이다.
도 7은 일실시예에서 사용자의 시선에 따라 3차원 영상에 줌을 수행하는 도면이다.
도 8은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
도 9는 일실시예에 따른 줌 모드 선택 방법을 도시한 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 1을 참고하면, 영상 처리 장치(100)는 줌 영역 설정부(110), 줌 팩터 설정부(120), 모드 선택부(130), 및 스케일링부(140)를 포함할 수 있다.
줌 영역 설정부(110)는 3차원 영상에서 사용자가 선택한 영역에 기초하여 컬러 영상과 깊이 영상에서 3차원 영상 줌을 수행할 줌 영역을 설정할 수 있다. 구체적으로, 줌 영역 설정부(110)는 컬러 영상과 깊이 영상에서 사용자가 선택한 영역에 대응하는 영역을 식별하고, 식별한 영역을 줌 영역으로 설정할 수 있다.
이때, 사용자는 마우스, 터치, 리모트 컨트롤과 같은 제어 수단을 이용하여 3차원 영상에서 영역을 선택할 수 있다. 또한, 줌 영역 설정부(110)는 사용자의 시선, 또는 ROI(region of interest)를 이용하여 사용자가 선택한 영역을 인식할 수도 있다.
구체적으로, 줌 영역 설정부(110)는 사용자를 향한 카메라를 이용하여 사용자의 시선을 인식할 수 있다. 그리고, 줌 영역 설정부(110)는 인식한 시선을 이용하여 사용자가 주시하고 있는 영역을 식별할 수 있다. 이때, 줌 영역 설정부(110)는 사용자가 주시하고 있는 영역을 사용자가 선택한 영역으로 판단하여 줌 영역으로 설정할 수 있다.
그리고, 줌 영역 설정부(110)는 3차원 영상에서 ROI에 포함된 영역을 식별하고, ROI에 포함된 영역을 사용자가 선택한 영역으로 판단하여 줌 영역으로 설정할 수 있다.
줌 팩터 설정부(120)는 사용자로부터 입력 받은 정보에 따라 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터를 설정할 수 있다. 또한, 줌 팩터 설정부(120)는 줌 영역 설정부(110)가 설정한 줌 영역의 컬러 정보, 및 깊이 정보를 분석하고, 분석 결과에 따라 줌 팩터를 설정할 수도 있다.
이때, 줌 팩터 설정부(120)가 사용자로부터 입력 받은 정보는 줌 영역을 확대할 것인가 아니면, 축소할 것인가에 대한 정보, 및 확대 비율 또는 축소 비율을 포함할 수 있다. 또한, 사용자는 마우스, 터치, 리모트 컨트롤과 같은 제어 수단을 이용하여 줌 팩터 설정부(120)에 정보를 입력할 수 있다
그리고, 줌 팩터 설정부(120)는 줌 영역의 컬러 정보, 및 깊이 정보에 따라 줌 영역에서 설정 가능한 확대 비율이나 축소 비율의 범위를 결정할 수도 있다. 예를 들어, 저해상도 컬러 영상을 높은 비율로 확대할 경우, 줌 영역에서 컬러 영상에 왜곡이 발생할 수 있다. 따라서, 줌 팩터 설정부(120)는 확대에 의하여 줌 영역에 왜곡이 발생하지 않는 범위로 줌 팩터의 확대 비율을 제한할 수 있다.
모드 선택부(130)는 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택할 수 있다.
이때, 2D 줌 모드는 컬러 영상과 깊이 영상에서 줌 영역의 크기를 스케일링하는 줌 모드이고, 3D 줌 모드 및 중간 차원 줌 모드는 줌 영역의 깊이 정보를 스케일링하는 줌 모드일 수 있다.
2D 줌 모드, 3D 줌 모드 및 중간 차원 줌 모드에서 줌 영역을 스케일링하는 구체적인 방법은 이하 도 3 내지 도 5를 참조하여 상세히 설명한다.
이때, 모드 선택부(130)는 사용자로부터 입력 받은 줌 모드를 선택할 수 있다. 또한, 모드 선택부(130)는 컬러 영상, 또는 깊이 영상과 줌 팩터에 따라 줌 모드를 선택할 수 있다.
예를 들어, 모드 선택부(130)는 줌 팩터가 변화함에 따라 줌 영역에 적용할 줌 모드를 변경할 수 있다.
모드 선택부(130)가 줌 팩터에 따라 줌 모드를 변경하는 과정은 이하 도 6을 참조하여 상세히 설명한다.
예를 들어, 줌 영역이 컬러 영상의 부가 정보, 또는 깊이 정보가 없는 정보를 포함하는 경우, 깊이 정보를 스케일링하는 중간 차원 줌 모드 또는 3D 줌 모드는 적용하기 어려울 수 있다. 따라서, 모드 선택부(130)는 2D 줌 모드를 선택할 수 있다. 이때, 부가 정보는 자막과 같이 컬러 영상의 오브젝트와 독립적으로 표시되며, 깊이 정보가 없는 정보일 수 있다.
또한, 3차원 영상에는 3D 디스플레이를 통하여 사용자가 피로도 없이 3D 느낄 수 있는 깊이 구간이 존재할 수 있다. 이때, 깊이 구간은 안정 영역 (comfortable zone) 또는, 푸넘의 영역(Panum's zone)일 수 있다.
중간 차원 줌 모드, 또는 3D 줌 모드로 스케일링될 줌 영역의 깊이 정보가 사용자가 입체 영상을 감지할 수 있는 깊이 구간을 벗어나는 경우, 사용자는 3차원 영상을 시청할 때 피로감을 느낄 수 있다.
따라서, 모드 선택부(130)는 중간 차원 줌 모드, 또는 3D 줌 모드로 스케일링될 줌 영역의 깊이 정보가 사용자가 입체 영상을 감지할 수 있는 깊이 구간에 포함되지 않는 경우, 2D 줌 모드를 선택함으로써, 사용자가 피로감 없이 3차원 영상을 시청하도록 할 수 있다.
그리고, 중간 차원 줌 모드는 3D 줌 모드보다 연산량이 적으나, 줌 영역에 왜곡이 발생할 가능성이 있는 2.1D, 2.5D, 2.7D와 같은 줌 모드일 수 있다.
따라서, 모드 선택부(130)는 중간 차원 줌 모드를 이용하여 줌 영역을 스케일링할 때 왜곡이 발생하는지 여부를 판단하고, 왜곡이 발생하지 않으면 중간 차원 줌 모드를 선택할 수 있다. 또한, 왜곡이 발생하는 경우, 모드 선택부(130)는 3D 줌 모드를 선택할 수 있다.
구체적으로, 모드 선택부(130)는 중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인지 여부를 확인할 수 있다. 이때, 모드 선택부(130)는 줌 영역에서 가장 큰 깊이 정보와 가장 작은 깊이 정보 간의 차이에 기초하여 깊이 정보의 범위를 결정할 수 있다.
이때, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 모드 선택부(130)는 사용자가 인식할 수 있는 왜곡이 발생하지 않은 것으로 판단하여 중간 차원 줌 모드를 선택할 수 있다.
또한, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값을 초과하는 경우, 모드 선택부(130)는 사용자가 인식할 수 있는 왜곡이 발생한 것으로 판단하여 3D 줌 모드를 선택할 수 있다.
스케일링부(140)는 줌 팩터와 모드 선택부(130)가 선택한 줌 모드를 이용하여 줌 영역을 스케일링할 수 있다.
모드 선택부(130)가 중간 차원 줌 모드를 선택한 경우, 스케일링부(140)는, 줌 팩터에 기초하여 줌 영역의 깊이 정보를 스케일링할 수 있다. 예를 들어, 줌 팩터를 이용하여 줌 영역을 확대해야 하는 경우, 스케일링부(140)는 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링할 수 있다.
모드 선택부(130)가 3D 줌 모드를 선택한 경우, 스케일링부(140)는 줌 팩터를 이용하여 줌 영역의 깊이 정보를 시프트(shift)할 수 있다. 구체적으로, 스케일링부(140)는 줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성할 수 있다.
모드 선택부(130)가 2D 줌 모드를 선택한 경우, 스케일링부(140)는 줌 팩터에 비례하여 줌 영역의 크기를 스케일링할 수 있다.
이때, 3차원 영상 생성 장치(101)는 스케일링부(140)에서 줌 영역이 스케일링된 컬러 영상과 깊이 영상을 랜더링하여 3차원 영상을 생성함으로써, 사용자에게 3차원 줌이 적용된 3차원 영상을 제공할 수 있다. 이때, 3차원 영상 생성 장치(101)는 시점 합성(View Synthesis) 또는 깊이 기반 이미지 랜더링(Depth Based Image Rendering)을 이용하여 스케일링부(140)에서 줌 영역이 스케일링된 컬러 영상과 깊이 영상을 랜더링할 수 있다.
도 2는 일실시예에 따른 컬러 영상과 깊이 영상의 변화를 도시한 도면이다.
일실시예에 따른 영상 처리 장치(100)는 컬러 영상(210)의 줌 영역과 깊이 영상(220)의 줌 영역에 3차원 줌(Zoom)을 수행하여 줌 영역이 확대된 컬러 영상(211)과 줌 영역이 확대된 깊이 영상(221)을 출력할 수 있다.
이때, 컬러 영상(210)과 깊이 영상(220)은 해상도가 동일하며, 얼라인(Align)이 맞추어져 있을 수 있다.
컬러 영상(210)과 깊이 영상(220)가 상기 조건을 만족하지 않는 경우, 영상 처리 장치(100)는 컬러 영상(210)과 깊이 영상(220)가 상기 조건을 만족하도록 보정할 수 있다. 예를 들어, 영상 처리 장치(100)는 깊이 고해상도(Depth Super-resolution) 기술을 사용하여 깊이 영상의 해상도를 컬러 영상의 해상도에 맞추고, 컬러 영상과 깊이 영상의 시점의 차이는 정합 기술을 이용하여 맞춤으로써, 컬러 영상(210)과 깊이 영상(220)가 상기 조건을 만족하도록 할 수 있다.
또한, 깊이 영상(220)는 컬러 영상(210)에 스테레오 매칭(Stereo Matching)과 같은 영상처리 기술을 이용하여 획득한 영상일 수도 있고, 깊이 카메라를 이용하여 획득한 영상일 수도 있다. 이때, 깊이 영상(220)은 사용자와 영역 간의 거리가 멀수록 영역의 밝기가 밝아지고, 사용자와 영역 간의 거리가 가까울수록 영역의 밝기가 어두워질 수 있다. 그리고, 깊이 정보는 사용자와 영역 간의 거리에 비례할 수 있다. 즉, 깊이 영상(220)에서 가장 밝은 영역은 깊이 정보의 값이 가장 큰 배경 영역일 수 있다.
그리고, 줌 영역이 확대된 깊이 영상(221)은 도 2에 도시된 바와 같이 깊이 영상(220)보다 밝기가 어두워 질 수 있다. 즉, 일실시예에 따른 영상 처리 장치(100)는 줌 영역의 깊이 정보를 스케일링함으로써, 줌 영역에 3차원 줌을 수행할 수 있다.
또한, 일실시예에 따른 영상 처리 장치(100)는 3D 줌 모드로 줌 영역을 스케일링하는 경우, 줌 영역이 원래 가지고 있었던 깊이의 범위를 유지할 수 있다.
도 3은 일실시예에 따른 2D 줌 모드의 동작을 도시한 도면이다.
2D 줌 모드는 컬러 영상 및 깊이 영상에 포함된 3차원 오브젝트(300)의 크기를 확장, 또는 축소함으로써, 실제로 크기가 커진 3차원 오브젝트를 촬영한 것과 동일한 효과를 가지도록 하는 줌 모드이다.
2D 줌 모드는 2D 영상의 공간적인 크기를 변화하는 방식이므로, 3차원 영상을 3D 영상을 시청하는 사용자는 실제로 영역의 크기가 변화하는 것으로 인식할 수 있다.
2D 줌 모드는 깊이 정보가 변화하지 않으므로, 3차원 콘텐츠에 익숙하지 않은 사용자가 가장 편리하게 사용할 수 있다. 예를 들어, 자막이나 로고와 같은 정보를 표시하는 영역은 깊이 정보를 변화시킬 경우, 깊이감이 변화하여 콘텐츠 제작자의 의도에서 벗어날 수 있으므로, 모드 선택부(130)는 2D 줌 모드를 선택할 수 있다.
이때, 스케일링부(140)는 컬러 영상과 깊이 영상의 줌 영역을 공간적으로 스케일링할 수 있다. 또한, 스케일링부(140)는 줌 영역의 깊이 정보는 변경하지 않을 수 있다.
예를 들어, 스케일링부(140)는 고해상도(Super-resolution) 변환 기법으로 줌 영역의 해상도를 증가 시키거나, 줌 영역을 업샘플링(Upsampling)함으로써, 줌 영역을 확대할 수 있다. 또한, 스케일링부(140)는 줌 영역을 다운샘플링(Downsampling)함으로써, 줌 영역을 축소할 수 있다.
도 3에서 f는 카메라 렌즈의 초점 거리(focal length)이고, Z는 렌즈와 3차원 오브젝트(300)사이의 거리일 수 있다. 또한, x는 카메라가 촬영한 3차원 오브젝트(301)의 크기이고, X는 3차원 오브젝트(300)의 크기일 수 있다.
이때, 스케일링부(140)는 도 3에 도시된 바와 같이 3차원 오브젝트(300)의 크기 X에서 2X로 확대시킴으로써, 카메라가 촬영한 3차원 오브젝트(301)의 크기를 x에서 2x로 확대시킬 수 있다.
도 4는 일실시예에 따른 중간 차원 줌 모드의 동작을 도시한 도면이다.
중간 차원 줌 모드는 줌 팩터에 기초하여 줌 영역의 깊이 정보를 스케일링함으로써, 3차원 오브젝트(400)가 카메라나 사용자에게 다가오거나 멀어지는 줌 효과를 제공하는 줌 모드이다.
예를 들어, 3차원 오브젝트(400)에 2배 줌을 적용할 경우, 스케일링부(140)는 3차원 오브젝트(400)의 거리 정보인 Z를 Z/2로 스케일링할 수 있다. 이때, 3차원 오브젝트(400)의 크기는 X로 유지되지만, 카메라가 촬영한 3차원 오브젝트(401)의 크기는 도 4에 도시된 바와 같이 x에서 2x로 확대될 수 있다.
즉, 중간 차원 줌 모드는 줌 팩터를 이용하여 깊이 정보를 스케일링함으로써, 3차원 오브젝트(400)가 줌 되도록 하는 줌 모드이므로, 2D 줌 모드와 연산량이 유사할 수 있다.
그러나, 중간 차원 줌 모드에 따라 깊이 정보를 스케일링할 경우, 줌 영역의 깊이 범위까지 스케일링될 수 있다.
예를 들어, 줌 영역의 최소 깊이 정보가 Zm이고, 줌 영역의 최대 깊이 정보가 ZM인 경우, 줌 영역의 깊이 범위는 ZM-Zm 일 수 있다. 그리고, 줌 영역에 2배 줌을 적용할 경우, 줌 영역의 최소 깊이 정보는 Zm/2로 스케일링되고, 줌 영역의 최대 깊이 정보는 ZM/2로 스케일링될 수 있다. 즉, 스케일링된 줌 영역의 깊이 범위(402)는 ZM-Zm에서 ZM/2-Zm/2로 변경될 수 있다.
이때, 줌 영역에 포함된 3차원 오브젝트(400)은 도 4에 도시된 바와 같이 스케일링된 줌 영역의 깊이 범위(402)에 따라 왜곡될 가능성이 있다.
도 5는 일실시예에 따른 3D 줌 모드의 동작을 도시한 도면이다.
3D 줌 모드는 중간 차원 줌 모드에 비하여 연산량은 증가하지만 줌 영역이 왜곡되는 것을 방지하면서 깊이 정보를 스케일링하는 줌 모드이다.
3D 줌 모드가 선택된 경우, 스케일링부(140)는 줌 팩터에 따라 줌 영역의 3D 좌표를 변환하고, 변환된 3D 좌표를 2D 영역에 투영(Projection)하여 컬러 영상과 깊이 영상을 스케일링할 수 있다.
구체적으로, 3차원 오브젝트(500)에 2배 줌을 적용할 경우, 스케일링부(140)는 줌 영역의 픽셀들 각각의 깊이 정보를 시프트(Shift)함으로써, 3차원 오브젝트(500)의 공간 좌표 (x,y,z)를 공간 좌표(x,y,z')로 변환할 수 있다. 이때, 스케일링부(140)는 줌 영역의 깊이 픽셀에 일정 값의 덧셈 연산이나 뺄셈 연산을 적용함으로써, 깊이 정보를 시프트할 수 있다.
예를 들어, 3차원 오브젝트(400)의 거리 정보 Z가 Z/2로 스케일링되는 경우, 줌 영역에서 깊이 정보가 최소인 픽셀의 깊이 정보 Zm은 Zm/2로 스케일링될 수 있다. 그러나, 줌 영역에서 깊이 정보가 최대인 픽셀의 깊이 정보 ZM은 Zm/2+(ZM -Zm)로 스케일링될 수 있다.
즉, 스케일링부(140)는 줌 영역에 포함된 각 픽셀들 간의 깊이 정보의 차이가 유지되도록 픽셀들 각각의 깊이 정보를 스케일링함으로써, 줌 영역의 왜곡을 방지할 수 있다. 예를 들어, 스케일링부(140)는 줌 영역에 포함된 픽셀 중 하나를 기준 픽셀로 선택하고, 기준 픽셀과 줌 영역의 픽셀 각각 간의 거리를 계산할 수 있다. 그리고, 스케일링부(140)는 계산된 거리와 기준 픽셀의 깊이 정보의 합을 줌 영역의 픽셀 각각의 깊이 정보로 결정으로써, 줌 영역의 픽셀 각각의 깊이 정보를 스케일링할 수 있다. 이때, 기준 픽셀의 깊이 정보가 줌 영역에서 최소가 아닌 경우, 계산된 거리는 음수가 될 수 있다.
이때, 3차원 영상 생성 장치(101)는 스케일링부(140)에서 줌 영역이 스케일링된 컬러 영상과 깊이 영상을 랜더링하기 위하여 2D 영상 형태의 컬러 영상과 2D 영상 형태의 깊이 영상을 필요로 할 수 있다. 따라서, 스케일링부(140)는 깊이 정보가 스케일링된 3D 좌표를 2D 좌표에 투영하여 2D 영상 형태의 컬러 영상과 깊이 영상으로 변환해야 하므로, 3D 좌표를 이용한 매시(mesh) 생성과 같은 추가 연산이 필요할 수 있다.
3차원 영상 생성 장치(101)가 3D 그래픽(graphic) 엔진을 포함하는 경우, 3D to 2D 투영(projection)을 수행할 수 있다. 그러나, 3차원 영상 생성 장치(101)가 깊이 기반 이미지 랜더링을 수행하는 경우, 깊이 정보가 스케일링된 3D 좌표를 2D 좌표에 투영하기 위한 연산량은 추가 오버헤드(overhead)가 될 수 있다.
도 6는 일실시예에 따라 줌 모드를 변화하는 동작을 도시한 도면이다.
일실시예에 따른 영상 처리 장치(100)가 이용하는 2D 줌 모드, 3D 줌 모드 및 중간 차원 줌 모드는 각각 장단점이 있으므로, 줌 팩터, 또는 줌 영역에 따라 가장 좋은 줌 모드가 상이할 수 있다.
예를 들어, 입체감이 없는 자막이나 부가 정보는 깊이 정보의 변화가 없으며, 연산량이 가장 적은 2D 줌 모드가 가장 효율적일 수 있다. 또한, 3D 줌 모드는 왜곡 없이 깊이 정보까지 변화시키는 3차원 줌을 제공할 수 있으나, 연산량이 많으므로, 줌 팩터에 따라서는 중간 차원 줌 모드가 더 효율적일 수도 있다.
따라서, 영상 처리 장치(100)는 하나의 줌 모드만 이용하지 않고, 적응적으로 줌 모드를 스위칭할 수 있다.
도 6은 줌 팩터에 따라 점진적으로 줌을 수행하는 과정에서 영상 처리 장치(100)가 2D 줌 모드(610), 2.5 D 줌 모드(620), 3D 줌 모드(630)를 스위칭하는 실시예이다. 이때, 2.5 D 줌 모드(620)는 중간 차원 줌 모드일 수 있다.
2.5 D 줌 모드(620), 3D 줌 모드(630)는 줌 영역의 깊이 정보를 변화시켜 줌 영역이 다른 영역에 비하여 멀어지거나 가까워지도록 할 수 있다. 그러나, 3차원 영상에는 사용자가 3D 디스플레이를 통하여 피로도 없이 3D를 느낄 수 있는 깊이 구간이 존재할 수 있다. 이때, 사용자가 피로도 없이 3D를 느낄 수 있는 깊이 구간은 안정 영역(comfortable zone) 또는 푸넘의 영역(Panum's zone)일 수 있다.
예를 들어, 줌 팩터에 따라 스케일링된 줌 영역의 깊이 정보가 안정 영역을 벗어나는 경우, 3차원 영상을 시청하는 사용자의 피로감이 증가할 수 있다.
따라서, 영상 처리 장치(100)의 모드 선택부(130)는 줌 팩터에 따라 스케일링된 줌 영역의 깊이 정보가 안정 영역을 벗어나는 경우, 2D 줌 모드(610)을 선택함으로써, 3차원 영상을 시청하는 사용자의 피로감이 증가하는 것을 방지할 수 있다.
그리고, 모드 선택부(130)는 줌 팩터에 따라 스케일링된 줌 영역의 깊이 정보가 안정 영역에 진입하는 경우, 도 6에 도시된 바와 같이 2.5 D 줌 모드(620)를 선택함으로써, 사용자에게 줌 영역이 다른 영역에 비하여 멀어지거나 가까워지는 3차원 영상을 제공할 수 있다.
또한, 안정 영역이 좁은 3D 디스플레이에서 2.5D 줌 모드(620)과 3D 줌 모드(630)이 스위칭되는 경우, 모드 선택부(130)는 2.5D 줌 모드(620)와 3D 줌 모드(630) 사이에 2D 줌 모드(610)를 선택적으로 삽입함으로써 , 줌 팩터에 따른 줌 영역의 깊이 정보의 변화가 안정 영역을 벗어나는 속도를 늦출 수 있다.
또한, 2.5 D 줌 모드(620)는 줌 영역이 가지는 깊이 범위를 변화시킬 수 있으나, 사용자는 임계값 이하로 변화된 깊이 범위를 인식할 수 없다. 이때, 사용자가 변화된 깊이 범위를 인식할 수 있는 임계값은 JNDD(just noticeable depth difference)일 수 있다.
예를 들어, 줌 영역의 깊이 범위가 도 4에 도시된 바와 같이 절반으로 감소하면 사용자도 깊이 범위의 변화를 인식할 수 있다. 그러나, 줌 영역의 깊이 범위가 적게 변화하는 경우, 사용자는 깊이 범위의 변화를 인식하지 못할 수 있다.
즉, 2.5 D 줌 모드(620)에 따라 변화된 줌 영역의 깊이 범위와 원본 줌 영역의 깊이 범위 간의 차이가 JNDD이하인 경우, 사용자는 2.5 D 줌 모드(620)로 스케일링된 3차원 영상과 3D 줌 모드(630)로 스케일링된 3차원 영상을 구별할 수 없다. 이때, 모드 선택부(130)는 2.5 D 줌 모드(620)를 선택함으로써, 스케일링부(140)가 3D 줌 모드(630)보다 적은 연산량으로 줌 영역을 스케일링하도록 할 수 있다.
또한, 2.5 D 줌 모드(620)에 따라 변화된 줌 영역의 깊이 범위와 원본 줌 영역의 깊이 범위 간의 차이가 JNDD를 초과하는 경우, 모드 선택부(130)는 3D 줌 모드(630)를 선택함으로써, 3차원 영상에서 사용자가 인식할 수 있을 정도의 왜곡이 발생하는 것을 방지할 수 있다.
즉, 모드 선택부(130)는 줌 팩터에 따라 점진적으로 줌을 수행할 경우, 2D 줌 모드(610), 2.5 D 줌 모드(620), 및 3D 줌 모드(630)중에서 선택할 줌 모드를 변경함으로써, 스케일링부(140)가 줌 팩터에 최적화된 줌 모드로 컬러 영상 및 깊이 영상을 스케일링하도록 할 수 있다.
도 7은 일실시예에서 사용자의 시선에 따라 3차원 영상에 줌을 수행하는 도면이다.
먼저, 줌 영역 설정부(110)는 사용자를 향한 카메라를 이용하여 사용자의 시선을 인식할 수 있다.
다음으로, 줌 영역 설정부(110)는 인식한 시선을 이용하여 3차원 영상(710)에서 사용자가 주시하고 있는 영역(711)을 식별할 수 있다.
그 다음으로, 줌 영역 설정부(110)는 사용자가 주시하고 있는 영역(711)을 줌 영역으로 설정할 수 있다.
다음으로, 스케일링부(140)는 사용자가 선택한 줌 모드 또는, 모드 선택부(130)가 선택한 줌 모드를 이용하여 깊이 영상의 영역(711)과 컬러 영상의 영역(711)을 스케일링할 수 있다.
마지막으로, 3차원 영상 생성 장치(101)는 스케일링부(140)가 스케일링한 깊이 영상과 컬러 영상을 이용하여 영역(711)이 확대된 3차원 영상(720)을 생성할 수 있다.
도 8은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.
단계(810)에서 줌 영역 설정부(110)는 3차원 영상에서 사용자가 선택한 영역에 기초하여 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정할 수 있다. 구체적으로, 줌 영역 설정부(110)는 컬러 영상과 깊이 영상에서 사용자가 선택한 영역에 대응하는 영역을 식별하고, 식별한 영역을 줌 영역으로 설정할 수 있다.
단계(820)에서 줌 팩터 설정부(120)는 사용자로부터 입력 받은 정보에 따라 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터를 설정할 수 있다. 또한, 줌 팩터 설정부(120)는 줌 영역 설정부(110)가 설정한 줌 영역의 컬러 정보, 및 깊이 정보를 분석하고, 분석 결과에 따라 줌 팩터를 설정할 수도 있다.
이때, 줌 팩터 설정부(120)가 사용자로부터 입력 받은 정보는 줌 영역을 확대할 것인가 아니면, 축소할 것인가에 대한 정보, 및 확대 비율 또는 축소 비율을 포함할 수 있다. 그리고, 줌 팩터 설정부(120)는 줌 영역의 컬러 정보, 및 깊이 정보에 따라 줌 영역에서 설정 가능한 확대 비율이나 축소 비율의 범위를 결정할 수도 있다.
단계(830)에서 모드 선택부(130)는 복수의 줌 모드 중에서 단계(810)에서 설정한 줌 영역에 적용할 줌 모드를 선택할 수 있다. 이때, 모드 선택부(130)는 컬러 영상과 깊이 영상에서 줌 영역의 크기를 스케일링하는 2D 줌 모드와 줌 영역의 깊이 정보를 스케일링하는 3D 줌 모드 및 중간 차원 줌 모드 중에서 하나의 줌 모드를 선택할 수 있다.
이때, 모드 선택부(130)는 사용자로부터 입력 받은 줌 모드를 선택할 수 있다. 또한, 모드 선택부(130)는 컬러 영상, 또는 깊이 영상과 단계(820)에서 설정한 줌 팩터에 따라 줌 모드를 선택할 수 있다. 예를 들어, 모드 선택부(130)는 줌 팩터가 변화함에 따라 줌 영역에 적용할 줌 모드를 변경할 수 있다.
모드 선택부(130)의 줌 모드의 선택 과정은 이하 도 9를 참조하여 상세히 설명한다.
단계(840)에서 스케일링부(140)는 단계(820)에서 설정한 줌 팩터와 단계(830)에서 선택한 줌 모드를 이용하여 줌 영역을 스케일링할 수 있다.
단계(830)에서 중간 차원 줌 모드를 선택한 경우, 스케일링부(140)는, 줌 팩터에 기초하여 줌 영역의 깊이 정보를 스케일링할 수 있다. 예를 들어, 줌 팩터를 이용하여 줌 영역을 확대해야 하는 경우, 스케일링부(140)는 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링할 수 있다.
단계(830)에서 3D 줌 모드를 선택한 경우, 스케일링부(140)는 줌 팩터를 이용하여 줌 영역의 깊이 정보를 시프트(shift)할 수 있다. 구체적으로, 스케일링부(140)는 줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성할 수 있다.
단계(830)에서 2D 줌 모드를 선택한 경우, 스케일링부(140)는 줌 팩터에 비례하여 줌 영역의 크기를 스케일링할 수 있다.
단계(850)에서 3차원 영상 생성 장치(101)는 단계(840)에서 줌 영역이 스케일링된 컬러 영상과 깊이 영상을 랜더링하여 3차원 영상을 생성할 수 있다. 이때, 3차원 영상 생성 장치(101)는 시점 합성(View Synthesis) 또는 깊이 기반 이미지 랜더링(Depth Based Image Rendering)을 이용하여 단계(840)에서 줌 영역이 스케일링된 컬러 영상과 깊이 영상을 랜더링할 수 있다.
도 9는 일실시예에 따른 줌 모드 선택 방법을 도시한 도면이다. 이때, 도 9의 단계(910) 내지 단계(980)는 도 8의 단계(830)에 포함될 수 있다.
단계(910)에서 모드 선택부(130)는 줌 영역이 컬러 영상의 부가 정보를 포함하고 있는지 여부를 판단할 수 있다. 이때, 부가 정보는 자막과 같이 컬러 영상의 오브젝트와 독립적으로 표시되며, 깊이 정보가 없는 정보일 수 있다.
줌 영역이 컬러 영상의 부가 정보를 포함하고 있는 경우, 모드 선택부(130)는 단계(930)에서 2D 줌 모드를 선택할 수 있다.
단계(920)에서 모드 선택부(130)는 줌 팩터에 따라 스케일링된 줌 영역의 깊이 정보가 기 설정된 깊이 구간에 포함되는지 여부를 판단할 수 있다. 이때, 기 설정된 깊이 구간은 3차원 영상에서 사용자가 피로도 없이 3D를 느낄 수 있는 깊이 구간인 안정 영역(comfortable zone) 또는 푸넘의 영역(Panum's zone)일 수 있다.
즉, 모드 선택부(130)는 줌 팩터에 따라 스케일링된 줌 영역의 깊이 정보가 안정 영역을 벗어나는 경우, 단계(930)에서 2D 줌 모드를 선택함으로써, 3차원 영상을 시청하는 사용자의 피로감이 증가하는 것을 방지할 수 있다.
단계(930)에서 모드 선택부(130)는 2D 줌 모드를 선택할 수 있다.
단계(940)에서 모드 선택부(130)는 중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정할 수 있다. 이때, 모드 선택부(130)는 줌 영역에서 가장 큰 깊이 정보와 가장 작은 깊이 정보 간의 차이에 기초하여 깊이 정보의 범위를 결정할 수 있다.
단계(940)에서 모드 선택부(130)는 단계(940)에서 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인지 여부를 확인할 수 있다.
추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 모드 선택부(130)는 사용자가 인식할 수 있는 왜곡이 발생하지 않은 것으로 판단하여 단계(960)을 수행할 수 있다. 또한, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값을 초과하는 경우, 모드 선택부(130)는 사용자가 인식할 수 있는 왜곡이 발생한 것으로 판단하여 단계(970)을 수행할 수 있다.
단계(970)에서 모드 선택부(130)는 3D 줌 모드를 선택할 수 있다.
단계(980)에서 모드 선택부(130)는 2.5D 줌 모드와 같은 중간 차원 줌 모드를 선택할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 장치
110: 줌 영역 설정부
120: 줌 팩터 설정부
130: 모드 선택부
140: 스케일링부

Claims (35)

  1. 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택하는 모드 선택부; 및
    상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터와 선택한 줌 모드를 이용하여 상기 줌 영역을 스케일링하는 스케일링부
    를 포함하고,
    상기 모드 선택부는,
    중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 중간 차원 줌 모드를 선택하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 중간 차원 줌 모드는,
    상기 3D 줌 모드보다 연산량이 적으나, 줌 영역에 왜곡이 발생할 가능성이 있는 줌 모드인 영상 처리 장치.
  3. 제1항에 있어서,
    상기 스케일링부는,
    중간 차원 줌 모드가 선택된 경우, 줌 팩터에 기초하여 줌 영역의 깊이 정보를 스케일링하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 스케일링부는,
    줌 팩터를 이용하여 줌 영역을 확대하는 경우, 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링하는 영상 처리 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 모드 선택부는,
    상기 줌 영역에서 가장 큰 깊이 정보와 가장 작은 깊이 정보 간의 차이에 기초하여 상기 깊이 정보의 범위를 결정하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 스케일링부는,
    3D 줌 모드가 선택된 경우, 줌 팩터를 이용하여 줌 영역의 깊이 정보를 시프트(shift)하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 스케일링부는,
    줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성하는 영상 처리 장치.
  9. 제1항에 있어서,
    상기 모드 선택부는,
    중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값을 초과하는 경우, 3D 줌 모드를 선택하는 영상 처리 장치.
  10. 제1항에 있어서,
    상기 스케일링부는,
    2D 줌 모드가 선택된 경우, 줌 팩터에 비례하여 줌 영역의 크기를 스케일링하는 영상 처리 장치.
  11. 제1항에 있어서,
    상기 모드 선택부는,
    중간 차원 줌 모드, 또는 3D 줌 모드로 스케일링될 줌 영역의 깊이 정보가 사용자가 입체 영상을 감지할 수 있는 깊이 구간에 포함되는지 여부를 판단하고, 포함되지 않는 경우, 2D 줌 모드를 선택하는 영상 처리 장치.
  12. 제1항에 있어서,
    상기 모드 선택부는,
    줌 영역이 컬러 영상의 부가 정보, 또는 깊이 정보가 없는 정보를 포함하는 경우, 2D 줌 모드를 선택하는 영상 처리 장치.
  13. 제1항에 있어서,
    3차원 영상에서 사용자가 선택한 영역에 기초하여 컬러 영상의 줌 영역과 깊이 영상의 줌 영역을 설정하는 줌 영역 설정부; 및
    줌 영역의 컬러 정보, 및 깊이 정보 분석 결과, 또는 사용자로부터 수신한 정보 중 적어도 하나에 따라 줌 팩터를 설정하는 줌 팩터 설정부
    를 더 포함하는 영상 처리 장치.
  14. 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정하는 줌 영역 설정부;
    2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 상기 줌 영역에 적용할 줌 모드를 선택하는 모드 선택부; 및
    상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터 및 선택된 줌 모드에 따라 상기 줌 영역의 깊이 정보를 스케일링하는 스케일링부
    를 포함하고,
    상기 모드 선택부는,
    중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 중간 차원 줌 모드를 선택하는 영상 처리 장치.
  15. 제14항에 있어서,
    상기 스케일링부는,
    줌 팩터를 이용하여 줌 영역을 확대하는 경우, 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링하는 영상 처리 장치.
  16. 삭제
  17. 삭제
  18. 2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택하는 단계; 및
    상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터와 선택한 줌 모드를 이용하여 상기 줌 영역을 스케일링하는 단계
    를 포함하고,
    상기 줌 모드를 선택하는 단계는,
    중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 중간 차원 줌 모드를 선택하는 영상 처리 방법.
  19. 제18항에 있어서,
    상기 중간 차원 줌 모드는,
    상기 3D 줌 모드보다 연산량이 적으나, 줌 영역에 왜곡이 발생할 가능성이 있는 줌 모드인 영상 처리 방법.
  20. 제18항에 있어서,
    상기 스케일링하는 단계는,
    중간 차원 줌 모드가 선택된 경우, 줌 팩터에 기초하여 줌 영역의 깊이 정보를 스케일링하는 영상 처리 방법.
  21. 제20항에 있어서,
    상기 스케일링하는 단계는,
    줌 팩터를 이용하여 줌 영역을 확대하는 경우, 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링하는 영상 처리 방법.
  22. 삭제
  23. 제18항에 있어서,
    상기 줌 모드를 선택하는 단계는,
    상기 줌 영역에서 가장 큰 깊이 정보와 가장 작은 깊이 정보 간의 차이에 기초하여 상기 깊이 정보의 범위를 결정하는 영상 처리 방법.
  24. 제18항에 있어서,
    상기 스케일링하는 단계는,
    3D 줌 모드가 선택된 경우, 줌 팩터를 이용하여 줌 영역의 깊이 정보를 시프트하는 영상 처리 방법.
  25. 제24항에 있어서,
    상기 스케일링하는 단계는,
    줌 팩터에 따라 줌 영역의 3차원 좌표를 변환하고, 변환된 3차원 좌표를 2차원 영역에 투영하여 스케일링된 컬러 영상과 깊이 영상을 생성하는 영상 처리 방법.
  26. 제18항에 있어서,
    상기 줌 모드를 선택하는 단계는,
    중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값을 초과하는 경우, 3D 줌 모드를 선택하는 영상 처리 방법.
  27. 제18항에 있어서,
    상기 스케일링하는 단계는,
    2D 줌 모드가 선택된 경우, 줌 팩터에 비례하여 줌 영역의 크기를 스케일링하는 영상 처리 방법.
  28. 제18항에 있어서,
    상기 줌 모드를 선택하는 단계는,
    중간 차원 줌 모드, 또는 3D 줌 모드로 스케일링될 줌 영역의 깊이 정보가 사용자가 입체 영상을 감지할 수 있는 깊이 구간에 포함되는지 여부를 판단하고, 포함되지 않는 경우, 2D 줌 모드를 선택하는 영상 처리 방법.
  29. 제18항에 있어서,
    상기 줌 모드를 선택하는 단계는,
    줌 영역이 컬러 영상의 부가 정보, 또는 깊이 정보가 없는 정보를 포함하는 경우, 2D 줌 모드를 선택하는 영상 처리 방법.
  30. 제18항에 있어서,
    3차원 영상에서 사용자가 선택한 영역에 기초하여 컬러 영상의 줌 영역과 깊이 영상의 줌 영역을 설정하는 단계; 및
    줌 영역의 컬러 정보, 및 깊이 정보 분석 결과, 또는 사용자로부터 수신한 정보 중 적어도 하나에 따라 줌 팩터를 설정하는 단계
    를 더 포함하는 영상 처리 방법.
  31. 컬러 영상과 깊이 영상에서 줌을 수행할 줌 영역을 설정하는 단계;
    2D 줌 모드, 3D 줌 모드 및 2D 줌 모드와 3D 줌 모드 사이의 중간 차원 줌 모드 중에서 컬러 영상과 깊이 영상의 줌 영역에 적용할 줌 모드를 선택하는 단계; 및
    상기 줌 영역의 확대 또는, 축소를 나타내는 줌 팩터 및 선택된 줌 모드에 따라 상기 줌 영역의 깊이 정보를 스케일링하는 단계
    를 포함하고,
    상기 줌 모드를 선택하는 단계는,
    중간 차원 줌 모드로 스케일링될 줌 영역의 깊이 정보의 범위를 추정하고, 추정한 깊이 정보의 범위와 현재 줌 영역의 깊이 정보의 범위 간의 차이가 임계값 이하인 경우, 중간 차원 줌 모드를 선택하는 영상 처리 방법.
  32. 제31항에 있어서,
    상기 스케일링하는 단계는,
    줌 팩터를 이용하여 줌 영역을 확대하는 경우, 확대할 줌 영역의 크기에 반비례하도록 줌 영역에 포함된 포인트들의 깊이 정보를 스케일링하는 영상 처리 방법.
  33. 삭제
  34. 삭제
  35. 제18항 내지 제21항, 제23항 내지 제32항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.
KR1020130024936A 2013-03-08 2013-03-08 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법 KR102092846B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130024936A KR102092846B1 (ko) 2013-03-08 2013-03-08 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법
US13/974,677 US9396590B2 (en) 2013-03-08 2013-08-23 Image processing apparatus and method for three-dimensional image zoom

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130024936A KR102092846B1 (ko) 2013-03-08 2013-03-08 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140110499A KR20140110499A (ko) 2014-09-17
KR102092846B1 true KR102092846B1 (ko) 2020-03-24

Family

ID=51487305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130024936A KR102092846B1 (ko) 2013-03-08 2013-03-08 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9396590B2 (ko)
KR (1) KR102092846B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6221323B2 (ja) 2013-04-22 2017-11-01 カシオ計算機株式会社 グラフ表示装置およびその制御プログラム
JP6221372B2 (ja) * 2013-06-11 2017-11-01 カシオ計算機株式会社 グラフ表示装置、プログラム、およびサーバ装置
WO2015001606A1 (ja) * 2013-07-01 2015-01-08 パイオニア株式会社 撮像システム
JP6244901B2 (ja) 2013-12-27 2017-12-13 カシオ計算機株式会社 グラフ表示制御装置、電子機器およびプログラム
JP6318615B2 (ja) 2013-12-27 2018-05-09 カシオ計算機株式会社 グラフ表示制御装置、電子機器およびプログラム
JP6287412B2 (ja) 2014-03-19 2018-03-07 カシオ計算機株式会社 図形描画装置、図形描画方法およびプログラム
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
JP6394163B2 (ja) 2014-08-07 2018-09-26 カシオ計算機株式会社 グラフ表示装置、グラフ表示方法およびプログラム
KR20170024275A (ko) * 2015-08-25 2017-03-07 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 전자 시스템
CN105578275A (zh) * 2015-12-16 2016-05-11 小米科技有限责任公司 视频显示方法及装置
US10389948B2 (en) * 2016-12-06 2019-08-20 Qualcomm Incorporated Depth-based zoom function using multiple cameras
KR102145381B1 (ko) * 2018-05-21 2020-08-19 주식회사 고영테크놀러지 Oct 시스템, oct 영상 생성 방법 및 저장 매체
KR102530752B1 (ko) * 2018-08-29 2023-05-10 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 전자 기기와, 이미지 줌 프로세싱 방법
CN109614643B (zh) * 2018-11-01 2022-07-26 厦门知本家科技有限公司 一种操控选择系统
JP7210388B2 (ja) * 2019-06-25 2023-01-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
CN111110272B (zh) * 2019-12-31 2022-12-23 深圳开立生物医疗科技股份有限公司 超声图像测量信息显示方法、装置、设备及可读存储介质
KR102667017B1 (ko) * 2023-09-14 2024-05-24 주식회사 엠티오메가 가변 스케일링을 이용한 객체 검출 방법 및 이러한 방법을 수행하는 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090256837A1 (en) * 2008-04-11 2009-10-15 Sidhartha Deb Directing camera behavior in 3-d imaging system
US20110007097A1 (en) * 2009-07-10 2011-01-13 Microsoft Corporation Single axis zoom

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2354389A (en) 1999-09-15 2001-03-21 Sharp Kk Stereo images with comfortable perceived depth
US6654507B2 (en) * 2000-12-14 2003-11-25 Eastman Kodak Company Automatically producing an image of a portion of a photographic image
US8213711B2 (en) 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
KR101629454B1 (ko) 2009-10-27 2016-06-10 삼성전자주식회사 깊이 영상 확대 장치 및 방법
KR20110051074A (ko) 2009-11-09 2011-05-17 엘지전자 주식회사 3차원 영상 디스플레이 방법과 이를 구현하기 위한 3차원 디스플레이 장치
US9307134B2 (en) 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
US9269178B2 (en) * 2012-06-05 2016-02-23 Apple Inc. Virtual camera for 3D maps

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090256837A1 (en) * 2008-04-11 2009-10-15 Sidhartha Deb Directing camera behavior in 3-d imaging system
US20110007097A1 (en) * 2009-07-10 2011-01-13 Microsoft Corporation Single axis zoom

Also Published As

Publication number Publication date
KR20140110499A (ko) 2014-09-17
US9396590B2 (en) 2016-07-19
US20140253542A1 (en) 2014-09-11

Similar Documents

Publication Publication Date Title
KR102092846B1 (ko) 3차원 영상 줌을 수행하는 영상 처리 장치 및 방법
US11756223B2 (en) Depth-aware photo editing
US9299152B2 (en) Systems and methods for image depth map generation
KR102480245B1 (ko) 패닝 샷들의 자동 생성
US9521320B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
CN105517671B (zh) 一种基于光流法的视频插帧方法及系统
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
WO2012086120A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
KR101502362B1 (ko) 영상처리 장치 및 방법
KR102156402B1 (ko) 영상 처리 방법 및 장치
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
WO2016107962A1 (en) Improving focus in image and video capture using depth maps
JP2010079899A (ja) 深さマップ生成を用いた変換方法および装置
JP2013534742A (ja) デプスマップ情報を利用した立体映像変換方法及び装置
EP2757789A1 (en) Image processing system, image processing method, and image processing program
CN104067310A (zh) 显示图像的改进
US20160078598A1 (en) Image processor and image processing method
JP2006195525A (ja) 映像オブジェクト軌跡付加装置及び映像オブジェクト軌跡付加プログラム
JP5521608B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2013066058A (ja) 画像処理装置、画像処理方法及びプログラム
JP6057629B2 (ja) 画像処理装置、その制御方法、および制御プログラム
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
US9736456B1 (en) Two dimensional to three dimensional video conversion
KR101534776B1 (ko) 깊이 정보를 이용한 템플릿 매칭 기반 고속 얼굴 추적 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant