KR101763686B1

KR101763686B1 - 입체 영상 처리 장치 및 그 처리 방법

Info

Publication number: KR101763686B1
Application number: KR1020100113379A
Authority: KR
Inventors: 성화석
Original assignee: 삼성전자 주식회사
Priority date: 2010-11-15
Filing date: 2010-11-15
Publication date: 2017-08-01
Also published as: US20120120055A1; KR20120051978A; US8723919B2

Abstract

본 발명은 영상처리장치 및 그 영상처리방법에 관한 것이다. 본 발명에 따른 영상처리장치는 입체영상을 수신하여 좌안영상과 우안영상으로 분리하는 영상 분리부와; 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정하는 시차 추정부와; 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 수평이동값 결정부와; 상기 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 수평이동부와; 상기 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하고, 판단 결과 초과하면, 상기 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평이동부를 제어하는 제어부를 포함한다. 이에 의하여, 시청 피로도가 현저히 감소되도록 좌안 및 우안 영상의 시차 조정이 가능한 영상처리장치 및 처리방법에 제공된다.

Description

입체 영상 처리 장치 및 그 처리 방법{APPARATUS AND METHOD FOR PROCESSING 3 DIMENSIONAL VIDEO SIGNAL}

본 발명은 입체 영상처리장치 및 그 처리방법에 관한 것으로서, 보다 상세하게는 입체 영상의 시차 조정에 있어서 사용자의 시청 피로도를 감소시킬 수 있는 영상처리장치 및 그 처리방법에 대한 것이다.

도 1a 및 도 1b는 종래 기술에 따른 입체 영상의 시차 조정 방법이다. 종래 기술에 따른 영상처리장치는 외부에서 입체 영상을 수신하면, 수신한 입체 영상으로부터 양안 시차를 추정한다. 도 1a에는 연속되는 프레임 1 내지 프레임 3에 대하여 양안 시차를 추정한 시차 분포도가 도시되어 있다. 프레임 1의 추정 시차 분포로부터 포커스 제어 파라미터는 a 내지 c 가 결정되면, 상기 X 범위(시청 피로 안전 범위) 밖에 위치한 포커스 제어 파라미터 a 및 b가 상기 X 범위 내가 되도록 좌안 영상 및 우안 영상을 수평 이동시킨다. 이와 동일하게 프레임 2에서는 포커스 제어 파라미터 a’를 X 범위 이내가 되도록, 프레임 3에서는 포커스 제어 파라미터 a’’를 X 범위 이내가 되도록 좌안 영상 및 우안 영상을 수평 이동시킨다. 이런 경우, 프레임 1에서는 각 제어 파라미터 a, b, c 각각에 대하여 수평이동을 수행하게되어 포커스가 변화하고, 이는 프레임1 내지 프레임 3까지 연속적으로 포커스가 변하게 된다. 이에 따라, 각 프레임 마다 또는 연속적으로 포커스가 급변하게 되어 시청자는 시청 피로도를 심하게 느끼게 된다.

또한, 도 1b에서 보는 바와 같이, 입력 영상 중에서 좌안 영상에는 존재하지만, 우안 영상에는 존재하지 않는 오브젝트(A)가 존재하는 경우, 좌안 및 우안 영상의 양안 시차를 추정함에 있어서 오류가 발생하게 된다. 상기 오류가 발생된 추정 시차에 기초하여 생성된 추정 깊이 맵 역시 오류가 발생하게 된다. 또한 상기 오류가 발생된 추정 깊이 맵에 기초하여 좌안 및 우안 영상의 깊이를 조절할 경우, 시청자의 시청 피로도를 증가시키는 요인이 된다.

따라서, 본 발명의 목적은 시청자의 시청 피로도를 최소화할 수 있도록 양안 시차를 조정할 수 있는 영상처리장치 및 그 방법을 제공하는 것이다.

또한, 본 발명의 다른 목적은 시청자의 시청 피로도를 최소화할 수 있도록 양안 시차의 추정 오류를 수정할 수 있는 영상처리장치 및 그 방법을 제공하는 것이다.

상기 목적은, 본 발명에 따라, 영상처리장치에 있어서, 입체영상을 수신하여 좌안영상과 우안영상으로 분리하는 영상 분리부와; 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정하는 시차 추정부와; 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 수평이동값 결정부와; 상기 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 수평이동부와; 상기 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하고, 판단 결과 초과하면, 상기 수평이동값 결정부에 의해 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평이동부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상처리장치에 의해 달성될 수 있다.

상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 의미한다.

상기 제어부는, 상기 좌안 영상 및 우안 영상 중 어느 하나의 컬러 정보의 소정의 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 더 판단할 수 있다.

상기 소정의 시간은 복수의 프레임을 포함하는 하나의 씬의 소요 시간을 포함할 수 있다.

상기 시차 추정부는 프레임 마다 시차 추정을 수행하고, 상기 제어부는, 상기 계산된 추정 시간의 시간적 변화율이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평 이동부를 제어할 수 있다.

상기 영상처리장치는, 상기 수평 이동부로부터 출력되는 상기 시차가 조정된 좌안 영상 및 우안 영상을 표시하는 디스플레이부를 더 포함할 수 있다.

또한, 상기 목적은 본 발명에 따라 영상처리장치에 있어서, 입체영상을 수신하여 좌안영상과 우안영상으로 분리하는 영상 분리부와; 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정하는 시차 추정부와; 상기 시차 추정부에 의해 추정된 시차의 오류를 예측하는 오류 예측부와; 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 수평이동값 결정부와; 상기 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 수평이동부와; 상기 예측된 오류 예측값이 소정의 임계값을 초과하는지 여부를 판단하고, 판단 결과 초과하면 상기 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평이동부를 제어하는 것을 특징으로 하는 영상처리장치에 의해 달성될 수 있다.

상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 포함한다.

상기 시차 추정부는 프레임 마다 시차 추정을 수행하고, 상기 제어부는, 상기 예측된 오류 예측값이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평 이동부를 제어할 수 있다.

또한, 상기 목적은 본 발명에 따라, 영상처리장치의 영상처리방법에 있어서, 입체영상을 수신하여 좌안영상과 우안영상으로 분리하는 단계와; 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정하는 단계와; 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 단계와; 상기 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하는 단계와; 상기 판단 결과 상기 시간적 변화율이 소정의 임계값을 초과하면, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계를 포함하는 것을 특징으로 하는 영상처리방법에 의해 달성될 수 있다.

상기 수평이동단계에서 상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 포함할 수 있다.

상기 영상처리방법은, 상기 좌안 영상 및 우안 영상 중 어느 하나의 컬러 정보의 소정의 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하는 단계를 더 포함할 수 있다.

상기 시차 추정 단계는 프레임 마다 시차 추정을 수행하고, 상기 수평 이동 단계는, 상기 계산된 추정 시간의 시간적 변화율이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계이다.

상기 영상처리방법은, 상기 수평 이동되어 상기 시차가 조정된 좌안 영상 및 우안 영상을 디스플레이부에서 표시하는 단계를 더 포함할 수 있다.

또한, 상기 목적은 본 발명에 따라 영상처리장치의 영상처리방법에 있어서, 입체영상을 수신하여 좌안영상과 우안영상으로 분리하는 단계와; 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정하는 단계와; 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 단계와; 상기 시차 추정단계에서 추정된 시차의 오류를 예측하는 오류 예측 단계와; 상기 오류 예측 단계에서 예측된 오류 예측값이 소정의 임계값을 초과하는지 여부를 판단하는 단계와; 상기 판단 결과 상기 오류 예측값이 소정의 임계값을 초과하면, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계를 포함하는 것을 특징으로 하는 영상처리방법에 의해 달성될 수 있다.

상기 수평이동단계에서 상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한한다.

상기 시차 추정 단계는 프레임 마다 시차 추정을 수행하고, 상기 수평 이동 단계는, 상기 판단 결과 상기 오류 예측값이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계이다.

또한 상기 목적은 본 발명에 따라, 상기 기재된 영상처리방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 의해 달성될 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면, 시청자의 시청 피로도를 최소화할 수 있는 영상처리장치 및 영상처리방법에 제공된다.

도 1a 및 도 1b는 종래 기술에 따른 영상처리장치의 시차 조정을 도시한 도면이고,
도 2는 본 발명의 제 1실시예에 따른 영상처리장치의 제어블록도이고,
도 3은 본 발명의 제 2실시예에 따른 영상처리장치의 제어블록도이고,
도 4는 제1실시예 및 제2실시예에 따른 영상처리장치의 시차 조정의 일 예를 도시한 도면이고,
도 5는 제 1실시예에 따른 영상처리장치의 제어 흐름도이고,
도 6은 제 2실시예에 따른 영상처리장치의 제어 흐름도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.

도 2 및 도 3은 본 발명에 따른 영상처리장치의 제어블록도이다.

하기에서 입체영상신호 또는 3차원 영상신호는 좌안 영상 신호 및 우안 영상 신호를 포함하여 입체감을 갖는 영상신호를 의미하는 것으로서, 양자는 동일한 의미로 사용된다.

본 발명에 따른 영상처리장치(도 2 및 도 3의 100)는 외부로부터 입체 영상신호를 수신 및 처리할 수 있는 모든 타입의 전자장치를 포함할 수 있으며, 예를 들어 셋탑 박스, PVR, 또는 TV 나 PC와 같은 디스플레이장치를 포함할 수 있다.

사용자는 양쪽 눈에 의한 시야각도가 상이하고, 이에 의해 사물의 입체감을 인지할 수 있다. 이런 원리를 이용하여, 입체 영상은 좌안 영상과 우안 영상이 구분되어 디스플레이부에서 교대로 표시된다.

영상처리장치(100)는 도시되지 않은 외부의 영상공급원으로부터 영상신호를 수신한다. 상기 영상공급원은 한정되지 않는 바, 영상처리장치(100)는 CPU(미도시) 및 그래픽카드(미도시)를 가지고 영상신호를 생성하여 이를 로컬(local)로 제공할 수 있는 컴퓨터본체(미도시), 영상신호를 네트워크로 제공할 수 있는 서버(미도시), 공중파 또는 케이블을 이용하여 방송신호를 송출 가능한 방송국의 송출장치(미도시) 등 다양한 영상공급원으로부터 영상신호를 공급받을 수 있다.

영상처리장치(100)는 외부의 영상공급원으로부터 영상신호를 수신하는 별도의 수신부(미도시)를 포함하거나 영상분리부(도 2 및 도 3의 10)가 상기 수신부의 기능을 수행할 수 있다. 영상처리장치(100)가 TV로 구현되는 경우, 수신부(미도시) 또는 영상분리부(도 2 및 도 3의 10)는 방송수신장치로부터 송출되는 RF(radio frequency) 신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, HDMI(high definition multimedia inferface) 규격 등을 따르는 영상신호를 수신할 수 있다. 이 때, 수신부(미도시) 또는 영상분리부(도 2 및 도 3의 10)는 안테나(미도시) 및/또는 방송 채널을 튜닝하는 튜너(미도시)를 더 포함할 수 있다. 예를 들어, 영상처리장치(100)가 PC 모니터로 구현되는 경우, 수신부(110)는 VGA 방식에 따른 RGB 신호를 전달 가능한 D-SUB, DVI(digital video interactive) 규격에 따른 DVI-A(analog), DVI-I(integrated digital/analog), DVI-D(digital) 또는 HDMI 규격 등으로 구현될 수 있다. 또는 수신부(미도시) 또는 영상분리부(도 2 및 도 3의 10)는 디스플레이포트(DisplayPort), UDI(unified display interface), 또는 와이어리스(wireless) HD 등으로 구현될 수 있다.

영상처리장치(100)는 외부로부터 2차원 영상신호 또는 3차원 영상신호를 수신하면, 이를 디스플레이부에서 2차원 영상 또는 3차원 영상이 표시되도록 처리할 수 있다. 여기서, 3차원 영상은 2차원 영상과 달리, 사용자의 좌안에 대응하는 좌안 영상과, 사용자의 우안에 대응하는 우안영상으로 구분된다. 따라서, 영상처리장치(100)가 3차원 영상신호를 수신하면, 이에 기초하여 좌안 영상과 우안 영상을 디스플레이부에서 프레임(frame) 단위로 교대로 표시되도록 한다.

영상처리장치(100)는 상기 수신한 영상신호에 대해 기설정된 다양한 프로세서를 수행하는 신호처리부(미도시)를 더 포함할 수 있다. 상기 프로세서의 종류는 한정되지 않는 바, 예를 들어, 다양한 영상 포맷에 대응하는 디코딩(decoding) 및 인코딩(encoding), 디인터레이싱(de-interlacing), 프레임 리프레시 레이트(frame fresh rate) 변환, 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement), 라인 스캐닝(line scanning) 등을 포함할 수 있다. 신호처리부(120)는 상기 프로세서를 개별적으로 또는 복합적으로 수행할 수 있다.

도 2에 도시된 바와 같이, 본 발명의 제 1실시예에 따른 영상처리장치(100)는 영상분리부(10), 시차 추정부(20), 수평 이동값 결정부(30), 수평 이동부(40), 디스플레이부(50) 및 이들을 제어하는 제어부(60)를 포함한다.

영상분리부(10)는 소정의 입체 영상신호를 수신하여 좌안영상 및 우안영상으로 분리하여 시차 추정부(20) 및 수평 이동부(40)로 전달한다.

시차 추정부(20)는 상기 영상분리부(10)에 의해 분리된 좌안영상 및 우안 영상에 대한 양안 시차를 추정하여, 추정된 시차를 수평 이동값 결정부(30)로 전달한다. 상기 시차 추정 방법은 일 예시로써 블록 단위 시차 추정 방법을 포함하고, 그 외의 다양한 방법에 의해 수행될 수 있다.

상기 블록 단위 시차 추정 방법은, 좌안 영상 및 우안 영상을 NXN개의 균일한 블록으로 분할한 후 서로 대응되는 블록 사이의 블록 매칭을 수행하여 가장 상관도가 높은 블록을 검색 영역으로 지정하고, 현재 처리 대상 블록과의 공간적인 위치 차이를 양안시차 값으로 정의하여 양안시차를 추정한다. 이는 영상 내에 존재하는 전경(foreground) 및 배경(background)의 시차값을 정의하기 위한 전처리 과정이다. 여기에서 전경은 영상 화면 내에서 중요한 부분, 예를 들어 화면의 중심 인물 또는 사물을 의미하는 것이고, 배경은 화면 내에서 중요도가 떨어지는, 예를 들어 뒷 배경, 산, 나무 등의 사물을 의미하는 것이다.

수평 이동값 결정부(30)는 상기 시차 추정부(20)에 의해 추정된 시차를 수신하여 좌안 영상 및 우안 영상에 대한 수평 이동값을 결정한다. 수평 이동값 결정부(30)는 상기 수신한 추정 시차가 기설정된 범위에서의 시차와의 차이를 계산하고, 상기 계산된 차이에 대응하여 수평 이동값을 결정한다. 상기 기설정된 범위는 사용자의 시청 피로 안전범위를 포함하는 것으로서, 이는 공지의 시청피로 안전범위를 포함할 수 있다.

수평 이동부(40)는 상기 수평 이동값 결정부(30)에 의해 결정된 수평 이동값에 기초하여 좌안 영상 및 우안 영상을 수평 이동되도록 함으로써, 좌안 영상 및 우안 영상의 시차가 조정되도록 한다.

디스플레이부(50)는 상기 수평 이동부(40)에 의해 시차가 조정된 좌안 영상 및 우안 영상을 교대로 표시하여, 사용자가 입체감을 느낄 수 있도록 한다.

디스플레이부(50)는 상기 영상을 표시하는 디스플레이패널(미도시)을 포함하며, 상기 디스플레이패널(미도시)은, 액정층을 포함하는 액정패널 또는 유기물로 구성된 발광층을 포함하는 유기발광패널, 플라즈마 표시패널 등을 포함할 수 있다.

제어부(60)는, 상기 시차 추정부(20)에 의해 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정 임계값을 초과하는지 여부를 판단한다. 상기 판단 결과, 상기 계산된 시간적 변화율이 소정 임계값을 초과하면, 상기 수평 이동값 결정부(30)에 의해 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안영상 및 우안영상을 수평 이동하도록 상기 수평이동부(40)를 제어한다.

상기 영상분리부(10), 시차추정부(20), 상기 수평이동값 결정부(30)는 수신되는 입체 영상의 매 프레임마다 그 기능을 수행하게 된다. 제어부(60)는 소정 시간 동안 또는 소정 개수의 프레임동안 추정된 시차의 시간적 변화율을 계산하게 된다. 예를 들어, 제어부(60)는 적어도 하나의 프레임을 포함하는 한 씬(scene)을 기준으로 상기 추정된 시차의 시간적 변화율을 계산할 수 있다. 제어부(60)는 상기 계산된 시간적 변화율이 소정 임계값을 초과하는지 여부를 판단하고, 초과하는 것으로 판단되면, 상기 현재 프레임에 대하여 결정된 수평 이동값을 소정 범위로 제한한다. 예를 들어, 상기 소정 범위는 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값과의 차이값이 기설정된 범위가 되도록 하는 것이다. 바람직하게는, 상기 제어부는 상기 계산된 시간적 변화율이 소정 임계값을 초과하는 것으로 판단되면, 상기 현재 프레임에 대하여 결정된 수평 이동값을 적용하지 아니하고, 이전 프레임에 대하여 결정된 수평 이동값을 적용하여 좌안 영상 및 우안 영상을 수평 이동하도록 수평 이동부(40)를 제어한다.

또한, 제어부(60)는, 좌안 영상 및 우안 영상 중 어느 하나의 컬러 정보의 소정 시간의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정 임계값을 초과하는지 여부를 더 판단할 수 있다.

제어부(60)는 소정의 시간 동안 또는 소정 개수의 프레임 동안 상기 컬러 정보의 시간적 변화율을 계산할 수 있다. 예를 들어, 제어부(60)는 적어도 하나의 프레임을 포함하는 한 씬(scene)을 기준으로 상기 컬러 정보의 시간적 변화율을 계산할 수 있다.

상기 컬러 정보는 좌안 영상 및 우안 영상의 콘트라스트, 휘도 등의 정보를 포함할 수 있다.

제어부(60)는 상기 시차 추정의 시간적 변화율과 상기 컬러 정보의 시간적 변화율을 개별적으로 또는 복합하여 소정 임계값을 초과하는지 여부를 판단할 수 있다.

도 3에 도시된 바와 같이, 본 발명의 제 2실시예에 따른 영상처리장치(100)는 영상분리부(10), 시차 추정부(20), 수평 이동값 결정부(30), 수평 이동부(40), 디스플레이부(50), 오류 예측부(70) 및 이들을 제어하는 제어부(60)를 포함한다. 도 2와 차이점이 있다면, 제 2실시예에 따른 영상처리장치(100)는 오류 예측부(70)를 더 포함하는 것이다. 상기 영상분리부(10), 시차 추정부(20), 수평 이동값 결정부(30), 수평 이동부(40) 및 디스플레이부(50)에 대하여는 상기 도 2에서 설명한 바와 동일하므로, 여기에서는 생략하기로 한다.

오류 예측부(70)는 시차 추정부(20)로부터 좌안 영상 및 우안 영상의 추정된 시차를 수신하여 시차의 오류를 예측한다.

오류 예측부(70)는 좌안 및 우안 영상 사이의 추정된 시차 맵의 공간적 균일성 및/또는 SAD(Sum of Absolute Difference)의 가중 평균화된 통계량을 산출한다. 상기 산출된 평균화된 통계량이 크면 클수록 시차 추정에 있어서 오류가 발생할 확률이 높다.

제어부(60)는 상기 오류 예측부(70)로부터 오류 예측값을 수신하여 소정의 임계값을 초과하는지 여부를 판단하고, 판단 결과 상기 오류 예측값이 소정의 임계값을 초과하면 수평 이동값 결정부(30)에 의해 결정된 수평 이동값을 소정 범위로 제한하여, 상기 제한된 수평 이동값에 기초하여 좌안 및 우안 영상을 수평이동하도록 수평이동부(40)를 제어한다.

제어부(60)는 상기 오류 예측값이 소정 임계값을 초과하는 것으로 판단하면, 현재 프레임에 대하여 결정된 수평 이동값을 소정 범위로 제한한다. 예를 들어, 상기 소정 범위는 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값과의 차이가 기설정된 범위가 되도록 하는 것이다. 바람직하게는, 상기 제어부는 상기 오류 예측값이 소정 임계값을 초과하는 것으로 판단하면, 상기 현재 프레임에 대하여 결정된 수평 이동값을 적용하지 아니하고, 이전 프레임에 대하여 결정된 수평 이동값을 적용하여 좌안 영상 및 우안 영상을 수평 이동하도록 수평 이동부(40)를 제어한다.

도 4는 제1실시예에 따른 영상처리장치의 시차 조정의 일 예를 도시한 도면이다.

프레임 1 내지 프레임 5가 하나의 씬을 구성하는 것으로 가정한다. 영상분리부(10)는 프레임 1 내지 프레임 5를 각각 좌안 및 우안영상으로 분리하여 시차 추정부(20)로 전달한다. 시차 추정부(20)는 각 프레임의 시차를 추정하고, 이는 도 4의 (A) 열과 같다. 수평 이동값 결정부(30)는 상기 추정된 시차 분포로부터 포커스 제어 파라미터를 결정하고, 그 결과 프레임 1은 (a); 프레임 2는 (b); 프레임 3은 (c) 및 (d); 프레임 4는 (e) 및 (f); 프레임 5는 (g) 및 (h)로 결정된다. 도시된 바와 같이, 프레임 1 및 프레임 2의 소정의 시청 피로 안전 범위(X) 내에서 거의 유사한 포커스 제어 파라미터의 위치를 가지고 있다. 수평 이동값 결정부(30)는 상기 각 프레임에 대하여 각 포커스 제어 파라미터와 X 범위와의 시차 차이를 결정하여 수평 이동값을 결정한다.

제어부(60)는 프레임 1 내지 프레임 5의 시간 동안 상기 시차 추정부(20)에 의해 결정된 시차가 소정의 임계값을 초과하는지 여부를 판단한다. 판단 결과, 상기 시차가 소정의 임계값을 초과하면, 제어부는 수평 이동 결정값(30)에 의해 결정된 수평 이동값을 소정 범위로 제한하여 제한된 수평 이동값에 기초하여 좌안 및 우안 영상이 수평 이동되도록 수평 이동부(40)를 제어하게 된다.

따라서, 제어부(60)는 추정 시차가 급변한 프레임 3의 결정된 수평 이동값을 소정 범위로 제한하게 된다. 즉, 이전 프레임인 프레임 2에서 결정된 수평 이동값과 프레임 3의 수평 이동값과의 차이가 기설정된 범위 이내가 되도록 프레임 3의 수평 이동값을 제한하고, 상기 제한된 수평 이동값을 적용되도록 수평 이동부(40)를 제어할 수 있다. 예를 들어, 제어부(60)는 추정 시차가 급변한 프레임 3의 수평 이동값을 이전 프레임인 프레임 2에서 결정된 수평 이동값과 동일한 값이 되도록 하고, 상기 프레임 2에서 결정된 수평 이동값으로 프레임 3의 좌안 및 우안 영상이 수평 이동되도록 수평 이동부(40)를 제어할 수 있다.

이는 프레임 4 및 프레임 5에서도 동일하게 적용된다. 프레임 3이 프레임 2의 수평 이동값이 적용되었기에, 프레임 4 는 프레임 3의 수평 이동값(즉, 프레임 2의 수평 이동값)이 적용되고, 프레임 5는 프레임 4의 수평 이동값(즉, 프레임 2의 수평 이동값)이 적용된다.

그 결과는 도 4의 (B) 열을 참조한다. 한 씬에 포함된 프레임 1 내지 프레임 5가 모두 X 범위 내에서 거의 동일한 포커스 위치를 가지도록 좌안 및 우안 영상이 수평 이동되었다. 이로 인하여, 사용자의 시청 피로도는 적어도 한 씬 내에서는 포커스의 급변이 방지되어 현저히 감소될 수 있다.

본 발명의 제2실시예에 따른 영상처리장치에 따른 시차 조정도 상기 도 4에서 설명한 것과 유사하게 조정될 수 있다.

영상분리부(10)는 복수 개의 프레임의 좌안 및 우안영상으로 분리하여 시차 추정부(20)로 전달한다. 시차 추정부(20)는 각 프레임의 시차를 추정하고, 수평 이동값 결정부(40) 및 오류 예측부(70)로 상기 추정된 시차를 전달한다. 수평 이동값 결정부(40)는 상기 수신한 추정된 시차에 기초하여 수평 이동값을 결정한다. 오류 예측부(70)는, 상기 수신한 추정된 시차로부터 공간적 균일성 및/또는 SAD의 가중 평균화된 통계량을 계산하여 오류를 예측한다. 제어부(60)는 상기 예측한 오류 예측값이 소정 임계값을 초과하는지 여부를 판단하고, 소정 임계값이 초과하는 것으로 판단되면, 현재 프레임에 대해 결정된 수평 이동값을 소정 범위로 제한하여 제한된 수평 이동값이 적용되도록 수평 이동부(40)를 제어한다. 바람직하게는 제어부(60)는 현재 프레임에 대해 결정된 수평 이동값을 이전 프레임에 대해 결정된 수평 이동값으로 대체하고, 이전 프레임에 대해 결정된 수평 이동값이 적용되도록 수평 이동부(40)를 제어한다. 이로써, 오류 예측된 프레임에 대한 수평 이동이 조정되도록 하여 사용자에 의한 시청 피로도를 현저히 감소시킬 수 있다.

도 5는 제 1실시예에 따른 영상처리장치의 제어 흐름도이다.

영상처리장치의 영상처리방법은, 입체영상을 수신하여 좌안영상과 우안영상으로 분리하고(S11), 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정한다(S12). 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정한다(S13). 상기 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고(S14), 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단한다(S15). 상기 판단 결과 상기 시간적 변화율이 소정의 임계값을 초과하면, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 수평 이동부를 제어한다(S16). 상기 수평이동단계에서 상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한할 수 있다. 또는, 수평 이동단계에서 현재 프레임에 대한 수평 이동값을 이전 프레임에 대해 결정된 수평 이동값으로 대체하여, 이전 프레임에 대해 결정된 수평 이동값이 현재 프레임에 적용되도록 수평 이동부를 제어할 수 있다.

또한, 상기 좌안 영상 및 우안 영상 중 어느 하나의 컬러 정보의 소정의 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하는 단계를 더 포함할 수 있다. 상기 소정의 시간은 복수의 프레임을 포함하는 하나의 씬의 소요 시간을 포함한다.

만약 소정 임계값을 초과하지 않는 것으로 판단되면(S15), 상기 수평 이동값 결정부에 의해 결정된 수평 이동값에 기초하여 좌안 및 우안 영상을 수평이동하도록 수평 이동부를 제어한다(S17).

상기 수평 이동되어 시차가 조정된 좌안 및 우안 영상을 디스플레이부에서 교대로 표시되도록 한다(S18).

도 6은 제 2실시예에 따른 영상처리장치의 제어 흐름도이다.

입체영상을 수신하여 좌안영상과 우안영상으로 분리하고(S21), 상기 분리된 좌안영상 및 우안영상에 대한 시차를 추정한다(S22). 상기 추정된 시차를 이용하여 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정한다(S23). 상기 시차 추정단계에서 추정된 시차의 오류를 예측하고(S24), 상기 오류 예측 단계에서 예측된 오류 예측값이 소정의 임계값을 초과하는지 여부를 판단한다(S25).

상기 판단 결과 상기 오류 예측값이 소정의 임계값을 초과하면, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동한다(S26).

상기 수평이동단계에서 상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한할 수 있다. 또는, 수평 이동단계에서 현재 프레임에 대한 수평 이동값을 이전 프레임에 대해 결정된 수평 이동값으로 대체하여, 이전 프레임에 대해 결정된 수평 이동값이 현재 프레임에 적용되도록 수평 이동부를 제어할 수 있다.

상기 판단 결과 상기 오류 예측값이 소정의 임계값을 초과하지 않으면, 상기 수평 이동값 결정단계에서 결정된 수평 이동값에 기초하여 좌안 및 우안 영상이 수평 이동되도록 한다(S27).

상기 수평 이동되어 시차가 조정된 좌안 및 우안 영상을 디스플레이부에서 교대로 표시되도록 한다(S28).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CO-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

100: 영상처리장치 10: 영상분리부
20: 시차 추정부 30: 수평 이동값 결정부
40: 수평 이동부 50: 디스플레이부
60: 제어부 70: 오류 예측부

Claims

영상처리장치에 있어서,
3차원 영상의 현재 프레임에 대응하는 좌안영상 및 우안영상에 대한 시차를 추정하는 시차 추정부와;
상기 추정된 시차를 이용하여 포커스 제어 파라미터를 결정하고, 현재 프레임에 대하여 상기 포커스 제어 파라미터와 시청 피로 안전범위 간의 시차의 차이를 결정하는 것에 의해 상기 좌안 영상 및 상기 우안 영상에 대한 수평 이동값을 결정하는 수평이동값 결정부와;
상기 결정된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 수평이동부와;
상기 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하고, 판단 결과 초과하면, 상기 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평이동부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 제어부는, 상기 좌안 영상 및 우안 영상 중 어느 하나의 컬러 정보의 소정의 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 더 판단하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 소정 시간은 복수의 프레임을 포함하는 하나의 씬의 소요 시간에 대응하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 시차 추정부는 상기 소정 시간의 각 프레임 마다 시차 추정을 수행하고,
상기 제어부는, 상기 계산된 추정 시간의 시간적 변화율이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평 이동부를 제어하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 수평 이동부로부터 출력되는 상기 시차가 조정된 좌안 영상 및 우안 영상을 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 영상처리장치.
영상처리장치에 있어서,
3차원 영상의 현재 프레임에 대응하는 좌안영상 및 우안영상에 대한 시차를 추정하는 시차 추정부와;
상기 시차 추정부에 의해 추정된 상기 좌안영상 및 상기 우안영상에 대한 시차의 오류를 예측하는 오류 예측부와;
상기 추정된 시차를 이용하여 포커스 제어 파라미터를 결정하고, 현재 프레임에 대하여 상기 포커스 제어 파라미터와 시청 피로 안전범위 간의 시차의 차이를 결정하는 것에 의해 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 수평이동값 결정부와;
상기 결정된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 수평이동부와;
상기 예측된 오류 예측값이 소정의 임계값을 초과하는지 여부를 판단하고, 판단 결과 초과하면 상기 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평이동부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상처리장치.
제7항에 있어서,
상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 특징으로 하는 영상처리장치.
제7항에 있어서,
상기 시차 추정부는 소정 시간의 프레임 마다 시차 추정을 수행하고,
상기 제어부는, 상기 예측된 오류 예측값이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하도록 상기 수평 이동부를 제어하는 것을 특징으로 하는 영상처리장치.
제7항에 있어서,
상기 수평 이동부로부터 출력되는 상기 시차가 조정된 좌안 영상 및 우안 영상을 표시하는 디스플레이부를 더 포함하는 것을 특징으로 하는 영상처리장치.
영상처리장치의 영상처리방법에 있어서,
3차원 영상의 현재 프레임에 대응하는 좌안영상 및 우안영상에 대한 시차를 추정하는 단계와;
상기 추정된 시차를 이용하여 포커스 제어 파라미터를 결정하고, 현재 프레임에 대하여 상기 포커스 제어 파라미터와 시청 피로 안전범위 간의 시차의 차이를 결정하는 것에 의해 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 단계와;
상기 추정된 시차의 소정 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하는 단계와;
상기 판단 결과 상기 시간적 변화율이 소정의 임계값을 초과하면, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 수평이동단계에서 상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 좌안 영상 및 우안 영상 중 어느 하나의 컬러 정보의 소정의 시간 동안의 시간적 변화율을 계산하고, 상기 계산된 시간적 변화율이 소정의 임계값을 초과하는지 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 소정 시간은 복수의 프레임을 포함하는 하나의 씬의 소요 시간에 대응하는 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 시차 추정 단계는 상기 소정 시간의 각 프레임 마다 시차 추정을 수행하고,
상기 수평 이동 단계는, 상기 계산된 추정 시간의 시간적 변화율이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계인 것을 특징으로 하는 영상처리방법.
제11항에 있어서,
상기 수평 이동되어 상기 시차가 조정된 좌안 영상 및 우안 영상을 디스플레이부에서 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
영상처리장치의 영상처리방법에 있어서,
3차원 영상의 현재 프레임에 대응하는 좌안영상 및 우안영상에 대한 시차를 추정하는 단계와;
상기 추정된 시차를 이용하여 포커스 제어 파라미터를 결정하고, 현재 프레임에 대하여 상기 포커스 제어 파라미터와 시청 피로 안전범위 간의 시차의 차이를 결정하는 것에 의해 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 단계와;
상기 시차 추정단계에서 추정된 시차의 오류를 예측하는 오류 예측 단계와;
상기 오류 예측 단계에서 예측된 오류 예측값이 소정의 임계값을 초과하는지 여부를 판단하는 단계와;
상기 판단 결과 상기 오류 예측값이 소정의 임계값을 초과하면, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제17항에 있어서,
상기 수평이동단계에서 상기 소정 범위로의 제한은 이전 프레임에 대하여 결정된 수평 이동값과 현재 프레임에 대하여 결정된 수평 이동값 사이의 차이가 기설정된 범위가 되도록 현재 프레임에 대한 수평 이동값을 제한하는 것을 특징으로 하는 영상처리방법.
제17항에 있어서,
상기 시차 추정 단계는 소정 시간의 각 프레임 마다 시차 추정을 수행하고,
상기 수평 이동 단계는, 상기 판단 결과 상기 오류 예측값이 상기 소정의 임계값을 초과하면, 이전 프레임에 적용된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계인 것을 특징으로 하는 영상처리방법.
제17항에 있어서,
상기 수평 이동되어 상기 시차가 조정된 좌안 영상 및 우안 영상을 디스플레이부에서 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상처리방법.
제1항에 있어서,
상기 3차원 영상을 수신하고, 수신된 3차원 영상의 현재 프레임을 상기 좌안영상과 우안영상으로 분리하는 영상 분리부를 더 포함하는 것을 특징으로 하는 영상처리장치.
제1항에 있어서,
상기 제어부는 상기 소정 시간 동안 또는 소정 개수의 프레임 동안 추정된 시차의 시간적 변화율을 계산하는 것을 특징으로 하는 영상처리장치.
영상처리장치의 영상처리방법에 있어서,
3차원 영상의 현재 프레임에 대응하는 좌안영상 및 우안영상에 대한 시차를 추정하는 단계와;
상기 추정된 시차를 이용하여 포커스 제어 파라미터를 결정하고, 현재 프레임에 대하여 상기 포커스 제어 파라미터와 시청 피로 안전범위 간의 시차의 차이를 결정하는 것에 의해 상기 좌안 영상 및 상기 우안 영상에 대하여 수평 이동값을 결정하는 단계와;
상기 결정된 수평 이동값과 이전 프레임에 대해 결정된 수평 이동값의 차이가 소정의 임계값을 초과하는 경우, 상기 수평이동값 결정단계에서 결정된 수평 이동값을 소정 범위로 제한하여 상기 제한된 수평 이동값에 기초하여 상기 좌안 영상 및 우안 영상을 수평 이동하는 단계를 포함하는 것을 특징으로 하는 영상처리방법.
제11항 내지 제20항 및 제23항 중 어느 한 항에 기재된 영상처리방법을 수행하기 위한 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.