KR20130040771A - 입체 영상 처리 장치 및 방법 및 프로그램 - Google Patents

Abstract

본 발명은, 입체 영상을 볼 때의 눈의 피로를 경감시킬 수 있도록 하는 입체 영상 처리 장치 및 방법 및 프로그램에 관한 것이다. 씬 체인지 검출부(61)는, 입체 영상 신호로부터, 3초분의 입체 영상에 대응하는 프레임을 내부의 버퍼 등에 축적하여, 씬 체인지의 프레임을 특정한다. 시차 조정부(62)는, 씬 체인지 검출부(61)에 의해 특정된 씬 체인지의 프레임의 프레임 번호에 기초하여, 3초 전의 프레임과, 3초 후의 프레임을 취득하고, 2개의 프레임에서의 시차의 최대값을 특정하여 시차 계수 α를 구한다. 그리고, 시차 계수를 사용하여 시차 플레인의 최대 시차의 값이 조정된다.

Description

입체 영상 처리 장치 및 방법 및 프로그램{THREE-DIMENSIONAL VIDEO PROCESSING APPARATUS, METHOD THEREFOR, AND PROGRAM}

본 발명은, 입체 영상 처리 장치 및 방법 및 프로그램에 관한 것으로, 특히, 입체 영상을 볼 때의 눈의 피로를 경감시킬 수 있도록 하는 입체 영상 처리 장치 및 방법 및 프로그램에 관한 것이다.

사람은, 우안과 좌안으로 포착한 화상의 차이[시차(視差)]를 이용하여, 물체를 입체적으로 인식하고 있다. 안구의 회전 운동은 폭주각(輻輳角)을 변화시키고, 사람은 이것을 물체까지의 거리로서 인식한다. 여기서 폭주각이라 함은, 시선의 교차각이다.

이러한 사람의 눈의 특성을 이용하여, 좌우안용에 시차를 부여한 2개의 2차원 화상 준비하고, 각각을 좌우의 눈에 따로따로 비추면, 그 폭주각으로부터 물체까지의 거리를 착각하여 입체를 느낀다. 여기서 시차라 함은, 좌우안용 화상의 어긋남량이다.

좌우안용 화상을 1매씩 사용하여 표시한 것을 입체 화상, 좌우안용 화상을 복수매씩 준비하여, 그들을 연속적으로 변화시킨 것을 입체 영상이라 칭한다. 또한, 그들을 표시할 수 있는 장치를 입체 영상 표시 장치라 칭한다.

또한, 좌우 한 쌍의 렌즈부가 투시 상태와 차광 상태로 교대로 전환되는 셔터 안경을 사용하여, 우안용 화상과 좌안용 화상을 디스플레이에 시차를 갖도록 교대로 표시시켜, 우안용 화상과 좌안용 화상의 전환 타이밍에 맞추어 좌우의 렌즈부를 투시 상태와 차광 상태로 교대로 전환 제어함으로써, 셔터 안경의 전환 조작을 불필요하게 하는 입체 화상 표시 장치도 제안되어 있다(예를 들어, 특허문헌 1 참조).

일본 특허 출원 공개 제2001-320734호 공보

그러나, 예를 들어 씬 체인지가 발생할 때에는, 전혀 다른 영상이 연속해서 표시되므로, 입체 영상에서는 시간적으로 불연속인 시차가 발생하는 경향이 있다.

예를 들어, 씬 체인지 전에는 시차 없는 2차원 오브젝트, 씬 체인지 후에는 시차 있는 입체 오브젝트가 표시되었다고 하자. 그 경우, 2차원 오브젝트를 보기 위한 폭주각 α와 입체 오브젝트를 보기 위한 폭주각 β가 크게 다르기 때문에, 시청자는 안구를 회전시켜, 폭주각을 급격하게 변화시킬 것을 강요당한다.

이러한 급격한 시차 변화에 수반되는 폭주각의 조정은 눈의 피로를 수반한다고 여겨지고 있고, 종래의 기술에서는, 예를 들어 씬 체인지의 발생에 수반되는 눈의 피로 문제를 해결할 수 없었다.

본 발명은 이러한 상황에 비추어 이루어진 것이며, 입체 영상을 볼 때의 눈의 피로를 경감시킬 수 있도록 하는 것이다.

본 발명의 일 측면은, 단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서, 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하는 프레임 특정 수단과, 상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값을 특정하는 최대 시차 특정 수단과, 상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수를 산출하는 시차 계수 산출 수단과, 상기 처리 대상 프레임의 시차의 최대값을 상기 산출된 시차 계수를 곱함으로써 조정하는 시차 조정 수단을 구비하는 입체 영상 처리 장치이다.

상기 입체 영상 신호의 프레임 각각에서의 시차는, 상기 입체 영상 신호의 프레임에 포함되는 정보이며, 화소마다의 시차를 나타내는 시차 플레인에 기초하여 특정되도록 할 수 있다.

상기 입체 영상 신호의 프레임 각각에서의 시차는, 상기 입체 영상 신호의 프레임에 포함되는 우안용 화상 데이터와 좌안용 화상 데이터의 화소의 차분을 산출함으로써 특정되도록 할 수 있다.

상기 프레임 특정 수단은, 상기 입체 영상 신호의 영상 중에서 씬 체인지의 프레임을 검출함으로써, 상기 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하도록 할 수 있다.

상기 프레임 특정 수단은, 시간적으로 연속되는 전후 2개의 프레임의 시차의 최대값의 차분에 기초하여, 상기 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하도록 할 수 있다.

본 발명의 일 측면은, 프레임 특정 수단이, 단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서, 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하고, 최대 시차 특정 수단이, 상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값을 특정하고, 시차 계수 산출 수단이, 상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수를 산출하고, 시차 조정 수단이, 상기 처리 대상 프레임의 시차의 최대값을 상기 산출된 시차 계수를 곱함으로써 조정하는 스텝을 포함하는 입체 영상 처리 방법이다.

본 발명의 일 측면은, 컴퓨터를, 단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서, 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하는 프레임 특정 수단과, 상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값을 특정하는 최대 시차 특정 수단과, 상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임의 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수를 산출하는 시차 계수 산출 수단과, 상기 처리 대상 프레임의 시차의 최대값을 상기 산출된 시차 계수를 곱함으로써 조정하는 시차 조정 수단을 구비하는 입체 영상 처리 장치로서 기능시키는 프로그램이다.

본 발명의 일 측면에 있어서는, 단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서, 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임이 특정되고, 상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값이 특정되고, 상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수가 산출되고, 상기 처리 대상 프레임의 시차의 최대값이, 상기 산출된 시차 계수가 곱해짐으로써 조정된다.

본 발명에 따르면, 입체 영상을 볼 때의 눈의 피로를 경감시킬 수 있다.

도 1은 사람의 눈이 입체 영상을 인식하는 구조를 설명하는 도면이다.
도 2는 시차를 갖는 우안용 화상과 좌안용 화상의 예를 나타내는 도면이다.
도 3은 도 2에 나타내어진 입체 영상이 사람에 의해 관찰되는 예를 나타내는 도면이다.
도 4는 시간의 경과에 수반되는 시차의 변화를 그래프로서 나타낸 도면이다.
도 5는 입체 영상을 관찰하는 경우의 시선의 폭주각의 변화를 설명하는 도면이다.
도 6은 본 발명의 일 실시 형태에 관한 입체 영상 표시 시스템의 구성예를 나타내는 블록도이다.
도 7은 도 6의 시차 처리부의 상세한 구성예를 나타내는 블록도이다.
도 8은 입체 영상 신호의 프레임의 구성예를 나타내는 도면이다.
도 9는 씬 체인지 플래그열의 예를 나타내는 도면이다.
도 10은 프레임 번호 P－180의 프레임과 프레임 번호 P＋180의 프레임의 우안용 플레인, 좌안용 플레인, 시차 플레인의 예를 나타내는 도면이다.
도 11은 시차 처리부에 의한 처리가 실시되기 전의 입체 영상 신호의 시차의 최대값의 변화를 나타내는 그래프이다.
도 12는 시차 처리부에 의한 처리가 실시된 후의 입체 영상 신호의 시차의 최대값의 변화를 나타내는 그래프이다.
도 13은 시차 처리부에 의한 처리가 실시되기 전의 우안용 플레인, 좌안용 플레인, 시차 플레인의 예를 나타내는 도면이다.
도 14는 시차 처리부에 의한 처리가 실시된 후의 우안용 플레인, 좌안용 플레인, 시차 플레인의 예를 나타내는 도면이다.
도 15는 입체 영상 신호 보정 처리의 예를 설명하는 흐름도이다.
도 16은 퍼스널 컴퓨터의 구성예를 나타내는 블록도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대해 설명한다.

우선, 입체 영상의 표시에 대해 설명한다.

도 1은 사람의 눈이 입체 영상을 인식하는 시스템을 설명하는 도면이다.

도 1에 나타내어진 바와 같이, 사람은, 우안이 포착한 화상과 좌안이 포착한 화상의 차이(시차)를 이용하여, 물체를 입체적으로 인식하도록 되어 있다. 도 1의 예에서는, 우안이 포착한 화상과 좌안이 포착한 화상에 있어서, 원형의 동일한 물체가 표시되어 있지만, 그 표시 위치가 다르다.

사람이 주목하는 물체에 시선의 초점을 맞추기 위해, 우안과 좌안의 안구를 회전시키게 된다. 안구의 회전 운동은 폭주각을 변화시키고, 사람은 폭주각에 의해 물체까지의 거리를 인식하고, 그 결과 입체적인 영상이 인식되는 것이다. 여기서 폭주각이라 함은, 시선의 교차각이다.

따라서, 예를 들어 2차원의 표시부에 입체 영상을 표시시키는 경우, 시차를 갖는 우안용 화상과 좌안용 화상을 준비하여 표시하도록 하면 좋다. 예를 들어, 도 2에 나타내어진 바와 같이, 시차를 갖는 우안용 화상과 좌안용 화상을 동시에 2차원의 표시부에 표시하면, 그 시차에 의해, 도면 중의 삼각형의 물체가 입체적으로(예를 들어, 표시부로부터 튀어나와 있는 것과 같이) 표시되도록 할 수 있다.

또한, 우안용 화상과 좌안용 화상은, 예를 들어 각각 적색과 청색의 광으로 겹쳐 표시되고, 각각 적색과 청색 컬러 필터가 부착된 안경에 의해 분리됨으로써, 사람의 우안과 좌안에 의해 관찰된다.

도 3은, 도 2에 나타내어진 입체 영상이 사람에 의해 관찰되는 예를 나타내는 도면이다. 도 3에 나타내어진 바와 같이, 좌안의 시선은, 좌안용 화상의 물체의 대략 중앙에 맞추어지고, 우안의 시선은, 우안용 화상의 물체의 대략 중앙에 맞추어져 있다. 그렇게 하면, 도면 중 점선으로 나타내어져 있는 좌안의 시선과 우안의 시선의 교차하는 위치에, 마치 물체가 튀어나와 있는 것과 같이 느껴지는 것이다.

그러나, 예를 들어 입체 영상 중에서 씬 체인지가 발생할 때에는, 전혀 다른 영상이 연속해서 표시되게 되므로, 시간적으로 불연속인 시차가 발생하는 경우가 있다.

도 4는 횡축을 시간으로 하고, 종축을 각 시각에서의 입체 영상의 시차의 최대값으로 하여, 시간의 경과에 수반되는 시차의 변화를 그래프로서 나타낸 도면이다. 도 4의 예에서는, 시각 t1에 있어서 씬 체인지가 발생한 것으로 한다.

도 4의 그래프는, 시각 t1에 있어서 불연속으로 되어 있다. 즉, 입체 영상에 있어서, 시간적으로 불연속인 시차가 발생한 것이다.

이러한 급격한 시차 변화에 수반되는 폭주각의 조정은 눈의 피로를 수반한다고 여겨지고 있다. 설명을 간단하게 하기 위해, 예를 들어 영상에 있어서 주목하고 있는 오브젝트가 2차원으로 표시되어 있는 씬으로부터, 그 오브젝트가 입체적으로 표시되는 씬으로 전환되는 씬 체인지를 생각한다.

예를 들어, 도 5에 나타내어진 바와 같이, 오브젝트가 2차원으로 표시되어 있는 씬에서는, 사람의 우안과 좌안의 안구는, 시선의 폭주각이 α로 되는 방향을 향하고 있다. 그 직후, 씬 체인지가 발생하여 오브젝트가 입체적으로 표시되는 씬으로 전환되면, 우안과 좌안의 안구는, 시선의 폭주각이 β로 되도록 회전된다. 이와 같이, 급격하게 안구를 회전시키는 것이 눈의 피로로 이어진다.

또한, 폭주각의 변화와 눈의 피로에 대해서는, 「기시 노부스케 외, 2안식 입체 영상의 콘텐츠 평가 시스템의 시험 제작, 영상 정보 미디어학회지, 2006, Vol.60, No.6 pp.934-942」, 「하라시마 히로시 외, 3차원 화상과 사람의 과학, 오옴사, 2000」등의 문헌에 개시되어 있다.

따라서, 본 발명에서는 입체 영상 중에서 시간적으로 불연속인 시차가 발생하지 않도록 한다.

도 6은 본 발명의 일 실시 형태에 관한 입체 영상 표시 시스템의 구성예를 나타내는 블록도이다. 도 6에 나타내어진 바와 같이, 입체 영상 표시 시스템(10)은, 입체 영상 표시 장치(21)와 디스플레이(22)에 의해 구성되어 있다.

입체 영상 표시 장치(21)는, 내부에 입체 영상 신호 취득부(41) 및 시차 처리부(42)를 갖는 구성으로 되어 있다.

입체 영상 신호 취득부(41)는, 예를 들어 튜너 등, 방송파로서 송신된 입체 영상 신호를 수신하는 것으로서 구성된다. 또한, 입체 영상 신호 취득부(41)는, 예를 들어 드라이브 등과 같이, DVD, HDD 등의 기록 매체에 기록된 입체 영상 신호를 판독하는 것으로서 구성되도록 해도 된다.

시차 처리부(42)는, 입체 영상 신호 취득부(41)에 의해 취득된 입체 영상 신호에 대해, 입체 영상 중에서 시간적으로 불연속인 시차가 발생하지 않도록 신호를 보정하는 처리를 실시하는 기능 블록으로 된다. 또한, 시차 처리부(42)의 상세한 구성에 대해서는, 도 7을 참조하여 후술한다.

디스플레이(22)는, 예를 들어 LCD(Liquid Crystal Display) 등에 의해 구성되고, 2차원의 화상 표시 영역을 갖는 것이 된다. 사용자는, 예를 들어 컬러 필터가 부착된 안경 등을 장착하여, 디스플레이(22)에 표시된 입체 영상을 보도록 되어 있다.

또한, 디스플레이(22)는, 예를 들어 스크린 등에 의해 구성되고, 입체 영상 표시 장치(21)로부터 투영된 입체 영상이 스크린에 표시되도록 해도 된다. 또한, 입체 영상 표시 장치(21)와 디스플레이(22)가 일체화된 장치로서, 입체 영상 표시 시스템(10)이 구성되도록 하는 것도 가능하다.

도 7은 도 6의 시차 처리부(42)의 상세한 구성예를 나타내는 블록도이다. 도 7에 나타내어진 바와 같이, 시차 처리부(42)는 씬 체인지 검출부(61) 및 시차 조정부(62)를 갖는 구성으로 되어 있다.

씬 체인지 검출부(61)는, 입체 영상 신호로부터, 씬 체인지의 프레임을 특정하도록 되어 있다. 씬 체인지 검출부(61)는, 예를 들어 3초분의 입체 영상에 대응하는 입체 영상 신호의 프레임을 내부의 버퍼 등에 축적하여, 씬 체인지의 프레임을 특정하도록 되어 있다.

도 8은 입체 영상 신호의 프레임의 구성을 설명하는 도면이다. 입체 영상 신호는, 프레임 단위로 구성되어 있는 것으로 한다. 도 8은 입체 영상 신호의 1프레임에 포함되는 정보를 나타내고 있다. 또한, 동화상을 표시시키는 신호인 입체 영상 신호는, 예를 들어 1초간 60프레임을 포함하게 된다. 즉, 60프레임분의 입체 영상 신호에 의해, 1초간의 입체 영상을 표시시킬 수 있다.

도 8의 예에서는, 입체 영상 신호의 프레임은, 우안용 플레인, 좌안용 플레인, 시차 플레인 및 씬 체인지 플래그를 갖는 구성으로 되어 있다. 또한, 이 밖에도 프레임 헤더, 오류 검출 비트 등의 정보가 당해 프레임에 적절하게 삽입된다.

우안용 플레인 및 좌안용 플레인은, 디스플레이(22)에 표시되는 1화면분의 화상 데이터로 된다. 또한, 도 8의 예에서는, 설명을 간단하게 하기 위해, 디스플레이(22)에 표시되는 1화면분의 화상은, 64(＝8×8)화소로 구성되는 것으로 하고, 우안용 플레인 및 좌안용 플레인의 각 직사각형 각각이 1화소를 나타내는 것으로 한다.

우안용 플레인 및 좌안용 플레인에는, 각각 64개의 직사각형이 나타내어져 있고, 각 직사각형의 내부에는「0」또는「1」이 기재되어 있다. 여기서는, 설명을 간단하게 하기 위해, 도면 중「0」이라 기재된 직사각형은, 흑색의 화소를 나타내는 것으로 하고, 도면 중「1」이라 기재된 직사각형은, 백색의 화소를 나타내는 것으로 한다.

도 8의 예는, 흑색의 배경에 2×4 화소의 백색의 물체가 표시되는 화상을 나타내고 있고, 2×4 화소의 백색의 물체의 표시 위치가, 우안용 플레인과 좌안용 플레인에서는 다르도록 이루어져 있다. 즉, 도 3을 참조하여 상술한 바와 같이, 시차를 갖는 화상이 표시되어, 그 물체가 마치 화면으로부터 튀어나와 있는 것과 같이 느껴진다.

우안용 플레인과 좌안용 플레인의 표시 위치의 차이는, 시차 플레인에 의해 특정할 수 있다. 시차 플레인은, 우안용 플레인 및 좌안용 플레인의 각 화소에 대응하는 64개의 직사각형을 갖고 있고, 우안용 플레인의 화소가, 좌안용 플레인에 있어서 몇 화소 어긋나 있는지를 나타내는 정보가 된다. 도 8의 예에서는, 우안용 플레인에서의 2×4 화소의 백색의 물체의 표시 위치에 대응하는 부분의 직사각형에 각각「2」가 기재되어 있다. 이것은, 우안용 플레인에서의 2×4 화소의 백색의 물체가, 좌안용 플레인에 있어서 우측으로 2 화소 어긋나 표시되는 것을 나타내고 있다.

씬 체인지 플래그는, 씬 체인지의 발생을 특정하기 위한 플래그가 된다. 예를 들어, 씬 체인지 플래그는,「0」또는「1」을 나타내는 비트로서 구성되고, 씬 체인지 플래그가「1」인 경우, 다음 프레임에 있어서 씬 체인지가 발생하는 것을 나타낸다. 도 8의 예에서는, 씬 체인지 플래그로서「0」이 기재되어 있으므로, 다음 프레임에서는 씬 체인지가 발생하지 않는 것을 나타내고 있다.

또한 도 8에는 나타내어져 있지 않지만, 입체 영상 신호의 프레임 각각에는, 선두 프레임으로부터 세어 몇 번째의 프레임인지를 나타내는 프레임 번호가 부가된다.

상술한 바와 같이, 씬 체인지 검출부(61)는, 예를 들어 3초분의 입체 영상에 대응하는 입체 영상 신호의 프레임을 내부의 버퍼 등에 축적하여, 씬 체인지의 프레임을 특정하도록 이루어져 있다. 즉, 도 8에 나타내어진 바와 같은 프레임이 180(＝3×60)개 버퍼에 축적된다. 씬 체인지 검출부(61)는, 축적된 180개의 프레임 각각으로부터, 씬 체인지 검출 플래그를 추출하여, 씬 체인지 플래그열을 생성한다. 도 9는 씬 체인지 플래그열의 예를 나타내는 도면이다.

도 9의 예에서는, 프레임 번호에 씬 체인지 검출 플래그가 대응됨으로써, 씬 체인지 플래그열이 생성되어 있다. 또한, 선두(영상의 개시 시점) 프레임은 프레임 번호 0인 것으로 하고, 이 예에서는, 프레임 번호 0으로부터 179까지의 180개(3초분)의 프레임의 씬 체인지 검출 플래그에 의해, 씬 체인지 플래그열이 생성되어 있다.

도 9의 예에서는, 프레임 번호 8에 대응하는 씬 체인지 검출 플래그가「1」로 되어 있고, 프레임 번호 9의 프레임에서, 씬이 전환되는 것을 알 수 있다. 즉, 프레임 번호 0으로부터 8까지의 프레임의 영상과, 프레임 번호 9로부터 179까지의 프레임의 영상에서는 씬이 달라진다.

시차 조정부(62)는, 씬 체인지 검출부(61)에 의해 특정된 씬 체인지의 프레임의 프레임 번호에 기초하여, 입체 영상 신호의 프레임을 취득하고, 내부의 버퍼 등에 축적한다. 여기서, 씬 체인지 검출부(61)에 의해 특정된 씬 체인지의 프레임은, 씬 체인지 검출 플래그가「1」인 프레임이 되어, 도 9의 예에서는 프레임 번호 8의 프레임이다.

예를 들어, 씬 체인지 검출부(61)에 의해 특정된 씬 체인지의 프레임의 프레임 번호를 P라 하면, 프레임 번호가 P－180인 프레임과, 프레임 번호가 P＋180인 프레임을 취득하여 축적(기억)한다. 즉, 씬 체인지가 발생하는 프레임의 3초 전의 프레임과, 3초 후의 프레임이 취득되는 것이다.

또한, 예를 들어 도 9에 나타내어진 예와 같이, 프레임 번호 P－180의 프레임이 존재하지 않는 경우는, 예를 들어 그 대신에 프레임 번호 0의 프레임이 취득되도록 해도 좋다.

시차 조정부(62)는, 상술한 2개의 프레임에서의 시차의 최대값을 특정한다. 즉, 각 프레임의 시차 플레인의 수치 중 최대의 값이 특정된다. 여기서, 프레임 번호 P－180의 프레임의 시차의 최대값을 Db라 하고, 프레임 번호 P＋180의 프레임의 시차의 최대값을 Da라 한다.

그리고 시차 조정부(62)는, 시간적으로 불연속인 시차가 발생하지 않도록 신호를 보정하는 처리 대상이 되는 프레임의 최대 시차의 값을 조정하기 위한 계수인 시차 계수 α를 수학식 1에 의해 구한다.

수학식 1의 Pc는 처리 대상이 되는 프레임의 번호로 하고, Dc는 프레임 번호 Pc의 프레임의 시차의 최대값이 된다. 또한, 수학식 1의 F는, 1초간의 프레임 수를 나타내는 값이 되고, 상술한 예에서는 F의 값은 60이 된다.

시차 계수 α는, 처리 대상이 되는 프레임마다 구해진다. 즉, 프레임 번호가 P－180으로부터 P＋180까지인 각각의 프레임에 대해, 개별로 시차 계수 α가 산출되어 간다.

예를 들어, 프레임 번호 P－180의 프레임과 프레임 번호 P＋180의 프레임의 우안용 플레인, 좌안용 플레인, 시차 플레인이 각각 도 10에 나타내어진 것이었다고 하자. 시차 처리부(42)는, 2개의 프레임의 시차 플레인의 수치 중 최대의 값을 시차의 최대값으로서 특정한다. 이제, Da의 값이 4가 되고, Db의 값이 2가 된다.

수학식 1에 상술한 F, Da, Db의 값을 각각 대입하면, 수학식 2가 얻어진다.

시차 조정부(62)는, 프레임 번호 P－180으로부터 프레임 번호 P＋180의 프레임 각각의 최대 시차를, 상술한 바와 같이 하여 구한 시차 계수 α를 이용하여 조정한다. 예를 들어, 상술한 수학식 2의 P에, 실제로 씬 체인지가 발생하는 프레임 번호를 대입하고, Pc에 처리 대상인 프레임 번호를 대입하고, Dc에 그 시차의 최대값을 대입하여 처리 대상의 프레임 번호마다 α를 구한다.

그리고 시차 조정부(62)는, Dc의 값에 α를 곱함으로써, 프레임 번호 Pc의 프레임의 최대 시차를 조정한다(보정한다). 또한, 프레임 번호가 P－180으로부터 P＋180까지인 프레임이 각각 처리 대상 프레임이 되어, 개별로 산출된 시차 계수 α가 각각의 프레임의 시차의 최대값에 곱해져 간다.

도 11과 도 12를 참조하여 더 설명한다. 설명을 간단하게 하기 위해, 프레임 번호 0으로부터 P까지의 사이의 최대 시차의 값이 항상 2였던 것으로 하고, 프레임 번호 P＋1로부터 마지막 프레임까지의 사이의 최대 시차의 값이 항상 4였던 것으로 한다.

도 11은 시차 처리부(42)에 의한 처리가 실시되기 전의 입체 영상 신호의 시차의 최대값의 변화를 나타내는 그래프이다. 도 11에 있어서는, 횡축을 프레임 번호로 하고, 종축을 시차의 값으로 하고, 씬 체인지의 프레임은, 프레임 번호 P의 프레임으로 하고 있다. 도 11에 나타내어진 바와 같이, 프레임 번호 P의 프레임과, 프레임 번호 P＋1의 프레임 사이에서, 시차의 최대값이 불연속으로 변화되고 있다.

도 12는 시차 처리부(42)에 의한 처리가 실시된 후의 입체 영상 신호의 시차의 최대값의 변화를 나타내는 그래프이다. 도 12에 있어서도, 도 11의 경우와 마찬가지로, 횡축을 프레임 번호로 하고, 종축을 시차의 값으로 하고, 씬 체인지의 프레임은, 프레임 번호 P의 프레임으로 하고 있다. 도 12의 그래프에 실선으로 나타내어진 선에 의해, 시차 처리부(42)에 의한 처리가 실시된 후의 입체 영상 신호의 시차의 최대값의 변화가 나타내어져 있고, 점선으로 나타내어진 선에 의해, 시차 처리부(42)에 의한 처리가 실시되기 전의 입체 영상 신호의 시차의 최대값의 변화가 나타내어져 있다.

도 12에 나타내어진 바와 같이, 시차 처리부(42)에 의한 처리가 실시됨으로써, 프레임 번호 P－180으로부터 P＋180까지의 프레임 각각의 최대 시차가 조정되어 있다. 즉, 프레임 번호 P－180으로부터 P까지의 프레임의 최대 시차는, 원래의 값보다 커지도록 조정되고, 프레임 번호 P＋1로부터 P＋180까지의 프레임의 최대 시차는, 원래의 값보다 작아지도록 조정되어 있다. 그리고 프레임 번호 P－180의 프레임으로부터 P＋180의 프레임까지, 최대 시차가 서서히 커지도록 조정되어 있다.

즉, 입체 영상 중에서 시간적으로 불연속인 시차가 발생하지 않도록 신호를 보정하는 처리가 실시된 것이다.

예를 들어, 처리 대상 프레임이 마침 씬 체인지의 프레임이었던 경우, Pc＝P가 된다. 그리고 프레임 번호 P의 프레임의 우안용 플레인, 좌안용 플레인, 시차 플레인이 각각 도 13에 나타내어진 것이었다고 하자. 도 13에 나타내어진 바와 같이, 프레임 번호 P의 프레임의 시차의 최대값은 2이다.

도 13에서의 프레임 번호와 시차의 최대값을 수학식 2에 대입하면, α의 값은 1.5가 된다.

시차 조정부(62)에 의해, 도 13의 시차 플레인에서의 시차의 최대값에 α가 곱해진다. 이 경우, 시차의 최대값이, 2×1.5＝3이 되도록 조정된다. 따라서, 시차 처리부(42)에 의한 처리가 실시된 후의 프레임 번호 P의 프레임의 우안용 플레인, 좌안용 플레인, 시차 플레인은 각각 도 14에 나타난 바와 같이 된다.

이와 같이 하여, 시차가 조정되어 보정된 입체 영상 신호가 디스플레이(22)에 출력된다.

이와 같이 함으로써, 입체 영상 중에서 시간적으로 불연속인 시차가 발생하지 않게 할 수 있어, 사용자의 눈의 피로를 경감시킬 수 있다. 보정된 입체 영상 신호의 시차의 최대값은, 씬 체인지의 발생 시각을 중심으로 하여 서서히 변화되도록 조정되므로, 사용자에게 부자연스러운 인상을 주지 않도록 할 수 있다.

다음으로, 도 15의 흐름도를 참조하여 시차 처리부(42)에 의한 입체 영상 신호 보정 처리의 예에 대해 설명한다.

스텝 S21에 있어서, 씬 체인지 검출부(61)는, 입체 영상 신호 취득부(41)로부터 공급되는 입체 영상 신호에 기초하여, 씬 체인지의 프레임의 프레임 번호를 특정한다. 이때, 씬 체인지 검출부(61)는, 예를 들어 3초분의 입체 영상에 대응하는 입체 영상 신호의 프레임을 내부의 버퍼 등에 축적하고, 도 9를 참조하여 상술한 바와 같이 씬 체인지 플래그열을 생성한다. 그리고 씬 체인지 플래그열에 기초하여 씬 체인지의 프레임의 프레임 번호 P가 특정된다.

스텝 S22에 있어서, 시차 조정부(62)는, 스텝 S21의 처리에서 씬 체인지 검출부(61)에 의해 특정된 씬 체인지의 프레임의 프레임 번호에 기초하여, 입체 영상 신호의 프레임을 취득한다. 이때, 프레임 번호가 P－180인 프레임과, 프레임 번호가 P＋180인 프레임이 취득된다.

스텝 S23에 있어서, 시차 조정부(62)는, 상술한 2개의 프레임에서의 시차의 최대값을 특정한다. 즉, 각 프레임의 시차 플레인의 수치 중 최대의 값이 특정된다.

스텝 S24에 있어서, 시차 조정부(62)는, 시차 계수 α를 수학식 1에 의해 구한다.

스텝 S25에 있어서, 시차 조정부(62)는, 시차 플레인의 최대 시차의 값을 조정한다.

또한, 스텝 S24와 스텝 S25의 처리는, 프레임 번호가 P－180으로부터 P＋180까지인 프레임이 각각 처리 대상 프레임으로 되어 개별로 실행된다. 즉, 수학식 1의 변수 Pc가, 예를 들어 P－180으로부터 P＋180까지 순차 카운트업되어 스텝 S24와 스텝 S25의 처리가 실행되어 간다.

스텝 S26에 있어서, 시차 조정부(62)는, 스텝 S25의 처리를 거쳐서 시차가 조정된, 보정 후의 입체 영상 신호를 출력한다.

이와 같이 하여, 입체 영상 신호 보정 처리가 실행된다.

이상에 있어서는, 입체 영상 신호의 프레임에 시차 플레인이 포함되어 있는 것을 전제로 하여 설명하였지만, 입체 영상 신호의 프레임에 시차 플레인이 포함되지 않는 경우라도, 본 발명을 적용하는 것이 가능하다. 시차 플레인이 포함되지 않는 경우, 예를 들어 시차 처리부(42)에 있어서, 블록 매칭 처리 등에 의해, 우안용 플레인과 좌안용 플레인에서의 오브젝트(물체)의 위치의 어긋남을 특정하여, 시차 플레인과 마찬가지의 정보를 얻도록 하면 된다.

또한, 이상에 있어서는, 입체 영상 신호의 프레임에 씬 체인지 검출 플래그가 포함되는 것을 전제로 하여 설명하였지만, 입체 영상 신호의 프레임에 씬 체인지 검출 플래그가 포함되지 않는 경우라도, 본 발명을 적용하는 것이 가능하다. 씬 체인지 검출 플래그가 포함되지 않는 경우, 예를 들어 미리 입체 영상 신호로부터 얻어지는 화상 데이터의 화소의 휘도값의 히스토그램 등에 기초하여 씬 체인지를 검출하여, 씬 체인지 검출 플래그와 마찬가지의 정보를 얻도록 하면 된다.

또한, 이상에 있어서는, 씬 체인지의 프레임을 기준으로 하여, 시차의 조정이 행해지는 예에 대해 설명하였다. 즉, 수학식 1에 있어서, 프레임 번호 P는, 씬 체인지의 프레임인 것으로 하여 설명하였다. 그러나, 예를 들어 각 프레임의 시차의 최대값의 변화에 기초하여 기준이 되는 프레임이 특정되도록 해도 된다. 예를 들어, 사전에, 시차의 최대값의 차분 절대값이 임계값 이상이 되는 번호 P의 프레임과 번호 P＋1의 프레임이 검출되고, 그 번호 P의 프레임을 기준으로 하여, 시차의 조정이 행해지도록 해도 된다.

또한, 상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터에 네트워크나 기록 매체로부터 인스톨된다. 또한, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 도 16에 나타내어진 범용의 퍼스널 컴퓨터(700) 등에, 네트워크나 기록 매체로부터 인스톨된다.

도 16에 있어서, CPU(Central Processing Unit)(701)는, ROM(Read Only Memory)(702)에 기억되어 있는 프로그램, 또는 기억부(708)로부터 RAM(Random Access Memory)(703)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(703)에는 또한, CPU(701)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절하게 기억된다.

CPU(701), ROM(702) 및 RAM(703)은, 버스(704)를 통해 서로 접속되어 있다. 이 버스(704)에는 또한, 입출력 인터페이스(705)도 접속되어 있다.

입출력 인터페이스(705)에는, 키보드, 마우스 등으로 이루어지는 입력부(706), LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이 및 스피커 등으로 이루어지는 출력부(707)가 접속되어 있다. 또한, 입출력 인터페이스(705)에는, 하드디스크 등으로 구성되는 기억부(708), 모뎀, LAN 카드 등의 네트워크 인터페이스 카드 등으로 구성되는 통신부(709)가 접속되어 있다. 통신부(709)는, 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.

입출력 인터페이스(705)에는 또한, 필요에 따라서 드라이브(710)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(711)가 적절하게 장착되어 있다. 그리고 그들 리무버블 미디어로부터 판독된 컴퓨터 프로그램이, 필요에 따라서 기억부(708)에 인스톨된다.

상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 인터넷 등의 네트워크나, 리무버블 미디어(711) 등으로 이루어지는 기록 매체로부터 인스톨된다.

또한, 이 기록 매체는, 도 16에 나타내어진 장치 본체와는 별도로, 사용자에게 프로그램을 송신하기 위해 배포되는, 프로그램이 기록되어 있는 자기 디스크[플로피 디스크(등록 상표)를 포함함], 광 디스크[CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함], 광자기 디스크[MD(Mini-Disk)(등록 상표)를 포함함], 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(711)에 의해 구성되는 것뿐만 아니라, 장치 본체에 미리 내장된 상태에서 사용자에게 송신되는, 프로그램이 기록되어 있는 ROM(702)이나, 기억부(708)에 포함되는 하드디스크 등으로 구성되는 것도 포함한다.

또한, 본 명세서에 있어서 상술한 일련의 처리는, 기재된 순서에 따라 시계열적(時系列的)으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.

또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

10 : 입체 영상 표시 시스템
21 : 입체 영상 표시 장치
22 : 디스플레이
41 : 입체 영상 신호 취득부
42 : 시차 처리부
61 : 씬 체인지 검출부
62 : 시차 조정부

Claims (7)

1. 입체 영상 처리 장치로서,
   단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서, 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하는 프레임 특정 수단과,
   상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값을 특정하는 최대 시차 특정 수단과,
   상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수를 산출하는 시차 계수 산출 수단과,
   상기 처리 대상 프레임의 시차의 최대값을 상기 산출된 시차 계수를 곱함으로써 조정하는 시차 조정 수단을 구비하는, 입체 영상 처리 장치.
2. 제1항에 있어서,
   상기 입체 영상 신호의 프레임 각각에서의 시차는 상기 입체 영상 신호의 프레임에 포함되는 정보이며, 화소마다의 시차를 나타내는 시차 플레인에 기초하여 특정되는, 입체 영상 처리 장치.
3. 제1항에 있어서,
   상기 입체 영상 신호의 프레임 각각에서의 시차는 상기 입체 영상 신호의 프레임에 포함되는 우안용 화상 데이터와 좌안용 화상 데이터의 화소의 차분을 산출함으로써 특정되는, 입체 영상 처리 장치.
4. 제1항에 있어서,
   상기 프레임 특정 수단은 상기 입체 영상 신호의 영상 중에서 씬 체인지의 프레임을 검출함으로써, 상기 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하는, 입체 영상 처리 장치.
5. 제1항에 있어서,
   상기 프레임 특정 수단은 시간적으로 연속되는 전후 2개의 프레임의 시차의 최대값의 차분에 기초하여, 상기 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하는, 입체 영상 처리 장치.
6. 입체 영상 처리 방법으로서,
   프레임 특정 수단이 단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하고,
   최대 시차 특정 수단이 상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값을 특정하고,
   시차 계수 산출 수단이 상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수를 산출하고,
   시차 조정 수단이 상기 처리 대상 프레임의 시차의 최대값을 상기 산출된 시차 계수를 곱함으로써 조정하는 스텝을 포함하는, 입체 영상 처리 방법.
7. 컴퓨터를,
   단위 시간당의 프레임 레이트를 갖는 입체 영상 신호의 프레임 중에서, 시차의 최대값의 변화가 시간적으로 불연속이 되는 프레임을 특정하는 프레임 특정 수단과,
   상기 특정된 프레임을 기준 프레임으로 하여, 상기 기준 프레임보다 소정의 시간만큼 전의 제1 프레임에서의 시차의 최대값과, 상기 기준 프레임보다 소정의 시간만큼 후의 제2 프레임에서의 시차의 최대값을 특정하는 최대 시차 특정 수단과,
   상기 제1 프레임으로부터 상기 제2 프레임 사이의 프레임 각각을 처리 대상 프레임으로 하여, 상기 제1 프레임에서의 시차의 최대값, 상기 제2 프레임에서의 시차의 최대값 및 상기 처리 대상 프레임의 시차의 최대값에 기초하여, 상기 처리 대상 프레임의 시차의 최대값을 상기 시차의 최대값의 변화가 시간적으로 연속이 되도록 조정하기 위한 계수인 시차 계수를 산출하는 시차 계수 산출 수단과,
   상기 처리 대상 프레임의 시차의 최대값을 상기 산출된 시차 계수를 곱함으로써 조정하는 시차 조정 수단을 구비하는 입체 영상 처리 장치로서 기능시키는 프로그램.

Images