KR101856805B1

KR101856805B1 - 화상 처리 장치 및 화상 처리 방법, 및 프로그램

Info

Publication number: KR101856805B1
Application number: KR1020137014024A
Authority: KR
Inventors: 세이지 고바야시; 도시오 야마자키
Original assignee: 소니 주식회사
Priority date: 2010-12-09
Filing date: 2011-10-24
Publication date: 2018-06-20
Also published as: JP2012138885A; US9922441B2; BR112013013511A2; CN103238341A; KR20130137000A; JP5879713B2; CA2812903A1; CN103238341B; EP2611173A1; WO2012077420A1; US20130249904A1; EP2611173A4

Abstract

간이한 신호 처리에 의해 새로운 시점으로부터의 화상을 생성 가능하게 한 구성을 제공한다. 3차원 화상 표시에 적용하는 우안용 화상 신호와 좌안용 화상 신호를 입력하고, 우측 화상 변환부가 우안용 입력 화상 신호를 화상의 특징에 따라서 우측 방향, 또는 좌측 방향으로 위상 변화를 실시한 변환 화상을 생성한다. 마찬가지로, 좌측 화상 변환부 좌안용 입력 화상 신호를 화상의 특징에 따라서 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성한다. 이들 우측 화상 변환부의 생성 화상 및 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력한다. 변환 화상은, 예를 들어 입력 화상의 휘도 미분 신호, 혹은 휘도 미분 신호의 비선형 변환 신호를 입력 화상 신호에 대하여 가산/감산하는 처리에 의해 생성한다.

Description

화상 처리 장치 및 화상 처리 방법, 및 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM}

본 발명은, 화상 처리 장치 및 화상 처리 방법, 및 프로그램에 관한 것으로, 특히 2차원 화상에 대한 화상 변환을 실행하여 예를 들어 3D 화상으로서 이용 가능한 다시점 화상을 생성하는 화상 처리 장치 및 화상 처리 방법, 및 프로그램에 관한 것이다.

유저가 입체적인 화상을 지각할 수 있는 3D 텔레비전에 있어서, 안경을 장착하지 않아도 입체 화상을 시청할 수 있는 나안 3D 텔레비전이 실용화되기 시작하고 있다. 나안 3D 텔레비전에서는, 디스플레이면에 예를 들어 렌티큘러 시트나, 패럴랙스 배리어(시차 배리어)를 구비하고, 시청 위치에 따라 좌안과 우안에 들어가는 화상을 제어하고 있다. 즉, 좌안용 화상과 우안용 화상을 생성하여 좌안용 화상은 좌안으로만 관찰시키고, 우안용 화상은 우안으로만 관찰시키는 구성으로 하고 있다.

이러한 기술을 사용함으로써 좌안과 우안에 들어가는 화상이 혼합되는 크로스 토크를 억제하여, 안경을 장착하지 않아도 입체 시청이 가능하게 된다.

그러나, 이러한 방법에서는, 디스플레이에 대하여 한정적인 시청 위치에서밖에 올바른 입체시가 얻어지지 않는다. 따라서, 유저의 관찰 위치가 규정 위치와 상이한 위치에 있는 경우에는, 좌안에는 우안용 화상이, 우안에는 좌안용 화상이 들어가 버리는 역시(逆視)나, 좌안용 화상과 우안용 화상이 혼합되는 크로스 토크가 발생한다.

이 문제를 해결하기 위해서, 정규의 1개의 관찰 위치에 대응하는 표준 좌안용 화상과 우안용 화상뿐만 아니라, 그 밖의 관찰 위치에서 관찰한 경우에 크로스 토크가 발생하지 않는 설정으로 한 새로운 시점으로부터의 화상을 생성하여 표시하는 구성이 제안되어 있다. 즉, 유저의 여러 가지의 관찰 위치에 따른 좌안용 화상과 우안용 화상을 관찰 위치에 따라서 선택 가능하게 하여, 역시나 크로스 토크를 억제한 화상 표시를 행하는 것이다.

구체적으로는, 표시 장치에 입력되는 오리지널 2시점의 화상, 즉 좌안용 화상과 우안용 화상의 2개의 시점 화상에 기초하여, 다시, 이들 2개의 시점 이외의 시점 화상을 생성한다. 디스플레이에 대한 유저의 관찰 위치에 따라, 오리지널 좌안용 화상과 우안용 화상, 다시 생성한 의사적인 시점 화상 중에서 유저 관찰 위치에 따른 최적인 2개의 화상을 조합하여 표시함으로써 좌안용 화상과 우안용 화상이 혼합되는 크로스 토크를 억제한 표시, 관찰이 가능하게 된다.

구체적인 처리예에 대하여 도면을 참조하여 설명한다.

도 1은, 2개의 상이한 시점으로부터 피사체 A, B를 촬영하는 경우에 얻어지는 화상을 나타내고 있다. 도면에 도시하는 바와 같이, 좌측 카메라(11)로 촬영되는 좌측 화상(21)과, 우측 카메라(12)로 촬영되는 우측 화상(22)에서는 피사체의 위치가 카메라로부터의 거리에 따라 상이하고, 예를 들어 피사체 B는 좌측 화상(21)보다도 우측 화상(22) 쪽이 보다 많이 피사체 A의 상에 가려져 있다.

도 2는, 4개의 서로 다른 시점(시점1 내지 4)으로부터 피사체를 촬영하는 경우에 얻어지는 화상을 나타내고 있다. 좌측으로부터 순서대로 시점1 카메라(31), 시점2 카메라(32), 시점3 카메라(33), 시점4 카메라(34), 이들 4개의 카메라로 피사체 A, B를 촬영한다.

시점1 카메라(31)의 촬영 화상이, 시점1 화상(41),

시점2 카메라(32)의 촬영 화상이, 시점2 화상(42),

시점3 카메라(33)의 촬영 화상이, 시점3 화상(43),

시점4 카메라(34)의 촬영 화상이, 시점4 화상(44)

이다.

도면에 도시하는 바와 같이, 시점수가 증가하여 카메라간의 거리가 이격됨에 따라, 시점1 내지 4의 화상에서는 피사체의 위치의 변화가 커진다.

만약 3D 화상 표시를 실행하는 화상 처리 장치에 대한 입력 화상이 시점2과 시점3에 상당하는 2개의 화상밖에 없는 경우, 화상 처리 장치의 다시점 화상 생성부는, 예를 들어 시점2 화상(42)에 기초하여 시점1 화상(41)을 생성하고, 시점3 화상(43)을 이용하여 시점4 화상(44)을 유사적으로 생성한다.

그러나, 예를 들어 시점1 화상(41)에는 시점2 화상(42)에는 비추고 있지 않은 영역(피사체 A 뒤에 가려져 있던 피사체 B의 영역)이 존재하고, 다시점 화상 생성부는, 이 영역을 화상 처리에 의해 보간할 필요가 있다. 마찬가지로, 시점4 화상(44)에는 시점3 화상(43)에는 비추고 있지 않은 영역(피사체 A 뒤에 가려져 있던 배경 영역)이 존재하고, 이 영역의 보간이 필요하다. 통상, 이러한 영역을 오클루젼 영역이라고 칭한다.

종래, 2개 또는 그 이상의 시점 화상으로부터, 또한 다수의 시점 화상을 생성하는 다시점 생성 기술에 있어서, 입력 화상으로부터 각 화소 혹은 블록 단위의 피사체 거리 정보를 갖는 화상 깊이 정보를 생성하고, 화상 깊이 정보로부터 얻어지는 깊이 정보를 기초로 하여 상이한 시점 화상을 합성하는 기술이 제안되어 있다.

종래의 방법에서는, 깊이 정보로부터 얻어지는 피사체의 위치를, 새롭게 생성해야 할 상이한 시점 위치로부터 얻어지는 화상 상의 위치로 변환함으로써 피사체를 투영하고, 새로운 시점 화상을 생성한다.

이러한 방법에 의해, 임의 시점으로부터의 화상을 생성하는 것이 가능하지만, 새로운 시점 화상의 품질은 깊이 정보의 정밀도에 영향을 미친다. 따라서, 고정밀도의 화상 깊이 정보를 생성하기 위한 깊이 검출 처리가 필요하고, 그를 위한 회로 규모가 커진다는 문제가 있었다.

또한, 상기한 바와 같이, 실제의 촬영 화상에 있어서 가려진 영역에 상당하는 오클루젼 영역이 있는 경우, 새로운 시점 화상에 있어서 필요로 되는 화상 정보가 촬영 화소상으로부터 얻어지지 않는 경우가 있다. 이 결과, 새롭게 생성하는 시점 화상의 화소값을 설정할 수 없어, 화상 상에 구멍이 뚫린다는 문제가 있다. 이 문제를 해결하기 위해서는 화상 보간 기술이 필요하고, 이 보간 처리를 위한 회로의 필요성으로부터도 회로 규모가 커진다는 문제가 있었다.

상술한 바와 같이, 촬영 화상에 기초하여 다른 시점으로부터의 의사적인 촬영 화상을 생성하기 위해서는, 고정밀도의 깊이 정보를 취득하기 위한 깊이 검출 처리 회로나, 오클루젼 영역의 화상 보간 처리 회로가 필요로 되어, 장치의 대형화나 고비용을 초래하는 요인이 되고 있다.

본 발명은, 예를 들어 상기한 문제를 해결하여, 깊이 검출 처리나 오클루젼 영역에 대한 처리를 불필요 또는 간이화한 구성으로 촬영 화상에 기초한 상이한 시점으로부터의 화상을 생성 가능하게 한 화상 처리 장치 및 화상 처리 방법, 및 프로그램을 제공하는 것이다.

본 발명의 제1 측면은,

3차원 화상 표시에 적용하는 우안용 화상 신호를 입력하는 우측 화상 입력부와,

3차원 화상 표시에 적용하는 좌안용 화상 신호를 입력하는 좌측 화상 입력부와,

상기 우안용 입력 화상 신호를 화상의 특징에 따라서 우측 방향 또는 좌측 방향으로 위상 변화를 실시한 변환 화상을 생성하는 우측 화상 변환부와,

상기 좌안용 입력 화상 신호를 화상의 특징에 따라서 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성하는 좌측 화상 변환부와,

상기 우측 화상 변환부의 생성 화상 및 상기 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력하는 화상 출력부를 갖는 화상 처리 장치에 있다.

또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호로부터 각각의 화상 신호에 대응한 피사체 거리 정보를 갖는 화상 깊이 정보를 생성하는 깊이 검출부를 갖고, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 화상 깊이 정보를 보조 정보로 하여 상기 화상 신호를 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성한다.

또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호로부터 각각의 화상 신호에 대응한 피사체 거리 추정 정보를 생성하는 깊이 추정부를 갖고, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 깊이 추정 정보를 보조 정보로 하여 화상 신호를 좌측 방향 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성한다.

또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 입력 화상 신호의 휘도 미분 신호를 추출하고, 그 휘도 미분 신호를 특징량으로서 설정하고, 입력 화상 신호에 대하여 휘도 미분 신호 또는 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써 상기 변환 화상을 생성한다.

또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 좌측 화상 변환부 또는 우측 화상 변환부는 다단 접속 구성을 갖고, 전단의 화상 변환부가 생성한 변환 화상을 후단의 화상 변환부에 입력하고, 입력 화상 신호에 대한 위상 변화를 실시하는 처리를 각 화상 변환부에 있어서 반복 실행하고, 각 화상 변환부에 있어서, 순차 새로운 변환 화상을 생성한다.

또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호에 기초하여 산출 또는 추정되는 깊이 정보로부터 최대 거리와 최소 거리의 피사체간의 화상간 거리차를 산출하고, 그 화상간 거리차에 따라, 새로운 시점 화상과 타 화상으로부터 얻어지는 최대 거리 및 최소 거리의 피사체간의 화상간 거리차를 제어한 새로운 시점 화상을 생성한다.

또한, 본 발명의 화상 처리 장치의 일 실시 형태에 있어서, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호에 기초하여 산출 또는 추정되는 깊이 정보로부터 최대 거리와 최소 거리의 피사체간의 화상간 거리차를 산출하고, 최종적으로 출력하는 시점 화상수에 따라서 각 시점 화상간의 화상간 거리차를 거의 균등하게 배분한 새로운 시점 화상의 생성을 행한다.

또한, 본 발명의 제2 측면은,

화상 처리 장치에 있어서 실행하는 화상 처리 방법으로서,

우측 화상 입력부가, 3차원 화상 표시에 적용하는 우안용 화상 신호를 입력하는 우측 화상 입력 스텝과,

좌측 화상 입력부가, 3차원 화상 표시에 적용하는 좌안용 화상 신호를 입력하는 좌측 화상 입력 스텝과,

우측 화상 변환부가, 상기 우안용 입력 화상 신호를 화상의 특징에 따라서 우측 방향 또는 좌측 방향으로 위상 변화를 실시한 변환 화상을 생성하는 우측 화상 변환 스텝과,

좌측 화상 변환부가, 상기 좌안용 입력 화상 신호를 화상의 특징에 따라서 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성하는 좌측 화상 변환 스텝과,

화상 출력부가, 상기 우측 화상 변환부의 생성 화상 및 상기 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력하는 화상 출력 스텝을 실행하는 화상 처리 방법에 있다.

또한, 본 발명의 제3 측면은,

화상 처리 장치에 있어서 화상 처리를 실행시키는 프로그램으로서,

우측 화상 입력부에, 3차원 화상 표시에 적용하는 우안용 화상 신호를 입력시키는 우측 화상 입력 스텝과,

좌측 화상 입력부에, 3차원 화상 표시에 적용하는 좌안용 화상 신호를 입력시키는 좌측 화상 입력 스텝과,

우측 화상 변환부에, 상기 우안용 입력 화상 신호를 화상의 특징에 따라서 우측 방향 또는 좌측 방향으로 위상 변화를 실시한 변환 화상을 생성시키는 우측 화상 변환 스텝과,

좌측 화상 변환부에, 상기 좌안용 입력 화상 신호를 화상의 특징에 따라서 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성시키는 좌측 화상 변환 스텝과,

화상 출력부에, 상기 우측 화상 변환부의 생성 화상 및 상기 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력시키는 화상 출력 스텝을 실행시키는 프로그램에 있다.

또한, 본 발명의 프로그램은, 예를 들어 여러 가지의 프로그램·코드를 실행 가능한 범용 시스템에 대하여 컴퓨터 판독 가능한 형식으로 제공하는 기억 매체, 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 판독 가능한 형식으로 제공함으로써, 컴퓨터·시스템 상에서 프로그램에 따른 처리가 실현된다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시예나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 명확하게 될 것이다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한하지는 않는다.

본 발명의 일 실시예의 구성에 의하면, 간이한 신호 처리에 의해 새로운 시점으로부터의 화상을 생성하는 화상 처리 장치가 실현된다. 구체적으로는, 예를 들어 화상 표시에 적용하는 우안용 화상 신호와 좌안용 화상 신호를 입력하고, 우측 화상 변환부가 우안용 입력 화상 신호를 화상의 특징에 따라서 우측 방향 또는 좌측 방향으로 위상 변화를 실시한 변환 화상을 생성한다. 마찬가지로, 좌측 화상 변환부 좌안용 입력 화상 신호를 화상의 특징에 따라서 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성한다. 이들 우측 화상 변환부의 생성 화상 및 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력한다. 변환 화상은, 예를 들어 입력 화상의 휘도 미분 신호, 혹은 휘도 미분 신호의 비선형 변환 신호를 입력 화상 신호에 대하여 가산/감산하는 처리에 의해 생성한다. 이들 처리에 의해, 고정밀도의 피사체 거리 정보를 이용하지 않고 여러 가지의 시점으로부터의 화상의 생성이 가능하게 된다.

도 1은 2개의 서로 다른 시점으로부터 피사체 A, B를 촬영하는 경우에 얻어지는 화상의 예에 대하여 설명하는 도면.
도 2는 4개의 서로 다른 시점(시점1 내지 4)으로부터 피사체를 촬영하는 경우에 얻어지는 화상의 예에 대하여 설명하는 도면.
도 3은 본 발명의 방법에 의해 생성하는 다시점 화상의 생성 처리의 일례에 대하여 설명하는 도면.
도 4는 본 발명의 제1 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 5는 거리 정보에 기초하는 새로운 시점 화상의 생성 처리예에 대하여 설명하는 도면.
도 6은 2D3D 화상 변환부의 구성예에 대하여 설명하는 도면.
도 7은 2D3D 화상 변환부의 게인 제어부의 구성예에 대하여 설명하는 도면.
도 8은 2D3D 화상 변환부의 게인 제어부의 게인 제어 처리에 대하여 설명하는 도면.
도 9는 2D3D 화상 변환부의 2D3D 화상 변환 처리에 적용하는 신호에 대하여 설명하는 도면.
도 10은 2D3D 화상 변환부의 비선형 변환부의 비선형 변환 처리에 대하여 설명하는 도면.
도 11은 2D3D 화상 변환부의 실행하는 입력 화상으로부터의 새로운 시점 화상의 화상 신호 생성 처리예에 대하여 설명하는 도면.
도 12는 2D3D 화상 변환부의 실행하는 입력 화상으로부터의 새로운 시점 화상의 화상 신호 생성 처리예에 대하여 설명하는 도면.
도 13은 본 발명의 제2 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 14는 거리 정보에 기초하는 새로운 시점 화상의 생성 처리예에 대하여 설명하는 도면.
도 15는 2D3D 화상 변환부의 구성예에 대하여 설명하는 도면.
도 16은 본 발명의 제3 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 17은 본 발명의 제4 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 18은 본 발명의 제5 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 19는 본 발명의 제6 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 20은 본 발명의 제7 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 21은 본 발명의 제8 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.
도 22는 본 발명의 제9 실시예에 관한 화상 처리 장치의 구성예에 대하여 설명하는 도면.

이하, 도면을 참조하면서 본 발명의 화상 처리 장치 및 화상 처리 방법, 및 프로그램의 상세에 대하여 설명한다. 설명은 이하의 항목에 따라서 행한다.

1. 본 발명의 화상 처리 장치가 실행하는 처리의 개요에 대해서

2. 화상 처리 장치의 제1 실시예에 대해서

3. 화상 처리 장치의 제2 실시예에 대해서

4. 화상 처리 장치의 제3 실시예에 대해서

5. 화상 처리 장치의 제4 실시예에 대해서

6. 화상 처리 장치의 제5 실시예에 대해서

7. 화상 처리 장치의 제6 실시예에 대해서

8. 화상 처리 장치의 제7 실시예에 대해서

9. 화상 처리 장치의 제8 실시예에 대해서

10. 화상 처리 장치의 제9 실시예에 대해서

11. 본 발명의 구성의 정리

[1.개 개시의 화상 처리 장치가 실행하는 처리의 개요에 대해서]

우선, 본 발명의 화상 처리 장치가 실행하는 처리의 개요에 대하여 설명한다.

본 발명의 화상 처리 장치는, 예를 들어 3D 화상 표시에 적용하는 좌안용 좌측 화상과, 우안용 우측 화상의 2 화상을 포함하는 2 이상의 상이한 시점으로부터 촬영한 화상을 입력하고, 이들 입력 화상을 이용하여, 입력 화상의 시점과 상이한 시점으로부터의 촬영 화상에 상당하는 화상을 생성하여 출력한다.

본 발명의 화상 처리 장치에 있어서는, 1매의 2차원 화상(2D 화상)으로부터, 그 2차원 화상과 상이한 시점으로부터의 촬영 화상에 상당하는 화상을 생성하는 처리를 행한다. 또한, 이 처리에는, 예를 들어 본 출원인에 의한 이전의 특허 출원인 일본 특허 공개 제2010-63083호에 기재된 처리의 적용이 가능하다. 또한, 2차원 화상에 기초하여, 서로 다른 시점의 화상을 생성하는 처리를 본 명세서에서는 2D3D 변환 처리라고 칭한다.

또한, 일본 특허 공개 제2010-63083호에 기재한 2D3D 변환 처리는, 1매의 2차원 화상에 기초하여 스테레오 시청(입체 시청)에 대응한 양안 시차 화상, 즉 좌안용 화상과 우안용 화상을 생성하는 처리이다. 2차원 화상에 포함되는 공간적인 특징량, 예를 들어 휘도 정보를 추출하고, 추출한 특징량을 사용하여 입력 화상의 변환 처리를 실행하여 좌안용 화상이나 우안용 화상을 생성한다.

본 발명의 화상 처리 장치는, 예를 들어 이 2D3D 변환 처리를 적용하고, 입력 화상에 기초하여, 그 입력 화상과는 상이한 시점의 화상을 생성한다.

구체적으로는, 예를 들어 입력 화상인 3D 화상 표시용 좌안용 좌측 화상에 기초하여, 또한 좌측의 시점으로부터 촬영한 화상에 상당하는 화상을 생성한다.

마찬가지로, 입력 화상인 3D 화상 표시용 우안용 우측 화상에 기초하여, 또한 우측의 시점으로부터의 화상에 상당하는 화상을 생성한다.

이러한 처리에 의해, 입력 화상과 상이한 여러 가지의 시점으로부터의 촬영 화상에 상당하는 화상을 생성하고, 입력 화상의 시점 이외의 다시점 화상을 생성한다.

도 3은, 본 발명의 방법에 의해 생성하는 다시점 화상 생성 처리의 일례를 도시하는 도면이다.

앞서 도 1을 참조하여 설명한 것과 마찬가지로, 3D 화상 표시용으로 촬영된 2매의 화상, 즉,

(1) 좌측 카메라(101)에 의해 촬영된 좌측 화상(111),

(2) 우측 카메라(102)에 의해 촬영된 우측 화상(112),

이들 화상을 본 발명의 화상 처리 장치에 입력한다.

본 발명의 화상 처리 장치는, 이들 촬영 화상을 이용해서, 예를 들어

좌측 화상(111)을 이용한 2D3D 변환 처리에 의해 좌측 카메라(101)보다 더욱 좌측의 시점1(103)로부터의 촬영 화상에 상당하는 시점1 화상(113)을 생성한다.

또한, 우측 화상(112)을 이용한 2D3D 변환 처리에 의해 우측 카메라(102)보다 더욱 우측의 시점4(104)로부터의 촬영 화상에 상당하는 시점4 화상(114)을 생성한다.

또한, 도 3에 도시하는 예는, 본 발명의 화상 처리 장치가 실행하는 처리의 일례이다. 본 발명의 화상 처리 장치는, 1매의 2차원 화상에 기초하여, 그 화상과는 상이한 여러 가지의 시점으로부터의 화상을 상기한 2D3D 변환 처리에 의해 생성하는 것을 가능하게 하고 있다.

[2. 화상 처리 장치의 제1 실시예에 대해서]

도 4에 본 발명의 화상 처리 장치의 제1 실시예의 구성도를 나타낸다.

제1 실시예는, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

입력 화상은, 3D 화상 표시에 적용하는 좌안용 화상(좌측 화상)과, 우안용 화상(우측 화상)의 조합이다. 예를 들어, 도 3에 도시하는 예에 있어서의 좌측 카메라(101)에 있어서 촬영된 좌측 화상(111)(제2 시점 화상)과, 우측 카메라(102)에 있어서 촬영된 우측 화상(112)이다.

도 4에 도시하는 화상 처리 장치(200)는,

입력 좌측 화상을 그대로 제2 시점 화상으로서 출력한다.

입력 좌측 화상(제2 시점 화상)에 기초하는 2D3D 변환 처리에 의해, 좌측 화상보다 더욱 좌측의 시점으로부터의 촬영 화상인 제1 시점 화상을 생성한다.

또한,

입력 우측 화상을 그대로 제3 시점 화상으로서 출력한다.

입력 우측 화상(제3 시점 화상)에 기초하는 2D3D 변환 처리에 의해, 우측 화상보다 더욱 우측의 시점으로부터의 촬영 화상인 제4 시점 화상을 생성한다.

도 4에 도시하는 화상 처리 장치(200)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(201)는 좌측 화상(제2 시점 화상)을 입력한다. 입력된 좌측 화상(제2 시점 화상)은 깊이 검출부(203) 및 좌측 화상 2D3D 변환부(204)에 입력된다.

마찬가지로, 우측 화상 입력부(202)는 우측 화상(제3 시점 화상)을 입력한다. 입력된 우측 화상(제3 시점 화상)은 깊이 검출부(203) 및 우측 화상 2D3D 변환부(205)에 입력된다.

깊이 검출부(203)는 좌측 화상의 각 화소 또는 각 블록이, 우측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 좌측 화상의 당해 화소에 상당하는 위치에 보존한 좌측 화상 깊이 정보와, 우측 화상의 각 화소 또는 각 블록이, 좌측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 우측 화상의 당해 화소에 상당하는 위치에 보존한 우측 화상 깊이 정보를 생성한다.

즉, 종래부터 알려지는 예를 들어 블록 매칭 등에 기초하는 대응 화소의 위치 어긋남에 기초하여, 블록 단위 또는 화소 단위의 깊이 정보(카메라로부터의 거리 정보)를 산출하고, 화소나 블록 대응의 거리 데이터를 갖는 깊이 정보(예를 들어 거리 화상)를 생성한다.

깊이 검출부(203)는 좌측 화상에 대응하는 좌측 화상 깊이 정보(예를 들어 거리 화상)를 생성하여 좌측 화상 2D3D 변환부(204)에 제공한다. 또한, 우측 화상에 대응하는 우측 화상 깊이 정보(예를 들어 거리 화상)를 생성하여 우측 화상 2D3D 변환부(205)에 제공한다.

좌측 화상 2D3D 변환부(204)는 좌측 화상 입력부(201)로부터 입력하는 좌측 화상(제2 시점 화상)과, 깊이 검출부(203)에서 생성된 좌측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 좌측 화상(제2 시점 화상)보다 더욱 좌측의 시점으로부터의 촬영 화상에 상당하는 제1 시점 화상을 생성한다.

마찬가지로, 우측 화상 2D3D 변환부(205)는 우측 화상 입력부(202)로부터 입력하는 우측 화상(제3 시점 화상)과, 깊이 검출부(203)에서 생성된 우측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 우측 화상(제3 시점 화상)보다 더욱 우측의 시점으로부터의 촬영 화상에 상당하는 제4 시점 화상을 생성한다.

좌측 화상 2D3D 변환부(204)가 생성한 제1 시점 화상은 제1 시점 화상 출력부(206)를 거쳐서 출력한다.

좌측 화상 입력부(201)가 입력한 좌측 화상, 즉 제2 시점 화상은 제2 시점 화상 출력부(207)를 거쳐서 출력한다.

우측 화상 입력부(202)가 입력한 우측 화상, 즉 제3 시점 화상은 제3 시점 화상 출력부(208)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(205)가 생성한 제4 시점 화상은 제4 시점 화상 출력부(209)를 거쳐서 출력한다.

또한, 화상의 출력처는, 예를 들어 3D 화상 표시의 표시 처리를 실행하는 장치, 또는 3D 화상 데이터를 기록하는 기억 장치 등이다. 혹은 네트워크를 거쳐서 접속된 장치에 대한 통신 데이터로서 출력해도 된다.

예를 들어 표시 장치에 있어서 3D 화상 표시를 실행할 때, 이들 4개의 서로 다른 시점 화상으로부터, 유저의 관찰 위치에 따라서 적절히 2개의 화상을 선택하여 좌안용 화상과 우안용 화상으로서 출력한다.

예를 들어, 유저의 관찰 위치가, 표시부의 정면의 표준적인 위치인 경우에는,

제2 시점 화상을 좌안용 화상, 제3 시점 화상을 우안용 화상으로서 출력한다.

또한, 유저의 관찰 위치가, 표시부의 정면보다 좌측에 있는 경우에는,

제1 시점 화상을 좌안용 화상, 제2 시점 화상을 우안용 화상으로서 출력한다.

또한, 유저의 관찰 위치가, 표시부의 정면보다 우측에 있는 경우에는,

제3 시점 화상을 좌안용 화상, 제4 시점 화상을 우안용 화상으로서 출력한다.

이러한 전환을 행함으로써, 유저의 관찰 위치에 따른 최적인 좌안용 화상과 우안용 화상의 출력이 가능하게 된다.

이 처리에 의해, 나안 대응의 3D 표시 장치, 예를 들어 디스플레이면에 렌티큘러 시트나, 패럴랙스 배리어(시차 배리어)를 구비하고, 시청 위치에 따라 좌안과 우안에 들어가는 화상을 제어하는 구성을 갖는 표시 장치에 있어서, 좌안용 화상을 좌안으로만 관찰시키고, 우안용 화상을 우안으로만 관찰시키는 것이 가능하게 된다. 즉, 좌안에 우안용 화상이 관찰되고, 또한 우안에 좌안용 화상이 관찰되는 역시나 크로스 토크의 발생을 억제한 3D 화상의 제시가 가능하게 된다.

이 도 4에 도시하는 화상 처리 장치(200)에 있어서, 좌측 화상 2D3D 변환부(204)는 좌측 화상 입력부(201)로부터 입력하는 좌측 화상(제2 시점 화상)과, 깊이 검출부(203)에서 생성된 좌측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 좌측 화상(제2 시점 화상)보다 더욱 좌측의 시점으로부터의 촬영 화상에 상당하는 제1 시점 화상을 생성한다.

또한, 우측 화상 2D3D 변환부(205)는, 우측 화상 입력부(202)로부터 입력하는 우측 화상(제3 시점 화상)과, 깊이 검출부(203)에서 생성된 우측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 우측 화상(제3 시점 화상)보다 더욱 우측의 시점으로부터의 촬영 화상에 상당하는 제4 시점 화상을 생성한다.

좌측 화상 2D3D 변환부(204)와 우측 화상 2D3D 변환부(205)는, 1매의 2차원 화상과 깊이 정보를 사용하여 서로 다른 시점의 화상을 생성한다. 구체적으로는, 깊이 정보에 따른 시프트량을 설정하여 화상을 좌우 방향으로 시프트하는 처리, 즉 위상 변화를 실시하는 처리에 의해, 의사적인 서로 다른 시점으로부터의 촬영 화상을 생성한다. 각 화소 혹은 블록 단위로 취득된 깊이 정보(카메라로부터의 거리)에 따라, 위상 변화량(시프트량)이나 위상 변화 방향(시프트 방향)을 조정하여 위상 변화 처리(시프트 처리)를 실행함으로써 의사적인 서로 다른 시점의 화상을 생성한다.

따라서, 2D3D 변환부에서 이용하는 화상 깊이 정보의 공간적인 해상도는 반드시 높게 할 필요가 없고, 깊이 검출부(203)로부터 출력하는 좌측 화상 깊이 정보 및 우측 화상 깊이 정보는 입력 화상의 화소수보다도 적은 정보량의 데이터로 하는 것이 가능하고, 깊이 검출부의 회로 규모를 작게 하는 것이 가능하다.

또한, 2D3D 변환 처리에는, 예를 들어 앞서 설명한 본 출원인의 이전의 특허 출원인 일본 특허 공개 제2010-63083호에 기재된 처리의 적용이 가능하다.

또한, 일본 특허 공개 제2010-63083호에 기재한 2D3D 변환 처리는, 1매의 2차원 화상에 포함되는 공간적인 특징량, 예를 들어 휘도 정보를 추출하고, 추출한 특징량을 사용하여 입력 화상의 변환 처리를 실행하여 서로 다른 시점으로부터의 촬영 화상에 상당하는 변환 화상을 생성하는 처리이다. 구체적으로는, 입력 화상 신호의 휘도 미분 신호를 추출하고, 그 휘도 미분 신호를 특징량으로서 설정하고, 입력 화상 신호에 대하여 특징량인 휘도 미분 신호, 혹은 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써 변환 화상을 생성한다. 예를 들어, 이 처리를 적용할 수 있다.

또한, 이 특허문헌에 기재된 방법에 한하지 않고, 2차원 화상으로부터 서로 다른 시점으로부터의 화상을 의사적으로 생성하는 처리에 대해서는 여러 가지의 제안이 있고, 좌측 화상 2D3D 변환부(204)와 우측 화상 2D3D 변환부(205)에서는, 예를 들어 이들 기존 방법 중 어느 하나를 적용하여 입력 화상과 상이한 시점으로부터의 화상을 생성한다.

깊이 검출부(203)가 생성하는 깊이 정보에 기초하여, 좌측 화상 2D3D 변환부(204)와, 우측 화상 2D3D 변환부(205)가 실행하는 새로운 시점 화상 생성 처리의 구체적 처리예에 대해서, 도 5를 참조하여 설명한다.

도 5는, 도 4에 도시하는 실시예에 있어서의 입력 좌우 화상 및 생성되는 새로운 시점 화상간의 깊이 정보를 나타내고 있다.

도 5의 우측 하부에 나타내는 그래프(a)는, 좌측 화상 입력부(201)를 거쳐서 입력되는 좌측 화상(제2 시점 화상에 상당)과, 우측 화상 입력부(202)를 거쳐서 입력하는 우측 화상(제3 시점 화상에 상당) 사이에서 검출된 깊이 정보의 히스토그램을 나타내고 있다.

즉, 깊이 검출부(203)가 검출한 깊이 정보이다.

여기서, 깊이 정보는, 2개의 화상의 대응하는 위치 사이의 거리 d로서 나타내고 있다. 즉 블록 매칭 등의 처리에 의해 검출된 좌측 화상과 우측 화상의 대응 화소의 화상 상에 있어서의 화소간 거리이다.

도 5의 (a)에 나타내는 히스토그램은, 횡축이 피사체까지의 거리에 따라 변화되는 거리 정보 d, 종축이 각 거리를 갖는 화소 면적을 나타내고 있다.

거리 d=0인 경우에는, 좌측 화상과 우측 화상의 대응 화소가 각 화상의 동일 위치에 출력된 상태이며, 소위 시차가 없는 화상 상태로 된다. 이러한 화소 위치의 화상은, 표시 화면의 화면 위치로 관찰할 수 있다.

한편, 거리 d가 0보다 작은(좌측 화상보다도 우측 화상 쪽이 좌측에 존재) 경우에는 화면 앞쪽에 피사체상이 관찰된다.

또한, d가 0보다 큰(좌측 화상보다도 우측 화상 쪽이 우측에 존재) 경우에는 화면 안쪽에 피사체상이 관찰된다.

좌측 화상 2D3D 변환부(204)와, 우측 화상 2D3D 변환부(205)에서는, 깊이 검출부(203)의 생성 정보로부터 얻어지는 도 5의 (a)에 나타내는 깊이 정보의 히스토그램으로부터, 우선, 거리 d의 최소값 dmin과 최대값 dmax를 구한다.

또한, 이들 최소값 dmin과 최대값 dmax의 값은 노이즈의 영향을 고려하여, 히스토그램의 실제의 최대값, 최소값으로부터 수퍼센트 내측의 값으로서 설정할 수도 있다. 도 5의 (a)에서는 실제의 측정값보다, 수％ 내측에 최소값 dmin과 최대값 dmax의 라인을 나타내고 있다.

이와 같이 하여 구해진 최소값 dmin은, 입력 화상에 있어서 가장 앞쪽에 위치하는 피사체의 깊이에 대응하는 값이며, 최대값 dmax는, 입력 화상에 있어서 가장 안쪽에 위치하는 피사체의 깊이에 대응하는 값이다.

도 4에 도시하는 실시예에 있어서, 좌측 화상 2D3D 변환부(204)는, 입력 좌측 화상(제2 시점 화상)으로부터 2D3D 변환 처리에 의해, 입력 좌측 화상(제2 시점 화상)보다, 더욱 좌측의 제1 시점 화상을 생성한다. 이 새로운 시점 화상의 생성 처리 시에는, 도 5의 (a)에 나타내는 좌우 화상으로부터 얻어진 깊이 정보를 사용한 처리를 행한다.

즉, 도 5의 (a)에 나타내는 좌우 화상으로부터 얻어진 깊이 히스토그램은, 입력 좌측 화상(제2 시점 화상)과 입력 우측 화상(제3 시점 화상)의 깊이 히스토그램이다.

좌측 화상 2D3D 변환부(204)는, 새롭게 생성하는 제1 시점 화상과 입력 좌측 화상(제2 시점 화상)의 깊이 히스토그램이 도 5의 (a)에 나타내는 깊이 히스토그램이 되는 제1 시점 화상을 생성한다.

도 5의 (b)에 나타내는 그래프는, 새롭게 생성하는 제1 시점 화상과 입력 좌측 화상(제2 시점 화상)의 깊이 히스토그램이다. 이 히스토그램에 대응하도록 제1 시점 화상을 생성한다.

좌측 화상 2D3D 변환부(204)와 우측 화상 2D3D 변환부(205)는 깊이 정보에 따른 시프트량을 설정하여 화상을 좌우 방향으로 시프트하는 처리, 즉 위상 변화를 실시하는 처리에 의해, 의사적인 서로 다른 시점으로부터의 촬영 화상을 생성한다. 각 화소 혹은 블록 단위로 취득된 깊이 정보(카메라로부터의 거리)에 따라, 위상 변화량(시프트량)이나 위상 변화 방향(시프트방향)을 조정하여 위상 변화 처리(시프트 처리)를 실행함으로써 의사적인 서로 다른 시점의 화상을 생성한다.

이 2D3D 변환 처리에서는, 깊이 정보에 기초하여, 시프트량을 제어한다. 구체적으로는, 도 4에 있어서의 실시예에 있어서, 좌측 화상 2D3D 변환부(204)는, 도 5의 (a)에 나타내는 깊이 정보에 기초하여 시프트량을 조정함으로써, 입력 좌우 화상으로부터 얻어지는 깊이감과 동등한 깊이감이, 새롭게 생성하는 제1 시점 화상과 입력 좌측 화상(제2 시점 화상)의 조합으로 얻어지는 제1 시점 화상을 생성한다.

구체적인 시프트 처리에 대해서는 후술한다.

우측 화상 2D3D 변환부(205)도, 마찬가지로 하여, 도 5의 (a)에 나타내는 깊이 정보에 기초하여 시프트량을 조정함으로써, 입력 좌우 화상으로부터 얻어지는 깊이감과 동등한 깊이감이, 새롭게 생성하는 제4 시점 화상과 입력 우측 화상(제3 시점 화상)의 조합으로 얻어지는 제4 시점 화상을 생성한다.

도 5의 (b)는, 좌측 화상 2D3D 변환부(204)가 새롭게 생성하는 제1 시점 화상과 입력 좌측 화상(제2 시점 화상)의 깊이 히스토그램이다.

새롭게 생성된 제1 시점 화상과, 제2 시점 화상(=입력 좌측 화상)간의 깊이는, 입력 좌우 화상 사이의 깊이와 동등한 것이 바람직하지만, 2D3D 변환 처리에서는, 반드시 입력되는 깊이 정보와 동등한 시차를 생성할 수 있다고는 할 수 없다. 2D3D 변환 처리에 의해 생성되는 시차량은, 예를 들어 시프트량을 제어하는 게인의 설정이나 변환 필터의 특성에 의해 결정되기 때문에, 깊이 정보에 기초하여 게인 제어나 변환 필터 특성을 제어함으로써 최대의 시차가 입력 화상간의 시차를 초과하지 않도록 제어한다.

따라서, 2D3D 변환 처리에 의해 생성되는 시점1의 화상은, 입력 좌측 화상에 대하여 입력 우측 화상과의 사이의 시프트량과 동등 이하의 시프트량으로, 보다 좌측의 시점으로부터의 화상으로서 생성된 화상이 된다.

우측 화상 2D3D 변환부(205)도, 새롭게 생성하는 제4 시점 화상에 대해서, 마찬가지로 하여, 입력 우측 화상에 대하여 입력 좌측 화상과의 사이의 시프트량과 동등 이하의 시프트량으로, 보다 우측의 시점으로부터의 화상을 생성한다.

이와 같이, 각 2D3D 화상 변환부는, 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호에 기초하여 산출 또는 추정되는 깊이 정보로부터 최대 거리와 최소 거리의 피사체간의 화상간 거리차를 산출하고, 그 화상간 거리차에 따라, 새로운 시점 화상과 타 화상으로부터 얻어지는 최대 거리 및 최소 거리의 피사체간의 화상간 거리차를 제어한 새로운 시점 화상을 생성한다.

이어서, 거리 정보에 따른 시프트량의 제어에 의한 2D3D 변환 처리의 구체예에 대하여 설명한다.

도 6은, 좌측 화상 2D3D 변환부(204)의 일 실시예의 구성을 도시하는 블록도이다. 또한, 좌측 화상 2D3D 변환부(204)와 우측 화상 2D3D 변환부(205)는, 새롭게 생성하는 화상에 따라서 시프트 방향이 변화될 뿐이다. 이하에서는, 거리 정보에 따른 시프트량의 제어에 의한 2D3D 변환 처리의 구체예에 대하여 좌측 화상 2D3D 변환부(204)의 처리예를 대표예로서 설명한다.

좌측 화상 2D3D 변환부(204)는, 입력 화상 신호가 공간적인 특징량을 추출하고, 추출한 특징량에 대한 다른 강조 처리를 실시함으로써 새로운 시점의 화상을 생성하는 처리를 행한다. 좌측 화상 2D3D 변환부(204)는, 미분기(211), 게인 제어부(212), 비선형 변환부(213) 및 화상 합성부(214)를 포함하여 구성된다.

미분기(211)는, 좌측 화상 2D3D 변환부(204)에 입력된 비디오 데이터로부터 휘도 신호를 취출하고, 휘도 신호에 대한 미분 신호(H)를 생성한다. 구체적으로는, 예를 들어 화상의 휘도 신호를 수평 방향에 입력하여, 입력 휘도 신호를 1차 미분한 신호를 생성한다. 1차 미분 처리는, 예를 들어 수평 방향 3탭의 선형 1차 미분 필터 등을 사용한다.

또한, 실시예에서는 휘도 신호를 처리 데이터로 한 예에 대하여 설명하지만, 휘도 신호가 아니라 색신호(RGB 등)를 처리 대상 데이터로서 이용해도 된다.

게인 제어부(212)는, 미분기(211)로부터 출력되는 미분 신호(H)에, 미리 설정한 규칙에 준한 계수(게인 계수)를 곱함으로써, 미분 신호의 진폭값을 제어하고, 미분 신호의 보정 신호인 보정 미분 신호(H')를 생성한다.

비선형 변환부(213)는, 게인 제어부(212)로부터 출력되는 보정 미분 신호(H')를 비선형적으로 변환하고, 시차 강조 신호(E')로서 화상 합성부(214)에 출력한다.

화상 합성부(214)는, 비디오 데이터를 구성하는 각 프레임 화상과, 이 프레임 화상으로부터 생성한 공간적인 특징량, 즉, 휘도 신호의 보정 미분 신호(H'), 또는, 이 보정 미분 신호를 비선형 변환하여 생성한 시차 강조 신호(E')를 적용하여 새로운 시점의 화상을 생성하는 처리를 행한다.

또한, 도 6에 점선으로 나타내는 바와 같이, 비선형 변환부(213)의 변환 처리를 생략하고, 게인 제어부(212)에서 보정 처리한 보정 미분 신호(H')를 화상 합성부(214)에 직접 입력하고, 화상 합성부(214)가 보정 미분 신호를 적용하여 새로운 시점의 화상을 생성하는 구성으로 해도 된다.

이어서, 게인 제어부(212)가 실행하는 처리에 대하여 설명한다.

도 7은, 게인 제어부(212)의 일 실시예의 구성을 도시하는 블록도이다. 게인 제어부(212)에서는, 입력된 미분 신호의 진폭값을, 동일하게 입력한 깊이 정보를 기초로, 그 진폭값을 제어한다. 또한, 이하에 설명하는 실시예에서는, 깊이 정보는 입력 미분 신호의 1화소마다, 1개의 깊이의 값을 갖는 소위 뎁스 맵의 형상으로 입력되는 것으로서 설명한다.

게인 계수 산출부(221)는, 입력된 각 화소에 대한 깊이 정보를 이용하여, 대응하는 화소에 대한 게인 계수를 출력한다.

승산 처리부(222)는, 입력된 미분 신호의 각 화소에 대해서, 게인 계수 산출부(221)로부터 출력된 각 화소에 대한 게인 계수를, 미분 신호(H)의 진폭값에 곱하는 승산 처리를 행하고, 결과적으로 진폭값이 게인 제어된 보정 미분 신호(H')를 출력한다.

도 8은, 게인 계수 산출부(221)에 있어서 실행하는, 게인 계수의 결정 방법의 일례를 나타내는 것이다. 횡축이, 입력 신호이며 깊이 정보이다. 종축이, 게인 계수 산출부(221)에 있어서의 게인 계수의 출력을 나타내고 있다.

게인 계수 산출부(221)는, 입력된 깊이 정보(In)를 미리 설정한 함수 f(x)에 의해 변환하여, 게인 계수(Out)를 출력한다.

이때, 함수 f(x)는, 여러 가지의 설정을 이용 가능하다.

함수 f(x)의 일례로서는, 예를 들어

f(x)=A×x

(단 A는 상수)

상기 식에 나타나는 바와 같은 선형 1차 함수를 사용한다. A는 미리 설정한 상수이며, 여러 가지의 값으로 설정 가능하다.

또한, 게인 계수 산출부(221)에 있어서의 변환 함수는, 선형 1차 함수에 한정되는 것은 아니고, 또한 비선형적인 변환을 실시해도 상관없다.

깊이 정보는, 미분 신호의 각 화소에 따른 값을 입력하고, 각 화소에 따른 게인 계수를 출력하는 것으로 한다.

도 8은, 게인 계수 산출부의 입력값(깊이 정보)과, 출력값(게인 계수)의 대응예를 도시하는 도면이다. 도 8에는 3개의 입력값(깊이 정보)과 그것에 대응하는 3개의 출력값(게인 계수)의 예를 나타내고 있다.

입력값(깊이 정보)의 예는, D1, D2, D3이며, 어떤 3개의 화소에 대응한 깊이의 값을 상정한다. 또한, 깊이란 관찰자(유저) 혹은 카메라로부터 피사체까지의 거리에 대응하는 값이다.

깊이(=피사체 거리)는, D1<D2<D3의 순서로, 앞쪽에서 안쪽으로 깊어져(유저 또는 카메라로부터 멀어져) 가는 것으로 한다. 여기서, 도 8 중, 깊이 정보 In=0의 위치는 생성한 화상을 3차원 표시 장치에 표시한 경우에 표시 화면 상에 지각되는 점이다.

이때 출력값(게인 계수)의 예는, G1, G2, G3이며, 각각은 도 8 중의 함수 f(x)에, D1, D2, D3의 값을 입력함으로써 얻어지는 값이다.

이 예와 같이, 게인 계수 산출부(221)는, 미분 신호의 각 화소에 따른 게인 계수를 출력한다.

도 9는, 게인 제어부(212)에 있어서의 미분 신호의 진폭값을 제어하는 처리의 일례를 나타내고 있다.

도 9에는,

(a) 입력 신호

(b) 미분 신호

(c) 깊이 정보

(d) 보정 후의 미분 신호

이들의 예를 나타내고 있다.

도 9의 (a)는 입력 화상 신호의 일례이다.

도 9의 (b)는 도 9의 (a)의 입력 화상 신호를 미분 처리한 화상이다.

도 9의 (c)는 도 9의 (a)의 입력 화상 신호에 대응한 깊이 정보이며, 화상을3분할한 각 영역에 깊이의 값을 부여한 간이한 것이다.

여기서, 도 9의 (c)의 깊이 정보를 나타내는 화상 신호에는, 상부로부터 순서대로 도 8에 있어서 정의한 깊이 정보: D3, D2, D1(D1<D2<D3)의 값이 부여되어 있는 것으로 하고 있다.

이때, 도 8에 있어서 설명한 깊이와 게인값의 관계와 같이, 도 9의 (b)의 미분 신호의 각 화소에 곱하는 게인값은, 화상의 상부로부터 순서대로,

G3, G2, G1(G1<G2<G3)

로 된다.

도 9의 (d) 보정 후의 미분 신호는, 도 9의 (c)의 깊이 정보에 기초한 게인값을, 도 9의 (b)의 미분 신호의 각 화소에 곱한 처리 결과의 일례이다.

도 9의 (d) 보정 후의 미분 신호에 있어서는, 화면 상부일수록(먼 영역일수록), 큰 게인값이 곱해지고, 화면 하부일수록(가까운 영역일수록) 작은 게인값이 곱해진다.

이 결과, 화면 상부일수록(먼 영역일수록) 미분 신호의 진폭값이 커지고, 화면 하부일수록(가까운 영역일수록) 미분 신호의 진폭은 작아진다.

2D3D 변환부는, 이렇게 거리에 따른 진폭이 상이한 미분 신호를 사용하여 새로운 시점 화상을 생성하여 출력한다. 이 결과, 거리에 따른 상이한 시차를 갖는 화상을 생성하여 출력한다.

이어서, 비선형 변환부(213)가 실행하는 처리에 대하여 설명한다. 비선형 변환부(213)는, 게인 제어부(212)로부터 출력되는 거리에 따라 게인 제어가 이루어진 보정 미분 신호(H')를 비선형적으로 변환한 시차 강조 신호(E')를 생성하여 화상 합성부(214)에 출력한다.

도 10은, 비선형 변환부(213)에 있어서 실행하는 비선형 변환 처리의 일례를 나타내고 있다. 횡축이, 게인 제어부(212)로부터 출력되는 거리에 따라 게인 제어(보정)가 이루어진 미분 신호이며 (휘도)보정 미분 신호이다. 종축이, 비선형 변환부(213)에 있어서의 비선형 변환 처리 후의 출력을 나타내고 있다. 비선형 변환부(213)는, 입력된 보정 미분 신호(In)를 미리 규정한 함수 f(x)에 의해 변환하고, 시차 강조 신호(Out)를 출력한다. 즉 Out=f(In)라 한다. 이때, 함수 f(x)는, 여러 가지 설정을 이용 가능하다. 함수 f(x)의 일례로서는, 예를 들어

f(x)=x^γ

상기 식에 나타나는 바와 같은 지수 함수를 사용한다. γ는 미리 설정한 계수이며, 여러 가지 값으로 설정 가능하다.

또한, 비선형 변환부(213)에 있어서의 변환 함수는, 지수 함수에 한정되는 것은 아니고, 또한 선형적인 변환을 실시해도 상관없다.

화상 합성부(214)는, 비선형 변환부(213)로부터 출력되는 시차 강조 신호와, 좌측 화상 2D3D 변환부(204)에 입력된 비디오 데이터를 수취하고, 비디오 데이터를 구성하는 각 프레임 화상과 시차 강조 신호를 합성하여, 새로운 시점 화상을 생성하는 처리를 행한다.

또한, 도 5에 점선으로 나타내는 바와 같이, 비선형 변환부(213)의 변환 처리를 생략하고, 미분기(211)가 생성한 미분 신호에 대하여 게인 제어부(212)가 거리에 따른 게인 제어를 행한 보정 미분 신호(H')를 화상 합성부(214)에 직접 입력하는 구성으로 해도 된다. 이 경우에는, 화상 합성부(214)는 깊이(피사체 거리)에 따라서 게인 제어가 실시된 보정 미분 신호(H')를 적용하여 새로운 시점의 화상을 생성하는 처리를 행한다.

다음으로 화상 합성부(214)의 처리에 대하여 설명한다.

화상 합성부(214)는,비디오 데이터를 구성하는 각 프레임 화상과, 이 프레임 화상으로부터 생성한 공간적인 특징량, 즉, 휘도 신호의 미분 신호, 또는, 이 미분 신호를 비선형 변환하여 생성한 시차 강조 신호를 적용하여 새로운 시점의 화상을 생성하는 처리를 행한다.

도 11과 도 12는, 화상 합성부(214)에 있어서 실행하는 화상 합성 처리의 개념을 나타내고 있다.

도 11은, 거리가 대인 화상 영역(깊이가 큰 화상 영역)

도 12는, 거리가 소인 화상 영역(깊이가 작은 화상 영역)

이들 각 화상 영역에 대해서, 위에서부터 순서대로,

(a) 입력 신호(S)

(b) 미분 신호(H)

(c) 보정(게인 제어) 후의 보정 미분 신호(H')

(d) 우측 시프트 화상 신호

(e) 좌측 시프트 화상 신호

이들 각 신호를 나타내고 있다.

도 9의 (c) 깊이 정보에 대응지어 설명하면, 예를 들어 도 11은 도 9의 (c)의 화상 상부의 거리가 대(=D3)인 화상 영역(깊이가 큰 화상 영역)에 대응하는 처리예이다. 한편, 도 12는 도 9의 (c)의 화상 하부의 거리가 소(=D1)인 화상 영역(깊이가 작은 화상 영역)에 대한 처리예이다.

우선, 도 11에 도시하는 거리가 대인 화상 영역(깊이가 큰 화상 영역)에 있어서의 처리예에 대하여 설명한다.

(a) 입력 신호(S)는, 비디오 데이터의 임의의 프레임의 임의의 수평 1라인의 휘도 변화를 나타내고 있다. 중앙부에 휘도가 높은 고휘도 영역이 존재하는 1개의 라인을 예시하고 있다. 라인 위치(x1)로부터 라인 위치(x2)까지의 영역A에 있어서, 휘도가 점차 높아지는 변화를 나타내고, 라인 위치(x2) 내지 (x3)에 있어서 고레벨 휘도를 유지한 고휘도 부분이 존재하고, 그 후, 라인 위치(x3)로부터 라인 위치(x4)까지의 영역B에 있어서, 휘도가 점차 낮아지는 변화를 나타내고 있다.

(b) 미분 신호(H)는, (a) 입력 신호의 미분 결과이다. 이 미분 신호는, 도 6에 도시하는 좌측 화상 2D3D 변환부(204)의 미분기(211)에 있어서 생성되는 신호이다.

미분기(211)가 생성하는 미분 신호(H)는, 도 11에 도시하는 바와 같이, (a) 입력 신호(S)의 휘도 변화가 플러스(正)가 되는 영역A에 있어서 플러스의 값을 취하고, (a) 입력 신호의 휘도 변화가 마이너스(負)가 되는 영역B에 있어서 마이너스의 값을 취한다.

(c) 보정(게인 제어) 후의 미분 신호(H')는, 도 6에 도시하는 좌측 화상 2D3D 변환부(204)의 게인 제어부(212)에 있어서 생성하는 신호이며, 도 11의 (b)의 미분 신호를, 깊이 정보에 기초하여 보정(게인 제어)한 신호이다. 또한, 도 11에 도시하는 예는, 거리가 대(예를 들어 도 8, 도 9의 (c)의 D3)인 화상 영역(깊이가 큰 화상 영역)에 있어서의 처리예이며, 도 8, 도 9를 참조하여 설명한 바와 같이 보다 큰 게인(G3)에 의한 보정 처리가 실시되고, 미분 신호의 진폭은 보다 큰 진폭으로 보정된다.

도 11의 (c)에 나타내는 점선이 보정 전의 신호(=(b) 미분 신호(H))이며, 도 11의 (c)에 나타내는 실선이 거리에 따른 보정 후의 보정 미분 신호(H')이다. 이와 같이, 보정 미분 신호(H')는 거리에 따른 게인 제어에 의해, 진폭이 보다 크게 보정된다.

(d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호는, 도 4에 도시하는 좌측 화상 2D3D 변환부(204)나, 우측 화상 2D3D 변환부(205)로 구성되는 도 5에 도시하는 화상 합성부(214)가 생성하는 신호이다.

예를 들어, 도 4에 도시하는 좌측 화상 2D3D 변환부(204)는, 입력 좌측 화상을 도 11의 (a)에 나타내는 입력 화상이라고 한 경우, 또한 좌측 시프트한 (e) 좌측 시프트 화상 신호를 제1 시점 화상으로서 생성한다.

또한, 도 4에 도시하는 우측 화상 2D3D 변환부(205)는, 입력 우측 화상을 도 11의 (a)에 나타내는 입력 화상이라고 한 경우, 또한 우측 시프트한 (d) 우측 시프트 화상 신호를 제4 시점 화상으로서 생성한다.

구체적으로는, (a) 입력 신호(S)와, (c) 보정(게인 제어) 후의 보정 미분 신호(H')를 비선형 변환부(213)에 있어서 비선형 변환한 결과(비선형 변환부(213)의 출력)인 시차 강조 신호(E')를 합성함으로써, (d) 우측 시프트 화상 신호, 또는, (e) 좌측 시프트 화상 신호를 생성한다.

도 11의 (d)에 나타내는 바와 같이, 큰 게인(G3)에 의해 보정이 행해진 보정 미분 신호(H')를 합성하는 경우, 보정 전의 미분 신호(H)를 합성하는 경우와 비교하여 우측 시프트가 큰 화상 신호가 생성된다. 마찬가지로, 도 11의 (d)에서는, 좌측 시프트량이 큰 화상 신호가 생성된다.

이어서, 도 12에 나타내는 거리가 소인 화상 영역(깊이가 작은 화상 영역)에 있어서의 처리예에 대하여 설명한다. 도 12는 도 9의 (c)의 화상 하부의 거리가 소(=D1)인 화상 영역(깊이가 작은 화상 영역)에 대한 처리예이다.

(a) 입력 신호와, (b) 미분 신호는, 도 11에 나타내는 (a) 입력 신호와, (b) 미분 신호와 마찬가지의 신호이다. (b) 미분 신호(H)는, (a) 입력 신호(S)의 미분 결과이다. 이 미분 신호는, 도 6에 도시하는 미분기(211)에 있어서 생성되는 신호이다. 미분기(211)가 생성하는 미분 신호는, 도 12에 나타내는 바와 같이, (a) 입력 신호의 휘도 변화가 플러스가 되는 영역A에 있어서 플러스의 값을 취하고, (a) 입력 신호의 휘도 변화가 마이너스가 되는 영역B에 있어서 마이너스의 값을 취한다.

(c) 보정(게인 제어) 후의 보정 미분 신호(H')는, 도 6에 도시하는 게인 제어부(212)에 있어서 생성하는 신호이며, 도 12의 (b)의 미분 신호를, 깊이 정보에 기초하여 보정(게인 제어)한 신호이다.

도 12에 나타내는 예는, 거리가 소(예를 들어 도 8, 도 9의 (c)의 D1)인 화상 영역(깊이가 작은 화상 영역)에 있어서의 처리예이며, 도 8, 도 9를 참조하여 설명한 바와 같이 작은 게인(G1)에 의해 미분 신호의 진폭은 작은 진폭으로 보정된다.

도 12의 (c)에 나타내는 점선이 보정 전의 신호(=(b) 미분 신호)이며, 도 12의 (c)에 나타내는 실선이 거리에 따른 보정 후의 신호이다. 이와 같이, 거리에 따른 게인 제어에 의해, 진폭이 보다 작게 보정된다.

(d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호는, 도 6에 도시하는 화상 합성부(214)에 있어서 생성하는 신호이다. 화상 합성부(214)는 (a) 입력 신호(S)와, (c) 보정(게인 제어) 후의 보정 미분 신호(H')를 비선형 변환부(213)에 있어서 비선형 변환한 결과(비선형 변환부(213)의 출력)인 시차 강조 신호(E')를 합성해서 (d) 우측 시프트 화상 신호 또는 (e) 좌측 시프트 화상 신호를 생성한다.

예를 들어, 도 4에 도시하는 좌측 화상 2D3D 변환부(204)는, 입력 좌측 화상을 도 12의 (a)에 나타내는 입력 화상이라고 한 경우, 또한 좌측 시프트한 (e) 좌측 시프트 화상 신호를 제1 시점 화상으로서 생성한다.

또한, 도 4에 도시하는 우측 화상 2D3D 변환부(205)는, 입력 우측 화상을 도 12의 (a)에 나타내는 입력 화상이라고 한 경우, 또한 우측 시프트한 (d) 우측 시프트 화상 신호를 제4 시점 화상으로서 생성한다.

도 12의 (d)에 나타내는 바와 같이, 작은 게인(G1)에 의해 보정이 행해진 보정 미분 신호(H')를 합성하는 경우, 보정 전의 미분 신호(H)를 합성하는 경우와 비교하여 우측 시프트량이 작은 화상 신호가 생성된다. 마찬가지로, 도 12의 (d)에서는, 좌측 시프트량이 작은 화상 신호가 생성된다.

이와 같이, 화상 처리 장치는, 표시 화면보다도 안쪽 방향으로 지각되는 화상을 생성하는 경우에는,

거리=대인 경우에는, 진폭이 큰 보정 미분 신호

거리=소인 경우에는, 진폭이 작은 보정 미분 신호,

이들 보정 미분 신호(도 11, 도 12의 (c))를 생성하고, 이들 보정 미분 신호(또는 그 비선형 변환 결과인 시차 강조 신호)와 (a) 입력 신호의 합성 처리에 의해, 입력 화상과 상이한 시점으로부터의 관찰 화상에 상당하는 (d) 우측 시프트 화상 신호 또는 (e) 좌측 시프트 화상 신호를 생성한다.

이러한 (d) 우측 시프트 화상 신호와, (e) 좌측 시프트 화상 신호의 생성 처리에 대해서, 수식을 사용하여 설명한다.

도 11, 도 12의 (a) 입력 신호에 상당하는 비디오 데이터의 휘도 레벨을 (S)라고 하고,

도 11, 도 12의 (b)에 나타내는 미분 신호의 신호 레벨을 (H)라고 한다.

또한, 게인 제어부(212)에 있어서 행해지는 미분 신호의 보정 결과로서의 보정 미분 신호의 신호 레벨을 (H')라고 한다.

또한, 보정 미분 신호(H')의 생성 시, (b) 미분 신호(H)에 곱하는 게인값(G)은 깊이 정보(D)를 바탕으로 미리 설정된 함수 등으로부터 결정된다.

도 11에 도시하는 거리가 대인 경우의 게인값을 G3,

도 12에 나타내는 거리가 소인 경우의 게인값을 G1

로 한다.

도 11, 도 12에 나타내는 예는, G3>1>G1의 관계를 상정하고 있다.

도 11, 도 12의 (c) 보정 후의 미분 신호의 신호 레벨을 (H')로 표현하면, (H')는 상기 게인값 G3, G1을 사용하여 보정된 신호로서, 이하의 식에 의해 나타낼 수 있다.

도 11에 도시하는 거리가 대인 경우의 보정 후 미분 신호(H')는

H'=G3×H

도 12에 나타내는 거리가 소인 경우의 보정 후 미분 신호(H')는

H'=G1×H

이들 식에 의해 산출된 신호가, 도 11, 도 12의 (c) 보정 후의 미분 신호의 신호 레벨(H')이 된다.

도 11의 (c)에 나타내는 거리가 대인 경우에 있어서, 실선으로 나타내는 보정 후 미분 신호(H')와, 점선으로 나타내는 보정 전 미분 신호(=(b))를 비교하면, 실선으로 나타내는 보정 후 미분 신호(H')는, 점선으로 나타내는 보정 전 미분 신호보다도 진폭이 크게 되어 있다.

한편, 도 12의 (c)에 나타내는 거리가 소인 경우에 있어서, 실선으로 나타내는 보정 후 미분 신호(H')와, 점선으로 나타내는 보정 전 미분 신호(=(b))를 비교하면, 실선으로 나타내는 보정 후 미분 신호(H')는 점선으로 나타내는 보정 전 미분 신호보다도 진폭이 작게 되어 있다.

이것은, 도 11의 (c), 도 12의 (c)에 나타내는 보정 후 미분 신호가 서로 다른 게인값을 곱하여 생성되기 때문이다.

즉, 깊이 검출부(203)가 출력하는 깊이 정보가 대인(카메라로부터의 거리가 먼) 화소에 대해서는, (b) 미분 신호에 대하여 큰 게인값을 곱하여 보정되어 도 11의 (c)에 나타내는 보정 후 미분 신호가 생성된다.

한편, 깊이 검출부(203)가 출력하는 깊이 정보가 소인(카메라로부터의 거리가 가까운) 화소에 대해서는, (b) 미분 신호에 대하여 작은 게인값을 곱하여 보정되어 도 12의 (c)에 나타내는 보정 후 미분 신호가 생성된다.

도 11의 (c), 도 12의 (c)에 나타내는 보정 후의 미분 신호는, 비선형 변환부(213)에 있어서, 예를 들어 앞서 도 10을 참조하여 설명한 설정으로 비선형 변환 처리가 실시되고, 시차 강조 신호(E')가 생성된다.

화상 합성부(214)는, (a) 입력 신호에 상당하는 비디오 데이터(S)와, (c) 보정 후의 미분 신호(H')를 비선형 변환한 시차 강조 신호(E')를 입력하여, 예를 들어 이하의 식에 의해 우측 시프트 화상 신호(Right) 또는 좌측 시프트 화상 신호(Left)를 생성한다.

Right=S-E'

Left=S+E'

그것에 의해 얻어지는 신호가, 도 11의 (d), 도 12의 (d)에 실선으로 나타내는 우측 시프트 화상 신호, 및 도 11의 (e), 도 12의 (e)에 나타내는 좌측 시프트 화상 신호이다.

한편, 도 11의 (d), (e)와 도 12의 (d), (e)에 점선으로 나타내는 신호는, (c) 보정 후의 미분 신호가 아니고, 보정 전의 미분 신호, 즉 (b) 미분 신호(H)를 적용하여 비선형 변환한 시차 강조 신호(E)를 이용하여 생성한 우측 시프트 화상 신호, 및 좌측 시프트 화상 신호에 상당한다. 즉,

Right=S-E

Left=S+E

이다.

도 11, 도 12의 (d) 우측 시프트 화상 신호 및, (e) 좌측 시프트 화상 신호에 나타내는 실선과 점선을 비교하면,

도 11에 도시하는 거리가 대인 경우에는, (d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호의 양자 모두, 실선(보정 후 미분 신호)가, 점선(보정 전 미분 신호)보다 에지부(신호의 변화부)가 급준하게 되어 있고, (a) 입력 신호와 비교하여 신호의 시프트가 크게 되어 있다.

한편, 도 12에 나타내는 거리가 소인 경우에는, (d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호의 양자 모두, 실선(보정 후 미분 신호)이, 점선(보정 전 미분 신호)보다 에지부가 매끄럽게 되어 있고, (a) 입력 신호와 비교하여 신호의 시프트가 작게 되어 있다.

즉, 거리가 대인 경우에는, (d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호의 차분이 확대되고, 거리가 소인 경우에는, (d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호의 차분이 축소된다.

이러한 (d) 우측 시프트 화상 신호, (e) 좌측 시프트 화상 신호를 표시함으로써, 거리가 대인 경우에는, (d) 우측 시프트 화상 신호와 (e) 좌측 시프트 화상 신호의 망막 시차가 커져, 보다 멀게 느껴지고, 거리가 소인 경우에는, (d) 우측 시프트 화상 신호와 (e) 좌측 시프트 화상 신호의 망막 시차가 작아져 가깝게 느껴지게 된다.

본 실시예에서는, 표시 화면보다도 안쪽에 시차를 생성하는 방법을 참고로 하여 설명을 행했지만, 표시 화면보다도 전에 시차를 생성하는 경우에는, 화상 합성부(214)는, 이하의 식에 따라서 우측 시프트 화상 신호(Right) 또는 좌측 시프트 화상 신호(Left)를 생성한다.

Right=S+E'

Left=S-E'

이와 같이 함으로써, 우측 시프트 화상 신호와 좌측 시프트 화상 신호의 시프트가 역방향으로 발생하고, 우측 시프트 화상 신호는 입력 화상보다 왼쪽으로 시프트하고, 좌측 화상 신호는 입력 화상보다 오른쪽으로 시프트된다. 이 결과, 생성된 우측 시프트 화상 신호와 좌측 시프트 화상 신호는 표시 화면보다도 전에 지각되게 된다.

[3. 화상 처리 장치의 제2 실시예에 대해서]

도 13에 본 발명의 화상 처리 장치의 제2 실시예의 구성도를 나타낸다.

제2 실시예는, 제1 실시예와 마찬가지로, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

단, 제2 실시예는, 제1 실시예와 달리, 입력 화상을 제1 시점 화상과 제4 시점 화상으로서 출력하고, 2D3D 변환부에 있어서 생성하는 화상을 제2 시점 화상과 제3 시점 화상으로 하고 있는 점이 상이하다. 또한, 제1 내지 제4 시점 화상은 도 3에 도시하는 제1 내지 제4 시점 화상에 대응하고, 순차, 좌측의 시점으로부터 우측의 시점의 촬영 화상에 대응한다.

입력 화상은, 3D 화상 표시에 적용하는 좌안용 화상(좌측 화상)과, 우안용 화상(우측 화상)의 조합이다. 본 실시예에서는, 도 3에 도시하는 예에 있어서의 시점1(103)에 있어서 촬영된 제1 시점 화상(113)과, 시점4에 있어서 촬영된 제4 시점 화상(114)이 입력 화상이 된다.

도 13에 나타내는 화상 처리 장치(250)는,

입력 좌측 화상을 그대로 제1 시점 화상으로서 출력한다.

입력 좌측 화상(제1 시점 화상)에 기초하는 2D3D 변환 처리에 의해, 좌측 화상보다 우측의 시점으로부터의 촬영 화상인 제2 시점 화상을 생성한다.

또한,

입력 우측 화상(제4 시점 화상)에 기초하는 2D3D 변환 처리에 의해, 우측 화상보다 좌측의 시점으로부터의 촬영 화상인 제3 시점 화상을 생성한다.

입력 우측 화상을 그대로 제4 시점 화상으로서 출력한다.

도 13에 나타내는 화상 처리 장치(250)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(251)는, 좌측 화상(제1 시점 화상)을 입력한다. 입력된 좌측 화상(제1 시점 화상)은, 깊이 검출부(253) 및 좌측 화상 2D3D 변환부(254)에 입력된다.

마찬가지로, 우측 화상 입력부(252)는, 우측 화상(제4 시점 화상)을 입력한다. 입력된 우측 화상(제4 시점 화상)은 깊이 검출부(253) 및 우측 화상 2D3D 변환부(255)에 입력된다.

깊이 검출부(253)는, 좌측 화상의 각 화소 또는 각 블록이, 우측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 좌측 화상의 당해 화소에 상당하는 위치에 보존한 좌측 화상 깊이 정보와, 우측 화상의 각 화소 또는 각 블록이, 좌측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 우측 화상의 당해 화소에 상당하는 위치에 보존한 우측 화상 깊이 정보를 생성한다.

이들의 처리는, 도 4를 참조하여 설명한 실시예 1에 있어서의 처리와 마찬가지이다.

깊이 검출부(253)는, 좌측 화상에 대응하는 좌측 화상 깊이 정보(예를 들어 거리 화상)를 생성하여 좌측 화상 2D3D 변환부(254)에 제공한다. 또한, 우측 화상에 대응하는 우측 화상 깊이 정보(예를 들어 거리 화상)를 생성하여 우측 화상 2D3D 변환부(255)에 제공한다.

좌측 화상 2D3D 변환부(254)는, 좌측 화상 입력부(251)로부터 입력하는 좌측 화상(제1 시점 화상)과, 깊이 검출부(253)에서 생성된 좌측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 좌측 화상(제2 시점 화상)보다 우측의 시점으로부터의 촬영 화상에 상당하는 제2 시점 화상을 생성한다.

마찬가지로, 우측 화상 2D3D 변환부(255)는, 우측 화상 입력부(252)로부터 입력하는 우측 화상(제4 시점 화상)과, 깊이 검출부(253)에서 생성된 우측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 우측 화상(제4 시점 화상)보다 좌측의 시점으로부터의 촬영 화상에 상당하는 제3 시점 화상을 생성한다.

좌측 화상 입력부(251)가 입력한 좌측 화상, 즉 제1 시점 화상은 제1 시점 화상 출력부(256)를 거쳐서 출력한다.

좌측 화상 2D3D 변환부(254)가 생성한 제2 시점 화상은 제2 시점 화상 출력부(257)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(255)가 생성한 제3 시점 화상은 제3 시점 화상 출력부(258)를 거쳐서 출력한다.

우측 화상 입력부(252)가 입력한 우측 화상, 즉 제4 시점 화상은 제4 시점 화상 출력부(259)를 거쳐서 출력한다.

또한, 화상의 출력처는, 예를 들어 3D 화상 표시의 표시 처리를 실행하는 장치, 혹은 3D 화상 데이터를 기록하는 기억 장치 등이다. 혹은 네트워크를 거쳐서 접속된 장치에 대한 통신 데이터로서 출력해도 된다.

이들 4개의 서로 다른 시점 화상은, 앞서 설명한 실시예 1과 마찬가지로, 예를 들어 표시 장치에 있어서 3D 화상 표시를 실행할 때, 유저의 관찰 위치에 따라서 적절히 2개의 화상을 선택하여 좌안용 화상과 우안용 화상으로서 출력하는 처리에 적용된다. 즉, 나안 대응의 3D 표시 장치에 있어서, 유저 위치에 따른 화상의 조합을 선택 출력함으로써, 역시나 크로스 토크의 발생을 억제한 3D 화상의 제시가 가능하게 된다.

이 도 13에 나타내는 화상 처리 장치(250)에 있어서도, 좌측 화상 2D3D 변환부(254)와, 우측 화상 2D3D 변환부(255)는 화상 입력부로부터 입력하는 화상과, 깊이 검출부(253)에서 생성된 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 화상과 상이한 시점으로부터의 촬영 화상에 상당하는 화상을 생성한다.

이 처리는, 예를 들어 깊이 정보를 사용하여 위상 변화량(시프트량)을 결정하고 화상을 시프트하는 처리 등에 의해 새로운 시점의 화상을 생성하는 처리로서 실행된다. 이용하는 거리 화상 등의 깊이 정보의 공간적인 해상도는 반드시 높지 않아도 상관없고, 깊이 검출부(253)로부터 출력하는 좌측 화상 깊이 정보 및 우측 화상 깊이 정보는 입력 화상의 화소수보다도 적게 하는 것이 가능하여, 깊이 검출부의 회로 규모를 작게 하는 것이 가능하다.

도 13에 나타내는 화상 처리 장치(250)에 있어서도, 좌측 화상 2D3D 변환부(254)와, 우측 화상 2D3D 변환부(255)에 있어서 실행하는 거리 정보에 따른 새로운 시점의 화상 생성 처리예에 대하여 도 14를 참조하여 설명한다.

도 14는, 도 13에 나타내는 실시예에 있어서의 입력 좌우 화상 및 생성되는 새로운 시점 화상간의 깊이 정보를 나타내고 있다. 도 14의 우측 하부의 (a)에 나타내는 그래프는, 좌측 화상 입력부(251)를 거쳐서 입력되는 좌측 화상(제1 시점 화상에 상당)과, 우측 화상 입력부(252)를 거쳐서 입력하는 우측 화상(제4 시점 화상에 상당) 사이에서 검출된 깊이 정보의 히스토그램을 나타내고 있다.

즉, 깊이 검출부(253)가 검출한 깊이 정보이다.

도 14의 (a)에 나타내는 히스토그램은, 횡축이 피사체까지의 거리에 따라 변화하는 거리 정보 d, 종축이 각 거리를 갖는 화소 면적을 나타내고 있다.

좌측 화상 2D3D 변환부(254)와, 우측 화상 2D3D 변환부(255)에서는, 깊이 검출부(253)의 생성 정보로부터 얻어지는 도 14의 (a)에 나타내는 깊이 정보의 히스토그램으로부터, 우선, 거리 d의 최소값 dmin과 최대값 dmax를 구한다.

또한, 이들 최소값 dmin과 최대값 dmax의 값은 노이즈의 영향을 고려하여, 히스토그램의 실제의 최대값, 최소값으로부터 수퍼센트 내측의 값으로서 설정할 수도 있다. 도 14의 (a)에서는 실제의 측정값보다, 수％ 내측에 최소값 dmin과 최대값 dmax의 라인을 나타내고 있다.

도 13에 나타내는 실시예에 있어서, 좌측 화상 2D3D 변환부(254)는, 입력 좌측 화상(제1 시점 화상)으로부터 2D3D 변환 처리에 의해, 입력 좌측 화상(제1 시점 화상)보다 우측 시점으로부터 관찰되는 제2 시점 화상을 생성한다.

이때, 새롭게 생성하는 제2 시점 화상은, 입력 좌우 화상 사이의 깊이를 3등분하고, 입력 좌측 화상에 가까운 시점에서 본 화상으로서 생성된다. 한편, 시점3의 화상은, 입력 좌우 화상의 깊이를 3등분하고, 입력 우측 화상에 가까운 시점에서 본 화상으로서 생성한다.

이로 인해, 도 14의 (a)에 나타내는 좌우 화상으로부터 얻어진 깊이 정보를 사용하여, 깊이를 1/3로 압축한 정보(깊이 최소값을 dmin/3, 깊이 최대값을 dmax/3으로 함), 즉, 도 14의 (b)에 나타내는 히스토그램을 설정한다.

이 도 14의 (b)에 나타내는 깊이 히스토그램이, 입력 좌측 화상(제1 시점 화상)과 새롭게 생성하는 제2 시점 화상간의 깊이 히스토그램으로서 얻어지도록 제2 시점 화상을 생성한다.

이러한 설정으로서, 입력 화상인 시점1, 시점4 사이를 3등분하는 시점2 및 시점3의 화상을, 좌측 화상 2D3D 변환부(254)와 우측 화상 2D3D 변환부(255)에 있어서 생성한다.

이와 같이, 각 2D3D 화상 변환부에서는, 우안용 입력 화상 신호와, 좌안용 입력 화상 신호에 기초하여 산출 또는 추정되는 깊이 정보로부터 최대 거리와 최소 거리의 피사체간의 화상간 거리차를 산출하고, 최종적으로 출력하는 시점 화상수에 따라서 각 시점 화상간의 화상간 거리차를 거의 균등하게 배분한 새로운 시점 화상의 생성을 행한다.

좌측 화상 2D3D 변환부(254)와 우측 화상 2D3D 변환부(255)에 있어서의 2D3D 변환 처리는, 예를 들어 앞서 도 6 내지 도 12를 참조하여 설명한 것과 마찬가지의 처리, 즉, 피사체 거리에 따라 입력 화상의 시프트량을 제어한 시프트 처리에 의해 실행 가능하다.

도 13의 구성을 갖는 실시예에 있어서는, 도 14의 (b)에 나타내는 바와 같이, 입력 화상에 기초하여 얻어지는 깊이 정보(도 14의 (a)의 dmin 내지 dmax)를 1/3로 압축한 깊이 정보를 베이스로 한 처리를 행하게 된다.

도 15는, 좌측 화상 2D3D 변환부(254)의 일 실시예의 구성을 도시하는 블록도이다. 또한, 좌측 화상 2D3D 변환부(254)와 우측 화상 2D3D 변환부(255)는, 새롭게 생성하는 화상에 따라서 시프트 방향이 변화될 뿐이므로, 좌측 화상 2D3D 변환부(254)를 대표예로서 설명한다.

본 실시예의 좌측 화상 2D3D 변환부(254)는, 앞서 도 6을 참조하여 설명한 제1 실시예에 있어서의 좌측 화상 2D3D 변환부(204)의 구성에 깊이 정보 조정부(261)를 추가한 구성으로 된다. 그 밖의 구성은, 앞서 도 6을 참조하여 설명한 제1 실시예에 있어서의 좌측 화상 2D3D 변환부(204)의 구성과 마찬가지이다.

깊이 정보 조정부(261)는, 입력 화상에 기초하여 깊이 검출부(203)의 생성 정보에 기초하여 얻어지는 깊이 정보(도 14의 (a)의 dmin 내지 dmax)를 1/3로 압축한 깊이 정보를 생성한다. 이 압축 깊이 정보를 게인 제어부(212)에 입력한다. 그 후의 처리는, 앞서 설명한 제1 실시예에 있어서의 2D3D 변환 처리와 마찬가지의 처리로 된다.

도 14의 (b)는, 제1 시점 화상(입력 좌측 화상)과 새롭게 생성되는 제2 시점 화상(입력 좌측 화상으로부터 2D3D 변환에 의해 생성) 사이의 깊이 정보의 히스토그램을 나타내고 있다.

또한, 제1 시점 화상(입력 좌측 화상)과 새롭게 생성되는 제2 시점 화상간의 깊이는, 입력 좌우 화상 사이의 깊이의 1/3에 상당하는 것이 바람직하지만, 2D3D 변환 처리에서는, 반드시 입력되는 깊이 정보와 동등한 시차를 생성할 수 있다고는 할 수 없다. 2D3D 변환 처리에 의해 생성되는 시차량은, 게인량의 조정이나 변환 필터의 특성에 의해 결정되기 때문에, 깊이 정보에 기초하는 제어에 의해 최대의 시차가 입력 화상간의 시차를 초과하지 않도록 제어한다.

좌측 화상 2D3D 변환부(254)는, 이 제어에 의해, 2D3D 변환 처리에 의해 생성하는 제2 시점 화상을, 입력 좌측 화상(제1 시점 화상)에 대하여 입력 우측 화상(제4 시점 화상)과의 사이의 시프트량의 1/3과 동등 이하의 시프트량으로, 보다 우측의 시점으로부터의 화상으로서 생성한다.

우측 화상 2D3D 변환부(255)도, 새롭게 생성하는 제3 시점의 화상에 대해서, 마찬가지로 입력 우측 화상(제4 시점 화상)에 대하여, 입력 좌측 화상(제1 시점 화상)과의 사이의 시프트량의 1/3과 동등 이하의 시프트량으로, 보다 좌측의 시점으로부터의 화상으로서 생성한다.

[4. 화상 처리 장치의 제3 실시예에 대해서]

도 16에 본 발명의 화상 처리 장치의 제3 실시예의 구성도를 나타낸다.

제3 실시예는, 제1 실시예와 마찬가지로, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

입력 화상은 제2 시점 화상과 제3 시점 화상으로서 출력하고, 2D3D 변환부에 있어서 제1 시점 화상과, 제4 시점 화상을 생성하여 출력한다. 이 구성은 도 4를 참조하여 설명한 제1 실시예와 마찬가지이다.

제1 실시예와의 차이는, 도 4에 도시하는 깊이 검출부(203)를 갖지 않고, 좌측 화상 깊이 추정부(303)와 우측 화상 깊이 추정부(304)를 갖는 점이다.

도 16에 나타내는 화상 처리 장치(300)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(301)는, 좌측 화상(제2 시점 화상)을 입력한다. 입력된 좌측 화상(제2 시점 화상)은, 좌측 화상 깊이 추정부(303) 및 좌측 화상 2D3D 변환부(305)에 입력된다.

마찬가지로, 우측 화상 입력부(302)는, 우측 화상(제3 시점 화상)을 입력한다. 입력된 우측 화상(제3 시점 화상)은, 우측 화상 깊이 추정부(304) 및 우측 화상 2D3D 변환부(306)에 입력된다.

좌측 화상 깊이 추정부(303)는, 입력되는 좌측 화상의 화상 특징량(휘도 분포, 에지 분포 등)을 계산하고, 그 특징량으로부터 입력 화상의 각 위치(화소 단위 또는 블록 단위)에 있어서의 깊이를 추정하고, 위치 대응의 깊이 추정 정보를 생성하여 좌측 화상 2D3D 변환부(305)에 제공한다.

우측 화상 깊이 추정부(304)는, 입력되는 우측 화상의 화상 특징량(휘도 분포, 에지 분포 등)을 계산하고, 그 특징량으로부터 입력 화상의 각 위치(화소 단위 또는 블록 단위)에 있어서의 깊이를 추정하고, 위치 대응의 깊이 추정 정보를 생성하여 우측 화상 2D3D 변환부(306)에 제공한다.

또한, 화상의 화상 특징량(휘도 분포, 에지 분포 등)으로부터 화상의 각 위치(화소 단위 또는 블록 단위)에 있어서의 깊이를 추정하는 처리로서는, 기존의 여러 가지의 깊이 추정 처리를 적용 가능하다. 구체적으로는, 예를 들어

["Make3D: Learning 3-D Scene Structure from a Single Still Image", Ashutosh Saxena, Min Sun, Andrew Y. Ng, In IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2008.]

["Automatic Photo Pop-up", D. Hoiem, A.A. Efros, and M. Hebert, ACM SIGGRAPH 2005.]

상기 문헌에 기재된 처리를 적용할 수 있다.

좌측 화상 2D3D 변환부(305)는, 좌측 화상 입력부(301)로부터 입력하는 좌측 화상(제2 시점 화상)과, 좌측 화상 깊이 추정부(303)에서 생성된 좌측 화상 깊이 추정 정보를 입력하여, 이들 정보를 이용하여, 입력 좌측 화상(제2 시점 화상)보다 더욱 좌측의 시점으로부터의 촬영 화상에 상당하는 제1 시점 화상을 생성한다.

마찬가지로, 우측 화상 2D3D 변환부(306)는, 우측 화상 입력부(302)로부터 입력하는 우측 화상(제3 시점 화상)과, 우측 화상 깊이 추정부(304)에서 생성된 우측 화상 깊이 추정 정보를 입력하여, 이들 정보를 이용하여, 입력 우측 화상(제3 시점 화상)보다 더욱 우측의 시점으로부터의 촬영 화상에 상당하는 제4 시점 화상을 생성한다.

이들 2D3D 변환부에 있어서의 새로운 시점 화상의 생성 처리는, 앞서 제1 실시예 및 실시예 2에 있어서 도 5 내지 도 12, 도 14 내지 도 15를 참조하여 설명한 처리와 마찬가지의 처리로서 실행할 수 있다.

좌측 화상 2D3D 변환부(305)가 생성한 제1 시점 화상은 제1 시점 화상 출력부(307)를 거쳐서 출력한다.

좌측 화상 입력부(301)가 입력한 좌측 화상, 즉 제2 시점 화상은 제2 시점 화상 출력부(308)를 거쳐서 출력한다.

우측 화상 입력부(302)가 입력한 우측 화상, 즉 제3 시점 화상은 제3 시점 화상 출력부(309)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(306)가 생성한 제4 시점 화상은 제4 시점 화상 출력부(310)를 거쳐서 출력한다.

출력처는, 표시 장치나 기억 장치 또는 네트워크를 거친 통신 데이터로서 출력된다.

이들 4개의 서로 다른 시점 화상은, 앞서 설명한 실시예와 마찬가지로, 나안 대응의 3D 표시 장치에 있어서, 유저 위치에 따른 화상의 조합을 선택 출력함으로써, 역시나 크로스 토크의 발생을 억제한 3D 화상의 제시가 가능하게 된다.

[5. 화상 처리 장치의 제4 실시예에 대해서]

도 17에 본 발명의 화상 처리 장치의 제4 실시예의 구성도를 나타낸다.

제4 실시예는, 제1 실시예와 마찬가지로, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

제4 실시예의 구성은, 도 4에 도시하는 깊이 검출부(203)를 갖지 않고, 또한, 도 16을 참조하여 설명한 실시예 3에서 이용한 깊이 추정부도 갖지 않는다.

도 17에 나타내는 화상 처리 장치(350)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(351)는, 좌측 화상(제2 시점 화상)을 입력한다. 입력된 좌측 화상(제2 시점 화상)은, 좌측 화상 2D3D 변환부(352)에 입력된다.

마찬가지로, 우측 화상 입력부(355)는, 우측 화상(제3 시점 화상)을 입력한다. 입력된 우측 화상(제3 시점 화상)은, 우측 화상 2D3D 변환부(356)에 입력된다.

좌측 화상 2D3D 변환부(352)는, 좌측 화상 입력부(351)로부터 입력하는 좌측 화상(제2 시점 화상)의 화상 특징량 등으로부터 깊이를 추정하지 않고, 입력 좌측 화상(제2 시점 화상)보다, 더욱 좌측의 시점에 상당하는 시차를 부여한 화상(제1 시점 화상)을 생성한다.

우측 화상 2D3D 변환부(356)는, 우측 화상 입력부(355)로부터 입력하는 우측 화상(제3 시점 화상)의 화상 특징량 등으로부터 깊이를 추정하지 않고, 입력 우측 화상(제3 시점 화상)보다, 더욱 우측의 시점에 상당하는 시차를 부여한 화상(제4 시점 화상)을 생성한다.

좌측 화상 2D3D 변환부(352)가 생성한 제1 시점 화상은 제1 시점 화상 출력부(353)를 거쳐서 출력한다.

좌측 화상 입력부(351)가 입력한 좌측 화상, 즉 제2 시점 화상은 제2 시점 화상 출력부(354)를 거쳐서 출력한다.

우측 화상 입력부(355)가 입력한 우측 화상, 즉 제3 시점 화상은 제3 시점 화상 출력부(357)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(356)가 생성한 제4 시점 화상은 제4 시점 화상 출력부(358)를 거쳐서 출력한다.

이들 4개의 서로 다른 시점 화상은, 앞서 설명한 실시예와 마찬가지로, 나안 대응의 3D 표시 장치에 있어서, 유저 위치에 따른 화상의 조합을 선택 출력함으로써, 크로스 토크의 발생을 억제한 3D 화상의 제시가 가능하게 된다.

본 실시예에서는, 깊이를 검출 또는 추정하는 회로를 삭감하는 것이 가능하다.

[6. 화상 처리 장치의 제5 실시예에 대해서]

도 18에 본 발명의 화상 처리 장치의 제5 실시예의 구성도를 나타낸다.

제5 실시예는, 제1 실시예와 마찬가지로, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

제5 실시예에서는, 앞서 설명한 제1 내지 제4 실시예와는 달리, 입력 화상 자체를 출력 화상으로서 사용하지 않고, 입력 화상에 기초하여, 새로운 모든 출력 화상인 제1 내지4 시점 화상을 생성한다.

본 예는, 예를 들어 도 3의 구성에 있어서, 시점1(103)과 좌측 카메라(101)의 중간 위치로부터의 촬영 화상을 좌측 화상으로서 입력하고, 우측 카메라(102)와, 시점4(104)의 중간 위치로부터의 촬영 화상을 우측 화상으로서 입력한다. 이들 입력 화상에 기초하여, 도 3에 도시하는 제1 내지 제4 시점 화상을 새로운 시점 화상으로서 생성한다. 이러한 처리를 행하는 구성에 상당한다.

도 18에 나타내는 화상 처리 장치(400)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(401)는, 좌측 화상을 입력한다. 입력된 좌측 화상은, 깊이 검출부(403) 및 좌측 화상 2D3D 변환부(404)에 입력된다.

마찬가지로, 우측 화상 입력부(402)는, 우측 화상을 입력한다. 입력된 우측 화상은, 깊이 검출부(403) 및 우측 화상 2D3D 변환부(405)에 입력된다.

깊이 검출부(403)는, 좌측 화상의 각 화소 또는 각 블록이, 우측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 좌측 화상의 당해 화소에 상당하는 위치에 보존한 좌측 화상 깊이 정보와, 우측 화상의 각 화소 또는 각 블록이, 좌측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 우측 화상의 당해 화소에 상당하는 위치에 보존한 우측 화상 깊이 정보를 생성한다.

좌측 화상 2D3D 변환부(404)는, 좌측 화상 입력부(401)로부터 입력하는 좌측 화상과, 깊이 검출부(403)에서 생성된 좌측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 좌측 화상보다 더욱 좌측의 시점으로부터의 화상(제1 시점 화상)과, 입력 좌측 화상의 우측의 시점으로부터의 촬영 화상에 상당하는 화상(제2 시점 화상)의 2개의 화상을 생성한다.

마찬가지로, 우측 화상 2D3D 변환부(405)는, 우측 화상 입력부(402)로부터 입력하는 우측 화상과, 깊이 검출부(403)에서 생성된 우측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력 우측 화상의 좌측의 시점으로부터의 화상(제3 시점 화상)과, 입력 우측 화상보다 더욱 우측의 시점으로부터의 촬영 화상에 상당하는 화상(제4 시점 화상)의 2개의 화상을 생성한다.

좌측 화상 2D3D 변환부(404)가 생성한 제1 시점 화상은 제1 시점 화상 출력부(406)를 거쳐서 출력한다.

좌측 화상 2D3D 변환부(404)가 생성한 제2 시점 화상은 제2 시점 화상 출력부(407)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(405)가 생성한 제3 시점 화상은 제3 시점 화상 출력부(408)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(405)가 생성한 제4 시점 화상은 제4 시점 화상 출력부(409)를 거쳐서 출력한다.

[7. 화상 처리 장치의 제6 실시예에 대해서]

도 19에 본 발명의 화상 처리 장치의 제6 실시예의 구성도를 나타낸다.

제6 실시예는, 제1 실시예와 마찬가지로, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

제6 실시예는, 도 16을 참조하여 설명한 제3 실시예와 마찬가지의 깊이 추정부를 갖는다.

또한, 도 18을 참조하여 설명한 제5 실시예와 마찬가지로, 입력 화상 자체를 출력 화상으로서 사용하지 않고, 입력 화상에 기초하여 모든 출력 화상인 새로운 제1 내지4 시점 화상을 생성한다.

예를 들어, 도 3의 구성에 있어서, 시점1(103)과 좌측 카메라(101)의 중간 위치로부터의 촬영 화상을 좌측 화상으로서 입력하고, 우측 카메라(102)와, 시점4(104)의 중간 위치로부터의 촬영 화상을 우측 화상으로서 입력한다. 이들 입력 화상에 기초하여, 새로운 제1 내지 제4 시점 화상을 생성한다. 이러한 처리를 행하는 구성에 상당한다.

도 19에 나타내는 화상 처리 장치(450)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(451)는, 좌측 화상을 입력한다. 입력된 좌측 화상은, 좌측 화상 깊이 추정부(453) 및 좌측 화상 2D3D 변환부(455)에 입력된다.

마찬가지로, 우측 화상 입력부(452)는, 우측 화상을 입력한다. 입력된 우측 화상은, 우측 화상 깊이 추정부(454) 및 우측 화상 2D3D 변환부(456)에 입력된다.

좌측 화상 2D3D 변환부(455)는, 좌측 화상 입력부(451)로부터 입력하는 좌측 화상과, 좌측 화상 깊이 추정부(453)에서 생성된 좌측 화상 깊이 추정 정보를 입력하여, 이들 정보를 이용하여, 입력 좌측 화상보다 더욱 좌측의 시점으로부터의 화상(제1 시점 화상)과, 입력 좌측 화상의 우측의 시점으로부터의 촬영 화상에 상당하는 화상(제2 시점 화상)의 2개의 화상을 생성한다.

우측 화상 2D3D 변환부(456)는, 우측 화상 입력부(452)로부터 입력하는 우측 화상과, 우측 화상 깊이 추정부(454)에서 생성된 우측 화상 깊이 추정 정보를 입력하여, 이들 정보를 이용하여, 입력 우측 화상보다 좌측의 시점으로부터의 화상(제3 시점 화상)과, 입력 우측 화상보다 더욱 우측의 시점으로부터의 촬영 화상에 상당하는 화상(제4 시점 화상)의 2개의 화상을 생성한다.

좌측 화상 2D3D 변환부(455)가 생성한 제1 시점 화상은 제1 시점 화상 출력부(457)를 거쳐서 출력한다.

좌측 화상 2D3D 변환부(455)가 생성한 제2 시점 화상은 제2 시점 화상 출력부(458)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(456)가 생성한 제3 시점 화상은 제3 시점 화상 출력부(459)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(456)가 생성한 제4 시점 화상은 제4 시점 화상 출력부(460)를 거쳐서 출력한다.

[8. 화상 처리 장치의 제7 실시예에 대해서]

도 20에 본 발명의 화상 처리 장치의 제7 실시예의 구성도를 나타낸다.

제7 실시예는, 제1 실시예와 마찬가지로, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 장치이다.

제7 실시예는, 도 17을 참조하여 설명한 제4 실시예와 마찬가지로, 깊이 검출부도 깊이 추정부도 갖지 않는 구성이다.

또한, 도 18을 참조하여 설명한 제5 실시예와 마찬가지로, 입력 화상 자체를 출력 화상으로서 사용하지 않고, 입력 화상에 기초하여 모든 출력 화상인 제1 내지4 시점 화상을 생성한다.

도 20에 나타내는 화상 처리 장치(500)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(501)는, 좌측 화상을 입력한다. 입력된 좌측 화상은, 좌측 화상 2D3D 변환부(505)에 입력된다.

마찬가지로, 우측 화상 입력부(502)는, 우측 화상을 입력한다. 입력된 우측 화상은, 우측 화상 2D3D 변환부(506)에 입력된다.

좌측 화상 2D3D 변환부(502)는, 좌측 화상 입력부(501)로부터 입력하는 좌측 화상의 화상 특징량 등으로부터 깊이를 추정하지 않고, 입력 좌측 화상보다 더욱 좌측의 시점으로부터의 화상(제1 시점 화상)과, 입력 좌측 화상의 우측의 시점으로부터의 촬영 화상에 상당하는 화상(제2 시점 화상)의 2개의 화상을 생성한다.

우측 화상 2D3D 변환부(506)는, 우측 화상 입력부(502)로부터 입력하는 우측 화상의 화상 특징량 등으로부터 깊이를 추정하지 않고, 입력 우측 화상의 좌측의 시점으로부터의 화상(제3 시점 화상)과, 입력 우측 화상보다 더욱 우측의 시점으로부터의 촬영 화상에 상당하는 화상(제4 시점 화상)의 2개의 화상을 생성한다.

좌측 화상 2D3D 변환부(502)가 생성한 제1 시점 화상은 제1 시점 화상 출력부(503)를 거쳐서 출력한다.

좌측 화상 2D3D 변환부(502)가 생성한 제2 시점 화상은 제2 시점 화상 출력부(504)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(506)가 생성한 제3 시점 화상은 제3 시점 화상 출력부(507)를 거쳐서 출력한다.

우측 화상 2D3D 변환부(506)가 생성한 제4 시점 화상은 제4 시점 화상 출력부(508)를 거쳐서 출력한다.

[9. 화상 처리 장치의 제8 실시예에 대해서]

도 21에 본 발명의 화상 처리 장치의 제8 실시예의 구성도를 나타낸다.

지금까지 설명한 실시예에서는, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 제1 내지 제4의 4시점의 화상을 출력하는 다시점 화상 생성을 행하는 처리예에 대하여 설명하였다.

도 21에 나타내는 제8 실시예의 화상 처리 장치(550)는, 좌우의 시점이 상이한 2매의 화상(좌측 화상, 우측 화상)을 입력으로 하고, 더 많은 제1 내지 제6의 6시점의 화상을 출력하는 다시점 화상 생성을 행한다.

또한, 생성하는 제1 내지 제6의 6시점의 화상의 각각은, 가장 좌측의 시점의 화상을 제1 시점 화상으로 하고, 제2, 제3··으로 순차, 우측으로 이동한 시점의 화상이며, 가장 우측의 시점의 화상이 제6 시점 화상이 된다.

도 21에 나타내는 제8 실시예의 화상 처리 장치(550)는,

입력 화상의 좌측 화상을 그대로 제3 시점 화상으로서 출력하고,

입력 좌측 화상(제3 시점 화상)에 기초하여, 입력 좌측 화상의 좌측의 시점의 제2 시점 화상과, 더욱 좌측의 제1 시점 화상을 생성하여 출력한다.

또한, 입력 화상의 우측 화상을 그대로 제4 시점 화상으로서 출력하고,

입력 우측 화상(제4 시점 화상)에 기초하여, 입력 우측 화상의 우측의 시점의 제5 시점 화상과, 더욱 우측의 제6 시점 화상을 생성하여 출력한다.

도 21에 나타내는 화상 처리 장치(550)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

좌측 화상 입력부(551)는, 좌측 화상을 입력한다. 입력된 좌측 화상은, 깊이 검출부(553) 및 좌측 화상 제1-2D3D 변환부(554)에 입력된다.

마찬가지로, 우측 화상 입력부(552)는, 우측 화상을 입력한다. 입력된 우측 화상은, 깊이 검출부(553) 및 우측 화상 제1-2D3D 변환부(556)에 입력된다.

깊이 검출부(553)는, 좌측 화상의 각 화소 또는 각 블록이, 우측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 좌측 화상의 당해 화소에 상당하는 위치에 보존한 좌측 화상 깊이 정보와, 우측 화상의 각 화소 또는 각 블록이, 좌측 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 우측 화상의 당해 화소에 상당하는 위치에 보존한 우측 화상 깊이 정보를 생성한다.

좌측 화상 제1-2D3D 변환부(554)는, 좌측 화상 입력부(551)로부터 입력하는 좌측 화상(제3 시점 화상)과, 깊이 검출부(553)에서 생성된 좌측 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력 좌측 화상보다 더욱 좌측의 시점으로부터의 화상(제2 시점 화상)을 생성한다. 생성한 제2 시점 화상은, 제2 시점 화상 출력부(559)를 거쳐서 출력됨과 함께, 좌측 화상 제2-2D3D 변환부(555)에 제공된다.

좌측 화상 제2-2D3D 변환부(555)는, 좌측 화상 제1-2D3D 변환부(554)로부터 입력하는 제2 시점 화상과, 깊이 검출부(553)에서 생성된 좌측 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력한 제2 시점 화상보다 더욱 좌측의 시점으로부터의 화상(제1 시점 화상)을 생성한다. 생성한 제1 시점 화상은, 제1 시점 화상 출력부(558)를 거쳐서 출력된다.

또한, 우측 화상 제1-2D3D 변환부(556)는, 우측 화상 입력부(552)로부터 입력하는 우측 화상(제4 시점 화상)과, 깊이 검출부(553)에서 생성된 우측 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력 우측 화상보다 더욱 우측의 시점으로부터의 화상(제5 시점 화상)을 생성한다. 생성한 제5 시점 화상은, 제5 시점 화상 출력부(562)를 거쳐서 출력됨과 함께, 우측 화상 제2-2D3D 변환부(557)에 제공된다.

우측 화상 제2-2D3D 변환부(557)는, 우측 화상 제1-2D3D 변환부(556)로부터 입력하는 제5 시점 화상과, 깊이 검출부(553)에서 생성된 우측 화상 깊이 정보(예를 들어 거리 화상)를 입력하여, 이들 정보를 이용하여, 입력한 제5 시점 화상보다 더욱 우측의 시점으로부터의 화상(제6 시점 화상)을 생성한다. 생성한 제6 시점 화상은, 제6 시점 화상 출력부(563)를 거쳐서 출력된다.

좌측 화상 제2-2D3D 변환부(555)가 생성한 제1 시점 화상은, 제1 시점 화상 출력부(558)를 거쳐서 출력한다.

좌측 화상 제1-2D3D 변환부(554)가 생성한 제2 시점 화상은, 제2 시점 화상 출력부(559)를 거쳐서 출력한다.

좌측 화상 입력부(551)를 거쳐서 입력한 화상(제3 시점 화상)은, 제3 시점 화상 출력부(560)를 거쳐서 출력한다.

우측 화상 입력부(552)를 거쳐서 입력한 화상(제4 시점 화상)은, 제4 시점 화상 출력부(561)를 거쳐서 출력한다.

우측 화상 제1-2D3D 변환부(556)가 생성한 제5 시점 화상은, 제5 시점 화상 출력부(562)를 거쳐서 출력한다.

우측 화상 제2-2D3D 변환부(557)가 생성한 제6 시점 화상은, 제6 시점 화상 출력부(563)를 거쳐서 출력한다.

이들 6개의 서로 다른 시점 화상은, 앞서 설명한 실시예 1과 마찬가지로, 예를 들어 표시 장치에 있어서 3D 화상 표시를 실행할 때, 유저의 관찰 위치에 따라서 적절히 2개의 화상을 선택하여 좌안용 화상과 우안용 화상으로서 출력하는 처리에 적용된다. 즉, 나안 대응의 3D 표시 장치에 있어서, 유저 위치에 따른 화상의 조합을 선택 출력함으로써, 역시나 크로스 토크의 발생을 억제한 3D 화상의 제시가 가능하게 된다.

본 실시예에서는, 제1 내지 제7 실시예에서 설명한 4개의 시점 화상보다, 더 많은 상이한 다시점 화상의 생성이 가능하다. 도 21에 나타내는 바와 같이 2D3D 변환 처리부를 직렬적으로 접속함으로써, 생성하는 시점수를 증가시킬 수 있다. 또한, 2D3D 변환 처리는, 2단에 한하지 않고 보다 다단으로 접속하는 것도 가능하다.

[10. 화상 처리 장치의 제9 실시예에 대해서]

도 22에 본 발명의 화상 처리 장치의 제9 실시예의 구성도를 나타낸다.

도 22에 나타내는 제9 실시예의 화상 처리 장치(600)는, 시점이 상이한 4매의 화상(제1 화상 내지 제4 화상)을 입력으로 하고, 제1 내지 제8의 8시점의 화상을 출력하는 다시점 화상 생성을 행한다.

또한, 생성하는 제1 내지 제8의 8시점의 화상의 각각은, 가장 좌측의 시점의 화상을 제1 시점 화상으로 하고, 제2, 제3··으로 순차, 우측으로 이동한 시점의 화상이며, 가장 우측의 시점의 화상이 제8 시점 화상이 된다.

도 22에 나타내는 제9 실시예의 화상 처리 장치(600)는,

입력 화상의 제1 화상은, 그대로 제2 시점 화상으로서 출력하고,

입력 제1 화상(제2 시점 화상)에 기초하여, 입력 제1 화상(제2 시점 화상)의 좌측의 시점의 제1 시점 화상을 생성하여 출력한다.

또한, 입력 화상의 제2 화상은, 그대로 제4 시점 화상으로서 출력하고,

입력 제2 화상(제4 시점 화상)에 기초하여, 입력 제2 화상(제4 시점 화상)의 좌측의 시점의 제3 시점 화상을 생성하여 출력한다.

또한, 입력 화상의 제3 화상은, 그대로 제5 시점 화상으로서 출력하고,

입력 제3 화상(제5 시점 화상)에 기초하여, 입력 제3 화상(제5 시점 화상)의 우측의 시점의 제6 시점 화상을 생성하여 출력한다.

또한, 입력 화상의 제4 화상은, 그대로 제7 시점 화상으로서 출력하고,

입력 제4 화상(제7 시점 화상)에 기초하여, 입력 제4 화상(제7 시점 화상)의 우측의 시점의 제8 시점 화상을 생성하여 출력한다.

도 22에 나타내는 화상 처리 장치(600)의 구성에 따라, 이 화상 처리 장치에 있어서 실행하는 처리에 대하여 설명한다.

제1 화상 입력부(601)는, 제1 화상을 입력한다. 입력된 제1 화상은, 제1 깊이 검출부(611) 및 제1-2D3D 변환부(621)에 입력된다.

제2 화상 입력부(602)는, 제2 화상을 입력한다. 입력된 제2 화상은, 제1 깊이 검출부(611) 및 제2 깊이 검출부(612), 또한 제2-2D3D 변환부(622)에 입력된다.

제3 화상 입력부(603)는, 제3 화상을 입력한다. 입력된 제3 화상은, 제2 깊이 검출부(612) 및 제3 깊이 검출부(613), 또한 제3-2D3D 변환부(623)에 입력된다.

제4 화상 입력부(604)는, 제4 화상을 입력한다. 입력된 제4 화상은, 제3 깊이 검출부(613)와, 또한 제4-2D3D 변환부(624)에 입력된다.

제1 깊이 검출부(611)는, 제1 화상의 각 화소 또는 각 블록이, 제2 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 제1 화상의 당해 화소에 상당하는 위치에 보존한 제1 화상 깊이 정보를 생성한다.

제2 깊이 검출부(612)는, 제2 화상의 각 화소 또는 각 블록이, 제3 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 제2 화상의 당해 화소에 상당하는 위치에 보존한 제2 화상 깊이 정보를 생성한다.

또한, 제3 화상의 각 화소 또는 각 블록이, 제2 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 제3 화상의 당해 화소에 상당하는 위치에 보존한 제3 화상 깊이 정보를 생성한다.

제3 깊이 검출부(613)는, 제4 화상의 각 화소 또는 각 블록이, 제3 화상의 어느 화소 또는 블록에 대응하는지를 검출하고, 그 위치의 차를 제4 화상의 당해 화소에 상당하는 위치에 보존한 제4 화상 깊이 정보를 생성한다.

제1-2D3D 변환부(621)는, 제1 화상 입력부(601)로부터 입력하는 제1 화상(제2 시점 화상)과, 제1 깊이 검출부(611)에서 생성된 제1 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력 제1 화상(제2 시점 화상)보다 더욱 좌측의 시점으로부터의 화상(제1 시점 화상)을 생성한다.

제2-2D3D 변환부(622)는, 제2 화상 입력부(602)로부터 입력하는 제2 화상(제4 시점 화상)과, 제2 깊이 검출부(612)에서 생성된 제2 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력 제2 화상(제4 시점 화상)보다 더욱 좌측의 시점으로부터의 화상(제3 시점 화상)을 생성한다.

제3-2D3D 변환부(623)는, 제3 화상 입력부(603)로부터 입력하는 제3 화상(제5 시점 화상)과, 제2 깊이 검출부(612)에서 생성된 제3 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력 제3 화상(제5 시점 화상)보다 더욱 우측의 시점으로부터의 화상(제6 시점 화상)을 생성한다.

제4-2D3D 변환부(624)는, 제4 화상 입력부(604)로부터 입력하는 제4 화상(제7 시점 화상)과, 제3 깊이 검출부(613)에서 생성된 제4 화상 깊이 정보(예를 들어 거리 화상)를 입력하고, 이들 정보를 이용하여, 입력 제4 화상(제7 시점 화상)보다 더욱 우측의 시점으로부터의 화상(제8 시점 화상)을 생성한다.

제1-2D3D 변환부(621)가 생성한 제1 시점 화상은, 제1 시점 화상 출력부(631)를 거쳐서 출력한다.

제1 화상 입력부(601)를 거쳐서 입력한 화상(제2 시점 화상)은, 제2 시점 화상 출력부(632)를 거쳐서 출력한다.

제3-2D3D 변환부(622)가 생성한 제2 시점 화상은, 제3 시점 화상 출력부(633)를 거쳐서 출력한다.

제2 화상 입력부(602)를 거쳐서 입력한 화상(제4 시점 화상)은, 제4 시점 화상 출력부(634)를 거쳐서 출력한다.

제3 화상 입력부(603)를 거쳐서 입력한 화상(제5 시점 화상)은, 제5 시점 화상 출력부(635)를 거쳐서 출력한다.

제3-2D3D 변환부(623)가 생성한 제6 시점 화상은, 제6 시점 화상 출력부(636)를 거쳐서 출력한다.

제4 화상 입력부(604)를 거쳐서 입력한 화상(제7 시점 화상)은, 제7 시점 화상 출력부(637)를 거쳐서 출력한다.

제4-2D3D 변환부(624)가 생성한 제8 시점 화상은, 제8 시점 화상 출력부(638)를 거쳐서 출력한다.

이들 8개의 서로 다른 시점 화상은, 앞서 설명한 실시예 1과 마찬가지로, 예를 들어 표시 장치에 있어서 3D 화상 표시를 실행할 때, 유저의 관찰 위치에 따라서 적절히 2개의 화상을 선택하여 좌안용 화상과 우안용 화상으로서 출력하는 처리에 적용된다. 즉, 나안 대응의 3D 표시 장치에 있어서, 유저 위치에 따른 화상의 조합을 선택 출력함으로써, 역시나 크로스 토크의 발생을 억제한 3D 화상의 제시가 가능하게 된다.

본 실시예의 구성에서는 3 이상의 시점이 상이한 3매 이상의 화상을 입력으로 하고, 4 이상의 시점 화상을 생성하는 구성이 실현된다.

[11. 본 발명의 구성의 정리]

이상, 특정한 실시예를 참조하면서, 본 발명의 실시예에 대하여 자세히 해석하였다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 실시예의 수정이나 대용을 할 수 있는 것은 자명하다. 즉, 예시라는 형태로 본 발명을 설명한 것이고, 한정적으로 해석되어서는 안된다. 본 발명의 요지를 판단하기 위해서는, 특허 청구 범위의 란을 참작해야 한다.

또한, 본 명세서에 있어서 개시한 기술은, 이하와 같은 구성을 취할 수 있다.

(1) 3차원 화상 표시에 적용하는 우안용 화상 신호를 입력하는 우측 화상 입력부와,

상기 우측 화상 변환부의 생성 화상 및 상기 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력하는 화상 출력부를 갖는 화상 처리 장치.

(2) 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호로부터 각각의 화상 신호에 대응한 피사체 거리 정보를 갖는 화상 깊이 정보를 생성하는 깊이 검출부를 갖고, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 화상 깊이 정보를 보조 정보로 하여 상기 화상 신호를 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성하는 상기 (1)에 기재된 화상 처리 장치.

(3) 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호로부터 각각의 화상 신호에 대응한 피사체 거리 추정 정보를 생성하는 깊이 추정부를 갖고, 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 깊이 추정 정보를 보조 정보로 하여 화상 신호를 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성하는 (1) 또는 (2)에 기재된 화상 처리 장치.

(4) 상기 좌측 화상 변환부 및 우측 화상 변환부는, 입력 화상 신호의 휘도 미분 신호를 추출하고, 그 휘도 미분 신호를 특징량으로서 설정하고, 입력 화상 신호에 대하여 휘도 미분 신호 또는 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써 상기 변환 화상을 생성하는 (1) 내지 (3) 중 어느 하나에 기재된 화상 처리 장치.

(5) 상기 좌측 화상 변환부 또는 우측 화상 변환부는 다단 접속 구성을 갖고, 전단의 화상 변환부가 생성한 변환 화상을 후단의 화상 변환부에 입력하고, 입력 화상 신호에 대한 위상 변화를 실시하는 처리를 각 화상 변환부에 있어서 반복 실행하고, 각 화상 변환부에 있어서, 순차 새로운 변환 화상을 생성하는 (1) 내지 (4) 중 어느 하나에 기재된 화상 처리 장치.

(6) 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호에 기초하여 산출 또는 추정되는 깊이 정보로부터 최대 거리와 최소 거리의 피사체간의 화상간 거리차를 산출하고, 그 화상간 거리차에 따라, 새로운 시점 화상과 타 화상으로부터 얻어지는 최대 거리 및 최소 거리의 피사체간의 화상간 거리차를 제어한 새로운 시점 화상을 생성하는 (1) 내지 (5) 중 어느 하나에 기재된 화상 처리 장치.

(7) 상기 좌측 화상 변환부 및 우측 화상 변환부는, 상기 우안용 입력 화상 신호와, 상기 좌안용 입력 화상 신호에 기초하여 산출 또는 추정되는 깊이 정보로부터 최대 거리와 최소 거리의 피사체간의 화상간 거리차를 산출하고, 최종적으로 출력하는 시점 화상수에 따라서 각 시점 화상간의 화상간 거리차를 거의 균등하게 배분한 새로운 시점 화상의 생성을 행하는 (1) 내지 (6) 중 어느 하나에 기재된 화상 처리 장치.

또한, 명세서 중에 있어서 설명한 일련의 처리는 하드웨어 또는 소프트웨어, 또는 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우에는, 처리 시퀀스를 기록한 프로그램을, 전용 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시키거나, 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다. 예를 들어, 프로그램은 기록 매체에 미리 기록해 둘 수 있다. 기록 매체로부터 컴퓨터에 인스톨하는 것 이외에, LAN(Local Area Network), 인터넷이라고 한 네트워크를 통하여 프로그램을 수신하고, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.

또한, 명세서에 기재된 각종 처리는, 기재에 따라서 시계열로 실행될 뿐만 아니라, 처리를 실행하는 장치의 처리 능력 또는 필요에 따라 병렬적으로 또는 개별로 실행되어도 된다. 또한, 본 명세서에 있어서 시스템이란, 복수의 장치의 논리적 집합 구성이며, 각 구성의 장치가 동일 하우징 내에 있는 것에 한하지는 않는다.

<산업상 이용 가능성>

이상, 설명한 바와 같이, 본 발명의 일 실시예 구성에 의하면, 간이한 신호 처리에 의해 새로운 시점으로부터의 화상을 생성하는 화상 처리 장치가 실현된다. 구체적으로는, 예를 들어 화상 표시에 적용하는 우안용 화상 신호와 좌안용 화상 신호를 입력하고, 우측 화상 변환부가 우안용 입력 화상 신호를 화상의 특징에 따라서 우측 방향 또는 좌측 방향으로 위상 변화를 실시한 변환 화상을 생성한다. 마찬가지로, 좌측 화상 변환부 좌안용 입력 화상 신호를 화상의 특징에 따라서 좌측 방향, 또는 우측 방향으로 위상 변화를 실시한 변환 화상을 생성한다. 이들 우측 화상 변환부의 생성 화상 및 좌측 화상 변환부의 생성 화상을 복수의 새로운 시점 화상으로서 출력한다. 변환 화상은, 예를 들어 입력 화상의 휘도 미분 신호, 혹은 휘도 미분 신호의 비선형 변환 신호를 입력 화상 신호에 대하여 가산/감산하는 처리에 의해 생성한다. 이들의 처리에 의해, 고정밀도의 피사체 거리 정보를 이용하지 않고 여러 가지의 시점으로부터의 화상의 생성이 가능하게 된다.

11 : 좌측 카메라
12 : 우측 카메라
21 : 좌측 화상
22 : 우측 화상
31 : 시점1 카메라
32 : 시점2 카메라
33 : 시점3 카메라
34 : 시점4 카메라
41 : 시점1 화상
42 : 시점2 화상
43 : 시점3 화상
44 : 시점4 화상
101 : 좌측 카메라
102 : 우측 카메라
103 : 시점1
104 : 시점2
111 : 좌측 화상(제2 시점 화상)
112 : 우측 화상(제3 시점 화상)
113 : 제1 시점 화상
114 : 제4 시점 화상
200 : 화상 처리 장치
201 : 좌측 화상 입력부
202 : 우측 화상 입력부
203 : 깊이 검출부
204 : 좌측 화상 2D3D 변환부
205 : 우측 화상 2D3D 변환부
206 : 제1 시점 화상 출력부
207 : 제2 시점 화상 출력부
208 : 제3 시점 화상 출력부
209 : 제4 시점 화상 출력부
211 : 미분기
212 : 게인 제어기
213 : 비선형 변환부
214 : 화상 합성부
221 : 개인 계수 산출부
222 : 승산 처리부
250 : 화상 처리 장치
251 : 좌측 화상 입력부
252 : 우측 화상 입력부
253 : 깊이 검출부
254 : 좌측 화상 2D3D 변환부
255 : 우측 화상 2D3D 변환부
256 : 제1 시점 화상 출력부
257 : 제2 시점 화상 출력부
258 : 제3 시점 화상 출력부
259 : 제4 시점 화상 출력부
261 : 깊이 정보 조정부
300 : 화상 처리 장치
301 : 좌측 화상 입력부
302 : 우측 화상 입력부
303 : 좌측 화상 깊이 추정부
304 : 우측 화상 깊이 추정부
305 : 좌측 화상 2D3D 변환부
306 : 우측 화상 2D3D 변환부
307 : 제1 시점 화상 출력부
308 : 제2 시점 화상 출력부
309 : 제3 시점 화상 출력부
310 : 제4 시점 화상 출력부
350 : 화상 처리 장치
351 : 좌측 화상 입력부
352 : 좌측 화상 2D3D 변환부
353 : 제1 시점 화상 출력부
354 : 제2 시점 화상 출력부
355 : 우측 화상 입력부
356 : 우측 화상 2D3D 변환부
357 : 제3 시점 화상 출력부
358 : 제4 시점 화상 출력부
400 : 화상 처리 장치
401 : 좌측 화상 입력부
402 : 우측 화상 입력부
403 : 깊이 검출부
404 : 좌측 화상 2D3D 변환부
405 : 우측 화상 2D3D 변환부
406 : 제1 시점 화상 출력부
407 : 제2 시점 화상 출력부
408 : 제3 시점 화상 출력부
409 : 제4 시점 화상 출력부
450 : 화상 처리 장치
451 : 좌측 화상 입력부
452 : 우측 화상 입력부
453 : 좌측 화상 깊이 추정부
454 : 우측 화상 깊이 추정부
455 : 좌측 화상 2D3D 변환부
456 : 우측 화상 2D3D 변환부
457 : 제1 시점 화상 출력부
458 : 제2 시점 화상 출력부
459 : 제3 시점 화상 출력부
460 : 제4 시점 화상 출력부
500 : 화상 처리 장치
501 : 좌측 화상 입력부
502 : 좌측 화상 2D3D 변환부
503 : 제1 시점 화상 출력부
504 : 제2 시점 화상 출력부
505 : 우측 화상 입력부
506 : 우측 화상 2D3D 변환부
507 : 제3 시점 화상 출력부
508 : 제4 시점 화상 출력부
550 : 화상 처리 장치
551 : 좌측 화상 입력부
552 : 우측 화상 입력부
553 : 깊이 검출부
554 : 좌측 화상 제1-2D3D 변환부
556 : 좌측 화상 제1-2D3D 변환부
557 : 우측 화상 제2-2D3D 변환부
555 : 우측 화상 제2-2D3D 변환부
558 : 제1 시점 화상 출력부
559 : 제2 시점 화상 출력부
560 : 제3 시점 화상 출력부
561 : 제4 시점 화상 출력부
562 : 제5 시점 화상 출력부
563 : 제6 시점 화상 출력부
600 : 화상 처리 장치
601 : 제1 화상 입력부
602 : 제2 화상 입력부
603 : 제3 화상 입력부
604 : 제4 화상 입력부
611 : 제1 깊이 검출부
612 : 제2 깊이 검출부
613 : 제3 깊이 검출부
621 : 제1-2D3D 변환부
622 : 제2-2D3D 변환부
623 : 제3-2D3D 변환부
624 : 제4-2D3D 변환부
631 : 제1 시점 화상 출력부
632 : 제2 시점 화상 출력부
633 : 제3 시점 화상 출력부
634 : 제4 시점 화상 출력부
635 : 제5 시점 화상 출력부
636 : 제6 시점 화상 출력부
637 : 제7 시점 화상 출력부
638 : 제8 시점 화상 출력부

Claims

제1 화상 신호로부터, 상기 제1 화상 신호의 시점과 상이한 시점의 제2 화상 신호를 생성하도록 구성된 제1 화상 변환부; 및
상기 제2 화상 신호로부터, 상기 제1 화상 신호의 시점 및 상기 제2 화상 신호의 시점과 상이한 시점의 제3 화상 신호를 생성하도록 구성된 제2 화상 변환부
를 포함하는 화상 처리 장치.
제1항에 있어서,
상기 제1 화상 변환부는,
상기 제1 화상 신호의 휘도 미분 신호를 추출하고, 상기 휘도 미분 신호를 특징량으로서 설정하고;
상기 제1 화상 신호에 대하여, 휘도 미분 신호 또는 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써, 제2 화상 신호를 생성하도록
더 구성되고,
상기 제2 화상 변환부는,
상기 제2 화상 신호의 휘도 미분 신호를 추출하고, 상기 휘도 미분 신호를 특징량으로서 설정하고;
상기 제2 화상 신호에 대하여, 휘도 미분 신호 또는 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써, 제3 화상 신호를 생성하도록
더 구성되는 화상 처리 장치.
제1항에 있어서,
제4 화상 신호로부터, 상기 제4 화상 신호의 시점과 상이한 시점의 제5 화상 신호를 생성하도록 구성된 제3 화상 변환부; 및
상기 제5 화상 신호로부터, 상기 제4 화상 신호의 시점 및 상기 제5 화상 신호의 시점과 상이한 시점의 제6 화상 신호를 생성하도록 구성된 제4 화상 변환부
를 더 포함하는 화상 처리 장치.
제3항에 있어서,
상기 제3 화상 변환부는,
상기 제4 화상 신호의 휘도 미분 신호를 추출하고, 상기 휘도 미분 신호를 특징량으로서 설정하고;
상기 제4 화상 신호에 대하여, 휘도 미분 신호 또는 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써, 제5 화상 신호를 생성하도록
더 구성되고,
상기 제4 화상 변환부는,
상기 제5 화상 신호의 휘도 미분 신호를 추출하고, 상기 휘도 미분 신호를 특징량으로서 설정하고;
상기 제5 화상 신호에 대하여, 휘도 미분 신호 또는 휘도 미분 신호의 비선형 변환 신호를 가산 또는 감산함으로써, 제6 화상 신호를 생성하도록
더 구성되는 화상 처리 장치.
제3항에 있어서,
상기 제1 화상 신호 및 상기 제4 화상 신호에 기초하여 화상 깊이 정보를 생성하도록 구성된 깊이 검출부를 더 포함하고,
상기 깊이 검출부에 의해 생성되는 상기 화상 깊이 정보를 이용함으로써,
상기 제1 화상 변환부는 상기 제2 화상 신호를 생성하고;
상기 제2 화상 변환부는 상기 제3 화상 신호를 생성하고;
상기 제3 화상 변환부는 상기 제5 화상 신호를 생성하고;
상기 제4 화상 변환부는 상기 제6 화상 신호를 생성하는 화상 처리 장치.
제3항에 있어서,
상기 제1 화상 신호에 기초하여 제1 화상 깊이 추정 정보를 생성하도록 구성된 제1 깊이 추정부를 더 포함하고,
상기 제1 깊이 추정부에 의해 생성되는 상기 제1 화상 깊이 추정 정보를 이용함으로써,
상기 제1 화상 변환부는 상기 제2 화상 신호를 생성하고;
상기 제2 화상 변환부는 상기 제3 화상 신호를 생성하고,
상기 장치는, 상기 제4 화상 신호에 기초하여 제2 화상 깊이 추정 정보를 생성하도록 구성된 제2 깊이 추정부를 더 포함하고,
상기 제2 깊이 추정부에 의해 생성되는 상기 제2 화상 깊이 추정 정보를 이용함으로써,
상기 제3 화상 변환부는 상기 제5 화상 신호를 생성하고;
상기 제4 화상 변환부는 상기 제6 화상 신호를 생성하는 화상 처리 장치.
제3항에 있어서,
상기 제1 내지 제4 화상 변환부는, 상기 제1 화상 신호 및 상기 제4 화상 신호에 기초하여 생성되는 깊이 정보로부터, 최대 거리 피사체와 최소 거리 피사체 간의 화상간 거리차를 산출하도록 더 구성되고,
상기 제1 화상 변환부는, 상기 화상간 거리차에 따라, 상기 제1 화상 신호 및 상기 제2 화상 신호로부터 얻어지는 최대 거리 피사체와 최소 거리 피사체 간의 화상간 거리차를 제어한 상기 제2 화상 신호를 생성하고;
상기 제2 화상 변환부는, 상기 화상간 거리차에 따라, 상기 제1 화상 신호 및 상기 제3 화상 신호로부터 얻어지는 최대 거리 피사체와 최소 거리 피사체 간의 화상간 거리차를 제어한 상기 제3 화상 신호를 생성하고;
상기 제3 화상 변환부는, 상기 화상간 거리차에 따라, 상기 제4 화상 신호 및 상기 제5 화상 신호로부터 얻어지는 최대 거리 피사체와 최소 거리 피사체 간의 화상간 거리차를 제어한 상기 제5 화상 신호를 생성하고;
상기 제4 화상 변환부는, 상기 화상간 거리차에 따라, 상기 제4 화상 신호 및 상기 제6 화상 신호로부터 얻어지는 최대 거리 피사체와 최소 거리 피사체 간의 화상간 거리차를 제어한 상기 제6 화상 신호를 생성하는 화상 처리 장치.
제3항에 있어서,
상기 제1 내지 제4 화상 변환부는,
상기 제1 화상 신호 및 상기 제4 화상 신호에 기초하여 생성되는 깊이 정보로부터, 최대 거리 피사체와 최소 거리 피사체 간의 화상간 거리차를 산출하고,
화상 신호들의 수에 따라, 상기 화상 신호들 간의 화상간 거리차가 균등하게 배분된 새로운 화상 신호의 생성을 수행하도록
더 구성되는 화상 처리 장치.
화상 처리 장치에서 실행되는 화상 처리 방법으로서,
제1 화상 변환부가, 제1 화상 신호로부터, 상기 제1 화상 신호의 시점과 상이한 시점의 제2 화상 신호를 생성하는 제1 화상 변환 단계; 및
제2 화상 변환부가, 상기 제2 화상 신호에 기초하여, 상기 제1 화상 신호 및 상기 제2 화상 신호의 시점과 상이한 시점의 제3 화상 신호를 생성하는 제2 화상 변환 단계
를 포함하는 화상 처리 방법.
화상 처리 장치에 의해 실행될 때, 상기 화상 처리 장치로 하여금,
제1 화상 변환부가, 제1 화상 신호로부터, 상기 제1 화상 신호의 시점과 상이한 시점의 제2 화상 신호를 생성하는 제1 화상 변환 단계; 및
제2 화상 변환부가, 상기 제2 화상 신호에 기초하여, 상기 제1 화상 신호 및 상기 제2 화상 신호의 시점과 상이한 시점의 제3 화상 신호를 생성하는 제2 화상 변환 단계
를 실행하도록 하는 프로그램을 저장하는 컴퓨터 판독가능 기록 매체.