KR20090102688A

KR20090102688A - 입체 화상 표시 장치와 방법 및 프로그램

Info

Publication number: KR20090102688A
Application number: KR1020090025240A
Authority: KR
Inventors: 미키오 와타나베; 토모노리 마스다
Original assignee: 후지필름 가부시키가이샤
Priority date: 2008-03-26
Filing date: 2009-03-25
Publication date: 2009-09-30
Also published as: EP2106152A3; US8159530B2; JP2009239389A; JP4608563B2; KR101527075B1; EP2106152A2; EP2106152B1; EP2106152A8; US20090244269A1

Abstract

[과제] 효율적으로 입체 화상의 깊이감을 변경하여 입체시를 행하는 유저의 피로감을 저감한다. [해결 수단] 피사체를 다른 시점으로부터 촬영함으로써 취득한 복수의 화상으로부터 생성되고, 입체시 가능한 입체 화상을 표시할 때 보간 화상 생성부(3)가 복수의 화상으로부터 복수의 화상간의 시차(視差)보다도 작은 시차를 갖는 적어도 1조의 보간 화상을 생성한다. 입체 화상 생성부(4)가 보간 화상의 조로부터 적어도 1개의 보간 입체 화상을 생성한다. 제어부(8)가 입체 화상의 표시 전 및 후의 적어도 한쪽에 있어서 입체 화상 시차가 점차 변경되도록 보간 입체 화상을 표시부(7)에 순차 표시한다.

Description

입체 화상 표시 장치와 방법 및 프로그램{METHOD, APPARATUS, AND PROGRAM FOR DISPLAYING STEREOSCOPIC IMAGES}

본 발명은 입체 화상을 표시하는 입체 화상 표시 장치와 방법 및 입체 화상 표시 방법을 컴퓨터로 실행시키기 위한 프로그램에 관한 것이다.

복수의 화상을 조합시켜서 표시함으로써 시차를 이용해서 입체시로 할 수 있는 것이 알려져 있다. 이러한 입체시가 가능한 입체 화상은 동일한 피사체를 다른 위치로부터 복수의 카메라를 이용해서 촬영함으로써 복수의 화상을 취득하고, 복수의 화상에 포함되는 피사체의 시차를 이용해서 복수의 화상을 합성함으로써 생성할 수 있다.

구체적으로는 복수 화상의 색을, 예를 들면 적과 청과 같이 다르게 해서 중합시키거나 복수 화상의 편광 방향을 다르게 해서 중합시킴으로써 복수의 화상을 합성해서 입체 화상을 생성할 수 있다. 이 경우, 입체 화상을 표시하여 적청 안경이나 편광 안경 등의 화상 분리 안경을 이용해서 표시된 입체 화상을 눈의 자동 초점 기능에 의해 융합시함으로써 화상을 입체시할 수 있다[애너글리프(anaglyph) 방식, 편광 필터 방식].

또한, 편광 안경 등을 사용하지 않아도 패럴랙스 배리어(parallax barrier) 방식 및 렌티큘라(lenticular) 방식과 같이 입체 화상을 입체시 가능한 3D 액정에 표시해서 입체시하는 것도 가능하다. 이 경우, 복수의 화상을 수직 방향으로 단책상(短冊狀)으로 절취하여 교대로 배치함으로써 입체 화상이 생성된다. 또한, 화상 분리 안경을 사용하거나 광학 소자를 액정에 접착시킴으로써 좌우 화상의 광선 방향을 변경하면서 좌우의 화상을 교대로 표시함으로써 입체 화상을 표시하는 것도 가능하다(시분할 방식).

이러한 입체 화상을 표시할 때 유저가 입력하는 시차량의 변경 정보에 의거하여 입체 화상의 시차를 조정함으로써 깊이감을 변경해서 표시하는 수법이 제안되어 있다(특허문헌 1 참조).

[특허문헌 1]

일본 특허 공개 2004-207772호 공보

그런데, 입체 화상을 취득수(取得數)만큼의 촬영을 행할 경우, 각 촬영씬마다 화각, 줌배율, 초점 위치 및 복수의 카메라의 위치 관계가 다르기 때문에 입체 화상마다 깊이감이 달라지게 된다. 그러나, 입체시는 유저의 머리 속에 있어서 화상의 깊이감을 실현하는 것이기 때문에 복수의 입체 화상을 순차 스위칭하여 표시할 경우, 표시의 스위칭시에 화상의 깊이감이 갑자기 스위칭된다. 여기서, 입체시는 입체 화상을 눈의 자동 초점 기능에 의해 융합시함으로써 행하고 있기 때문에 화상이 스위칭될 때마다 입체감이 갑자기 스위칭되면 입체시를 행하는 유저에 대단히 피로감이 남게 된다.

따라서, 특허문헌 1에 기재된 수법을 이용하여 입체 화상의 깊이감을 변경하는 것이 고려된다. 그러나, 특허문헌 1에 기재된 수법은 시차량의 조정이 유저의 입력에 의해 행해지기 때문에, 특히 복수의 입체 화상을 표시할 때에는 입체 화상의 깊이감을 변경하는 작업이 대단히 번잡하게 되고, 그 결과 작업 효율이 나빠지게 되어 있다.

본 발명은 상기 사정을 감안하여 이루어진 것이며, 효율적으로 입체 화상의 깊이감을 변경하고, 입체시를 행하는 유저의 피로감을 저감하는 것을 목적으로 한다.

본 발명에 의한 입체 화상 표시 장치는 피사체를 다른 시점으로부터 촬영함으로써 취득한 복수의 화상으로부터 생성되고, 입체시 가능한 입체 화상을 표시하는 입체 화상 표시 장치에 있어서:

상기 복수의 화상으로부터 이 복수의 화상간의 시차보다도 작은 시차를 갖는 적어도 1조의 보간 화상을 생성하는 보간 화상 생성 수단과,

상기 보간 화상의 조로부터 적어도 1개의 보간 입체 화상을 생성하는 입체 화상 생성 수단과,

상기 입체 화상의 표시 전 및 후의 적어도 한쪽에 있어서, 상기 보간 입체 화상을 순차 표시하는 표시 제어 수단을 구비한 것을 특징으로 하는 것이다.

이에 따라, 입체 화상을 표시할 때에는 그 표시 전 및 후에 깊이감이 서서히 변경되도록 입체 화상이 표시되기 때문에 유저에 부담을 주는 일이 없이 입체 화상의 깊이감을 조정하여 입체시를 행하는 유저의 피로감을 경감할 수 있다.

「보간 화상의 조」는 복수 화상의 각각 대응해서 생성되는 보간 화상을 포함하는 것이며, 대응하는 보간 화상은 복수의 화상간의 시차보다도 작은 시차를 갖는 것으로 되어 있다. 특히, 복수의 보간 화상의 조가 생성될 경우에는 각 조에 있어서의 복수의 보간 화상간의 시차는 점차 복수의 화상간의 시차보다도 작아지도록 생성된다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 상기 표시 제어 수단을 상기 입체 화상의 표시 지시가 있으면 이 입체 화상의 표시전에 깊이감이 상기 입체 화상의 깊이감이 될 때까지 점차 증가하도록 상기 보간 입체 화상을 순차 표시하는 수단으로 해도 좋다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 복수의 입체 화상을 순차 표시할 때 상기 표시 제어 수단을 상기 입체 화상의 표시 지시가 있으면 이 지시된 입체 화상 전에 표시되기 전의 입체 화상의 표시후에 깊이감이 이 전의 입체 화상의 깊이감으로부터 점차 감소하도록 상기 전의 입체 화상에 대한 보간 입체 화상을 순차 표시하는 수단으로 해도 좋다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 복수의 입체 화상을 순차 표시할 때 상기 보간 화상 생성 수단을 전후하는 2개의 입체 화상의 상관이 작을수록 보다 많은 상기 보간 화상의 조를 생성하는 수단으로 해도 좋다.

이에 따라, 도안이 다른 입체 화상이 스위칭되어 표시될 때의 급격한 깊이감의 변화를 방지할 수 있고, 그 결과 입체시를 행하는 유저의 피로감을 보다 경감할 수 있다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 복수의 입체 화상을 순차 표시할 때 상기 보간 화상 생성 수단을 전후하는 2개의 입체 화상의 상관이 소정의 문턱값 이상인 경우에는 상기 보간 화상의 생성을 정지하는 수단으로 하고,

상기 표시 제어 수단을 상기 보간 화상의 생성이 정지된 입체 화상 전 및 후의 적어도 한쪽에 있어서는 상기 보간 입체 화상의 표시를 정지하는 수단으로 해도 좋다.

이에 따라, 도안이 유사한 입체 화상이 스위칭되어 표시될 때의 부자연스러운 깊이감의 변경을 방지할 수 있다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 복수의 입체 화상을 순차 표시할 때 상기 보간 화상 생성 수단을 복수의 보간 화상의 조를 생성하는 수단으로 하고,

상기 입체 화상 생성 수단을 복수의 상기 보간 입체 화상을 생성하는 수단으로 하고,

상기 표시 제어 수단을 다음 입체 화상의 표시 스위칭 지시가 있고 나서 그 다음의 입체 화상이 표시될 때까지의 사이에 있어서, 표시 시간이 점차 짧아지도록 상기 복수의 보간 입체 화상을 순차 표시하는 수단으로 해도 좋다.

이에 따라, 입체 화상 표시의 스위칭 직후는 긴 시간 보간 입체 화상이 표시되고, 서서히 보간 입체 화상의 표시 시간이 짧아지기 때문에 급격한 깊이감의 변화를 방지할 수 있고, 그 결과 입체시를 행하는 유저의 피로감을 보다 확실하게 경감할 수 있다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 상기 표시 제어 수단을 전후하는 2개의 입체 화상의 상관이 작을수록 상기 각 보간 입체 화상의 표시 시간을 길게 하는 수단으로 해도 좋다.

이에 따라, 도안이 다른 입체 화상이 스위칭되어 표시될 때의 급격한 깊이감의 변화를 보다 확실하게 방지할 수 있고, 그 결과 입체시를 행하는 유저의 피로감을 보다 경감할 수 있다.

또한, 본 발명에 의한 입체 화상 표시 장치에 있어서는 상기 표시 제어 수단을 상기 입체 화상의 표시 정지 지시가 이루어진 경우 깊이감이 이 입체 화상의 깊이감으로부터 점차 감소하도록 상기 보간 입체 화상을 순차 표시한 후에 상기 입체 화상의 표시를 정지하는 수단으로 해도 좋다.

이에 따라, 입체시를 급격하게 중단함으로 인한 유저의 피로감을 방지할 수 있다.

본 발명에 의한 입체 화상 표시 방법은 피사체를 다른 시점으로부터 촬영함으로써 취득한 복수의 화상으로부터 생성되는 입체시 가능한 입체 화상을 표시하는 입체 화상 표시 방법에 있어서:

상기 복수의 화상으로부터 이 복수의 화상간의 시차보다도 작은 시차를 갖는 적어도 1조의 보간 화상을 생성하고,

상기 보간 화상의 조로부터 적어도 1개의 보간 입체 화상을 생성하고,

상기 입체 화상의 표시 전 및 후의 적어도 한쪽에 있어서, 상기 보간 입체 화상을 순차 표시하는 것을 특징으로 하는 것이다.

또한, 본 발명에 의한 입체 화상 표시 방법을 컴퓨터로 실행시키기 위한 프로그램으로서 제공해도 좋다.

도 1은 본 발명의 제 1 실시형태에 의한 입체 화상 표시 장치의 구성을 나타낸 개략 블록도이다.

도 2는 화상 파일에 격납된 한쌍의 화상을 나타낸 도면이다.

도 3은 보간 화상의 생성을 설명하기 위한 도면이다.

도 4는 제 1 실시형태에 있어서 행해지는 처리를 나타낸 플로우차트(이것의 1)이다.

도 5는 제 1 실시형태에 있어서 행해지는 처리를 나타낸 플로우차트(이것의 2)이다.

도 6은 보간수 결정 처리의 플로우차트이다.

도 7은 보간수 결정 테이블을 나타낸 도면이다.

도 8은 표시 인터벌 결정 처리의 플로우차트이다.

도 9는 표시 인터벌 결정 테이블을 나타낸 도면이다.

도 10은 종료 처리의 플로우차트이다.

도 11은 제 2 실시형태에 있어서 행해지는 처리를 나타낸 플로우차트(이것의 1)이다.

도 12는 제 2 실시형태에 있어서 행해지는 처리를 나타낸 플로우차트(이것의 2)이다.

[부호의 설명]

1 : 입체 화상 표시 장치 2 : 화상 입력부

3 : 보간 화상 생성부 4 : 입체 화상 생성부

5 : 프레임 버퍼 6 : 입력부

7 : 표시부 8 : 제어부

이하, 도면을 참조하여 본 발명의 실시형태에 대해서 설명한다. 도 1은 본 발명의 제 1 실시형태에 의한 입체 화상 표시 장치의 구성을 나타낸 개략 블록도이다. 도 1에 도시된 바와 같이, 제 1 실시형태에 의한 입체 화상 표시 장치(1)는 화상 입력부(2), 보간 화상 생성부(3), 입체 화상 생성부(4), 프레임 버퍼(5), 각종 입력을 행하는 키보드 및 마우스 등으로 이루어진 입력부(6), 각종 표시를 행하는 액정 모니터 등의 표시부(7) 및 제어부(8)를 구비하고, 각 부가 버스(9)에 의해 접속되어 있다.

화상 입력부(2)는 입체 화상 표시 장치(1)에 있어서 입체 화상으로서 표시하기 위한 한쌍의 화상이 격납된 입체 화상 생성용의 화상 파일을 장치(1)에 입력하는 것이며, 입체 화상 생성용의 화상 파일이 기록된 미디어로부터 화상 파일을 판독하는 미디어 드라이브, 네트워크 경유로 화상 파일의 입력을 접수하는 유선 또는 무선의 인터페이스 등, 화상 파일을 입력하기 위한 공지의 여러가지 수단을 이용할 수 있다. 본 실시형태에 있어서는 화상 입력부(2)를 미디어(2A)로부터 화상 파일을 판독하는 것으로 한다. 또한, 화상 파일에 격납된 화상은 JPEG 등의 압축 방식에 의해 압축되어 있기 때문에 화상 입력부(2)는 입력된 화상을 신장하여 그 후의 처리에 제공하는 것이다.

여기서, 한쌍의 화상은 피사체를 다른 2개의 촬영 위치에 있어서 촬영을 행함으로써 취득되는 것이며, 도 2에 도시된 바와 같이, 2개의 화상(L1, R1)에 포함되는 피사체가 촬영 위치의 차이에 따라 시차를 갖는 것으로 되어 있다. 또한, 한쌍의 화상은 2개의 촬영 위치, 즉 좌측 및 우측의 촬영 위치에 있어서 취득되는 것이기 때문에 입체 화상 생성시에 우측에 표시되는 화상을 우화상, 좌측에 표시되는 화상을 좌화상이라 칭하는 것으로 한다. 또한, 본 실시형태에 있어서는 한쌍의 화상으로부터 입체 화상을 생성하는 것이지만, 3 이상의 다른 촬영 위치에 있어서 촬영을 행함으로써 취득한 3 이상의 화상으로부터 입체 화상을 생성하는 것이어도 좋다.

보간 화상 생성부(3)는 화상 파일에 포함되는 우화상 및 좌화상의 각각에 대해서 적어도 1개의 보간 화상의 조, 즉 적어도 1개의 보간 우화상 및 보간 좌화상으로 이루어진 보간 화상의 조를 생성한다. 도 3은 보간 화상의 생성을 설명하기 위한 도면이다. 도 3에 도시된 바와 같이, 보간 화상 생성부(3)는 화상 파일에 포함되는 우화상(IM-R)으로부터 m개(여기서는 2개)의 보간 우화상(IP-Rm)(m=1∼k, k는 보간수)을 생성하고, 좌화상(IP-L)로부터 2개의 보간 좌화상(IP-Lm)을 생성한다. 따라서, m개의 보간 화상의 조가 생성된다. 또한, 보간 우화상 및 보간 좌화상에 있어서는 부여되어 있는 숫자가 커질수록 화상간의 시차가 작아지는 것이다. 또한, 보간수(k)에 대해서는 후술한다.

또한, 보간 화상 생성부(3)는 우화상(IM-R) 및 좌화상(IM-L)에 포함된 대응하는 화소간의 시차가 서서히 작아지도록 우화상(IM-R) 및 좌화상(IM-L)을 모핑(morphing) 등에 의해 가공함으로써 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)을 생성한다. 구체적으로는 좌우의 화상에 있어서 서로 대응하는 대응점을 검출하고, 대응점을 직선 또는 곡선으로 연결하고, 직선 또는 곡선을 분할해서 유사 대응점을 산출하고, 좌우의 화상을 유사 대응점에 대응시키도록 변형함으로써 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)을 생성한다.

입체 화상 생성부(4)는 우화상(IM-R)과 좌화상(IM-L) 및 보간 우화상(IP-Rm)과 보간 좌화상(IP-Lm)을 표시부(7)에 있어서 입체시가 가능하도록 입체 표시 변환하고, 입체 화상(D0) 및 2개의 보간 입체 화상(Hm)을 각각 생성한다. 또한, 입체 표시 변환은 입체시의 방법 및 표시부(7)가 3D 액정인지의 여부에 따르지만 페어(pair)가 되는 화상끼리(즉, 원래의 화상끼리 및 m이 동일한 보간 화상끼리)의 색을, 예를 들면 적과 청과 같이, 다르게 해서 중첩시키거나(애너글리프 방식), 페어가 되는 화상 및 보간 화상끼리의 편광 방향을 다르게 해서 중첩시키거나(편광 필터 방식), 페어가 되는 화상 및 보간 화상을 1라인마다 교대로 조합시킴으로써 행할 수 있다(패럴랙스 배리어 방식 및 렌티큘라 방식).

프레임 버퍼(5)는, 후술하는 바와 같이, 입체 화상을 스위칭하여 표시할 때에 입체 화상 및 보간 입체 화상을 판독하여 일시적으로 보관해 두는 기억부이다.

제어부(8)는 CPU(8A), 각종 처리를 행할 때의 작업 영역이 되는 RAM(8B) 및 장치(1)의 동작 프로그램, 각종 정수 및 후술하는 각종 테이블 등을 기억한 ROM(8C)을 구비하여 이루어지고, 장치(1)의 각 부의 동작을 제어한다. 특히, 복수의 입체 화상을 슬라이드쇼와 같이 스위칭하여 표시하는 처리, 보간 화상 생성부(3)가 생성하는 보간 화상의 수를 결정하는 처리 및 보간 입체 화상을 표시부(7)에 표시하는 인터벌을 결정하는 처리를 행하도록 장치(1)의 각 부의 동작을 제어한다.

이어서, 제 1 실시형태에 있어서 행해지는 처리에 대해서 설명한다. 도 4 및 도 5는 제 1 실시형태에 있어서 행해지는 처리를 나타낸 플로우차트이다. 또한, 복수의 입체 화상을 표시할 경우에는 유저가 입력부(6)로부터 지시를 행함으로써 표시하는 입체 화상의 프레임을 스위칭하도록 해도 좋지만 제어부(8)가 스위칭 지시를 행함으로써 슬라이드쇼와 같이 순차 입체 화상의 프레임을 스위칭하여 표시하도록 해도 좋은 것이다. 제 1 실시형태 및 이후의 실시형태에 있어서는 슬라이드쇼와 같이 입체 화상의 프레임을 스위칭하여 표시할 경우의 처리에 대해서 설명한다. 또한, 입체 화상의 표시순은 파일명순으로 하지만 이것에 한정되는 것은 아니다.

입체 화상의 표시 지시가 입력부(6)로부터 행해짐으로써 제어부(8)가 처리를 개시하고, 우선 표시의 대상을 최초의 입체 화상의 프레임(이하, 단지 프레임이라 함)으로 결정하고(n=1, 스텝 ST1), 화상 입력부(2)가 표시하는 프레임의 화상 파일을 미디어(2A)로부터 판독한다(화상 파일 판독, 스텝 ST2). 이어서, 제어부(8)가 보간 입체 화상을 생성하는 수(보간수)(k)를 결정하는 처리를 행한다(스텝 ST3).

도 6은 보간수 결정 처리의 플로우차트이다. 우선 제어부(8)는 이것으로부터 표시하는 프레임(n)과 1개전에 표시된 프레임(n-1)의 상관량(C)을 산출한다(스텝 ST21). 또한, 상관량(C)으로서는 프레임(n)과 프레임(n-1)의 전화소 또는 주요 피사체를 포함하는 특정 영역의 화소의 차분 절대치화 및 차분 2승화의 역수 등을 이용할 수 있다. 또한, 프레임(n) 및 프레임(n-1)의 히스토그램을 산출하고, 프레임(n) 및 프레임(n-1)에 있어서 공통되는 히스토그램의 면적을 상관량(C)으로서 이용해도 좋다. 여기서, 미디어(2A)로부터 판독된 화상 파일에는 우화상 및 좌화상이 포함되기 때문에 프레임(n)과 프레임(n-1)의 상관량(C)은 각각의 화상 파일에 포함되는 우화상 및 좌화상의 적어도 한쪽으로부터 산출되는 것으로 한다.

또한, 이것으로부터 표시하는 프레임이 최초의 프레임인 경우에는 1개전에 표시된 프레임(n-1)은 존재하지 않는다. 따라서, 이것으로부터 표시하는 프레임(n)이 최초의 프레임인 경우에는 미리 정해진 밝기를 갖는 그레이 화상과 프레임(n)의 상관량(C)을 산출하는 것으로 한다.

이어서, 제어부(8)는 보간수 결정 테이블을 참조하여 상관량(C)으로부터 보간수(k)를 결정하고(스텝 ST22), 처리를 종료한다.

도 7은 보간수 결정 테이블을 나타내는 도면이다. 도 7에 도시된 바와 같이, 보간수 결정 테이블(LUT1)은 횡축에 상관량(C), 종축에 보간수(k)가 규정되어서 이루어지고, 상관량(C)이 큰, 즉 이것으로부터 표시하는 프레임(n)과 전 프레임(n-1)이 유사할수록 프레임(n)에 대한 보간 입체 화상의 표시수가 적어지고, 프레임(n)과 전 프레임(n-1)이 유사하지 않을수록 프레임(n)에 대한 보간 입체 화상의 표시수가 많아지는 것이다. 또한, 상관량(C)이 문턱값(C0) 이상이 되면 보간수(k)는 0이 되기 때문에 보간 화상이 생성되지 않는 것이 된다. 이 경우, 보간 입체 화상은 표시되지 않고, 전 프레임(n-1)의 입체 화상에 이어져서 프레임(n)의 입체 화상이 표시되게 된다.

도 4로 돌아가면, 스텝 ST3에 이어서 제어부(8)는 변수(m)를 보간수(k)로 설정하고(스텝 ST4), 그리고 보간 화상 생성부(3)가 프레임(n)에 대한 우화상 및 좌화상으로부터 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)을 생성하고(스텝 ST5), 입체 화상 생성부(4)가 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)으로부터 보간 입체 화상(Hm)을 생성한다(스텝 ST6). 그리고, 제어부(8)가 보간 입체 화상(Hm)을 표시부(7)에 표시한다(스텝 ST7). 이어서, 제어부(8)가 보간 입체 화상(Hm)을 표시부(7)에 표시하는 시간인 표시 인터벌(Δt)을 결정하는 처리를 행한다(스텝 ST8).

도 8은 표시 인터벌 결정 처리의 플로우차트이다. 제어부(8)는 우선 이것으로부터 표시하는 프레임(n)과 1개전에 표시된 프레임(n-1)의 상관량(C)을 산출한다(스텝 ST31). 또한, 상관량(C)의 산출 방법은 보간수(k)의 결정시와 마찬가지이기 때문에 보간수(k)의 결정시에 산출한 상관량(C)을 이용해도 좋다. 이어서, 제어부(8)는 상관량(C)을 그 크기에 따라서 3개의 랭크(대, 중, 소)로 랭크 분할한다(스텝 ST32). 그리고, 제어부(8)는 상관량(C)의 랭크에 따른 표시 인터벌 결정 테이블을 참조하여 상관량(C)의 랭크에 따른 표시 인터벌(Δt)을 결정하고(스텝 ST33), 처리를 종료한다.

도 9는 표시 인터벌 결정 테이블을 나타내는 도면이다. 또한, 본 실시형태에 있어서는 표시 인터벌 테이블은 상관량(C)의 랭크에 따라서 3개 준비되어 있다. 도 9에 도시된 바와 같이, 표시 인터벌 결정 테이블(LUT2, LUT3, LUT4)은 횡축에 스위칭 경과 시간(t)이, 종축에 표시 인터벌(Δt)이 규정되어서 이루어지고, 스위칭 경과 시간(t)이 짧을수록, 즉 스위칭 직후일수록 표시 인터벌(Δt)이 길어지고, 스위칭 시간(t)이 경과됨에 따라 표시 인터벌(Δt)이 짧아지도록 표시 인터벌(Δt)을 결정하는 것이다. 또한, 표시 인터벌 결정 테이블(LUT2, LUT3, LUT4)은 각각 상관량(C)의 대, 중, 소에 대응하는 것이며, 상관량(C)이 작을수록 표시 인터벌(Δt)이 커지도록 설정되어 있다.

따라서, 스위칭 경과 시간(t)이 짧을 때에는 보간 입체 화상의 표시 인터벌(Δt)은 길고, 스위칭 시간이 경과될수록 보간 입체 화상의 표시 인터벌(Δt)이 짧아지기 때문에 스위칭 시간이 경과됨에 따라서 보간 입체 화상의 표시 시간이 서서히 짧아져 간다. 또한, 이것으로부터 표시하는 프레임(n)과 전 프레임(n-1)이 유사할수록 표시 인터벌(Δt)은 짧아지기 때문에 이것으로부터 표시하는 프레임(n)의 보간 입체 화상은 보다 빠르게 스위칭되게 된다. 또한, 프레임(n)과 전 프레임(n-1)이 유사하지 않을수록 표시 인터벌(Δt)은 길어지기 때문에 이것으로부터 표시하는 프레임(n)의 보간 입체 화상은 보다 천천히 스위칭되게 된다.

도 4로 돌아가서, 스텝 ST8에 이어서 제어부(8)는 산출된 표시 인터벌(Δt)의 시간, 처리를 대기한다(스텝 ST9). 이 사이에, 표시부(7)에는 보간 입체 화상(Hm)이 표시되어 이어진다. 이어서, 제어부(8)는 m의 값을 m-1로 변경하고(스텝 ST10), m이 0 이하가 되었는지의 여부를 판정한다(스텝 ST11). 스텝 ST11이 부정되면 스텝 ST5로 돌아가고, 스텝 ST5 이후의 처리를 반복한다. 이에 따라, 순차 시차가 커지도록 보간 입체 화상(Hm)이 표시부(7)에 표시된다.

한편, 스텝 ST11이 긍정되면, 입체 화상 생성부(4)가 우화상(IM-R) 및 좌화상(IM-L)으로부터 입체 화상(D0)을 생성하고(스텝 ST12), 제어부(8)가 입체 화상(D0)을 표시부(7)에 표시한다(스텝 ST13). 또한, 이때의 표시 인터벌(Δt)은 미리 정해진 값을 이용하는 것으로 한다.

이어서, 제어부(8)는 입력부(6)로부터 표시 종료 지시가 이루어진 것인지의 여부를 판정하고(스텝 ST14), 스텝 ST14이 부정되면, 미디어(2A)에 기록되어 있는 모든 화상 파일에 대해서 입체 화상을 표시하였는지의 여부를 판정한다(스텝 ST15). 스텝 ST15가 부정되면, 표시의 대상을 다음 프레임으로 변경하고(n=n+1, 스텝 ST16), 스텝 ST2로 리턴되어 스텝 ST2 이후의 처리를 반복한다. 스텝 ST14 및 스텝 ST15가 긍정되면, 종료 처리를 행하고(스텝 ST17), 입체 화상 표시의 처리를 종료한다.

도 10은 종료 처리의 플로우차트이다. 우선, 제어부(8)는 보간수(k)의 결정 처리를 행한다(스텝 ST41). 또한, 보간수의 결정 처리는 도 6에 도시된 처리와 마찬가지이지만 상관량(C)의 산출은 현재 표시중인 프레임(n)과 미리 정해진 밝기를 갖는 그레이 화상 사이에서 행하는 것으로 한다. 이어서, 제어부(8)는 변수(m)를 1로 설정하고(스텝 ST42), 그리고 보간 화상 생성부(3)가 프레임(n)에 대한 우화상 및 좌화상으로부터 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)을 생성하고(스텝 ST43), 입체 화상 생성부(4)가 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)으로부터 보간 입체 화상(Hm)을 생성한다(스텝 ST44). 그리고 제어부(8)가 보간 입체 화상(Hm)을 표시부(7)에 표시한다(스텝 ST45). 이어서, 제어부(8)가 표시 인터벌(Δt)을 결정하는 처리를 행한다(스텝 ST46). 또한, 표시 인터벌(Δt)을 결정하는 처리는 도 8에 도시된 처리와 마찬가지이지만 상관량(C)의 산출은 현재 표시중인 프레임(n)과 미리 정해진 밝기를 갖는 그레이 화상 사이에서 행하는 것으로 한다.

이어서, 제어부(8)는 산출된 표시 인터벌(Δt)의 시간, 처리를 대기한다(스텝 ST47). 그 사이에, 표시부(7)에는 보간 입체 화상(Hm)이 표시되어 이어진다. 이어서, 제어부(8)는 m의 값을 m+1로 변경하고(스텝 ST48), m이 k 이상이 되었는지의 여부를 판정한다(스텝 ST49). 스텝 ST49가 부정되면 스텝 ST43으로 리턴되고, 스텝 ST43 이후의 처리를 반복한다. 이에 따라, 깊이감이 서서히 작아지도록 보간 입체 화상(Hm)이 표시부(7)에 표시된다. 한편, 스텝 ST49가 긍정되면, 처리를 종료한다.

이에 따라, 최후에 표시된 입체 화상에 대해서는 깊이감이 서서히 작아진 후에 표시가 종료되게 된다.

이와 같이, 제 1 실시형태에 있어서는 입체 화상을 순차 스위칭하여 표시할 때에 다음 프레임의 표시 지시가 이루어지면 표시 지시가 이루어진 프레임에 대한 깊이감이 서서히 커지도록 보간 입체 화상을 순차 표시하도록 했기 때문에 유저에 부담을 주지않고 입체 화상의 깊이감을 조정하여 입체시를 행하는 유저의 피로감을 경감할 수 있다.

또한, 전후하는 2개의 프레임의 상관량(C)이 작을수록 보다 많은 보간 화상의 조를 생성하도록 했기 때문에 도안이 유사하지 않은 화상일수록 입체감이 천천히 스위칭되게 된다. 따라서, 도안이 유사하지 않은 입체 화상이 스위칭되어 표시될 때의 급격한 깊이감의 변화를 방지할 수 있고, 그 결과 입체시를 행하는 유저의 피로감을 보다 경감할 수 있다.

또한, 전후하는 2개의 프레임의 상관량(C)이 문턱값(C0) 이상인 경우에는 보간 화상 및 보간 입체 화상을 생성하지 않도록 했기 때문에 도안이 유사한 입체 화상의 사이는 보간 입체 화상이 표시되지 않고, 계속해서 다음 입체 화상이 표시되게 된다. 따라서, 도안이 유사한 입체 화상이 스위칭되어 표시될 때의 부자연스러운 깊이감의 변경을 방지할 수 있다.

또한, 다음 입체 화상의 표시 스위칭 지시가 있고 나서 다음 입체 화상이 표시될 때까지의 사이에 있어서, 표시 인터벌(Δt)이 서서히 짧아지도록 복수의 보간 입체 화상을 순차 표시하도록 했기 때문에 입체 화상의 표시 스위칭 직후는 긴 시간 보간 입체 화상이 표시되고, 서서히 보간 입체 화상의 표시 시간이 짧아진다. 따라서, 급격한 깊이감의 변화를 방지할 수 있고, 그 결과 입체시를 행하는 유저의 피로감을 보다 확실하게 경감할 수 있다.

특히, 전후하는 2개의 프레임의 상관량(C)이 작을수록 각 보간 입체 화상의 표시 인터벌(Δt)을 길게 하도록 했기 때문에 도안이 다른 입체 화상이 스위칭되어 표시될 때의 급격한 깊이감의 변화를 보다 방지할 수 있고, 그 결과 입체시를 행하는 유저의 피로감을 보다 확실하게 경감할 수 있다.

또한, 입체 화상의 표시를 정지할 때에는 최후에 표시된 입체 화상의 깊이감이 서서히 작아지도록 보간 입체 화상을 순차 표시한 후에 입체 화상의 표시를 정지하도록 했기 때문에 입체시를 급격하게 중단함으로 인한 유저의 피로감을 방지할 수 있다.

이어서, 본 발명의 제 2 실시형태에 대해서 설명한다. 또한, 제 2 실시형태에 의한 입체 화상 표시 장치는 제 1 실시형태에 의한 입체 화상 표시 장치와 동일한 구성을 갖고, 행해지는 처리만이 다르기 때문에 여기에서는 구성에 대한 상세한 설명은 생략한다. 상기 제 1 실시형태에 있어서는 입체 화상의 스위칭시에 다음에 표시하는 입체 화상의 깊이감을 서서히 크게 하고 있지만, 제 2 실시형태에 있어서는 입체 화상의 표시의 스위칭시에 전에 표시된 입체 화상의 깊이감을 서서히 작게 하고나서 다음 입체 화상을 표시하도록 한 것이다.

이어서, 제 2 실시형태에 있어서 행해지는 처리에 대해서 설명한다. 도 11 및 도 12는 제 2 실시형태에 있어서 행해지는 처리를 나타낸 플로우차트이다.

입체 화상의 표시의 지시가 입력부(6)로부터 행해짐으로써 제어부(8)가 처리를 개시하고, 우선 표시의 대상을 최초의 입체 화상의 프레임(이하, 단지 프레임이라 함)으로 결정하고(n=1, 스텝 ST51), 화상 입력부(2)가 표시하는 프레임의 화상 파일을 미디어(2A)로부터 판독한다(화상 파일 판독, 스텝 ST52). 이어서, 입체 화상 생성부(4)가 판독한 화상 파일에 격납된 우화상(IM-R) 및 좌화상(IM-L)으로부터 입체 화상(D0)을 생성하고(스텝 ST53), 제어부(8)가 입체 화상(D0)을 표시부(7)에 표시한다(스텝 ST54). 또한, 이때의 표시 인터벌(Δt)은 미리 정해진 값을 이용하는 것으로 한다.

이어서, 제어부(8)는 표시의 대상을 다음 입체 화상의 프레임(이하, 단지 프레임이라 함)으로 변경하고(n=n+1, 스텝 ST55), 화상 입력부(2)가 표시하는 프레임의 화상 파일을 미디어(2A)로부터 판독한다(화상 판독, 스텝 ST56). 이어서, 제어부(8)가 보간 입체 화상을 생성하는 수(보간수)(k)를 결정하는 처리를 행한다(스텝 ST57). 또한, 보간수의 결정 처리는 도 6에 도시된 처리와 마찬가지이지만 현재 표시중인 프레임(n)과 표시 지시가 이루어진 다음 프레임(n+1)의 상관량(C)을 산출하는 것으로 한다.

이어서, 제어부(8)는 변수(m)를 1로 설정하고(스텝 ST58), 그리고 보간 화상 생성부(3)가 프레임(n)에 대한 우화상 및 좌화상으로부터 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)을 생성하고(스텝 ST59), 입체 화상 생성부(4)가 보간 우화상(IP-Rm) 및 보간 좌화상(IP-Lm)으로부터 보간 입체 화상(Hm)을 생성한다(스텝 ST60). 그리고 제어부(8)가 보간 입체 화상(Hm)을 표시부(7)에 표시한다(스텝S61). 이어서, 제어부(8)가 표시 인터벌(Δt)을 결정하는 처리를 행한다(스텝 ST62). 또한, 표시 인터벌(Δt)을 결정하는 처리는 도 8에 도시된 처리와 마찬가지이지만 상관량(C)의 산출은 현재 표시중인 프레임(n)과 표시 지시가 이루어진 다음 프레임(n+1) 사이에서 행하는 것으로 한다.

이어서, 제어부(8)는 산출된 표시 인터벌(Δt)의 시간, 처리를 대기한다(스텝 ST63). 그 사이에, 표시부(7)에는 보간 입체 화상(Hm)이 표시되어 이어진다. 이어서, 제어부(8)는 m의 값을 m+1로 변경하고(스텝 ST64), m이 k 이상이 되었는지의 여부를 판정한다(스텝 ST65). 스텝 ST65가 부정되면 스텝 ST59로 리턴되고, 스텝 ST59 이후의 처리를 반복한다. 이에 따라, 깊이감이 서서히 작아지도록 표시중인 입체 화상에 대한 보간 입체 화상(Hm)이 표시부(7)에 표시된다.

한편, 스텝 ST65가 긍정되면, 입체 화상 생성부(4)가 다음 프레임에 대한 우화상(IM-R) 및 좌화상(IM-L)으로부터 입체 화상(D0)을 생성하고(스텝 ST66), 제어부(8)가 입체 화상(D0)을 표시부(7)에 표시한다(스텝 ST67). 또한, 이때의 표시 인터벌(Δt)은 미리 정해진 값을 이용하는 것으로 한다.

이어서, 제어부(8)는 입력부(6)로부터 표시 종료 지시가 이루어진 것인지의 여부를 판정하고(스텝 ST68), 스텝 ST68이 부정되면 미디어(2A)에 기록되어 있는 모든 화상 파일에 대해서 입체 화상을 표시하였는지의 여부를 판정한다(스텝 ST69). 스텝 ST69가 부정되면 스텝 ST55로 리턴되고, 스텝 ST55 이후의 처리를 반복한다. 스텝 ST68 및 스텝 ST69가 긍정되면 제 1 실시형태와 마찬가지로 종료 처리를 행하고(스텝 ST70), 입체 화상의 표시 처리를 종료한다.

이와 같이, 제 2 실시형태에 있어서는 입체 화상을 순차 스위칭하여 표시할 때에 다음 프레임의 표시 지시가 이루어지면 현재 표시되어 있는 프레임에 대한 깊이감이 서서히 작아지도록 보간 입체 화상을 순차 표시하도록 했기 때문에 유저에게 부담을 주지 않고 입체 화상의 깊이감을 조정하여 입체시를 행하는 유저의 피로감을 경감할 수 있다.

또한, 상기 제 1 실시형태에 있어서는 표시 지시가 있었던 프레임에 대한 입체 화상의 표시전에 보간 입체 화상을 깊이감이 서서히 커지도록 표시하고, 제 2 실시형태에 있어서는 현재 표시중인 프레임에 대한 보간 입체 화상을 깊이감이 서서히 작아지도록 표시하고 있지만, 상기 제 1 및 제 2 처리를 조합시킨 처리를 행하도록 해도 좋다. 즉, 다음 프레임의 표시 지시가 있으면 현재 표시중인 프레임에 대해서 깊이감이 서서히 작아지도록 현재 표시중인 프레임에 대한 보간 입체 화상을 표시하고, 이어서 다음 프레임에 대해서 깊이감이 서서히 커지도록 보간 입체 화상을 표시한 후에 다음 프레임에 대한 입체 화상을 표시하도록 해도 좋다.

또한, 상기 제 1 및 제 2 실시형태에 있어서는 보간수(k)를 결정하기 위해서 도 7에 도시된 보간수 결정 테이블(LUT1)을 이용하고 있지만, 미리 정해진 연산식에 의해 보간수(k)를 결정하도록 해도 좋다. 또한, 보간수 결정 처리를 행하지 않고, 미리 정해진 보간수(k)를 이용하도록 해도 좋다.

또한, 상기 제 1 및 제 2 실시형태에 있어서는 표시 인터벌(Δt)을 결정하기 위해서 도 9에 도시된 표시 인터벌 결정 테이블(LUT2, LUT3, LUT4)을 이용하고 있지만, 미리 정해진 연산식에 의해 표시 인터벌(Δt)을 결정하도록 해도 좋다. 또한, 표시 인터벌 결정 처리를 행하지 않고, 미리 정해진 표시 인터벌(Δt)을 이용하도록 해도 좋다.

또한, 상기 제 1 및 제 2 실시형태에 있어서는 표시 인터벌 결정 처리에 있어서, 상관량(C)에 따른 테이블을 준비하고 있지만 상관량(C)의 크기에 영향을 미치지 않고 1개의 테이블을 이용하도록 해도 좋다.

또한, 상기 제 1 및 제 2 실시형태에 있어서는 입체 화상의 표시 종료시에 종료 처리를 행하고 있지만, 종료 처리를 행하지 않고, 입체 화상의 표시를 즉시 정지하도록 해도 좋다.

또한, 상기 제 1 및 제 2 실시형태에 있어서는 입체 화상의 프레임의 스위칭 지시가 있을 때마다 보간 우화상 및 보간 좌화상을 생성하고 있지만, 미리 연속하는 프레임간의 보간 우화상 및 보간 좌화상, 그리고 보간 입체 화상을 생성하여 프레임 버퍼(5)에 기억해 두도록 해도 좋다. 이에 따라, 프레임의 스위칭시에 보간 입체 화상의 생성에 요하는 시간을 단축할 수 있기 때문에 보간 입체 화상 및 입체 화상의 표시를 신속하게 행할 수 있다.

이상, 본 발명의 실시형태에 의한 장치(1)에 대해서 설명했지만, 컴퓨터를 상기의 보간 화상 생성부(3), 입체 화상 생성부(4) 및 제어부(8)에 대응하는 수단으로서 기능시키고, 도 4, 도 5, 도 6, 도 8, 도 10∼도 12에 도시된 바와 같은 처리를 행하게 하는 프로그램도 본 발명의 실시형태 중 하나이다. 또한, 그러한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 실시형태 중 하나이다.

Claims

피사체를 다른 시점으로부터 촬영함으로써 취득한 복수의 화상으로부터 생성되고, 입체시 가능한 입체 화상을 표시하는 입체 화상 표시 장치에 있어서:

상기 복수의 화상으로부터 이 복수의 화상간의 시차보다도 작은 시차를 갖는 적어도 1조의 보간 화상을 생성하는 보간 화상 생성 수단과,

상기 보간 화상의 조로부터 적어도 1개의 보간 입체 화상을 생성하는 입체 화상 생성 수단과,

상기 입체 화상의 표시 전 및 후의 적어도 한쪽에 있어서, 상기 보간 입체 화상을 순차 표시하는 표시 제어 수단을 구비한 것을 특징으로 하는 입체 화상 표시 장치.
제 1 항에 있어서,

상기 표시 제어 수단은 상기 입체 화상의 표시 지시가 있으면 이 입체 화상의 표시전에 깊이감이 상기 입체 화상의 깊이감이 될 때까지 점차 증가하도록 상기 보간 입체 화상을 순차 표시하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
제 1 항에 있어서,

복수의 입체 화상을 순차 표시할 때 상기 표시 제어 수단은 상기 입체 화상의 표시 지시가 있으면 이 지시된 입체 화상 전에 표시되기 전의 입체 화상의 표시후에 깊이감이 이전의 입체 화상의 깊이감으로부터 점차 감소하도록 상기 전의 입체 화상에 대한 보간 입체 화상을 표시하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
제 1 항에 있어서,

복수의 입체 화상을 순차 표시할 때 상기 보간 화상 생성 수단은 전후하는 2개의 입체 화상의 상관이 작을수록 보다 많은 상기 보간 화상의 조를 생성하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
제 1 항에 있어서,

복수의 입체 화상을 순차 표시할 때 상기 보간 화상 생성 수단은 전후하는 2개의 입체 화상의 상관이 소정의 문턱값 이상인 경우에는 상기 보간 화상의 생성을 정지하는 수단이며,

상기 표시 제어 수단은 상기 보간 화상의 생성이 정지된 입체 화상 전 및 후의 적어도 한쪽에 있어서, 상기 보간 입체 화상의 표시를 정지하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
제 1 항에 있어서,

복수의 입체 화상을 순차 표시할 때 상기 보간 화상 생성 수단은 복수의 보간 화상의 조를 생성하는 수단이며,

상기 입체 화상 생성 수단은 복수의 상기 보간 입체 화상을 생성하는 수단이며,

상기 표시 제어 수단은 다음 입체 화상의 표시 스위칭 지시가 있고 나서 이 다음의 입체 화상이 표시될 때까지의 사이에 있어서, 표시 시간이 점차 짧아지도록 상기 복수의 보간 입체 화상을 순차 표시하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
제 6 항에 있어서,

상기 표시 제어 수단은 전후하는 2개의 입체 화상의 상관이 작을수록 상기 각 보간 입체 화상의 표시 시간을 길게 하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
제 1 항에 있어서,

상기 표시 제어 수단은 상기 입체 화상의 표시 정지 지시가 이루어진 경우, 깊이감이 이 입체 화상의 깊이감으로부터 점차 감소하도록 상기 보간 입체 화상을 순차 표시한 후에 상기 입체 화상의 표시를 정지하는 수단인 것을 특징으로 하는 입체 화상 표시 장치.
피사체를 다른 시점으로부터 촬영함으로써 취득한 복수의 화상으로부터 생성되고, 입체시 가능한 입체 화상을 표시하는 입체 화상 표시 방법에 있어서:

상기 복수의 화상으로부터 이 복수의 화상간의 시차보다도 작은 시차를 갖는 적어도 1조의 보간 화상을 생성하고,

상기 보간 화상의 조로부터 적어도 1개의 보간 입체 화상을 생성하고,

상기 입체 화상의 표시 전 및 후의 적어도 한쪽에 있어서, 상기 보간 입체 화상을 순차 표시하는 것을 특징으로 하는 입체 화상 표시 방법.
피사체를 다른 시점으로부터 촬영함으로써 취득한 복수의 화상으로부터 생성되고, 입체시 가능한 입체 화상을 표시하는 입체 화상 표시 방법을 컴퓨터로 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체에 있어서:

상기 프로그램은 상기 복수의 화상으로부터 이 복수의 화상간의 시차보다도 작은 시차를 갖는 적어도 1조의 보간 화상을 생성하는 수순과,

상기 보간 화상의 조로부터 적어도 1개의 보간 입체 화상을 생성하는 수순과,

상기 입체 화상의 표시 전 및 후의 적어도 한쪽에 있어서, 상기 보간 입체 화상을 순차 표시하는 수순을 갖는 것을 특징으로 하는 컴퓨터 판독 가능 기록 매체.