KR20130125777A

KR20130125777A - 적응 시차를 갖는 3d 디스플레이를 위한 방법 및 시스템

Info

Publication number: KR20130125777A
Application number: KR1020137014702A
Authority: KR
Inventors: 지안핑 송; 웬주안 송; 얀 후
Original assignee: 톰슨 라이센싱
Priority date: 2010-12-08
Filing date: 2010-12-08
Publication date: 2013-11-19
Also published as: US20130249874A1; EP2649803A1; JP2014500674A; CN103404155A; WO2012075603A1; EP2649803A4

Abstract

3D 이미지에서의 시차 및 시차 변화율을 제어하는 이미지 처리 장치 및 방법이 제안된다. 방법은 뷰어에 의해 최대 음 시차 임계값 및/또는 시차 변화의 최대 비율 임계값을 입력하는 단계; 3D 이미지의 데이터를 수신하는 단계; 데이터를 좌안 이미지 데이터 및 우안 이미지 데이터로 디코딩하는 단계; 디코딩된 3D 이미지 데이터의 최대 음 시차 및 시차 변화율을 결정하는 단계; 결정된 최대 음 시차 및 시차 변화율 및 적어도 하나의 임계값에 기초하여 이미지 이동값을 결정하는 단계; 이미지 이동값을 사용하여 좌안 이미지 및 우안 이미지를 조정하는 단계; 및 조정된 좌안 이미지 및 우안 이미지를 3D 디스플레이 장치 상에서 뷰어에게 디스플레이하는 단계를 포함한다. 장치는 이미지 수신기(402), 이미지 디코더(404), 최대 시차 분석기(406), 시차 제어값 결정기(408), 사용자 인터페이스(410), 시차 조정기(412), 및 스테레오 디스플레이(414)를 포함한다.

Description

적응 시차를 갖는 3D 디스플레이를 위한 방법 및 시스템{METHOD AND SYSTEM FOR 3D DISPLAY WITH ADAPTIVE DISPARITY}

본 발명은 3차원 디스플레이 시스템들에 관한 것으로, 특히 본 발명은 디스플레이를 위해 입력 3D 이미지의 시차(disparity)를 조정하는 방법 및 시스템에 관한 것이다.

양안시(Binocular vision)는 인간에게, 두 눈의 망막에 입사하는 두 이미지들 내의 상응하는, 즉 대응하는 지점들의 위치의 작은 차이들에서 깊이 인식(depth perception)을 얻어내는 장점을 제공한다. 이는 입체시(stereopsis)(입체 시야(solid view)를 의미함)로서 공지되어 있으며 장면 내의 물체들의 깊이 관계들에 대한 정확한 정보를 제공할 수 있다. 좌측 및 우측 망막 이미지들에서의 한 지점의 위치의 차이는 시차로 공지되어 있다.

종래의 3차원(3D) 디스플레이들은 2D 평면 디스플레이를 사용하여 사용자의 좌측 및 우측 눈들에 상이한 시차들을 갖는 이미지들을 투사함으로써 그리고 편광 안경 또는 패럴랙스 배리어(parallax barrier)와 같은 툴들을 이용함으로써 3D 이미지를 생성한다. 3D 이미지를 생성하기 위하여, 3D 카메라에 의해 실제 이미지가 촬영된다. 대안으로, 3D 이미지 콘텐츠는 컴퓨터 그래픽들을 사용하여 생성될 수 있다.

각각의 눈이 자연상태에서 보이는 것과 동일한 사물을 볼 것을 보장하는 것을 목적으로 하긴 하지만, 2D든 또는 3D든 간에 어떠한 평면 디스플레이 장치도 인간의 눈들이 실제로 기능하는 방식을 모방하지 않는다. 2D 디스플레이에서, 양 눈은 두 개의 패럴랙스 뷰 대신에, 하나의 동일한 이미지를 보고 있다. 게다가, 대부분의 이미지들에서, 전체 장면은 동시에 초점이 맞춰진다. 이것은 우리의 눈들이 실제로 작동하는 방식은 아니며, 우리의 눈들은 우리가 디스플레이 표면 상에서 우리가 원하는 곳 어디라도 볼 수 있도록 이 전체 장면 초점 기술을 이용한다. 실제로, 우리의 시계의 매우 작은 중심 부분에만 선명한 초점이 맞춰진 후에, 이 부분이 단지 응시 (초점) 거리에 있게 된다. 우리의 눈들은 우리가 가깝고 먼 물체들을 볼 때 초점을 연속해서 변경하거나 조절한다. 그러나, (평면) 2D 이미지를 볼 때, 모든 물체들이 동시에 초점이 맞춰진 상태에 있다.

입체적인 3D 디스플레이들에서, 우리의 눈들에는 이제 그에 적절한 패럴랙스 뷰가 각각 제공되지만, 이 눈들은 여전히 양쪽 이미지들이 실제로는 편평한 면 상에 디스플레이된다는 사실을 수용해야만 한다. 두 이미지들은 뷰어로부터 고정된 거리에 있는 어떤 평면에서 중첩되며, 뷰어는 이미지들을 명확하게 보기 위해 이 면에 초점을 맞추어야 한다. 실제에서와 같이, 우리의 눈들은 모니터 상에서 장면 여기저기를 돌아다니며 일정한 물체들 또는 물체 지점들을 응시한다. 그러나, 이제 우리의 눈들은 하나의 거리에서 수렴되고 다른 거리에서 초점이 맞춰진다. 시각적 수렴과 조절 사이에는 "오정합(mismatch)"이 있다. 수렴은 통상적으로 물체를 볼 때 단일 양안시를 유지하려는 작용으로서, 양 눈들이 서로를 향하여 동시에 내향하여 움직이는 것이다.

도 1에서, 예를 들어 좌안(102A) 및 우안(102B) 뷰들은 10피트에 있는 물체("F")에서 수렴되고, 근거리 물체("A")는 5피트 떨어져 있으며, 원거리 물체("B")는 15피트 거리에 있다고 가정한다. 수렴 거리에 있는 물체들은 어떤 시차도 가지지 않으며 스크린(104) 상에 정확하게 중첩되어 보인다. 디스플레이 스크린(104)을 둘러싸는 3D 공간에서, 물체들은 스크린(104) 표면에 존재하는 것처럼 보인다. 스크린(104)의 앞에 있는 것처럼 보이는 물체(A)는 음 시차(negative disparity)를 갖는다고 한다. 이 음 시차는 스크린(104) 면 상에서의 거리(106)로서 측정될 수 있다. 스크린(104) 뒤에 있는 것처럼 보이는 물체(B)는 양 시차(positive disparity)를 가진다. 이 양 시차는 스크린(104) 면 상에서의 거리(108)로서 측정될 수 있다. 물체(A)를 뷰잉(viewing)하기 위해, 우리의 눈들은 스크린(104) 앞에 있는 지점으로 수렴된다. 물체(B)의 경우, 수렴 지점은 스크린(104) 뒤이다. 실제에서처럼, 우리의 눈들은 장면 내의 다양한 물체들 상에 수렴되지만, 이 눈들은 편평한 스크린(104)의 디스플레이에 초점이 맞춰진 채로 남아있다. 그러므로, 우리는 이미지들의 스테레오 쌍들을 볼 때 새로운 "보기" 방법을 학습하고 있는 것이다. 두 이미지들이 양호하게 정합되고 두 눈에 의해 구별되어 따로따로 보이면, 물체들을 융화(fuse)하는 것이 쉬워진다. 융화(fusing)는 시차를 갖는 좌측 뷰 및 우측 뷰를 혼합하여 3D 뷰로 만드는 인간의 뇌의 프로세스이다. 설명으로서, 양안시 융화는 각각의 눈이 자기 자신만의 이미지를 가짐에도 불구하고 단일 이미지를 인지하기 위해 두 눈들이 함께 이용될 때 발생한다. 심지어 우안 및 좌안 이미지들에서 수평 시차의 양이 적더라도 양안 시 융화는 용이하다. 그러나, 오랫동안 큰 시차를 갖는 이미지들을 뷰잉하면, 쉽게 피로해질 수 있고 메스꺼움과 같은 부작용들이 일어날 수 있다. 또한, 일부 사람들은 많은 양의 음 시차가 존재하는 경우, 물체를 융화하는 것이 어렵거나 심지어 불가능하다는 것을 알 수 있다.

3D 이미지들을 볼 때, 사람들은 물체들이 스크린으로부터 너무 많이 돌출되는 경우, 눈이 피로해지는 문제들에 직면한다. 더욱이, 많은 사람들은 물체가 스크린으로부터 너무 빨리 돌출하면 이 물체를 융화할 수 없다.

본 발명은 눈의 피로를 줄이고 사람들이 물체들을 더 용이하게 융화하는 데 도움을 주기 위해 이용될 수 있는 방법 및 시스템을 제공함으로써 상술한 문제를 해결한다. 일 실시예에서, 3D 이미지를 수신하고 디스플레이하는 수신단에서 이미지의 시차를 조정할 뿐만 아니라 시차의 변화율을 조정함으로써 이미지의 수렴을 제어하는 방법이 이용될 수 있다. 최대 음 시차의 임계값은 사용자들에 의해 설정된다. 하나의 모드에서, 3D 이미지의 임의의 물체들의 최대 시차가 임계값을 초과하면, 3D 이미지의 시차는 임계점을 초과하지 않도록 조정된다. 다른 실시예에서, 3D 이미지의 임의의 물체들의 최대 시차가 임계값을 초과하면, 시차의 변화율은 미리 결정된 값을 초과하지 않도록 조정된다.

본 발명의 추가 특징들 및 장점들은 첨부 도면들을 참조하여 진행되는 예시적 실시예들에 대한 다음의 상세한 설명으로부터 명확해질 것이다.

도 1은 3D 시스템들에서의 시차의 예를 예시한다.
도 2a는 좌안 이미지의 예를 예시한다.
도 2b는 우안 이미지의 예를 예시한다.
도 2c는 도 2a 및 도 2b로부터의 이미지들의 중첩을 표현한다.
도 3a는 본 발명의 양태에 따라 좌안 이미지에서 시차를 감소시키는 예시적 방법을 예시한다.
도 3b는 본 발명의 양태에 따라 우안 이미지에서 시차를 감소시키는 예시적 방법을 예시한다.
도 3c는 본 발명의 양태에 따라 시차를 감소시키기 위해 도 3a 및 도 3b의 예들의 중첩을 예시한다.
도 4는 본 발명의 방법을 구현하는 예시적 블록도를 예시한다.
도 5는 본 발명의 양태들에 따른 예시적 방법을 예시한다.

도 2a 및 도 2b는 평행 스테레오 뷰 또는 멀티 뷰 카메라에 의해 촬영되거나 기록되는, 좌안 이미지 및 우안 이미지를 각각 예시한다. 도 2c는 한 평면 내에서 도 2b의 우안 이미지 상에 중첩되는 도 2a의 좌안 이미지를 예시하여 이들 사이의 시차를 표시한다. 우안 이미지의 물체들이 좌안 이미지의 동일한 물체들의 우측에 있을 때 양 시차가 존재한다고 가정된다. 유사하게, 좌안 이미지의 물체가 우안 이미지의 우측에 있을 때 음 시차가 존재한다. 도 2c에 도시된 바와 같이, 원형 물체는 양 시차를 갖는데, 이는 그것이 뷰어로부터 멀리 있고 스크린 내부로 빨려 들어가 있는 것으로 뷰어에 의해 인지되는 것을 의미한다. 정사각형 물체는 음 시차를 갖는데, 이는 그것이 뷰어에 더 가까이 있고 스크린 앞에 있거나 스크린으로부터 튀어 나오는 것으로 인지되는 것을 의미한다. 삼각형 물체는 영 시차(zero disparity)를 갖는데, 이는 그것이 스크린과 동일한 깊이에 있는 것으로 보이는 것을 의미한다. 스테레오 이미지에서, 음 시차가 양 시차보다 3D 효과가 더 크지만, 뷰어는 양 시차가 더 편하다. 그러나, 스테레오 이미지 내의 물체가 3D 효과를 최대화하기 위해 과도한 시차를 가지면, 시각적 피로 또는 융화 곤란과 같은 부작용들이 발생한다.

최대 융화 범위는 ±7°패럴랙스 내에 있고, 적정한 뷰잉을 위한 범위는 ±2°패럴렉스 내에 있으며, 편안한 뷰잉을 위한 범위는 ±1°패럴랙스 내에 있는 것이 당업자에게 공지되어 있다. 그러므로, 스테레오 이미지의 시차는 적어도 적정한 범위 내에 있어야만 한다. 그러나, 이러한 시차의 범위는 개인차들, 디스플레이 특성들, 뷰잉 거리들, 및 콘텐츠에 따라 상이할 수 있다. 예를 들어, 동일한 뷰잉 거리에서 동일한 스크린 상의 동일한 스테레오 이미지를 시청하고 있을 때, 성인은 편안함을 느낄 수 있는 한편 어린이는 이미지를 융화하는 것을 어렵게 생각할 수 있다. 원래 의도된 것보다 더 큰 디스플레이 상에 디스플레이되는 이미지는 편안한 융화 한계들을 초과하거나 잘못된 깊이 인상을 제공할 수 있다. 3D 카메라에 의해 스테레오 이미지가 촬영될 때 개인차들, 스크린 크기 또는 뷰잉 거리들을 예측하는 것은 어려울 수 있다. 그러므로, 스테레오 이미지의 시차는 유리하게도 이미지가 디스플레이되기 전에 수신 단말기에서 처리된다.

음 시차가 양 시차보다 3D 효과가 더 클지라도, 뷰어는 양 시차를 갖는 물체보다 음 시차를 갖는 물체를 융화하는 것이 더 어렵다. 도 2c를 참조하면, 정사각형 물체는 융화 한계를 초과할 수 있는 큰 음 시차를 갖는다. 도 2c에서, 정사각형 우안 이미지는 죄안 이미지의 좌측에 있는 것에 주목한다. 도 3a 내지 도 3c는 본 발명의 실시예에 따라, 도 2a 내지 도 2c의 좌안 이미지 및 우안 이미지를 각각 좌측 및 우측으로 이동시킴으로써, 스테레오 이미지의 음 시차를 감소시키는 프로세스를 예시한다. 다시 말하면, 도 3a 내지 도 3c는 시차들을 조정함으로써 사용자들에게 안정적인 3D 이미지를 제공하기 위해 이미지를 처리하는 방법을 도시한다. 도 3a는 이미지의 좌측 단부를 거리 d/2만큼 컷오프(크로핑(cropping))한 다음에 이미지의 우측 단부를 d/2의 거리만큼 채움으로써 좌측으로 이동된 도 2a의 좌안 이미지를 예시한다. 도 3b는 이미지의 우측 단부를 거리 d/2만큼 컷오프(크로핑)한 다음에 이미지의 좌측 단부를 d/2의 거리만큼 채움으로써 우측으로 이동된 도 2b의 우안 이미지를 예시한다. 도 3c는 본 발명의 실시예에 따라 3D 스테레오 디스플레이 상에서 도 3b의 좌안 이미지와 합성되는 도 3a의 우안 이미지를 예시한다. 개별 이미지들의 크로핑 및 채움의 전체 효과는 이미지의 전체 크기에 대해 순 제로 효과(net zero effect)를 가지지만, 상대적인 시차들은 도 3c의 합성에서 거리 d만큼 변경되는 것에 주목한다.

도 3c를 참조하면, 정사각형 물체의 시차는 도 2c에 예시된 정사각형 물체의 시차에 비해, d만큼 감소된다(즉, 시차값은 d만큼 증가된다(음이 더 적어진다)). 그러므로, 정사각형 물체는 스크린으로부터 덜 돌출된 것처럼 보이고 뷰어는 정사각형 물체의 이미지의 양안시를 융화하는 것이 더 용이하다고 인지한다. 정사각형 물체에 대해서뿐만 아니라 이미지의 모든 물체들에 대해서도 시차의 값들이 d만큼 변경되는 것에 주목한다. 그러므로, 스크린 상의 이미지의 모든 물체들은 뷰어로부터 더 멀어지는 것처럼 보인다. 다시 말하면, 모든 물체들은 스크린 속으로 빨려 들어가는 경향이 있는 것처럼 보인다. 예를 들어, 원형 물체는 스크린 속으로 더 빨려가는 것처럼 보이고, 시차들을 조정하기 전에 스크린과 동일 깊이에 있는 것처럼 보이는 삼각형 물체는 이제 스크린으로 빨려 들어가는 것처럼 보인다. 물체들 중 일부가 본 발명의 시차 조정 이후에 스크린으로부터 돌출하는 것으로부터 스크린으로 빨려 들어가는 것으로 전환될 수 있는 것이 가능하다.

역으로, 3D 효과를 강화하고 모든 물체들이 뷰어 근처에 있도록 하기를 원하는 경우, 좌안 이미지를 우측으로 이동시키고 우안 이미지를 좌측으로 이동시킴으로써 스테레오 이미지의 시차를 감소시킬 수 있다.

도 4는 본 발명의 실시예에 따른 이미지 처리 시스템(400)의 블록도이다. 도 4를 참조하면, 이미지 처리 시스템은 이미지 수신기(402), 이미지 디코더(404), 최대 시차 분석기(406), 시차 제어값 결정기(408), 시차 조정기(412), 사용자 인터페이스(410), 및 3D 스테레오 디스플레이(414)를 포함한다. 간략하게, 사용자(뷰어)가 스테레오 3D 디스플레이(414)에 의해 제공되는 3D 이미지들을 편하게 볼 수 있도록 시차 제어값 결정기(408)가 시차 조정기(412)를 조정하는 것을 가능하게 하기 위해 뷰어가 사용자 인터페이스(410)를 통해 시스템(400)을 인터랙티브하게(interactively) 이용할 수 있다. 초기에, 뷰어는 사용자 인터페이스(410)를 인터랙티브하게 사용하여 최대의 편안한 시차값(최대 음 시차 임계값) 및 편안한 시차 변화율(최대 돌출율 임계값)을 결정한다. 최대 돌출율 임계값은 음 시차를 갖는 물체, 즉 3D 디스플레이 스크린으로부터 튀어나오는 물체의 변경 속도를 제한하기 위해 사용자 상호작용에 의해 설정된 값이다. 본 시스템이 아니면, 뷰어에게 제공되는 3D 이미지가 최대 음 시차 임계값을 초과하는 경우, 스테레오 디스플레이(414)의 사용자는 불편한 뷰잉 세션을 가질 수 있다. 사용자 인터페이스를 이용함으로써, 사용자는 3D 이미지를 개별 뷰어 또는 뷰어 그룹에 더 편안한 소정의 시차값들로 조정할 수 있다. 사용자에게 더 편안한 뷰잉 세션은 시차의 조정의 결과이며, 최대 음 시차를 제한할 뿐만 아니라 음 시차로 인해 물체들이 뷰잉 스크린으로부터 돌출하는 속도를 제한한다.

도 4로 되돌아가면, 이미지 수신기(402)는 스테레오 뷰 또는 멀티 뷰 이미지들을 수신하고 이미지 디코더(404)로 송신한다. 이미지 디코더(404)는 스테레오 뷰 또는 멀티 뷰 이미지를 디코딩하고 좌안 이미지 및 우안 이미지를 최대 시차 분석기(406) 및 시차 조정기(412)에 출력한다. 최대 시차 분석기(406)는 우안 이미지와 좌안 이미지 사이의 시차들을 추정하고 최대 음 시차(Dm)를 결정한다. 당업자들은 두 이미지들 사이의 시차를 추정하는 데 많은 방법들이 사용될 수 있음을 인지한다. 시차 제어값 결정기(408)는 결정된 최대 음 시차(Dm)를 최대 시차 분석기(406)로부터 수신하고 좌안 및 우안 이미지들 둘 다에 대한 이동값(d)을 결정한다. 상세하게, 시차 제어값 결정기(408)는 결정된 최대 음 시차의 양을 시차 임계값(Dt)과 비교하는데, 이 임계값은 스테레오 3D 디스플레이(414)를 지켜보는 동안 뷰어가 편안한 값이라고 느끼는, 뷰어의 최대 음 시차인 것으로 가정된다(간소화를 위해, Dt는 뷰어의 최대 음 시차의 절대값이다). 수신된 좌안 및 우안 이미지의 최대 음 시차의 양이 최대 음 시차 임계값(Dt)보다 더 큰 경우, 시차 제어값은 이미지 이동값(d)으로서 계산된다. 게다가, 시차 제어값 결정기(408)는 뷰어로부터 결정되는 시차의 최대 변화율을 나타내는 최대 돌출율 임계점과 비교하여, 바로 이전의 3D 이미지와 현재의 3D 이미지 사이의 시차 변화에 기초하는 좌안 및 우안 이미지들 내의 현재의 시차의 변화율에 기초하여 시차의 변화율을 결정한다.

당업자에 의해 인식되는 바와 같이, 도 4는 단일 프로세서 시스템 또는 멀티프로세서 시스템에 의해 구현될 수 있다. 예를 들어, 단일 프로세서 실시예에서, 입력 및 출력 인터페이스들이 스테레오 디스플레이(414)를 구동하도록 이미지 수신기(402), 사용자 인터페이스(410), 및 시차 조정기(412) 출력을 포함할 수 있도록 버스 기반 시스템이 이용될 수 있다. 그러한 단일 프로세서 시스템에서, 이미지 디코더(404), 최대 시차 분석기(406), 시차 제어값 결정기(408)에 의해 수행되는 기능들은 도 4의 개별 기능 박스들의 기능들을 수행하기 위해 메모리와 함께 동작하는 프로세서에 의해 조절될 수 있다. 대안적으로, 도 4의 기능 박스들의 일부 또는 각각은 내부 프로세서, 메모리, 및 I/O와 함께 기능하여 그의 이웃하는 기능 블록들과 통신할 수 있다.

본 발명의 실시예에서, 뷰어들은 도 4의 시스템(400)을 사용하여 물체들이 스테레오 3D 디스플레이(414)의 스크린으로부터 지나치게 많이 도출되는 것을 방지할 것이다. 이 경우에, 최대 음 시차(Dm)의 양은 뷰어와 관련된 시차 임계값(Dt)을 초과해서는 안 된다. 그러므로, 이미지 이동값(d)은 간단히 이하와 같이 계산된다.

본 발명의 다른 실시예에서, 뷰어들은 3D 효과가 가능한 한 클 것을 원하지만, 스크린으로부터 지나치게 많이 그리고 지나치게 빨리 돌출하는 물체들을 융화하는 데 어려움을 느낀다. 이 경우에, 최대 음 시차(Dm)의 양은 너무 빨리 증가하지 않아야 한다. 여기서, 사용자 인터페이스(410)를 이용할 때, 뷰어는 편안한 사용자 뷰잉을 위해 최대 돌출율 임계점을 설정한다. 이미지 이동값(d)은 이하와 같이 계산된다.

여기서 δ는 돌출율(시차의 변화율)을 제어하는 데 사용되는 시차 제어값 결정기(408) 및 사용자 인터페이스(410)의 사용을 통해 결정되는 값이고, D'는 시차가 조정되었던 바로 이전의 이미지의 최대 음 시차의 양이다. D'는 초기에 Dt로서 설정되고 시차 제어값 결정기(408)에 저장된다. 이미지의 시차가 조정되면, D'는 이하와 같이 갱신된다.

상기를 사용하면, 뷰어의 최대 돌출율 임계점을 설정하고 우안과 좌안 이미지 사이의 시차 변화율을 제어함으로써, 뷰어에게 편안한 한계 내에서 최대 시차가 제어될 수 있을 뿐만 아니라, 돌출하는 이미지의 비율이 제어될 수도 있다. 일 실시예에서, 이것은 메모리에, 바로 이전의 이미지와 현재의 이미지 사이에서 비율이 결정될 수 있도록 하는 적어도 바로 직전의 이미지 시차값, 및 수신되고 디코딩된 연속적인 우안 및 좌안 이미지 세트들의 상대적인 시차 변화들(변화율)을 저장함으로써 달성된다. 본 실시예의 하나의 장점은 바로 이전의 이미지 시차율 값만이 저장되고 최종 전체 이미지 프레임은 저장되지 않는다는 것에 주목한다.

시차 제어값 결정기(408)는 뷰어 및 사용자 인터페이스(410)로부터의 입력들을 통해 사용자로부터 시차 임계값(Dt) 및 돌출율 값(δ)을 수신한다. 시차 조정기(412)는 시차 제어값 결정기(408)로부터 수신된 이미지 이동값(d)만큼 좌안 이미지를 좌측으로 그리고 우안 이미지를 우측으로 이동시킴으로써 스테레오 이미지의 시차를 조정한 다음에, 시차-조정된 좌안 이미지 및 우안 이미지들을 스테레오 디스플레이(414)에 출력한다. 좌안 이미지 및 우안 이미지가 동일한 양으로 이동될 필요가 없는 것이 당업자에게 분명할 것이다. 예를 들어, 일 실시예에서, 좌안 이미지는 d만큼 이동될 수 있는 한편 우안 이미지는 이동되지 않는다. 동등하게, 다른 동등하지 않은 양의 우안 및 좌안 이동들이 구현될 수 있다. 일 실시예에서, 좌안 이미지는 1/3d만큼 이동될 수 있고, 우안 이미지는 2/3d만큼 이동될 수 있다.

도 5는 본 발명의 실시예에 따른 이미지 처리 방법(500)의 흐름도이다. 방법(510)의 시작 후에, 스테레오 뷰 또는 멀티 뷰 이미지가 수신되고 단계(520)에서 좌안 이미지 및 우안 이미지로 디코딩된다. 스테레오 뷰 또는 멀티 뷰 이미지는 신호 또는 등가의 디지털 데이터의 형태인 3차원(3D) 이미지일 수 있다. 단계(520)는 도 4의 이미지 수신기(402)를 사용하여 수행될 수 있다. 그 다음, 수신된 스테레오 뷰 또는 멀티 뷰 이미지들은 도 4의 이미지 디코더(404)를 사용하여 수행될 수 있는 단계(530)에서 좌안 이미지 및 우안 이미지로 디코딩된다. 단계(540)에서, 좌안 이미지와 우안 이미지 사이의 시차들이 추정되고, 수신된 이미지들의 최대 음 시차가 결정된다. 단계(540)는 도 4의 최대 시차 분석기(406)를 사용하여 수행될 수 있다. 이미지 돌출율 또는 시차의 변화율도 계산될 수 있다. 그 다음, 좌안 이미지 및 우안 이미지 둘 다에 대한 이미지 이동값은 이 이미지와 바로 이전의 이미지의 최대 음 시차, 사용자 설정 최대 음 시차 임계값, 및 최대 돌출율 임계값(사용자의 시차율 변화 한계)에 기초하여 단계(550)에서 계산된다. 단계 550은 도 4의 시차 제어값 결정기(408)를 사용하여 수행될 수 있다.

도 4의 시스템 및 도 5의 방법(500)은 두 종류의 조정을 제공하는 것에 주목한다. 하나는 뷰어에게 디스플레이될 최대 음 시차의 제어이다. 나머지 하나는 뷰어에게 제공되는 최대 음 시차의 변화율의 제어이다. 사용자들이 최대 음 시차 임계점을 설정하면, 최대 음 시차의 제어 기능이 발생할 것이다. 사용자들이 최대 돌출율 임계점을 설정하면, 최대 음 시차의 변화율의 제어 기능이 발생할 것이다. 사용자들이 최대 음 시차 임계점 및 최대 돌출율 임계점 둘 다를 설정하면, 이 때 방법(500)에서 설명된 바와 같이 제어 기능들 둘 다가 발생할 것이다. 실제 이미지 이동값은 두 계산된 값들 중 더 큰 값이다. 예를 들어, 일 실시예에서, 3D 이미지의 임의의 물체들의 최대 음 시차(D_m)가 최대 음 시차 임계값(Dt)을 초과하면, 이미지 이동값(d₁)은 수학식 1에 의해 계산될 것이다. 시차가 조정되었던 바로 이전의 이미지의 최대 음 시차의 양에 비해 최대 음 시차(D_m)의 양이 지나치게 빨리 증가하는 경우, 이미지 이동값(d₂)은 수학식 2에 의해 계산될 것이다. 그 다음, 실제 이미지 이동값(d)은 이하와 같이 계산된다.

그러므로, 이미지는 이미지의 최대 음 시차가 최대 음 시차 임계값(D_t)을 초과하지 않고 이미지의 임의의 물체들의 돌출율이 또한 최대 돌출율 임계점(δ)을 초과하지 않도록 조정된다. 이미지가 조정된 후에, 바로 이전에 조정된 이미지(D')의 최대 음 시차의 값은 수학식 3에 의해 갱신된다.

최대 음 시차 임계값 및 최대 돌출율 임계값들은 사용자에 의해 설정되는 편안한 뷰잉을 위한 임계값들인 것에 주목한다. 최대 음 시차 임계값 및 최대 돌출율 임계값은 사용자 인터페이스(410)를 통해 인터랙티브하게 결정될 수 있다. 사용자 입력들은 시차 제어값 결정기(408)에 의해 수용되고, 사용자에 의한 편안한 뷰잉을 위한 임계값들과 같이 유용한 파라미터들로서 처리된다. 시차 제어값 결정기(408)는 이미지 이동값(d)을 결정하기 위해 이 사용자 임계값들뿐만 아니라 최대 시차 분석기(406)로부터 결정되는 값들의 시차의 변화율 및 최대 시차의 입력들을 사용한다. 좌안 이미지 및 우안 이미지는 계산된 이미지 이동값에 기초하여 좌측 및 우측으로 각각 이동되고, 좌안 이미지와 우안 이미지 사이의 시차들은 단계(560)에서 조정된다. 단계(560)는 도 4의 시차 조정기(412)에 의해 수행될 수 있다. 시차 조정된 좌안 이미지 및 우안 이미지가 출력되어 단계(570)에서 디스플레이된다. 시차 조정기(412)는 편안한 사용자 뷰잉을 위해 시차 조정된 스테레오 신호를 스테레오 디스플레이(414)에 출력한다.

본 명세서에서 설명된 구현예들은 예를 들어 방법 또는 프로세스, 장치, 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있다. 단지 단일 형태의 구현예의 맥락으로만 논의되더라도(예를 들어 단지 방법으로서만 논의됨), 논의된 특징들의 구현예는 다른 형태들(예를 들어, 하드웨어 장치, 하드웨어 및 소프트웨어 장치, 또는 컴퓨터 판독가능 매체)로도 구현될 수 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 예를 들어, 상기 방법들은 예를 들어 프로세서와 같은 장치에서 구현될 수 있으며, 프로세서는 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그램가능 로직 장치를 포함하는 임의의 처리 장치를 지칭한다. 처리 장치들은 또한 예를 들어 컴퓨터들, 휴대 전화들, 휴대/개인 정보 단말기들("PDAs")들과 같은 통신 장치, 및 최종 사용자들 사이에서 정보의 통신을 용이하게 하는 다른 장치들을 포함한다.

추가로, 상기 방법은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들은 예를 들어 집적 회로, 소프트웨어 캐리어(carrier), 또는 예를 들어, 하드 디스크, 컴팩트 디스켓, 랜덤 액세스 메모리("RAM"), 판독 전용 메모리("ROM") 또는 임의의 다른 자기, 광학, 또는 고체 상태 매체 등과 같은 다른 저장 장치와 같은 프로세서 또는 컴퓨터 판독가능 매체 상에 저장될 수 있다. 명령어들은 상기 기재된 매체 중 임의의 매체와 같은 컴퓨터 판독가능 매체 상에 유형으로(tangibly) 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명백한 바와 같이, 프로세서는 예를 들어 프로세스를 수행하기 위한 명령어들을 지니는 컴퓨터 판독가능 매체를 프로세서 유닛의 일부로 포함할 수 있다. 본 발명의 방법에 대응하는 명령어들은, 실행될 때, 범용 컴퓨터를 본 발명의 방법들을 수행하는 특수목적 머신으로 변환시킬 수 있다.

Claims

이미지 처리 장치로서,
3차원(3D) 이미지를 수신하고, 수신된 3D 이미지를 좌안 이미지 및 우안 이미지로 디코딩하는 이미지 수신기 및 디코더;
상기 좌안 이미지와 상기 우안 이미지 사이의 최대 시차(a maximum disparity) 및 시차 변화율(a rate of disparity change)을 결정하는 시차 분석기;
상기 최대 시차, 상기 시차 변화율, 및 임계값들에 기초하여 시차 조정 값을 결정하는 시차 제어값 결정기;
수신된 좌안 이미지 및 수신된 우안 이미지를 시차 조정에 따라 조정하는 시차 조정기; 및
조정된 좌안 이미지 및 우안 이미지를 사용하여 디스플레이를 구동하는, 상기 시차 조정기로부터의 출력
을 포함하는 이미지 처리 장치.
제1항에 있어서, 최대 음 시차 임계값(a maximum negative disparity threshold value)을 결정하기 위해 인터랙티브하게(interactively) 사용되는 사용자 인터페이스를 더 포함하는 이미지 처리 장치.
제2항에 있어서, 상기 사용자 인터페이스는 또한 최대 돌출율 임계값(a maximum protruding rate threshold value)을 인터랙티브하게 결정하는 이미지 처리 장치.
제1항에 있어서, 상기 시차 제어값 결정기는 상기 최대 음 시차 임계값이 초과되는 경우 최대 음 시차를 제어하기 위해 시차 조정값을 생성하는 이미지 처리 장치.
제1항에 있어서, 상기 시차 제어값 결정기는 상기 최대 돌출율 임계값이 초과되는 경우 상기 시차 변화율을 제어하기 위해 시차 조정 값을 생성하는 이미지 처리 장치.
제1항에 있어서, 상기 시차 조정기는 최대 음 시차 임계값 및 최대 돌출율 임계값에 기초하여 상기 수신된 좌안 이미지 및 상기 수신된 우안 이미지를 조정하는 이미지 처리 장치.
제1항에 있어서, 상기 조정된 좌안 및 우안 이미지를 뷰잉하기 위한 스테레오 3D 이미지 디스플레이 장치를 더 포함하는 이미지 처리 장치.
이미지 처리 시스템에 의해 수행되는 방법으로서,
3차원(3D) 이미지에 대한 데이터를 수신하는 단계;
상기 3D 이미지를 좌안 이미지 및 우안 이미지로 디코딩하는 단계;
적어도 하나의 프로세서를 사용하여, 디코딩된 3D 이미지의 최대 시차 및 시차 변화율을 결정하는 단계;
적어도 하나의 임계값에 관하여 상기 최대 시차 및 상기 시차 변화율을 사용하여 이미지 이동값을 결정하고 상기 좌안 이미지 및 상기 우안 이미지를 조정하는 단계;
상기 이미지 이동값을 사용하여 상기 좌안 이미지 및 상기 우안 이미지를 조정하는 단계; 및
조정된 좌안 이미지 및 우안 이미지를 3D 디스플레이 장치 상에서 뷰어에게 디스플레이하는 단계
를 포함하는 방법.
제8항에 있어서, 상기 이미지 이동값을 결정하는 단계는 최대 음 시차 임계값 및 최대 돌출율 임계값과 상기 최대 시차 및 상기 시차 변화율의 비교를 포함하는 방법.
제9항에 있어서, 상기 최대 음 시차 임계값이 초과되면, 상기 이미지의 최대 음 시차가 상기 최대 음 시차 임계값을 초과하지 않도록 상기 이미지가 조정되는 방법.
제9항에 있어서, 상기 최대 돌출율 임계값이 초과되는 경우, 상기 시차 변화율은 상기 최대 돌출율 임계값을 초과하지 않도록 조정되는 방법.
제9항에 있어서, 상기 최대 음 시차 임계값 및 상기 최대 돌출율 임계값은 뷰어로부터 결정되는 임계값들인 방법.