KR20150115006A - 중간 뷰 이미지를 생성하기 위한 시스템 - Google Patents

Abstract

중간 이미지(161)는 좌측 이미지(101), 좌측 시차 데이터(111), 우측 이미지(102) 및 우측 시차 데이터(112)를 포함하는 스테레오 데이터(105)로부터 생성된다. 중간 이미지(161)는 중간 뷰(155)에 대응한다. 믹싱 정책(156)은 중간 이미지(161)의 예측된 이미지 품질에 기초하여 결정된다. 결정된 믹싱 정책(156)이 그렇게 요구할 때, 좌측 중간 이미지(131)는 중간 뷰(155)에 대해 좌측 데이터(103)로부터 생성된다. 결정된 믹싱 정책(156)이 그렇게 요구할 때, 우측 중간 이미지(141)는 중간 뷰(155)에 대해 우측 데이터(104)로부터 생성된다. 중간 이미지(161)는 믹싱 정책(156)에 따라, 좌측 중간 이미지(131) 및 우측 중간 이미지(141)를 믹싱함으로써(180) 생성된다.

Description

중간 뷰 이미지를 생성하기 위한 시스템{SYSTEM FOR GENERATING AN INTERMEDIATE VIEW IMAGE}

본 발명은 스테레오 데이터로부터 중간 이미지를 생성하는 것에 관한 것이다.

스테레오 이미지는 3-차원(3D) 이미지 데이터에 대한 공통적인 표현이다. 스테레오 이미지는 좌측 뷰에 대응하는 좌측 이미지 및 우측 뷰에 대응하는 우측 이미지를 포함한다. 스테레오 이미지를 보기 위해 스테레오 디스플레이 수단을 사용하여, 뷰어의 좌측 눈이 좌측 이미지를 보고 뷰어의 우측 눈이 우측 이미지를 봐서, 뷰어에 3D 지각을 야기한다.

스테레오 이미지의 좌측 뷰 및 우측 뷰와 상이한, 중간 뷰에서 3D 이미지를 보기 위해, 중간 이미지가 생성될 필요가 있다. 다양한 방법들이 스테레오 이미지로부터 중간 이미지를 생성하기 위해 존재한다.

US2011/00268009 A1은 다중뷰 디스플레이 상에서 보기 위해 스테레오 이미지로부터 중간 뷰에서의 중간 이미지를 계산하기 위한 방법을 설명한다. 상기 중간 뷰는 좌측 뷰 및 우측 뷰를 포함하는 뷰들의 범위에서의 상대적인 위치에서의 뷰를 나타낸다. 상기 방법은 스테레오 이미지로부터 좌측 시차 데이터 및 우측 시차 데이터를 계산하며, 상기 스테레오 이미지는 좌측 이미지 및 우측 데이터를 포함한다. 상기 방법은 좌측 이미지 및 좌측 시차 데이터를 사용하여, 중간 뷰에 대한 좌측 중간 이미지를 생성한다. 상기 방법은 우측 이미지 및 우측 시차 데이터를 사용하여, 중간 뷰에 대한 우측 중간 이미지를 생성한다. 최종 중간 이미지는 그 후 좌측 중간 이미지 및 우측 중간 이미지를 블렌딩(blending)함으로써 생성된다.

종래 기술 방법의 단점은 그것이 또한 중간 이미지에서 가시적 이미지 아티팩트(artifact)들을 생성한다는 것이며, 가장 주목할 만한 이미지 아티팩트들은 이미지 상세 블러 및 폐색 아티팩트들이다. 아티팩트들의 가시성은 중간 뷰에 따라 및 스테레오 이미지의 콘텐트에 따라 달라진다. 상세 블러는 통상적으로 보다 많은 상세들을 포함하는 스테레오 이미지에 대해 및 좌측 뷰와 우측 뷰 사이에서의 뷰들에서 가장 가시적이다. 상세 블러의 원인은 생성된 좌측 중간 이미지 및 우측 중간 이미지의 불완전한 믹싱에 있다. 폐색 아티팩트들은 큰 깊이 전이들을 포함하는 스테레오 이미지에 대해, 가장 현저히 측방향 뷰들에서, 그에 따라 좌측 뷰의 좌측에서 및 우측 뷰의 우측에서 가장 가시적이다. 폐색 아티팩트들의 원인은 좌측 이미지의 또는 우측 이미지의 불완전한 외삽에 있다.

종래 기술의 방법에서, 이미지 품질은 중간 이미지가 중간 뷰에 따라 및 스테레오 이미지의 콘텐트에 따라 달라지는 이미지 아티팩트들을 겪기 때문에 차선이다. 중간 이미지의 이미지 품질의 개선이 요구된다.

본 발명의 목적은 스테레오 데이터로부터 중간 이미지를 생성하기 위한 방법을 제공하는 것이며, 상기 중간 이미지는 개선된 이미지 품질을 가진다.

본 발명은 중간 뷰를 위해 스테레오 데이터로부터 중간 이미지를 생성하기 위한 방법을 개시한다. 상기 방법은 믹싱 정책에 따라 좌측 중간 이미지 및 우측 중간 이미지의 믹싱을 사용한다. 상기 믹싱 정책은 중간 뷰의 기능으로서 믹싱에서 좌측 및 우측 중간 이미지의 상대적 기여도들을 정의한다. 상기 스테레오 데이터는 좌측 데이터 및 우측 데이터를 포함한다. 상기 좌측 데이터는 좌측 뷰에 대응하며 상기 좌측 데이터는 좌측 이미지 및 좌측 시차 데이터를 포함한다. 상기 우측 데이터는 우측 뷰에 대응하며 상기 우측 데이터는 우측 이미지 및 우측 시차 데이터를 포함한다. 상기 중간 이미지는 중간 뷰에 대응한다. 상기 좌측 중간 이미지는 상기 중간 뷰를 위해 상기 좌측 데이터로부터 생성된다. 상기 우측 중간 이미지는 상기 중간 뷰를 위해 상기 우측 데이터로부터 생성된다. 상기 방법은: 상기 스테레오 데이터의 이미지 특성에 기초하여 복수의 믹싱 정책들 각각에 대한 상기 중간 이미지의 이미지 품질을 예측하는 단계; 상기 중간 이미지의 예측된 이미지 품질에 기초하여 상기 복수의 믹싱 정책들로부터 믹싱 정책을 선택함으로써 상기 믹싱 정책을 결정하는 단계; 상기 결정된 믹싱 정책이 그렇게 요구할 때, 상기 중간 뷰를 위해 상기 좌측 데이터로부터 상기 좌측 중간 이미지를 생성하는 단계; 상기 결정한 믹싱 정책이 그렇게 요구할 때, 상기 중간 뷰를 위해 상기 우측 데이터로부터 우측 중간 이미지를 생성하는 단계; 및 상기 결정된 믹싱 정책에 따라 상기 상대적 기여도들을 사용하여 상기 좌측 중간 이미지 및 상기 우측 중간 이미지를 믹싱함으로써 상기 중간 이미지를 생성하는 단계를 포함한다.

이러한 방식으로 본 발명은 유연성을 제공하여, 상기 중간 이미지가 완전히 상기 좌측 중간 이미지에 기초하여, 완전히 상기 우측 중간 이미지에 기초하여, 그러나 또한, 즉 믹싱 정책이 그렇게 표시할 때, 상기 좌측 중간 이미지 및 상기 우측 중간 이미지 양쪽 모두에 기초하여 주장된 바와 같이 생성되도록 허용한다.

상기 방법을 위한 입력은 좌측 데이터 및 우측 데이터를 포함하는 스테레오 데이터이다. 상기 좌측 데이터는 좌측 뷰에 대응하며 상기 우측 데이터는 우측 뷰에 대응한다. 상기 좌측 뷰 및 상기 우측 뷰는 3D 이미지가 뷰어에 의해 보여지는 두 개의 관점들을 정의한다. 상기 좌측 데이터는 좌측 이미지 및 좌측 시차 데이터를 포함한다. 상기 우측 데이터는 우측 이미지 및 우측 시차 데이터를 포함한다. 상기 방법의 출력은 상기 좌측 뷰 및 상기 우측 뷰와 상이한 중간 뷰에 대한 중간 이미지이다.

상기 중간 이미지는 믹싱 정책에 따라, 좌측 중간 뷰 및 우측 중간 뷰의 믹싱에 의해 생성된다. 상기 믹싱 정책 프로세스는 상기 믹싱이 어떻게 상기 중간 뷰에 의존하는지를 정의한다. 일반적인 경우에서, 상기 믹싱 정책은 상기 믹싱에서 상기 좌측 중간 이미지의 좌측 상대적 기여도를 정의하며, 상기 믹싱에서 상기 우측 중간 이미지의 우측 상대적 기여도를 정의한다. 상기 중간 이미지는 그 후 상기 상대적 기여도들에 따른 가중들을 사용하여 상기 좌측 중간 이미지 및 상기 우측 중간 이미지를 믹싱함으로써 생성된다. 상기 믹싱 정책이 단지 상기 좌측 중간 이미지만을 생성하는 것을 요구하는, 제 1 특수한 경우에, 상기 믹싱은 상기 좌측 중간 이미지를 상기 중간 이미지로 효과적으로 복사한다. 상기 믹싱 정책이 단지 상기 우측 중간 이미지만을 생성하는 것을 요구하는, 제 2 특수한 경우에, 상기 믹싱은 상기 우측 중간 이미지를 상기 중간 이미지로 효과적으로 복사한다.

상기 좌측 중간 이미지는 좌측 시차를 사용하여 생성되고, 그러나 워핑(warping) 프로세스는, 믹싱 정책이 그렇게 요구할 때만, 좌측 시차 데이터를 사용하여 좌측 이미지를 중간 뷰로 '워핑한다'. 우측 시차 프로세스를 사용하여, 워핑 프로세스는 상기 우측 시차 데이터를 사용하여, 그러나 믹싱 정책이 그렇게 요구할 때만, 상기 우측 이미지를 상기 중간 뷰로 워핑한다.

상기 믹싱은 고정된 것이 아니라 정책 결정 프로세스에 의해 결정되는 믹싱 정책에 의해 제어된다. 상기 믹싱 정책은, 인간 지각에 기초하여 또는 품질 메트릭(들)(의 세트)을 사용하여, 상기 중간 데이터의 이미지 품질이 최적이도록 결정된다. 이를 위해, 상기 정책 결정 프로세스는 상기 믹싱 정책을 사용하여 생성될 상기 중간 이미지의 예측된 이미지 품질에 기초하여 상기 믹싱 정책을 결정한다.

선택적으로, 상기 결정은 상기 중간 이미지의 이미지 상세의 양에 의존하여 예측된 이미지 품질에 기초한다. 이미지 상세의 양이 크다면, 상기 믹싱은, 좌측 중간 이미지 및 우측 중간 이미지 양쪽 모두를 사용한 믹싱을 정의하는 믹싱 정책이 사용된다면, 블러링 및 고스팅(ghosting)과 같은, 아티팩트들을 생성할 것이다. 많은 양의 이미지 상세가 검출된다면, 믹싱 정책은, 인간 지각에 기초하여 또는 품질 메트릭(들)(의 세트)을 사용하여, 상기 중간 이미지에서의 상기 생성된 이미지 상세가 개선된 이미지 품질을 갖도록 결정된다.

선택적으로, 상기 결정은 상기 스테레오 데이터에 결합된 메타-데이터로부터 상기 믹싱 정책을 검색함으로써 수행된다. 상기 정책 결정 프로세스는 오프라인으로 상기 믹싱 정책을 결정하며 그것을 상기 스테레오 데이터에 결합된 메타-데이터에 저장한다. 이러한 작동의 방식은 분석을 위해 보다 복잡하며, 값비싼 하드웨어의 사용을 허용한다. 게다가 그것은 상기 메타-데이터의 생성이 콘텐트 저자가 활용하는 저작 툴들에 통합되도록 허용한다.

선택적으로, 상기 중간 이미지를 생성하는 것은 스테레오 뷰 비디오 시퀀스의 각각의 후속 프레임들로부터 후속 중간 이미지들을 생성하는 것을 포함하며, 각각의 후속 프레임들 각각은 스테레오 데이터를 포함한다. 중간 이미지는 따라서 스테레오 뷰 비디오 프레임으로부터 생성된다.

선택적으로, 상기 결정은 제 1 인스턴스에서 제 1 프레임으로부터 제 1 중간 이미지를 생성하기 위한 제 1 믹싱 정책을 결정하는 것 및 제 2 인스턴스에서 제 2 프레임으로부터 제 2 중간 이미지를 생성하기 위한 제 2 믹싱 정책을 결정하는 것을 포함한다. 상기 제 1 프레임으로부터 생성된 상기 중간 이미지들은 상기 제 1 믹싱 정책이 상기 믹싱에 사용될 때 최적의 이미지 품질(메트릭(들)(의 세트) 및/또는 인간 지각에 따라)을 가진다. 더욱이, 상기 제 2 프레임으로부터 생성된 중간 이미지들은 상기 제 2 믹싱 정책이 상기 믹싱에 사용될 때 최적의 이미지 품질을 가진다. 중간 이미지들은 따라서 각각의 상이한 믹싱 정책들을 사용하여 상이한 스테레오 뷰 비디오 프레임들로부터 생성된다.

선택적으로, 상기 결정은 제 3 인스턴스에서 제 3 프레임으로부터 제 3 중간 이미지를 생성하기 위한 제 3 믹싱 정책을 결정하는 것을 포함하며, 상기 제 3 인스턴스는 상기 제 1 인스턴스 후 및 상기 제 2 인스턴스 전에 발생하며, 상기 제 3 믹싱 정책에 의해 정의된 제 3 믹싱 인자는 상기 제 1 믹싱 정책에 의해 정의된 제 1 믹싱 인자와 상기 제 2 믹싱 정책에 의해 정의된 제 2 믹싱 인자 사이에 있다. 상기 믹싱 정책은 따라서, 상기 인스턴스들이 제 1, 제 3, 제 2로서 시간적으로 순서화되며 상기 믹싱 인자들이 또한 제 1, 제 3, 및 제 2로서 순서화된다는 점에서, 시간에 따라 점진적으로 변화한다.

선택적으로, 상기 중간 이미지를 생성하는 것은 상기 스테레오 데이터로부터 중간 이미지들의 시리즈를 생성하는 것을 포함하며, 상기 시리즈들은 중간 뷰들의 시리즈들에 대응하고, 상기 중간 뷰들의 시리즈들은 공간적으로 연속되는 뷰들이다. 따라서, 하나의 뷰에 대해 상기 스테레오 데이터로부터 하나의 중간 이미지를 생성하기보다는, 중간 이미지들의 시리즈들이 각각의 뷰들의 시리즈들에 대해, 예를 들면, 다중-뷰 디스플레이를 위해 상기 스테레오 데이터로부터 생성된다.

선택적으로, 상기 중간 이미지들의 제 1 시리즈들을 생성하는 것은 제 1 중심 중간 뷰에 상기 중간 뷰들의 시리즈들을 중심에 두는 것, 상기 제 1 중심 중간 뷰에 대해 상기 중간 이미지들의 시리즈들의 예측된 이미지 품질에 기초하여 상기 중심 중간 뷰를 선택하는 것을 포함한다. 상기 중심 중간 뷰에 상기 중간 뷰들의 시리즈들을 중심에 두는 것은 상기 중심 중간 뷰가 이제 뷰어의 바로 앞에 있도록 중간 뷰들의 시리즈들을 좌측 또는 우측으로 변경하는 것을 의미한다. 특히, 상기 시리즈들에서 뷰들의 수가 홀수이면, 중심을 두는 것은 상기 제 1 중심 중간 뷰에, 즉 뷰어의 바로 앞에, 상기 시리즈들의 중심 뷰를 두는 것에 대응한다. 상기 시리즈들에서 짝수의 뷰들에 있는 경우에, 중심을 두는 것은 두 개의 중심 뷰들이 상기 제 1 중심 중간 뷰 주위에서 등거리로 중심에 있음을 내포한다. 믹싱 정책을 사용하여, 중간 이미지들의 이미지 품질은 중심 중간 뷰의 가까이에 있는 뷰들에 대해 개선될 수 있다(전체가 뷰들의 범위에 있는). 상기 뷰들의 시리즈들은 그러므로 중심 중간 뷰에 중심이 있다.

선택적으로, 상기 중간 이미지를 생성하는 것은 제 1 중심 중간 뷰에 중심이 있는 제 1 인스턴스에서 제 1 프레임으로부터 중간 뷰들의 제 1 시리즈들을 생성하는 것, 및 제 2 중심 중간 뷰에 중심이 있는 제 2 인스턴스에서 제 2 프레임으로부터 중간 뷰들의 제 2 시리즈들을 생성하는 것을 포함한다. 제 1 프레임 및 제 2 프레임에 대해 (동일한) 믹싱 정책을 사용하여, 상기 제 1 프레임으로부터 생성된 중간 이미지들의 이미지 품질은 상기 제 1 중간 뷰의 가까이에 있는 뷰들에 대해 개선될 수 있지만, 상기 제 2 프레임의 중간 이미지들의 이미지 품질은 상기 제 2 중간 뷰의 가까이에 있는 뷰들에 대해 개선될 수 있다. 상기 뷰들의 시리즈들은 그러므로 상기 제 1 프레임에 대해 상기 제 1 뷰에, 및 상기 제 2 프레임에 대해 상기 제 2 뷰에 중심이 있다. 상기 중간 뷰의 제 1 시리즈들의 제 1 중심 중간 뷰의 가까이에 있는 결과적인 이미지 품질은 그러므로 제 2 프레임에 대해서 뿐만 아니라, 제 1 프레임에 대해서 최적이다.

선택적으로, 상기 중간 이미지를 생성하는 것은 제 3 중심 중간 뷰에 중심이 있는 제 3 인스턴스에서 제 3 프레임으로부터 중간 뷰들의 제 3 시리즈들을 생성하는 것을 포함하며, 상기 제 3 인스턴스는 상기 제 1 인스턴스 후 및 상기 제 2 인스턴스 전에 발생하고, 상기 제 3 뷰는 상기 제 1 뷰와 상기 제 2 뷰 사이에 있다. 상기 중간 뷰들의 시리즈들이 중심에 있는 중심 중간 뷰는 제 1 프레임에서 상기 제 1 뷰로부터, 다음 프레임에서의 다음 뷰로(즉, 제 3 프레임에서의 제 3 뷰), 상기 제 2 프레임에서의 제 2 뷰로 점진적으로 시프트한다. 상기 중간 뷰들의 시리즈들의 시프트는, 상기 인스턴스들이 제 1, 제 3, 제 2로서 시간적으로 순서화되며, 상기 중심 뷰들이 또한 제 1, 제 3, 및 제 2로서 공간적으로 순서화된다는 점에서, 시간에 걸쳐 점진적으로 수행된다.

선택적으로, 상기 믹싱 정책은, 중간 뷰들의 범위에 대해, 상기 믹싱에서 상기 좌측 중간 이미지의 좌측 상대적 기여도를 정의하며 상기 믹싱에서 상기 우측 중간 이미지의 우측 상대적 기여도를 정의하고, 상기 좌측 상대적 기여도 및 상기 우측 상대적 기여도 중 하나는 상기 범위에 걸쳐 상기 좌측 상대적 기여도 및 상기 우측 상대적 기여도 중 다른 하나를 주도한다. 상기 믹싱 정책은 상기 좌측- 및 상기 우측 상대적 기여도 중 하나가 상기 중간 뷰들의 범위에서 대체로 더 큰 믹싱을 정의한다. 이러한 믹싱 정책은 또한 비대칭 믹싱 정책으로 불리운다.

선택적으로, 상기 중간 이미지를 생성하는 것은 스테레오 데이터 비디오 시퀀스와 대조적으로 정지 스테레오 데이터를 위한 중간 이미지를 생성하는 것을 포함한다.

선택적으로, 상기 좌측 시차 데이터는 상기 좌측 이미지 및 상기 우측 이미지로부터 계산되며, 상기 우측 시차 데이터는 상기 좌측 이미지 및 상기 우측 이미지로부터 계산된다. 상기 시차 데이터는 상기 스테레오 데이터를 공급받지 않지만, 상기 좌측 이미지 및 상기 우측 이미지로부터 계산된다.

본 발명은 믹싱 정책에 따라 좌측 중간 이미지 및 우측 중간 이미지의 믹싱을 사용하여, 중간 뷰를 위해 스테레오 데이터로부터 중간 이미지를 생성하기 위해 배열된 시스템을 개시한다. 상기 믹싱 정책은 상기 중간 뷰의 기능으로서 상기 믹싱에서 상기 좌측 및 우측 중간 이미지의 상대적 기여도들을 정의한다. 상기 스테레오 데이터는 좌측 데이터 및 우측 데이터를 포함하며, 상기 좌측 데이터는 좌측 뷰에 대응하고 상기 좌측 데이터는 좌측 이미지 및 좌측 시차 데이터를 포함하며, 상기 우측 데이터는 우측 뷰에 대응하고 상기 우측 데이터는 우측 이미지 및 우측 시차 데이터를 포함한다. 상기 중간 이미지는 중간 뷰에 대응한다. 상기 좌측 중간 이미지는 상기 중간 뷰를 위해 상기 좌측 데이터로부터 생성된다. 상기 우측 중간 이미지는 상기 중간 뷰를 위해 상기 우측 데이터로부터 생성된다. 상기 시스템은 생성 유닛을 포함하며, 상기 생성 유닛은: 상기 스테레오 데이터의 이미지 특성에 기초하여 복수의 믹싱 정책들 각각에 대한 상기 중간 이미지의 이미지 품질을 예측하기 위한 예측 기능; 및 상기 중간 이미지의 예측된 이미지 품질에 기초하여 상기 복수의 믹싱 정책들로부터 믹싱 정책을 선택함으로써 상기 믹싱 정책을 결정하기 위한 믹싱 정책 기능; 및 상기 결정된 믹싱 정책이 그렇게 요구할 때, 상기 중간 뷰를 위해 상기 좌측 데이터로부터 좌측 중간 이미지를 생성하기 위한 좌측 워핑 기능; 및 상기 결정한 믹싱 정책이 그렇게 요구할 때, 상기 중간 뷰를 위해 상기 우측 데이터로부터 우측 중간 이미지를 생성하기 위한 우측 워핑 기능; 및 상기 결정된 믹싱 정책에 따른 상기 상대적 기여도들을 사용하여, 상기 좌측 중간 이미지 및 상기 우측 중간 이미지를 믹싱함으로써 상기 중간 이미지를 생성하기 위한 믹싱 기능을 실행하기 위해 배열된다. 상기 시스템은 상기 설명된 방법의 프로세스들을 수행하는 기능들을 포함한다.

선택적으로, 상기 중간 이미지는 다중-뷰 디스플레이를 구동할 때 사용된다. 상기 다중-뷰 디스플레이는 다수의 방향들로 다수의 뷰들을 출력하며, 그에 의해 뷰어가, 상기 다중-뷰 디스플레이에 대해 적절히 위치될 때, 그녀의 좌측 눈을 갖고 좌측 이미지를 및 그녀의 우측 눈을 갖고 우측 이미지를 보도록 허용한다.

본 발명의 이들 및 다른 양태들은 이후 설명되는 실시예들로부터 명백하며 그것을 참조하여 설명될 것이다.

본 발명의 효과는 믹싱 정책이 이미지 콘텐트에 의존하여 만들어지기 때문에 중간 이미지 데이터의 이미지 품질이 개선될 수 있다는 것이다.

도 1a는 스테레오 데이터로부터 중간 이미지를 생성하기 위한 방법을 도시한 도면.
도 1b는 오프-라인 방식으로 믹싱 정책을 결정하는 정책 결정 프로세스를 도시한 도면.
도 1c는 이미지 상세의 검출을 사용하는 정책 결정 프로세스를 도시한 도면.
도 2는 다중-뷰 디스플레이의 다수의 뷰들을 도시한 도면.
도 3a는 선형 믹싱 정책을 도시한 도면.
도 3b는 두 개의 비선형 믹싱 정책들을 도시한 도면.
도 4는 스테레오 비디오 프레임들을 포함하는 스테레오 뷰 비디오 시퀀스의 3개의 연속되는 장면들을 도시한 도면.
도 5는 6개의 서브도면들 각각에서, 중심 중간 뷰 주위에 중심이 있는 중간 뷰들의 시리즈들을 포함하는 다중-뷰 디스플레이를 도시한 도면.
도 6은 3개의 구성들에서, 스테레오 데이터로부터 중간 이미지를 생성하기 위한 시스템 및 중간 이미지를 보여주기 위한 디스플레이를 도시한 도면.

상이한 도면들에서 동일한 참조 부호들을 가진 아이템들은 동일한 구조적 특징들 및 동일한 기능들을 갖거나, 동일한 신호들임이 주의되어야 한다. 이러한 아이템의 기능 및/또는 구조가 설명되는 경우에, 상세한 설명에서 그것에 대한 반복된 설명을 할 필요는 없다.

도 1a는 스테레오 데이터(105)로부터 중간 이미지를 생성하기 위한 방법을 도시한다. 방법의 출력은 중간 뷰(B)(155)에 대응하는 중간 이미지(IB)(161)이다. 중간 뷰(B)(155)는 뷰들의 범위에서의 상대적인 위치에서의 뷰를 나타내며, 여기에서 범위는 통상적으로 좌측 뷰 및 우측 뷰를 포함하고 적어도 상기 좌측 뷰 및 상기 우측 뷰 중 하나를 포함한다. 상기 방법의 입력은 좌측 데이터(SL)(103) 및 우측 데이터(SR)(104)를 포함하는 스테레오 데이터이다. 상기 좌측 데이터(SL)는 좌측 이미지(IL)(101) 및 좌측 시차(DL) 데이터(111)를 포함한다. 우측 데이터(SR)는 우측 이미지(IR)(102) 및 우측 시차 데이터(DR)(112)를 포함한다.

당업자들에게 명백할 바와 같이, 깊이는 시차에 반비례하지만, 디스플레이 디바이스들에서 깊이 대 시차의 실제 매핑은 디스플레이에 의해 생성될 수 있는 시차의 총 양, 제로 시차에 특정한 깊이 값을 할당하는 선택, 허용된 교차 시차의 양 등과 같은, 다양한 설계 선택들의 대상이 된다. 그러나, 스테레오 데이터를 제공받으며 및/또는 입력된 스테레오 데이터로부터 도출되는 깊이 데이터는 깊이 종속 방식으로 이미지들을 워핑하기 위해 사용된다. 그러므로, 시차 데이터는 여기에서 질적으로 깊이 데이터로서 해석된다.

워핑 프로세스(WARP)(130)는 3개의 입력들: (i) 좌측 이미지(IL), (ii) 좌측 시차 데이터(DL), 및 (iii) 중간 뷰(B)(155)로부터 좌측 중간 이미지(IBL)(131)를 생성한다. 좌측 워핑 프로세스(WARP)(130)는 좌측 이미지(IL)를 중간 뷰(B)로 '워핑'하기 위해 좌측 시차 데이터(DL)를 사용하여, 좌측 중간 이미지(IBL)를 효과적으로 생성한다. 마찬가지로, 워핑 프로세스(WARP)(140)는 우측 이미지(IR), 우측 시차 데이터(DR), 및 중간 뷰(B)로부터 우측 중간 이미지(IBR)(141)를 생성한다. 이미지-기반 렌더링을 위한 깊이/시차를 사용하는 이러한 워핑 프로세스의 예는 US 5,929,859에 개시된다. 워핑의 보다 복잡한 예가 US 7,689,031에 제공된다.

믹싱 프로세스(MIX)(180)는 좌측 중간 이미지(IBL) 및 우측 중간 이미지(IBR)의 믹싱을 수행한다. 믹싱은 중간 뷰(B) 및 믹싱이 어떻게 중간 뷰(B)에 의존하는지를 설명하는 믹싱 정책(POL)(156)에 의존한다. 믹싱 프로세스(MIX)의 출력은 중간 이미지(IB)(161)이다. 정책 결정 프로세스(POLDET)(170)는 스테레오 이미지에 기초하여, 즉 좌측 이미지(IL) 및 우측 이미지(IR)에 기초하여 믹싱 정책(POL)을 결정한다.

선택적으로, 방법은 좌측 이미지(IL) 및 우측 이미지(IR)로부터 좌측 시차 데이터(DL) 및 우측 시차 데이터(DL)를 계산하는 시차 계산 프로세스를 포함한다. 깊이/시차 추정 알고리즘들의 예들은 3D 비디오 프로세싱의 당업자들에게 알려져 있으며, 이러한 알고리즘들의 예들은 US6,625,304 및 US6,985,604에 제공된다. 선택적으로, 워핑 프로세스들(WARP(130) 및 WARP(140))은 스테레오 뷰 비디오 시퀀스로부터 획득된 사전-계산된 시차 데이터를 사용하여 중간 이미지를 생성하며, 각각의 스테레오 뷰 비디오 프레임은 대응하는 시차 데이터 뿐만 아니라, 스테레오 이미지를 포함한다.

상기 믹싱 프로세스(MIX)는 도 1a에 묘사된 바와 같이 인자 계산 프로세스(ACOMP)(150)의 및 블렌딩 프로세스(BLEND)(160)로 구성된다. 인자 계산 프로세스(ACOMP)(150)는 중간 뷰(B) 및 믹싱 정책(POL)으로부터 믹싱 인자(A)를 계산하며, 여기에서 믹싱 정책(POL)은 믹싱 인자(A)가 어떻게 중간 뷰(B)에 의존하는지를 설명한다. 인자 계산 프로세스(ACOMP)는 믹싱 정책(POL)에 따라 중간 뷰(B)로부터 믹싱 인자(A)를 계산한다. 상기 블렌딩 프로세스(BLEND)는 그 후 믹싱 인자(A)를 사용하여, 중간 이미지들(IBL 및 IBR)을 믹싱함으로써 중간 이미지(IB)를 생성한다. 선택적으로, 블렌딩 프로세스(BLEND)는 보통 '알파 블렌딩'으로서 알려진 기술을 포함하며, 이것은 이하에서 추가로 설명된다.

상기 믹싱 정책(POL)은 중간 이미지들(IBL 및 IBR)의 믹싱이 어떻게 중간 뷰(B)에 의존하는지를 설명한다. 정책 결정 프로세스(POLDET)는 믹싱 프로세스(MIX)가 최적의 이미지 품질을 가진 중간 이미지(IB)를 생성하도록 믹싱 정책(POL)을 결정한다. 프로세싱(POLDET)은 믹싱에 의해 생성된 중간 이미지의 이미지 품질에 대한 믹싱 정책의 영향에 대한 지식을 사용하여, 중간 이미지(IB)의 이미지 품질에 대한 믹싱 정책의 영향을 예측한다. 다시 말해서, 정책 결정 프로세싱(POLDET)은 여러 개의 믹싱 정책들 각각에 대한 및 주어진 스테레오 이미지 콘텐트에 대한 중간 이미지의 이미지 품질을 예측하며, 그 후 믹싱 정책(POL)이 최적의 이미지 품질을 가진 중간 이미지를 생성할 여러 개의 믹싱 정책들로부터 결정한다.

선택적으로, 믹싱 정책 프로세스(POLDET)는 믹싱 정책을 포함하는 메타-데이터로부터 믹싱 정책(POL)을 결정하며, 여기에서 상기 메타-데이터는 스테레오 데이터에 의해 구성된다. 예를 들면, 상기 메타-데이터는 (1) 다양한 믹싱 정책들을 사용하여 도 1의 방법을 사용하여 스테레오 데이터로부터 중간 이미지들을 생성하고, (2) 생성된 중간 이미지들의 이미지 품질을 측정하고, (3) 최적의 이미지 품질을 가진 생성된 중간 이미지를 결정하며, (4) 최적의 이미지 품질을 가진 생성된 중간 이미지에 대응하는 믹싱 정책을 결정하는 알고리즘에 의해 오프-라인으로 생성된다.

도 1b는 오프-라인 방식으로 믹싱 정책을 결정하는 정책 결정 프로세스를 도시한다. 상기 믹싱 정책 결정 프로세스(179)는 입력으로서 스테레오 이미지, 즉 좌측 이미지(IL)(101) 및 우측 이미지(IR)(102)를 수신한다. 제 1 중간 이미지(IB1)(173)는 제 1 믹싱 정책(POL1)(171) 및 스테레오 이미지를 사용하여 생성 방법(GEN)(175)에 의해 생성된다. 마찬가지로, 제 2 중간 이미지(IB2)(174)는 제 2 믹싱 정책(POL2)(172) 및 스테레오 이미지를 사용하여 생성 방법(GEN)(176)에 의해 생성된다. 상기 생성 방법들(GEN)(175, 176)은 각각의 믹싱 정책들(POL1, POL2)을 사용하여, 중간 이미지를 생성하기 위해 도 1a의 방법을 이용한다. 상기 생성 방법들(GEN)(175, 176)은 그것의 이미지 품질을 측정하기 위해 사용될 중간 이미지를 생성하도록 중간 뷰를 선택한다. 판단 프로세스(JDG)(177)에서, 하나 이상의 뷰어들은 중간 이미지들(IB1, IB2)의 이미지 품질을 판단하며, 최적으로서 판단되는 이미지 품질을 가진 중간 이미지들(IB1, IB2) 중 하나를 선택한다. 최적의 이미지 품질을 가진 중간 이미지에 대응하는 믹싱 정책은 그 후 믹싱 정책(POL)(156)으로서 결정된다. 예를 들면, 중간 이미지(IB1)가 제 2 중간 이미지(IB2)에 비교하여 최적의 이미지 품질을 갖는 것으로 판단되면, 믹싱 정책(POL)은 제 2 믹싱 정책(POL2)으로서 결정되며, 따라서 POL=POL2이다.

선택적으로, 판단 프로세스(JDG)는 뷰어들에 의해 수행되지 않으며 대신에 중간 이미지들(IB1, IB2)의 이미지 품질을 수량화하며 판단하는 알고리즘에 의해 자동으로 수행된다.

선택적으로, 도 1b의 정책 결정 프로세스(179)는 정책들(POL1 및 POL2)의 각각에 대한 다수의 중간 이미지들의 이미지 품질에 기초하여 믹싱 정책(156)을 결정한다. 상기 생성 프로세스들(GEN)(175, 176) 각각은 각각의 다수의 뷰들에 대한 다수의 중간 이미지들(IB1 및 IB2)을 생성한다. 상기 판단 프로세스(JDG)는 그 후 다수의 중간 이미지들(IB1)의 평균 이미지 품질을 판단하며 다수의 중간 이미지들(IB1)의 평균 이미지 품질을 판단하고, 최적으로서 판단되는 평균 이미지 품질을 가진 다수의 중간 이미지들을 선택한다. 최적의 평균 이미지 품질을 가진 중간 이미지에 대응하는 믹싱 정책은 그 후 믹싱 정책(POL)(156)으로서 결정된다.

대안적으로, 정책 결정 프로세스(POLDET)는 스테레오 이미지에서 이미지 상세의 존재의 검출을 포함하며, 믹싱 정책의 결정에서 검출된 존재를 사용한다. 몇몇 믹싱 정책들을 사용할 때, 생성된 중간 이미지에서의 이미지 상세들의 이미지 품질은 다른 믹싱 정책들을 사용할 때보다 높다. 시차 데이터(DL, DR)에서의 부정확성들은 각각의 중간 이미지들(IBL, IBLR)에서 부정확하게 생성된 이미지 상세들로 이어진다. 그러므로 중간 이미지들(IBL, IBR)로부터의 부정확하게 생성된 이미지 상세들의 믹싱은 믹싱에 기인한 중간 이미지(IB)에서의 아티팩트들로 이어진다. 상기 아티팩트들은 상세 블러, 즉 상세 선명도의 손실, 및/또는 고스팅, 즉 이미지 상세들의 이중 출현을 포함한다. 이들 아티팩트들은 믹싱이 대개 중간 이미지들 중 하나를 사용하여 믹싱을 정의하는 믹싱 정책에 따라 수행될 때, 더 적게 나타난다. 그러나, 대개 중간 이미지들 중 하나를 사용하는 것은 결과적으로 폐색 아티팩트들을 이끈다. 그러므로, 대개 중간 이미지들 중 하나를 사용한 믹싱을 정의하는 믹싱 정책은 단지 스테레오 이미지가 충분한 이미지 상세를 포함한다면 결정되며, 따라서 폐색 아티팩트들은 상세 블러 아티팩트들보다 덜 이미지 품질에 영향을 준다.

도 1c는 이미지 상세의 검출을 사용하는 정책 결정 프로세스를 도시한다. 상기 정책 결정 프로세스(189)는 믹싱 정책(POL)(156)이 어떻게 스테레오 데이터에서 이미지 상세의 검출된 존재에 기초하여 결정되는지를 도시한다. 상기 믹싱 정책 결정 프로세스(189)는 입력으로서 스테레오 이미지, 즉 좌측 이미지(IL)(101) 및 우측 이미지(IR)(102)를 수신한다. 프로세스(DTLDET)(181)는 스테레오 이미지에서 이미지 상세(DTL)(184)를 검출하는 상세 검출 알고리즘을 포함한다. 품질 예측 프로세스(QPRED)(182)는 검출된 이미지 상세(DTL) 및 제 1 믹싱 정책(POL1)(171)을 수신하며, 제 1 믹싱 정책(POL1)을 사용하여 생성될 중간 이미지의 예측된 이미지 품질(Q1)(185)을 결정한다. 품질 예측 프로세스(QPRED)(183)는 검출된 이미지 상세(DTL) 및 제 2 믹싱 정책(POL2)(172)을 수신하며, 제 2 믹싱 정책(POL2)을 사용하여 생성될 중간 이미지의 예측된 이미지 품질(Q2)(186)을 결정한다. 품질 예측 프로세스들(QPRED)(182, 183)은 믹싱 정책들(POL1, POL2)을 사용하여 생성된 중간 이미지들의 이미지 품질에 대한 믹싱 정책들(POL1, POL2)의 영향에 대한 통계 지식을 사용하여 이미지 품질을 예측한다. 프로세스(SEL)(187)는 예측된 이미지 품질들(Q1, Q2) 중 하나를 최적인 것으로 결정하며, 최적의 예측된 이미지 품질에 대응하는 믹싱 정책을 믹싱 정책(POL)(156)으로서 결정한다. 예를 들면, 예측된 이미지 품질(Q2)이 예측된 이미지 품질(Q1)에 비교하여 최적이라면, 믹싱 정책(POL)은 제 2 믹싱 정책(POL2)으로서 결정되며, 따라서 POL=POL2이다. 예측된 이미지 품질들(Q1 및 Q2)은 각각 단일 값에 의해 표현될 수 있는 반면, 두 개의 예측된 이미지 품질들(Q1, Q2) 중 가장 높은 것이 최적인 것으로 결정된다.

선택적으로, 상세 검출 알고리즘은 스테레오 이미지의 좌측 이미지 및 우측 이미지 중 단지 하나만을 사용한다.

선택적으로, 예측된 이미지 품질의 결정은 폐색 아티팩트들에 기초한다. 예를 들면, 상세 검출 알고리즘을 사용하는 것과 유사한 방식으로, 프로세스 결정 프로세스는 시차 데이터(DL, DR) 중 적어도 하나를 수신하며 시차에서의 큰 전이들을 검출하는 시차 전이 검출 알고리즘을 사용한다. 다양한 믹싱 정책들을 갖고 생성된 중간 이미지들의 이미지 품질에 대한 시차 전이들의 영향에 대한 통계 지식을 사용하여, 정책 결정 프로세스는 믹싱 정책을 결정한다. 이 예는 정책 결정 프로세스가 시차 데이터(DL, DR) 중 적어도 하나를 수신함을 내포한다는 것을 주의하자.

선택적으로, 도 1b 및 도 1c의 결정 믹싱 프로세스들(179, 189)은 복수의 믹싱 정책들로부터 믹싱 정책을 결정하며, 여기에서 상기 복수의 믹싱 정책들은 두 개의 믹싱 정책들(POL1, POL2)보다 많은 믹싱 정책들을 포함한다. 예를 들면, 상기 복수는 3개의 부가적인 믹싱 정책들(POL3, POL4 및 POL5)을 포함한다.

이어지는 것에서, 중간 이미지의 생성에 대한 믹싱 정책의, 이미지 품질에 대한, 영향이 도 2를 사용하여 설명된다.

도 2는 다중-뷰 디스플레이의 다수의 뷰들을 도시한다. 상기 다수의 뷰들은 수직 스트라이프들로서 표시되어, 뷰들의 수평으로 인접한 시리즈들을 형성한다. 각각의 뷰에 대해, 다중-뷰 디스플레이는 대응하는 중간 이미지(IB)를 도시한다. 여러 개의 뷰들은 숫자들(201, 202, 및 210 내지 213)에 의해 표시된다. 모든 뷰들은 뷰 범위(230)에 있다. 스테레오 이미지들의 원래 뷰들은 좌측 뷰(L)(201) 및 우측 뷰(R)(202)로서 표시된다. 상기 뷰 범위(230)는 3개의 부분들: (i) 중심 뷰 범위(220), (ii) 좌측 측방향 뷰 범위(221), 및 (iii) 우측 측방향 뷰 범위(222)로 분할된다. 뷰(210)는 좌측 뷰(L)와 우측 뷰(R) 사이에서 중간에 놓인 중심 스테레오 뷰이다. 반대로, 뷰들(211 및 212)은 각각 측방향 뷰 범위들(221 및 222)에 있다.

도 2에 도시된 바와 같은 뷰 구성은 렌티큘러-기반 또는 배리어-기반 무안경식 입체 디스플레이의 사용에 기인할 수 있는 바와 같은 예시적인 뷰 구성을 나타낸다. 이러한 렌티큘러-기반 다중-뷰 디스플레이의 예는 US6,064,424에 개시된다.

도 2의 설명에서 이어지는 것에서, (a) 중심 뷰 범위(230)에서의 뷰들에 대해 양쪽 중간 이미지들(IBL, IBR) 모두를 사용한 믹싱을 정의하고, (b) 좌측 측방향 뷰 범위(211)에서의 뷰들에 대해 좌측 중간 이미지(IBL) 만을 사용한 믹싱을 정의하며, (c) 우측 측방향 뷰 범위(212)에서의 뷰들에 대해 우측 중간 이미지(IBR)만을 사용한 믹싱을 정의하는 통상적인 믹싱 정책이 사용된다. 믹싱은 좌측 중간 이미지(IBL)의 상대적 기여도 및 우측 중간 이미지(IBR)의 상대적 기여도를 부가하는 것을 포함한다.

중심 뷰 범위(230)에서의 뷰들에 대해, 중간 이미지들(IBL, IBR)의 양쪽 모두는 중간 이미지(IB)로 믹싱되며, 여기에서 믹싱에 대한 좌측 중간 이미지(IBL)의 상대적 기여도는 뷰(L)에 가까운 뷰에 대해 크며 뷰(L)로부터 멀리 있는 뷰에 대해 낮고, 여기에서 결과적으로, 믹싱에 대한 우측 중간 이미지(IBR)의 상대적 기여도는 뷰(R)에 가까운 뷰에 대해 크며 뷰(R)로부터 멀리 있는 뷰에 대해 낮다.

좌측 뷰(L)를 포함하는 좌측 측방향 뷰 범위(221)에서, 좌측 중간 이미지(IBL)의 상대적 기여도는 100%이며 우측 중간 이미지(IBR)의 상대적 기여도는 0%이고, 따라서 믹싱 프로세스는 간단히 중간 좌측 이미지(IBL)를 그것의 출력(IB)으로 복사하며, 따라서 IB=IBL이다. 이것은 좌측 측방향 뷰들에서의 중간 이미지들이 단지 워핑 프로세스(WARP)(130)에 의해서만 생성되며, 따라서 좌측 원래 이미지(IL)로부터 효과적으로 추정된다는 것을 내포한다. 좌측 뷰(L)의 특정 경우에서, 워핑 프로세스(WARP)(130)는 간단히 입력(IL)을 그것의 출력(IBL)으로 복사하며, 따라서 IBL=IL 및 그에 따라 IB=IBL=IL이고, 이것은 원래 좌측 이미지(IL)가 뷰(L)에 도시된다는 것을 내포한다.

우측 뷰(R)를 포함하는 우측 측방향 뷰 범위(222)에서, 우측 중간 이미지(IBR)의 상대적 기여도는 100%이며 좌측 중간 이미지(IBL)의 상대적 기여도는 0%이고, 따라서 믹싱 프로세스는 간단히 중간 우측 이미지(IBR)를 그것의 출력(IB)으로 복사하며, 따라서 IB=IBR이다. 이것은 우측 측방향 뷰들에서의 중간 이미지들이 단지 워핑 프로세스(WARP)(140)에 의해서만 생성되며, 따라서 우측 원래 이미지(IR)로부터 효과적으로 추정된다는 것을 내포한다. 우측 뷰(R)의 특정 경우에서, 워핑 프로세스(WARPs)(140)는 간단히 입력(IR)을 그것의 출력(IBR)으로 복사하며, 따라서 IBR=IR 및 그에 따라 IB=IBR=IR이고, 이것은 원래 우측 이미지(IR)가 뷰(R)에서 도시됨을 내포한다.

도 2는 뷰(210)에서 중간 이미지를 보는 좌측 눈(231)을 가지며, 뷰(213)에서 중간 이미지를 보는 우측 눈(232)을 가진 뷰어(230)를 개략적으로 도시한다. 뷰들(210 및 213)은 중심 뷰 범위(220)에, 따라서 원래 뷰들(L 및 R) 사이에 위치되며, 따라서 뷰어의 눈들(231 및 232)의 각각은 중간 이미지들(IBL 및 IBR)의 믹싱에 의해 생성된 중간 이미지를 본다. 중심 뷰 범위(220)에서의 뷰들에 대해, 믹싱은 중간 이미지들의 이미지 품질에 대하여 이득 및 결점을 가진다. 이득은 폐색 아티팩트들이 특히 중간 이미지들에 존재하지 않는다는 것이지만, 결점은 중간 이미지들에서의 이미지 상세들이 블러링 및 고스팅을 겪는다는 것이다. 이득은 중간 이미지들(IBL 및 IBR) 사이에서 효과적으로 보간하는 믹싱에 기인하며, 결과적으로 (보간된) 중간 이미지들은 현저한 폐색 아티팩트들을 포함하지 않는다. 결점은 시차 데이터(DL 및 DR)에서의 부정확성들에 기인하며, 다음과 같이 설명된다. 좌측 시차 데이터(DL)에서의 단일 데이터 값은 (1) 원래 좌측 이미지(IL)에서의 이미지 상세의 픽셀 위치와, (2) 원래 이미지(IR)에서의 동일한 이미지 상세의 대응하는 픽셀 위치 사이에서의 픽셀 거리를 포함한다. 좌측 시차 데이터(DL)는 원래 좌측 이미지(IL)로부터, 중간 뷰(B)에서, 좌측 중간 이미지(IBL)를 생성하기 위해 워핑 프로세스(WARP)(130)에 의해 사용된다. 우측 시차 데이터(DR)는 원래 우측 이미지(IR)로부터, 뷰(B)에서, 우측 중간 이미지(IBR)를 생성하기 위해 워핑 프로세스(WARP)(140)에 의해 사용된다. 그러므로, 시차 데이터(DL, DR)에서의 부정확성들은 이미지 상세들이 중간 이미지들(IBL, IBR)의 부정확한 픽셀 위치들에서 생성되게 하며, 결과적으로 중간 이미지들(IBL, IBR)의 이미지 상세들의 믹싱은 통상적으로 블러링 또는 고스팅 아티팩트들을 겪는 이미지 상세들을 포함하는 중간 이미지(IB)의 생성을 야기한다.

도 2는 뷰(211)에서 중간 이미지를 보는 좌측 눈(241), 및 뷰(201)에서 중간 이미지를 보는 우측 눈(242)을 가진 뷰어(240)를 개략적으로 도시한다. 우측 눈(242)은 따라서 원래 좌측 이미지를 보며, 이것은 정의에 의해 최적의 이미지 품질을 가진다. 반대로, 좌측 눈(241)은 원래 좌측 이미지(IL)로부터 좌측 측방향 중간 뷰(211)에서 생성된 중간 이미지를 보며, 원래 좌측 이미지로부터 효과적으로 추정된다. 뷰(211)에서 중간 이미지는 이미지 품질에 대하여 이득 및 결점을 가진다. 이득은 이미시 상세들이 이미지 상세들의 블러링 또는 고스팅을 겪지 않는다는 것이다. 결점은 단지 좌측 이미지로부터의 추정으로 인한, 폐색 아티팩트들의 출현이다. 동일한 이득 및 결점이 뷰(212)와 같은, 우측 측방향 뷰에 대해 지속된다.

본 발명의 일 실시예에서, 중간 이미지의 생성에서 사용된 믹싱 정책은 원래 스테레오 데이터의 콘텐트에 적응시킨다. 많은 상세를 포함하는 스테레오 이미지들에 대해, 정책 결정 프로세스(POLDET)는 중간 이미지들(IBL, IBR)의 양쪽 모두를 사용하기보다는, 중간 이미지들(IBL, IBR) 중 단지 하나만을 사용하여 믹싱을 정의하는 믹싱 정책을 결정한다. 실시예의 제 1 예로서, 믹싱 정책은, 뷰 범위(230)에서의 모든 중간 뷰들에 대해, 간단히 좌측 중간 이미지(IBL)를 중간 이미지(IB)로 복사하는 믹싱을 정의한다. 실시예의 제 2 예로서, 믹싱 정책은 뷰 범위(230)에서의 모든 중간 뷰들에 대해, 간단히 상기 우측 중간 이미지(IBR)를 중간 이미지(IB)로 복사하는 믹싱을 정의한다. 실시예의 제 3 예로서, 믹싱 정책은 (a) 중심 스테레오 뷰(210)의 좌측에서의 뷰들에 대해 좌측 중간 이미지(IBL)로부터 및 (b) 중심 스테레오 뷰(210)의 우측에서의 뷰들에 대해 우측 중간 이미지(IBR)로부터 중간 이미지(IB)를 복사하는 믹싱을 정의한다. 원래 스테레오 이미지가 이미지 상세의 블러링이 특히 가시적이지 않도록 적은 이미지 상세를 포함하는 경우에, 중간 이미지들(IBL, IBR)의 양쪽 모두를 사용하는 믹싱을 정의하는 믹싱 정책이 결정된다.

이어지는 것에서, 믹싱 프로세스(MIX)(180)는 블렌딩 프로세스(BLEND) 및 인자 계산 프로세스(ACOMP)를 포함한다. 도 3a 및 도 3b는 두 개의 중간 이미지 데이터(IBL 및 IBR)의 믹싱을 위해 믹싱 인자들을 정의하는 믹싱 정책들을 도시한다.

도 3a는 선형 믹싱 정책을 도시한다. 조합된 두 개의 곡선들(AL(301) 및 AR(302))은 단일 믹싱 정책을 나타낸다. 곡선들(AL(301) 및 AL(302))은 믹싱 인자(A)(304)가 어떻게 중간 뷰(B)(303)에 의존하는지를 설명한다. 곡선(AL)(301)은 좌측 중간 이미지(IBL)에 대응하는 믹싱 인자를 설명하며, 곡선(AR)(302)은 우측 중간 이미지(IBR)에 대응하는 믹싱 인자를 설명한다. 곡선들(AL 및 AR)의 믹싱 인자들은 상보적이며 총 1까지 부가한다, 즉 AL+AR=1. 믹싱 인자들(AL 및 AR)은 선형적으로 중간 뷰(B)에 의존한다. 값(B=0)에서 틱 마크(311)는 원래 좌측 뷰(L)에 대응하고, 값(B=1)에서 틱 마크(312)는 원래 우측 뷰(R)에 대응하며, 값(B=0.5)에서 틱 마크(313)는 중심 스테레오 뷰, 예로서, 도 2에서의 뷰(210)에 대응한다는 것을 주의하자. 블렌딩 프로세스(BLEND)에서의 믹싱의 예는 알파 블렌딩에 따른 믹싱이며, 이것은 다음과 같이 수행된다:

IB = AL*IBL + AR*IBR, 여기에서 AL+AR = 1.

도 3a 및 도 3b에서, 원래 뷰(L)에서의 중간 이미지(IB)는 B=0에서 원래 좌측 이미지(IL)와 같으며, 따라서 IB=IBL=IL. 원래 뷰(R)에서의 중간 이미지(IB)는 B=1에서 원래 우측 이미지(IR)와 같으며, 따라서 IB=IBR=IR. 중심 뷰에서, 따라서 B=0.5에서 중간 이미지(IB)는 중간 이미지(IBR 및 IBL)의 평균과 같으며, 따라서 IB=0.5*IBL+0.5*IBR.

믹싱 인자(AL)는 믹싱에서 좌측 중간 이미지(IBL)의 상대적 기여도를 나타내며, 믹싱 인자(AR)는 믹싱에서 우측 중간 이미지(IBR)의 상대적 기여도를 나타낸다는 것을 주의하자. 이러한 콘텍스트에서 믹싱 인자는 흔히 또한 '블렌드 인자'로서 불리운다.

측방향 뷰 범위들에 대한, 따라서 B<0에 대한 및 B>1에 대한 믹싱 정책들은 도 3a에 표시되지 않는다는 것을 주의하자. 그러므로, 그것은 여기에서 좌측 측방향 뷰 범위에서의 뷰들에 대해, 따라서 B<0에 대해 AL=1이며, 우측 측방향 뷰 범위에서의 뷰들에 대해, 따라서 B>1에 대해 AL=0임이 내포된다. 결과적으로, 좌측 측방향 뷰 범위에서의 뷰들에 대해 AR=0이며, 우측 측방향 뷰 범위에서의 뷰들에 대해 AR=1이다.

도 3b는 두 개의 비선형 믹싱 정책들을 도시한다. 곡선들(351 및 352)은, 곡선들(351 및 352)이 중간 뷰(B)에 비선형 방식으로 의존한다는 차이를 갖고, 도 3a의 각각의 곡선들(AL(301) 및 AL(302))과 유사하다. 곡선들(351 및 352)은 도 3a의 선형 곡선들에 대한 대안을 제공한다. 곡선들(351, 352)을 사용한 비선형 믹싱 정책의 효과는, 선형 곡선(301)을 사용한 것과 비교하여 비선형 곡선(351)을 사용할 때, 좌측 중간 이미지(IBL)에 의한 믹싱에서의 상대적 기여도가 중심 스테레오 뷰의 좌측에서의 뷰들에 대해 더 크다는 것이다. 마찬가지로, 우측 중간 이미지(IBR)에 의한 믹싱에서의 상대적 기여도는, 선형 곡선(302)을 사용하는 것과 비교하여 비선형 곡선(352)을 사용할 때, 중심 뷰의 우측에서의 뷰들에 대해 더 크다.

도 3b는 비대칭 비선형 믹싱 정책을 또한 도시한다. 비선형 비대칭 곡선들(361, 362)은 비선형성의 의미에서 각각의 곡선들(351, 352)과 유사하지만, 비대칭의 의미에서 상이하다. 곡선(362)이 곡선(361)보다 평균적으로 더 크기 때문에, 곡선들(361, 362)은 믹싱 인자가 평균적으로 우측 중간 이미지(IBR)에 대해 더 높다는 것을 보여준다. 결과적으로, 중심 스테레오 뷰에서, 즉 B=0.5에서, 중간 이미지(IB)(곡선(362))에 대한 우측 중간 이미지(IBR)의 상대적 기여도는 중간 이미지(IBL)(곡선(361))에 대한 좌측 중간 이미지(IBL)의 상대적 기여도보다 크다. 다시 말해서, 믹싱에서 우측 중간 이미지(IBR)의 상대적 기여도는 믹싱에서 좌측 중간 이미지(IBL)의 상대적 기여도에 비해 우세하다.

도 3b의 곡선들에서 좌측-우측 비대칭은 비대칭 파라미터(ParA)에 의해 제어되며, 따라서 곡선들에서의 비대칭은 비대칭 파라미터(ParA)를 변경하는 것에 의해 증가되거나 또는 감소될 수 있다.

곡선들(361 및 362)의 비대칭을 더 증가시킴으로써, 곡선들(361 및 362)의 교차는 좌측을 향해, 따라서 B=0을 향해 훨씬 더 시프트할 것이며, 그러므로 곡선(362)은 평균적으로 훨씬 더 A=1을 향하려는 경향이 있을 것이다. 결과적으로, 증가하는 수의 뷰들에 대해, 중간 이미지(IB)는 믹싱에서 우측 중간 이미지(IBR)의 큰 상대적 기여도를 사용하여 생성될 것이며, 따라서 중간 이미지(IB)는 우측 중간 이미지(IBR)와 점점 더 비슷하며 좌측 중간 이미지(IBL)와 점점 덜 비슷하다. 비대칭 파라미터(ParA)를 그것의 최대 양의 값(ParA=+1)으로 증가시킴으로써, 우측 중간 이미지(IBR)의 상기 상대적 기여도는 모든 중간 뷰들(B)에 대해 1이 된다. 다시 말해서, 각각의 중간 이미지(IB)는 우측 중간 이미지(IBR)의 사본이 되며, 따라서 중간 이미지(IB)는 단지 우측 이미지(IR), 우측 시차 데이터(DR) 및 중간 뷰(B)만을 사용하여 생성된다. 후자의 경우에 또한 보통 '이미지 플러스 깊이로부터의 렌더링'으로서 알려져 있다.

마찬가지로, 비대칭 파라미터(ParA)는 다른 방향으로 비대칭을 시프트하기 위해 사용될 수 있어서, 우측을 향해, 즉 그에 따라 B=1.0을 향해 교차를 이동시킨다. 상기 교차를 우측으로 점점 더 시프트하는, 이전 예와 유사하게, 중간 이미지(IB)에 대한 좌측 중간 이미지(IBL)의 상대적 기여도는 추가로 증가한다. 비대칭 파라미터(ParA)를 그것의 최대 음의 값(ParA=-1)으로 증가시킴으로써, 좌측 중간 이미지(IBL)의 상기 상대적 기여도는 B=0과 B=1 사이에서의 모든 중간 뷰들(B)에 대해 1이 된다. 다시 말해서, 중간 이미지(IB)는 좌측 중간 이미지(IBL)의 사본이 되며, 따라서, 중간 이미지(IB)는 단지 좌측 이미지(IL), 좌측 시차 데이터(DL) 및 중간 뷰(B)만을 사용하여 생성된다.

0에 더 가까운 값을 가정한 비대칭 파라미터(ParA)에 대해, 도 3b에서의 곡선들은 덜 비대칭이 되며, 이것은 믹싱 정책에 대응하고, 여기에서 중간 이미지들(IBL, IBR)의 상기 상대적 기여도들은 더 동일하게 된다. ParA=0인, 비대칭 파라미터의 하나의 특정 값에 대해, 곡선들은 곡선들(351, 352)에 의해 예시된 바와 같이, 비대칭 비선형 믹싱 정책을 설명한다.

비대칭 파라미터는 따라서 사실상 믹싱 정책을 점진적으로 스위칭하며 그에 의해 (a) 좌측 데이터 및 우측 데이터 양쪽 모두로부터 중간 이미지를 생성하는 것과, (b) 좌측 데이터 및 우측 데이터 중 단지 하나로부터 중간 이미지를 생성하는 것 사이에서 점진적으로 스위칭하기 위해 사용될 수 있는, '소프트 스위치'이다. 믹싱 정책의 상기 점진적 스위칭은 이 문서에서 아래에 추가로 상세히 설명될 것이다.

선택적으로, 중간 이미지는 스테레오 뷰 정지 이미지에 의해 구성된 스테레오 데이터로부터 생성된다. 선택적으로, 중간 이미지는 스테레오 뷰 비디오 시퀀스의 스테레오 뷰 프레임에 의해 구성된 스테레오 데이터로부터 생성된다.

선택적으로, 두 개의 중간 이미지들은 새로운 스테레오 이미지의 새로운 좌측 이미지 및 새로운 우측 이미지를 형성하기 위해 생성되며, 상기 새로운 좌측 이미지는 새로운 좌측 뷰에 대응하며, 새로운 우측 이미지는 새로운 우측 뷰에 대응하고, 여기에서 상기 새로운 좌측 뷰 및 상기 새로운 우측 뷰는 각각 원래 좌측 뷰 및 우측 뷰와 상이하다. 두 개의 중간 이미지들의 이러한 생성은 또한 보통 스테레오-대-스테레오 변환으로서 불리우며, 스테레오 데이터의 깊이 범위를 감소시키거나 또는 증폭시키기 위해 이용될 수 있다. 상기 새로운 스테레오 이미지는 스테레오 뷰 안경들을 사용하여 뷰어에 의해 전용 스테레오 뷰 디스플레이 상에서 보여질 수 있다.

선택적으로, 뷰들의 수평 시리즈에 대응하는 중간 이미지들의 시리즈들은 중간 이미지들의 시리즈들에서 이미지들을 동시에 디스플레이할 수 있는 다중뷰 무안경식 입체 디스플레이 상에서 보기 위해 생성된다. 상기 시리즈들은 통상적으로 두 개 이상의 뷰들을 포함한다. 예를 들면, 다중뷰 무안경식 입체 디스플레이는 9개의 뷰들을 포함한다.

선택적으로, 중간 이미지들의 시리즈들은 스테레오 뷰 비디오 시퀀스의 각각의 프레임으로부터 뷰들 각각의 시리즈들을 위해 생성된다. 상기 뷰들의 시리즈들은 연속적인 중간 뷰들을 포함한다. 상기 중간 이미지들의 시리즈들은 예를 들면, 다중뷰 무안경식 입체 디스플레이 상에서 보여진다.

선택적으로, 스테레오 뷰 비디오 시퀀스는 다양한 장면들을 포함하며, 단일 믹싱 정책은 장면 내에서 사용된다. 장면은 다수의 연속된 스테레오 뷰 비디오 프레임들을 포함하며, 이 경우에, 동일한 믹싱 정책이 각각의 스테레오 뷰 비디오 프레임으로부터 중간 이미지를 생성하기 위해 장면 내에서 사용된다. 상기 장면 내에서 사용된 믹싱 정책은 후속 장면 내에서 사용된 믹싱 정책과 상이할 수 있다. 장면 변화 검출기를 사용함으로써, 다음 장면의 시작이 검출되며 다음 믹싱 정책이 새로운 장면의 제 1 프레임에서 결정된다. 다음 장면 내에서, 새로운 믹싱 정책이 사용된다. 장면 변화 검출기를 사용하기보다는, 장면 변화는 장면 변화 표시기들을 포함하는 메타-데이터에 의해 표시될 수 있으며, 여기에서 상기 메타-데이터는 스테레오 뷰 비디오 시퀀스에 의해 포함된다.

최신 장면 검출, 또는 샷 전이 검출 방법들, 뿐만 아니라 그것들의 작업들의 분석에 대한 개요가: 여기에 참조로서 통합된, 2010년, 컴퓨터 비전 및 이미지 이해 114(2010) 411 내지 418, Alan F. Smeaton의 "비디오 샷 경계 검출: TRECVid 활동의 7년들"에서 이용 가능하다. 도 4는 스테레오 비디오 프레임들을 포함하는 스테레오 뷰 비디오 시퀀스(400)의 3개의 연속된 장면들(410, 420, 및 430)을 도시한다. 스테레오 비디오 시퀀스는 좌측 이미지 및 우측 이미지를 포함하는 스테레오 비디오 프레임들로 구성된다. 도 4에서의 수평 축은 시간 축을 나타낸다. 섹션들(410, 420 및 430) 각각은 각각 (시간) 인스턴스(401, 402, 및 403)에서 시작하는, 스테레오 뷰 비디오 시퀀스의 섹션을 보여주는 반면, 섹션(430)은 인스턴스(404)에서 종료된다. 섹션들(410, 420 및 430)은 장면들을 나타내며, 인스턴스들(402 및 403)은 장면 변화들을 나타낸다. 본 콘텍스트에서 사용된 바와 같이 용어('장면')는 흔히 용어('샷')로 불리우는 바와 동일한 문제를 나타낸다.

단일 믹싱 정책이 장면 내에서 사용되는, 상기 설명된 실시예는 다음의 예에서 추가로 설명된다. 섹션(410)은 많은 상세를 포함하는 프레임들을 포함하며, 그러므로 단지 좌측 중간 이미지(IBL)만을 사용하여 믹싱을 정의하는 믹싱 정책이 결정된다. 섹션(420)은 적은 상세를 포함하며 그러므로 도 3a의 곡선들에 의해 설명된 믹싱 정책과 같은, 좌측 중간 이미지(IBL) 및 우측 중간 이미지(IBR) 양쪽 모두를 사용하여 믹싱을 정의하는 믹싱 정책이 결정된다. 섹션(410)과 같이, 섹션(430)은 많은 상세를 포함하는 프레임들을 포함하며, 그러므로 단지 우측 중간 이미지(IBR)만을 사용하여 믹싱을 정의하는 믹싱 정책이 결정된다. 장면 변화들은 인스턴스들(402 및 403)에서 검출되며 결과적으로 새로운 믹싱 정책이 결정되며 중간 이미지(IB)의 생성시 사용된다.

부가적인 예로서, 이전 예에 부가하여, 중간 뷰들 각각의 시리즈들에 대응하는, 중간 이미지들의 시리즈들은 각각의 스테레오 비디오 프레임으로부터 생성되며, 상기 중간 이미지의 시리즈들은 다중-뷰 무안경식 입체 디스플레이 상에서 보여진다.

선택적으로, 믹싱 정책의 결정은 스테레오 뷰 비디오 시퀀스의 장면 내에서 점진적으로 변화한다. 이것은 도 3b의 설명에서 상기 설명된 바와 같이, 비대칭 파라미터를 사용하는 믹싱을 갖고 달성된다. 다음의 예를 고려하자. 장면의 초기 프레임으로부터의 생성에 대해, 단지 좌측 중간 이미지(IBL)만을 사용하는 믹싱을 정의하는 제 1 믹싱 정책이 결정되며(ParA=-1을 사용하여), 따라서 사실상 단지 (원래) 좌측 데이터로부터 중간 이미지(IB)를 생성한다. 장면의 마지막 프레임으로부터의 생성에 대해, 두 개의 중간 이미지들(IBL, IBR)의 양쪽 모두를 사용하는 믹싱을 정의한, 제 2 믹싱 정책이 결정되며(ParA=0을 사용하여), 따라서 사실상 좌측 데이터 및 우측 데이터 양쪽 모두로부터 중간 이미지(IB)를 생성한다. 그러나, 중간 이미지(IB)에서의 급격한 전이들을 방지하기 위해, 믹싱 정책은 초기 프레임과 마지막 프레임 사이에서의 프레임들에 대해 제 1 믹싱 정책에서 제 2 믹싱 정책으로 점진적으로 변경된다. 두 개의 프레임들 사이에서 비대칭 파라미터를 점진적으로 변경함으로써, 점진적 변화들이 믹싱 정책에서 수립되며, 결과적으로 중간 이미지가 또한 점진적으로 변화한다. 초기 프레임과 나중 프레임 사이에서의 프레임들에 대해, 비대칭 파라미터가 그에 따라 초기 프레임에 대한 ParA=-1에서 늦은 프레임에 대해 ParA=0으로 점진적으로 변화한다.

도 5는 6개의 서브도면들 각각에서, 중심 중간 뷰(CI)(504)에 중심이 있는 중간 뷰들의 시리즈들을 포함하는 다중뷰 디스플레이를 도시한다. 서브도면들(510 내지 550)의 각각은 디스플레이 뷰들의 시리즈들을 포함하는 다중뷰 디스플레이를 도시한다. 각각의 디스플레이 뷰에서, 디스플레이는 중간 뷰에 대응하는 중간 이미지를 도시하며, 그러므로 디스플레이 뷰들의 시리즈들은 사실상 중간 뷰들의 시리즈들을 도시한다. 중간 뷰들의 시리즈들 내에서의 중간 뷰의 상대적 위치는 모든 서브도면들에서 동일한 채로 있으며, 따라서 중간 뷰들은 상기 시리즈들에서 그것들의 상대적 순서 및 그것들의 두 개의 이웃하는 중간 뷰들에 대한 그것들의 거리를 유지한다. 원래 스테레오 뷰들(L(501) 및 R(502))은 좌측 뷰 및 우측 뷰가 중간 뷰들의 시리즈들 내에 존재하는 곳을 표시한다. 중심 스테레오 뷰(CS)(503)는 뷰(L) 및 뷰(R)의 중간에 있는 중간 뷰를 표시한다. 중심 중간 뷰(CI)(또한 대시 기호로 된 수직 선)는 의미상 중간 뷰들의 시리즈들의 중심에 존재하지만, 중심 중간 뷰(CI)는 원래 뷰들(L 및 R) 사이에서 또는 그 가까이에서 임의의 중간 뷰에 대응할 수 있다. 어떤 중간 뷰에 중심 중간 뷰(CI)가 대응하는지 뷰들(L, R 및 C)로부터 추론된다. 서브도면들(510 내지 550)의 각각은 상이한 중심 중간 뷰(CI)(동일한 중심 중간 뷰(CI)에 대응하는, 서브도면들(550 및 560)을 제외하고)에 대응한다.

예를 들면, 서브도면(510)에서, 중심 중간 뷰(CI)는 중심 스테레오 뷰(CS)에 대응한다. 반대로, 서브도면(550)에서, 중심 시리즈 뷰(CI)는 원래 좌측 뷰(L)에 대응한다. 각각의 서브도면에서 다음 서브도면으로, 예로서, 510에서 520으로, 중심 중간 뷰는 하나의 뷰만큼 시프트한다. 그러므로, 서브도면들(510 내지 550)의 시퀀스는 후속 서브도면들 사이에서 하나의 뷰 만큼 시프트하는, 중심 중간 뷰(CI)의, 즉 서브도면(510)에서의 중심 스테레오 뷰에서 서브도면(550)에서의 원래 좌측 뷰로의, 점진적 시프트를 도시한다. 서브도면(550)과 서브도면(560) 사이에서, 중심 중간 뷰(CI)는 그러나 시프트되지 않으며, 이것은 이하의 예에서 사용될 것이다.

선택적으로, 도 1의 방법은 스테레오 데이터로부터 중간 이미지들의 시리즈들을 생성하기 위해 사용되며, 중심 중간 뷰(CI)는 중간 이미지들이 스테레오 데이터의 주어진 콘텐트에 대해 최적의 이미지 품질을 갖도록 결정된다. 스테레오 데이터가 스테레오 비디오 시퀀스에 의해 구성되며, 믹싱 정책이 모든 프레임들에 대해 동일한 믹싱을 정의하는, 다음의 예를 고려하자. 상기 믹싱 정책은 도 3a에 의해 설명된 믹싱 정책과 같은, 중간 이미지들(IBL 및 IBR) 양쪽 모두를 사용하는 믹싱을 결정한다. 이 예의 콘텍스트에서, 서브도면들(510 내지 560)은 스테레오 뷰 비디오 시퀀스의 후속 프레임들에 대응한다. 서브도면(510)은 다중뷰 디스플레이가 이 예에서 프레임(1)으로서 불리우는, 스테레오 비디오 프레임으로부터 생성된 중간 이미지들의 시리즈들을 도시하는 상황에 대응한다. 마찬가지로, 서브도면들(520 내지 560)은 각각의 프레임들(2 내지 6)에 대응한다. 정책 검출 프로세스는 이미지 상세의 존재를 검출하기 위해 상세 검출기를 사용하며 상기 검출된 존재에 기초하여 중심 중간 뷰(CI)를 선택한다. 프레임(1)에 대해, 시스템은, 상세 검출기를 사용하여, 상세 아티팩트들이 가시적이지 않도록 적은 상세가 존재한다고 결론지으며, 그러므로 중심 중간 뷰(CI)로서 중심 스테레오 뷰(CS)를 선택한다. 결과적으로, 방법은 시리즈들의 중심 뷰가 중심 스테레오 뷰(CS)에 대응하는 중간 뷰들의 시리즈들에 대한 중간 이미지들을 생성한다. 그러나, 프레임(2)에 대해, 시스템은 너무 많은 상세가 존재한다고 결론내리며 그러므로 최적의 이미지 품질은, 예를 들면, 상세 아티팩트들이 중심 스테레오 뷰(CS)에 가까이 있는 뷰들에 대한 것보다 원래 좌측 뷰(L)의 가까이에 있는 뷰들에 대해 덜 가시적이기 때문에, 중심 중간 뷰(CI)로서 좌측 뷰(L)를 사용함으로써 생성된다고 결론내린다. 중간 이미지들에서의 순시적 전이를 방지하기 위해(예로서, 3D 이미지가 즐겁지 않은 시청 경험을 야기하는 갑작스러운 '점프'를 하도록) 중심 중간 뷰(CI)는 제 2 프레임으로부터 중간 이미지들의 시리즈들을 생성하기 위해 단일 단계에서 좌측 뷰(L)로 시프트되지 않는다. 대신에, 원래 좌측 뷰(L)를 향한 중심 중간 뷰(CI)의 점진적 시프팅은 프레임들(2 내지 5) 동안 수행되며, 프레임(5)에서 점진적 시프팅을 완료한다.

선택적으로, 시스템은, 예를 들면, 장면 변화가 하나의 프레임과 그것의 다음 프레임 사이에서 검출될 때, 하나의 프레임과 그것의 다음 프레임 사이에서의 중심 중간 뷰(CI)의 순시적 시프팅을 수행한다(점진적 시프팅을 수행하는 것과 대조적으로). 스테레오 비디오 프레임의 콘텐트로서, 전체로서, 장면 변화에서 하나의 프레임과 그것의 다음 프레임 사이에서의 변화들, 중심 중간 뷰(CI)에서의 순시적 변화는 뷰어에 의해 통지되지 않는다.

선택적으로, 정책 결정 프로세스는 중심 중간 뷰(CI)의 시프팅을 완료한 후 새로운 믹싱 정책을 결정한다. 예를 들면, 상기 설명된 바와 같이 프레임(1 내지 5) 동안 점진적 시프팅을 고려하자. 프레임(6)에 대해(서브도면(560) 참조), 믹싱 정책은 새로운 믹싱 정책으로 변경되며, 이것은 예를 들면, 단지 좌측 중간 이미지(IBL)만을 사용한(또는 다시 말해서, 사실상 '이미지 더하기 깊이'를 사용한) 믹싱을 정의한다.

선택적으로, 이전 단락과 유사한 방식으로, 정책 결정 프로세스는 중심 중간 뷰(CI)의 시프팅을 개시하기 전에 새로운 믹싱 정책을 결정한다. 새로운 믹싱 정책은 점진적 시프팅 동안 변화하지 않는다.

선택적으로, 정책 결정 프로세스는 점진적으로 상기 점진적 시프팅과 동시에 믹싱 정책을 변경하는 것을 결정한다. 프레임(1 내지 5) 동안 점진적 시프팅을 고려하지만, 여기에서 믹싱 정책은 비대칭 파라미터(ParA)에 의해 제어된 비선형 비대칭 믹싱 정책이다(또한 도 3b 참조). 프레임(1)에서, 믹싱은 도 3b에서 곡선들(351 및 352)에 의해 설명된 바와 같이, 중간 이미지들(IBL 및 IBR) 양쪽 모두를 사용하여 결정된다. 프레임(5)에서, 믹싱은 단지 좌측 중간 이미지(IBL)만을 사용한다. 프레임(1, 2, 3, 4, 5)에서의 믹싱은 각각 ParA = 0.0, -0.25, -0.5, -0.75, -1.0에 의해 정의된다. 선택적으로, 중심 중간 뷰(CI)는 이격된 여러 개의 프레임들이 프레임들에서 시프트된다. 예를 들면, 중심 중간 뷰(CI)는 매 10 프레임들마다 한 번 하나의 뷰만큼 시프트되어, 매 프레임에서 하나의 뷰만큼 시프트하는 것에 비교하여 점진적 시프트를 더 느리게 만든다. 선택적으로, 중심 중간 뷰(CI)는 뷰의 부분만큼, 또는 하나 이상의 뷰만큼 시프트된다.

도 6은 3개의 구성들에서, 스테레오 데이터로부터 중간 이미지를 생성하기 위한, 및 디스플레이 상에 상기 중간 이미지를 보여주기 위한 시스템을 도시한다. 상기 시스템은 디스플레이 상에 생성된 중간 이미지를 보여주기 위해 배열된다. 생성 유닛들(GU)(630, 640, 650)은 모두 중간 이미지(IB)(611)를 생성하기 위해 배열되며 모두 스테레오 이미지들(IL, IR) 및 중간 뷰(B)(603)를 수신하기 위해 배열된다. 디스플레이 유닛(DISP)(666)은 생성 유닛들(GU)(630, 640, 650) 중 하나로부터 수신된 중간 이미지(IB)를 보여주기 위해 배열된다.

도 6은 스테레오 이미지로부터 중간 이미지(IB)(611)를 생성하기 위한, 및 상기 중간 이미지(IB)(611)를 디스플레이(DISP) 상에 보여주기 위한 시스템(600)을 도시한다. 생성 유닛(GU)(630)은 스테레오 이미지들(IL, IR)로부터 중간 이미지(IB)(611)를 생성하도록, 및 그것의 입력에서 원래 좌측 이미지(IL), 우측 이미지(IR) 및 중간 뷰(B)(603)를 수신하도록 구성된다. 프로세스(GU)(630)는 다음의 기능들을 포함한다:

(a) 원래 좌측- 및 우측 이미지들(IL, IR)을 수신하기 위한, 상기 좌측- 및 우측 이미지들(IL, IR)로부터 좌측 시차 데이터(DL)를 계산하기 위한, 및 계산된 좌측 시차 데이터(DL)를 좌측 워핑 기능으로 전달하기 위한 좌측 시차 계산 기능; 및

(b) 원래 좌측- 및 우측 이미지들(IL, IR)을 수신하기 위한, 상기 좌측- 및 우측 이미지들(IL, IR)로부터 우측 시차 데이터(DR)를 계산하기 위한, 및 상기 계산된 우측 시차 데이터(DR)를 우측 워핑 기능에 전달하기 위한 우측 시차 계산 기능; 및

(c) 중간 뷰(B)(603), 좌측 이미지(IL), 및 좌측 시차 데이터(DL)를 수신하기 위한, 좌측 중간 이미지(IBL)를 생성하기 위한, 및 좌측 중간 이미지(IBL)를 믹싱 기능으로 전달하기 위한 좌측 워핑 기능; 및

(d) 중간 뷰(B)(603), 우측 이미지(IR), 및 우측 시차 데이터(DR)를 수신하기 위한, 우측 중간 이미지(IBR)를 생성하기 위한, 및 상기 우측 중간 이미지(IBR)를 믹싱 기능으로 전달하기 위한 우측 워핑 기능; 및

(e) 원래 좌측 이미지(IL) 및 원래 우측 이미지(IR)를 수신하기 위한, 상기 믹싱 정책을 사용하여 상기 시스템에 의해 생성된 중간 이미지의 예측된 이미지 품질에 기초하여 믹싱 정책을 결정하기 위한, 및 상기 믹싱 정책을 상기 믹싱 기능으로 전달하기 위한 정책 결정 기능; 및

(f) 좌측 워핑 기능으로부터 좌측 중간 이미지(IBL)를 수신하기 위한, 우측 워핑 기능으로부터 우측 중간 이미지(IBR)를 수신하기 위한, 중간 뷰(B)(603)를 수신하기 위한, 및 정책 결정 기능으로부터 믹싱 정책을 수신하기 위한, 및 중간 뷰(B)(603) 및 믹싱 정책을 사용하여 중간 이미지들(IBL, IBR)의 믹싱에 의해 중간 이미지(IB)(611)를 생성하기 위한 믹싱 기능.

선택적으로, 생성 유닛은 시스템의 기능들을 수행하기 위한 소프트웨어를 포함하는 범용 프로세서이다. 선택적으로, 생성 유닛은 시스템의 기능들을 수행하기 위해 전용 애플리케이션 로직을 포함하는 ASIC이다.

선택적으로, 시스템(600)은 좌측 워핑 기능 및 우측 워핑 기능 대신에, 단일 워핑 기능을 포함한다. 좌측 워핑 기능 및 우측 워핑 기능은 동일하며 동일한 계산들을 수행하도록 구성되고, 단지 그것들이 프로세싱하는 입력들에서만 상이하다. 상기 단일 워핑 기능은 상기 좌측 워핑 기능과 또는 상기 우측 워핑 기능과 동일하다. 시스템(600)은 중간 이미지들(IBL, IBR)을 순차적으로 계산하기 위해 단일 워핑 기능을 포함한다. 예를 들면, 단일 워핑 기능이 다음과 같이 수행된다. 단일 워핑 기능은 먼저 좌측 데이터(IL, DL), 중간 뷰(B)를 수신하며, 좌측 중간 이미지(IBL)를 생성하고, 좌측 중간 이미지(IBL)를 믹싱 프로세스로 전달한다. 단일 워핑 기능은 그 후 우측 데이터(IR, DR), 중간 뷰(B)를 수신하고, 우측 중간 이미지(IBR)를 생성하며, 우측 중간 이미지(IBR)를 믹싱 프로세스로 전달한다. 시스템(600)은 그것이 모두 4개의 입력들(IBL, IBR, B, POL)을 수신하였다면 믹싱을 수행하기 위해 믹싱 기능을 포함한다. 선택적으로, 단일 워핑 기능은 먼저 우측 중간 이미지(IBR) 및 그 후 좌측 중간 이미지(IBL)를 시간-순차적 방식으로 생성한다.

도 6은 스테레오 이미지로부터 중간 이미지, 및 믹싱 정책을 생성하기 위해, 및 중간 이미지를 디스플레이 상에 보여주도록 구성된 시스템(610)을 도시한다. 생성 유닛(640)(GU)은 다음의 차이를 제외하고, 유닛(GU)(630)과 동일하다. 유닛(GU)(640)은 정책 결정 기능을 포함하지 않으며, 믹싱 기능은 GU(640)의 입력으로부터 믹싱 정책(POL)(604)을 수신하도록 구성된다.

도 6은 스테레오 이미지로부터, 및 시차 데이터로부터 중간 이미지를 생성하기 위해, 및 중간 이미지를 디스플레이 상에 보여주도록 구성된 시스템(620)을 도시한다. 생성 유닛(GU)(650)은 다음의 차이를 제외하고, 유닛(GU)(630)과 동일하다. 생성 유닛(GU)(650)은 시차 프로세싱 기능을 포함하지 않는다. 좌측 워핑 기능은 입력으로부터 직접 좌측 시차(DL)(611)를 수신하도록 구성된다. 마찬가지로, 우측 워핑 기능은 입력으로부터 직접 우측 시차(DR)(612)를 수신하도록 구성된다.

선택적으로, 디스플레이 유닛(DISP)은 그것의 디스플레이 뷰들 중 하나에서 중간 이미지(IB)를 보여주는 다중뷰 디스플레이이다.

선택적으로, 디스플레이 유닛(DISP)은 스테레오 뷰 디스플레이이며, 헤드-트래킹 디바이스는 좌측 중간 뷰(BL) 및 우측 중간 뷰(BR)를 생성 유닛(GU)에 제공하도록 배열된다. 생성 유닛(GU)은 각각의 중간 뷰들(BL, BR)을 사용하여 새로운 좌측 이미지 및 새로운 우측 이미지를 생성하도록 및 생성된 스테레오 이미지를 디스플레이 유닛(DISP)에 제공하도록 배열된다. 디스플레이 유닛(DISP)은 뷰어로 하여금 디스플레이 유닛(DISP) 상에서의 3D 이미지를 지각할 수 있게 하도록 배열된 입체 안경들을 사용하여 뷰어에 의해 보여지는, 스테레오 이미지를 보여주도록 배열된다. 생성 유닛(GU) 및 디스플레이 유닛(DISP)을 포함한, 결과적인 시스템은 뷰어가 3D 이미지를 시각적으로 지각하도록 및 활성 헤드 움직임을 만듦으로써 3D 이미지에서 전경 오브젝트들을 뒤돌아보도록 배열된다.

상기 설명된 바와 같이, 믹싱 정책은 사전-계산될 수 있으며 원래 스테레오 데이터(105)를 보완한 메타데이터로서 렌더링 시스템 또는 렌더링 디바이스에 제공될 수 있다. 본 발명은 따라서 유리하게는 또한 스테레오 데이터(105)로부터 중간 이미지(161)를 생성할 때 사용하기 위한 출력 스테레오 데이터를 생성하는 방법을 가능하게 하며, 상기 스테레오 데이터(105)는 좌측 데이터(103) 및 우측 데이터(104)를 포함하고, 상기 좌측 데이터(103)는 좌측 이미지(101) 및 좌측 시차 데이터(111)를 포함하고, 좌측 데이터(103)는 좌측 뷰에 대응하고, 상기 우측 데이터(104)는 우측 이미지(102) 및 우측 시차 데이터(112)를 포함하고, 상기 우측 데이터(104)는 우측 뷰에 대응하며, 중간 이미지(161)는 중간 뷰(155)에 대응하고, 상기 방법은: 중간 이미지(161)의 예측된 이미지 품질에 기초하여 믹싱 정책(156)을 결정하는 단계(170); 상기 결정된 믹싱 정책과 상기 스테레오 데이터(105)를 조합함으로써 출력 스테레오 데이터를 생성하는 단계를 포함한다.

상기 설명된 바와 같은 출력 스테레오 데이터는 그것이, 중간 이미지(161)를 생성하기 위해 배열된 시스템(600)으로 하여금, 결정된 믹싱 정책(156)이 그렇게 요구할 때, 중간 뷰(155)에 대한 좌측 데이터(103)로부터 좌측 중간 이미지(131)를 생성할 수 있게 하며; 결정된 믹싱 정책(156)이 그렇게 요구할 때, 중간 뷰(155)에 대한 우측 데이터(104)로부터 우측 중간 이미지(141)를 생성할 수 있게 하고; 결정된 믹싱 정책(156)이 그렇게 요구할 때, 믹싱 정책(156)에 따라, 좌측 중간 이미지(131) 및 우측 중간 이미지(141)를 믹싱함으로써(180) 중간 이미지(161)를 생성할 수 있게 한다는 점에서, 종래 기술에 비교하여, 중간 이미지(161)의 개선된 생성을 가능하게 하기 위해 사용될 수 있다.

본 발명은 또한 스테레오 데이터(105)로부터 중간 이미지(161)를 생성할 때 사용하기 위한 출력 스테레오 데이터를 생성하기 위한 시스템을 가능하게 하며, 상기 스테레오 데이터(105)는 좌측 데이터(103) 및 우측 데이터(104)를 포함하고, 상기 좌측 데이터(103)는 좌측 이미지(101) 및 좌측 시차 데이터(111)를 포함하고, 상기 좌측 데이터(103)는 좌측 뷰에 대응하며, 상기 우측 데이터(104)는 우측 이미지(102) 및 우측 시차 데이터(112)를 포함하고, 상기 우측 데이터(104)는 우측 뷰에 대응하며, 상기 중간 이미지(161)는 중간 뷰(155)에 대응하고, 상기 시스템은: 상기 중간 이미지(161)의 예측된 이미지 품질에 기초하여 믹싱 정책(156)을 결정하며(170) 상기 결정된 믹싱 정책과 상기 스테레오 데이터(105)를 조합함으로써 출력 스테레오 데이터를 생성하기 위해 배열된 생성 유닛을 포함한다.

상기 설명된 바와 같이 출력 스테레오 데이터는, 그것이, 중간 이미지(161)를 생성하기 위해 배열된 시스템(600)으로 하여금, 결정된 믹싱 정책(156)이 그렇게 요구할 때, 중간 뷰(155)에 대한 좌측 데이터(103)로부터 좌측 중간 이미지(131)를 생성할 수 있게 하고; 상기 결정된 믹싱 정책(156)이 그렇게 요구할 때, 상기 중간 뷰(155)에 대한 우측 데이터(104)로부터 우측 중간 이미지(141)를 생성할 수 있게 하며; 상기 결정된 믹싱 정책(156)이 그렇게 요구할 때, 믹싱 정책(156)에 따라 상기 좌측 중간 이미지(131) 및 상기 우측 중간 이미지(141)를 믹싱함으로써(180) 상기 중간 이미지(161)를 생성할 수 있게 한다는 점에서, 종래 기술에 비교하여, 중간 이미지(161)의 개선된 생성을 가능하게 하기 위해 사용될 수 있다.

믹싱 정책 정보, 또는 출력 스테레오 데이터에 포함되는 믹싱 정책 메타데이터는 믹싱 인자 또는 블렌딩 인자, 비대칭 파라미터, 중심 스테레오 뷰 기술, 상기 설명된 바와 같이 다중-뷰 디스플레이를 구동할 때 사용하기 위한 뷰 위치 할당으로부터의 범위에 있는 정보를 포함할 수 있다. 이러한 정보는 프레임 단위 기반으로, 또는 바람직하게는 장면당 룩업-테이블, 상기 장면 내에서의 각각의 프레임들에 파라미터들을 연결하는 형태로, 또는 기능 설명의 형태로, 예로서, 구분적으로 선형의, 또는 스플라인 기반 표현을 사용하여 제공될 수 있으며, 상기 표현은 재생 디바이스가 기능적 설명으로부터 프레임들에 대한 적절한 파라미터들을 도출하도록 허용한다.

출력 스테레오 데이터가 단일의 스테레오 이미지 쌍을 포함할 수 있을지라도, 메타데이터의 사용은, 그것이 다중-뷰 디스플레이들 상에서 이러한 비디오 시퀀스들의 개선된 렌더링을 가능하게 하므로, 스테레오 비디오 시퀀스들에 대해 특히 유리하다. 상기 방법에 따라 생성된 출력 스테레오 데이터는 다중-뷰 디스플레이 디바이스 상에서 렌더링할 때 사용하기 위한 추가 메타데이터 및/또는 정보를 추가로 포함할 수 있다.

출력 스테레오 데이터는 방송을 위한 신호로서, 또는 로컬 네트워크, 회사들, 인트라-넷, 또는 인터넷과 같은, 디지털 네트워크를 통한 전달을 위한 신호로서 출력될 수 있다. 결과적인 신호는 스테레오 데이터(105)로부터 중간 이미지(161)를 생성할 때 사용하기 위한 신호이며, 상기 신호는 스테레오 데이터(105)를 포함하고, 상기 스테레오 데이터(105)는 좌측 데이터(103) 및 우측 데이터(104)를 포함하고, 상기 좌측 데이터(103)는 좌측 이미지(101) 및 좌측 시차 데이터(111)를 포함하고, 상기 좌측 데이터(103)는 좌측 뷰에 대응하며, 상기 우측 데이터(104)는 우측 이미지(102) 및 우측 시차 데이터(112)를 포함하고, 상기 우측 데이터(104)는 우측 뷰에 대응하며, 상기 중간 이미지(161)는 중간 뷰(155)에 대응하고, 믹싱 정책 데이터는 중간 이미지(161)의 예측된 이미지 품질에 기초하여 믹싱 정책(156)을 결정한다.

상기 설명된 바와 같은 신호는, 그것이 중간 이미지(161)를 생성하기 위해 배열된 시스템(600)으로 하여금, 상기 결정된 믹싱 정책(156)이 그렇게 요구할 때, 중간 뷰(155)에 대한 좌측 데이터(103)로부터 좌측 중간 이미지(131)를 생성할 수 있게 하고; 상기 결정된 믹싱 정책(156)이 그렇게 요구할 때, 상기 중간 뷰(155)에 대한 우측 데이터(104)로부터 우측 중간 이미지(141)를 생성할 수 있게 하며; 상기 결정된 믹싱 정책(156)이 그렇게 요구할 때, 상기 믹싱 정책(156)에 따라, 상기 좌측 중간 이미지(131) 및 상기 우측 중간 이미지(141)를 믹싱(180)함으로써 상기 중간 이미지(161)를 생성할 수 있게 한다는 점에서, 종래 기술에 비교하여, 중간 이미지(161)의 개선된 생성을 가능하게 하기 위해 사용될 수 있다.

마찬가지로, 신호는 블루-레이 디스크, 또는 등가의 광학 데이터 캐리어의 형태로 광학 데이터 캐리어와 같은 디지털 데이터 캐리어 상에서, 또는 플래시 또는 고체-상태 저장 디바이스와 같은 전자 비-휘발성 매체 상에서 레코딩될 수 있다. 블루-레이 디스크 포맷에 대한 보다 많은 정보는 여기에서 찾아질 수 있다: 여기에 참조로서 통합된 http://blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf. 바람직하게는 뷰 렌더링과 연관된 메타-데이터는 디코딩 정보로서 표준에 따라, 사용자 데이터 메시지; 시그널링 기본 스트림 정보[SEI] 메시지; 엔트리 포인트 테이블; 또는 XML 기반 기술 중 적어도 하나에 포함된다.

원래 입력 스테레오 데이터(105)에 걸쳐 출력 스테레오 데이터를 분배하는 이점은 저자 측에서, 콘텐트가 통상적으로 전부 이용 가능하며 그 결과 보다 값비싸고 및/또는 시간-소모적인 알고리즘들(또는 사용자 보조 알고리즘들)이 적절한 믹싱 정책을 결정하기 위해 사용될 수 있다는 것이다.

상기 언급된 실시예들은 본 발명을 제한하기보다는 예시하며, 당업자들은 첨부된 청구항들의 범위로부터 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있을 것임이 주의되어야 한다.

청구항들에서, 괄호들 사이에 위치된 임의의 참조 부호들은 청구항을 제한하는 것으로서 해석되지 않아야 한다. 동사("포함하다") 및 그것의 동사 활용형들은 청구항에 서술된 것들이 아닌 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 이전의 관사("a" 또는 "an")는 복수의 이러한 요소들의 존재를 배제하지 않는다. 본 발명은 여러 개의 개별적인 요소들을 포함하는 하드웨어에 의해 및 적절하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 개의 수단을 열거한 디바이스 청구항에서, 이들 수단들 중 여러 개는 하드웨어의 다름 아닌 바로 동일한 아이템에 의해 구체화될 수 있다. 특정한 조치들이 상호 상이한 종속 청구항들에서 열거된다는 사실만이 이들 조치들의 조합이 유리하게 하기 위해 사용되지 않을 수 있음을 표시하는 것은 아니다.

130, 140: 워핑 프로세스 150: 인자 계산 프로세스
156, 604: 믹싱 정책 160: 블렌딩 프로세스
175, 176: 생성 프로세스 177: 판단 프로세스
179, 189: 믹싱 정책 결정 프로세스 180: 믹싱 프로세스
183: 품질 예측 프로세스
400: 스테레오 뷰 비디오 시퀀스 401, 402, 403: 인스턴스
410, 420, 430: 섹션 600: 시스템
630, 640, 650: 생성 유닛 666: 디스플레이 유닛

Claims (16)

1. 중간 뷰의 기능으로서 믹싱에서 좌측 및 우측 중간 이미지의 상대적 기여도들을 정의하는 믹싱 정책(156)에 따라 상기 좌측 중간 이미지(131) 및 상기 우측 중간 이미지(141)의 믹싱(180)을 사용하여, 상기 중간 뷰(155)에 대한 스테레오 데이터(105)로부터 중간 이미지(161)를 생성하기 위한 방법(100)으로서, 상기 스테레오 데이터는 좌측 데이터(103) 및 우측 데이터(104)를 포함하고, 상기 좌측 데이터는 좌측 이미지(101) 및 좌측 시차 데이터(111)를 포함하고, 상기 좌측 데이터는 좌측 뷰에 대응하고, 상기 우측 데이터는 우측 이미지(102) 및 우측 시차 데이터(112)를 포함하고, 상기 우측 데이터는 우측 뷰에 대응하고, 상기 중간 이미지는 중간 뷰에 대응하고, 상기 좌측 중간 이미지는 상기 중간 뷰에 대한 상기 좌측 데이터로부터 생성되며, 상기 우측 중간 이미지는 상기 중간 뷰에 대한 상기 우측 데이터로부터 생성되는, 상기 방법(100)에 있어서:
   - 상기 스테레오 데이터의 이미지 특성(184)에 기초하여 복수의 믹싱 정책들(171, 172) 각각에 대한 상기 중간 이미지의 이미지 품질을 예측하는 단계(182);
   - 상기 중간 이미지의 예측된 이미지 품질에 기초하여 상기 복수의 믹싱 정책들로부터 믹싱 정책을 선택함으로써 상기 믹싱 정책을 결정하는 단계(170);
   - 상기 결정된 믹싱 정책이 그렇게 요구할 때, 상기 좌측 중간 이미지를 생성하는 단계;
   - 상기 결정된 믹싱 정책이 그렇게 요구할 때, 상기 우측 중간 이미지를 생성하는 단계; 및
   - 상기 결정된 믹싱 정책에 따라 상기 상대적 기여도들을 사용하여, 상기 좌측 중간 이미지 및 상기 우측 중간 이미지를 믹싱함으로써 상기 중간 이미지를 생성하는 단계를 포함하는, 중간 이미지를 생성하기 위한 방법.
2. 제 1 항에 있어서,
   상기 믹싱 정책을 결정하는 단계(170)는 상기 스테레오 데이터(105)에 결합된 메타-데이터로부터 상기 믹싱 정책(156)을 검색함으로써 수행되는, 중간 이미지를 생성하기 위한 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 스테레오 데이터의 이미지 특성에 기초하여 상기 중간 이미지(161)의 이미지 품질을 예측하는 단계는 상기 스테레오 데이터의 이미지 상세에 기초하여 상기 중간 이미지(161)의 이미지 상세의 양을 예측하는 단계를 포함하는, 중간 이미지를 생성하기 위한 방법.
4. 제 1 항 또는 제 2 항에 있어서,
   상기 스테레오 데이터(105)는 비디오 시퀀스이고 상기 중간 이미지(161)를 생성하는 단계는:
   - 상기 스테레오 데이터(105)의 각각의 후속 프레임들로부터 후속 중간 이미지들을 생성하는 단계를 추가로 포함하는, 중간 이미지를 생성하기 위한 방법.
5. 제 4 항에 있어서,
   상기 믹싱 정책을 결정하는 단계(170)는:
   - 제 1 인스턴스에서 제 1 프레임으로부터 제 1 중간 이미지를 생성하기 위한 제 1 믹싱 정책을 결정하는 단계; 및
   - 제 2 인스턴스에서 제 2 프레임으로부터 제 2 중간 이미지를 생성하기 위한 제 2 믹싱 정책을 결정하는 단계를 포함하는, 중간 이미지를 생성하기 위한 방법.
6. 제 5 항에 있어서,
   상기 믹싱 정책을 결정하는 단계(170)는:
   - 제 3 인스턴스에서 제 3 프레임으로부터 제 3 중간 이미지를 생성하기 위한 제 3 믹싱 정책을 결정하는 단계를 추가로 포함하며,
   - 상기 제 3 인스턴스는 상기 제 1 인스턴스 후 및 상기 제 2 인스턴스 전에 발생하고,
   - 상기 제 3 믹싱 정책에 의해 정의된 제 3 상대적 기여도는 상기 제 1 믹싱 정책에 의해 정의된 제 1 상대적 기여도와 상기 제 2 믹싱 정책에 의해 정의된 제 2 상대적 기여도 사이에 있으며,
   상기 제 1, 제 2, 및 제 3 상대적 기여도는 모두 상기 좌측 중간 이미지에 대응하는, 중간 이미지를 생성하기 위한 방법.
7. 제 1 항 또는 제 2 항에 있어서,
   상기 중간 이미지(161)를 생성하는 단계는:
   - 상기 스테레오 데이터(105)로부터 중간 이미지들의 제 1 시리즈들을 생성하는 단계로서, 상기 중간 이미지들의 제 1 시리즈들은 인접한 중간 뷰들의 제 1 시리즈들에 대응하는, 상기 중간 이미지들의 제 1 시리즈들을 생성하는 단계를 포함하는, 중간 이미지를 생성하기 위한 방법.
8. 제 7 항에 있어서,
   상기 중간 이미지들의 제 1 시리즈들을 생성하는 단계는:
   - 제 1 뷰에 상기 중간 뷰들의 제 1 시리즈들을 중심에 두는 단계로서, 상기 제 1 뷰는 상기 좌측 및 우측 뷰 사이에 또는 상기 좌측 또는 우측 뷰 가까이에 있는 뷰이고, 따라서 상기 중간 뷰들의 제 1 시리즈들의 중심 중간 뷰는 상기 제 1 뷰에 대응하는, 상기 제 1 시리즈들을 중심에 두는 단계; 및
   - 상기 중간 이미지들의 제 1 시리즈들의 예측된 이미지 품질에 기초하여 상기 제 1 뷰를 선택하는 단계를 포함하는, 중간 이미지를 생성하기 위한 방법.
9. 제 7 항에 있어서,
   상기 스테레오 데이터(105)는 비디오 시퀀스이며 상기 중간 이미지들의 제 1 시리즈들은 상기 비디오 시퀀스의 제 1 프레임으로부터 생성되고, 상기 제 1 프레임은 시간에서의 제 1 인스턴스에 대응하며,
   상기 중간 이미지(161)를 생성하는 단계는:
   - 상기 비디오 시퀀스의 제 2 프레임으로부터 중간 이미지들의 제 2 시리즈들을 생성하는 단계로서, 상기 제 2 프레임은 시간에서의 제 2 인스턴스에 대응하며, 상기 중간 이미지들의 제 2 시리즈들은 상기 제 2 뷰에 중심이 있는 인접한 중간 뷰들의 제 2 시리즈들에 대응하는, 상기 중간 이미지들의 제 2 시리즈들을 생성하는 단계를 추가로 포함하는, 중간 이미지를 생성하기 위한 방법.
10. 제 9 항에 있어서,
    상기 중간 이미지(161)를 생성하는 단계는:
    - 상기 비디오 시퀀스의 제 3 프레임으로부터 중간 이미지들의 제 3 시리즈들을 생성하는 단계로서, 상기 제 3 프레임은 시간에서의 제 3 인스턴스에 대응하며, 상기 중간 이미지들의 제 3 시리즈들은 상기 제 3 뷰에 중심이 있는 인접한 중간 뷰들의 제 3 시리즈들에 대응하고, 상기 시간에서의 제 3 인스턴스는 상기 시간에서의 제 1 인스턴스 후 및 상기 시간에서의 제 2 인스턴스 전에 발생하며, 상기 제 3 뷰는 상기 제 1 뷰와 상기 제 2 뷰 사이에 있는, 상기 중간 이미지들의 제 3 시리즈들을 생성하는 단계를 추가로 포함하는, 중간 이미지를 생성하기 위한 방법.
11. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 믹싱 정책들은 두 개의 믹싱 정책들 중 적어도 하나의 믹싱 정책을 포함하고,
    상기 제 1 믹싱 정책은,
    - 상기 믹싱에서 상기 좌측 중간 이미지의 좌측 상대적 기여도를 정의하고,
    - 상기 믹싱에서 상기 우측 중간 이미지의 우측 상대적 기여도를 정의하며,
    상기 좌측 상대적 기여도 및 상기 우측 상대적 기여도 중 하나는 상기 좌측 상대적 기여도 및 상기 우측 상대적 기여도의 다른 하나를 주도하고,
    상기 제 2 믹싱 정책은,
    - 0인 상기 좌측 중간 이미지의 상대적 기여도를 정의하며,
    상기 우측 중간 이미지를 상기 우측 중간 이미지로 복사함으로써 상기 좌측 및 상기 우측 중간 이미지를 믹싱하는 것에 대응하는, 중간 이미지를 생성하기 위한 방법.
12. 제 1 항 또는 제 2 항에 있어서,
    상기 스테레오 데이터(105)는 정지 스테레오 이미지-쌍을 포함하는, 중간 이미지를 생성하기 위한 방법.
13. 제 1 항 또는 제 2 항에 있어서,
    상기 좌측 시차 데이터(111) 및 상기 우측 시차 데이터(112)는 양쪽 모두 상기 좌측 이미지(101) 및 상기 우측 이미지(102)로부터 계산되는, 중간 이미지를 생성하기 위한 방법.
14. 중간 뷰의 기능으로서 믹싱에서 좌측 및 우측 중간 이미지의 상대적 기여도들을 정의하는 믹싱 정책(156)에 따라 상기 좌측 중간 이미지(131) 및 상기 우측 중간 이미지(141)의 믹싱(180)을 사용하여, 중간 뷰(155)에 대해, 스테레오 데이터(105)로부터 중간 이미지(161)를 생성하기 위해 배열된 시스템(600)으로서, 상기 스테레오 데이터는 좌측 데이터(103) 및 우측 데이터(104)를 포함하고, 상기 좌측 데이터는 좌측 이미지(101) 및 좌측 시차 데이터(111)를 포함하고, 상기 좌측 데이터는 좌측 뷰에 대응하고, 상기 우측 데이터는 우측 이미지(102) 및 우측 시차 데이터(112)를 포함하고, 상기 우측 데이터는 우측 뷰에 대응하며, 상기 중간 이미지는 중간 뷰에 대응하고, 상기 좌측 중간 이미지는 상기 중간 뷰에 대한 상기 좌측 데이터로부터 생성되며, 상기 우측 중간 이미지는 상기 중간 뷰에 대한 상기 우측 데이터로부터 생성되는, 상기 시스템(600)에 있어서,
    생성 유닛으로서:
    - 상기 스테레오 데이터의 이미지 특성(184)에 기초하여 복수의 믹싱 정책들(171, 172) 각각에 대한 상기 중간 이미지의 이미지 품질을 예측하기 위한 예측 기능(182);
    - 상기 중간 이미지의 예측된 이미지 품질에 기초하여 상기 복수의 믹싱 정책들로부터 믹싱 정책을 선택함으로써 상기 믹싱 정책을 결정하기 위한 믹싱 정책 기능(170);
    - 상기 결정된 믹싱 정책이 그렇게 요구할 때, 상기 좌측 중간 이미지를 생성하기 위한 좌측 워핑(warping) 기능;
    - 상기 결정된 믹싱 정책이 그렇게 요구할 때, 상기 우측 중간 이미지를 생성하기 위한 우측 워핑 기능; 및
    - 상기 결정된 믹싱 정책에 따라 상기 상대적 기여도들을 사용하여, 상기 좌측 중간 이미지 및 상기 우측 중간 이미지를 믹싱함으로써 상기 중간 이미지를 생성하기 위한 믹싱 기능을 실행하기 위해 배열된, 상기 생성 유닛을 포함하는, 시스템.
15. 제 14 항에 있어서,
    상기 믹싱 정책을 결정하기 위한 상기 믹싱 정책 기능(170)은 상기 스테레오 데이터(105)에 결합된 메타-데이터로부터 상기 믹싱 정책(156)을 검색함으로써 수행되는, 시스템.
16. 제 14 항 또는 제 15 항에 있어서,
    상기 중간 이미지(161)는 다중-뷰 디스플레이(666)의 적어도 하나의 뷰를 구동하기 위해 사용되는, 시스템.

Images