KR101273232B1 - 업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성 - Google Patents

업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성 Download PDF

Info

Publication number
KR101273232B1
KR101273232B1 KR1020117017058A KR20117017058A KR101273232B1 KR 101273232 B1 KR101273232 B1 KR 101273232B1 KR 1020117017058 A KR1020117017058 A KR 1020117017058A KR 20117017058 A KR20117017058 A KR 20117017058A KR 101273232 B1 KR101273232 B1 KR 101273232B1
Authority
KR
South Korea
Prior art keywords
views
filter
view
interpolation
filters
Prior art date
Application number
KR1020117017058A
Other languages
English (en)
Other versions
KR20110106398A (ko
Inventor
페샬라 브이. 파할라와타
알렉산드로스 투어라피스
아타나시오스 레온타리스
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20110106398A publication Critical patent/KR20110106398A/ko
Application granted granted Critical
Publication of KR101273232B1 publication Critical patent/KR101273232B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

3D 이미지의 인터리브된 뷰들을 재구성하기 위한 방법은 3D 이미지의 인터리브된 뷰들을 수신하는 단계, 제 1 뷰 및 제 2 뷰로 상기 인터리브된 뷰들을 디-인터리브하는 단계로서, 각각의 디-인터리브된 뷰는 미싱 픽셀들(missing pixels)을 포함하는 상기 디-인터리브하는 단계, 각각의 픽셀 위치에서, 상기 제 1 뷰와 제 2 뷰 간의 불일치의 양을 결정하는 단계, 각각의 뷰에 대해, 연관된 픽셀 위치에서 결정되는 불일치의 양에 기초하여 각각의 미싱 픽셀을 보간하는 단계를 포함하며, 결정된 불일치가 미리 결정된 불일치 임계치 위일 때, 미싱 픽셀 값이 보간될 뷰의 데이터만으로부터 보간되고(즉, 뷰가 상기 미싱 픽셀 값을 포함함), 결정된 불일치가 상기 미리 결정된 불일치 임계치에 있거나 그 아래일 때, 미싱 픽셀 값이 뷰들 양쪽 모두의 데이터로부터 보간된다.

Description

업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성{RECONSTRUCTION OF DE-INTERLEAVED VIEWS, USING ADAPTIVE INTERPOLATION BASED ON DISPARITY BETWEEN THE VIEWS FOR UP-SAMPLING}
본 출원은 전체가 참조문헌으로써 포함된, 2008년 12월 25일에 출원된 미국특허 예비 출원 제 61/140,886호에 대한 우선권을 청구한다.
본 발명은 데이터 컨버전(data conversion)에 관한 것으로, 특히 비디오 업-컨버전(up-conversion)을 포함하는, 데이터 업컨버전에 관한 것이다.
스테레오스코픽 비디오(stereoscopic video)의 전달은 콘텐트 제공자들의 오랜 목표였다. 디스플레이 기술에 있어서의 최근의 혁신들은 미츠비시 및 삼성에 의한 3D 가능 DLP들 및 플라즈마 디스플레이들을 포함한다. 스테레오스코픽 비디오는 많은 상이한 포맷들로 전달될 수 있다. 비디오의 전달을 위해 현재 이용되는 한 가지 포맷은 체커보드(checkerboard; CB) 인터리브된 포맷이다.
본 발명은 임의 포맷의 스테레오그래픽 콘텐트(stereographic content)의 전달을 개선하고, 특히 체커보드 인터리브된 포맷들에 대한 필요성을 실현하였다.
일 실시예에서, 본 발명은 적어도 하나의 비디오 스트림의 인터리브된 뷰들을 포함하는 데이터 스트림을 수신하는 단계, 픽셀 위치(pixel location)에서 또는 픽셀 위치에 대응하는 영역에서 제 1 뷰와 반대하는 뷰 간의 불일치의 양을 결정하는 단계, 및 각각의 뷰의 특징들 및 결정된 불일치에 기초하여 선택된 필터를 이용하여 제 1 뷰에서 픽셀 위치에서의 픽셀 값을 확립하는 단계를 포함하는 방법을 제공한다. 비디오 스트림은 예를 들면, 각각의 프레임이 왼쪽 및 오른쪽 인터리브된 뷰들을 포함하는 3D 비디오일 수 있다. 픽셀 값은 동일한 뷰, 다른 뷰들, 또는 일시적인 뷰들에서 다른 픽셀 값들의 고려를 포함하는 필터링 또는 프로세스들을 포함하여 다양한 방식들로 확립될 수 있다.
또 다른 실시예에서, 본 발명은 부분들로 업-컨버트될 프레임을 분할하는 단계, 및 업-샘플링된 프레임을 생성하기 위해 업-샘플링된 부분들을 조합하는 단계를 포함하여, 이미지 데이터의 프레임을 업-컨버트하는 방법을 제공한다.
또 다른 실시예에서, 본 발명은 비디오 스트림을 수신하도록 구성된 입력부, 및 비디오 스트림으로부터 왼쪽 및 오른쪽 이미지들을 추출하고, 콘텐트 적응형 보간에 기초하여 추출된 왼쪽 및 오른쪽 프레임들을 업-샘플링하도록 구성된 프레임 생성기를 포함하는 디스플레이를 포함한다. 입력은 HDMI 입력을 포함할 수 있고, 비디오 스트림은 HDMI 포맷된 체커보드 인터리브된 3D 이미지 스트림을 포함한다.
또 다른 실시예에서, 본 발명은 이미지의 상이한 뷰들을 업-샘플링하도록 구성되고, 콘텐트 적응형 보간기를 포함하는 디바이스를 포함할 수 있다. 콘텐트 적응형 보간기는 예를 들면, 뷰들의 적어도 하나에 대한 보간 프로세스를 결정하는데 이용되는 불일치 분석 모듈(disparity analysis module)을 포함할 수 있다.
여러 가지 실시예들은 아래에서 보다 상세히 설명된다. 본 발명의 디바이스들, 방법들, 다른 실시예들의 부분들은 일반 목적의 컴퓨터 또는 네트워크된 컴퓨터들 상에서 프로그래밍하는데 편리하게 구현될 수 있고, 그 결과들은 일반 목적의 네트워크된 컴퓨터들 중 어느 하나에 접속된 출력 디바이스 상에 디스플레이될 수 있고, 또는 출력 또는 디스플레이를 위한 원거리 디바이스에 송신될 수 있다. 또한, 컴퓨터 프로그램, 데이터 시퀀스들, 및/또는 제어 신호들에서 나타내지는 본 발명의 임의의 성분들은 무선 브로드캐스트들(wireless broadcasts) 및 구리 배선(들), 광섬유 케이블(들) 및 동축 케이블(들) 등을 통한 송신들을 포함하지만 그것들에 제한되지 않는 임의의 매체에서 임의의 주파수로 전자 신호 브로드캐스트(또는 송신된 것)로서 구현될 수 있다.
본 발명의 보다 완전한 이해 및 그것의 많은 수반되는 이점들은 첨부된 도면들과 연계하여 고려될 때, 아래의 상세한 설명을 참조하여 보다 잘 이해되는 바와 같이 쉽게 얻어질 수 있다.
도 1은 본 발명의 실시예에 따르는, 압축된 스테레오스코픽 이미지들의 체커보드 인터리브된 전달 및 디-인터리브된 스테레오 뷰들의 후속 디코딩 및 디스플레이를 위한 시스템의 개요를 도시하는 도면.
도 2는 체커보드 인터리빙에 의해 실행되는 멀티플렉싱(multiplexing) 및 다운샘플링의 예를 도시하는 도면.
도 3은 본 발명의 실시예에 따르는, 체커보드 인터리브된 이미지들의 쌍의 스테레오 뷰 재구성을 도시하는 도면.
도 4는 본 발명의 실시예에 따르는, 대역통과 필터링을 이용하여 뷰 불일치 분류(view disparity classification)를 도시하는 도면.
도 5는 본 발명의 실시예에 따르는, 움직임 분석에 기초하는 뷰 불일치 분류를 도시하는 도면.
도 6은 본 발명의 실시예에 따르는, 스테레오스코픽 이미지 영역들의 불일치 의존 필터링의 프로세스를 도시하는 흐름도.
도 7a는 본 발명의 실시예에 따르는, 조합된 멀티-가설 필터(combined multi-hypothesis filter) 불일치 분석 및 불일치 분석의 프로세스를 도시하는 흐름도.
도 7b는 본 발명의 실시예에 따르는, 멀티-가설 필터 및 불일치 분석을 이용하는 대안의 프로세스를 도시하는 흐름도.
도 8a는 본 발명의 실시예에 따르는, 뷰 보간을 위한 일반적인 멀티-가설 필터링을 도시하는 도면.
도 8b는 본 발명의 실시예에 따르는, 뷰 보간을 위한 멀티-가설 필터링을 도시하는 도면.
도 9는 본 발명의 실시예에 따르는, 홀수 및 짝수 필드들의 분리가능한 필터링(separable filtering)을 도시하는 도면.
도 10은 반대 뷰에서 이용가능한 이전 정보에 기초하여 보간 정확성을 결정하는데 이용되는 샘플들을 도시하는 도면.
이제 도면들을 참조하면, 동일한 도면 번호들은 동일 또는 대응하는 부분들을 나타내며, 특히 도 1을 참조하면, 압축된 스테레오스코픽 이미지들의 체커보드 인터리브된 전달 및 디-인터리브된 스테레오 뷰들의 후속 디코딩 및 디스플레이를 위해 이용되는 시스템의 개요가 도시되어 있다. 전달 파이프라인(delivery pipeline)은 필터링(FL ,d() 및 FR ,d()), 및 왼쪽 및 오른쪽 뷰들의 다운샘플링, 및 뷰들의 멀티플렉싱을 포함한다. 이어서, 멀티플렉스된 이미지들은 ISO MPEG-4 AVC/ITU-T H.264, MPEG-2, VC1 등과 같은 압축 방법을 이용하여 압축되지만 그것에 제한되지 않으며, 디코더에 송신된다. 이어서, 멀티플렉스되고 압축된 이미지들은 압축해제되고, 디-멀티플렉스되고, 필터들(FL ,d() 및 FR ,d())을 이용하여 풀 해상도(full resolution)로 업-컨버트된다.
체커보드 인터리빙 방법에 의해 실행되는 다운샘플링 및 멀티플렉싱은 도 2에 도시되어 있다. 디멀티플렉싱 및 업컨버전은 도 3에 도시되어 있다. 품질을 개선하지만, 동시에, 업컨버전 프로세스의 복잡도를 유지 또는 낮추는 것이 바람직한데, 왜냐하면, 업커버전이 디코더 또는 디스플레이 디바이스에서 실시간으로 일어날 필요가 있기 때문이다.
본 발명은 예를 들면, 각각의 뷰의 체커보드 샘플링된 이미지들을 업샘플링하는데 이용될 수 있는 적응형(예를 들면, 콘텐트-적응형) 보간 기술들을 포함한다. 한 가지 그러한 기술은 업-샘플링되는 뷰로부터의 정보를 반대 뷰로부터의 정보와 조합하는 것이다. 이것은 보간되는 영역이 이미지의 낮은 불일치 영역(즉, 왼쪽 및 오른쪽 뷰 이미지들이 가장 비슷함)에 속할 때 가장 효과적이다.
그러므로, 다양한 실시예들에서, 불일치 분석은 2개의 뷰들의 주어진 영역에 대해 실행될 수 있다. 불일치 분석을 위한 한 가지 방법은 움직임 검출 및 추정으로부터 유도될 수 있다. 일 실시예에서, (1/수평 픽셀 거리)의 특징 주파수를 갖는 수평으로 지향된 대역통과 필터(horizontally oriented bandpass filter)가 수평 인터리빙에 의해 유도된 아티팩트들(artifacts)을 검출하는데 이용된다. 수직으로 지향된 대역통과 필터는 또한, 수직 인터리빙에 의해 유도된 아티팩트들을 검출하는데 이용된다. 필터는 예를 들면, 필터링된 샘플로부터 이격된 샘플들이 보다 낮은 웨이트(weight)로 주어지도록, 해밍 윈도우(Hamming window)([1 2 3 4 3 2 1])에 의해 승산되는 ([-1 1 -1 1 -1 1 -1) 와 같은 표준 대역통과 필터일 수 있다. 필터가 큰 응답을 야기하면, 그것은 인터리빙으로 인한 아티팩트들의 존재를 나타낸다. 본 발명의 실시예에 따라, 도 4에 도시된 바와 같이, 체커보드 샘플링의 경우에, 대역통과 필터로, 수평 및 수직 방향들 양쪽 모두 또는 그 중 하나에서 체커보드 인터리브된 이미지를 필터링하는 것은 불일치를 인식하는데 이용될 수 있다. 하나 또는 양쪽 모두의 방향들이 상당한 필터 응답들을 산출하면, 그것은 체커보드 패턴과 같은 인터리빙 아티팩트들의 존재를 암시한다. 이것은 필터링된 영역에서 왼쪽 및 오른쪽 뷰들에서 샘플들 간의 큰 불일치를 나타낸다.
또 다른 실시예에서, 대각으로 지향된 필터는 동일한 목적을 위해 이용될 수 있고, 또 다른 실시예에서, 체커보드 인터리빙에 의해 야기되는 패턴들에 민감한 2D 필터는 그 목적을 위해 이용될 수 있다. 예를 들면, 분리가능한 필터는 가우시안 윈도우로 위에서 주어지는 표준 대역통과 필터를 윈도우(windowing)함으로써 생성될 수 있다. 인터리빙 아티팩트들의 검출을 위한 다른 공간 및 주파수 도메인 기술들이 수직 차원(vertical dimension) 뿐만 아니라, 수평 차원을 고려함으로써 체커보드 인터리빙에서의 불일치 검출에 적응될 수 있다.
또 다른 실시예에서, 불일치 분석은 각각의 뷰(도 5에 도시된 바와 같이)에 대응할 수 있는 이미 이용가능한 참조들로서 예를 들면 디코딩된 픽쳐들을 이용하여 2개의 디-인터리브된 뷰들을 제공하는 방법들에 기초하여 움직임 적응형 또는 움직임 보상에 의해 실행될 수 있다. 보다 큰 움직임 벡터들의 존재 또는 보다 높은 왜곡은 보다 큰 불일치의 존재를 나타낼 수 있다. 상이한 프로세싱이 주어진 이 분석으로 실행될 수 있다. 또 다른 실시예에서, 움직인 추정은 반대 뷰가 뷰들 간의 불일치를 제거한 후에 보간될 현재 뷰 상에 중첩되는 움직임/불일치 보상 단계에 뒤따를 수 있다.
임의의 실시예에서, 불일치 추정이, 2개의 뷰들에 속하는 대응하는 영역들에서의 불일치가 레벨 "LA"로 이뤄진다고 결정하면, 유형 "FA"의 보간 메커니즘이 실행된다. 유사하게, 레벨 "LB", "LC" 등에 대해, 유형 "FB", "FC" 등의 보간 메커니즘들은 개별적으로 적용된다. 불일치의 다수의 미리 결정된 레벨들 각각에 대해, 특정한 대응하는 보간 메커니즘이 이용된다. 일 실시예에서, 보간 메커니즘은 이미지 데이터(예를 들면, 왼쪽 및 오른쪽 뷰들 간의 불일치)의 적어도 하나의 파라미터에 기초하여 조정되는 알고리즘이다.
예로서, 불일치 추정이, 2개의 뷰들 간의 불일치가 낮다고 결정하면, 샘플 필터링 기술들이 디-인터리브된 뷰들을 업-컨버트하는데 이용될 수 있다. 하나의 뷰의 보간을 위한 멀티-가설 방법은 낮은 불일치로 이뤄지는 것으로 알려진 동일 및/또는 이전의 예들에서 반대 뷰로부터의 정보를 이용하여 실행될 수 있다. 도 6에 도시된 바와 같이, 스테레오스코픽 이미지 영역들의 불일치 의존성 필터링의 프로세스는, 불일치가 높지 않을 때, 보간을 위한 멀티-가설 필터(640)를 포함한다. 프로세스는, 예를 들면, 스테레오 뷰(또는 다른) 이미지 영역들의 분석을 포함한다(단계 610). 각각의 영역(루프 620)에서, 높은 불일치가 존재하면, 2D 또는 보다 간단한 필터가 보간을 위해 이용된다(단계 650). 대안적으로, 높은 불일치가 존재하지 않으면, 반대(또는 대안의) 뷰 또는 보다 복잡한 보간을 이용하는 멀티-가설 필터가 이용된다(단계 640).
도 7a에 도시된, 또 다른 실시예에서, 조합된 멀티-가설 필터(710)는 불일치를 결정하는데 이용된다. 높은 불일치 뷰들에서, 멀티-가설 필터링은 불일치의 양과 일치하는 값들을 생성한다. 단계(720)에서, 멀티-가설 결과가 높은 불일치를 나타내면, 2D 또는 다른 필터(단계 740)가 이용될 수 있고, 그 결과가 낮은 불일치를 나타내면, 선택된 최상의 필터가 이용될 수 있다(단계 730). 동일한 패리티의 앞서 보간된 뷰들이 또한 고려된다. 또 다른 실시예에서, 멀티-가설 필터는 불일치를 결정하는데 이용될 수 있고, 또 다른 멀티-가설 필터는 보간하는데 이용될 수 있다.
도 7b는 본 발명의 실시예에 따르는, 멀티-가설 필터 및 불일치 분석을 이용하는 대안의 프로세스를 도시하는 흐름도이다. 루프(750)는 예를 들면 뷰의 영역들을 시험하도록 설정된다. 후보 픽셀 값은 다수의 가설들(755)을 이용하여 결정된다. 가설들의 후보들 또는 픽셀 값 결과들은 예를 들면 또 다른 뷰(예를 들면, 반대 뷰)로부터의 불일치에 의해 분류된다(단계 760). 가장 낮은 불일치 후보가 높은/낮은 불일치(예를 들면, 불일치 임계의 위 또는 아래)에 비교된다(단계 765). 가장 낮은 불일치 후보가 낮은 불일치를 나타내면, 예를 들면, 가장 낮은 이용가능한 불일치 후보들의 조합이 픽셀 값을 결정하는데 이용된다(단계 770). 가장 낮은 불일치 후보가 높은 불일치를 나타내면, 예를 들면, 단일 뷰로부터의 픽셀들을 이용하는 필터(775)가 픽셀 값을 결정하는데 이용된다(단계 775).
도 8a는 본 발명의 실시예에 따르는, 뷰 보간을 위한 일반적인 멀티-가설 필터링을 도시하는 도면이다. 도 8a에서, 멀티-가설 시스템(800)은 예를 들면 현재 뷰, 일시적인 이웃들 등의 다른 성분들, 반대 뷰 중 어느 하나를 포함할 수 있는 임시 정보(Auxiliary Information)(803)와 조합하여 또는 각각 독립적으로 현재 뷰(예를 들면, 체커보드 샘플링된 뷰(801))를 평가하는 에지 분석 및 필터 선택 모듈(edge analysis and filter selection module)(801)을 포함한다. 그 평가는 필터들(804)의 세트를 야기하고, 그 각각은 조합 메커니즘(예를 들면, 조합 가설(804))에 의해 조합되는 보간 결과를 생성하도록 동작한다. 그 조합은 예를 들면 보간된 뷰(806)를 야기하는, 평균, 가중 평균, 또는 선택의 임의의 방식으로 실행될 수 있다.
도 8b는 멀티-가설 보간 필터의 실시예의 예를 도시한다. 도 8b에서, 빈 점선 사각형(815)은 값이 이용가능한 이웃 샘플들을 이용하여 추정될 필요가 있는 포지션(i,j)에서 픽셀을 나타낸다. 이웃 샘플들로 이뤄지는, X 표기된 샘플들은 필터링 전에 이용가능했던 픽셀들이고, X'으로 표기된 샘플들은 이전의 로우들(rows)에서의 필터링으로 인해 이용가능한 픽셀들이다.
또 다른 실시예에서, 이용불가능한 것으로서 도시된 샘플들 모두는 이미 이용가능할 수 있으며, 그것들을 추정하는 사전 필터링 스테이지(pre-filtering stage)로 인한 도는 반복적인 프로세스로 인한 X' 픽셀들로서 나타내지며, 여기에서, 멀티-가설 필터링은 반복적으로 다수의 스테이지들에서 실행된다. 추정될 픽셀의 이웃은 수직(예를 들면, 820), 수평(예를 들면, 830)과 같은 유한 임펄스 응답(FIR) 분리가능한 필터(예를 들면, 1D) 또는 분리가능한 필터(예를 들면, 2D), 또는 직교 이웃들 등으로부터의 추론(extrapolation), 이웃 샘플들(예를 들면 840)과 크로스 필터링하는 직교 보간 필터들(예를 들면, 850/860)을 포함하는 다수의 평행 필터링 단계들을 겪고, 다른 유형들의 필터링으로서 도시된 것이 예로서 이용될 수 있다.
도 8에서 이웃들이 중간 이웃들에 제한되는 것으로서 예시적으로 도시되어 있고, 필터들의 수가 명료성을 위해 제한되어 있음에 유의하자. 하지만, 다른 실시예들에서, 보다 많은 이웃들이 필터들의 보다 큰 불일치 및 보다 큰 지원 사이즈들을 갖는 필터들의 이용을 가능하도록 이용될 수 있다. 또 다른 실시예에서, 이용된 필터 유형들은 필터링된 영역 또는 이미지 내의 에지 방향/세기를 결정하는 사전 에지 분석에 의해 제안되거나 지시될 수 있다. 에지 또는 다른 분석은 예를 들면, 이용된 필터를 선택하는데 있어 한 가지 팩터(factor)일 수 있고/있거나 필터 자체의 팩터일 수 있고 그것에 의해 이용될 수 있다. 에지 분석은 단지 보간되는 현재 컬러 성분으로부터의 정보에 기초할 수 있지만, 그것은 또한, 다른 컬러 성분들로부터의 정보를 이용할 수 있다. 또한, 또 다른 실시예에서, 일시적인 이웃들, 과거 및 미래 양쪽 모두를 이용하는 필터들이 또한 고려될 수 있다(예를 들면, 3D 필터).
또 다른 실시예에서, 보간 프로세스를 위한 움직임 보상된 일시적인 예측변수들을 생성하기 위해 움직임 적응형 또는 움직임 추정 기술들을 이용하는 필터들이 고려될 수 있다. 또 다른 실시예에서, 인페인팅(inpainting), 웨이브렛(wavelet), 컨투어렛(contourlet), 및 밴드렛(bandlet) 업샘플링 기술들과 같은 다른 보간 방식들이 또한, 멀티-가설 필터에서 가설을 생성하는데 이용될 수 있다.
각각의 필터 유형은 예를 들면 픽셀(현재의 예에서, 수직: Xv ij, 수평: Xh ij, 크로스: Xm ij, 대각 다운(diagonal down): Xdd ij, 대각 업: Xdu ij)에 대한 단일의 보간된 값을 리턴한다. 이어서, 선택 프로세스가 이들 가설로 주어진 최종 보간된 값을 결정하도록 실행된다. 예를 들면, 이 선택 프로세스에 대해 이용될 수 있는 방법은 반대 뷰에서 상호-위치된 샘플(co-located sample)인 Oij와 각각의 가설 간의 차 또는 비용/거리를 우선 유도하는 것이다. 특정한 실시예에서, 이 차는 아래와 같이 컴퓨트될 수 있다.
Figure 112011056258248-pct00001
위의 차는 하나의 컬러 성분만을 고려하고, 또는 모든 컬러 성분들이 고려된다. 이 시나리오에서, 위의 차는 Oij에 비교된 가설의 모든 컬러 성분들에 대한 차이를 포함하는 벡터이다.
이어서, 예를 들면, 최소 절대차를 갖는 필터가 예를 들면 최소 연산기(calculator)(870)에 의해 실행되는 픽셀(
Figure 112011056258248-pct00002
)의 보간에 대해 이용하는데 가장 유력한 후보로서 선택된다.
이 예에서, 만약
Figure 112011056258248-pct00003
이 임계치(T1)보다 작으면, 픽셀 값은 반대 뷰(즉, 880에서 도시되는 바와 같이, X'ij = Oij)에서 상호-위치된 샘플로부터 간단히 복제될 수 있다. 그밖에,
Figure 112011056258248-pct00004
이면, 바람직한 실시예에서, 가장 작은 ｜dH ij｜ 에 대응하는 XH ij의 값, 즉
Figure 112011056258248-pct00005
은 885에서 도시된 바와 같이 이용된다. 그밖에, 필터는 890에 도시된 바와 같이, 고정된 2D 보간기에 디폴트(default)한다.
또 다른 실시예에서, 다수의 필터들이 임계치(T2) 아래인 값들을 제공하면, 임계치 아래인 필터들 모두의 XH ij의 평균(mean), 메디안(median), 또는 가중 평균값이 최소 대신에 이용될 수 있다. 그러므로, 다양한 실시예들에서, 최소(예를 들면, MIN 870)는 예를 들면, 다양한 필터 구성들에 대한 임계치 조사(threshold inquiry)일 수 있다.
일 실시예에서, 모든 필터들로부터의 값들은 보간된 값의 통계적인 모델을 설정하는데 이용될 수 있다. 필연적으로 임계치 아래에 있지는 않은 통계적으로 가장 가능성 있는 값(T2)이 보간된 값으로서 선택될 수 있다. 통계적 우도(statistical likelihood)는 사전 에지 분석에 기초하여, 이웃 샘플들에 대해 선택된 필터들에 기초하는 것과 같이 다른 수단에 의해서 뿐만 아니라, 위에서와 같이, 반대 뷰 샘플과 추정된 값 사이의 유사성에 의해 결정될 수 있다. 예를 들면, 이미지 영역의 에지 분석이, 그것이 수평 에지 상에 놓일 가망이 있음을 결정하면, 수평 보간을 실행하는 필터(들)는(은) 정확한 추정치들을 제공할 보다 높은 가능성이 있다.
또 다른 실시예에서, "클러스터된(clustered)" 가능 가능성 있는 값들은 함께 평균화될 수 있어, 평균 추정된 값 또는 반대 뷰에 대해 테스트하기 전의 중간 값을 생성하는데 있어 아웃라이어들(outliers)의 이용을 회피한다. 이용된 필터들의 수는 또한, 이용가능한 시스템 리소스들(파워, 계산 복잡성)에 기초하여 적응될 수 있다. 이용가능한 리소스들이 낮으면, 소수의 샘플 필터들만이 이용될 수 있고, 반면에, 보다 많은 리소스들이 이용가능하면, 보다 복잡한 필터들이 인에이블될 수 있다.
또 다른 실시예에서, 멀티-가설 필터링은 높은 불일치 뷰들이 임의의 경우에, 보다 큰 임계치보다 큰 값들을 생성할 가능성이 있기 때문에, 임의의 사전 불일치 분석 없이 실행될 수 있다. 그러한 시스템은 예를 들면 도 7에 도시된 단계들에 따른다. 또 다른 실시예에서, 이웃하는 픽셀들의
Figure 112011056258248-pct00006
의 값들은 멀티-가설 필터링이 현재 픽셀에 대해 유용한지의 여부를 결정하기 위해, 현재 픽셀에 대한 불일치 추정치로서 이용될 수 있다.
또 다른 실시예에서, 이웃하는 픽셀들의 보간을 위해 선택된 필터들은 현재 픽셀의 보간을 위해 이용된 필터들의 복잡성 및/또는 이용된 필터들에 지시할 수 있다. 예를 들면, 포지션(i,j-2)에서 픽셀들에 대해 선택된 필터가 수직 필터이면, 수직 필터는 또한, 포지션(i,j)에서 픽셀에 대해 테스트되거나, 또는 우선권을 가질 수 있으며,
Figure 112011056258248-pct00007
이면, 몇몇 수직 지향(vertical orientation)(즉, > 45도 및 < 135도)을 갖는 필터들만이 테스트될 필요가 있거나, 또는 다른 필터들이 테스트될 필요는 없다.
또 다른 실시예에서, 앞의 공동-위치된 샘플들이 픽셀들의 현재 이웃에서의 샘플들에 유사하면, 앞의 샘플들에 대해 이용되는 필터들은 현재 샘플들에 대한 예측변수로서 이용될 수 있다. 또 다른 실시예에서, "공동-위치된" 샘플들 및 연관된 필터들은 움직임 보상 후에 결정될 수 있다.
또 다른 실시예에서, 공간적으로 및 일시적으로 이웃하는 영역들의 불일치 추정치들은 현재 영역의 불일치 분석의 복접성을 감소 및/또는 결정하는데 이용될 수 있다. 예를 들면, 움직임 추정 방법들, 주파수 분석, 필터들의 길이 등과 같은 보다 복잡한 알고리즘들을 디스에이블(disable)하고 또는 인에이블(enable)하는 것은 앞의 추정(예를 들면, 앞의 불일치 추정) 및/또는 리소스들의 현재 이용가능성으로부터 요구된 복잡성을 제공한다. 또 다른 실시예에서, 공간적으로 및 일시적으로 이웃하는 영역들의 불일치 추정은 현재 영역에서 실행되는 보간의 복잡성을 결정하는데 이용될 수 있다. 예를 들면, 프레임이 높은 불일치로 되어 있다고 발견되면, 높은 불일치의 가장 나쁜 경우는 다음 N 개의 프레임들에 대해 가정되고, 보다 복잡한 보간 기술들이 이용된다. 프레임이 낮은 불일치로 되어 있다고 발견되면, 낮은 복잡성 보간 기술들이 이용되며, 새로운 불일치 분석이 다음 프레임 상에 실행된다. 보간 복잡성 조정들은 예를 들면, 필터들의 수를 감소시키고, 움직임 보상되거나 움직인 적응형, 웨이브렛들, 밴드렛들(bandlets), 페인팅 등과 같은 복잡한 보간 방법들을 회피함으로써 구현될 수 있다. 보간 복잡성 조정들은 또한, 불일치(또는 다른) 분석 복잡성 조정들로부터 개별적으로 또는 그것들과 함께 행해질 수 있고, 또한, 그것들 보간들 및/또는 불일치 (또는 다른) 분석을 실행하기 위해 이용가능한 리소스들의 현재 양을 고려하여 실행될 수 있다.
동일한 기술은 또한, 이미지의 영역들 내에서 이용될 수 있고, 이웃하는 영역들의 불일치는 불일치 분석이 현재 영역 상에서 실행되는지 아닌지를 결정할 수 있다. 영역은 임의적이거나, 특정한 모양, 예를 들면 정사각형 또는 직사각형 블록, 삼각형, 또는 사이즈, 예를 들면 16x16, 8x8, 및 1x1이다. 이웃하는 영역들과의 공간적 및 일시적인 상관은 또한, 주어진 영역이 보간을 위해 이용되는 필터들을 예측할 뿐만 아니라, 그것의 이웃들과 동일한 불일치 특징들을 가질 가능성이 있는지를 결정하는데 이용될 수 있다. 예시적인 경우에서, 일시적 및 공간적인 이웃들로부터의 픽셀-와이즈 차들(pixel-wise differences)은 이웃들과의 상관의 측정치로서 이용될 수 있다.
도 9는 본 발명의 실시예에 따르는, 홀수 및 짝수 필드들의 분리가능한 필터링을 도시한다. 필터링 기술(900)은 예를 들면, 도 9에서와 같이, 2개의 직교하여 샘플링된 필드들(예를 들면, 왼쪽 뷰 짝수(920) 짝수 및 왼쪽 뷰 홀수(921))로 보간될 뷰를 분리하는 것을 포함한다. 이어서, 각각의 필드(점선으로 된 홀수 및 짝수)는, 직교 지원(rectangular support), 분리가능한 필터들, 에지 적응형 보간 필터들, 이선형(bilinear) 또는 바이큐빅(bicubic) 보간, 인페인팅(inpainting), 웨이브렛 기반의 보간, 밴드렛들, 리지드렛(ridgelets) 등을 갖춘 2D 필터들을 포함하는 다양한 필터링 기술들 중 하나 이상을 이용하여 두 배의 그것의 수직 및 수평 분해능(vertical and horizontal resolution)에 업-컨버트될 수 있다. 왼쪽 홀수 적응형 보간기(930) 및 오른쪽 홀수 적응형 보간기(931)를 통해 도시된 필터링은 스피드에 대해 평행하게 실행되지만, 또한, 예를 들면, 보간들이 실시간으로 실행될 수 있도록 충분한 프로세싱 스피드로 시간 멀티플렉스된 상황들에서 구성될 수 있다. 이어서, 각각의 필드의 결과들이 최종 보간된 뷰를 형성하도록 조합될 수 있다(예를 들면, 재구성된 왼쪽 뷰(950)를 야기하는 조합기(940)).
다수의 기술들이 각각의 필드의 결과들을 조합하도록 이용될 수 있다. 한 가지 방법은 각각의 픽셀에 대한 2개의 보간된 값들의 평균을 취하는 것이다. 또 다른 방법은 각각의 필드에서 값의 정확성에 대한 추정에 기초하여 2개의 보간된 값들을 적응형으로 조합하는 것이다. 도 10은 이것이 어떻게 행해질 수 있는지의 예를 도시하며, 반대 뷰 또는 필드에서 이용가능한 사전 정보에 기초하여 보간 정확성을 결정하는데 이용되는 샘플들을 도시한다.
도 10에서, Xe 및 Xo는 각각 짝수 및 홀수 필드들에서 이용가능한 샘플들을 나타내고, X'e 및 X'o는 각각의 필드에서 보간된 픽셀들을 나타낸다. 각각의 필드(둘러싸인 점)에서 중앙 픽셀이 위치(i,j)에 있다고 가정한다. 이어서, 그 픽셀의 최종 보간된 값은 짝수 및 홀수 필드 보간된 값들의 조합을 이용하여 추정될 필요가 있다. 우선, 위치들(i, j±1) 및 (i±2, j±1)에 대한 샘플들이, 유사하게, 홀수 필드에서가 아닌 짝수 필드에서, 보간 전에 이용가능하고, 위치들(i±1, j) 및 (i±1, j±2)에서의 샘플들이 홀수 필드에서가 아닌 짝수 필드에서, 보간전에 이용가능하다. 그러므로, 본 발명은 주어진 필드에서 보간의 정확성에 대한 추정으로서, 픽셀들의 이웃 내에 있는, 주어진 필드의 보간된 값들과, 반대 필드로부터의 실제 값들 사이의 차의 측정치를 이용할 수 있다. 상기 차는 합 제곱된 차, 합 절대차 등과 같은 다수의 기술들을 이용하여 측정될 수 있다. 이웃 영역은 고정된 윈도우일 수 있고, 또는 각각의 필드의 에지 분석에, 또는 조합된 이미지 영역의 사전 에지 분석에 의존한다. 이웃 영역은 고정된 윈도우일 수 있고, 또는 각각의 필드의 에지 분석 또는 조합된 에지 영역의 사전 에지 분석에 의존한다. 차 및 프로세스는 현재 컬러 성분만을 고려하고, 또는 현재 픽셀에 대응하는 모든 컬러 성분들을 고려한다.
그러므로, 도 10에서, (i,j) 필드들의 보간의 정확성 또는 필드 결과는 예를 들면, 보간에 대한 비교 또는 조합에 의해 결정되고, 또는 Xo(i, j-1) 및 Xo(i, j+1)의 보간으로서, 반대 필드(예를 들면, 필드 Xo(i, j)의 보간)의 값은 예를 들면 Xe(i+1, j) 및 Xe(i-1, j)의 보간 또는 공지된 값인 Xe(i, j)의 보간에 의해 검증될 수 있다. 유사하게는, 공지된 수량들(quantities)(예를 들면, 1030에서 공간적으로 도시된 것들)의 필드 값들이, 반대 필드에서 대응하여 보간된 값들의 검증을 위한 보간 없이 직접 이용될 수 있다.
각각의 필드로부터 보간된 샘플들의 정확성의 추정이 주어지면, 최종 픽셀 값은 각각의 필드로부터 모든 가설들의 가중 조합으로서 형성될 수 있다. 또 다른 실시예에서, 동일한 뷰에서 반대 패리티 필드와의 차들을 측정하는 것에 부가하여, 반대 뷰에서 공동-위치된 픽셀들에 대한 차는, 특별히, 뷰들 간의 불일치가 낮은 것으로 알려지는 경우에, 이용될 수 있다. 또 다른 실시예에서, 위의 추정들에 부가하여, 현재 프레임에서의 보간된 샘플들과, 일시적으로 이웃하는 프레임들에서의 공동-위치된 샘플들 간의 차가 이용될 수 있다. 또 다른 실시예에서, 위의 추정들에 부가하여, 이웃하는 프레임들의 움직임 보상 후의 공동-위치된 샘플들이 이용될 수 있다.
인페인팅은 디-멀티플렉스된 뷰들의 업샘플링을 위해 이용될 수 있는 또 다른 기술이다. 본 발명은 예를 들면 압축된 체커보드 디-멀티플렉스된 뷰들의 업샘플링에 적용되는 디지털 토탈 변화 (TV) 인페인팅 기술(digital total variation (TV) inpainting technique)을 적용하는 것을 포함한다. 이 경우에, 예를 들면, Ω는 이미지 함수(u)가 정의되는 풀 분해능 그리드(full resolution grid)를 나타낸다. Ω0이 이용가능한 픽셀들의 체커보드 패턴에 의해 결정되는 낮은 분해능 서브그리드라고 하자. Nα가 Ω에서 각각의 픽셀(α)에 대해 정의되는 이웃이라고 하자. 이어서, 토탈 변화 방식은 아래 수식으로서 정의되는 에너지(Jλ)를 최소화하는 것을 포함하고,
Figure 112011056258248-pct00008
여기서, ｜∇αu｜가 아래 수식으로서 정의되고,
Figure 112011056258248-pct00009
u0 α는 이용가능한 샘플들(즉, Ω0에서의 샘플들)을 나타낸다. 위의 수식은 적절한 제한을 겪는 토탈 변화(TV)를 최소화하고, 보간된 값들이 샘플들의 원래 알려진 값들에 가깝게 남아 있음을 보장한다. 최소화는 디지털 TV 필터를 반복해서 적용함으로써 달성되며,
Figure 112011056258248-pct00010
u(0)에 대한 초기 게스(intial guess)로 시작한다. 상기 방법이 성가시기 때문에, 본 발명은 알고리즘의 수렴을 가속하기 위해 정확한 초기 게스를 이용하는 것을 제안한다.
일 실시예에서, 초기 게스는 반대 뷰에서 공동-위치된 픽셀들을 포함한다. 또 다른 실시예에서, 초기 게스는 반대 뷰의 불일치 보상된 버전(disparity compensated version)에서 공동-위치된 픽셀들을 포함한다. 또한, 또 다른 실시예에서, 초기 게스는 현재 및 반대 뷰들의 앞에서 디코딩된 이미지로부터 일시적으로 보간함으로써 얻어지는 픽셀들을 이용하여 결정된다. 또 다른 실시예에서, 앞에서 설명된 보간 방법들 중 어느 하나는 초기 게스로서 이용된다. 또 다른 실시예에서, 이미지 이웃은 움직임/불일치 보상으로 또는 보상 없이 동일 또는 반대 뷰로부터 일시적인 이웃들을 포함할 수 있다. 적절한 일시적인 이웃들을 유도하기 위한 움직임 추정은 무엇보다도, 블록 기반, 아핀(affine), 포물선, 및 파라메트릭(parametric)을 포함하여, 조명 보상(illumination compensation)으로 또는 조명 보상 없이 임의의 움직임 모델을 이용한다. 이 애플리케이션에 대해 이용되는 블록 기반의 움직임 추정 프레임워크는 개선된 예측 존형 검색 방식(Enhanced Predictive Zonal Search scheme)을 포함한다.
또 다른 실시예에서, 하나의 초기 게스를 이용하는 대신에, 프로세스는 M 개의 가설들(예를 들면, 병렬로 M개의 가설들)을 이용하여 동작될 수 있다. 예를 들면, 동일 또는 유사한 값으로 얻어지는 가설들은 다음 반복 전에 하나로 붕괴(collapse)될 수 있다. 또한, 일 실시예에서, λ의 값은 체커보드 인터리브된 이미지들의 인코딩에 이용되는 인코딩 파라미터들(예를 들면, 양자화 파라미터들/비트레이트들(bitrates))에 기초하여 결정될 수 있다. 디지털 TV 방법에 부가하여, 바운드된 변화(bounded variation), 베이스 방식들(Bayesian schemes) 등과 같은 인페인팅 방식들은 또한, 반대 뷰에서 픽셀 값들에 대한 지식이 인페인팅 솔루션의 수렴을 개선하는데 이용될 수 있는, 체커보드 샘플링된 그리드로부터 업샘플링의 경우에 디지털 도메인에서 적용될 수 있음에 주의하라.
웨이브렛들, 밴드렛들, 컨투어렛들 등과 같은 주파수 도메인 필터링 기술들은 또한, 체커보드 샘플링된 뷰들의 다운샘플링 및 업샘플링을 위해 이용될 수 있다. 예를 들면, 최소 에일리어싱(minimal aliasing)을 갖는 주파수 도메인에서 다운샘플링 및 업샘플링을 실행하는 직각위상 미러 필터들(quadrature mirror filters)이 개발될 수 있다.
밴드렛 기반의 방법은 위에서 설명된 토탈 변화 기술에 대해 유사하게 구체화될 수 있고, 그 문제점은 제한되지 않은 라그랑지안 최소화(Lagrangian minimization)로서 해결될 수 있음에 유의하자. 반복적인 프로세스는 솔루션을 찾기는 이용된다. 다시, 보다 빠른 수렴을 위해, 프로세스는 반대 뷰 샘플들, 일시적인 이웃들, 움직임 보상된 일시적인 이웃들, 또는 그것들의 임의 조합을 이용하여 초기화될 수 있고, 라그랑지안 파라미터 및 반복 횟수는 인코딩 파라미터들에 기초하여 결정될 수 있다.
또한, 위에서 설명된 필터들의 임의 조합이 이미지/시퀀스의 각각의 영역에 대한 콘텐트 특징들에 의존하는 주어진 이미지/시퀀스를 필터링하는데 이용될 수 있음에 유의해야 한다. 예를 들면, 밴드렛들 및 다른 인페인팅 기술들은 높은 텍스처(texture)의 영역들 및 오브젝트 에지들 중에서 이용될 수 있고, 간단한 멀티-가설 기술들이 낮은 불일치의 영역들 및 평활 영역들에서 이용될 수 있다. 필드 분리된 필터들 상에 적용되는 필터들은 높은 불일치의 영역들에서 이용될 수 있다. 일 실시예에서, 본 발명은 이미지의 영역의 중요한 파라미터를 결정하는 것을 포함한다. 중요한 파라미터는 예를 들면, 영역에서 텍스처의 유형 또는 양일 수 있다. 중요한 파라미터에 기초하여, 필터가 선택된다. 또한, 체커보드 인터리빙 프로세스 전에 이용된 다운샘플링 필터들이 알려지면, 업샘플링 필터들은 다운샘플링 필터들의 파라미터들에 적응될 수 있다.
도면들에서 예시되는 본 발명의 설명하는 바람직한 실시예들에서, 특정한 용어가 명료성을 위해 이용된다. 하지만, 본 발명은 선택된 특정한 용어에 제한되도록 의도되지 않으며, 각각의 특정한 요소가 유사한 방식으로 동작하는 모든 기술적인 등가물들을 포함함을 이해해야 한다.
본 발명의 부분들은 컴퓨터 분야의 당업자에게 명백한 바와 같이, 본 명세서의 기술들에 따라 프로그램된, 편리한 일반적인 목적 또는 특별화된 디지털 컴퓨터 또는 마이크로프로세서를 이용하여 편리하게 구현될 수 있다.
적절한 소프트웨어 코딩은 소프트웨어 분야의 숙련자들에게 명백한 바와 같이, 본 명세서의 기술들에 기초하여 숙련된 프로그래머들에 의해 쉽게 준비될 수 있다. 본 발명은 또한, 본 명세서에 기초하여 기술분야의 숙련자들에게 쉽게 명백해지는 바와 같이, 애플리케이션 특정 집적 회로들의 분비에 의해, 또는 종래의 성분 회로들의 적절한 네트워크를 상호접속시킴으로써 구현될 수 있다.
본 발명은 본 발명의 프로세스들 중 어느 하나를 실행하도록 컴퓨터를 제어하거나, 컴퓨터로 하여금 실행하도록 할 수 있는 저장된 명령들을 갖는 저장 매체(미디어)인 컴퓨터 프로그램 제품을 포함한다. 저장 매체는 플로피 디스크들, 미니 디스크들(MD들), 광학 디스크들, DVD, HD-DVD, 불루-레이(Blue-ray), CD-ROM들, CD 또는 DVD RW+/-, 마이크로 드라이브, 및 자기-광학 디스크들을 포함하는 임의 유형의 디스크들, ROM들, RAM들, EPROM들, EEPROM들, DRAM들, VRAM들, 플래시 메모리 디바이스들(플래시 카드들, 메모리 스틱들(memory sticks), 자기 또는 광학 카드들, SIM 카드들, MEMS, 나노시스템들(분자 메모리 IC들을 포함함), RAID 디바이스들, 원격 데이터 저장/달성/창고, 또는 명령들 및/또는 데이터를 저장하기에 적합한 임의 유형의 미디어 또는 디바이스들을 포함할 수 있지만 그것들에 제한되지 않는다.
컴퓨터 판독가능한 매체(미디어) 중 어느 하나에 저장되는, 본 발명은 일반적은 목적/특별화된 컴퓨터 또는 마이크로프로세서의 하드웨어를 제어하고, 본 발명의 결과들을 이용하여 인간 이용자 또는 다른 메커니즘과 상호작용하도록 컴퓨터 또는 마이크로프로세서를 인에이블하기 위한 소프트웨어를 포함한다. 그러한 소프트웨어는 디바이스 드라이버들, 동작 시스템들, 및 이용자 애플리케이션들을 포함할 수 있지만, 그것에 제한되지 않는다. 궁극적으로, 그러한 컴퓨터 판독가능한 미디어는 상술한 바와 같이, 본 발명을 실행하기 위한 소프트웨어를 포함한다.
일반적인/특별화된 컴퓨터 또는 마이크로프로세서의 프로그래밍 (소프트웨어)에서 포함되는 소프트웨어 모듈은 보간하고, 보간들의 복잡성들을 변화시키고, 영역들을 식별하고, 이미지들 또는 뷰들의 관련된 부분들을 일시적으로 식별 및 보간하고, 이미지들 또는 뷰들의 관련된 부분들 간의 불일치를 결정하고, 보간 방법들 또는 프로세스들을 선택하고, 콘텐트의 임의 부분 또는 보간되는 콘텐트에 관련되는 다른 팩터들에 기초하여 보간 방법들 또는 프로세스들을 수정하고, 예를 들면 여기에서 설명되는 필터 기능 및/또는 그것의 등가물을 구현하는 프로세스들 또는 방법들을 실행하고, 본 발명의 프로세스들에 따르는 결과들의 디스플레이, 저장 또는 통신을 포함하지만 그것들에 제한되지 않는 본 발명의 기술들을 구현한다.
본 발명의 다양한 비제한적인 실시예들은 예 및 설명을 위해 제공된다. 예를 들면, 적어도 하나의 비디오 스트림의 인터리브된 뷰들을 포함하는 데이터 스트림을 수신하는 단계, 픽셀 위치에서 또는 픽셀 위치에 대응하는 영역에서 인터리브된 데이터의 제 1 뷰와 반대 뷰 간의 불일치 양을 결정하는 단계, 및 결정된 불일치 및 각각의 뷰의 특징들에 기초하여 선택된 필터를 이용하여 제 1 뷰의 픽셀 위치에서 픽셀 값을 확립하는 단계를 포함한다. 픽셀 값을 확립하는 단계는 예를 들면, 뷰들 간의 결정된 불일치에 기초하여 선택된 가설들을 갖는 멀티 가설 필터로 필터링하는 것을 포함할 수 있다. 적어도 2개의 뷰들은 예를 들면, 3D 움직임 픽처의 왼쪽 및 오른쪽 채널 뷰들을 포함할 수 있다. 뷰들은 비디오 스트림에서 동일한 장면에 대응하는 2 이상의 뷰들을 포함할 수 있다. 선택된 필터는 보간 필터, 결정된 불일치가 불일치 임계치 위에 있을 때 보간될 뷰로부터 데이터를 이용하는 필터(이용되는 데이터가 일시적인 데이터, 예를 들면 보간될 뷰로부터의 일시적인 데이터를 포함할 수 있음), 불일치가 불일치 임계치에 있거나 그 아래에 있을 때 반대 뷰로부터 데이터를 이용하는 필터, 불일치가 불일치 임계치에 있거나 그 아래에 있을 때 반대 뷰를 이용하는 멀티-가설 필터, 낮은 불일치의 영역 내의 차 필터 및 높은 불일치의 영역 내의 하나의 필터(필터들 중 하나 또는 양쪽 모두가 MCTF(Motion Compensated Temporal Filters)임), 반대 뷰를 이용하는 멀티-가설 필터(및 반대 뉴의 이용은 보간될 뷰 상에서, 반대 뷰로부터 적어도 하나의 픽셀을 포함하는 가중 평균을 이용하도록 필터의 결정의 적어도 일부를 베이싱(basing)하는 하나 이상 포함할 수 있음)를 포함할 수 있고, 멀티-가설 필터는 다수의 이웃하는 픽셀들을 고려하는 필터들의 세트를 포함할 수 있다(하나 이상의 가설들은 이웃하는 픽셀들 상에 적용되는 FIR 필터들로부터 얻어질 수 있음). FIR 필터 자체의 이용은 여러 가지 상이한 방식으로 구현될 수 있고, 여기에서, FIR 필터들은 수평 필터들, 수직 필터들, 수평 또는 수직 외의 방향 필터들, 분리가능한 필터들, 및 분리불가능한 필터들 중 하나 이상을 포함하거나, FIR 필터들은 지원 길이들을 변화시키는 것으로 이뤄질 수 있다. 멀티-가설 필터에서 이용되는 필터들은 예를 들면, 웨이브렛들, 밴드렛들, 컨투어렛들, 및 인페인팅 중 하나 이상을 포함할 수 있다. 멀티-가설 필터는 반대 뷰에서 공동-위치된 픽셀에 기초하여 초기 게스를 포함하는, 반복적인 멀티-저장 필터를 추가로 포함할 수 있다. 한 가지 대안에서, 멀티-가설 필터는 움직임 적응형 및 움직인 보상된 방법들 중 적어도 하나에 기초하여 일시적인 보간에 의해 결정되는 반대 뷰에서 공동-위치된 픽셀에 기초한 초기 게스를 포함하는 반복적인 멀티-스테이지 필터를 포함한다.
멀티-가설 필터는 예를 들면, 수직 필터링, 수평 필터링, 가장 근접한 이웃 필터들, 수평 및 수직 필터링 외의 적어도 하나의 방향 필터링, 및 다른 필터들 중 적어도 2개를 포함하는 것으로 구현될 수 있다. 멀티-가설 필터는 예를 들면, 필터링될 영역의 에지 분석에 기초하여 선택된 필터들, 적어도 하나의 텍스처 또는 변량(variance) 및 필터링될 영역의 움직임 분석에 기초하여 선택된 필터들, 및 필터링될 성분 외의 컬러 성분들에서 필터링될 영역의 움직임 분석, 에지, 텍스처에 기초하여 선택된 필터들 중 어느 하나를 포함하는 것으로서 구현될 수 있다.
다양한 실시예들에서, 필터들 중 어느 하나는 예를 들면, 비디오 스트림 상에 이용되는 코덱 및 데이터 스트림에서의 뷰들의 인터리빙 방식 중 적어도 하나에 의해 야기되는 결점을 해소하도록 특별히 디자인되는 픽셀 이웃을 포함하거나 픽셀 이웃 상에서 동작하는 적어도 하나의 필터, 및 필터링하는 앞의 스테이지로 인해 이용가능하게 되는 이웃하는 픽셀들을 이용하는 적어도 하나의 필터를 포함할 수 있다.
불일치의 양을 결정하는 것은 예를 들면, 멀티-가설 필터를 실행하고, 적어도 일부적으로 반대 뷰에 기초하는 값에 필터의 결과를 비교하고, 인터리버의 특징들에 동조된 수평, 수직 또는 2D (분리가능한, 또는 분리불가능한) 대역통과 필터를 실행하고, 및/또는 4x4 DCT 필터, 8x8 DCT 필터, 아다마르 필터(Hadamard filter), 및 다른 필터들 중 적어도 하나를 실행하는 것 중 어느 하나를 포함할 수 있다.
다양한 실시예들에서, 필터 선택은 예를 들면, 선택된 필터가, 제 1 필터가 제 1 레벨의 불일치의 결정에 기초하여 선택되고, 제 2 필터가 제 2 레벨의 불일치에 기초하여 선택되고, 제 n 필터가 선택되는 제 n 레벨의 불일치 때까지, 불일치의 양에 기초하여 선택되는 것, 필터가 픽셀 위치에 대응하는 영역에서, 에지들, 텍스처들, 및 움직임과 같은 로컬 이미지 특성에 기초하여 선택되는 것, 필터가 픽셀 위치에 대응하는 영역에서 하나 이상의 컬러 성분의 에지들, 텍스처, 및 움직임과 같은 로컬 이미지 특성들에 기초하여 선택되는 것, 선택된 필터가 현재 뷰의 인페인팅, 웨이브렛, 컨투어렛, 및 밴드렛 업샘플링 기술들 중 적어도 하나에 기초하여 보간을 포함하는 것, 선택된 필터가 현재 뷰의 근처 픽셀들의 가중 평균을 포함하는 것, 선택된 필터가 현재 뷰의 픽셀의 적어도 하나의 일시적인 이웃을 이용하는 것, 선택된 필터가 반대 뷰에서 근처 픽셀들을 포함하는 근처 픽셀들의 가중 평균을 포함하는 것, 선택된 픽터가 반대 뷰에서 샘플과 필터의 결과의 비교에 기초하는 것(예를 들면, 반대 뷰에서의 샘플이 예를 들면, 픽셀 값과는 상이한 일시적인 예로부터 공동-위치될 수 있음), 선택된 필터가 제 1 뷰의 픽셀 위치에 대해 반대 뷰에서의 샘플을 복제하는 필터를 포함하는 것 중 어느 하나를 포함할 수 있다.
실시예들 중 어느 하나는 소프트웨어, 펌웨어, 또는 다른 컴퓨터 판독가능한 미디어/매체에서 실현될 수 있고, 상기 방법은 프로세서를 포함하는 디바이스에서 컴퓨터 판독가능한 미디어 상에 저장된 명령들의 세트로 구현되고, 프로세서에서 저장된 명령들의 로딩(loading) 및 실행은 프로세서로 하여금 상기 방법의 단계들을 실행하게 한다.
일 실시예에서, 본 발명은 이미지 데이터의 프레임을 업-컨버트하는 방법으로서, 두 개의 부분들로 업-컨버트될 프레임을 분할하는 단계, 각각의 부분을 업샘플링하는 단계, 및 업샘플링된 프레임을 생성하기 위해 업-샘플링된 부분들을 조합하는 단계를 포함하는 상기 방법을 포함한다. 프레임을 분할하는 단계는 프레임을 디-인터리빙하는 것을 포함할 수 있다.
일반적으로, 인터리브된 프레임 상에서 이용되는, 디-인터리빙 단계는 예를 들면, 로우-로우(row-by-row), 컬럼-컬럼(column-by-column), 짝수-홀수(even-and-odd) 중 하나를 이용하는 것 및 부가적인 부분들로 프레임을 분할하는 다른 디-인터리빙을 포함하는 단계들 중 어느 하나를 통해 실행될 수 있다. 일 실시예에서, 디-인터리빙은 체커보드 디-인터리빙을 포함한다. 일 실시예에서, 디-인터리빙은 컬럼-컬럼에 선택하는 로우-로우를 포함한다.
업샘플링 단계는 각각의 분할된 부분을 원래 분해능과는 상이한 분해능에 대해 업-컨버트하고, 각각의 분할된 부분을 원래 분해능의 2배로 업-컨버트하고, 각각의 분할된 부분을 원래 분해능의 4배로 업-컨버트하는 것을 포함할 수 있고/있거나 직각 보간, 분리가능한 필터들, 에지 적응형 보간, 이선형 보간(bilinear interpolation), 바이큐빅 보간(bicubic interpolation), 반복적인 멀티-스테이지 보간, 및/또는 움직임 적응형 필터들, MCTF, 및 웨이브렛들, 인페인팅, 커브렛들(curvelets), 및 밴드렛들 중 하나 이상에 기초하는 필터들을 지원하는 하나 이상의 필터들을 포함하는 필터들을 포함한다. 일 실시예에서, 업샘플링 단계는 멀티-가설 필터를 포함한다. 멀티-가설 필터는 각각의 필터링된 값의 정확성의 추정에 기초하여 다양한 필터들로부터 필터링된 값들을 적응식으로 조합하는 것을 포함할 수 있다.
업-샘플링된 부분들을 조합하는 단계는 예를 들면, 대응하는 업-샘플링된 값들의 가중 평균의 어느 하나, 및 정확성의 추정에 기초하여 각각의 부분으로부터 보간된 값들을 적응식으로 조합하는 것(보간된 값들의 적응형 조합은 예를 들면, 정확성의 추정에 기초한, 가장 정확한 보간기들로부터 얻어진 값들의 가중 평균을 포함할 수 있음)을 포함한다.
정확성의 추정은 예를 들면, 주어진 필드의 보간된 값들과 대응하는 반대 필드의 실제 값들 간의 차, 주어진 필드의 보간된 값들과 반대 필드의 클러스터된 가장 가능한 값들 간의 차(상기 차는 예를 들면, 합 제곱 차(sum square difference), 합 절대 차, 및 다른 차 기수들을 포함할 수 있음) 중 어느 하나를 포함할 수 있다. 필드들은 예를 들면, 고정된 윈도우 및 에지 분석 중 하나를 통해 결정될 수 있다.
일 실시예에서, 본 발명은 뷰들을 디-인터리빙하는 단계, 및 디지털 토탈 변화 인페인팅 기술을 이용하여 뷰들을 업샘플링하는 단계를 포함하는 방법을 포함하고, 인페인팅 기술의 초기 게스는 디-인터리브된 뷰들 및 반복적인 프로세스 중 적어도 하나로부터 유도되는 초기 게스를 포함한다. 디-인터리브된 뷰들은 예를 들면, 제 1 뷰 및 3D 이미지의 반대 뷰를 포함할 수 있다. 반복적인 프로세스는 맞춤 제한을 겪는 토탈 변화 방식의 최소화를 포함한다. 최소화는 예를 들면, 디지털 토탈 변화 (TV) 필터의 애플리케이션에 의해 실행될 수 있다. TV 필터는 예를 들면 u(0)에 대한 초기 게스로 시작하는 u(n) = F(u(n-1))를 포함할 수 있다. 초기 게스는 예를 들면, 뷰들이 앞서 인터리브된 포맷을 고려하는 게스를 포함할 수 있다. 대안적으로, 초기 게스는 예를 들면, 디-인터리빙 전에 뷰들 상에서 이용되는 코덱을 고려하는 게스, 적어도 하나의 일시적으로 이웃하는 픽셀을 포함하는 게스, 적어도 하나의 공동-위치된 픽셀을 포함하는 게스(공동-위치된 픽셀은 예를 들면, 동일한 뷰의 공동-위치된 일시적인 픽셀, 반대 또는 교호 뷰(opposing or alternate view)에서 공동-위치된 픽셀, 및 반대 또는 교호 뷰에서 공동-위치된 일시적인 픽셀 중 적어도 하나를 포함할 수 있음), 반대 뷰의 불일치 보상된 버전에서 공동-위치된 픽셀들을 포함하는 게스, 반대 뷰의 불일치 보상된 버전에서 적어도 하나의 일시적으로 이웃하는 픽셀들을 포함하는 게스, 현재 뷰 및 반대 뷰 중 적어도 하나에서 픽셀들의 일시적인 보간을 통해 얻어진 픽셀들을 포함하는 게스, 및 보간에 의해 결정되는 초기 게스 중 어느 하나를 포함할 수 있다.
일 실시예에서, 본 발명은 비디오 스트림을 수신하도록 구성된 입력부, 비디오 스트림으로부터 왼쪽 및 오른쪽 이미지들을 추출하고, 콘텐트 적응형 보간에 기초하여 추출된 왼쪽 및 오른쪽 프레임들을 업-샘플링하도록 구성된 프레임 생성기를 포함하는 디스플레이를 포함할 수 있다. 입력은 예를 들면, HDMI 입력을 포함할 수 있고, 비디오 스트림은 HDMI 포맷된 체커보드 인터리브된 3D 이미지 스트림을 포함한다.
또 다른 실시예에서, 본 발명은 이미지의 상이한 뷰들을 업-샘플링하도록 구성된 디바이스를 포함할 수 있고, 콘텐트 적응형 보간기를 포함한다. 콘텐트 적응형 보간기는 예를 들면, 보들 중 하나의 적어도 일부에 대한 보간 프로세스를 결정하기 위해 이용되는 불일치 분석 모듈을 포함할 수 있다. 불일치 분석 모듈은 예를 들면, 조정가능 복잡성을 포함할 수 있고, 뷰들 중 하나의 적어도 일부의 공간적으로 및 일시적으로 이웃하는 영역들 중 적어도 하나의 불일치 추정들이 불일치 분석 모듈의 복잡성 레벨을 설정하는데 이용된다. 콘텐트 적응형 보간기는 또한 조정가능 복잡성을 추가로 포함할 수 있고, 여기에서, 뷰들 중 하나의 적어도 일부의 공간적으로 및 일시적으로 이웃하는 영역들 중 적어도 하나의 불일치 추정들은 콘텐트 적응형 보간기에 의해 실행되는 보간의 복잡성 레벨을 설정하는데 이용된다. 본 발명은 불일치 추정이 임의의 임계치들에, 그 위에, 또는 그 아래에 있을 때, 재량권(discretion)을 추가로 포함할 수 있고, 예를 들면: 불일치 임계치 위일 때, 보간의 복잡성 레벨이 미리 결정된 수의 프레임들(N)에 대한 높은 복잡성으로 설정되고, 불일치 추정이 하나의 영역에서 높은 불일치 임계치 위에 있을 때, 보간의 복잡성 레벨이 그 영역 및 특정된 이웃까지 모든 공간적으로 및/또는 일시적으로 이웃하는 영역들에 대해 높은 복잡성으로 설정되고, 불일치 추정이 낮은 불일치 임계치 아래에 있을 때, 보간의 복잡성 레벨이 미리 결정된 수의 프레임들(M)에 대해 낮은 복잡성으로 설정되고, 불일치 추정이 하나의 영역에서 낮은 불일치 임계치 아래에 있을 때, 보간의 복잡성 레벨이 그 영역 및/또는 특정된 이웃까지 모든 공간적으로 및 일시적으로 이웃하는 영역들에 대해 낮은 복잡성으로 설정되고, 불일치 추정이 하나의 영역에서 특정된 범위 내에 있을 때, 그 영역 및 특정된 이웃까지 모든 공간적 및/또는 일시적으로 이웃하는 영역들에 대한 보간의 복잡성이 불일치 추정에 대응하는 레벨로 설정된다. 또한, 뷰들 중 하나의 적어도 일부에 대한 보간의 복잡성은 대응하는 높거나 낮은 불일치 추정에 기초하여 높음과 낮음 중 하나로 설정될 수 있고, 뷰들 중 하나의 적어도 일부에 대한 보간의 설정된 복잡성은 N개의 프레임들의 부분의 추가적인 불일치 추정들 없이 효과적으로 여전히 남아있을 수 있다.
다양한 실시예들에서, 상이한 뷰들은 예를 들면, 3D 이미지의 왼쪽 및 오른쪽 뷰들, 동일한 장면 및 상이한 장면들의 상이한 뷰들 중 어느 하나를 포함할 수 있다. 또한, 콘텐트 적응형 보간기는 뷰들 양쪽 모두의 분석(뷰들 양쪽 모두의 분석은 예를 들면, 불일치 분석, 예를 들면 뷰들 간의 불일치 분석을 포함할 수 있음)에 기초하여 이미지의 적어도 하나의 뷰를 업-샘플링하도록 이용될 보간 방식을 선택하도록 구성된다. 불일치 분석은 예를 들면, 필터 및 가중 메커니즘, 수평 필터, 수직 필터, 직교 필터, 및 뷰들 상에 이용되는 인코딩 기술에 의해 야기되는 패턴들에 민감한 필터 중 적어도 하나, 뷰들의 움직임 보상 분석 및 움직임 추정 분석 중 적어도 하나을 통해 움직임 벡터들의 스케일(scale)의 결정, 및 동일한 패리티의 앞서 보간된 뷰들의 고려를 포함할 수 있다. 뷰들 간의 낮은 불일치를 갖는 영역의 샘플이 예를 들면 반대 뷰로부터 데이터를 이용하여 업-샘플링될 수 있다.
콘텐트 적응형 보간기는 예를 들면: 제 1 레벨의 불일치가 일어나면, 제 1 보간이 실행되고, 제 2 레벨의 불일치가 일어나면, 제 2 보간이 실행되고, 제 n 레벨의 불일치가 일어나면, 대응하는 제 n 보간이 실행되도록 뷰들 간의 불일치의 레벨에 기초하여 n 보간들 중 하나를 선택하고, 보간되는 픽셀의 영역에서 뷰들 간의 불일치의 레벨에 기초하여 변하는 보간을 시작하도록 구성될 수 있다. 제 1 레벨의 불일치는 낮은 불일치 영역을 포함할 수 있고, 제 1 보간은 뷰들에서 대응하는 픽셀들을 업-컨버트하기 위해 간단한 필터링 기술, 및 보다 높은 불일치에 대한 점진적으로 보다 복잡한 필터링 기술들을 포함할 수 있다.
다양한 실시예들에서, 콘텐트 적응형 보간기는 다수의 스테이지들에서 반복적으로 보간하는 구성을 포함할 수 있다. 보간기의 차후 스테이지들은 초기 스테이지에서 생성된 보간된 데이터를 이용할 수 있다. 콘텐트 적응형 보간기는 보간되는 이미지의 영역에서 에지 분석에 기초하여 선택된 필터 유형들을 이용할 수 있다. 콘텐트 적응형 보간기는 예를 들면, 보간되는 픽셀의 적어도 하나의 일시적인 이웃을 고려할 수 있다. 이용되는 보간의 유형은 예를 들면, 인페인팅, 웨이브렛, 컨투어렛, 및 밴드렛 업샘플링 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 실행되는 보간은 예를 들면, 멀티-가설 보간을 포함할 수 있고, 여기에서, 필터링된 픽셀에 대해 각각의 가설의 결과는 필터링된 픽셀 상에 이용될 필터 기술을 결정하기 위해 반대 뷰에서 공동-위치된 픽셀에 대해 비교된다. 공동-위치된 픽셀과 각각의 가설의 결과의 차는 제 2 임계치에 대해 비교될 수 있고, 다수의 필터들이 임계치 아래의 값들을 제공하면, 아래 임계치 필터 결과들의 산술적인 조합은 보간된 픽셀로서 이용될 수 있다. 산술적인 조합은 예를 들면, 평균 m 및 임계치 아래의 모든 필터들의 가중 평균값 중 하나를 포함할 수 있다. 다양한 실시예들에서, 다음 것들 중 어느 하나가 일어나는데, 공동-위치된 픽셀과 가설의 결과 간의 차가 T1 아랫니면, 공동-위치된 픽셀은 보간된 픽셀로서 복제되고, 또는 공동-위치된 픽셀과 하나 이상의 가설의 결과 간의 차가 제 1 임계치 T1과 제 2 임계치 T2 사이에 있을 때, T1과 T2 간의 최소 차 값이 보간된 픽셀 값에 대해 이용되고, 또는 공동-위치된 픽셀과 하나 이상의 가설의 결과 간의 차가 T2 위이면, 디폴트 2D 필터가 보간될 뷰의 데이터 상에 적용된다.
또 다른 실시예에서, 본 발명은 컴퓨터에 로드될 때, 컴퓨터로 하여금, 3D 움직임 픽처의 인터리브된 왼쪽 및 오른쪽 채널 뷰들을 포함하는 데이터 스트림을 수신하는 단계, 픽셀 위치에서 또는 픽셀 위치에 대응하는 영역에서, 제 1 뷰와 인터리브된 뷰들 중 반대 뷰 간의 불일치의 양을 결정하는 단계, 및 결정된 불일치에 기초하여 선택된 필터를 이용하여 제 1 뷰의 픽셀 위치에서 픽셀 값을 확립하는 단계를 실행하게 하는, 컴퓨터 판독가능한 미디어에 의해 저장된 명령들의 세트 및 컴퓨터 판독가능한 미디어를 포함한다. 여기에서 설명되는 임의의 방법 또는 프로세스는 컴퓨터 판독가능한 미디어 상에 저장된 컴퓨터 명령들의 세트에서 구현될 수 있고, 상기 컴퓨터 명령들은 컴퓨터에 로드될 때, 컴퓨터로 하여금, 상기 방법의 단계들을 실행하게 한다. 컴퓨터 명령들은 상기 컴퓨터 판독가능한 미디어 상에 실행가능한 프로그램으로서 저장되는 컴파일된 컴퓨터 명령들(compiled computer instructions)일 수 있다. 컴퓨터 판독가능한 미디어는 예를 들면, 블루-레이 플레이어의 성분, 및 3D 레디 디스플레이(ready display)의 성분 중 어느 하나일 수 있다.
예들:
EEE(Enumerated Example Embodiment) 제 1 항.
적어도 하나의 비디오 스트림의 보간된 뷰들을 포함하는 데이터 스트림을 수신하는 단계;
픽셀 위치에서 또는 픽셀 위치에 대응하는 영역에서 제 1 뷰와 인터리브된 뷰들의 반대 뷰 간의 불일치의 양을 결정하는 단계; 및
결정된 불일치과 각각의 뷰의 특징들에 기초하여 선택된 필터를 이용하여 제 1 뷰의 픽셀 위치에서 픽셀 값을 확립하는 단계를 포함하는, 방법.
EEE2. 제 1 항에 있어서, 픽셀 값을 확립하는 단계는 뷰들 간의 결정된 불일치에 기초하여 선택된 가설들을 갖는 멀티 가설 필터로 필터링하는 단계를 포함하는, 방법.
EEE3. 제 1 항에 있어서, 뷰들 중 적어도 2개는 3D 움직임 픽처의 왼쪽 및 오른쪽 채널 뷰들을 포함하는, 방법.
EEE4. 제 1 항에 있어서, 뷰들은 비디오 스트림에서 동일한 장면에 대응하는 2 이상의 뷰들을 포함하는, 방법.
EEE5. 제 1 항에 있어서, 필터는 보간 필터를 포함하는, 방법.
EEE6. 제 1 항에 있어서, 선택된 필터는 결정된 불일치가 불일치 임계치 위 일때 보간될 뷰로부터의 데이터만을 이용하는, 방법.
EEE7. 제 6 항에 있어서, 데이터는 보간될 뷰로부터의 일시적인 데이터를 포함하는, 방법.
EEE8. 제 1 항에 있어서, 선택된 필터는 또한, 불일치가 불일치 임계치에 있거나 그 아래일 때 반대 뷰로부터의 데이터를 이용하는, 방법.
EEE9. 제 1 항에 있어서, 선택된 필터는 불일치가 불일치 임계치에 있거나 그 아래일 때 반대 뷰를 이용하는 멀티-가설 필터를 포함하는, 방법.
EEE10. 제 1 항에 있어서, 선택된 필터는 높은 불일치의 영역 내의 하나의 필터를 포함하고, 선택된 필터는 낮은 불일치의 영역 내의 상이한 필터를 포함하는, 방법.
EEE11. 제 10 항에 있어서, 필터들 중 하나 또는 양쪽 모두는 MCTF(Motion Compensated Temporal Filters)인, 방법.
EEE12. 제 10 항에 있어서, 낮은 불일치에서의 필터는 반대 뷰를 이용하는 멀티-가설 필터를 포함하는, 방법.
EEE13. 제 12 항에 있어서, 반대 뷰의 이용은 보간될 뷰 상에서 이용하기 위해 필터의 결정에 대한 적어도 일부를 베이싱(basing)하는 것을 포함하는, 방법.
EEE14. 제 12 항에 있어서, 반대 뷰의 이용은 반대 뷰로부터 적어도 하나의 픽셀을 포함하는 가중 평균을 포함하는, 방법.
EEE15. 제 12 항에 있어서, 멀티-가설 필터는 다수의 이웃하는 픽셀들을 고려하는 필터들의 세트를 포함하는, 방법.
EEE16. 제 15 항에 있어서, 하나 이상의 가설들은 이웃하는 픽셀 상에 적용되는 FIR 필터들로부터 얻어지는, 방법.
EEE17. 제 16 항에 있어서, FIR 필터는 하나 이상의 수평 필터들, 수직 필터들, 수평 또는 수직 외의 방향 필터들, 분리가능한 필터들, 및 분리불가능한 필터들을 포함하는, 방법.
EEE18. 제 17 항에 있어서, FIR 필터들은 변하는 지원 길이들(varying support lengths)로 이뤄질 수 있는, 방법.
EEE19. 제 12 항에 있어서, 멀티-가설 필터는 웨이브렛들, 밴드렛들, 컨투어렛들 및 인페인팅 중 적어도 하나에 기초하여 가설들을 포함하는, 방법.
EEE20. 제 12 항에 있어서, 멀티-가설 필터는 반복적 멀티-스테이지 필터를 포함하고, 반대 뷰에서 공동-위치된 픽셀에 기초하는 초기 게스를 포함하는, 방법.
EEE21. 제 12 항에 있어서, 멀티-가설 필터는 반복적 멀티-스테이지 필터를 포함하고, 움직인 적응형 및 움직인 보상된 방법들 중 적어도 하나에 기초하여 일시적인 보간에 의해 결정되는 반대 뷰에서 공동=위치된 픽셀에 기초하는 초기 게스를 포함하는, 방법.
EEE22. 제 12 항에 있어서, 멀티-가설 필터는 수직 필터링, 수평 필터링, 일시적인 필터링, 이선형 또는 바이큐빅 필터링, 가장 근접한 이웃 필터링, 수평 및 수직 필터링 외의 적어도 하나의 방향 필터링, 및 다른 필터들 중 적어도 2개를 포함하는, 방법.
EEE23. 제 12 항에 있어서, 멀티-가설 필터는 필터링될 영역의 에지 분석에 기초하여 선택되는 필터들을 포함하는, 방법.
EEE24. 제 12 항에 있어서, 멀티-가설 필터는 필터링될 영역의 텍스처 또는 변량 및 움직임 분석 중 적어도 하나에 기초하여 선택되는 필터를 포함하는, 방법.
EEE25. 제 12 항에 있어서, 멀티-가설 필터는 필터링될 성분 외의 컬러 성분들에서 필터링될 영역의 에지, 텍스처, 또는 움직인 분석에 기초하여 선택되는 필터들을 포함하는, 방법.
EEE26. 제 12 항에 있어서, 필터들 중 적어도 하나는 비디오 스트림 상에 이용되는 코덱 및 데이터 스트림에서 뷰들의 인터리빙 방식 중 적어도 하나에 의해 야기되는 결점을 해소하도록 특별히 디자인된 픽셀 이웃을 포함하는, 방법.
EEE27. 제 12 항에 있어서, 필터들 중 적어도 하나는 필터링의 이전 스테이지로 인해 이용가능하게 된 이웃하는 픽셀들을 이용하는, 방법.
EEE28. 제 1 항에 있어서, 불일치의 양을 결정하는 단계는 멀티-가설 필터를 실행하는 단계 및 적어도 일부적으로 반대 뷰에 기초한 값에 필터의 결과를 비교하는 단계를 포함하는, 방법.
EEE29. 제 1 항에 있어서, 불일치의 양을 결정하는 단계는 인터리버의 특징에 동조된 수평, 수직 또는 2D(분리가능한 또는 분리불가능한) 대역통과 필터를 실행하는 단계를 포함하는, 방법.
EEE30. 제 1 항에 있어서, 불일치의 양을 결정하는 단계는 4x4 DCT 필터, 8x8 DCT 필터, 아다마르 필터(Hadamard filter), 및 다른 필터들 중 적어도 하나를 실행하는 단계를 포함하는, 방법.
EEE31. 제 28 항에 있어서, 선택된 필터는 필터들의 세트로부터 선택되는, 방법.
EEE32. 제 31 항에 있어서, 선택된 필터는 불일치의 양에 기초하여 선택되고, 제 1 필터는 제 1 레벨의 불일치의 결정에 기초하여 선택되고, 제 2 필터는 제 2 레벨의 불일치에 기초하여 선택되고, 제 n 번째 필터가 선택되는 제 n 레벨의 불일치까지인, 방법.
EEE33. 제 1 항에 있어서, 필터는 픽셀 위치에 대응하는 영역에서, 에지들, 텍스처들, 및 움직임과 같은 로컬 이미지 특성들에 기초하여 선택되는, 방법.
EEE34. 제 1 항에 있어서, 필터는 픽셀 위치에 대응하는 영역에서, 에지들, 텍스처들 및 하나의 이상의 컬러 성분의 움직임과 같은 로컬 이미지 특성들에 기초하여 선택되는, 방법.
EEE35. 제 1 항에 있어서, 선택된 필터는 현재 뷰의 인페인팅, 웨이브렛, 컨투어렛, 및 밴드렛 업샘플링 기술들 중 적어도 하나에 기초하는 보간을 포함하는, 방법.
EEE36. 제 1 항에 있어서, 선택된 필터는 현재 뷰의 근접한 픽셀들의 가중 평균을 포함하는, 방법.
EEE37. 제 1 항에 있어서, 선택된 필터는 현재 뷰의 픽셀의 적어도 하나의 일시적인 이웃을 이용하는, 방법.
EEE38. 제 1 항에 있어서, 선택된 필터는 반대 뷰에서 근접한 픽셀들을 포함하는 근접한 픽셀들의 가중 평균을 포함하는, 방법.
EEE39. 제 1 항에 있어서, 선택된 필터는 반대 뷰에서의 샘플과 필터의 결과의 비교에 기초하는, 방법.
EEE40. 제 39 항에 있어서, 반대 뷰에서의 샘플은 공동-위치되는, 방법.
EEE41. 제 39 항에 있어서, 반대 뷰에서의 샘플은 픽셀 값과는 상이한 일시적인 예로부터 기인하는, 방법.
EEE42. 제 1 항에 있어서, 선택된 필터는 제 1 뷰의 픽셀 위치에 대해 반대 뷰에서의 샘플을 복제하는 필터를 포함하는, 방법.
EEE43. 제 1 항 내지 제 42 항 중 어느 한 항에 있어서, 상기 방법은 프로세서를 포함하는 디바이스에서 컴퓨터 판독가능한 미디어 상에 저장된 명령들의 세트에서 구현되고, 프로세서에서 저장된 명령들의 로딩 및 실행은 프로세서로 하여금 상기 방법의 단계를 실행하게 하는, 방법.
EEE44. 프로세서 및 컴퓨터 판독가능한 미디어를 포함하는 디바이스로서, 컴퓨터 판독가능한 미디어는 프로세서에 로딩될 때, 프로세서로 하여금 청구항 제 1 항의 단계를 실행하게 하는 저장된 명령들을 갖는, 디바이스.
EEE45. 제 44 항에 있어서, 체커보드 인터리브된 포맷형 3D 비디오 데이터의 입력을 지원하도록 구성된 3D 레디 디스플레이를 포함하는, 디바이스.
EEE46. 이미지 데이터의 프레임을 업-컨버트하는 방법에 있어서,
업-컨버트될 프레임을 두 개의 부분들로 분할하는 단계;
각각의 부분을 업샘플링하는 단계; 및
업-샘플링된 프레임을 생성하기 위해 업-샘플링된 부분들을 조합하는 단계를 포함하는, 방법.
EEE47. 제 46 항에 있어서, 프레임을 분할하는 단계는 프레임을 디-인터리브하는 단계를 포함하는, 방법.
EEE48. 제 47 항에 있어서, 디-인터리브하는 단계는, 로우-로우, 컬럼-컬럼, 짝수-홀수, 및 프레임을 부가적인 부분들로 분할하는 다른 디-인터리빙 중 하나를 이용하여 실행되는, 방법.
EEE49. 제 47 항에 있어서, 디-인터리빙하는 단계는 체커보드 디-인터리빙하는 단계를 포함하는, 방법.
EEE50. 제 47 항에 있어서, 디-인터리브하는 단계는 컬럼-컬럼에 선행하는 로우-로우를 포함하는, 방법.
EEE51. 제 46 항에 있어서, 업샘플링하는 단계는 원래 분해능과는 다른 분해능으로 각각의 분할된 부분을 업-컨버트하는 단계를 포함하는, 방법.
EEE52. 제 46 항에 있어서, 업샘플링하는 단계는 원래 분해능의 2배로, 각각의 분할된 부분을 업-컨버트하는 단계를 포함하는, 방법.
EEE53. 제 46 항에 있어서, 업샘플링하는 단계는 원래 분해능의 4배로 각각의 분할된 부분을 업-컨버트하는 단계를 포함하는, 방법.
EEE54. 제 46 항에 있어서, 업샘플링하는 단계는, 직교 보간, 분리가능한 필터들, 에지 적응형 보간, 이선형 보간, 바이큐빅 보간, 및 반복적 멀티-스테이지 보간 중 적어도 하나를 지원하는 필터를 포함하는, 방법.
EEE55. 제 46 항에 있어서, 업샘플링하는 단계는 멀티-가설 필터를 포함하는, 방법.
EEE56. 제 55 항에 있어서, 멀티-가설 필터는 각각의 필터링된 값의 정확성의 추정에 기초하여, 다양한 필터들로부터 필터링된 값들을 적응식으로 조합하는 단계를 포함하는, 방법.
EEE57. 제 46 항에 있어서, 업샘플링하는 단계는 웨이브렛들, 인페인팅들, 커브렛들, 및 밴드렛들 중 하나 이상에 기초하는 필터들, 움직임 적응형 필터들, 및 MCTF 중 적어도 하나를 지원하는 필터를 포함하는, 방법.
EEE58. 제 46 항에 있어서, 업-샘플링된 부분들을 조합하는 단계는 대응하는 업-샘플링된 값들의 가중 평균을 포함하는, 방법.
EEE59. 제 46 항에 있어서, 업-샘플링된 부분들을 조합하는 단계는 정확성의 추정에 기초하여 각각의 부분으로부터 보간된 값들을 적응식으로 조합하는 단계를 포함하는, 방법.
EEE60. 제 59 항에 있어서, 정확성의 추정은 주어진 필드의 보간된 값들과 대응하는 반대 필드의 실제 값들 간의 차를 포함하는, 방법.
EEE61. 제 59 항에 있어서, 정확성의 추정은 주어진 필드의 보간된 값들과 반대 필드의 클러스터된 가장 가능성있는 값들 간의 차를 포함하는, 방법.
EEE62. 제 59 항 내지 제 61 항 중 어느 한 항에 있어서, 보간된 값들을 적응식으로 조합하는 단계는, 가장 정확한 보간기들로부터 얻어진 값들의 가중 평균을 포함하는, 방법.
EEE63. 제 60 항에 있어서, 상기 차는 합 제곱 차, 합 절대 차, 및 다른 차 기술들을 포함하는, 방법.
EEE64. 제 60 항에 있어서, 필드들은 고정된 윈도우 및 에지 분석 중 적어도 하나를 통해 결정되는, 방법.
EEE65. 뷰들을 디-인터리브하는 단계; 및
디지털 토탈 변화 인페인팅 기술을 이용하여 뷰들을 업샘플링하는 단계를 포함하고,
인페인팅 기술의 초기 게스는, 디-인터리브된 뷰들과 반복적인 프로세스 중 적어도 하나로부터 유도되는 초기 게스를 포함하는, 방법.
EEE66. 제 65 항에 있어서, 디-인터리브된 뷰들은 제 1 뷰와 3D 이미지의 반대 뷰를 포함하는, 방법.
EEE67. 제 65 항에 있어서, 반복적인 프로세스는 필터링 제한을 겪는 토탈 변화 방식(total variation scheme)의 최소화를 포함하는, 방법.
EEE68. 제 67 항에 있어서, 최소화는 디지털 토탈 변화 (TV) 필터의 애플리케이션에 의해 실행되는, 방법.
EEE69. 제 68 항에 있어서, TV 필터는:
u(0)에 대한 초기 게스로 시작하는 u(n) = F(u(n-1))를 포함하는, 방법.
EEE70. 제 65 항에 있어서, 초기 게스는 뷰들이 앞서 인터리브된 포맷을 고려하는, 방법.
EEE71. 제 65 항에 있어서, 초기 게스는 디-인터리빙 전에 뷰들 상에서 이용가능한 코덱을 고려하는, 방법.
EEE72. 제 65 항에 있어서, 초기 게스는 적어도 하나의 일시적으로 이웃하는 픽셀을 포함하는, 방법.
EEE73. 제 65 항에 있어서, 초기 게스는 적어도 하나의 공동-위치된 픽셀을 포함하는, 방법.
EEE74. 제 73 항에 있어서, 공동-위치된 픽셀은 동일한 뷰의 공동-위치된 일시적인 픽셀, 반대 또는 교호 뷰에서의 공동-위치된 픽셀, 및 반대 또는 교호 뷰에서의 공동-위치된 일시적인 필셀 중 적어도 하나를 포함하는, 방법.
EEE75 제 65 항에 있어서, 초기 게스는 반대 뷰의 불일치 보간된 버전에서 공동-위치된 픽셀들을 포함하는, 방법.
EEE76 제 65 항에 있어서, 초기 게스는 반대 뷰의 불일치 보상된 버전에서 적어도 하나의 일시적으로 이웃하는 픽셀들을 포함하는, 방법.
EEE77 제 65 항에 있어서, 초기 게스는 현재 뷰와 반대 뷰 중 적어도 하나에서 픽셀들의 일시적인 보간을 통해 얻어진 픽셀들을 포함하는, 방법.
EEE78 제 65 항에 있어서, 초기 게스를 결정하기 위해 보간하는 단계를 추가로 포함하는, 방법.
EEE79. 비디오 스트림을 수신하도록 구성된 입력부;
비디오 스트림으로부터 왼쪽 및 오른쪽 이미지들을 추출하고, 콘텐트 적응형 보간에 기초하여 추출된 왼쪽 및 오른쪽 프레임들을 업-샘플링하도록 구성된 프레임 생성기를 포함하는, 디스플레이.
EEE80. 제 79 항에 있어서, 입력은 HDMI를 포함하고, 비디오 스트림은 HDMI 포맷된 체커보드 인터리브된 3D 이미지 스트림을 포함하는, 디스플레이.
EEE81. 이미지의 상이한 뷰들을 업-샘플링하도록 구성되고, 콘텐트 적응형 보간기를 포함하는, 디바이스.
EEE82. 제 81 항에 있어서, 콘텐트 적응형 보간기는 뷰들 중 하나의 적어도 일부에 대한 보간 프로세스를 결정하도록 이용되는 불일치 분석 모듈을 포함하는, 디바이스.
EEE83. 제 82 항에 있어서, 불일치 분석 모듈은 조정가능한 복잡성을 포함하고, 뷰들 중 하나의 적어도 일부의 공간적으로 및 일시적으로 이웃하는 영역들의 적어도 하나의 불일치 추정들은 불일치 분석 모듈의 복잡성 레벨을 설정하도록 이용되는, 디바이스.
EEE84. 제 82 항에 있어서, 콘텐트 적응형 보간기는 조정가능한 복잡성을 포함하고, 뷰들 중 하나의 적어도 일부의 공간적으로 및 일시적으로 이웃하는 영역들 중 적어도 하나의 불일치 추정들이 콘텐트 적응형 보간기에 의해 실행되는 보간의 복잡성 레벨을 설정하도록 이용되는, 디바이스.
EEE85. 제 84 항에 있어서, 불일치 추정이 불일치 임계치 위일 때, 보간의 복잡성 레벨은 미리 결정된 수의 프레임들(N)에 대해 높은 복잡성으로 설정되는, 디바이스.
EEE86. 제 84 항에 있어서, 불일치 추정이 하나의 영역에서 높은 불일치 임계치 위일 때, 보간의 복잡성 레벨은 그 영역 및 특정된 이웃까지 모든 공간적으로 및/또는 일시적으로 이웃하는 영역들의 높은 복잡성으로 설정되는, 디바이스.
EEE87. 제 84 항에 있어서, 불일치 추정이 낮은 불일치 임계치 아래일 때, 보간의 복잡성 레벨은 미리 결정된 수의 프레임들(M)에 대해 낮은 복잡성으로 설정되는, 디바이스.
EEE88. 제 84 항에 있어서, 불일치 추정이 하나의 영역에서 낮은 불일치 임계치 아래일때, 보간의 복잡성 레벨은 그 영역 및/또는 특정된 이웃까지 모든 공간적으로 및 일시적으로 이웃하는 영역들에 대해 낮은 복잡성으로 설정되는, 디바이스.
EEE89. 제 84 항에 있어서, 불일치 추정이 하나의 영역 내의 특정된 영역에 있을 때, 그 영역 및 특정된 이웃까지 모든 공간적으로 및/또는 일시적으로 이웃하는 영역들에 대한 보간의 복잡성은 불일치 추정에 대응하는 레벨로 설정되는, 디바이스.
EEE90. 제 84 항에 있어서, 뷰들 중 하나의 적어도 일부에 대한 보간의 복잡성은 대응하는 높거나 낮은 불일치 추정에 기초하여 높음 및 낮음 중 하나로 설정되고, 뷰들 중 하나의 적어도 일부에 대한 보간의 설정된 복잡성은 N개의 프레임들의 부분의 추가적인 불일치 추정들 없이 효과적으로 남아 있는, 디바이스.
EEE91. 제 79 항에 있어서, 상이한 뷰들은 3D 이미지의 왼쪽 및 오른쪽 뷰들을 포함하는, 디바이스.
EEE92. 제 79 항에 있어서, 상이한 뷰들은 동일한 장면의 상이한 뷰들을 포함하는, 디바이스.
EEE93. 제 79 항에 있어서, 상이한 뷰들은 상이한 장면들을 포함하는, 디바이스.
EEE94. 제 79 항에 있어서, 콘텐트 적응형 보간기는 뷰들 양쪽 모두의 분석에 기초하여 이미지의 적어도 하나의 뷰를 업-샘플링하기 위해 이용될 보간 방식을 선택하도록 구성되는, 디바이스.
EEE95. 제 94 항에 있어서, 뷰들 양쪽 모두의 분석은 불일치 분석을 포함하는, 디바이스.
EEE96. 제 95 항에 있어서, 뷰들 간의 낮은 불일치를 갖는 영역에서의 샘플은 반대 뷰로부터의 데이터를 이용하여 업-샘플링되는, 디바이스.
EEE97. 제 95 항에 있어서, 불일치 분석은 필터 및 가중 메커니즘을 포함하는, 디바이스.
EEE98. 제 95 항에 있어서, 불일치 분석은 수평 필터, 수직 필터, 직교 필터, 및 뷰들 상에 이용되는 인코딩 기술에 의해 야기되는 패턴들에 민감한 필터 중 적어도 하나를 포함하는, 디바이스.
EEE99. 제 95 항에 있어서, 불일치 분석은 움직임 추정 분석 및 뷰들 간의 움직임 보상 분석 중 적어도 하나를 통해 움직임 벡터들의 스케일의 결정을 포함하는, 디바이스.
EEE100. 제 81 항에 있어서, 콘텐트 적응형 보간기는, 제 1 레벨의 불일치가 일어나면, 제 1 보간이 실행되고, 제 2 레벨의 불일치가 일어나면, 제 2 보간 프로세스가 실행되고, 제 n 레벨의 불일치가 일어나면, 대응하는 제 n 보간 프로세스가 실행되도록, 뷰들 간의 불일치의 레벨에 기초하여 n 보간들 중 하나를 선택하는, 디바이스.
EEE101. 제 81 항에 있어서, 콘텐트 적응형 보간기는 보간되는 픽셀의 영역에서 뷰들 간의 불일치의 레벨에 기초하여 변하는 보간을 시작하는, 디바이스.
EEE102. 제 100 항에 있어서, 제 1 레벨의 불일치는 낮은 불일치 영역을 포함하고, 제 1 보간은 뷰들에서 대응하는 픽셀들을 업-컨버트하기 위해 간단한 필터링 기술을 포함하고, 점진적으로 보다 복잡한 필터링 기술들이 보다 높은 불일치의 영역에 대해 이용되는, 디바이스.
EEE103. 제 95 항에 있어서, 불일치 분ㅅ헉은 동일한 패리티의 앞서 보간된 뷰들을 고려하는, 디바이스.
EEE104. 제 81 항에 있어서, 뷰들 양쪽 모두의 분석은 멀티-가설 분석을 포함하는, 디바이스.
EEE105. 제 81 항에 있어서, 콘텐트 적응형 보간기는 다수의 스테이지들에서 반복적으로 보간하는, 디바이스.
EEE106. 제 105 항에 있어서, 차후 스테이지는 초기 스테이지에서 생성되는 보간된 데이터를 이용하는, 디바이스.
EEE107. 제 81 항에 있어서, 콘텐트 적응형 보간기는 보간되는 이미지의 영역에서 에지 분석에 기초하여 선택되는 필터 유형들을 이용하는, 디바이스.
EEE108. 제 81 항에 있어서, 콘텐트 적응형 보간기는 보간되는 픽셀의 적어도 하나의 일시적인 이웃을 고려하는, 디바이스.
EEE109. 제 81 항에 있어서, 이용된 보간 유형들은 인페인팅, 웨이브렛, 컨투어렛, 및 밴드렛 업샘플링 중 적어도 하나를 포함하는, 디바이스.
EEE110. 제 81 항에 있어서, 보간은 멀티-가설 보간을 포함하고, 필터링된 픽셀에 대해 각각의 가설의 결과는 필터링된 픽셀 상에 이용될 필터 기술을 결정하기 위해 반대 뷰에서 공동-위치된 픽셀에 비교되는, 디바이스.
EEE111. 제 110 항에 있어서, 각각의 가설의 결과와 공동-위치된 픽셀 간의 차는 제 2 임계치에 비교되고, 다수의 필터들이 임계치 아래 값을 제공하면, 아래 임계치 필터 결과들의 산술적인 조합은 보간된 픽셀로서 이용되는, 디바이스.
EEE112. 제 111 항에 있어서, 산술적인 조합은 평균, 임계치 아래 모든 필터들의 가중 평균 값 중 하나를 포함하는, 디바이스.
EEE113. 제 110 항에 있어서, 가술의 결과와 공동-위치된 픽셀 간의 차가 T1아래 일 때, 공동-위치된 픽셀은 보간된 픽셀로서 복제되는, 디바이스.
EEE114. 제 110 항에 있어서, 하나 이상의 가설들의 결과들과 공동-위치된 픽셀 간의 차가 제 1 임계치(T1)와 제 2 임계치(T2) 사이에 있을 때, T1과 T2 간의 최소 차 값은 보간된 픽셀 값에 대해 이용되는, 디바이스.
EEE115. 제 110 항에 있어서, 하나 이상의 가설들의 결과와 공동-위치된 픽셀 간의 차가 T2 위일 때, 디폴트 2D 필터가 보간될 뷰의 데이터 상에 적용되는, 디바이스.
EEE116. 컴퓨터에 로딩될 때, 컴퓨터로 하여금:
3D 움직임 픽처의 보간된 왼쪽 및 오른쪽 채널 뷰들을 포함하는 데이터 스트림을 수신하는 단계;
픽셀 위치에서 또는 픽셀 위치에 대응하는 영역에서 인터리브된 뷰들의 반대 뷰와 제 1 뷰 간의 불일치 양을 결정하는 단계; 및
결정된 불일치에 기초하여 선택된 필터를 이용하여 제 1 뷰의 픽셀 위치에서 픽셀 값을 확립하는 단계를 실행하게 하는, 컴퓨터 판독가능한 미디어 및 컴퓨터 판독가능한 미디어에 의해 저장되는 명령들의 세트.
EEE117. 제 116 항에 있어서, 상기 방법은 컴퓨터 판독가능한 미디어 상에 저장된 컴퓨터 명령들의 세트에서 구현되고,
상기 컴퓨터 명령들은 컴퓨터에 로딩될 때, 컴퓨터로 하여금 상기 방법의 단계들을 실행하게 하는, 방법.
EEE118. 제 117 항에 있어서, 상기 컴퓨터 명령들은 상기 컴퓨터 판독가능한 미디어 상에 실행가능한 프로그램으로서 저장되는 컴파일된 컴퓨터 명령들인, 방법.
EEE119. 제 116 항에 있어서, 컴퓨터 판독가능한 미디어는 블루-레이 플레이어의 성분인, 컴퓨터 판독가능한 미디어.
EEE120. 제 116 항에 있어서, 컴퓨터 판독가능한 미디어는 3D 레디 디스플레이의 성분인, 컴퓨터 판독가능한 미디어.
본 발명은 본 발명 및 그것의 등가물들의 요소 또는 특징의 어느 하나를 적절히 포함하고, 그것으로 구성되거나, 필수적으로 구성될 수 있다. 또한, 여기에서 예시적으로 설명되는 본 발명은 임의여기에서 특별히 설명되거나 설명되지 않는 임의 요소의 부재로 실시될 수 있다. 명백히, 본 발명의 다수의 수정예들 및 변형예들이 위의 기술들로 가능하다. 그러므로, 첨부된 청구범위의 범위 내에서, 본 발명이 여기에서 특별히 설명되는 것으로서 실시될 수 있음을 이해해야 한다.
915: 직교 디-인터리버 930, 931: 적응형 보간기
940: 조합기

Claims (19)

  1. 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법에 있어서,
    3D 비디오 스트림의 인터리브된 왼쪽 및 오른쪽 채널 뷰들을 포함하는 데이터 스트림을 수신하는 단계;
    상기 왼쪽 및 오른쪽 채널 뷰들을 추출하기 위해 상기 3D 비디오 스트림을 디-인터리브하는 단계; 및
    상기 왼쪽 및 오른쪽 채널 뷰들을 업-샘플링하는 단계를 포함하며;
    상기 왼쪽 및 오른쪽 채널 뷰들을 업-샘플링하는 단계는:
    픽셀 위치에서 또는 상기 픽셀 위치에 대응하는 영역에서 상기 왼쪽 및 오른쪽 채널 뷰들 사이의 불일치 양을 결정하는 단계; 및
    상기 왼쪽 및 오른쪽 채널 뷰들 중 하나에서의 상기 픽셀 위치에서 미싱 픽셀 값을 보간하기 위해, 필터들의 세트로부터 적어도 하나의 필터를 선택하는 단계를 포함하고,
    상기 필터들의 세트로부터의 상기 필터들은 상이한 보간 방식들에 대응하고,
    상기 적어도 하나의 필터는 적어도 상기 결정된 불일치에 기초하여 결정되며, 상기 결정된 불일치가 불일치 임계값 또는 그 미만에 있을 때, 상기 적어도 하나의 선택된 필터가 뷰들 양쪽 모두의 데이터로부터 또는 단지 다른 뷰의 데이터로부터 상기 미싱 픽셀 값을 보간하고, 상기 결정된 불일치가 상기 불일치 임계값을 초과할 때, 상기 적어도 하나의 선택된 필터가 단지 보간될 상기 뷰의 데이터로부터 상기 미싱 픽셀 값을 보간하는, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 결정된 불일치가 불일치 임계값 또는 그 미만에 있을 때, 상기 적어도 하나의 선택된 필터는 단지 다른 뷰의 데이터로부터 상기 미싱 픽셀 값을 보간하는, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  3. 제 1 항에 있어서,
    보간될 뷰로부터의 데이터는 보간될 뷰로부터의 시간적 데이터(temporal data)를 포함하는, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 하나 이상의 선택된 필터들은 MCTF(Motion Compensated Temporal Filters)인, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 필터들의 세트는 다수의 이웃하는 픽셀들을 고려하는 필터를 포함하는, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 결정된 불일치가 상기 불일치 임계값 또는 그 미만에 있을 때 선택되는 적어도 하나의 필터는 상기 이웃하는 픽셀들 상에 적용된 FIR 필터(Finite Impulse Response filter)인, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  7. 제 1 항에 있어서,
    상기 결정된 불일치가 상기 불일치 임계값 또는 그 미만에 있을 때 선택되는 적어도 하나의 필터는 반복적 멀티-스테이지 필터이고, 상기 반복적 멀티-스테이지 필터는 움직임 적응 및 움직임 보상 방법들 중 적어도 하나에 기초하여 시간적 보간에 의해 결정된 다른 뷰에서의 공동-위치된 픽셀에 기초한 초기 게스(initial guess)를 포함하는, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  8. 제 1 항에 있어서,
    상기 필터들 중 적어도 하나는 상기 데이터 스트림에서의 상기 뷰들의 인터리빙 방식(interleaving scheme) 및 상기 비디오 스트림 상에 이용되는 코덱 중 적어도 하나에 의해 야기되는 결점을 해소하도록 구성되는, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 방법.
  9. 이미지의 상이한 뷰들을 업-샘플링하기 위해 구성되고 콘텐트 적응형 보간기를 포함하는 디바이스에 있어서,
    상기 콘텐트 적응형 보간기는 상기 이미지의 제 1 뷰 및 제 2 뷰의 분석에 기초하여 상기 이미지의 적어도 제 1 뷰를 업-샘플링하기 위해 이용될 적어도 하나의 보간 방식을 선택하도록 구성되고,
    상기 콘텐트 적응형 보간기는 픽셀 위치에서 또는 상기 픽셀 위치에 대응하는 영역에서 상기 제 1 뷰 및 상기 제 2 뷰 사이의 결정된 불일치 양에 적어도 기초하여 상기 픽셀 위치에서의 미싱 픽셀 값을 보간하기 위하여 복수의 상이한 보간 방식 중에서 보간 방식을 결정하는데 이용되는 불일치 분석 모듈을 포함하며,
    상기 결정된 불일치가 불일치 임계값 또는 그 미만에 있을 때, 상기 콘텐트 적응형 보간기는 뷰들 양쪽 모두의 데이터로부터 또는 단지 제 2 뷰의 데이터로부터 상기 제 1 뷰의 미싱 픽셀 값을 보간하는 보간 방식을 결정하고, 상기 결정된 불일치가 상기 불일치 임계값을 초과할 때, 상기 콘텐트 적응형 보간기는 단지 상기 제 1 뷰의 데이터로부터 상기 제 1 뷰에서의 상기 미싱 픽셀 값을 보간하는 보간 방식을 결정하는, 이미지의 상이한 뷰들을 업-샘플링하기 위해 구성되고 콘텐트 적응형 보간기를 포함하는 디바이스.
  10. 제 1 항 내지 제 8 항 중 어느 한 항에 청구된 바와 같은 단계들을 실행하도록 구성된, 콘텐트 적응형 보간에 기초하여 이미지의 상이한 뷰들을 업-샘플링하기 위한 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020117017058A 2008-12-25 2009-12-22 업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성 KR101273232B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14088608P 2008-12-25 2008-12-25
US61/140,886 2008-12-25
PCT/US2009/069132 WO2010075346A1 (en) 2008-12-25 2009-12-22 Reconstruction of de-interleaved views, using adaptive interpolation based on disparity between the views for up-sampling

Publications (2)

Publication Number Publication Date
KR20110106398A KR20110106398A (ko) 2011-09-28
KR101273232B1 true KR101273232B1 (ko) 2013-06-11

Family

ID=41786447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117017058A KR101273232B1 (ko) 2008-12-25 2009-12-22 업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성

Country Status (8)

Country Link
US (1) US8605782B2 (ko)
EP (1) EP2371138B1 (ko)
JP (1) JP5159959B2 (ko)
KR (1) KR101273232B1 (ko)
CN (1) CN102265622B (ko)
DK (1) DK2371138T3 (ko)
ES (1) ES2395363T3 (ko)
WO (1) WO2010075346A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8619123B2 (en) 2010-01-20 2013-12-31 Kabushiki Kaisha Toshiba Video processing apparatus and method for scaling three-dimensional video
CN102742269B (zh) 2010-02-01 2016-08-03 杜比实验室特许公司 处理图像或图像序列的样本、后处理已解码图像的方法
WO2011132404A1 (ja) * 2010-04-20 2011-10-27 パナソニック株式会社 ３ｄ映像記録装置及び３ｄ映像信号処理装置
US9030536B2 (en) 2010-06-04 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for presenting media content
US8640182B2 (en) 2010-06-30 2014-01-28 At&T Intellectual Property I, L.P. Method for detecting a viewing apparatus
US8593574B2 (en) 2010-06-30 2013-11-26 At&T Intellectual Property I, L.P. Apparatus and method for providing dimensional media content based on detected display capability
US9787974B2 (en) 2010-06-30 2017-10-10 At&T Intellectual Property I, L.P. Method and apparatus for delivering media content
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
US8918831B2 (en) 2010-07-06 2014-12-23 At&T Intellectual Property I, Lp Method and apparatus for managing a presentation of media content
US9049426B2 (en) * 2010-07-07 2015-06-02 At&T Intellectual Property I, Lp Apparatus and method for distributing three dimensional media content
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
ES2561078T3 (es) * 2010-07-15 2016-02-24 Ge Video Compression, Llc Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
EP2596635B1 (en) 2010-07-19 2020-05-20 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
US9560406B2 (en) 2010-07-20 2017-01-31 At&T Intellectual Property I, L.P. Method and apparatus for adapting a presentation of media content
US9232274B2 (en) 2010-07-20 2016-01-05 At&T Intellectual Property I, L.P. Apparatus for adapting a presentation of media content to a requesting device
US9032470B2 (en) 2010-07-20 2015-05-12 At&T Intellectual Property I, Lp Apparatus for adapting a presentation of media content according to a position of a viewing apparatus
PL2596637T3 (pl) * 2010-07-21 2021-12-13 Dolby Laboratories Licensing Corporation Systemy i sposoby dostarczania wielowarstwowego wideo zgodnego z ramką
US8994716B2 (en) 2010-08-02 2015-03-31 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US8438502B2 (en) 2010-08-25 2013-05-07 At&T Intellectual Property I, L.P. Apparatus for controlling three-dimensional images
WO2012037713A1 (en) * 2010-09-20 2012-03-29 Mediatek Singapore Pte. Ltd. Method for performing display management regarding three-dimensional video stream, and associated video display system
US8947511B2 (en) 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
JP2012089931A (ja) 2010-10-15 2012-05-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20120236115A1 (en) * 2011-03-14 2012-09-20 Qualcomm Incorporated Post-filtering in full resolution frame-compatible stereoscopic video coding
JP5550603B2 (ja) * 2011-06-07 2014-07-16 株式会社東芝 映像処理装置及び映像処理方法並びにプログラム
US9030522B2 (en) 2011-06-24 2015-05-12 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US9292905B2 (en) * 2011-06-24 2016-03-22 Thomson Licensing Method and device for processing of an image by regularization of total variation
US9602766B2 (en) 2011-06-24 2017-03-21 At&T Intellectual Property I, L.P. Apparatus and method for presenting three dimensional objects with telepresence
US9445046B2 (en) 2011-06-24 2016-09-13 At&T Intellectual Property I, L.P. Apparatus and method for presenting media content with telepresence
US8947497B2 (en) 2011-06-24 2015-02-03 At&T Intellectual Property I, Lp Apparatus and method for managing telepresence sessions
US20130004071A1 (en) * 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
US8587635B2 (en) 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
WO2013133627A1 (ko) * 2012-03-06 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법
JP5953916B2 (ja) * 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9648347B1 (en) * 2012-06-14 2017-05-09 Pixelworks, Inc. Disparity postprocessing and interpolation for motion estimation and motion correction
US10091483B2 (en) * 2012-06-25 2018-10-02 Thomson Licensing Method and device for temporal filtering of disparity maps
US20140072048A1 (en) * 2012-09-13 2014-03-13 Samsung Electronics Co., Ltd Method and apparatus for a switchable de-ringing filter for image/video coding
CN103686097B (zh) * 2012-09-25 2017-02-08 深圳市赛格导航科技股份有限公司 一种视频解交织的方法
WO2014078068A1 (en) * 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
KR101528683B1 (ko) * 2013-11-29 2015-06-15 영산대학교산학협력단 과도시차 객체 검출방법
US20170230612A1 (en) * 2016-02-04 2017-08-10 Shane Ray Thielen Adaptive resolution encoding for streaming data
CN108460795A (zh) * 2018-03-05 2018-08-28 成都通甲优博科技有限责任公司 倒金字塔式双目立体匹配方法及系统
WO2022183358A1 (zh) 2021-03-02 2022-09-09 京东方科技集团股份有限公司 视频图像去交错方法和视频图像去交错装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117637A1 (en) 2002-04-09 2005-06-02 Nicholas Routhier Apparatus for processing a stereoscopic image stream
US20060082574A1 (en) 2004-10-15 2006-04-20 Hidetoshi Tsubaki Image processing program for 3D display, image processing apparatus, and 3D display system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0631444B1 (en) 1992-03-03 1998-12-23 Kabushiki Kaisha Toshiba Time-varying image encoder
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US7202908B2 (en) * 2002-09-04 2007-04-10 Darien K. Wallace Deinterlacer using both low angle and high angle spatial interpolation
US7154557B2 (en) 2003-02-11 2006-12-26 Texas Instruments Incorporated Joint pre-/post-processing approach for chrominance mis-alignment
US20130107938A9 (en) 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
US8638862B2 (en) 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8228994B2 (en) * 2005-05-20 2012-07-24 Microsoft Corporation Multi-view video coding based on temporal and view decomposition
US7304597B1 (en) 2006-05-26 2007-12-04 Lecroy Corporation Adaptive interpolation for use in reducing signal spurs
KR100801968B1 (ko) * 2007-02-06 2008-02-12 광주과학기술원 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더
KR101450670B1 (ko) * 2007-06-11 2014-10-15 삼성전자 주식회사 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
JP5577334B2 (ja) 2008-07-20 2014-08-20 ドルビー ラボラトリーズ ライセンシング コーポレイション 立体ビデオ配信システムのエンコーダ最適化
JP5235035B2 (ja) * 2008-09-23 2013-07-10 ドルビー ラボラトリーズ ライセンシング コーポレイション チェッカーボード多重化したイメージデータのエンコーディング構造及びデコーディング構造

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117637A1 (en) 2002-04-09 2005-06-02 Nicholas Routhier Apparatus for processing a stereoscopic image stream
US20060082574A1 (en) 2004-10-15 2006-04-20 Hidetoshi Tsubaki Image processing program for 3D display, image processing apparatus, and 3D display system

Also Published As

Publication number Publication date
WO2010075346A1 (en) 2010-07-01
KR20110106398A (ko) 2011-09-28
CN102265622B (zh) 2014-01-22
ES2395363T3 (es) 2013-02-12
DK2371138T3 (da) 2012-12-17
US20110254921A1 (en) 2011-10-20
EP2371138A1 (en) 2011-10-05
CN102265622A (zh) 2011-11-30
US8605782B2 (en) 2013-12-10
EP2371138B1 (en) 2012-10-24
JP5159959B2 (ja) 2013-03-13
JP2012513728A (ja) 2012-06-14

Similar Documents

Publication Publication Date Title
KR101273232B1 (ko) 업―샘플링을 위한 뷰들 간의 불일치에 기초하여 적응형 보간을 이용하는, 디―인터리브된 뷰들의 재구성
US10827158B2 (en) Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications
US9241160B2 (en) Reference processing using advanced motion models for video coding
JP5535625B2 (ja) 適応的参照フィルタリングの方法及び装置
US8345971B2 (en) Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
RU2518435C2 (ru) Оптимизация кодера в системах доставки стереоскопического видео
WO2010093430A1 (en) System and method for frame interpolation for a compressed video bitstream
CN115486068A (zh) 用于视频编码中基于深度神经网络的帧间预测的方法和设备
Zhang et al. Spatial-temporal color video reconstruction from noisy CFA sequence
Lee et al. Method and architecture design for motion compensated frame interpolation in high-definition video processing
Kokaram et al. Twenty years of Frame Interpolation for Retiming in the Movies
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
KR20130091500A (ko) 깊이 영상 처리 장치 및 방법
Park et al. Ho-Cheon Wey

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160525

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170526

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190529

Year of fee payment: 7