KR20140029454A - 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템 - Google Patents

입체 비디오 신호를 디코딩하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20140029454A
KR20140029454A KR1020137030677A KR20137030677A KR20140029454A KR 20140029454 A KR20140029454 A KR 20140029454A KR 1020137030677 A KR1020137030677 A KR 1020137030677A KR 20137030677 A KR20137030677 A KR 20137030677A KR 20140029454 A KR20140029454 A KR 20140029454A
Authority
KR
South Korea
Prior art keywords
image
decoding
images
stereoscopic
composite
Prior art date
Application number
KR1020137030677A
Other languages
English (en)
Inventor
마티아스 라압스
Original Assignee
인스티튜트 퓌어 룬트퐁크테크닉 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하 filed Critical 인스티튜트 퓌어 룬트퐁크테크닉 게엠베하
Publication of KR20140029454A publication Critical patent/KR20140029454A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

각각이 좌안을 위한 좌측 영상 및 우안을 위한 우측 영상을 포함하는 합성 프레임들의 시퀀스를 포함하는 타입의 입체 비디오 신호를 디코딩하기 위한 방법이 기재된다. 이 방법은 합성 프레임들 중 적어도 하나 내의 하나 이상의 에지들을 검출하는 단계; 상기 에지 검출에 기초하여 비디오 신호의 입체 포맷을 결정하는 단계; 결정된 입체 포맷에 기초하여 우측 영상 및 좌측 영상을 추출하는 단계를 제공한다.

Description

입체 비디오 신호를 디코딩하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR DECODING A STEREOSCOPIC VIDEO SIGNAL}
본 발명은 3D 비디오 프로세싱에 관한 것으로, 구체적으로는, 3D 비디오 콘텐츠를 디스플레이하기 위해 입체 비디오 신호를 디코딩하기 위한 방법에 관한 것이다.
본 발명은 추가로 위에서 언급된 방법을 구현함으로써 3D 비디오를 프로세싱하기 위한 시스템에 관한 것이다.
영상들 또는 비디오 콘텐츠들에서 3D 효과를 획득하기 위해 좌안 및 우안, 특히 동일한 타겟의 2개의 상이한 뷰들(일반적으로 객체 또는 장면)을 제공하는 것이 필요하다는 것이 알려져 있다.
보통 좌측 영상 및 우측 영상이라 불리는 이들 2개의 영상들은 컴퓨터 그래픽들에 의해 전자적으로 생성될 수 있거나, 동일한 타겟을 포인팅하고 상이한 위치들에 배치되는 2개의 카메라들에 의해 획득될 수 있다. 일반적으로 2개의 카메라 렌즈들 간의 거리는 약 6cm, 즉 2개의 인간 눈들 간의 거리와 유사하다.
상이한 시간들에 또는 상이한 편광들로 좌측 및 우측 영상들을 디스플레이함으로써 그리고 셔터 안경들 또는 편광 안경들을 각각 사용자들에게 제공함으로써, 3D 효과를 재생하도록 동일한 타겟의 상이한 뷰들을 각각의 눈에 제공하는 것이 가능하다.
입체(또는 3D) 비디오 스트림은 좌안에 대해 하나 및 우안에 대해 하나인 영상들의 2개의 시퀀스들을 요구한다. 이것은 비견 가능한 2D 비디오 물건의 전송 대역폭의 2배를 요구할 것이고, 이는 입체 비디오 콘텐츠들을 브로드캐스트하게 될 브로드캐스터들에 대해 큰 문제를 생성한다.
이 단점을 극복하기 위해, 대역폭의 요건을 감소하기 위해 최근에 Blu-Ray 협회에 의해 채택된 해결책은 이른바 "2D + 델타" 해결책이며, 이는 좌측 영상은 데시메이션(decimation) 없이(2D 영상으로서) 전송되는 반면에, 우측 영상은 좌측 영상에 대해 "차이 영상(difference image)"으로서 전송된다. 이 해결책은 MVC(Multi View Coding)로서 또한 알려져 있고 ITU H.264 규격의 부록 H에서 개시된다. 그렇지만, 이 해결책은 충분한 대역폭 감소를 제공하지 않는다.
대역폭을 더 양호하게 감소시키기 위해, "합성 영상" 또는 "합성 프레임"이라고도 불리는 단일의 프레임에 2개의 뷰들을 혼합하는 것이 또한 알려져 있다. 혼합은 2개의 원래의 영상들을 데시메이팅함으로써 그리고 합성 영상에서 상이한 방식으로 데시메이팅된 좌측 및 우측 영상들의 화소들을 구성함으로써 상이한 방식으로 달성되며, 예로서 좌측 및 우측 영상들은 나란히(side by side), 하나 위에 다른 하나(이른바 "상-하(top-bottom)" 포맷이라 불림) 또는 바둑판에 이들을 혼합하거나 유사한 방식으로 배치될 수 있다.
합성 프레임에서 좌측 및 우측 영상들을 혼합하기 위한 표준 방법이 없기 때문에, 상이한 생산자들은 상이한 입체 포맷에 따라 3D 비디오 콘텐츠들을 생성한다.
3D 비디오 스트림(DVD 또는 블루 레이 디스크 또는 대량 메모리와 같은 지원(support)에 의해 판독되거나 브로드캐스트로 수신됨)을 올바르게 재생하기 위해, 사용자가 합성 영상을 생성하는데 이용된 3D 포맷의 타입을 수동으로 선택해야 한다. 그러나 이는 임의의 상황(예를 들어, 상이한 포맷들을 갖는 상이한 3D 비디오 콘텐츠들이 혼합되는 경우)에 이용하기에 적합하지 않다.
또한 수신측에서, 재생된 비디오 콘텐츠의 입체 포맷(예를 들어, 나란히)을 인지하더라도, 합성 영상에서 두 영상들 중 어느 영상이 좌측 영상이고 우측 영상인지 인지할 수 없고; 우측 영상을 좌안에 그리고 좌측 영상을 우안에 송신하는 것은 입체 영상들의 오류가 있는 3D 프리젠테이션을 생성하여 사용자들에게 불쾌한 효과를 생성한다는 단점이 있다.
이 마지막 단점을 극복하기 위해, (전송되거나 저장된) 비디오 신호에 합성프레임 내의 각각의 서브-영상의 위치 및 합성 프레임에 대해 이용되는 입체 포맷을 표시하는 정보 패턴을 임베딩하는 것이 알려져 있다.
그러나 이 해결책은 전송측의 계산 복잡도를 증가시키고 디코더가 정보 패턴을 외삽추정(extrapolate)하고 올바르게 해석할 수 있게 되도록 요구한다는 단점을 갖는다.
본 발명의 목적은 매우 효율적이고 비교적 비용-효과적인 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템을 제공함으로써 위의 단점들을 극복하는 것이다.
또한, 본 발명의 목적은 복수의 입체 포맷들에 대해, 특히 합성 영상들을 이용하는 입체 포맷들에 대해 작동하는 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템에 제공하는 것이다.
추가의 목적은 정보 패턴이 비디오 신호 내에 임베딩될 필요 없이 입체 비디오 신호의 합성 프레임에서 우측 영상 및 좌측 영상을 식별하는 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템을 제공하는 것이다.
본 발명의 이들 및 추가의 목적들은 본 발명의 통합 부분을 형성하는 첨부된 청구항들의 특징들을 포함하는 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템에 의해 달성된다.
본 발명의 일 양상에 따라, 이 방법은 어느 입체 포맷(또는 혼합 방법)이 이용되는지를 결정하도록 입체 비디오 스트림의 하나 이상의 합성 프레임들의 프로세싱 단계를 포함한다.
이 프로세싱 단계는 바람직하게는 합성 프레임 내의 에지들을 발견하기 위한 방법을 구현하는 수학 알고리즘(이산 라플라스 연산자와 같은)에 의해 수행된다.
영상들 내의 에지들은 강한 세기 콘트라스트들(strong intensity contrasts)을 갖는 지역들이다. 합성 영상에서 에지들을 식별함으로써, 수학 알고리즘은 또한 2개의 우측 및 좌측 영상들의 화소들의 그룹들을 분리하는 라인들을 발견할 것이다. 이들 라인들은 통상적으로 그들의 측면들에서 강한 세기 콘트라스트를 갖는 라인들이다.
바람직하게는, 검출된 에지들을 미리 결정된 입체 포맷들에 대응하는 미리 결정된 에지 방위들에 비교함으로써, 입체 비디오를 코딩하는데 이용되는 입체 포맷을 결정하는 것이 가능하다. 예로서, 나란한 포맷은 합성 프레임의 중간에 수직 에지를 갖는 반면에, 상하 포맷은 수평 에지를 갖는다.
바람직하게는, 영상들은 영상들의 입체 포맷에 독립적으로 그 자신의 에지들을 가질 수 있기 때문에, 합성 프레임 프로세싱 단계의 결과들은 동일한 수학 알고리즘을 합성 영상들에 적용함으로써 획득된 통계 데이터에 비교된다. 즉, 이 방법은 복수의 합성 영상들이 상기 위의 수학 알고리즘에 의해 프로세싱되고, 각각의 입체 포맷에 대해 발견된 에지들, 특히 발견된 에지 방위의 통계가 생성되는 학습 페이즈(디코더의 설계 페이즈 동안 또는 동작 동안 달성됨)를 포함할 수 있다. 동작 동안, 비디오 스트림의 하나 이상의 합성 프레임들은 에지들을 리트리브하도록 프로세싱되고 결과들은 디코딩된 비디오 신호의 입체 포맷을 식별하도록 이들 통계들에 비교된다.
일 바람직한 실시예에서, 비디오 신호가 예를 들어, MPEG 기술을 이용하여 압축되는 경우, 입체 포맷을 식별하기 위해 이용되는 합성 프레임들은 프레임의 크기에 기초하여 선택되는데, 즉 바이트들/비트들로 표현된다. 이러한 방식으로 단지 대형-바이트의 프레임들을 선택함으로써, 거의 모두가 흑색이어서 포맷을 식별하는데 유용하지 않은 영화의 선두부의 프레임들(2개의 흑색 프레임들 중 하나가 다른 하나 옆에 놓여지는 경우, 에지들이 전혀 없음)과 같은 프레임들을 폐기하는 것이 가능하다.
본 발명에 따른 방법은 비디오 스트림의 입체 포맷의 자동 검출을 허용하고, 수신 측의 계산 복잡도를 너무 많이 증가시키지 않고 구현하기에 매우 단순하여 낮은 구현 비용들을 갖는다.
본 발명의 다른 양상에 따라, 이 방법은 깊이 매트리스의 계산이 합성 영상에 의해 추출된 2개의 영상들로부터 시작하여 구현되는 추가의 단계를 포함할 수 있다.
본 발명에 따라, 깊이 매트릭스는 어느 것이 좌측 영상이고 어느 것이 우측 영상인지를 결정하도록 계산된다. 재차, 이는 통계적 분석에 의해 이루어진다. 특히, 전경 내의 객체들이 배경 내의 객체들보다 더 큰 깊이를 갖기 때문에, 깊이 매트릭스가 하위 부분에서 더 높은 값들을 제시하는 경우, 이는 계산 시에 좌측 영상이었던 올바른 가정을 이용하여 그것이 계산되었음을 표시할 것이고, 그렇지 않으면, 이것은 초기 가정이 틀렸었고 실제 좌측 영상은 실제로 깊이 매트릭스의 계산에서 우측 영상으로서 고려되는 영상이었음을 의미한다.
그러므로 유리하게는, 이 방법은 비디오 신호에 어떠한 정보 패턴도 부가함 없이 우측 및 좌측 영상들을 인식한다. 전송 측의 계산 복잡도는 이에 따라 정보 패턴들을 이용하는 종래 기술의 해결책보다 낮다.
본 발명의 방법은 상업적인 셋-톱-박스들과 같은 이용 가능한 디코딩 시스템들 상에서 성공적으로 구현될 수 있다. 본 발명의 다른 양상에 따라, 위의 방법들을 구현하는 시스템은,
- 입체 비디오 스트림의 포맷을 결정하도록 상기 하나 이상의 합성 프레임들 각각 내에서 적어도 하나의 에지를 검출하기 위해 수학 알고리즘으로 입체 비디오 스트림의 합성 프레임들 중 하나 이상을 프로세싱하도록 적응되는 적어도 하나의 제 1 계산 유닛;
- 상기 하나 이상의 합성 프레임들 중 하나의 제 1 영상 및 제 2 영상을 저장하기 위한 적어도 하나의 메모리 유닛을 포함한다.
본 발명의 추가의 특징들 및 이점들은 첨부된 도면들의 도움으로 비-제한적인 예들로서 기술되는 본 발명에 따른 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템의 바람직한 비-배타적인 실시예들의 상세한 설명으로부터 자명하게 될 것이다.
도 1은 본 발명에 따른 시스템의 블록도.
도 2는 본 발명에 따른 방법의 흐름도.
이 도면들은 본 발명의 상이한 양상들 및 실시예들을 예시하며, 적절한 경우, 상이한 도면들에서 유사한 구조들, 컴포넌트들, 물질들 및/또는 엘리먼트들은 유사한 참조 번호들에 의해 표시된다.
도 1은 번호 1로 일반적으로 표시되는 본 발명에 따른 입체 비디오 신호를 디코딩하기 위한 시스템을 도시한다.
디코딩 시스템(1)은 도 2의 방법을 구현하고 좌안을 위한 좌측 영상 및 우안을 위한 우측 영상을 각각 포함하는 합성 프레임들의 시퀀스를 포함하는 타입의 입체 비디오 신호와 함께 작동하도록 적응된다.
도 1의 실시예에서, 디코딩 시스템(1)은 비디오 신호들, 특히 입체 비디오 신호들을 수신하기 위한 안테나(5)를 포함한다.
보다 일반적으로 디코딩 시스템(1)은 비디오 프레임을 수신 또는 판독하는데 적합한 임의의 디바이스일 수 있다. 비-제한적인 예로서, 디코딩 시스템(1)은 외부 디바이스로부터 비디오 신호를 수신하기 위한 수신기, 광학 지원(DVD, CD 또는 블루레이 디스크)을 위한 판독기, USB 메모리 스틱들 및 하드 디스크들과 같은 대량 메모리들의 콘텐츠를 판독하기 위한 디바이스 또는 자기 지원들을 판독하기 위한 디바이스가 구비되는 셋-톱 박스 또는 TV 세트일 수 있다.
본 발명의 일 양상에 따라 디코딩 시스템(1)은 비디오 신호의 입체 포맷, 즉 좌측 및 우측 영상이 어느 방식으로 합성 프레임에서 혼합되는지를 결정하기 위해 입체 비디오 신호의 하나 이상의 합성 프레임들을 프로세싱하도록 적응된 제 1 계산 유닛(2)을 포함한다.
비-제한적인 예들로서, 입체 포맷들은 나란히, 상-하, 바둑판, 라인 교호(line alternation), 또는 임의의 다른 알려진 방식일 수 있다. 일 실시예에서, 계산 유닛(2)은 일반적으로 합성 프레임 내의 에지들을 검출하도록 적응된 수학 알고리즘에 의해 입체 비디오 신호의 합성 프레임을 분석한다(도 2의 단계(201)).
합성 프레임에서 우측 및 좌측 프레임들은 일반적으로 입체 포맷 (및 이에 따라 그의 특성)에 의존하여 하나 이상의 에지들에 의해 분리되기 때문에, 합성 프레임 내의 에지들을 검출함으로써 비디오 신호의 입체 포맷을 결정(단계(202))하고 좌측 및 우측 영상들을 추출(단계(203))하는 것이 가능하다.
바람직하게는, 프로세싱 단계(201) 동안, 계산 유닛(2)은 라플라시안 매트릭스(Laplacian matrix) 또는 그라디언트 방법과 같은 방법을 구현하는 수학 알고리즘을 이용한다. 알고리즘의 일 예는 디지털 영상들에서 에지들을 검출하는 것으로 소벨(Sobel) 알고리즘이고; 이 알고리즘은 각각의 픽셀에 대해 에지의 값 및 방향을 제공하고 이에 따라 에지의 위치 및 방위를 나타내는 정보(특히, 매트릭스의 형태 하에서)를 출력으로서 생성한다.
좌측 및 우측 영상들이 입체 포맷에 독립적으로 그의 자신의 에지들을 갖기 때문에, 바람직한 실시예에서, 계산 유닛(2)은 복수의 합성 프레임 상에서 합성 프레임 프로세싱 단계를 구현한다.
일 실시예에서, 계산 유닛(2)은 합성 프레임의 화소들에 대응하는 다수의 엘리먼트들을 포함하는 에지 매트릭스를 생성한다. 분석되는 각각의 합성 프레임에 대해, 화소가 에지의 부분인 경우, 대응하는 매트릭스 엘리먼트의 값은 하나 이상의 유닛들로 증가된다. 이러한 방식으로 복수의 합성 프레임들을 분석한 이후, 계산 유닛은 모든(또는 거의 모든) 합성 프레임들에 존재하는 에지들이 어떤 것인지를 결정할 수 있을 것이며; 이 에지들은 입체 포맷에 의존하는 에지들이고 이에 따라 입체 포맷을 결정하는데 중요한 에지들이다.
바람직한 실시예에서, 화소가 에지의 부분이 아닌 경우, 대응하는 매트릭스 엘리먼트의 값은 하나의 유닛으로 감소되고; 이러한 방식으로 계산 유닛(2)은 입체 포맷 검출에 있어서 더 빠르게 되는데, 그 이유는 일시적인 에지들은 특정한 방식으로, 에지 매트릭스로부터 스무스(smooth)화되거나 제거되어, 계산 유닛(2)이 판단을 더 빨리 내리도록 허용하기 때문이다.
분석되는 합성 프레임들의 수가 미리 결정된 수일 수 있거나, 또는 합성 프레임 프로세싱 단계의 결과에 의존할 수 있고; 특히 이 후자의 실시예에서, 프로세싱 단계는 계산 유닛(2)이 미리 결정된 확실성 정도(예를 들어, 90%)로 입체 포맷을 결정하는 위치에 있게 될 때까지 수행된다. 이러한 확실성 정도는 수직 및 수평 센터링(centering) 에지들의 세기에 대한 베이스 확률들(Bayesian Probabilities)을 이용함으로써 계산될 수 있다.
종종, 비디오 콘텐츠는 몇몇 단어들을 갖는 일부 흑색 프레임들, 통상적으로 오프닝 크래딧들(opening credits)로 시작한다. 이러한 타입들의 프레임들은 하나가 우측 영상에 속하고 다른 하나가 좌측 영상에 속하는 2개의 흑색 영역들의 병치(juxtaposition)가 에지를 생성하지 않고, 종종 단어들이 스크린의 z-층(z-layer)에 배치되기 때문에 입체 비디오 포맷을 식별하는데 적합하지 않다. 그러므로 바람직한 실시예에서, 합성 프레임 프로세싱 단계는 인물(figure)들 또는 객체들을 포함하는 것으로 인지되는 선택된 프레임들에 적용된다.
압축된 디지털 비디오 프레임들에서, 이들 프레임들의 식별은 프레임의 크기에 기초하여 이루어진다. (오프닝 흑색 프레임과 같은) 큰 균일 지역들을 포함하는 프레임들은 영상에서 복수의 객체들을 표현하는 프레임들보다 훨씬 더 압축되고, 결과적으로 바람직한 실시예에서, 계산 유닛(2)은 미리 결정된 임계치보다 큰 파일 치수를 갖는 프레임들을 분석한다.
일 실시예에서, 합성 프레임들 상에서 수행되는 에지 검출 분석의 결과들은 계산 유닛의 학습 페이즈(learning phase) 동안 획득된 데이터에 비교된다. 이 학습 페이즈 동안, 동일한 타입의 에지 검출 분석이 상이한 입체 포맷들을 갖는 복수의 합성 영상들에 상에서 수행된다. 일 실시예에서, 각각의 타입의 입체 포맷에 대해, 합성 프레임 내의 에지 분포의 표시를 제공하는 통계표가 생성되고; 이러한 방식으로, 동작 동안, 동일한 에지 검출 분석을 하나 이상의 합성 프레임들에 적용함으로써 그리고 결과들을 통계 데이터에 비교함으로써 비디오 스트림의 입체 포맷을 식별하는 것이 가능하다. 비교는 예를 들어, 분석된 비디오 스트림 상에서 이루어진 에지 검출 분석 결과의 벡터를 상이한 입체 포맷들에 대한 학습 페이즈 동안 구성된 에지 검출 분석 결과의 공간들 상에 프로젝팅함으로써 그리고 프로젝션 에러(projection error)를 계산함으로써 이루어질 수 있다. 정해진 공간에 대한 프로젝션 에러가 미리 결정된 임계치 미만인 경우, 비디오 스트림의 입체 포맷은 그 공간에 연관된 입체 포맷인 것으로 결정된다.
입체 포맷을 식별하면, 그것을 구성하는 2개의 영상들을 식별하고, 그 결과 좌측 및 우측 영상들을 추출하는 것이 가능하다(단계(203)).
본 발명의 다른 양상에 따라, 시스템(1)은 위에서 기술된 프로세스에서 식별된 2개의 영상들을 저장할 수 있는 메모리 유닛(3)을 포함한다.
이 단계까지, 이 방법은 본질적으로 2개의 영상들 중 어느 것이 좌측 영상인지 어느 것이 우측 영상인지 인지할 수 없고; 이에 따라 디코딩 시스템은 입체 포맷에 기초하여 어느 것이 좌측 영상인지를 판단하도록 세팅될 수 있는데, 예를 들어, 포맷이 상-하인 경우, 디코딩 시스템은 상부 영상이 좌측 영상이라고 판단하도록 세팅될 수 있고; 포맷이 나란히인 경우, 디코딩 시스템은 합성 프레임의 좌측 절반 상의 영상이 좌측 영상이라고 판단하도록 세팅될 수 있다.
일 실시예에서(도 2의 단계(204)), 시스템(1)은 합성 프레임 내에서 어느 것이 좌측 영상인지 어느 것이 우측 영상인지 검출하도록 적응된다. 이 목적을 위해, 디코딩 시스템(1)은 또한 합성 프레임에 대응하는 장면 내의 객체들의 깊이를 표시하는 깊이 매트릭스를 계산(단계(204))하도록 설계된 제 2 계산 유닛(4)을 포함한다.
깊이 매트릭스(또는 그것이 때때로 불리는 바와 같이 디스패리티 매트릭스)를 계산하기 위한 알고리즘들은 본질적으로 알려져 있고, 이에 따라 이 설명에서 상세히 논의되지 않는다. 예로서, 깊이 매트릭스를 계산하기 위한 알고리즘은 MathWorks®에 의해 제공된다.
이 알고리즘들은 입력으로서 우측 영상 및 좌측 영상을 요구한다.
영상 전경에서, 객체들은 배경 객체들보다 더 큰 깊이를 갖는 것으로 보이기 때문에, 깊이 매트릭스가 실제 우측 영상을 우측 영상으로서 올바르게 이용하여 계산되는 경우, 깊이 매트릭스는 하위 절반에서 더 높은 값들을 제시할 것으로 예상된다. 깊이 매트릭스에서 더 높은 깊이 값들의 위치를 검사함으로써, 이에 따라 합성 프레임에서 어느 것이 우측 영상이고 어느 것이 좌측 영상인지 식별(단계(205))하는 것이 가능하다.
깊이 매트릭스는 완전한 좌측 및 우측 영상들을 이용하여 계산되지만, 이것은 거대한 계산 복잡도를 요구한다.
이러한 이유로, 일 실시예에서, 깊이 매트릭스는 합성 프레임의 감소된 부분에 대해서만 계산되고, 이에 따라 좌측 및 우측 영상의 대응하는 부분들만을 이용한다. 일반적으로 이들 대응하는 부분들 각각은 각각의 영상의 연속적인 화소들의 적어도 하나의 그룹을 포함한다. 또한, 연속적인 화소들의 각각의 그룹은 N개 화소 길이의 하나의 측 및 M개 화소 길이의 다른 측을 갖는 직사각형으로 이루어진 화소들에 의해 구성된다.
바람직하게는, 고려되는 화소들의 그룹은 정사각형, 즉, N=M이고, 그들의 치수는 비교에 대해 고려되는 기초 유닛에 엄격히 상관된다.
예를 들어, MPEG H.264 코딩에서, 압축을 위해 고려되는 기초 유닛은 크로미넌스 매트릭스들(chrominance matrixes)에 대해 이용된 8x8 화소들의 블록이고 이에 따라 N=8이다. 일 실시예에서 비디오 스트림이 합성 프레임들을 전송하는 타입의 MPEG 압축 비디오 스트림(이에 따라 MVC에 따라 압축되지 않음)인 경우, 디코딩 시스템(1)에 의해 구현되는 프로세싱 단계들(201 내지 205)은 몇몇 프레임들 상에서만, 특히 I 프레임들에서만 수행된다.
영상의 좌측 및 우측 경계가 임의의 관련된 깊이-클루들(depth-clues), 즉 에지들을 포함하는 경우, 영상들의 이들 부분들은 좌측 및 우측 영상들을 검출하는데 바람직할 수 있다. 수직 경계들에서 스크린으로부터 나오는 객체들을 갖지 않는 것이 공통적인 관행인데, 그 이유는 이들이 그렇지 않았으면 객체 뒤에 있는 비디오의 프레임에 의해 잘려질(cut) 수 있었을 것이고, 이에 따라 3D 환영이 파손될 것이기 때문이다. 그러므로 이들 지역들 내의 객체들은 모두 스크린 층 상에 또는 뒤에 있어야 한다. 그것이 뒤바뀐 경우 우, 좌측 및 우측 영상은 교환된다.
본 발명의 다른 양상에 따라, 제 1 계산 유닛(2) 및 제 2 계산 유닛(4)은 단일의 CPU 또는 유사물에 의해 제조될 수 있다.
동작적으로, 디코딩 시스템(1)이 입체 비디오 신호를 수신 또는 판독할 때, 본 발명의 시스템(1)의 제 1 계산 유닛(2)은 입체 포맷을 결정하도록 수신된 합성 프레임 중 하나 이상을 프로세싱하기 시작한다.
이 분석의 종료 시에, 시스템(1)은 입체 포맷을 인지하고 (바람직한 실시예에서) 합성 프레임에 존재하는 2개의 영상들 중 어느 것이 좌측 영상인지 그리고 어느 것이 우측 프레임인지 검출한다.
제 1 계산 유닛(2)은 각각의 합성 프레임의 2개의 서브-영상들을 분리하고 메모리 유닛에 이들을 저장한다.
다음 단계에서, 제 2 계산 유닛(4)은 동일한 합성 프레임으로부터 추출된 한 쌍의 영상들을 메모리 유닛(3)으로부터 가져와서 깊이 매트릭스를 계산한다.
깊이 매트릭스에서 깊이 값들의 분포를 분석함으로써, 제 2 계산 유닛(4)은 전경 객체들이 매트릭스의 하위 또는 상위 절반에 있는지를 식별하여 어느 것이 좌측 뷰인지 어느 것이 우측 뷰인지 결정한다.
위의 개시는 본 발명이 의도된 목적들을 달성한다는 것, 구체적으로 종래 기술의 몇몇 단점들을 극복한다는 것을 보여준다.
기술된 시스템 및 방법은 매우 효율적이고 비교적 비용-효과적이다.
위에서 기술된 방법 및 이 방법을 구현하는 시스템은 사용자의 개입 없이 그리고 정보 패턴이 입체 비디오 신호 내에 임베딩되도록 요구함 없이 입체 비디오 스트림의 자동 디코딩을 허용한다.
본 발명의 방법은 유리하게는 이 프로그램이 컴퓨터 상에서 실행될 때 방법의 하나 이상의 단계들의 구현을 위한 프로그램 코딩 수단을 포함하는 컴퓨터용 프로그램을 통해 구현될 수 있다. 그러므로 보호 범위는 이러한 컴퓨터용 프로그램 및 추가로 그 내에 레코딩된 메시지를 갖는 컴퓨터 판독 가능한 수단으로 확장된다는 것이 이해되며, 상기 컴퓨터 판독 가능한 수단은 이 프로그램이 컴퓨터 상에서 실행될 때 방법의 하나 이상의 단계들의 구현을 위한 프로그램 코딩 수단을 포함한다.
본 발명에 따른 시스템 및 방법은 첨부된 청구항들에 의해 정의된 바와 같은 본 발명의 개념 내에서 다수의 변경들 및 변형물이 되기 쉽다. 모든 상세들은 본 발명의 범위로부터 벗어남 벗이 다른 기술적으로 등가의 부분들에 의해 대체될 수 있다.
시스템 및 방법이 첨부 도면들을 특히 참조하여 기술되었지만, 본 개시 및 청구항들에서 참조되는 번호들은 단지 본 발명의 더 나은 명료성을 위해 이용되며, 어떠한 방식으로도, 청구되는 범위를 제한하는 것으로 의도되지 않아야 한다.
추가의 구현 상세들은 당업자가 위의 설명의 교시에서 시작하여 본 발명을 실행할 수 있기 때문에 기술되지 않을 것이다.

Claims (18)

  1. 합성 프레임들의 시퀀스를 포함하는 타입의 입체 비디오 신호를 디코딩하기 위한 방법으로서,
    각각의 프레임은 좌안을 위한 좌측 영상 및 우안을 위한 우측 영상을 포함하고,
    상기 방법은,
    - 상기 합성 프레임들 중 적어도 하나 내의 하나 이상의 에지들을 검출하는 단계(201);
    - 상기 에지 검출에 기초하여 상기 비디오 신호의 입체 포맷을 결정하는 단계(202);
    - 결정된 입체 포맷에 기초하여 상기 우측 영상 및 상기 좌측 영상을 추출하는 단계(201 내지 205)
    를 포함하는,
    디코딩하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 검출하는 단계(201)는,
    영상들의 에지들을 발견하기 위한 방법을 구현하는 수학 알고리즘에 의해 상기 합성 프레임들 중 상기 적어도 하나를 프로세싱함으로써 수행되는,
    디코딩하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 결정하는 단계(202)는,
    검출된 에지들을 합성 프레임들의 미리 결정된 입체 포맷들에 대응하는 미리 결정된 에지 방위의 정보에 비교함으로써 수행되는,
    디코딩하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 미리 결정된 에지 방위의 정보는,
    에지들의 통계 데이터로 구성되고,
    상기 통계 데이터는 상기 수학 알고리즘을 상이한 입체 포맷들에 대응하는 미리 결정된 합성 프레임에 적용함으로써 획득되는,
    디코딩하기 위한 방법.
  5. 제 4 항에 있어서,
    각각의 입체 포맷들에 대해, 상기 에지들의 통계 데이터를 생성하도록 복수의 합성 프레임들이 상기 수학 알고리즘에 의해 프로세싱되는 학습 페이즈(learning phase)
    를 더 포함하는,
    디코딩하기 위한 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 우측 영상 및 좌측 영상은 미리 결정된 임계치보다 큰 크기를 갖는,
    디코딩하기 위한 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 추출하는 단계는,
    - 결정된 입체 포맷에 기초하여 상기 합성 프레임들 각각에 포함된 2개의 영상들을 식별하는 단계(203);
    - 상기 2개의 영상들의 깊이 매트릭스를 계산하는 단계(204);
    - 상기 깊이 매트릭스에 기초하여 상기 합성 영상 내의 전경 객체들의 위치를 식별함으로써 상기 2개의 영상들 중 어느 것이 상기 우측 영상이고 상기 2개의 영상들 중 어느 것이 상기 좌측 영상인지 결정하는 단계(205)
    를 포함하는,
    디코딩하기 위한 방법.
  8. 제 7 항에 있어서,
    상기 계산하는 단계(204)는,
    상기 2개의 영상들 중 제 1 영상의 적어도 하나의 부분 상에서 그리고 상기 2개의 영상들 중 제 2 영상의 적어도 하나의 대응하는 부분 상에서 수행되는,
    디코딩하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 제 1 및 제 2 영상의 부분들은,
    상기 영상의 좌측 및 우측 경계인,
    디코딩하기 위한 방법.
  10. 제 8 항에 있어서,
    상기 영상 부분들은,
    각각 N개의 화소들 및 M개의 화소들을 갖는 직사각형의 화소들을 포함하는,
    디코딩하기 위한 방법.
  11. 제 10 항에 있어서,
    N=M인,
    디코딩하기 위한 방법.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 합성 프레임들은 나란히 방법(side by side method), 상-하 방법(top-bottom method), 바둑판 방법(checkerboard method)을 포함하는 그룹에서 선택된 방법에 따라 상기 우측 영상을 상기 좌측 영상에 비교함으로써 획득되는,
    디코딩하기 위한 방법.
  13. 합성 프레임들의 스트림을 포함하는 타입의 입체 비디오 신호를 디코딩하기 위한 시스템으로서,
    각각의 프레임은 좌안을 위한 좌측 영상 및 우안을 위한 우측 영상을 포함하고,
    상기 시스템(1)은,
    제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법의 구현을 위한 수단을 포함하도록 구성되는,
    디코딩하기 위한 시스템.
  14. 제 13 항에 있어서,
    - 상기 입체 비디오 신호의 포맷을 결정하도록 상기 합성 프레임들의 하나 이상의 합성 프레임들 각각 내에서 적어도 하나의 에지를 검출하기 위해 상기 합성 프레임들의 상기 하나 이상의 합성 프레임들을 프로세싱하도록 적응되는 적어도 하나의 제 1 계산 유닛(2);
    - 상기 하나 이상의 합성 프레임들 중 하나의 제 1 영상 및 제 2 영상을 저장하기 위한 적어도 하나의 메모리 유닛(3)
    을 포함하는,
    디코딩하기 위한 시스템.
  15. 제 14 항에 있어서,
    상기 제 1 영상 및 상기 제 2 영상 중 어느 것이 상기 좌측 영상인지 그리고 어느 것이 상기 우측 영상인지를 결정하기 위해, 상기 2개의 영상들 중 상기 제 1 영상의 적어도 하나의 부분 및 상기 제 2 영상의 적어도 하나의 대응하는 부분상에서 깊이 매트릭스를 계산하도록 적응된 적어도 하나의 제 2 계산 유닛(4)을 포함하는,
    디코딩하기 위한 시스템.
  16. 제 15 항에 있어서,
    상기 제 1 계산 유닛(2) 및 상기 제 2 계산 유닛(4)은 단일의 프로세싱 유닛 내에 포함되는,
    디코딩하기 위한 시스템.
  17. 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
  18. 프로그램이 레코딩된 컴퓨터 판독 가능한 매체로서, 상기 컴퓨터 판독 가능한 매체는 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 제 1 항 내지 제 12 항 중 어느 한 항에 따른 방법의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 판독 가능한 매체.
KR1020137030677A 2011-04-19 2011-04-19 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템 KR20140029454A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2011/051698 WO2012143754A1 (en) 2011-04-19 2011-04-19 Method and system for decoding a stereoscopic video signal

Publications (1)

Publication Number Publication Date
KR20140029454A true KR20140029454A (ko) 2014-03-10

Family

ID=44120293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137030677A KR20140029454A (ko) 2011-04-19 2011-04-19 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템

Country Status (7)

Country Link
US (1) US20140132717A1 (ko)
EP (1) EP2700236A1 (ko)
JP (1) JP2014519216A (ko)
KR (1) KR20140029454A (ko)
CN (1) CN103650491A (ko)
TW (1) TW201249176A (ko)
WO (1) WO2012143754A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015019368A1 (en) * 2013-08-05 2015-02-12 PISANI Sabino Device and method for format conversion of files for three-dimensional vision
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
US10506255B2 (en) * 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US11362973B2 (en) * 2019-12-06 2022-06-14 Maxogram Media Inc. System and method for providing unique interactive media content

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1024672A1 (en) * 1997-03-07 2000-08-02 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
KR20100138806A (ko) * 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
BR112012019612A2 (pt) * 2010-02-09 2020-07-14 Koninklijke Philips Electronics N.V. dispositivo de vídeo para processar um sinal de vídeo, sistema de processamento de sinal de vídeo, método de processar um sinal de vídeo e produto de programa de computador para processar um sinal de vídeo

Also Published As

Publication number Publication date
WO2012143754A1 (en) 2012-10-26
TW201249176A (en) 2012-12-01
JP2014519216A (ja) 2014-08-07
US20140132717A1 (en) 2014-05-15
CN103650491A (zh) 2014-03-19
EP2700236A1 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
USRE48413E1 (en) Broadcast receiver and 3D subtitle data processing method thereof
EP1864508B1 (en) Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recoding medium storing program for implementing the methods
KR20140030111A (ko) 의사-3d 인위적 원근법 및 장치
US10560681B2 (en) Stereo logo insertion
US10037335B1 (en) Detection of 3-D videos
KR20140029454A (ko) 입체 비디오 신호를 디코딩하기 위한 방법 및 시스템
US9544569B2 (en) Broadcast receiver and 3D subtitle data processing method thereof
US20120154528A1 (en) Image Processing Device, Image Processing Method and Image Display Apparatus
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
US9860509B2 (en) Method and a system for determining a video frame type
KR20130056258A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313224B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid