KR20150079577A - 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 - Google Patents

다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR20150079577A
KR20150079577A KR1020157008088A KR20157008088A KR20150079577A KR 20150079577 A KR20150079577 A KR 20150079577A KR 1020157008088 A KR1020157008088 A KR 1020157008088A KR 20157008088 A KR20157008088 A KR 20157008088A KR 20150079577 A KR20150079577 A KR 20150079577A
Authority
KR
South Korea
Prior art keywords
image
edge
information
view
dimensional image
Prior art date
Application number
KR1020157008088A
Other languages
English (en)
Inventor
서종열
최지현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20150079577A publication Critical patent/KR20150079577A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H04N13/0425—
    • H04N13/04—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

본 발명의 일 실시예에 따른 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법은, 다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계, 상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계, 상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계, 상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계, 상기 3차원 영상 프로세싱 정보에 포함되는 3차원 에지 방해 영역 탐지 함수 정보를 파싱하는 단계, 상기 3차원 에지 방해 영역 탐지 함수 정보를 이용하여, 상기 영역의 에지 방해를 핸들링하는 단계를 포함한다.

Description

다시점 3DTV 서비스에서 에지 방해 현상을 처리하는 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING EDGE VIOLATION PHENOMENON IN MULTI-VIEW 3DTV SERVICE}
본 발명은 다시점 3차원 영상을 포함하는 디지털 방송 신호를 처리하는 방법 및 장치에 관한 것이다. 보다 상세하게는, 본 발명은 다시점 3차원 영상을 서비스하는 과정에서 각각의 시점 영상의 좌/우 경계에서 발생하는 에지 방해 (edge violation) 현상을 처리 또는 방지하기 위한 방법 및 장치에 관한 것이다.
3차원 텔레비젼(3-Dimensional Television, 3DTV)의 보급이 본격화됨에 따라 저장 매체에 의한 3차원(3D) 영상 컨텐츠 보급뿐만 아니라 디지털 방송에 의한 3차원 영상 컨텐츠의 전송이 활성화되고 있다.
일반적으로 3차원 영상은 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안 각각이 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
이러한 3차원 영상 디스플레이 방법에는 스테레오스코픽(stereoscopic) 방식, 부피표현(volumetric) 방식, 홀로그래픽(holographic) 방식 등이 있다. 스테레오스코픽 방식의 경우, 좌안(left eye)에서 시청되기 위한 좌영상(left view image)과 우안(right eye)에서 시청되기 우영상(right view image)을 제공하여, 편광 안경 또는 디스플레이 장비 자체를 통해 좌안과 우안이 각각 좌영상과 우영상을 시청함으로써 3차원 영상 효과를 인지할 수 있도록 한다.
스테레오스코픽 3차원 영상 컨텐츠의 경우, 서로 다른 시점의 유사한 두 개의 영상을 송신하면 수신기가 두 개의 영상을 이용하여 3차원 영상으로 디스플레이하는 방식을 사용한다. 수신기에 의해 3차원 영상이 디스플레이되는 경우, 좌영상과 우영상 간의 disparity에 의해 양안시차가 발생하여 입체적인 영상이 제공된다.
입체적 영상이 제공됨에 있어서, 각 컨텐츠 별로, 컨텐츠 내의 scene 별로 또는 frame 별로 양안시차에 의해 스크린 앞쪽으로(시청자 쪽으로) 튀어나오도록 설정된 negative disparity의 물체가 스크린의 좌우 경계면에 걸치는 상황이 발생할 수 있다. 이 경우, 양안시차에 의해 인지되는 깊이감과, 스크린 경계 베젤에 의해 인지되는 깊이감에 차이가 발생하여 사용자가 왜곡된 깊이감을 느낄 수 있다.
이를 에지 방해 (edge violation) 라고 하며, 이러한 에지 방해 (edge violation) 현상 때문에 시청자는 시각적 피로를 느낄 수 있으며 정상적인 컨텐츠 시청이 어려운 문제점이 발생한다. 또한 현재 3차원 영상 수신기는 에지 방해 (edge violation) 를 처리할 수 있는 별도의 프로세스가 존재하지 않는 문제점이 발생한다.
특히, 다시점 3차원 영상의 경우, 각각의 시점 마다 에지 방해의 양상이 달라 질 수 있다. 현재는 이렇게 다양한 양상의 에지 방해를 해결할 수 있는 방법이 없다는 문제점이 있다.
다시점 3차원 방송 환경에서는 각각의 3차원 시점 별로 정도가 다른 에지 방해에 의한 불편함 및 왜곡 현상이 일어날 수 있으나, 현재 3DTV 수신기에서는 각각의 3차원 시점 마다의 왜곡 현상에 대응하여 처리할 만한 방법이 존재하지 않는다.
특히, 하나의 영상이 서로 다른 스테레오 영상 페어 (view pair) 에 중복하여 포함될 경우, 방송국에서 에지 방해에 의한 왜곡 현상이 일어나지 않도록 컨텐츠를 미리부터 렌더링하여 송신하는 방법은 적용이 불가능하다는 문제점이 있다.
본 발명의 기술적 과제는 전술한 문제점을 해결하기 위한 것이다. 보다 상세하게는, 다시점 3차원 영상 방송 서비스를 제공함에 있어서 발생할 수 있는 다양한 양상의 에지 방해를 효율적으로 해결하는 것이 본 발명의 기술적 과제이다.
전술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법은, 다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계, 상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계, 상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계, 상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계, 상기 3차원 영상 프로세싱 정보에 포함되는 3차원 에지 방해 영역 탐지 함수 정보를 파싱하는 단계, 상기 3차원 에지 방해 영역 탐지 함수 정보를 이용하여, 상기 제 2 시점의 3차원 영상에서 발생하는 에지 방해의 영역을 추출하고, 상기 영역의 에지 방해를 핸들링하는 단계 및 상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계를 포함한다.
바람직하게는, 상기 3차원 에지 방해 영역 탐지 함수 정보는, 상기 에지 방해의 영역을 추출하는 데 사용되는 함수의 종류를 식별하는 함수 타입 정보 및 식별된 함수에 사용되는 계수의 값을 나타내는 계수 정보를 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 상기 제 2 좌영상 또는 상기 제 2 우영상을 촬영할 것으로 예상되는 카메라의 위치 정보 및 상기 제 1 시점의 3차원 영상에서의 에지 방해 영역을 나타내는 정보를 더 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 상기 수신기에서 생성될 수 있는 하나 이상의 시점의 3차원 영상에 발생할 수 있는 에지 방해에 관한 정보를 포함하는 에지 핸들링 정보를 더 포함한다.
바람직하게는, 상기 에지 핸들링 정보는, 상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보 및 상기 하나 이상의 시점의 3차원 영상에 포함되는 우영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보를 포함한다.
바람직하게는, 상기 에지 핸들링 정보는, 상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해를 핸들링하는 방법을 지정하는 정보를 더 포함한다.
바람직하게는, 상기 에지 핸들링 정보는, 상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해가 핸들링 된 후 상기 하나 이상의 시점의 3차원 영상의 최소 디스패리티를 식별하는 정보를 더 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, SEI (Supplemental Enhancement Information) 메시지를 통하여 전송된다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT), 이벤트 정보 테이블 (Event Information Table; EIT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT) 를 통하여 전송된다.
본 발명의 다른 실시예에 따른 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법은 다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계, 상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계, 상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계, 상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계, 여기서, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는 상기 제 1 시점의 3차원 영상에 포함되는 픽셀을 상기 제 2 시점의 3차원 영상의 픽셀로 매핑 (mapping) 하고, 상기 매핑 과정에서 상기 제 2시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계를 포함하며, 상기 제 2 시점의 3차원 영상의 상기 에지 방해를 핸들링하는 단계 및 상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계를 포함한다.
바람직하게는, 상기 3차원 영상 프로세싱 정보는, 상기 제 1 시점의 3차원 영상을 촬영한 카메라의 카메라 파라미터 정보를 포함하고, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는, 상기 카메라 파라미터 정보를 더 이용하여, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성한다.
바람직하게는, 상기 제 2 시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계는, 상기 제 2 시점의 3차원 영상의 좌영상 및 우영상에 포함되는 픽셀을 각각 탐지하고, 상기 좌영상에는 존재하나, 상기 우영상에는 존재하지 않는 픽셀, 혹은 상기 좌영상에는 존재하지 않으나, 상기 우영상에는 존재하는 픽셀이 포함되는 영역을 에지 방해의 영역으로 추출한다.
본 발명에 따르면, 다시점 3차원 영상을 시청하는 경우에도, 각각의 시점에 대한 에지 방해 핸들링이 가능하다.
본 발명에 따르면, 송신단에서 전송되지 않는 시점의 3차원 영상에 대하여도, 에지 핸들링이 가능한다.
본 발명에 따르면, 송신단에서 에지 핸들링에 필요한 정보 (에지 방해 정보) 가 제공되지 않는 경우에도, 수신기에서 에지 핸들링을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 다시점 3차원 영상의 디스플레이 방식을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 에지 방해를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 에지 방해 (edge violation) 를 처리하는 방법을 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른, 에지 방해 (edge violation)를 처리하는 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, SEI (Supplemental Enhancement Information) 메시지를 통하여 3D_view_processing_info 를 시그널링하는 구조를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, 3D_view_processing_info 의 신택스 (syntax)를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 3D_edge_handling_info() 엘레먼트의 신택스 (syntax)를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, 3차원 에지 방해 영역 탐지 함수 정보 (3D_EVAD_function_info ()) 엘레먼트를 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른, 에지 핸들링 정보 (edge handling information) 가 시그널링되는 경우를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른, 수신단에서 가상 3차원 영상에 대한 에지 핸들링 정보를 도출할 수 있도록 관련 함수를 시그널링하는 경우를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하기 위한 수식을 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하는 경우를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 다시점 3차원 영상 수신기를 나타낸 도면이다.
발명의 실시를 위한 최선의 형태
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
3차원 영상 표현 방법은 2개의 시점을 고려하는 스테레오스코픽 방식과 3개 이상의 시점을 고려하는 멀티플 뷰 이미지(multiple view image) 방식(또는 다시점 방식)을 포함할 수 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라고 지칭할 수 있다.
스테레오스코픽 방식은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 레프트 뷰 이미지(이하 좌 영상)와 라이브 뷰 이미지(이하 우 영상)의 한 쌍의 이미지를 사용한다. 또는 기준 영상과 부가 영상의 한 쌍의 이미지를 사용한다. 다시점 방식은 일정한 거리나 각도를 갖는 3개 이상의 카메라에서 촬영하여 획득한 3개 이상의 이미지를 사용한다. 다시점 방식은 각각의 시점에서 스트레오스코픽 방식의 좌/우 영상이 제공되는 방식이다.
본 발명에 따른 스테레오스코픽 방식은 Side-by-Side 방식, Top-Bottom 방식, checker board 방식 등이 있다. Side-by-Side 방식은 좌 영상과 우 영상을 각각 수평방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 left 영역에, 샘플링한 나머지 하나의 영상을 right 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이며, Top-Bottom 방식은 좌 영상과 우 영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링한 하나의 영상을 Top 영역에, 샘플링한 나머지 하나의 영상을 bottom 영역에 위치시켜 하나의 스테레오스코픽 영상을 구성하는 방식이다. 체커보드 방식은 좌 영상과 우 영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하는 방식이다. 하지만 본 발명에 따른 스테레오스코픽 방식은 위의 예에 한정되거나 제한되는 것은 아니다.
일 예로 위에서 언급한 다운샘플링 작업을 거치지 아니하고 온전한 해상도를 갖는 두 개의 영상을 송수신하여 이를 3차원 영상 서비스로 제공하는 것도 가능하다. 이 경우, 좌영상과 우영상을 각각 전송하는 전송 스트림을 별도로 구성될 수 있다. 즉, 특정 전송 스트림은 좌영상들을 전송하고, 다른 전송 스트림은 우영상들을 전송할 수 있다. 이 때, 각각의 전송 스트림은 2차원 영상 서비스에 대한 스트림으로 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른, 다시점 3차원 영상의 디스플레이 방식을 나타낸 도면이다.
도 1을 참조하면, 하나의 디스플레이 패널을 통하여, 2개의 이상의 시점의 3차원 영상이 제공될 수 있다.
도 1에서는 3개의 시점의 3차원 영상이 제공되는 방식을 내고 있다. 각가의 시점에서는 스테레오 3D 영상이 제공될 수 있다. 이때 각 스테레오 3D 영상에 포함되는 비디오 엘레먼트 스트림 (Video Elementary Stream) 은 서로 다른 3D 영상에서 공통적으로 쓰일 수 있다. 예를 들면, 엘레먼트 스트림 1 (ES1) 은 3D View ID가 0인 3D 영상에서는 우영상 (Right view) 으로 사용되고, 3D View ID가 1인 3D 영상에서는 좌영상 (Left view) 로 사용될 수 있다. 엘레먼트 스트림 2 (ES2) 는 3D View ID가 1인 3D 영상에서는 우영상 (Right view) 으로 사용되고, 3D View ID가 2인 3D 영상에서는 좌영상 (Left view) 로 사용될 수 있다.
도 2는 본 발명의 일 실시예에 따른, 에지 방해를 나타낸 도면이다.
시청자가 3차원 영상을 시청하면서 인식하는 영상의 각 부분별 상대적인 깊이감을 위에서 바라본 그림이다. 중앙의 원형 물체가 사용자에게 가장 가깝게 인지되며 좌우측의 직사각형이 그 뒤에 배치된다. 좌우측의 직사각형 물체는 negative disparity를 갖기 때문에 스크린을 기준으로 사용자에게 가까운 위치에 있는 것으로 인지된다.
하지만 이와 동시에 스크린의 양 끝 가장자리에 위치하므로 스크린의 테두리 부분인 베젤에 의해 직사각형의 일부분이 가려지는 것처럼 사용자에게 인식될 수 있다. 따라서 사용자는 좌우측의 직사각형이 스크린을 기준으로 사용자에게 가까운 위치에 있는 것으로 인지하면서도 스크린의 베젤에 의해 직사각형이 가려져 스크린 뒤에 위치하는 것으로 인지할 수 있어 깊이감에 혼란을 느끼게 된다.
3차원 스트레오 영상은 2차원 영상과 달리, 시청할 때의 시야각이 디스플레이 효과에 중요하게 작용한다. 예를 들어, 여러 사람이 옆으로 나란히 앉아 TV를 시청한다면 2DTV는 모두가 비슷한 수준의 영상을 보는 것이 가능하나, 3DTV는 스윗 스팟 (sweet spot) 이 제한적이기 때문에 보는 각도 / 위치에 따라 보여지는 3차원 영상의 질이 달라질 수 있다. 그러므로 시청 위치에 따라 각각의 3차원 영상을 디스플레이하는 다시점 영상 디스플레이 장치 (Multiview display device) 를 사용하는 경우, 각각의 시청자는 보다 나은 3차원 효과를 느끼면서 3차원 영상을 시청할 수 있다.
다시점 영상 3차원 서비스에서는 각 위치 (position) 별로 서로 다른 시점의 화면이 보여지므로, 각 3차원 영상 마다 입체감이나 에지 방해 (edge violation) 현상 등이 다른 양상을 보이며, 이에 따라 에지 방해 (edge violation) 현상을 제거 또는 완화하기 위해서는 각각의 3차원 영상 별로, 별도의 파라미터가 보내져야 한다. 즉, 에지 방해 (edge violation) 를 처리하기 위해 스테레오 3DTV 에서는, 수신단에서 필요한 관련 파라미터를 방송 시그널링을 통해 보내주거나, 혹은 아예 송신단에서 미리 에지 방해를 처리한 스테레오 스트림을 전송하는 두 가지 방안을 사용할 수 있다. 그러나 다시점 3DTV 방송에서는 한 개의 스트림이 어떤 시점의 스테레오 3차원 영상에 포함되는지에 따라 에지방해의 처리 또는 완화 방안이 달라지므로, 송신단에서 미리 에지 방해를 제거 또는 완화하는 처리를 하여 전송하는 방안은 적용이 어렵다. 이에 따라 수신단에서 각 시점 별 파라미터를 적절하게 수신하여 처리할 수 있도록 하는 방송 시그널링이 필요하다.
이때 고려되는 3차원 영상은 직접 전송되는 스트림일 수도 있고, 수신단에서 합성 (synthesized) 된 3차원 영상일 수도 있다. 영상 합성 (View synthesis) 시 입력으로 들어가는 원본 영상이 에지 방해 (edge violation) 를 유발하는 경우, 이를 바탕으로 생성된 새로운 3차원 영상 또한 에지 방해 (edge violation) 를 일으킬 여지가 있다. 그러므로 합성된 3차원 영상 별로 에지 방해 (edge violation)를 보강하기 위한 정보를 전송하면 다시점 3DTV 시청 시 왜곡이나 불편함을 감소시키도록 처리 가능하다.
따라서, 본 발명은 다시점 3차원 영상을 제공하는 3DTV에서 다시점 3차원 비디오 방송 서비스의 수신기 혹은 송신기 구현에 대한 방안을 제시한다. 또한, 시그널링 정보를 이용해 다시점 3차원 비디오의 출력을 제어하기 위한 3DTV의 동작 및 구현 방법을 제안한다.
도 3은 본 발명의 일 실시예에 따른, 에지 방해 (edge violation) 를 처리하는 방법을 나타낸 도면이다.
에지 방해 (Edge violation) 를 처리하는 방안 중의 하나로 송신단에서 이미지를 처리하는 HIT (Horizontal Image Translation) 기법을 사용할 수 있다. 이 방법에 따르면, 송신단에서는 한 쌍의 L, R 스테레오 영상에 대해 경계면에서 발생하는 왜곡 현상을 방지하기 위해 영상의 shift 및 bar (cropping) 처리를 수행하여 3차원 영상을 전송하는 것이다.
다시점을 고려하지 않을 시에는 이러한 shift 및 bar 처리가 송신단에서부터 적용되어 전송되는 시나리오가 가능하였으나, 다시점 3DTV에서는 각 시점 별로 적용해야 하는 shift 및 bar가 달라질 여지가 있으므로 이를 송신단에서 모두 예측하고, 3차원 영상을 처리하여 전송하기는 어려울 수 있다.
도 3의 (a)는 3차원 영상에 포함되는 좌영상 및 우영상을 수평 방향으로 이동 처리하는 방법을 나타낸다.
도 3의 (a)를 참조하면, 에지 방해 처리기는 3차원 영상에 포함되는 좌영상을 좌측 수평 방향으로 이동시키고, 우영상을 우측 수평 방향으로 이동시킨다. 이때 수평 방향으로의 이동거리는 에지 방해를 일으키는 오브젝트 (object) 의 디스플레이 크기에 따라 결정될 수 있다. 즉, 해당 오브젝트가 화면에 디스플레이되지 않도록 수평 방향으로 좌영상 및 우영상을 이동하는 것이다.
에지 방해 처리기는 좌영상 및 우영상에서, 수평 방향 이동에 따라 생긴 빈 영역은 bar로 채우고, 수평 방향의 이동에 따라 프레임의 크기를 벗어난 영역은 cropping 한다.
이렇게 생성된 좌영상과 우영상으로 3차원 영상을 생성하여, 에지 방해를 제거 또는 완화 할 수 있다. 즉, 에지 방해의 발생이 예상되는 영역을 cropping 하여, 에지 영역에서는 좌영상 또는 우영상 중 어느 하나의 영상에 해당 되는 영상만을 디스플레이할 수 있다.
도 3의 (b)는 3차원 영상에 포함되는 좌영상 또는 우영상을 수평 방향으로 이동 처리하는 방법을 나타낸다.
도 3의 (b)를 참조하면, 에지 방해 처리기는 우영상은 원본을 그대로 유지하나, 좌영상만을 좌측 수평 방향으로 이동시킨다. 좌측 수평 방향으로 이동된 좌영상 중, 프레임의 영역을 벗어나게 되는 영역은 cropping 되고, 남은 좌영상은 우영상과 결합되어 3차원 영상을 구성한다.
도 4는 본 발명의 다른 실시예에 따른, 에지 방해 (edge violation)를 처리하는 방법을 나타낸 도면이다.
다시점 TV에서는 수신한 비디오 스트림을 기반으로 하여 새로운 임의 시점의 3차원 영상을 생성 (또는 합성) 하는 것이 가능하다. 이 때, 영상 합성에 사용된 좌/우영상 페어에서 에지 방해 (edge violation) 가 존재한다면, 합성된 결과 영상에서도 에지 방해 (edge violation) 가 존재할 가능성이 있다. 이 경우, 새로 합성된 3차원 영상에서의 에지 방해 (edge violation) 를 제거, 완화 또는 방지할 여러 방법이 존재할 수 있다.
본 발명의 일 실시예에 따른 제 1 방법은 다수의 3차원 영상을 위한 에지 방해 영역의 시그널링이다. (Signaling of Edge violation area for various 3D views)
제 1 방법에 따르면, 합성된 모든 3차원 영상에 대해 3D_edge_handling_info()와 같은 형태로 정보를 시그널링할 수 있다. 즉, 여러 시점의 3차원 영상에 대하여, 에지 방해 (edge violation) 가 일어나는 영역에 대한 시그널링 정보를 생성하고, 이를 전송하면, 수신기에서는 3차원 영상 합성 시 해당 시점의 에지 방해 (edge violation) 영역 정보를 참고하여 에지 방해를 제고 또는 완화 할 수 있다. 이 때 생성되는 시그널링 정보는 방송 신호 및/또는 인터넷 신호 등을 통하여 수신기로 전달될 수 있다. 에지 방해 (edge violation) 를 보완, 제거 또는 완화하기 위한 정보는 에지 핸들링 정보, 에지 핸들링 데이터, 또는 에지 정보라고 명명될 수 있다.
본 발명의 다른 실시예에 따른 제 2 방법은, 에지 방해 영역 측정 함수 (Edge Violation Area Detector (EVAD) function) 를 위한 시그널링 정보를 제공하는 것이다. (Signaling information for Edge Violation Area Detector (EVAD) function)
제 2 방법에 따르면, 입력은 각 좌/우 영상의 카메라 위치에 관한 정보이고, 출력은 에지 핸들링 (Edge Handling) 이 적용될 픽셀 구간 값인, Edge Violation Area Detector (EVAD) 함수를 시그널링할 수 있다. 즉, 제 2 방법은 LL_edge_violation_width 및 RR_edge_violation_width (또는, LL_edge_pixel_width 및 RR_edge_pixel_width) 를 도출 할 수 있는 함수의 종류 및 관련 계수를 시그널링 하는 방안이다. 예를 들어, 관련 정보의 값들이 linear하게 증가/감소하는 형태임을 시그널링 한다면, 함수 종류가 선형 함수라는 점 및 시작점과 끝점 값 등을 통해 함수를 정의할 수 있으며, 기타 다른 종류의 함수라면 추가적인 관련 계수를 시그널링할 수 있다.
본 발명의 다른 실시예에 따른 제 3 방법은, 시그널링 정보 없이 에지 방해를 탐지하는 것이다. (Implementation of edge violation detection without signaling information)
제 3 방법에 따르면, 에지 방해 (edge violation) 를 제거, 완화 또는 처리하기 위한 정보가 따로 시그널링 되지 않을 시, 수신단에서 에지 방해 (edge violation) 영역을 자체적으로 탐지하여 처리할 수 있다. 이 때 영상 합성 (view synthesis) 을 통해 생성된 가상 영상 (virtual view) 에 대하여는, 생성 과정에서 픽셀 (pixel) 간의 맵핑 (mapping) 정보를 통해 에지 방해 (edge violation) 가 발생하는 영역을 도출하는 것이 가능하다. 수신단이 영상 합성 (view synthesis) 없이 수신한 비디오 스트림을 그대로 출력하는 경우에는 수신단에서 별도로 좌영상과 우영상 간의 feature matching 과 같은 처리를 통해 에지 방해 (edge violation) 가 발생하는 영역을 도출해 낼 수 있다. feature matching 의 일 예로, 수신기는 좌영상 및 우영상에 포함되는 오브젝트 또는 픽셀을 각각 탐지하고, 좌영상에는 존재하나, 우영상에는 존재하지 않는 오브젝트 또는 픽셀, 혹은 좌영상에는 존재하지 않으나, 우영상에는 존재하는 오브젝트 또는 픽셀이 디스플레이되는 영역을 에지 방해 영역으로 탐지할 수 있다.
도 4를 참조하면, 수신단은 에지 방해 영역 탐지기 (edge violation area detector) 및/또는 에지 방해 핸들러 (edge violation handler) 를 포함할 수 있다.
에지 방해 영역 탐지기는 특정 시점을 위하여 합성된 3차원 영상의 좌영상 및 우영상에서 에지 방해가 일어나는 영역을 탐지한다. 이 때, 에지 방해 영역의 탐지는 전술한 방법 중 하나 이상의 방법이 사용될 수 있다.
에지 방해 핸들러 (edge violation handler)는 제 1 방법에 따라, 각각의 시점에 대한 3차원 영상에서 발생하는 에지 방해에 관한 정보가 제공되는 경우, 이 정보를 이용하여 에지 방해를 제거, 완화 또는 처리한다. 또는 에지 방해 핸들러 (edge violation handler)는 에지 방해 영역 탐지기에 의하여 탐지된 에지 방해 영역에 관한 정보를 수신하고, 이 정보를 이용하여 에지 방해를 제거, 완화 또는 처리할 수 있다.
도 5는 본 발명의 일 실시예에 따른, SEI (Supplemental Enhancement Information) 메시지를 통하여 3D_view_processing_info 를 시그널링하는 구조를 나타낸 도면이다.
비디오 레벨에서 에지 방해 (Edge violation) 관련 정보를 전송하게 되면, 각 프레임 (frame) 별로 또는 장면 (scene) 별로 에지 방해 (Edge violation) 영역이 변화하는 것에 대응할 수 있다.
H.264 (또는 AVC) Video의 경우에는 디코딩 및 출력 등등의 프로세스를 보조하는 정보를 포함하는 SEI (Supplemental Enhancement Information) 영역에 해당 정보를 전송할 수 있다. 본원 발명에서는, 에지 방해 (Edge violation) 정보의 전송을 위해 비디오 레벨에 들어가는 SEI 메시지를 지정할 수 있다. 도 5는 3D_view_processing_info 를 시그널링하는 SEI 메시지를 지정하는 경우의 실시 예이다. 일 실시예로, payloadType 필드의 값이 '50' 인 경우, 3D_view_processing_info 가 전송되는 SEI 메시지임을 나타낼 수 있다.
에지 방해 (Edge violation) 정보 또는 3차원 에지 핸들링 정보 (3D Edge Handling Info) 는 다시점 3차원 영상의 각 시점의 영상에서 발생하는 에지 방해 (edge violation) 을 제거, 완화 또는 처리를 위한 정보를 말한다. 에지 방해 (Edge violation) 정보 또는 3차원 에지 핸들링 정보 (3D Edge Handling Info) 는 3D_view_processing_info 를 포함한다.
도 6은 본 발명의 일 실시예에 따른, 3D_view_processing_info 의 신택스 (syntax)를 나타낸 도면이다.
에지 방해 (Edge violation) 가 일어나는 부분을 처리하기 위해 앞서 설명한 shift and bar 방안을 사용할 수도 있고, 혹은 shift 없이 bar 만 치는 방법 (Floating window), 또는 bar는 치지 않고 cropping 과 부분적인 scaling을 통해 처리하는 방법 등이 쓰일 수 있다. 각 처리 방법마다 적용되는 파라미터가 각각 다르므로, 이를 시그널링 해주는 에지 방해 핸들링 데이터 (Edge violation Handling data) 또는 에지 방해 (Edge violation) 정보의 전송 방안이 필요하다. 에지 (Edge) 처리 관련 데이터는 비디오 컨텐츠 (video contents) 에 대한 메타데이터 (metadata) 로 주어질 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 프로세싱 정보 (3D_view_processing_info) 는 3D_view_processing_info_id 필드, 3D_view_processing_update_flag 필드, num_3D_views 필드, 3D_view_ID 필드, 3D_view_priority 필드, synthesized_L_flag 필드, synthesized_R_flag 필드, Left_view_ID 필드, L_camera_parameter_exist_flag 필드, L_cam_baseline_distance 필드, right_view_ID 필드, R_camera_parameter_exist_flag 필드, R_cam_baseline_distance 필드, 3D_edge_handling_info() 엘레먼트, 및/또는 3D_EVAD_funtion_info () 엘레먼트를 포함한다.
3D_view_processing_info_id 필드는 3차원 영상 프로세싱 정보를 고유하게 식별하는 정보이다.
3D_view_processing_update_flag 필드는 현재 전송되는 3차원 영상 프로세싱 정보가 이전에 온 정보와 동일한지 아니면 새로 업데이트 되어야 하는지 여부를 알려주는 필드이다. 3D_view_processing_update_flag 필드는 업데이트가 필요한 경우 '1'로 설정되며, 이전과 동일한 경우 '0'으로 설정된다.
num_3D_views 필드는 현재 프로그램, 채널, 또는 서비스에 포함된 3차원 영상 (좌영상, 우영상 페어) 및/또는 시그널링 하는 가상 3차원 영상의 개수를 나타내는 필드이다.
3D_view_ID 필드 각 3차원 영상을 식별할 수 있는 값을 나타내는 필드이다.
3D_view_priority 필드는 3차원 영상의 우선순위를 나타내는 필드이다.
synthesized_L_flag 필드 또는 synthesized_R_flag 필드는 3차원 영상을 구성하는 좌영상 또는 우영상이 수신기에서 합성하여 만들어지는 영상인지, 아니면 실제 전송되는 영상 인지 여부를 알려주는 필드이다. Synthesized_X_flag의 값이 '0'이면 해당 view는 실제로 전송되는 비디오 영상임을 의미하고, '1'이면 수신기에서 합성 (synthesis) 을 통해 만들어지는 가상 영상임을 의미한다.
Left_view_ID 필드 또는 Right_view_ID 필드는 3차원 영상을 구성하는 좌영상 및/또는 우영상이 실제로 전송되는 경우, 해당 3차원 영상의 좌영상 및/또는 우영상에 포함되는 비디오 스트림이 무엇인지를 나타내는 식별자이다. 경우에 따라 이 값은 좌영상 비디오 또는 우영상 비디오의 PID 값으로 대체될 수 도 있다.
L_camera_parameter_exist_flag 필드 또는 R_camera_parameter_exist_flag 필드는 영상에 대한 카메라 파라미터 (view synthesis를 하기 위해 필요한 파라미터) 값이 존재하는지 여부를 알려주는 필드이다. 예를 들어, MVC 코덱의 경우, 카메라 파라미터는 Multiview_acquisition_info SEI message를 통해 전송되며, 각 view ID 별 camera parameter가 존재하므로, 이러한 SEI 메시지가 별도로 전송되는지를 알려주는 필드이다. 또는, camera_parameter_exist_flag를 전송하는 대신 해당하는 카메라 파라미터 세트 (camera parameter set) 의 ID 값 자체를 전송하는 것도 가능하다. 이 때, Multiview_acquisition_info SEI message에서 시그널링 되는 intrinsic camera parameter 는 각 영상 별로 존재하거나 혹은 모든 영상에 대한 공통 파라미터 세트 (parameter set) 가 존재할 수 있고, extrinsic camera parameter 는 각 영상 별로 별도의 파라미터 세트 (parameter set) 가 존재하므로 카메라 파라미터를 intrinsic camera parameter와 extrinsic camera parameter 두 가지로 분리하여 식별자를 전송하는 방안도 있다.
영상 합성 (View synthesis) 을 위해서는 Camera parameter 외에 video view와 같은 시점의 depth map이 존재하는지 여부도 시그널링 할 필요가 있을 수 있으며 이를 위해 L_depth_map_exist_flag 및/또는 R_depth_map_exist_flag 등의 필드를 시그널링 하도록 설정할 수 있다. L_depth_map_exist_flag 필드 또는 R_depth_map_exist_flag 필드는 좌영상 또는 우영상을 위한 depth map 이 존재하는지 여부를 알려주는 필드이다.
L_cam_baseline_distance 필드 또는 R_cam_baseline_distance 필드는 가상 좌영상 또는 가상 우영상의 시점 정보를 나타내는 필드이다. 영상 합성 (View synthesis) 처리 과정에서 입력 값으로 들어가는 값이며, view synthesis 방안이 무엇인지에 따라 입력 값으로 camera parameter가 필요한 경우 또는 camera parameter의 부분 정보가 필요한 경우 등이 있으므로, 방안에 따라 관련 정보가 전송될 수 있도록 필드를 설정할 수 있다. L_cam_baseline_distance 필드 또는 R_cam_baseline_distance 필드는 가상 영상을 촬영하는 가상 카메라의 위치를 나타내는 정보일 수도 있다. 예를 들면, L_cam_baseline_distance 필드 또는 R_cam_baseline_distance 필드는 baseline 상에서 가상 좌영상 촬영 카메라 혹은 가상 우영상 촬영 카메라의 상대적 위치를 나타낼 수 있다.
이상에서 설명한 필드 또는 정보는 수신기에서 새로운 시점의 가상 3차원 영상 (가상 좌영상, 가상 우영상)을 합성하기 위한 정보로 사용될 수 있다.
3D_edge_handling_info() 엘레먼트 및 3D_EVAD_funtion_info () 엘레먼트에 대하여는 후술한다.
도 7은 본 발명의 일 실시예에 따른, 3D_edge_handling_info() 엘레먼트의 신택스 (syntax)를 나타낸 도면이다.
에지 (Edge) 처리 관련 데이터는 비디오 컨텐츠 에 대한 meta data로 주어질 수 있으며, 도 7과 같이, 3D_edge_handling_info() 엘레먼트를 통해서 전송될 수 있다. 이때, 에지 방해 (Edge violation) 이 일어나는 부분을 처리하기 위해 앞서 설명한 shift and bar 방안을 사용할 수도 있고, 혹은 shift 없이 bar 만 치는 방법 (Floating window), 또는 bar는 치지 않고 cropping 과 부분적인 scaling을 통해 처리하는 방법 등이 쓰일 수 있다. 각 처리 방법마다 적용되는 파라미터가 각각 다르므로, 이를 시그널링 해주는 에지 방해 핸들링 데이터 (Edge violation Handling data) 의 전송 방안이 필요하다.
에지 방해 (Edge violation) 라는 좌우 시각에서의 불일치 왜곡을 막는 방법은 전술한 바와 같이, 방송국에서 3D 컨텐츠 자체에 미리 후처리를 한 후 보내는 방법, 권장하는 에지 핸들링 (edge handling) 방식의 파라미터를 보내는 방법 (floating window / vertical edge treatment / HIT parameter), 또는 권장하는 vertical edge treatment parameter를 보내는 방법 등이 있다. 상황에 따라 각 에지 (edge) 마다 다른 방법이 적용될 수도 있으며, 프레임 별로 적용 방법이 달라질 수도 있다.
이 때, 3차원 영상의 에지 (edge) 별로 window violation 이 발생하는지 아닌지 여부를 알려주기 위한 edge_violation_flag를 따로 둘 수도 있다. 예를 들어, edge_violation_flag의 값이 '00' 인 경우, 3차원 영상의 왼쪽과 오른쪽 에지 (edge) 모두에서 에지 방해 (edge violation) 이 발생하지 않음을 나타낼 수 있다. edge_violation_flag의 값이 '01' 인 경우, 3차원 영상 의 오른쪽 에지 (edge) 에서만 에지 방해 (edge violation) 발생함을 나타낼 수 있다. edge_violation_flag 의 값이, '10' 인 경우, 3차원 영상의 왼쪽 에지 (edge) 에서만 에지 방해 (edge violation) 발생함을 나타낼 수 있다. edge_violation_flag의 값이 '11' 인 경우, 3차원 영상의 양쪽 에지 (edge) 모두에서 에지 방해 (edge violation) 가 발생함을 나타낼 수 있다. 이러한 edge_violation_flag를 시그널링하면 수신단에서 해당 3차원 영상을 후처리를 할지 말지 여부를 판단 가능하다. edge_violation_flag 는 3D_view_processing_info 또는 3D_edge_handling_info () 엘레먼트에 포함될 수 있다.
3D_edge_handling_info() 엘레먼트는 3D_edge_handling_update_flag 필드, LL_edge_pixel_width 필드, RR_edge_pixel_width 필드, L_handling_type 필드, R_handling_type 필드, LL_stretch_start_pixel 필드, LL_stretch_width_pixel 필드, LL_stretch_parameter() 엘레먼트, RR_stretch_start_pixel 필드, RR_stretch_width_pixel 필드, RR_stretch_parameter() 엘레먼트, 및/또는 EH_min_disparity 필드를 포함한다.
3D_edge_handling_update_flag 필드는 현재 전송되는 3차원 에지 핸들링 정보 정보가 이전에 온 정보와 동일한지 아니면 새로 업데이트 되어야 하는지 여부를 알려주는 필드이다. 3D_edge_handling_update_flag 필드의 값은, Update 가 필요한 경우 '1'로 설정되며, 이전과 동일한 경우 '0'으로 설정된다.
LL_edge_pixel_width 필드 및 RR_edge_pixel_width 필드는 각각 좌영상의 좌측 에지 (Left edge) 에 존재하는 에지 방해 (edge violation) 영역의 픽셀 개수, 및 우영상의 우측 에지 (Right edge) 에 존재하는 에지 방해 (edge violation) 영역의 픽셀 개수를 의미한다. 만약 LL_edge_pixel_width 필드의 값이 '0'이라면, 좌영상의 좌측 에지에는 에지 방해 (edge violation) 가 일어나지 않음을 의미하며, 이 때, 3차원 영상의 에지 (edge) 별로 window violation 이 발생하는지 아닌지 여부를 알려주기 위한 edge_violation_flag 필드가 따로 존재할 수 있다.
L_handling_type 필드 및 R_handling_type 필드는 각각 좌영상 또는 우영상에 적용되는 에지 방해 (edge violation) 의 처리 방법을 지정한다. 예를 들면, 해당 필드의 값이 '00' 인 경우, Preprocessed (pre-handled), 즉, 송신단에서 에지 방해가 이미 처리되어 전송됨을 나타낼 수 있다. 해당 필드의 값이 '01' 인 경우, Bar (Floating window) recommended, 즉, 에지 방해 (edge violation) 가 발생하는 영역에 bar를 치는 방법이 추천됨을 나타낼 수 있다. 해당 필드의 값이 '10' 인 경우, Crop and stretch (Vertical edge treatment) recommended, 즉, crop과 stretch 의 방법으로 에지 방해 (edge violation)를 처리하는 것이 추천됨을 나타낼 수 있다. 해당 필드의 값이 '11' 인 경우, Shift and bar (HIT) recommended, 즉, 에지 방해 (edge violation) 가 발생하는 영역 구간만큼 영상을 shift 시킨 후, 프레임 밖으로 나간 부분은 버리고, 프레임 내에 남은 부분에는 bar를 치는 방법이 추천됨을 나타낼 수 있다.
LL_stretch_start_pixel 필드 및 RR_stretch_start_pixel 필드는 L_handling_type 필드 및 R_handling_type 필드의 값이 '10' 일 때 적용되는 것으로, 각각 좌영상의 좌측 에지 및 우영상의 우측 에지를 기준으로 stretch가 시작되는 영역을 나타낸다.
LL_stretch_width_pixel 필드 및 RR_stretch_width_pixel 필드는 L_handling_type 필드 및/또는 R_handling_type 필드의 값이 '10' 일 때 적용되는 것으로, 각각 stretch가 시작되는 영역을 기준으로 stretch가 되는 영역의 넓이를 나타낸다.
LL_stretch_parameter() 엘레먼트 및 RR_stretch_parameter() 엘레먼트는 L_handling_type 필드 및/또는 R_handling_type 필드의 값이 '10' 일 때 적용되는 값으로, crop and stretch 방안을 쓸 때 strech시 사용되는 파라미터를 포함할 수 있다.
EH_min_disparity 필드는 에지 방해 (Edge violation) 에 대해 후 처리가 된 이후의 최소 disparity 값을 의미한다. 스크린 앞쪽에서 발생하는 에지 방해 (edge violation) 가 차단되면 그에 따라 최소 디스패리티 (min disparity) 값이 변화할 여지가 있으므로 수신기에서 에지 핸들링 처리가 된 스테레오 영상에 On Screen Display (OSD) 를 띄울 때, 이 값을 고려하여 OSD의 디스플레이 depth를 결정할 수 있다. 전체 disparity 범위를 알리기 위해 EH_max_disparity 필드도 함께 전송하는 시나리오도 가능하며, 경우에 따라 본래 영상의 disparity 범위까지 전송하도록 설정할 수도 있다. 또는 disparity_range_change_flag 라는 필드를 따로 두어, 에지 핸들링 적용 이후에 disparity range (min., max. disparity 값) 가 변화했는지 아니면 그대로인지 여부를 시그널링하도록 설정할 수도 있다.
여기서 디스패리티 (disparity) 란, 3차원 영상의 하나의 오브젝트가 좌영상 및 우영상에 위치할 때, 각 영상에 위치하는 해당 오브젝트의 수평 거리의 차이를 나타낸다. 디스패리티 값에 따라, 시청자가 느끼는 해당 오브젝트의 깊이감 (depth) 가 달라질 수 있다.
도 8은 본 발명의 일 실시예에 따른, 3차원 에지 방해 영역 탐지 함수 정보 (3D_EVAD_function_info ()) 엘레먼트를 나타낸 도면이다.
3차원 영상을 구성하는 좌영상과 우영상 모두가 실제로 전송되는 비디오인 경우, 수신단에서는 해당 3차원 영상을 토대로 새로운 가상 3차원 영상을 생성하는 시나리오가 가능하다. 이때, 수신된 좌영상, 우영상 에 존재하는 에지 방해 (edge violation) 영역은 앞서 전술한 3차원 에지 핸들링 정보 (3D Edge Handling Info) 등을 통해 알 수 있으나, 수신단에서 임의로 선택한 시점의 가상 좌영상, 우영상의 에지 방해 (edge violation) 영역은 전술한 방법의 내용만으로는 알 수 없다. 그러므로 수신단에서는 생성하고자 하는 가상 3차원 영상의 카메라 시점 (카메라 촬영 위치) 이 무엇인지에 따라 생성된 각 좌영상, 우영상의 에지 방해 (edge violation) 영역을 도출 하는 방안이 필요하다.
본 발명에 따르면, 3차원 에지 방해 영역 탐지 함수 (3D EVAD (Edge Violation Area Detection) function) 은 영상 합성 (view synthesis) 에 사용되는, 수신한 좌영상, 우영상의 카메라 파라미터 정보, 기타 부가 정보 (좌영상, 우영상의 depth 정보 등), 그리고 각 좌영상, 우영상의 에지 방해 (edge violation) 영역 정보를 바탕으로 임의의 카메라 시점에서의 에지 방해 (edge violation) 영역 픽셀 값을 도출할 수 있도록 하는 함수이다. 예를 들면, 1D parallel 형태로 배열된 카메라에서 그 baseline 선상에 놓인 임의 시점에서의 에지 방해 (edge violation) 영역 정보를 도출하는 함수가 있을 수 있다. 이럴 경우에, 카메라의 시점 위치는 baseline distance 형태로 표현될 수 있으며, 함수는 이 카메라의 baseline distance 값을 입력 값으로 받아 그 시점에서의 에지 방해 (edge violation) 영역 정보를 출력하게 된다. baseline distance 은 baseline 상에서의 카메라의 위치를 나타내는 값이 될 수 있다.
도 8은 좌영상 카메라와 우영상 카메라 위치의 중심점을 기준으로 camera position 값을 normalize 시킨 경우의 3D EVAD function 이다. 즉, L_cam_position (또는 R_cam_position)을 1이라 하고, 두 카메라 사이의 중간이 되는 지점의 camera position을 0이라 했을 때, 0부터 1까지 증가하는 이 camera position의 값을 입력값으로 하고, 좌영상의 좌측 에지 (또는 우영상의 우측 에지) 에서 에지 방해 (edge violation) 영역의 픽셀 개수를 출력 값으로 하는 function 을 시그널링한다. 여기서 L_cam_position는 좌영상을 촬영하는 카메라의 위치를 나타내는 값이며, R_cam_position는 우영상을 촬영하는 카메라의 위치를 나타내는 값이다. L_cam_position 필드와 R_cam_position 필드는 3D_EVAD_function_info () 엘레먼트에 포함될 수 있다. 또는 L_cam_position 필드와 R_cam_position 필드는 각각 전술한 L_cam_baseline_distance 필드와 R_cam_baseline_distance 필드에 대응될 수 있다.
3D_EVAD_function_info () 엘레먼트는 LL_function_type 필드, RR_function_type 필드, LL_coefficient 필드, 및/또는 RR_coefficient 필드를 포함한다.
LL_function_type 필드 및 RR_function_type 필드는 3D EVAD function의 종류가 무엇인지 알려주는 필드이다. 함수의 종류는 여러 가지가 있을 수 있으며, 일 실시예로, 해당 필드의 값이 '1'일 경우 'linear function'을 나타낼 수 있다.
LL_coefficient 필드 및 RR_coefficient 필드는 앞서 설명한 함수의 계수를 나타내는 필드이며, XX_function_type이 'linear function'인 경우, 함수는 다음과 같이 정의될 수 있다.
{ XX_edge의 edge violation 영역을 나타내는 픽셀 개수 = XX_coefficient * X_cam_position + XX_edge_pixel_width }
이상에서 설명한 바와 같이, 기본적으로 에지 방해 정보는 각 프레임 별로 변화할 여지가 많으므로, 비디오 레벨 시그널링이 적합하다. 하지만 경우에 따라서는 scene 별, event 별, program/channel/service 별로 동일한 에지 방해 핸들링 정보를 적용할 수 있는 여지가 있다. 송신단에서 권장하는 구간별 에지 방해 핸들링 방안이 있는 경우, 앞서 비디오 레벨로 시그널링 된 정보들이 이벤트 또는 시스템 단위로 전송될 수도 있다. 즉, ATSC PSIP 또는 DVB SI의 EIT 와 같은 event 단위의 정보 전송이 가능한 테이블에 새로운 descriptor를 두어 event 단위의 정보를 전송하거나, 혹은 PMT / VCT / SDT 등과 같은 system 레벨의 정보 전송이 가능한 테이블에 새로운 descriptor를 두어 program/channel/service 단위의 정보를 전송하는 것이다. 이러한 descriptor에는 전술한 필드 또는 엘레먼트의 정보들이 포함될 수 있다.
Scene별로 에지 방해 핸들링 정보를 전송하고자 하는 경우, 시스템 레벨의 서술자 내에 scene의 구간 정보 (각 scene의 시작 시간 및 종료 시간)를 추가적으로 전송할 수 있다. 또는 에지 방해 핸들링 정보를 시간에 따른 구간 단위로 구성해 별도의 private stream 형태로 전송할 수 있다. 이 경우, 비디오 신호와 에지 방해 핸들링 정보 스트림을 동기화하는 절차가 필요하며, 이러한 동기화를 통해 3차원 영상의 에지 방해를 처리할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 에지 핸들링 정보 (edge handling information) 가 시그널링되는 경우를 나타낸 도면이다.
도 9의 (a)를 참조하면, 3차원 방송 시스템은 3개의 시점 (3D view 0, 3D view 1, 3D view 2) 의 3차원 영상을 제공한다. 3D view 0 의 3차원 영상은 비디오 0 과 비디오 1을 포함한다. 3D view 1의 3차원 영상은 비디오 1과 비디오 2를 포함한다. 3D view 2는 비디오 2와 비디오 3를 포함한다. 송신단에서는 전술한 시그널링 방안을 통하여, 각 시점에서의 에지 핸들링 정보를 제공할 수 있다. 또한, 수신기에서 합성이 가능한 다른 시점에서의 3차원 영상에 대한 에지 핸들링 정보도 함께 시그널링될 수 있다.
도 9의 (b)를 참조하면, 3D view 0의 시점의 3차원 영상은 비디오 0과 비디오 1을 포함할 수 있다. 송신단에서는 비디오 0을 촬영한 카메라의 위치, 비디오 1을 촬영한 카메라의 위치 정보, 비디오 0에서의 에지 방해 영역의 넓이, 비디오 1에서의 에지 방해 영역의 넓이에 관한 정보가 시그널링 될 수 있다. 예를 들면, 3D view 0의 시점의 3차원 영상에 대하여 L, R camera position (0, 1), Edge violation width pixel: (LL, RR) = (24, 8) 같은 정보가 시그널링 될 수 있다. L, R camera position (0, 1)는 좌영상을 촬영한 카메라의 위치가 baseline의 기준 지점에 위치하며, 우영상을 촬영한 카메라의 위치가 '1' 만큼 기준선에서 떨어져있다는 정보이다. Edge violation width pixel: (LL, RR) = (24, 8)는 좌영상의 좌측 에지에서 24 픽셀 넓이의 영역에서 에지 방해가 발생하고, 우영상의 우측 에지에서 8 픽셀 넓이의 영역에서 에지 방해가 발생함을 나타낸다.
3D view 1의 시점의 3차원 영상은 비디오 1과 비디오 2를 포함할 수 있다. 송신단에서는 비디오 1을 촬영한 카메라의 위치, 비디오 2을 촬영한 카메라의 위치 정보, 비디오 1에서의 에지 방해 영역의 넓이, 비디오 2에서의 에지 방해 영역의 넓이에 관한 정보가 시그널링 될 수 있다. 예를 들면, 3D view 1의 시점의 3차원 영상에 대하여 L, R camera position (1, 2), Edge violation width pixel: (LL, RR) = (3, 36) 같은 정보가 시그널링 될 수 있다. L, R camera position (1, 2)는 좌영상을 촬영한 카메라의 위치가 baseline의 기준 지점에서 '1' 만큼 떨어져 위치하며, 우영상을 촬영한 카메라의 위치가 '2' 만큼 기준선에서 떨어져있다는 정보이다. Edge violation width pixel: (LL, RR) = (3, 36)는 좌영상의 좌측 에지에서 3 픽셀 넓이의 영역에서 에지 방해가 발생하고, 우영상의 우측 에지에서 36 픽셀 넓이의 영역에서 에지 방해가 발생함을 나타낸다.
송신단에서는 수신단에서 합성될 수 있는 다른 시점의 3차원 영상에 대하여 에지 핸들링 정보를 시그널링할 수 있다. Synthesized 3D view X의 시점의 3차원 영상은 합성된 비디오 0.5과 합성된 비디오 1.5를 포함할 수 있다. 합성된 비디오 0.5과 합성된 비디오 1.5는 수신단에서 수신한 비디오 데이터를 이용하여 새롭게 생성한 비디오 데이터 이다. 즉, 수신단에서 새로운 시점의 3차원 영상을 제공하기 위하여 합성한 비디오 데이터이다. 송신단에서는 비디오 0.5를 촬영할 것으로 기대되는 가상 카메라의 위치, 비디오 1.5를 촬영할 것으로 기대되는 가상 카메라의 위치 정보, 비디오 0.5에서 발생이 예상되는 에지 방해 영역의 넓이, 비디오 1.5에서 발생이 예상되는 에지 방해 영역의 넓이에 관한 정보를 시그널링 할 수 있다. 예를 들면, 송신단에서는 L, R camera position (0.5, 1.5), Edge violation width pixel: (LL, RR) = (10, 25) 같은 정보를 시그널링 할 수 있다. L, R camera position (0.5, 1.5)는 좌영상을 위한 가상 카메라의 위치가 baseline의 기준 지점에서 '0.5' 만큼 떨어져 위치하며, 우영상을 위한 가상 카메라의 위치가 '1.5' 만큼 기준선에서 떨어져있다는 정보이다. Edge violation width pixel: (LL, RR) = (10, 25)는 좌영상의 좌측 에지에서 10 픽셀 넓이의 영역에서 에지 방해가 발생하고, 우영상의 우측 에지에서 25 픽셀 넓이의 영역에서 에지 방해가 발생함을 나타낸다. 즉, 송신단에서는 가상의 카메라 위치에 따라, 좌영상 및 우영상에서 발생이 예상되는 에지 방해 영역에 대한 정보를 시그널링 할 수 있다.
도 10은 본 발명의 일 실시예에 따른, 수신단에서 가상 3차원 영상에 대한 에지 핸들링 정보를 도출할 수 있도록 관련 함수를 시그널링하는 경우를 나타낸 도면이다.
전술한 바와 같이, 다시점 TV 에서 합성된 3차원 영상의 에지 방해 영역 정보 (에지 핸들링 정보)를 수신기에서 도출할 수 있다. 3D view 0의 좌영상 (비디오 0), 우영상 (비디오 2) 및 관련 정보 (L_cam_position, LL_edge_pixel_width, R_cam_position, RR_edge_pixel_width) 를 입력 값으로 하여, Synthesized 3D view 0 와 synthesized 3D view 1의 edge violation pixel width를 도출해 낼 수 있으며, 이때, 시그널링 된 LL_function_type, LL_coefficient, RR_function_type, RR_coefficient 값을 이용한다. 시그널링 되는 파리미터 또는 필드들에 대한 설명은 전술한 내용으로 대체한다.
도 9에서 전술한 방법에 따르면, 각 합성된 3차원 영상 마다의 edge violation pixel width 값 자체를 전송하였기 때문에 임의의 카메라 위치를 갖는 synthesized 3D view의 edge violation pixel width 정보를 알 수 없는 경우가 발생할 수 있고, 따라서 전송된 특정 카메라 위치의 3차원 영상에 대한 에지 핸들링 정보만 알 수 있다. 이에 반해 도 10과 같이, 수신단에서 가상 3차원 영상에 대한 에지 핸들링 정보를 도출할 수 있도록 관련 함수를 시그널링하는 경우, 각 구간별로 edge violation pixel width를 도출 할 수 있는 함수가 시그널링 되므로, 구간 내에 존재하는 모든 3차원 영상 페어에 대한 에지 핸들링 정보를 도출할 수 있다.
도 11은 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하기 위한 수식을 나타낸 도면이다.
수신단의 영상 합성 (View synthesis) 과정에서 영상의 각 픽셀을 새로운 시점의 영상으로 매핑하는 과정을 거치므로, 새로운 시점의 각 픽셀이 기존 영상의 어느 픽셀에 대응되는 것인지를 알 수 있고, 이를 통해 수신기는 새로 구성한 3차원 영상 페어 (좌영상, 우영상) 의 에지 방해 영역에 대한 정보를 추출할 수 있다.
즉, 3차원 영상의 좌측 에지에 있는 에지 방해 영역은 우영상에는 존재하지 않지만 좌영상에만 존재하는 영역 또는 오브젝트에 해당될 수 있다. (식 1-1, 2-1). 3차원 영상의 우측 에지에 있는 에지 방해 영역은 좌영상에는 존재하지 않지만, 우영상에만 존재하는 영역 또는 오브젝트에 해당될 수 있다. (식 1-2, 2-2). 새로 합성한 영상이 아닌, 수신한 3차원 영상의 에지 방해 정보 역시 feature matching 등의 기법을 통해 에지 방해 영역을 도출 할 수 있다. (식 1-1 및 식 1-2).
즉, (식 1-1)을 참조하면, 좌영상 (V1) 에는 존재하는 픽셀 (p) 이 우영상 (V2) 에는 존재하지 않는 경우, 해당 픽셀은 좌측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
(식 1-2)을 참조하면, 좌영상 (V1) 에는 존재하지 않는 픽셀 (p) 이 우영상 (V2) 에는 존재하는 경우, 해당 픽셀은 우측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
(식 2-1)을 참조하면, 좌영상 (V1) 에는 존재하는 픽셀 (p) 이 합성된 우영상 (S12) 에는 존재하지 않는 경우, 합성된 3차원 영상에서 해당 픽셀은 좌측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
(식 2-2)을 참조하면, 좌영상 (V1) 에는 존재하지 않는 픽셀 (p) 이 합성된 우영상 (S12) 에는 존재하는 경우, 합성된 3차원 영상에서 해당 픽셀은 우측 에지 방해 영역에 위치하는 것으로 판단할 수 있다.
이러한 방식으로 수신기는 각각의 픽셀에 대한 에지 방해 영역에 존재 여부를 판단하여, 최종적으로 수신한 3차원 영상 (또는 합성된 3차원 영상) 에서 에지 방해가 발생하는 영역을 판단할 수 있다.
도 12는 본 발명의 일 실시예에 따른, 별도의 시그널링이 없이 수신기에서 자체적으로 에지 방해 핸들링을 수행하는 경우를 나타낸 도면이다.
V1과 V2는 수신한 스테레오 3차원 영상의 좌영상 및 우영상 이고, V1과 S12는 수신단에서 새로 합성한 스테레오 3차원 영상의 좌영상 및 우영상 이다. S12는 V1과 V2를 기반으로 Synthesize된 영상이며, V1은 수신한 영상과 동일하다. 이때, 도면에서 음영 처리된 부분은 에지 방해가 발생한 영역을 의미한다.
예를 들어, 도 11에서 전술한 방식을 적용할 때, 하나의 프레임 내에서 수직으로 배열된 픽셀들 중 어느 하나라도 에지 방해 영역에 포함되는 것으로 판단되면, 수신기는 해당 수직으로 배열된 픽셀들 모두가 에지 방해 영역에 포함되는 것으로 판단하도록 설정될 수 있다.
도 13은 본 발명의 일 실시예에 따른 다시점 3차원 영상 수신기를 나타낸 도면이다.
본 발명의 일 실시예에 따른 3차원 영상 수신기는 튜너 및 복조부 (13010; tuner & demodulator), VSB 디코더 (13020; VSB decoder), TP 역다중화부 (13030; TP demux), depth 디코더 (13040, 13042, 13044; depth decoder), 비디오 디코더 (13050, 13052, 13054; video decoder), 3차원 가상 영상 합성부 (13060; 3D virtual view synthesis), 가상 영상 처리부 (13070, 13072; virtual view processor), 비디오 선택부 (13080; video selector), 3차원 에지 핸들링 및 영상 처리부 (13090; 3D edge handling & view processing), PSI/PSIP/SI 처리부 (13100; PSI/PSIP/SI processor); 3차원 영상 정보 처리부 (13110; 3D view info processing) 및/또는 출력 포맷터 (13120; output formatter) 를 포함한다.
튜너 및 복조부 (13010)는 방송 신호를 수신한다. 튜너 및 복조부 (13010)는 방송 신호를 복조한다.
VSB 디코더 (13020)는 변조 방식에 따른 복조를 수행한다. VSB 디코더 (13020)는 VSB 방식으로 변조된 신호, OFDM 방식으로 변조된 신호 등을 복조한다. VSB 디코더 (13020)는 전술한 튜너 및 복조부 (13010)에 포함될 수 있고, 별도로 존재할 수도 있다.
TP 역다중화부 (13030)는 방송 신호내의 트랜스포트 스트림 또는 트랜스포트 스트림 패킷을 추출한다.
depth 디코더 (13040, 13042, 13044)는 방송 신호에 포함된 depth 관련 정보를 디코딩한다. Depth 관련 정보는 방송 패킷, 트랜스포트 패킷, 데이터 세그먼트, 비디오 헤더 또는 비디오 어세스 유닛 헤더 형태로 전송될 수 있다. 각각의 depth 디코더는 각각의 3차원 영상에 포함되는 각각의 영상에 대한 depth 정보를 디코딩한다.
비디오 디코더 (13050, 13052, 13054)는 방송 신호에 포함된 각 비디오 영상을 디코딩한다. 비디오 디코더는 3차원 영상에 포함되는 각 영상을 디코딩한다. 예를 들면, 비디오 디코더는 베이스 영상 (좌영상 또는 우영상)을 디코딩하는 베이스 영상 비디오 디코더 (13050), 및/또는 추가 영상 (베이스 영상이 좌영상인 경우 우영상, 베이스 영상이 우영상인 경우 좌영상)을 디코딩하는 추가 영상 비디오 디코더 (13052, 13054) 를 포함할 수 있다. 추가 영상은 기본 시점의 3차원 영상을 만들기 위한 비디오 영상, 및/또는 추가 시점의 3차원 영상을 만들기 위한 비디오 영상을 포함한다.
3차원 가상 영상 합성부 (13060)는 디코딩된 베이스 영상 및/또는 추가 영상을 이용하여, 가상의 영상을 생성한다. 3차원 가상 영상 합성부 (13060)는 방송 신호를 통하여 전송되는 시점 이외에 다른 시점의 3차원 영상에 포함되는 비디오 영상을 생성할 수 있다. 3차원 가상 영상 합성부 (13060)는 비디오 영상을 생성하는 과정에서 PSI, PSIP, 또는 DVB-SI에 포함되는 시그널링 정보를 이용할 수 있다. 차원 가상 영상 합성부 (13060)는 비디오 영상을 생성하는 과정에서 3차원 영상 정보 처리부 (13110)에서 획득된 정보를 이용할 수 있다.
가상 영상 처리부 (13070, 13072)는 합성된 가상 영상을 분리하여 처리한다. 가상 영상 처리부 (13070, 13072)는 각각의 시점에 3차원 영상에 포함되는 합성된 가상 영상을 식별한다.
비디오 선택부 (13080; video selector)는 다시점 디스플레이의 각 3차원 시점단위로 출력할 2개의 비디오 영상 (비디오 스트림) 을 선택한다. 각 시점의 3차원 영상에 포함되는 비디오 영상 또는 비디오 스트림은 디코딩된 (즉, 방송 신호에 포함된) 비디오 영상 또는 합성된 가상 비디오 영상이 될 수 있다.
3차원 에지 핸들링 및 영상 처리부 (13090)는 전술한 방식 중 하나 이상의 방식으로 각 시점의 3차원 영상에 발생할 수 있는 에지 방해를 처리한다. 에지 방해를 처리하는 상세한 내용은 전술한 설명으로 대체한다. 3차원 에지 핸들링 및 영상 처리부 (13090)는 에지 핸들링을 수행하는 과정에서 에지 핸들링 정보 또는 에지 핸들링 정보 생성을 위한 함수 정보를 이용할 수 있다. 3차원 에지 핸들링 및 영상 처리부 (13090)는 송신단에서 에지 핸들링 관련 정보가 시그널링 되지 않는 경우, 각 비디오 영상을 비교하여 에지 방해 영역을 추출하고, 추출된 에지 방해 영역에 대한 에지 핸들링을 수행할 수 있다.
PSI/PSIP/SI 처리부 (13100)는 방송 신호에 포함된 시그널링 정보를 파싱한다. 시그널링 정보는 PSI, PSIP, 또는 DVB-SI 등의 정보를 포함한다. PSI, PSIP, 또는 DVB-SI 는 프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT), 이벤트 정보 테이블 (Event Information Table; EIT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT) 을 포함한다.
3차원 영상 정보 처리부 (13110)는 비디오 레벨의 SEI 메시지 또는 PSI, PSIP, 또는 DVB-SI 레벨의 descriptor를 통해 전송되는 3차원 영상 관련 정보를 획득한다. 여기서 3차원 영상 관련 정보는 depth 맵 정보, 카메라 파라미터, 에지 핸들링 정보, 에지 핸들링 정보를 생성하기 위한 함수 정보, 3차원 영상 프로세싱 정보 및/또는 전술한 정보 등을 포함할 수 있다.
출력 포맷터 (13120; output formatter) 는 에지 핸들링이 수행된 각 시점의 3차원 영상을 출력 형태로 포맷팅하여 디스플레이될 수 있도록 처리 한다.
이상에서 설명한 바와 같이, 본 발명에서는 다시점 3DTV에서 각 3차원 영상 별로 에지 방해 (edge violation) 가 일어나는 시점에 에지 핸들링 (edge handling) 방법을 적용하여 적절한 깊이감을 제공하는 환경을 만들어주기 위해 필요한 각종 변수와 데이터를 정리하고, 이를 활용하는 방안을 제시하였다.
본 발명에 따르면, 다시점 3차원 영상을 시청하는 경우에도, 각각의 시점에서 에지 핸들링이 가능하다.
본 발명에 따르면, 송신단에서 전송되지 않는 시점의 3차원 영상에 대하여도, 에지 핸들링이 가능한다.
본 발명에 따르면, 송신단에서 에지 핸들링에 필요한 정보 (에지 방해 정보) 가 제공되지 않는 경우에도, 수신기에서 에지 핸들링을 수행할 수 있다.
본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
발명의 실시를 위한 형태
전술한 바와 같이 발명의 실시를 위한 최선의 형태로, 본 발명과 관련된 사항을 기술하였다.
본 발명은 디지털 방송 산업 분야에서 전체적으로 또는 부분적으로 이용될 수 있다.

Claims (12)

  1. 복수의 시점에 대한 3차원 영상을 수신 처리하는 다시점 3차원 영상 방송신호 수신 방법에 있어서,
    다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계;
    상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계;
    상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계;
    상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계;
    상기 3차원 영상 프로세싱 정보에 포함되는 3차원 에지 방해 영역 탐지 함수 정보를 파싱하는 단계;
    상기 3차원 에지 방해 영역 탐지 함수 정보를 이용하여, 상기 제 2 시점의 3차원 영상에서 발생하는 에지 방해의 영역을 추출하고, 상기 영역의 에지 방해를 핸들링하는 단계; 및
    상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계;
    를 포함하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  2. 제 1 항에 있어서, 상기 3차원 에지 방해 영역 탐지 함수 정보는,
    상기 에지 방해의 영역을 추출하는 데 사용되는 함수의 종류를 식별하는 함수 타입 정보 및 식별된 함수에 사용되는 계수의 값을 나타내는 계수 정보를 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  3. 제 2 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    상기 제 2 좌영상 또는 상기 제 2 우영상을 촬영할 것으로 예상되는 카메라의 위치 정보 및 상기 제 1 시점의 3차원 영상에서의 에지 방해 영역을 나타내는 정보를 더 포함하고 있는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  4. 제 1 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    상기 수신기에서 생성될 수 있는 하나 이상의 시점의 3차원 영상에 발생할 수 있는 에지 방해에 관한 정보를 포함하는 에지 핸들링 정보를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  5. 제 4 항에 있어서, 상기 에지 핸들링 정보는,
    상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보 및 상기 하나 이상의 시점의 3차원 영상에 포함되는 우영상에 존재하는 에지 방해의 영역의 픽셀 개수 정보를 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  6. 제 5 항에 있어서, 상기 에지 핸들링 정보는,
    상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해를 핸들링하는 방법을 지정하는 정보를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  7. 제 6 항에 있어서, 상기 에지 핸들링 정보는,
    상기 하나 이상의 시점의 3차원 영상에 포함되는 좌영상 및 우영상에 존재하는 상기 에지 방해가 핸들링 된 후 상기 하나 이상의 시점의 3차원 영상의 최소 디스패리티를 식별하는 정보를 더 포함하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  8. 제 7 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    SEI (Supplemental Enhancement Information) 메시지를 통하여 전송되는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  9. 제 7 항에 있어서, 상기 3차원 영상 프로세싱 정보는,
    프로그램 맵 테이블 (Program Map Table; PMT), 가상 채널 테이블 (Virtual Channel Table; VCT), 이벤트 정보 테이블 (Event Information Table; EIT) 또는 서비스 디스크립션 테이블 (Service Description Table; SDT) 를 통하여 전송되는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  10. 복수의 시점에 대한 3차원 영상을 수신 처리하는 다시점 3차원 영상 방송신호 수신 방법에 있어서,
    다시점 3차원 영상 방송을 위한 방송 신호를 수신하는 단계;
    상기 수신한 방송 신호로부터, 제 1 시점의 3차원 영상에 포함되는 제 1 좌영상 데이터 및 제 1 우영상 데이터를 디코딩하는 단계;
    상기 수신한 방송 신호로부터, 3차원 영상 프로세싱 정보를 파싱하는 단계;
    상기 제 1 좌영상 데이터, 상기 제 1 우영상 데이터 및 상기 3차원 영상 프로세싱 정보를 이용하여, 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계,
    여기서, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는:
    상기 제 1 시점의 3차원 영상에 포함되는 픽셀을 상기 제 2 시점의 3차원 영상의 픽셀로 매핑 (mapping) 하고, 상기 매핑 과정에서 상기 제 2시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계; 를 포함하며;
    상기 제 2 시점의 3차원 영상의 상기 에지 방해를 핸들링하는 단계; 및
    상기 제 1 시점의 3차원 영상 및 상기 제 2 시점의 3차원 영상을 디스플레이하는 단계;
    를 포함하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  11. 제 10 항에 있어서,
    상기 3차원 영상 프로세싱 정보는,
    상기 제 1 시점의 3차원 영상을 촬영한 카메라의 카메라 파라미터 정보를 포함하고,
    상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 단계는,
    상기 카메라 파라미터 정보를 더 이용하여, 상기 제 2 시점의 3차원 영상에 포함되는 제 2 좌영상 데이터 및 제 2 우영상 데이터 중 적어도 하나 이상의 데이터를 생성하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
  12. 제 10 항에 있어서, 상기 제 2 시점의 3차원 영상에 발생하는 에지 방해의 영역을 추출하는 단계는,
    상기 제 2 시점의 3차원 영상의 좌영상 및 우영상에 포함되는 픽셀을 각각 탐지하고, 상기 좌영상에는 존재하나, 상기 우영상에는 존재하지 않는 픽셀, 혹은 상기 좌영상에는 존재하지 않으나, 상기 우영상에는 존재하는 픽셀이 포함되는 영역을 에지 방해의 영역으로 추출하는 것을 특징으로 하는 다시점 3차원 영상에서 에지 방해를 처리하는 다시점 3차원 영상 방송신호 수신 방법.
KR1020157008088A 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치 KR20150079577A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261718681P 2012-10-25 2012-10-25
US61/718,681 2012-10-25
PCT/KR2013/009597 WO2014065635A1 (ko) 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20150079577A true KR20150079577A (ko) 2015-07-08

Family

ID=50544933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157008088A KR20150079577A (ko) 2012-10-25 2013-10-25 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Country Status (8)

Country Link
US (1) US9578300B2 (ko)
EP (1) EP2914003A4 (ko)
JP (1) JP6139691B2 (ko)
KR (1) KR20150079577A (ko)
CN (1) CN104769943B (ko)
CA (1) CA2888147A1 (ko)
MX (1) MX345274B (ko)
WO (1) WO2014065635A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101999137B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
EP3534817A4 (en) * 2016-11-04 2020-07-29 Intuitive Surgical Operations Inc. RECONFIGURABLE DISPLAY IN COMPUTER-BASED REMOTE-CONTROLLED SURGERY
JP6995294B1 (ja) 2020-11-18 2022-01-31 隆志 矢野 自動車のための、表示装置の映像の視認がステアリングホイール等の障害物によって阻害されない操縦システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899422B1 (ko) * 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
WO2010064774A1 (ko) 2008-12-02 2010-06-10 (주)엘지전자 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
JP2011228862A (ja) 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
KR101685343B1 (ko) 2010-06-01 2016-12-12 엘지전자 주식회사 영상표시장치 및 그 동작방법
WO2012007867A1 (en) * 2010-07-12 2012-01-19 Koninklijke Philips Electronics N.V. Signaling for multiview 3d video
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
KR20120089921A (ko) 2010-12-23 2012-08-16 한국전자통신연구원 다이나믹 프로그래밍 방식을 이용하는 스테레오 매칭 시스템 및 그 방법
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
WO2012099108A1 (ja) * 2011-01-17 2012-07-26 シャープ株式会社 多視点画像符号化装置、多視点画像復号装置、多視点画像符号化方法、多視点画像復号方法およびプログラム
US9392249B2 (en) 2011-01-25 2016-07-12 Lg Electronics Inc. Method and apparatus for transmitting/receiving a digital broadcasting signal
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
KR20120101881A (ko) * 2011-03-07 2012-09-17 삼성전자주식회사 영상 디스플레이 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템

Also Published As

Publication number Publication date
JP6139691B2 (ja) 2017-05-31
CA2888147A1 (en) 2014-05-01
JP2015536608A (ja) 2015-12-21
CN104769943A (zh) 2015-07-08
CN104769943B (zh) 2017-03-08
MX2015004381A (es) 2015-06-10
US20150271464A1 (en) 2015-09-24
EP2914003A1 (en) 2015-09-02
EP2914003A4 (en) 2016-11-02
MX345274B (es) 2017-01-24
US9578300B2 (en) 2017-02-21
WO2014065635A1 (ko) 2014-05-01

Similar Documents

Publication Publication Date Title
KR101759943B1 (ko) 방송 수신기 및 3ｄ 이미지 디스플레이 방법
KR101626486B1 (ko) 방송 수신기 및 비디오 데이터 처리 방법
KR101899821B1 (ko) 다시점 3차원 방송 신호를 수신하기 위한 수신 장치 및 방법
US9578304B2 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
EP2371140B1 (en) Broadcast receiver and 3d subtitle data processing method thereof
KR20140040151A (ko) 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
CA2777038A1 (en) Broadcast receiver and 3d video data processing method thereof
KR20110126101A (ko) 방송 수신기 및 3ｄ 비디오 데이터 처리 방법
US9392249B2 (en) Method and apparatus for transmitting/receiving a digital broadcasting signal
KR101844232B1 (ko) 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
KR20140018254A (ko) 디지털 방송 신호 송/수신 방법 및 장치
JP6139691B2 (ja) 多視点３ｄｔｖサービスにおいてエッジ妨害現象を処理する方法及び装置
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid