KR20120101881A - 영상 디스플레이 방법 및 장치 - Google Patents

영상 디스플레이 방법 및 장치 Download PDF

Info

Publication number
KR20120101881A
KR20120101881A KR1020110019967A KR20110019967A KR20120101881A KR 20120101881 A KR20120101881 A KR 20120101881A KR 1020110019967 A KR1020110019967 A KR 1020110019967A KR 20110019967 A KR20110019967 A KR 20110019967A KR 20120101881 A KR20120101881 A KR 20120101881A
Authority
KR
South Korea
Prior art keywords
image
right eye
received
images
box
Prior art date
Application number
KR1020110019967A
Other languages
English (en)
Inventor
레이 장
권오재
민경선
민종술
손영욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110019967A priority Critical patent/KR20120101881A/ko
Priority to US13/244,309 priority patent/US20120229600A1/en
Priority to EP11185359.4A priority patent/EP2498501A3/en
Publication of KR20120101881A publication Critical patent/KR20120101881A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Abstract

영상 디스플레이 장치가 개시된다. 영상 디스플레이 장치는, 영상을 수신하는 단계, 영상이 좌안 영상 및 우안 영상을 포함하는 경우, 좌안 및 우안 영상들로부터 적어도 하나의 왜곡 파라미터(distortion parameter)를 결정하는 단계, 결정된 적어도 하나의 왜곡 파라미터를 기초로 수신된 좌안 영상으로부터 제1경계 부분을 제거하고, 수신된 우안 영상으로부터 제2경계 부분을 제거함으로써 수신된 좌안 영상 및 우안 영상을 변환하는 단계 및 변환된 좌안 및 우안 영상들을 교번적으로 디스플레이하는 단계를 포함한다.

Description

영상 디스플레이 방법 및 장치{Image display method and apparatus thereof}
본 발명은 영상 디스플레이 방법 및 장치에 관한 것으로, 보다 상세하게는 3D 영상 디스플레이 방법 및 장치에 관한 것이다.
3D 영상을 생성하는 몇몇 관련 기술들은 한 쌍의 2D 영상들로부터 3D 일루전(illsuion)을 생성하는 벙법을 포함한다. 한 쌍의 눈 중 각각의 눈은 서로 일정 간 이격되어 있으며, 각각의 눈은 약간 다른 영상을 인지한다. 이에 따라, 각각의 눈이 같은 객체에 대하여 약간씩 다른 원근감의 영상 정보를 수신하기 때문에 한 쌍의 2D 영상들로부터 3D 영상을 인지할 수 있다. 이러한 원근감의 차이는 양안이 자연적으로 양안 시각에서 수신하는 원근감과 동일하다. 인간의 뇌는 이러한 차이점 및 깊이를 처리하고, 이렇게 인간은 2개의 약각 다른 2D 영상들로부터 깊이를 인지할 수 있다.
3D 영상 시스템에서, 교차 프레임 시퀀스 시스템은 좌안 및 우안 영상을 캡쳐하기 위하여 두 대의 각각 다른 카메라를 사용할 수 있다. 뷰어가 양안 시를 경험할 수 있도록 하기 위해, 빠르게 연속적으로, 좌안 및 우안 셔터를 번갈아 오픈 및 클로즈하는 셔터 글래스를 쓰고 있는 뷰어에게 캡쳐된 좌안 및 우안 영상들이 디스플레이 될 수 있다. 상술한 바와 같이, 뷰어의 뇌는 인지된 좌안 및 우안 영상들 사이의 약간의 차이에 기초하여 깊이(depth)를 인지할 할 수 있으며, 뷰어는 좌안 2D 영상 및 우안 2D 영상에 기초하여 3D 영상을 인지할 수 있다.
도 1은 인간의 양안이 화면/객체를 인지하는 일 예를 보여주는 도면이다. 도 1에 도시된 바와 같이, 양안(101,102)은 각각 시각 범위(103,104)를 가지고 있다. 본 실시예에서 뷰어는 구역 110,111 및 112를 포함하는 장면(113)을 보고 있다. 각각의 개별적 눈의 제한된 시각 범위의 결과, 각각의 눈은 장면(113)의 다른 영상을 인지하게 된다. 여기서, 좌안(101)은 구역 110 및 111을 인식하는 반면, 우안(102)은 구역 110 및 112를 인식한다. 다시 말해, 좌안(101)은 시각 범위(103)가 제한되어 있기 때문에 구역 112를 인지할 수 없다. 반대로, 우안(102)는 시각 범위(104)가 제한되어 있기 때문에 구역 111을 인지할 수 없다. 그럼에도 불구하고, 본 실시예에서 뷰어는 시각 범위 103 및 104가 오버랩되며, 장면(113)의 일부분인 구역 110에서 장면(113)의 깊이를 인지할 수 있다. 상술한 바와 같이, 뷰어에 의해 보여질 때, 이것은 좌안 및 우안 영상들 사이에 인지된 약간의 차이에 의해 발생한다. 도 1의 예가 한 쌍의 눈의 원근감에 대한 예인 반면, 동일한 모델이 영상을 캡쳐하기 위한 한 쌍의 카메라를 가지는 3D 영상 시스템에 적용될 수 있다.
그러나, 수신된 좌안 및 우안 영상들 사이에 매우 큰 차이가 있을 수 있다. 다시 도 1 을 참조하면, 좌안 영상 입력 101은 구역 112를 인지할 수 없고, 우안 영상 입력 102는 구역 111을 인지할 수 없다. 이러한 경우, 몇몇 요소는 좌안 영상에 존재하고, 우안 영상에 존재하지 않거나, 또는 그 반대일 수 있다. 도 1에서 알수 있는 바와 같이, 큰 차이가 좌안 및 우안 영상들의 각각의 경계 부분에서 발생할 수 있다. 이러한 차이들은 뷰어에 의해 보여지게 될 때, 에러 또는 아티팩트(artifacts)에 의해 발생한다. 이렇게 디스플레이된 3D 영상에 관하여, 뷰어는 조안 및 우안 2D 영상들 내부의 그러한 이질적인 부분들에 깊이를 인지할 수 없다.(예를 들어, 도 1의 구역 111 및 112), 반대로, 뷰어는 좌안 및 우안 영상들 사이에 큰 차이로 인해 불편한 느낌을 경함할 수 있다.
아티팩트는 또한 영상들의 다룬 부분에서 발생할 수 도 있다.(예를 들어, 단지 몇몇 요소들이 하나의 이미지에 존재하고, 다른 구역에는 완전히 존재하지 않는 구역, 예를 들어, 도 1 구역 110). 예를 들어, 아티팩트는 좌안 및 우안 영상들 사이의 깊이 차이가 간단히 기 설정된 값 보다 큰 구역 내부에서 발생할 수 있다. 디사, 이러한 종류의 차이들은 뷰어에게 불편한 느낌을 유발하는 영상 아티팩트로 인한 결과이다.
이와 같은 아티팩트의 존재로 인한 결과, 예를 들어 뷰어는 3D 영상의 인지에서 오류를 경험할 수 있다(예를 들어, 좌안 및 우안 2D 영상들의 교번적인 디스플레이로부터 야기될 수 있다). 추가적으로, 뷰어는 디스플레이된 3D 영상에서 플리커링(flickering), 크로스토크(crosstalk) 및 고스팅(ghosting)과 같은 현상을 경험할 수 있다. 이러한 현상은 뷰어에게 불편한 느낌 및 눈의 피로를 야기한다. 따라서, 이와 같은 부작용을 최소화하거나 또는 제거하는 것이 필요하다.
추가적으로, 수신된 영상이 예를 들어, 특정 디스플레이 포맷 영상의 좌측 및 우측 상에 검은색 바를 이용하는 필러 박스(pillar box) 및 특정 디스플레이 포맷 영상의 상측 및 하측 상에 검은색 바를 이용하는 레터 박스(letterbox)를 포함하고 있는 경우에는, 좌안 및 우안 영상들의 이질적인 부분들 때문에 상술한 문제점들이 좀 더 부각되어 나타나게 된다. 예를 들어, 필러 박스 그 자체로 변형될 수 있다. 또한, 공간적인 크로스토크(crosstalk) 및 시간적인 플리커링(flickering)과 같은 연상이 발생할 수 있다. 이러한 부작용이 또한 레터 박스 포맷의 비디오 신호에서 발생할 수 있다. 다시 말해, 이와 같은 부작용을 최소화 하거나 또는 제거하는 것이 필요하다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 아티팩트를 감소시킬 수 있는 영상 디스플레이 방법 및 장치를 제공하는 것을 기술적 과제로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 디스플레이 방법은, 영상을 수신하는 단계, 상기 영상이 좌안 영상 및 우안 영상을 포함하는 경우, 상기 좌안 및 우안 영상들로부터 적어도 하나의 왜곡 파라미터(distortion parameter)를 결정하는 단계, 상기 결정된 적어도 하나의 왜곡 파라미터를 기초로 상기 수신된 좌안 영상으로부터 제1경계 부분을 제거하고, 상기 수신된 우안 영상으로부터 제2경계 부분을 제거함으로써 상기 수신된 좌안 영상 및 우안 영상을 변환하는 단계 및 상기 변환된 좌안 및 우안 영상들을 교번적으로 디스플레이하는 단계를 포함한다.
또한, 상기 수신된 영상이 필러 박스 및 레터 박스 중 적어도 하나를 포함하는 2D 영상일 경우, 상기 필러 박스 또는 레터 박스 영역을 제거한 후 상기 좌안 영상 및 우안 영상을 생성하여 전달하는 단계를 더 포함할 수 있다.
또한, 상기 왜곡 파라미터를 결정하는 단계는, 상기 수신된 좌안 및 우안 영상들 사이의 최대 디스패러티 값을 결정하는 단계를 포함할 수 있다.
여기서, 상기 왜곡 파라미터는, 좌측 부분 및 우측 부분에 대응되는 좌표들을 포함하며, 상기 좌측 부분은 상기 수신된 좌안 영상의 좌측 가장자리 주변이며,상기 우측 부분은 상기 수신된 우안 영상의 우측 가장자리에 주변일 수 있다.
또한, 상기 제1 및 제2 경계 부분들은 수직 방향일 수 있다.
또한, 상기 변환된 좌안 및 우안 영상들을 스케일링하는 단계를 더 포함할 수 있다.
또한, 상기 스케일링하는 단계는, 기 적어도 하나의 왜곡 파라미터에 기초하여 설정된 스케일링 비율에 따라 수행될 수 있다.
또한, 상기 좌안 및 우안 영상에서 제거된 경계부분에 대응하는 영역에 블랙바를 삽입하는 단계를 더 포함할 수 있다.
또한, 상기 수신된 좌안 및 우안 영상들은, 러 박스(pillar box) 및 레터 박스(letter box) 중 적어도 하나를 포함할 수 있다.
또한, 상기 왜곡 파라미터를 결정하는 단계는, 필러 박스 영역의 크기 및 레터박스 영역의 크기 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
또한, 상기 왜곡 파라미터를 결정하는 단계는, 상기 필러 박스 영역의 크기를 결정하는 단계, 상기 수신된 좌안 및 우안 영상 사이의 최대 디스패러티 값을 결정하는 단계, 상기 필러 박스 영역의 크기가 상기 최대 디스패러티 값보다 클 경우 필러 박스 영역을 상기 제1 및 제2 경계 부분으로 결정하는 단게;를 더 포함할 수 있다.
이 경우, 상기 제1경계 부분은 제2경계 부분의 크기, 형상 및 위치 중 적어도 하나와 유사할 수 있다.
한편, 본 발명의 일 실시 예에 따른 영상 디스플레이 장치는, 영상을 수신하는 입력부, 상기 영상이 좌안 영상 및 우안 영상을 포함하는 경우 상기 좌안 및 우안 영상들로부터 적어도 하나의 왜곡 파라미터(distortion parameter)를 결정하는 왜곡 결정부, 상기 결정된 적어도 하나의 왜곡 파라미터를 기초로 상기 수신된 좌안 영상으로부터 제1경계 부분을 제거하고, 상기 수신된 우안 영상으로부터 제2경계 부분을 제거함으로써 상기 수신된 좌안 영상 및 우안 영상을 변환하는 이미지 변환부 및 상기 변환된 좌안 및 우안 영상들을 교번적으로 디스플레이하는 디스플레이부를 포함한다.
또한, 상기 이미지 변환부는, 상기 수신된 영상이 필러 박스 및 레터 박스 중 적어도 하나를 포함하는 2D 영상일 경우, 상기 필러 박스 또는 레터 박스 영역을 제거한 후 상기 좌안 영상 및 우안 영상을 생성할 수 있다.
또한, 상기 왜곡 결정부는, 상기 수신된 좌안 및 우안 영상들 사이의 최대 디스패러티 값을 결정할 수 있다.
또한, 상기 적어도 하나의 왜곡 파라미터는, 좌측 부분 및 우측 부분에 대응되는 좌표들을 포함하며, 상기 좌측 부분은 상기 수신된 좌안 영상의 좌측 가장자리 주변이며, 상기 우측 부분은 상기 수신된 우안 영상의 우측 가장자리 주변일 수 있다.
여기서, 상기 제1 및 제2 경계 부분들은 수직 방향일 수 있다.
또한, 상기 변환된 좌안 및 우안 영상들을 스케일링하는 스케일링부를 더 포함할 수 있다.
또한, 상기 스케일링부는, 상기 적어도 하나의 왜곡 파라미터에 기초하여 설정된 스케일링 비율에 따라 상기 변환된 좌안 및 우안 영상들을 스케일링할 수 있다.
또한, 상기 이미지 변환부는, 상기 좌안 및 우안 영상에서 제거된 경계부분에 대응하는 영역에 블랙바를 삽입할 수 있다.
여기서, 상기 좌안 및 우안 영상들은, 필러 박스(pillar box) 및 레터 박스(letter box) 중 적어도 하나를 포함할 수 있다.
또한, 상기 왜곡 결정부는, 필러 박스 영역의 크기 및 레터박스 영역의 크기 중 적어도 하나를 결정할 수 있다.
또한, 상기 왜곡 결정부는, 상기 필러 박스 영역의 크기를 결정하고, 상기 수신된 좌안 및 우안 영상 사이의 최대 디스패러티 값을 결정한 후, 상기 필러 박스 영역의 크기가 상기 최대 디스패러티 값보다 클 경우 필러 박스 영역을 상기 제1 및 제2 경계 부분으로 결정할 수 있다.
또한, 상기 제1경계 부분은 제2경계 부분의 크기, 형상 및 위치 중 적어도 하나와 유사할 수 있다.
또한, 상기 수신된 좌안 및 우안 영상들은 필러 박스 및 레터 박스 중 적어도 하나를 포함하며, 상기 적어도 하나의 왜곡 파라미터는 기 설정된 값 만큼 상기 수신된 좌안 및 우안 영상들 사이에 차이가 나는 픽셀들에 관한 제1데이터 및 상기 필러 박스 및 상기 레터 박스 중 적어도 하나의 내부 픽셀들에 관한 제2데이터를 포함하며, 상기 제1 및 제2 경계 부분들은 상기 제1데이터 및 제2데이터 사이의 비교에 기초하여 결정될 수 있다.
도 1은 양안 시각 시스템의 일 예를 보여주는 도면이다.
도 2는 디스패러티(disparity) 계산의 일 예를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 3D 디스플레이 이미지 퀄리티 향상 방법을 보여주는 플로우차트이다.
도 4a 및 도 4b는 좌안 영상, 우안 영상 및 경계 구역의 일 예를 보여주는 도면들이다.
도 5는 좌안 및 우안 필러 박스 형식 영상들의 일 예를 보여주는 도면이다.
도 6a 및 도 6b, 도 7은 최대 디스패러티의 일 예를 보여주는 도면들이다.
도 8a 및 도 8b, 도 9는 경계 구역의 일 예를 보여주는 도면들이다.
도 10은 본 발명의 일 실시 예에 따른 3D 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.
수신된 컨텐츠에 존재하는 디스패러티(disparity)의 대부분은 일반적으로 각각의 좌안 및 우안 영상들 내부의 특정 부분들에 존재한다. 많은 경우, 최대 디스패러티는 각각의 영상의 경계선 쪽에 위치하고 있다. 3D 영상을 디스플레이하는 동안 발생할 수 있는 아티팩트(artifact)를 보정 또는 감소시키기 위하여, 좌안 및 우안 영상들 내부에서 타겟 "경계 구역(boundary areas)"이 확인될 수 있도록 왜곡 파라미터(distortion parameters)가 결정될 수 있다. 또한, 왜곡 파라미터는 3D 영상 내부의 아티팩트 발생을 감소/제거하기 위해 실행되는 타겟된 아티팩트 감소 동작에 궁극적으로 활용될 수 있다.
이하에서 사용될 용어 "왜곡 파라미터(distortion parameters)"는 일반적으로 좌안 및 우안 영상들 각각을 위한 가장 적절한 경계 위치/크기를 측정하는데 이용될 수 있는 파라미터들의 집합을 의미하며, 예를 들어, 분석되는 영상의 크기, 형상 및 위치 등의 경계 구역들을 특정하는 정보를 포함할 수 있다. 상술한 바와 같이, 왜곡 파라미터가 결정되고, 아티팩트 감소/제거 동작에 집중할 수 있도록 좌안 및 우안 영상들의 경계 구역들이 특정될 수 있다.
예와 같은 방법으로, 왜곡 파라미터는 좌안 및 우안 영상들 사이의 디스패러티의 지점/구역(예를 들어, 영상 아티팩티가 거의 발생할 가능성이 있는 위치들), 필러 박스/레터 박스 위치/크기, 좌안 및 우안 영상들의 가장자리 지점, 경계 구역 우치/크기 정보를 포함할 수 있다. 가장자리 지점은 좌안 및 우안 영상들의 가장 바깥쪽의 가장자리에 위치할 수 있다. 다시 말해, 가장자리 지점은 각각의 영상들의 바깥 가장 자리를 정의하는 가장 윗쪽, 가장 아랫쪽, 가장 왼쪽, 가장 오른쪽 바깥 경계 라인들일 수 있다.
다른 예로, 왜곡 파라미터를 결정하는 방법에 기초하여, 아티팩트의 가장 큰 집중도 또는 가장 큰 값의 아티팩트가 영상의 중심 지역에 존재하도록 결정될 수 있다. 이와 같은 경우, 경계 구역은 영상의 중심 쪽으로 위치하도록 특정될 수 있다. 그러므로, 고려되는 왜곡 파라미터의 속성에 의존하면, 감소/제거될 아티팩트를 가지는 구역은 실질적으로 영상의 가장자리 근처의 지점/지역되어야만 하는 것은 아니다. 다시 말해, 용어 "경계 구역(boundary area)"은 분석되는 영상의 물리적 가장자리 근처의 구역에 한정되는 것은 아니다.
추가적으로, "경계 구역"은 실질적으로 직사각형 형상을 가지는 것으로 도면상에 도시된다. 그러나, 본 발명은 이에 한정되지 않고, 대신에 경계 구역은 분석되는 수신된 영상의 모든 지역에서 모든 형상이 될 수 있다.
상술한 바와 같이, 하나의 가능한 왜곡 파라미터는 좌안 및 우안 2D 영상들 사이의 최대 디스패러티 값의 위치를 포함한다. 최대 디스패러티 값을 결정하는 단계는 좌안 영상 내 픽셀(또는 구역)에 대해 가장 유사한 픽셀(또는 구역)을 우영상에서 추정하여 기준 픽셀(또는 구역)과 추정 픽셀(또는 구역)과의 거리인 디스패러티 벡터를 산정하고 디스패러티 벡터의 값이 최대인 지점을 확인하는 단계를 포함한다. 최대 디스패러티 값은 간단히 영상 내부의 예를 들어, 좌표와 같은 단일 지점을 의미할 수 있으며, 영상 내에서 예를 들어, 구역과 같은 복수의 지점들을 의미할 수 있다.
좀 더 일반적으로, 용어 "디스패러티 값(disparity value)"는 영상 내부의 특정 지역을 나타내는 값을 포함할 수 있다. 예를 들어, 영상은 몇몇의 기 설정된 분할 방식에 따라 논리적으로 분할되며, 최대 디스패러티 값은 간단히 결과 세그먼트들 중 하나에 대한 식별자로서 간단히 표현될 수 있다. 예를 들어, 스크린은 사분원들로 분할될 수 있으며, 최대 디스패러티의 구역은 특정 사분원 내에서 발생할 수 있다. 이와 같은 경우, 경계 구역의 결정은 좌안 및 우안 영상들 사이에 가장 큰 디스패러티를 가지는 지역을 나타내는 식별자로 대응될 수 있다.
게다가, 이와 같은 디스패러티의 지점들 또는 구역들은 예를 들어, 디스패러티의 지멈 또는 구역의 유일한 위치를 고정하기 위하여 영상에서 가장자리를 정의하는 지점 또는 지점들과 비교될 수 있다. 예를 들어, 가장자리 지점이 좌안 영상에서 위치(0,0)으로 결정되고, 좌안 및 우안 영상들 사이에 최대 디스패러티를 가지는 변이벡터를 찾게 된다면, 가장자리 지점의 위치에 대하여 예를 들어 좌표(0,1)의 유일한 위치로 표현될 수 있다. 이와 같은 예에서, 디스패러티 값은 "1"이 될 수 있으며 예를 들어 지점(0,0) 과 (0,1)사이의 거리가 될 수 있다. 좌안 및 우안 영상들 사이에서 최대 디스패러티 값 결정에 기초하여 단일 지점 좌표들에 반대되는 구역들을 이용하는 경우와 동일하다.
어떤 경우에는, 왜곡 파라미터를 결정하는 단계는 밑에 있는 지점/구역 좌표 정보를 포함하며, 좌안 및 우안 영상들 사이에서 발생하는 디스패러티 값과 분석되는 영상들에 대한 가장자리 지점/구역 정보를 결정하는 단계를 포함할 수 있다. 그러나, 본원 발명은 특정 실시예에 한정되지 않는다. 일반적으로, 디스프러티의 지점(들) 및 가장자리 지점(들)에 대한 양적인 값은 타겟 경계 구역을 나타내기 위하여 몇몇 능동적적인 정보를 제공하기에 충분하고, 아티팩트 감소에 활용할 수 있다.
최대 디스패러티 값을 결정하는 다른 방식은 수신된 2D 영상에 대한 깊이 렌더링(rendering)과 관련되어 있다. 예를 들어, 좌안 및 우안 영상들이 수신되면, 깊이(depth)는 다양한 방식으로 측정될 수 있다. 이와 같은 다양한 방식 중 한가지 방식은 디스패러티를 산출하는 단계 및/또는 각각의 픽셀에 대한 이동 방향을 측정하는 단계를 포함할 수 있다. 이오 같은 예는 도 2에 도시되어 있다.
도 2는 스크린(SCREEN)과 마주하고 있는 좌안(201) 및 우안(202)을 도시하고 있다. 게다가, 도 2는 뷰어의 인지에 따라 가장 먼 객체(204) 및 가장 가까운 객체(203)을 각각 나타내는 두 개의 가상 객체들이 도시되어 있다. 대응되는 깊이들은 각각 Dmin 및 Dmax로 표시할 수 있다. Dmin은 가장 작은 값(예를 들어, "0")이 부여될 수 있으며, Dmax는 가장 큰 값(예를 들어, "255")이 부여될 수 있다. 그러면, 가상 객체 D는 Dmax 와 Dmin 사이에 위치할 수 있으며, "Dmin <= D <= Dmax"로 표현될 수 있다. 가상 객체 D는 △D 만큼의 거리에 위치할 수 있다. 다른 파라미터 F는 좌안(201) 및 우안(202)의 위치에 따른 초점 거리를 나타낸다. 스크린의 위치는 깊이 Dscreen으로 표현도리 수 있다. 그러면, 초첨 F는 "F=Dscreen-Dmin"로 표현될 수 있다. 다음으로, 디스패러티 값은 각각의 픽셀에 대하여 아래의 수학식 1과 같이 산출될 수 있다.
Figure pat00001
여가서, k는 장면 폭 D 및 F와 관련된, 연관 파라미터(relation parameter)이며다. 또한, k는 임의의 값일 수 있으며, 예를 들어 기설정된 값인 2.5%일 수 있다.
상기의 수학식 1에서, D<F이면, 디스패러티 값은 음수이며, 역으로 이동된 픽셀로 해석될 수 있다. 픽셀들은 왼쪽 또는 오른쪽으로 이동될 수 있다. 이렇게 디스패러티 값은 이동(shifting) 현상을 설명할 수 있다. 그러나, 상술한 바와 같이, 디스패러티는 좌안 및 우안 영상들에서 가각의 픽셀들 간이 다른 차이점들을 또한 설명할 수 있다 예를 들어, 하나의 픽셀이 하나의 영상에 존재할 수 있고, 다른 영상에는 존재하지 않을 수 있으며, 각각의 픽셀들이 주어진 영상 프레임 내부에서 다른 값들을 가질 수 있다.
도 3은 본원 발명의 일 실시예에 따른 3D 영상 디스플레이 방법(300)을 보여주는 플로우차트이다.
도 3에 도시된 바와 같이, 먼저 컨텐츠를 수신한다(S301). 컨텐츠는 2D 컨텐츠 또는 3D 컨텐츠가 입력으로 수신될 수 있다.
다음으로, 수신된 컨텐츠가 3D 형식의 컨텐츠인지 여부를 판단한다(S302). 만일, 수신된 컨텐츠가 3D 형식의 컨텐츠가 아닌 2D 영식의 컨텐츠라면, 2D 형식의 컨텐츠가 다양한 종류의 2D/3D 변환 방식을 이용하여 3D 형식의 컨텐츠로 변환된다(S303). 또한, 2D 형식의 컨텐츠가 필러박스 또는 레터박스를 포함하고 있는 경우 이 영역을 제거한 후 3D 형식의 컨텐츠로 변환될 수도 있다. 도시되지는 않았지만, 3D 영상은 좌안 및 우안 영상을 포함할 수 있다.
다음으로, 수신된 컨텐츠가 3D 형식의 컨텐츠라면, 예를 들어, 경계 아티팩트와 같은, 왜곡 파라미터들이 각각의 좌안 및 우안 영상들에서 결정될 수 있다(S304). 왜곡 파라미터들이 알려지면, 경계들은 좌안 및 우안 영상들에 대하여 결정될 수 있다. 상술한 바와 같이, 왜곡 파라미터들의 결정은 경계 구역들의 결정을 포함할 수 있다(S305). 대안으로, 경계 구역들의 결정은 분리되어 수행되는 동작들의 일부일 수 있다. 예를 들어, 최대 디스패러티 정보, 필러 박스 정보, 가장자리 정보 등과 같은 다른 왜곡 파라미터들을 결정하는 동작들과 분리되어 수행될 수 있다. 경계 구역들이 좌안 및 우안 영상들에서 확인되면, 아티팩트 감소/제거가 발생할 수 있다(S306).
비록 도 3이 왜곡 파라미터들의 결정(S304) 및 경계 구역들의 결정(S305)을 분리된 단계로 도시하고 있을 지라도, 본원 발명은 이에 한정되지 않는다. 대신에 왜곡 파라미터들 및 경계 구역들의 결정의 단계는 동일한 단계에서 수행될 수 있다. 예를 들어, "왜곡 파라미터들"은 기설정된 크기 및/또는 위치의 경계 구역들을 정의하는 좌표들로 한정되지 않을 수 있다. 이렇게 본원 발명은 도 3에 도시된 실시예에 한정되지 않는다.
또한, 도시되지는 않았지만, 좌안 영상 및 우안 영상에서 제거된 경계 부분에 대응하는 블랙바를 삽입할 수 있다.
또한, 도시되지는 않았지만 추가적인 단계들이 수신된 컨텐츠가 필러 박스 형식의 비디오 신호를 포함하고 있는지 여부를 판단하기 위하여, 도 3에 도시된 실시예에 부가될 수 있다.
상술한 바와 같이, 왜곡 파라미터들을 결정함으로써, 좌안 및 우안 영상들에 대한 각각의 경계 구역들을 측정하는 것이 가능하다. 예를 들어, 좌안 영상인 하나의 영상의 경계의 크기는 우안 영상인 다른 영상의 크기와 동일( 예를 들어, BL=BR)해지도록 설정될 수 있다. 다시 말해, 일반적인 기 설정된 경계의 크기는 좌안 및 우안 영상들의 경계들을 위하여 사용될 수 있다. 이러한 간한단 예에서, 왜곡 파라미터들은 간단히 기설정된 경계 위치/크기 정보를 포함할 수 있다.
다음의 예에서, 용어 "BL"은 좌안 영상의 경계를 의미하며, 용어, "BR"은 우안 영상의 경계를 의미한다. 도 4A는 좌안 영상(401), 우안 영상(402) 및 경계 구역들 BL 및 BR의 일 예를 도시하고 있는 도면이다. 게다가, 각각의 경계의 크기는 최대 좌안 및 우안 영상들 간에 되대 디스패러티 값과 동일(BL = BR = Max(D))해지도록 설정될 수 있다. 다시 말해, 양 경계들은 좌안 및 우안 영상들 간에 발생할 수 있는 최대 디스패러티 값(Max(D))과 동일해지도록 설정될 수 있는 것이다.
예를 들어, 좌안 영상(401) 및 우안 영상(402) 간에 최대 디스패러티가 403 지점에서 발생한다면, 경계 BR 의 가장자리는 우안 영상(402) 내부의 한 지점으로 고정될 수 있다. 유사하게, 경계 BL은 좌안 영상 401에서 동등한 지점 404로 고정될 수 있다. 여기서, 왜곡 파라미터들은 간단히 좌안 및 우안 영상들 사이에 발생할 수 있는 최대 디스패러티 값을 포함할 수 있다.
게다가, 좌안 및 우안 영상들 각각 모두는 가각의 좌안 및 우안 경계들을 가지고 있다. 몇몇 경우에 있어서, 좌안 및 우안 영상들 모두의 좌측 및 우측 부분들 상의 경계 구역들을 결정하는 것이 바람직할 수 있다. 이는 아티팩트가 이러한 네 개의 구역들에서 발생할 수 있기 때문이다. 모든 네 개의 경계 구역들에서 아티팩트가 결정되면, 아티팩트 감소/제거 단계는 좌안 및 우안 영상들 모두의 좌측 및 우측 경계들로 동등하게 적용될 수 있다.
예를 들어, 도 4B는 각각의 좌안 및 우안 영상들에 존재하는 네 개의 경계 구역들을 도시하고 있는 도면이다. 좌안 영상에서 좌안 및 우안 경계들(BL1 및 BL2)은 우안 영상에서의 경계들(BR1 및 BR2)와 동일할 수 있다. 다시 말해, BL1 = BL2 = BR1 = BR2 가 될 수 있다. 이렇게, 하나의 경계가 설정되면 다른 세 개의 경계들은 동일하게 설정될 수 있다. 이러한 예에서, 왜곡 파라미터들은 기설정된 경계 정보 뿐만 아니라 좌안 및 우안 영상들 간에 발생하는 최대 디스패러티 값을 포함할 수 있다.
도 4A의 예와 같이, 도 4B에서의 네 개의 경계들(BL1 ,BL2 ,BR1 , BR2 )은 아래의 수학식 2와 같이 좌안 및 우안 영상들(401 및 402) 간의 최대 디스패러티와 동일하게 설정될 수 있다.
Figure pat00002
이렇게, 좌안 영상(401) 및 우안 영상(402) 간의 최대 디스패러티가 413 지점에서 발생한다면, 예를 들어, 경계 BR1 의 가장자리는 우안 영상 402 내부의 한 지점에 고정될 수 있다. 유사하게, 경계들 BL1 ,BL2 및 BR2는 각각 동등한 지점들(좌안 영상(401)에서 지점들 414 및 415와 우안 영상(402)에서 지점 416)로 고정될 수 있다.
상술한 바와 같이, 필러 박스(pillar box) 형식을 가지는 비디오 신호의 경우, 좌안 및 우안 영상들 간의 차이는 필러 박스가 최종 입체 영상을 나쁘게 변형시키는 결과를 초래할 수 있다. 이렇게, 필러 박스 형식을 가지는 수신된 입력 비디오 신호의 경우, 경계를 결정하는 단계는 다소 다른 접근 방식을 취할 수 있다. 이와 같은 경우, 왜곡 파라미터들은 상술한 필러 박스 크기/위치 정보에 위에서 언급한 내용들을 모두 더하거나, 일부를 포함할 수 있다.
도 5는 좌안 및 우안 필러 박스 형식 영상들의 일 예를 보여주는 도면이다. 도 5에 도시된 바와 같이, 좌안 영상(510)은 필러 박스 구역들 511 및 512를 포함할 수 있다. 유사하게, 우안 영상(520)은 빌락 박스 구역들 521 및 522를 포함할 수 있다. 이런 예에서, 좌안 영상(510)에서 필러 박스 구역들(511 및 512)는 PL 로 표기될 수 있다. 유사하게, 우안 영상(520)에서 필러 박스 구역들(521 및 522)는 PR로 표기될 수 있다. 이번 예에서는 좌안 영상에서 필러 박스 구역들(511 및 512) 모두 PL로 같은 크기인 것으로 가정하기로 한다. 이와 같이, 우안 영상 필러 박스 구역들(521 및 522) 모두 같은 크기인 PR로 가정하기로 한다.
좌안 및 우안 영상들의 각각의 경계 구역들 BL 및 BR은 아래의 수학식 3과 같이 표현될 수 있다.
Figure pat00003
여기서, PL 및 PR은 좌안 및 우안 영상들에서 각각의 필러 박스 구역들의 크기들을 의미하며, Max(D)는 좌안 및 우안 영상들 간의 최대 디스패러티 값을 의미한다.
다시 말해, 좌안 및 우안 필러 박스 구역들 PL 및 PR의 최대 크기가 최대 디스패러티가 존재하는 지점에 의해 정의되는 구역의 크기보다 작은 경우, 최대 디스패러티가 존재하는 지점은 좌안 및 우안 영상들에 대한 경계 구역들을 정의한다. 반면, 좌안 및 우안 필러 박스 구역들의 최대 크기가 최대 디스패러티가 존재하는 지점에 의해 정의되는 구역의 크기보다 큰 경우, 좌안 및 우안 필러 박스 구역들의 최대 크기는 좌안 및 우안 영상들에 대한 경계 구역들을 정의한다. 도 6A 및 6B에 이러한 예들 각각이 도시되어 있다.
도 6A에 도시된 바와 같이, 최대 디스패러티가 존재하는 지점이 621 지점이라면, 예를 들어, 좌안 및 우안 필러 박스들 PL 및 PR 간의 최대값을 가지는 지점을 622라고 가정하면,필러 박스의 가장자리 622를 정의하는 지점보다 621 지점이 더 크기 (예를 들어, 영상의 가장자리 지점 623으로부터 더 먼 거리에 위치하기) 때문에 , 621 지점은 우안 영상에서 경계 구역들(BR)을 정의하는데 이용된다. 유사하게 좌안 영상에 대한 경계 구역들 BL은 지점 622의 위치에 기초하여 결정될 수 있다.
반면, 도 6B는 필러 박스 구역들 PL 및 PR을 가지는 좌안 및 우안 영상들을 도시하고 있다. 이번 예에서는, 최대 디스패러티 지점이 631 지점이고, 각각의 필러 박스 구역들 PL 및 PR의 최대 크기를 나타내는 632 지점보다 더 작다(예를 들어, 가장자리 지점 633보다 더 가깝게 위치한다). 이렇게, 최대 필러 박스 크기는 최대 디스패러티를 가지는 631 지점보다 더 크다. 따라서, 경계 구역들 BL 및 BR은 필러박스 구역들을 이용하여 정의된다.
상술한 예들에서, 다른 지점들을 정의하는 621,622,631 및 632 뿐만 아니라 가장자리 지점들 623 및 633의 위치는 설명의 편의상 임의적으로 선택될 수 있다. 그러나, 본원 발명은 이러한 특정 실시예에 한정되지 않는다. 다시 말해, 이와 같이 지점들을 정의하는 것은 좌안 영상 또는 우안 영상으로부터 선택될 수 있다. 이와 같이, 디스패러티의 최대 지점들은 좌안 또는 우안 영상 내부의 어디에서도 발생할 수 있다. 각각의 필러 박스 구역들 예를 들어, 622 및 632를 정의하는 지점들에 대해서도 동일한 내용이 적용될 수 있다.
추가적으로, 좌안 또는 우안 영상 내부의 필러 박스 구역들은 서로 크기가 다른 것이 가능할 수 있다. 도 7은 각각의 좌안 및 우안 영상들(710 및 720) 내부의 필러 박스 크기들 사이에 디스패러티가 존재하는 위치의 일 예를 도시하고 있다. 여기서, 우안 영상(720)에서 좌안 및 우안 필러 박스들(PR1 및 PR2) 뿐만 아니라, 좌안 영상(710)에서 좌측 필러 박스(PL1)의 크기는 우측 필러 박스(PL2)의 크기보다 크다. 이러한 가능성에 대처하기 위해, 수학식 2는 각각의 개별 필러 박스의 크기를 고려하기 위하여 아래의 수학식 4와 같이 변형될 수 있다.
Figure pat00004
왜곡 파라미터들이 각 영상들 내에서 결정되면, 아티팩트 감소 단계가 아티팩트의 효과를 감소 또는 제거하기 위하여 수행될 수 있다. 아티팩트의 감소 또는 제거는 다양한 방식에 의해 수행될 수 있다. 예를 들어, 경계 구역들이 정의된다면, 소스 영상들은 경계 구역들의 크기/위치에 따라 절삭될 수 있으며, 절삭된 결과 영상은 원 영상의 크기를 유지하기 위하여 예를 들어, 스케일링과 같이 보간될 수 있다. 또한, 결정된 경계 구역들은 처리된 좌안 및 우안 영상들에서 블랙 바들 또는 필러 박스들을 효과적으로 제거하면서, 소스 영상들의 일정 부분들을 절삭하는데 사용될 수 있다.
도 8A는 결정된 경계 구역들 내의 영상 아티팩트들이 절삭 및 보간에 의해 감소/제거되는 일 예를 도시하고 있다. 영상 801은 좌안 및 우안 경계 BL 및 BR을 가지는 좌안 또는 우안 2D 영상을 나타낸다. 그러나, 상술한 바와 같이, 예를 들어 좌안 영상에 대하여 좌측 경계 구역 및 우안 영상에 대하여 우측 경계 구역과 같이, 단일 경계가 단일 영상에 대하여 결정되는지 여부 또는 예를 들어 좌안 영상이 좌측 및 우측 경계 구역들 및 우안 영상이 좌측 및 우측 경계 구역들을 가지는 것과 같이 좌측 및 우측 경계들이 단일 영상에 대하여 결정되느지 여부는 선택 사항이다. 그럼에도 불구하고, 간단히, 도 8에 도시된 영상 801은 예를 들어 좌안 또는 우안 영상과 같은 단일 영상을 도시하고 있으며, 좌측 및 우측 경계들 모두를 가지고 있으며, 위에서 설명한 방법과 같이 결정될 수 있다.
도 8A에 도시된 바와 같이, 좌측 및 우측 경계 BL 및 BR을 포함하는 영상은 M×N의 크기를 가질 수 있다. 여기서, M은 행들(rows)을 의미하며, N은 열들(columns)을 의미한다. 상술한 바와 같이, 좌측 및 우측 경계들 BL 및 BR은 가장 큰 디스패러티를 가지는 구역들에 대응하는 구역들로 결정되었다. 일단 경계 구역이 결정되면, BL 및 BR이 제거될 때 열의 개수가 감소하기 때문에 M×N' 크기를 가지는 영상(802)에서 도시된 바와 같이 좌측 및 우측 경계들 BL 및 BR이 제거될 수 있다. 다시 말해, N' = N - BL - BR 이 될 수 있다.
선택적으로, 경계 구역들(BT 및 BB)가 상술한 동일한 방식을 이용하여 영상의 윗 부분 및 아랫 부분에 적용될 수 있다. 영상의 윗 부분 및 아랫 부분이 제거됨으로써, 영상은 M'×N'의 크기가 될 수 있다. 다시 말해, M' = M - BT -BB 가 될 수 있다. M'×N' 크기의 결과 영상(804)은 수평 방향(803) 및 수직 방향(804) 모두 스케일링 될 수 있다. 수평 방향 및 수직 방향으로 스케일링 된 후, 최종 영상(805)는 원 영상(801)과 같은 M×N 크기를 가질 수 있다.
802-805 영상들에 도시된 화살표는 수평 방향의 스케일링이 단독으로 수행되는 내용을 나타내거나 또는 수평 및 수직 방향의 스케일링이 동시에 수행되는 내용을 나타내기 위하여 사용되었다. 게다가, 영상 803 및 804 사이의 점선은 수평 및 수직 방향의 스케일링이 분리된 동작으로 수행되는 동작을 나타내거나 또는 동시에 수행되는 내용을 나타낸다.
게다가, 도 8A에 도시된 탑(top) 및 바텀(bottom) 경계들 BT 및 BB는 아티팩트를 가지는 구역들로 식별될 수 있으며, 이렇게 탑 및 바텀 경계들은 결과 3D 영상의 질을 개선하기 위하여 제거될 수 있다. 탑 및 바텀 경계 구역들은 상술한 바와 같이, 좌측 및 우측 경계 구역들과 유사한 방식으로 식별될 수 있다. 게다가, 몇몇 경우에는 탑 및 바텀에서만 아티팩트를 제거/감소하는 것이 바람직할 수도 있다. 이러한 경우, 왜곡 파라미터 결정 및 경계 구역 식별에 대한 상술한 방식들은 간단히 분석된 영상들의 탑 및 바텀 구역들에 적용될 수 있다.
또한, 수신된 컨텐츠가 레터 박스 형식일 수도 있다. 이러한 경우, 탑 및 바텀 경계 구역들은 상술한 바와 같이 결정될 수 있으며, 상술한 도 5의 필러 박스의 예와 같이, 레터 박스의 구역들의 각각의 크기가 비교될 수 있다.
대안으로, 경계 구역들이 식별되고 제거되면, 잔존 영상은 영상의 실제 컨텐츠에 기초하여 스케일링 될 수 있다. 몇몇 경우는 영상 내에 객체가 존재하지 않는 경우 배경이 스케일링된다면 더 좋은 효과를 나타날 수 있다. 예를 들어, 단지 좌측 및 우측 경계 구역들이 제거되고, 결과 영상이 단지 수평 방향으로 스케일링된다면, 그 결과 영상 내부의 관심 있는 객체가 뒤틀리게 되거나 수평 방향으로 늘어나게 될 것이다. 이러한 예는 도 8B에 도시되어 있다.
도 8B에서, 영상 810은 M×N' 영상(예를 들어, BL 및 BR이 제거됨)을 나타낸다. 영상 810의 중심의 객체 A는 왁벽하게 원으로 나타나 있다. 영상 810이 이후 수평 방향으로 스케일링 되어 영상 811이 생성되게 된다. 그 결과, 결과 영상(811)은 수평 방향으로 늘어지게 된다. 객체 A는 또한 수평 방향으로의 스케일링 때문에 외관이 A'로 뒤틀어지게 된다. 따라서, 사용자는 양질의 영상을 경험할 수 없게 될 것이다.
그러나, 상술한 바와 같이, 수평 방향으로의 스케일링은 단지 배경에만 적용될 수 있으며, 예를 들어, 도 8B의 A와 같이 전경의 관심있는 객체에는 적용되지 않을 수 있다. 도 8C에는, 영상 820에서 배경 D는 스케일링되는 반면, 객체 C는 스케일링 과정이 수행되지 않았다. 그 결과, 전경에는 변하지 않은 객체 C를 가지는 영상 821이 생성된 반면, 배경 D는 D'와 같이 늘어지게 되었다.
스케일링 과정과 반대로, 일단 경계 구역들이 제거되면, 블랙 바들(black bars)이 결정된 왜곡 파라미터에 기초하여 식별된 경계 구역들을 대체하는데 사용될 수 있다. 이런 경우, 원 좌안 및 우안 2D 영상들이 필러 박스(및/또는 레터 박스) 형식이 아닐지라도, 결과 3D 영상은 필러 박스 형식(및/또는 레터 박스 형식)으로 나타난다. 도 9는 이러한 예가 도시되어 있다.
도 9에 도시된 바와 같이, 경계 구역 BL 및 BR이 영상 901에 대한 식별된 이 후, 영상 902에 도시된 바와 같이, 경계 구역 내에 존재하는 픽셀들이 변경되어 검은색으로 디스플레이된다. 도 9에는 도시되지는 않았지만, 영상 내에서 실질적으로 수평 방향으로 인식된 경계 구역들(예를 들어, 도 8A의 BT 및 BB)에 적용될 수 있다.
본원 발명은 상술한 블랙 바 아티팩트 감소 기술에 대한 색상으로 검은색을 이용하는데 한정되지 않는다. 대신에, 식별된 경계 구역들 내부의 픽셀들은 예를 들어, 회색과 같은 다른 색상으로 변경될 수 있다. 또한, 식별된 경계 구역들 내부의 픽셀들은 단지 단색 패턴 보다는 다른 색상 패턴으로 변경될 수 있다. 예를 들어, 식별된 경계 구역들 내부의 픽셀들은 물방울 무늬와 같은 패턴 또는 열십자 패턴으로 디스플레이되도록 변경될 수 있다. 이렇게 본원 발명은 도 9에 도시된 예에 한정되지 않는다.
도 10은 본 발명의 일 실시 예에 따른 3D 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 10에 따르면, 3D 영상 디스플레이 장치는 입력부(1010), 왜곡 결정부(1020), 이미지 변환부(1030) 및 디스플레이부(1040)를 포함한다.
입력부(1010)는 2D 또는 3D 영상을 수신하는 기능을 한다. 좌안 영상 및 우안 영상을 수신하는 기능을 한다.
왜곡 결정부(1020)는 입력부(1010)를 통해 수신된 영상이 좌안 영상 및 우안 영상을 포함하는 3D 영상인 경우 좌안 및 우안 영상들로부터 적어도 하나의 왜곡 파라미터(distortion parameter)를 결정하는 기능을 한다.
이미지 변환부(1030)는 왜곡 결정부(1020)에 의해 결정된 적어도 하나의 왜곡 파라미터를 기초로 수신된 좌안 영상으로부터 제1경계 부분을 제거하고, 수신된 우안 영상으로부터 제2경계 부분을 제거함으로써 수신된 좌안 영상 및 우안 영상을 변환하는 기능을 한다.
디스플레이부(1040)는 변환된 좌안 및 우안 영상들을 교번적으로 디스플레이하는 기능을 한다.
또한, 이미지 변환부(1030)는 입력부(1010)를 통해 수신된 영상이 필러 박스 및 레터 박스 중 적어도 하나를 포함하는 2D 영상일 경우, 필러 박스 또는 레터 박스 영역을 제거한 후 좌안 영상 및 우안 영상을 생성할 수 있다.
또한, 왜곡 결정부(1020)는 수신된 좌안 및 우안 영상들 사이의 최대 디스패러티 값을 결정할 수 있다.
여기서, 적어도 하나의 왜곡 파라미터는, 좌측 부분 및 우측 부분에 대응되는 좌표들을 포함하며, 좌측 부분은 수신된 좌안 영상의 좌측 가장자리 주변이며, 우측 부분은 수신된 우안 영상의 우측 가장자리 주변이 될 수 있다.
이 경우, 제1 및 제2 경계 부분들은 실질적으로 수직 방향이 될 수 있다.
한편, 스케일링부(미도시)는 이미지 변환부(1030)에서 변환된 좌안 및 우안 영상들을 스케일링하는 기능을 한다.
또한, 스케일링부(미도시)는 적어도 하나의 왜곡 파라미터에 기초하여 설정된 스케일링 비율에 따라 이미지 변환부(1030)에서 변환된 좌안 및 우안 영상들을 스케일링할 수 있다.
또한, 이미지 변환부(1030)는, 좌안 및 우안 영상에서 제거된 경계부분에 대응하는 영역에 블랙바를 삽입할 수 있다.
한편, 좌안 및 우안 영상들은, 필러 박스(pillar box) 및 레터 박스(letter box) 중 적어도 하나를 포함할 수 있다.
이 경우, 왜곡 결정부(1020)는 필러 박스 영역의 크기 및 레터박스 영역의 크기 중 적어도 하나를 결정할 수 있다.
또한, 왜곡 결정부(1020)는 필러 박스 영역의 크기를 결정하고, 수신된 좌안 및 우안 영상 사이의 최대 디스패러티 값을 결정한 후, 필러 박스 영역의 크기가 최대 디스패러티 값보다 클 경우 필러 박스 영역을 제1 및 제2 경계 부분으로 결정할 수 있다.
여기서, 제1경계 부분은 제2경계 부분의 크기, 형상 및 위치 중 적어도 하나와 실질적으로 유사할 수 있다.
또한, 수신된 좌안 및 우안 영상들은 필러 박스 및 레터 박스 중 적어도 하나를 포함하며, 적어도 하나의 왜곡 파라미터는 기 설정된 값 만큼 수신된 좌안 및 우안 영상들 사이에 차이가 나는 픽셀들에 관한 제1데이터 및 필러 박스 및 레터 박스 중 적어도 하나의 내부 픽셀들에 관한 제2데이터를 포함할 수 있다.
또한, 제1 및 제2 경계 부분들은 제1데이터 및 제2데이터 사이의 비교에 기초하여 결정될 수 있다.
한편, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (25)

  1. 영상을 수신하는 단계;
    상기 영상이 좌안 영상 및 우안 영상을 포함하는 경우, 상기 좌안 및 우안 영상들로부터 적어도 하나의 왜곡 파라미터(distortion parameter)를 결정하는 단계;
    상기 결정된 적어도 하나의 왜곡 파라미터를 기초로 상기 수신된 좌안 영상으로부터 제1경계 부분을 제거하고, 상기 수신된 우안 영상으로부터 제2경계 부분을 제거함으로써 상기 수신된 좌안 영상 및 우안 영상을 변환하는 단계; 및
    상기 변환된 좌안 및 우안 영상들을 교번적으로 디스플레이하는 단계;를 포함하는 영상 디스플레이 방법.
  2. 제1항에 있어서,
    상기 수신된 영상이 필러 박스 및 레터 박스 중 적어도 하나를 포함하는 2D 영상일 경우, 상기 필러 박스 또는 레터 박스 영역을 제거한 후 상기 좌안 영상 및 우안 영상을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
  3. 제 1 항에 있어서,
    상기 왜곡 파라미터를 결정하는 단계는,
    상기 수신된 좌안 및 우안 영상들 사이의 최대 디스패러티 값을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
  4. 제 1 항에 있어서,
    상기 왜곡 파라미터는,
    좌측 부분 및 우측 부분에 대응되는 좌표들을 포함하며,
    상기 좌측 부분은 상기 수신된 좌안 영상의 좌측 가장자리 주변이며,
    상기 우측 부분은 상기 수신된 우안 영상의 우측 가장자리에 주변인 것을 특징으로 하는 영상 디스플레이 방법.
  5. 제 1 항에 있어서,
    상기 제1 및 제2 경계 부분들은 수직 방향인 것을 특징으로 하는 영상 디스플레이 방법.
  6. 제 1 항에 있어서,
    상기 변환된 좌안 및 우안 영상들을 스케일링하는 단계;를 더 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
  7. 제 5 항에 있어서,
    상기 스케일링하는 단계는,
    상기 적어도 하나의 왜곡 파라미터에 기초하여 설정된 스케일링 비율에 따라 수행되는 것을 특징으로 하는 3D 영상 디스플레이 방법.
  8. 제 1 항에 있어서,
    상기 좌안 및 우안 영상에서 제거된 경계부분에 대응하는 영역에 블랙바를 삽입하는 단계;를 더 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
  9. 제 1 항에 있어서,
    상기 수신된 좌안 및 우안 영상들은,
    필러 박스(pillar box) 및 레터 박스(letter box) 중 적어도 하나를 포함하는 것을 특징으로 영상 디스플레이 방법.
  10. 제 9 항에 있어서,
    상기 왜곡 파라미터를 결정하는 단계는,
    필러 박스 영역의 크기 및 레터박스 영역의 크기 중 적어도 하나를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
  11. 제 9 항에 있어서,
    상기 왜곡 파라미터를 결정하는 단계는,
    상기 필러 박스 영역의 크기를 결정하는 단계;
    상기 수신된 좌안 및 우안 영상 사이의 최대 디스패러티 값을 결정하는 단계; 및
    상기 필러 박스 영역의 크기가 상기 최대 디스패러티 값보다 클 경우 필러 박스 영역을 상기 제1 및 제2 경계 부분으로 결정하는 단계;를 더 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
  12. 제 1 항에 있어서,
    상기 제1경계 부분은 제2경계 부분의 크기, 형상 및 위치 중 적어도 하나와 유사한 것을 특징으로 하는 영상 디스플레이 방법.
  13. 영상을 수신하는 입력부;
    상기 영상이 좌안 영상 및 우안 영상을 포함하는 경우 상기 좌안 및 우안 영상들로부터 적어도 하나의 왜곡 파라미터(distortion parameter)를 결정하는 왜곡 결정부;
    상기 결정된 적어도 하나의 왜곡 파라미터를 기초로 상기 수신된 좌안 영상으로부터 제1경계 부분을 제거하고, 상기 수신된 우안 영상으로부터 제2경계 부분을 제거함으로써 상기 수신된 좌안 영상 및 우안 영상을 변환하는 이미지 변환부; 및
    상기 변환된 좌안 및 우안 영상들을 교번적으로 디스플레이하는 디스플레이부;를 포함하는 영상 디스플레이 장치.
  14. 제13항에 있어서,
    상기 이미지 변환부는,
    상기 수신된 영상이 필러 박스 및 레터 박스 중 적어도 하나를 포함하는 2D 영상일 경우, 상기 필러 박스 또는 레터 박스 영역을 제거한 후 상기 좌안 영상 및 우안 영상을 생성하는 것을 특징으로 하는 영상 디스플레이 장치.
  15. 제 13 항에 있어서,
    상기 왜곡 결정부는,
    상기 수신된 좌안 및 우안 영상들 사이의 최대 디스패러티 값을 결정하는 것을 특징으로 하는 영상 디스플레이 장치.
  16. 제 13 항에 있어서,
    상기 적어도 하나의 왜곡 파라미터는,
    좌측 부분 및 우측 부분에 대응되는 좌표들을 포함하며,
    상기 좌측 부분은 상기 수신된 좌안 영상의 좌측 가장자리 주변이며,
    상기 우측 부분은 상기 수신된 우안 영상의 우측 가장자리 주변인 것을 특징으로 하는 영상 디스플레이 장치.
  17. 제 13 항에 있어서,
    상기 제1 및 제2 경계 부분들은 수직 방향인 것을 특징으로 하는 영상 디스플레이 장치.
  18. 제 13 항에 있어서,
    상기 변환된 좌안 및 우안 영상들을 스케일링하는 스케일링부;를 더 포함하는 것을 특징으로 하는 영상 디스플레이 장치.
  19. 제 18 항에 있어서,
    상기 스케일링부는,
    상기 적어도 하나의 왜곡 파라미터에 기초하여 설정된 스케일링 비율에 따라 상기 변환된 좌안 및 우안 영상들을 스케일링하는 것을 특징으로 하는 영상 디스플레이 장치.
  20. 제 13 항에 있어서,
    상기 이미지 변환부는,
    상기 좌안 및 우안 영상에서 제거된 경계부분에 대응하는 영역에 블랙바를 삽입하는 것을 특징으로 하는 영상 디스플레이 장치.
  21. 제 13 항에 있어서,
    상기 좌안 및 우안 영상들은,
    필러 박스(pillar box) 및 레터 박스(letter box) 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 디스플레이 장치.
  22. 제 21 항에 있어서,
    상기 왜곡 결정부는,
    필러 박스 영역의 크기 및 레터박스 영역의 크기 중 적어도 하나를 결정하는 것을 특징으로 하는 영상 디스플레이 장치.
  23. 제 21 항에 있어서,
    상기 왜곡 결정부는,
    상기 필러 박스 영역의 크기를 결정하고, 상기 수신된 좌안 및 우안 영상 사이의 최대 디스패러티 값을 결정한 후, 상기 필러 박스 영역의 크기가 상기 최대 디스패러티 값보다 클 경우 필러 박스 영역을 상기 제1 및 제2 경계 부분으로 결정하는 것을 특징으로 하는 영상 디스플레이 장치.
  24. 제 13 항에 있어서,
    상기 제1경계 부분은 제2경계 부분의 크기, 형상 및 위치 중 적어도 하나와 유사한 것을 특징으로 하는 영상 디스플레이 장치.
  25. 제 13 항에 있어서,
    상기 수신된 좌안 및 우안 영상들은 필러 박스 및 레터 박스 중 적어도 하나를 포함하며,
    상기 적어도 하나의 왜곡 파라미터는 기 설정된 값 만큼 상기 수신된 좌안 및 우안 영상들 사이에 차이가 나는 픽셀들에 관한 제1데이터 및 상기 필러 박스 및 상기 레터 박스 중 적어도 하나의 내부 픽셀들에 관한 제2데이터를 포함하며,
    상기 제1 및 제2 경계 부분들은 상기 제1데이터 및 제2데이터 사이의 비교에 기초하여 결정되는 것을 특징으로 하는 영상 디스플레이 장치.
KR1020110019967A 2011-03-07 2011-03-07 영상 디스플레이 방법 및 장치 KR20120101881A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110019967A KR20120101881A (ko) 2011-03-07 2011-03-07 영상 디스플레이 방법 및 장치
US13/244,309 US20120229600A1 (en) 2011-03-07 2011-09-24 Image display method and apparatus thereof
EP11185359.4A EP2498501A3 (en) 2011-03-07 2011-10-17 3D image display method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110019967A KR20120101881A (ko) 2011-03-07 2011-03-07 영상 디스플레이 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20120101881A true KR20120101881A (ko) 2012-09-17

Family

ID=45421052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110019967A KR20120101881A (ko) 2011-03-07 2011-03-07 영상 디스플레이 방법 및 장치

Country Status (3)

Country Link
US (1) US20120229600A1 (ko)
EP (1) EP2498501A3 (ko)
KR (1) KR20120101881A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065635A1 (ko) * 2012-10-25 2014-05-01 엘지전자 주식회사 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9100638B2 (en) * 2012-01-05 2015-08-04 Cable Television Laboratories, Inc. Signal identification for downstream processing
CN102932658A (zh) * 2012-11-01 2013-02-13 彩虹集团公司 一种基于图像分割技术实现2d转3d的方法
US9183261B2 (en) 2012-12-28 2015-11-10 Shutterstock, Inc. Lexicon based systems and methods for intelligent media search
US9183215B2 (en) 2012-12-29 2015-11-10 Shutterstock, Inc. Mosaic display systems and methods for intelligent media search
US9998800B2 (en) * 2013-03-12 2018-06-12 Electronics And Telecommunications Research Institute 3D broadcast service providing method and apparatus, and 3D broadcast service reproduction method and apparatus for using image of asymmetric aspect ratio
CN115695772B (zh) * 2022-11-14 2023-12-05 广东欧谱曼迪科技有限公司 立体影像播放、接收方法、播放、接收装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004084535A2 (en) * 2003-03-14 2004-09-30 Starz Encore Group Llc Video aspect ratio manipulation
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US8587638B2 (en) * 2006-09-25 2013-11-19 Nokia Corporation Supporting a 3D presentation
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
ES2578022T3 (es) * 2009-02-17 2016-07-20 Koninklijke Philips N.V. Combinación de datos de imágenes 3D y gráficos
KR20110019967A (ko) 2009-08-21 2011-03-02 임정빈 화학 반응 공간이 형성된 골재 선별용 진동 스크린 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014065635A1 (ko) * 2012-10-25 2014-05-01 엘지전자 주식회사 다시점 3dtv 서비스에서 에지 방해 현상을 처리하는 방법 및 장치
US9578300B2 (en) 2012-10-25 2017-02-21 Lg Electronics Inc. Method and apparatus for processing edge violation phenomenon in multi-view 3DTV service

Also Published As

Publication number Publication date
EP2498501A2 (en) 2012-09-12
EP2498501A3 (en) 2014-10-08
US20120229600A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
JP5500066B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP5522404B2 (ja) 画像処理方法、画像処理装置及びプログラム
EP2560398B1 (en) Method and apparatus for correcting errors in stereo images
US8766973B2 (en) Method and system for processing video images
US8736667B2 (en) Method and apparatus for processing video images
KR20120101881A (ko) 영상 디스플레이 방법 및 장치
KR101690297B1 (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
EP2569950B1 (en) Comfort noise and film grain processing for 3 dimensional video
JP6060329B2 (ja) ３ｄディスプレイ装置で３次元映像を視覚化する方法および３ｄディスプレイ装置
US10547832B2 (en) Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images
JP5673032B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
JP2011120233A (ja) ３ｄ映像特殊効果装置、３ｄ映像特殊効果方法、および、３ｄ映像特殊効果プログラム
EP2717247A2 (en) Image processing apparatus and method for performing image rendering based on orientation of display
JP2006229818A (ja) 立体画像表示装置
TWI436636B (zh) 三維視訊影像調整方法及裝置
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
JP2014506768A (ja) 三次元シーンの深さデータの処理
KR101731113B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
KR101519463B1 (ko) 3d 이미지 변환 장치 및 그 방법
WO2012175386A1 (en) Method for reducing the size of a stereoscopic image
JP2018191191A (ja) 立体映像生成装置
JP4892105B1 (ja) 映像処理装置、映像処理方法および映像表示装置
KR101894092B1 (ko) 입체영상 자막처리방법과 이를 이용한 자막처리부

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid