KR101637491B1 - 3차원 영상 데이터 생성 방법 및 장치 - Google Patents

3차원 영상 데이터 생성 방법 및 장치 Download PDF

Info

Publication number
KR101637491B1
KR101637491B1 KR1020090134925A KR20090134925A KR101637491B1 KR 101637491 B1 KR101637491 B1 KR 101637491B1 KR 1020090134925 A KR1020090134925 A KR 1020090134925A KR 20090134925 A KR20090134925 A KR 20090134925A KR 101637491 B1 KR101637491 B1 KR 101637491B1
Authority
KR
South Korea
Prior art keywords
image data
dimensional image
dummy
component
dummy area
Prior art date
Application number
KR1020090134925A
Other languages
English (en)
Other versions
KR20110078183A (ko
Inventor
권오재
민종술
이재문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090134925A priority Critical patent/KR101637491B1/ko
Priority to US12/974,384 priority patent/US8606043B2/en
Priority to EP10196404A priority patent/EP2360932A1/en
Priority to CN201010614949.2A priority patent/CN102117486B/zh
Publication of KR20110078183A publication Critical patent/KR20110078183A/ko
Application granted granted Critical
Publication of KR101637491B1 publication Critical patent/KR101637491B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals

Abstract

입력 영상과 관련된 영상 성분에 입력 영상의 해상도 조정을 위한 더미 성분이 부가된 2차원 영상 데이터를 이용하여 3차원 영상 데이터를 생성하는 방법이 개시된다. 본 발명의 일 실시예에서는 2차원 영상 데이터에 대응하는 깊이 지도를 생성하고, 2차원 영상 데이터내에서 더미 성분이 포함된 영역인 더미 영역을 검출한 후 깊이 지도 내에서 더미 영역에 해당하는 픽셀들의 깊이 값을 보정함으로써 3차원 영상 데이터를 생성하는 방법이 개시된다.
3D, 레터 박스, 필라 박스

Description

3차원 영상 데이터 생성 방법 및 장치{Method and apparatus for generating 3D image data}
본 발명은 3차원 영상 데이터를 생성하는 방법 및 장치에 관한 것이며, 특히 입력 영상과 관련된 영상 성분에 입력 영상의 해상도 조정을 위한 더미 성분이 부가된 2차원 영상 데이터를 이용하여 3차원 영상 데이터를 생성하는 방법 및 장치에 관한 것이다.
디지털 기술의 발달로 3차원 영상 기술이 널리 보급되고 있다. 3차원 영상 기술은 2차원 영상에 깊이에 대한 정보를 부여하여 보다 사실적인 영상을 표현하는 기술이다.
사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다른데 이를 양안시차라고 한다. 뇌는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다.
3차원 영상 기술은 처음부터 비디오 데이터를 3차원으로 영상으로 생성하는 기술과, 2차원 영상으로 생성된 비디오 데이터를 3차원 영상으로 변환하는 기술이 있으며, 두 기술에 대한 연구가 함께 이루어지고 있다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예가 갖는 하나의 특징은, 입력 영상과 관련된 영상 성분에 상기 입력 영상의 해상도 조정을 위한 더미 성분이 부가된 2차원 영상 데이터를 이용하여 3차원 영상 데이터를 생성하는 방법에 있어서, 상기 2차원 영상 데이터에 대응하는 깊이 지도를 생성하는 단계; 상기 2차원 영상 데이터내에서 상기 더미 성분이 포함된 영역인 더미 영역을 검출하는 단계; 및 상기 깊이 지도 내에서 상기 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하는 단계를 포함하는 것이다.
상기 보정된 깊이 지도에 기초하여, 상기 2차원 영상 데이터내의 픽셀들의 위치를 이동시켜 상기 3차원 영상 데이터를 생성하는 단계를 더 포함할 수 있다.
상기 3차원 영상 데이터를 생성하는 단계는, 상기 더미 성분이 상기 영상 성분이 포함된 영상 영역으로 이동되지 않도록 제어하는 단계를 포함할 수 있다.
상기 3차원 영상 데이터를 생성하는 단계는, 상기 3차원 영상 데이터내의 더미 영역이 상기 2차원 영상 데이터 내의 더미 영역과 동일한 좌표에 배치되도록 제어하는 단계를 포함할 수 있다.
상기 보정하는 단계는, 상기 더미 영역내의 픽셀들의 깊이 값을 동일한 값으로 보정하는 단계를 포함할 수 있다.
상기 보정하는 단계는, 상기 더미 영역내의 픽셀들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정하는 단계를 포함할 수 있다.
상기 보정하는 단계는, 상기 더미 영역내의 픽셀들의 깊이 값을 상기 더미 영역의 경계와 가장 인접한 영상 성분이 나타내는 깊이 값으로 보정하는 단계를 포함할 수 있다.
상기 검출하는 단계는, 상기 더미 영역에 대한 위치 정보를 수신하는 단계를 포함할 수 있다.
상기 더미 성분은, 필라 박스 및 레터 박스 중 적어도 하나를 포함할 수 있다.
상기 입력 영상을 확대 또는 축소하는 단계; 및 상기 확대 또는 축소된 입력 영상에 상기 더미 성분을 부가하여 상기 2차원 영상 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예가 갖는 하나의 특징은, 2차원 영상 데이터에 대응하는 깊이 지도를 생성하는 깊이 지도 생성부; 상기 2차원 영상 데이터내에서 상기 더미 성분이 포함된 영역인 더미 영역을 검출하는 검출부; 및 상기 깊이 지도 내에서 상기 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하는 보정부를 포함하는 것이다.
이하에서는 첨부된 도면을 참고하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 다른 3차원 영상 데이터 생성 장치(100)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 3차원 영상 데이터 생성 장치(100)는 2차원 영 상 데이터를 3차원 영상 데이터로 변환한다. 2차원 영상 데이터는 입력 영상의 해상도를 조정하기 위하여 입력 영상과 관련된 영상 성분에 더미 성분을 부가하여 생성된다. 입력 영상의 해상도가 디스플레이 수단이 지원하는 해상도와 일치하지 않거나 사용자가 입력 영상의 해상도를 변경하고자 하는 경우가 발생할 수 있다. 이와 같이 입력 영상의 해상도를 조정할 필요가 있는 경우, 입력 영상을 확대 또는 축소하고 확대 또는 축소된 입력 영상에 더미 성분을 부가하여 2차원 영상 데이터를 생성하는 방법이 널리 사용된다.
3차원 영상 데이터 생성 장치(100)는 영상 성분(예를 들면, 입력 영상, 입력 영상을 확대또는 축소한 영상) 에 더미 성분이 부가된 2차원 영상 데이터를 외부로부터 수신하거나, 자체적으로 생성할 수 있다. 후자의 경우 3차원 영상 데이터 생성 장치(100)는 2차원 영상 데이터 생성부(미도시)를 포함할 수 있다.
2차원 영상 데이터 생성부(미도시)는 입력 영상의 수평/수직 해상도 비율을 그대로 유지한 상태로 입력 영상을 확대 또는 축소한 후, 확대 또는 축소된 입력 영상에 더미 성분을 부가하여 원하는 해상도를 갖는 제 2 영상 데이터를 생성한다. 2차원 영상 데이터 생성부(미도시)는 더미 성분이 영상 성분과 명확히 구분되도록 하기 위하여 더미 성분에 동일한 픽셀 값(예를 들면 검정에 해당하는 픽셀 값)을 할당하는 것이 일반적이다. 본 명세서에서는 설명의 편의를 위하여 2차원 영상 데이터내에서 입력 영상과 관련된 영상 성분이 포함된 영역을 영상 영역으로 명명하고, 더미 성분이 포함된 영역을 더미 영역으로 명명한다.
더미 성분은 레터 박스 또는 필라 박스를 포함할 수 있다. 레터 박스는 2차 원 영상 데이터내의 상단과 하단에 위치하는 더미 성분을 지칭하며, 필라 박스는 2차원 영상 데이터내의 좌측단과 우측단에 위치하는 더미 성분을 지칭한다.
일 예로, 4:3의 해상도 비율을 갖는 입력 영상을 16:9의 해상도 비율을 갖는 디스플레이 수단에서 재생하고자 하는 경우를 생각해보자. 이 경우, 입력 영상을 디스플레이 수단에서 지원하는 해상도 비율로 조정하여야 한다. 입력 영상의 수평 성분과 수직 성분간의 확대/축소비를 달리하여 입력 영상을 확대/축소하게 되면 영상에 왜곡이 발생하게 되므로, 입력 영상의 수평 성분과 수직 성분을 동일한 확대/축소비로 확대/축소한다.
4:3의 해상도 비율을 갖는 입력 영상을 수평으로 3배 수직으로 3배 확대하게 되면 12:9의 해상도 비율을 갖는 영상을 얻게 된다. 확대된 입력 영상을 16:9의 해상도 비율을 갖는 디스플레이 수단에서 재생하기 위해서는 수평 해상도를 조정할 필요가 있다. 이를 위하여 확대된 입력 영상의 좌측단과 우측단에 더미 성분을 부가하여 2차원 영상 데이터를 생성한다. 결과적으로 중앙에 확대된 입력 영상이 배치되고 확대된 입력 영상의 좌측단과 우측단에 필라 박스가 배치된 2차원 영상 데이터가 생성된다.
다른 예로, 16:9의 해상도 비율을 갖는 입력 영상을 4:3의 해상도 비율을 갖는 디스플레이 수단에서 재생하고자 하는 경우를 생각해보자. 상술한 바와 같이 입력 영상의 수평 성분과 수직 성분을 동일한 비율로 확대 또는 축소한다.
16:9의 해상도 비율을 갖는 입력 영상을 수평으로 1/4배 수직으로 1/4배 축소하게 되면 4:2.25의 해상도 비율을 갖는 영상을 얻게 된다. 축소된 입력 영상을 4:3의 해상도 비율을 갖는 디스플레이 수단에서 재생하기 위해서는 수직 해상도를 조정할 필요가 있다. 이를 위하여 축소된 입력 영상의 상단과 하단에 좌더미 성분을 부가하여 2차원 영상 데이터를 생성한다. 결과적으로 중앙에 축소된 입력 영상이 배치되고 축소된 입력 영상의 상단과 하단에 레터 박스가 배치된 2차원 영상 데이터가 생성된다.
깊이 지도 생성부(110)는 2차원 영상 데이터에 대응하는 깊이 지도를 생성한다. 깊이 지도는 2차원 영상 데이터에 포함된 오브젝트들이 기준점(예를 들면 촬상 장치)으로부터 얼마만큼 떨어져 있는지를 나타내는 픽셀들의 깊이 값으로 구성된다. 깊이 값은 픽셀이 나타내는 오브젝트가 기준점으로부터 가깝고 먼 정도를 수치로 표현한 것이다. 일 예로, 오브젝트 'A'를 나타내는 픽셀의 깊이 값이 오브젝트 'B'를 나타내는 픽셀의 깊이 값보다 작다면 오브젝트 'A'가 오브젝트 'B'보다 기준점으로부터 더 먼 곳(또는 더 가까운 곳)에 위치함을 의미한다.
검출부(120)는 2차원 영상 데이터내에서 더미 성분이 포함된 영역인 더미 영역을 검출한다.
검출부(120)는 2차원 영상 데이터를 분석하여 더미 영역을 검출할 수 있다. 더미 성분은 블랙과 같이 특정 색상에 해당하는 픽셀 값을 갖는 것이 일반적이다. 따라서, 검출부(120)는 특정 색상에 해당하는 픽셀 값이 2차원 영상 데이터내의 상단 및 하단에 대칭 형태로 존재하거나 2차원 영상 데이터내의 좌측단 및 우측단에 대칭 형태로 존재하는지를 판단함으로써 더미 영역을 검출할 수 있다. 이 밖에도 검출부(120)는 특정 색상에 해당하는 픽셀 값이 2차원 영상 데이터내에서 임계 라 인 이상 연속적으로 배치되면 해당 영역을 더미 영역으로 판단하는 등, 더미 영역을 검출하는 방법은 다양할 수 있다.
또한, 검출부(120)는 더미 영역에 대한 위치 정보를 수신하여 더미 영역을 검출할 수 있다. 이 경우, 검출부120)는 더미 영역에 대한 위치 정보를 수신하는 수신부(미도시)를 포함할 수 있다. 수신부(미도시)는 2차원 영상 데이터 생성부(미도시) 또는 외부 서버로부터 더미 영역에 대한 위치 정보를 수신할 수 있다. 더미 영역에 대한 위치 정보는 2차원 영상 데이터에 대한 메타 데이터에 포함될 수 있다.
보정부(130)는 깊이 지도 내에서 더미 영역에 해당하는 픽셀들의 깊이 값을 보정한다. 일반적인 방법에 의하여 깊이 지도를 생성하면, 더미 영역과 인접한 영상 성분들의 깊이 값에 의하여 더미 영역에 포함된 픽셀들의 깊이 값이 영향을 받게 된다. 더미 영역내의 픽셀들의 깊이 값이 달라지게 되면 더미 영역의 경계가 왜곡되거나 크로스토크가 발생하는 등 여러 가지 문제가 발생하게 된다.
도 2a는 보정부(130)가 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하기 전의 깊이 지도(210)를 나타낸다. 본 명세서에서는 설명의 편의를 위하여 깊이 값은 '0~255'까지의 값을 가지며 '125'가 디스플레이 수단의 화면에 해당하는 깊이 값을 의미한다고 가정한다. 또한, 깊이 값이 '125'보다 크면, 깊이 값에 대응하는 오브젝트가 화면에서 돌출된 것처럼 디스플레이 되고, 깊이 값이 '125'보다 작으면 깊이 값에 대응하는 오브젝트가 화면의 안쪽으로 들어간 것처럼 디스플레이 된다고 가정한다.
깊이 지도(210)에서는 더미 영역(210)에 포함된 픽셀들의 깊이 값이 상이하다. 이 경우 더미 영역(210)의 경계를 정확하게 인식할 수 없게 되어 크로스토크가 발생할 수 있다.
보정부(130)는 이러한 문제점을 해결하기 위하여 더미 영역(210)에 포함된 픽셀들의 깊이 값을 동일한 값으로 보정할 수 있다.
일 예로, 보정부(130)는 더미 영역(210)에 포함된 픽섹들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정할 수 있다. 디스플레이 수단의 화면이 나타내는 깊이 값을 '125'로 가정하였으므로 보정부(130)는 더미 영역(210)에 포함된 픽섹들의 깊이 값을 '125'로 보정한다.
보정부(130)가 더미 영역(210)에 포함된 픽섹들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정한 경우의 깊이 지도는 도 2b에 도시된다. 도 2b를 참고하면, 더미 영역(210)에 포함된 픽셀들의 깊이 값이 모두 '125'로 보정되었다.
다른 예로, 보정부(130)는 더미 영역(210)내의 픽셀들의 깊이 값을 더미 영역(210)의 경계와 가장 인접한 영상 성분의 깊이 값으로 보정할 수 있다. 도 2a에서 더미 영역(210)의 경계와 가장 인접한 영상 성분이 나타내는 깊이 값은 '120'이다. 따라서, 보정부(130)는 더미 영역(210)에 포함된 픽셀들의 깊이 값을 '120'으로 보정한다.
보정부(130)가 더미 영역(210)에 포함된 픽섹들의 깊이 값을 더미 영역(210)의 경계와 가장 인접한 영상 성분의 깊이 값으로 보정한 경우의 깊이 지도는 도 2c 에 도시된다. 도 2c를 참고하면, 더미 영역(210)에 포함된 픽셀들의 깊이 값이 모두 '120'로 보정되었다.
다른 예로, 보정부(130)는 더미 영역(210)이 필라 박스에 해당하는 경우에는 더미 영역(210)내의 픽셀 들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정하고, 더미 영역(210)이 레터 박스에 해당하는 경우에는 더미 영역(210)내의 픽셀 들의 깊이 값을 더미 영역(210)의 경계와 가장 인접한 영상 성분(221,222)의 깊이 값으로 보정할 수 있다.
또한 보정부(130)는 영상 영역(220)에 포함된 픽셀들의 깊이 값을 보정할 수 있다. 보정부(130)는 영상 영역(220)에 포함된 픽셀들의 깊이 값을 보다 정교하게 보정함으로써 사용자가 입체감을 보다 자연스럽게 느낄 수 있도록 한다. 결과적으로, 보정부(130)는 영상 영역(220)에 포함된 픽셀들의 깊이 값과 더미 영역(210)에 포함된 깊이 값을 상이한 방법으로 보정하게 된다.
3차원 영상 데이터 생성부(140)는 보정된 깊이 지도에 기초하여, 2차원 영상 데이터내의 픽셀들의 위치를 이동시켜 3차원 영상 데이터를 생성한다.
3차원 영상 데이터 생성부(140)는 깊이 지도에 기초하여 양안 시차를 계산한다. 사람은 동일한 물체를 좌안과 우안으로 동시에 봄으로써 입체감을 얻게 되는데 이 때 사람의 좌안과 우안에 맺히는 물체의 상의 차이가 양안 시차이다.
3차원 영상 데이터 생성부(140)는 다시점 영상을 제공하기 위하여 복수 개의 3차원 영상 데이터를 생성한다. 본 명세서에서는 3차원 영상 데이터 생성 장치(100)가 스테레오 방식의 3차원 영상 데이터를 생성한다고 가정하자. 이 경우 3 차원 영상 데이터 생성부(140)는 좌안에 노출될 좌시점 영상 데이터와 우안에 노출될 우시점 영상 데이터를 생성한다.
특정 오브젝트가 화면에서 돌출되는 것으로 표현하고자 하는 경우이다. 3차원 영상 데이터 생성부(140)는 2차원 영상 데이터내에서 오브젝트를 왼쪽으로 이동시켜 좌시점 영상 데이터를 생성하고, 2차원 영상 데이터내에서 오브젝트를 오른쪽으로 이동시켜 우시점 영상 데이터를 생성한다. 좌시점 영상 데이터가 좌안에 노출되고 우시점 영상 데이터가 우안에 노출되면 사용자는 오브젝트가 화면에서 돌출된 것처럼 인식하게 된다.
다음으로, 특정 오브젝트가 화면상에 위치하는 것으로 표현하고자 하는 경우이다. 3차원 영상 데이터 생성부(140)는 2차원 영상 데이터내에서 오브젝트의 위치를 변경하지 않는다. 즉, 좌시점 영상 데이터 및 우시점 영상 데이터내에서 오브젝트가 동일한 좌표에 위치한다. 동일한 오브젝트가 좌시점 영상 데이터 및 우시점 영상 데이터내의 동일한 좌표에 위치하면 사용자는 오브젝트가 화면상에 위치하는 것처럼 인식하게 된다.
마지막으로, 특정 오브젝트가 화면에서 인입된 것으로 표현하고자 하는 경우이다. 3차원 영상 데이터 생성부(140)는 2차원 영상 데이터내에서 오브젝트를 왼쪽으로 이동시켜 좌시점 영상 데이터를 생성하고, 2차원 영상 데이터내에서 오브젝트를 오른쪽으로 이동시켜 우시점 영상 데이터를 생성한다. 좌시점 영상 데이터가 좌안에 노출되고 우시점 영상 데이터가 우안에 노출되면 사용자는 오브젝트가 화면으로부터 인입된 것처럼 인식하게 된다. 즉, 사용자는 오브젝트가 화면으로부터 더 멀리 위치한 것으로 인식하게 된다.
상술한 방법에 따라 2차원 영상 데이터내에서 픽셀들을 이동시켜 3차원 영상 데이터를 생성하게 되면 더미 성분이 3차원 영상 데이터내의 영상 영역으로 이동하게 된다. 이 경우, 더미 영역에 대한 경계가 불명확해지므로 크로스토크가 발생하게 된다.
3차원 영상 데이터 생성부(140)는 이러한 문제를 방지하기 위한 제어부(미도시)를 포함할 수 있다.
제어부(미도시)는 더미 성분이 영상 성분이 포함된 영상 영역으로 이동되지 않도록 제어한다. 또한, 제어부(미도시)는 영상 데이터내의 더미 영역이 상기 2차원 영상 데이터 내의 더미 영역과 동일한 좌표에 배치되도록 제어한다.
이하에서는 도 3을 참고하여 3차원 영상 데이터 생성부(140)의 구체적인 동작을 설명한다.
도 3a는 2차원 영상 데이터(301)를 나타낸다. 2차원 영상 데이터(301)는 영상 영역(320) 및 더미 영역(310)을 포함한다. 이 때, 영상 영역(320)에는 세 개의 오브젝트가 포함된다. 또한, 오브젝트 '1'이 촬상 수단에 가장 가까이 위치하며 깊이 값이 '126'이고, 오브젝트 '3'이 촬상 수단으로부터 가장 먼 곳에 위치하며 깊이 값이 '124'이며, 오브젝트 '2'의 깊이 값은 '125'라고 가정한다.
3차원 영상 데이터 생성부(140)는 깊이 값이 '126'인 픽셀에는 한칸 왼쪽 픽셀의 픽셀 값을 할당하고, 깊이 값이 '124'인 픽셀에는 한칸 오른쪽 픽셀의 픽셀 값을 할당하여 좌시점 영상 데이터를 생성한다.
결과적으로, 좌시점 영상 데이터(302)은 2차원 영상 데이터(301)내의 오브젝트 '1'이 오른쪽으로 한칸 이동되고, 오브젝트 '3'이 왼쪽으로 한칸 이동된 형태이다.
유사하게, 3차원 영상 데이터 생성부(140)는 깊이 값이 '126'인 픽셀에는 한칸 오른쪽 픽셀의 픽셀 값을 할당하고, 깊이 값이 '124'인 픽셀에는 한칸 왼쪽 픽셀의 픽셀 값을 할당하여 우시점 영상 데이터를 생성한다.
결과적으로 우시점 영상 데이터(303)는 2차원 영상 데이터(301)내의 오브젝트 '1'가 왼쪽으로 한칸 이동되고, 오브젝트 '3'이 오른쪽으로 한칸 이동된 형태이다.
상술한 과정을 통하여 좌시점 영상 데이터(302) 및 우시점 영상 데이터(303)를 생성할 경우 더미 성분이 영상 영역으로 이동하는 문제점이 발생할 수 있다.
일 예로, 2차원 영상 데이터(301)내의 제 3 픽셀(303)의 깊이 값은 '126'이다. 2차원 영상 데이터(301)내의 제 2 픽셀(302)을 한칸 오른쪽으로 이동시켜 좌시점 영상 데이터(302)를 생성한다면, 좌시점 영상 데이터(302)내의 영상 영역에는 더미 성분이 포함되게 된다. 따라서, 더미 영역에 포함된 픽셀이 영상 영역으로 이동하게 됨으로써 더미 영역의 경계가 불명확해지고 크로스토크가 발생할 수 있다.
제어부(미도시)는 이러한 문제점을 해결하기 위하여 더미 성분이 영상 영역으로 이동하지 않도록 제어한다. 일 예로, 2차원 영상 데이터(301)내의 제 2 픽셀(302)의 픽셀 값을 좌시점 영상 데이터(302)내의 제 3 픽셀(313)에 할당하지 않고, 2차원 영상 데이터(301)내의 제 2 픽셀(302)와 가장 인접한 영상 성분인 제 3 픽셀(303)의 픽셀 값을 좌시점 영상 데이터(302)내의 제 3 픽셀(313)에 할당한다.
실시 예에 따라서는, 3차원 영상 데이터 생성부(140)가 깊이 값이 '126'인 픽셀을 한칸 오른쪽으로 이동시키고, 깊이 값이 '124'인 픽셀을 한칸 왼쪽으로 이동시켜 좌시점 영상 데이터를 생성할 수 있다. 이 경우, 영상 성분이 더미 영역으로 이동될 염려가 있다. 영상 성분이 더미 영역으로 이동하게 되면 더미 영역의 경계가 불명확해지므로 크로스토크가 발생할 수도 있다. 제어부(미도시)는 3차원 영상 데이터내의 더미 영역이 2차원 영상 데이터 내의 더미 영역과 동일한 좌표에 배치되도록 제어함으로써 더미 영역의 경계가 변경되지 않도록 한다.
도 4는 본 발명의 일 실시예에 따른 3차원 영상 데이터 생성 방법에 관한 흐름도를 나타낸다.
단계 s410에서는 2차원 영상 데이터에 대응하는 깊이 지도를 생성한다.
단계 s420에서는 2차원 영상 데이터내에 필라 박스 또는 레터 박스가 존재하는지를 판단한다. 2차원 영상 데이터내에 필라 박스 또는 레터 박스가 존재하면 단계 s430을 수행하고, 2차원 영상 데이터내에 필라 박스 및 레터 박스가 존재하지 않으면 단계 s440을 수행한다.
단계 s430에서는, 필라 박스 또는 레터 박스에 포함된 픽셀들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정한다. 즉, 필라 박스 또는 레터 박스에 포함된 픽셀들의 깊이 값을 양안 시차가 '0'에 해당하는 깊이 값으로 지정한다.
단계 s440에서는, 깊이 지도에 기초하여 좌시점 영상 데이터 및 우시점 영상 데이터를 생성한다.
도 5는 본 발명의 다른 실시예에 따른 3차원 영상 데이터 생성 방법에 관한 흐름도를 나타낸다.
단계 s510에서는, 2차원 영상 데이터에 대응하는 깊이 지도를 생성한다.
단계 s520에서는, 2차원 영상 데이터내에 필라 박스 또는 레터 박스가 존재하는지를 판단한다. 2차원 영상 데이터내에 필라 박스 또는 레터 박스가 존재하면 단계 s530을 수행하고, 2차원 영상 데이터내에 필라 박스 및 레터 박스가 존재하지 않으면 단계 s550을 수행한다.
단계 s530에서는, 2차원 영상 데이터내에 필라 박스가 존재하는지를 판단한다. 2차원 영상 데이터내에 필라 박스가 존재하면 단계 s542를 수행하고 그렇지 않으면 단계 s544를 수행한다.
단계 s542에서는, 필라 박스에 포함된 픽셀들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정한다. 즉, 필라 박스에 포함된 픽셀들의 깊이 값을 양안 시차가 '0'에 해당하는 깊이 값으로 보정한다.
단계 s544에서는, 레터 박스에 포함된 픽셀들의 깊이 값을 더미 영역의 경계에 인접한 영상 성분의 깊이 값으로 보정한다.
단계 s550에서는, 깊이 지도에 기초하여 좌시점 영상 데이터 및 우시점 영상 데이터를 생성한다.
도 6은 본 발명의 다른 실시예에 따른 3차원 영상 데이터 생성 방법에 관한 흐름도를 나타낸다.
단계 s610에서는, 2차원 영상 데이터에 대응하는 깊이 지도를 생성한다.
단계 s620에서는, 2차원 영상 데이터내에서 더미 성분이 포함된 영역인 더미 영역을 검출한다.
단계 s630에서는, 깊이 지도 내에서 더미 영역에 해당하는 픽셀들의 깊이 값을 보정한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 다른 3차원 영상 데이터 생성 장치에 관한 블록도를 나타낸다.
도 2a는 본 발명의 일 실시예에 따른 보정부가 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하기 전의 깊이 지도를 나타낸다.
도 2b는 본 발명의 일 실시예에 따른 보정부가 더미 영역에 해당하는 픽셀들의 깊이 값을 보정한 깊이 지도를 나타낸다.
도 2c는 본 발명의 다른 실시예에 따른 보정부가 더미 영역에 해당하는 픽셀들의 깊이 값을 보정한 깊이 지도를 나타낸다.
도 3a는 본 발명의 일 실시예에 따른 2차원 영상 데이터를 나타낸다.
도 3b는 본 발명의 일 실시예에 따른 좌시점 영상 데이터를 나타낸다.
도 3c는 본 발명의 일 실시예에 따른 우시점 영상 데이터를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 3차원 영상 데이터 생성 방법에 관한 흐름도를 나타낸다.
도 5는 본 발명의 다른 실시예에 따른 3차원 영상 데이터 생성 방법에 관한 흐름도를 나타낸다.
도 6은 본 발명의 다른 실시예에 따른 3차원 영상 데이터 생성 방법에 관한 흐름도를 나타낸다.

Claims (21)

  1. 입력 영상과 관련된 영상 성분에 상기 입력 영상의 해상도 조정을 위한 더미 성분이 부가된 2차원 영상 데이터를 3차원 영상 데이터로 변환하는 방법에 있어서,
    상기 2차원 영상 데이터에 대응하는 깊이 지도를 생성하는 단계;
    상기 2차원 영상 데이터내에서 상기 더미 성분이 포함된 영역인 더미 영역을 검출하는 단계; 및
    상기 더미 영역의 경계와 인접한 영상 성분에 해당하는 픽셀들의 깊이 값에 기초하여, 상기 깊이 지도 내에서 상기 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  2. 제 1항에 있어서, 상기 방법은,
    상기 보정된 깊이 지도에 기초하여, 상기 2차원 영상 데이터내의 픽셀들의 위치를 이동시켜 상기 3차원 영상 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  3. 제 2항에 있어서, 상기 3차원 영상 데이터를 생성하는 단계는,
    상기 더미 성분이 상기 영상 성분이 포함된 영상 영역으로 이동되지 않도록 제어하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  4. 제 2항에 있어서, 상기 3차원 영상 데이터를 생성하는 단계는,
    상기 3차원 영상 데이터내의 더미 영역이 상기 2차원 영상 데이터 내의 더미 영역과 동일한 좌표에 배치되도록 제어하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  5. 제 1항에 있어서, 상기 보정하는 단계는,
    상기 더미 영역내의 픽셀들의 깊이 값을 동일한 값으로 보정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  6. 제 1항에 있어서, 상기 보정하는 단계는,
    상기 더미 영역내의 픽셀들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  7. 제 1항에 있어서, 상기 보정하는 단계는,
    상기 더미 영역내의 픽셀들의 깊이 값을 상기 더미 영역의 경계와 가장 인접한 영상 성분이 나타내는 깊이 값으로 보정하는 단계를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  8. 제 1항에 있어서, 상기 검출하는 단계는,
    상기 더미 영역에 대한 위치 정보를 수신하는 단계를 포함하는 것을 특징으 로 하는 3차원 영상 데이터 생성 방법.
  9. 제 1 항에 있어서, 상기 더미 성분은,
    필라 박스 및 레터 박스 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  10. 제 1항에 있어서,
    상기 입력 영상을 확대 또는 축소하는 단계; 및
    상기 확대 또는 축소된 입력 영상에 상기 더미 성분을 부가하여 상기 2차원 영상 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 방법.
  11. 입력 영상과 관련된 영상 성분에 상기 입력 영상의 해상도 조정을 위한 더미 성분이 부가된 2차원 영상 데이터를 3차원 영상 데이터로 변환하는 장치에 있어서,
    상기 2차원 영상 데이터에 대응하는 깊이 지도를 생성하는 깊이 지도 생성부;
    상기 2차원 영상 데이터내에서 상기 더미 성분이 포함된 영역인 더미 영역을 검출하는 검출부; 및
    상기 더미 영역의 경계와 인접한 영상 성분에 해당하는 픽셀들의 깊이 값에 기초하여, 상기 깊이 지도 내에서 상기 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하는 보정부를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  12. 제 11항에 있어서, 상기 장치는,
    상기 보정된 깊이 지도에 기초하여, 상기 2차원 영상 데이터내의 픽셀들의 위치를 이동시켜 상기 3차원 영상 데이터를 생성하는 3차원 영상 데이터 생성부를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  13. 제 12항에 있어서, 상기 3차원 영상 데이터 생성부는,
    상기 더미 성분이 상기 영상 성분이 포함된 영상 영역으로 이동되지 않도록 제어하는 제어부를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  14. 제 12항에 있어서, 상기 3차원 영상 데이터 생성부는,
    상기 3차원 영상 데이터내의 더미 영역이 상기 2차원 영상 데이터 내의 더미 영역과 동일한 좌표에 배치되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  15. 제 11항에 있어서, 상기 보정부는,
    상기 더미 영역내의 픽셀들의 깊이 값을 동일한 값으로 보정하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  16. 제 11항에 있어서, 상기 보정부는
    상기 더미 영역내의 픽셀들의 깊이 값을 디스플레이 수단의 화면이 나타내는 깊이 값으로 보정하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  17. 제 11항에 있어서, 상기 보정부는,
    상기 더미 영역내의 픽셀들의 깊이 값을 상기 더미 영역의 경계와 가장 인접한 영상 성분의 깊이 값으로 보정하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  18. 제 11항에 있어서, 상기 검출부는,
    상기 더미 영역에 대한 위치 정보를 수신하는 수신부를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  19. 제 11 항에 있어서, 상기 더미 성분은,
    필라 박스 및 레터 박스 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  20. 제 11항에 있어서,
    상기 입력 영상을 확대 또는 축소하고, 상기 확대 또는 축소된 입력 영상에 상기 더미 성분을 부가하여 상기 2차원 영상 데이터를 생성하는 2차원 영상 데이터 생성부를 더 포함하는 것을 특징으로 하는 3차원 영상 데이터 생성 장치.
  21. 입력 영상과 관련된 영상 성분에 상기 입력 영상의 해상도 조정을 위한 더미 성분이 부가된 2차원 영상 데이터를 3차원 영상 데이터로 변환하는 방법에 있어서,
    상기 2차원 영상 데이터에 대응하는 깊이 지도를 생성하는 단계;
    상기 2차원 영상 데이터내에서 상기 더미 성분이 포함된 영역인 더미 영역을 검출하는 단계; 및
    상기 더미 영역의 경계와 인접한 영상 성분에 해당하는 픽셀들의 깊이 값에 기초하여, 상기 깊이 지도 내에서 상기 더미 영역에 해당하는 픽셀들의 깊이 값을 보정하는 단계를 포함하는 3차원 영상 데이터 생성 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020090134925A 2009-12-30 2009-12-30 3차원 영상 데이터 생성 방법 및 장치 KR101637491B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090134925A KR101637491B1 (ko) 2009-12-30 2009-12-30 3차원 영상 데이터 생성 방법 및 장치
US12/974,384 US8606043B2 (en) 2009-12-30 2010-12-21 Method and apparatus for generating 3D image data
EP10196404A EP2360932A1 (en) 2009-12-30 2010-12-22 Method and apparatus for generating 3d image data
CN201010614949.2A CN102117486B (zh) 2009-12-30 2010-12-30 生成三维图像数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090134925A KR101637491B1 (ko) 2009-12-30 2009-12-30 3차원 영상 데이터 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110078183A KR20110078183A (ko) 2011-07-07
KR101637491B1 true KR101637491B1 (ko) 2016-07-08

Family

ID=43640575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090134925A KR101637491B1 (ko) 2009-12-30 2009-12-30 3차원 영상 데이터 생성 방법 및 장치

Country Status (4)

Country Link
US (1) US8606043B2 (ko)
EP (1) EP2360932A1 (ko)
KR (1) KR101637491B1 (ko)
CN (1) CN102117486B (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468526B2 (ja) * 2010-11-25 2014-04-09 株式会社東芝 画像処理装置及び画像処理方法
KR101276346B1 (ko) * 2011-10-31 2013-06-18 전자부품연구원 선택적 깊이 지도 회전 방법 및 장치
KR101918057B1 (ko) * 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
US20130162763A1 (en) * 2011-12-23 2013-06-27 Chao-Chung Cheng Method and apparatus for adjusting depth-related information map according to quality measurement result of the depth-related information map
US9571810B2 (en) 2011-12-23 2017-02-14 Mediatek Inc. Method and apparatus of determining perspective model for depth map generation by utilizing region-based analysis and/or temporal smoothing
KR101878808B1 (ko) * 2012-01-20 2018-07-19 엘지전자 주식회사 영상표시장치 및 그 동작 방법
KR101874482B1 (ko) 2012-10-16 2018-07-05 삼성전자주식회사 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법
TW201421972A (zh) * 2012-11-23 2014-06-01 Ind Tech Res Inst 立體視訊的編碼方法及其系統
EP2973519B1 (en) 2013-03-15 2022-10-26 The Coca-Cola Company Display devices
KR102126530B1 (ko) * 2013-06-28 2020-06-25 엘지디스플레이 주식회사 3d 변환방법과 이를 이용한 입체영상 표시장치
CN104636743B (zh) * 2013-11-06 2021-09-03 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN104992448B (zh) * 2015-07-30 2018-01-26 佛山科学技术学院 机器人防损伤采摘葡萄的自动定位方法
US10897449B2 (en) 2015-10-06 2021-01-19 Twitter, Inc. Social media messaging platform for creating and sharing moments
US10937343B2 (en) 2016-09-26 2021-03-02 The Coca-Cola Company Display device
US20190082183A1 (en) * 2017-09-13 2019-03-14 Mediatek Inc. Method and Apparatus for Video Coding of VR images with Inactive Areas
CN108765482B (zh) * 2018-05-31 2021-07-13 长春博立电子科技有限公司 一种基于硬件加速的低功耗实时双目摄像头及使用方法
CN109064429B (zh) * 2018-08-02 2022-02-08 河北工业大学 一种融合gpu加速深度图像修复的伪激光数据生成方法
CN112270745B (zh) * 2020-11-04 2023-09-29 北京百度网讯科技有限公司 一种图像生成方法、装置、设备以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008112624A2 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. A system and method for using off-screen mask space to provide enhanced viewing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7558320B2 (en) * 2003-06-13 2009-07-07 Microsoft Corporation Quality control in frame interpolation with motion analysis
JP4610942B2 (ja) * 2004-06-22 2011-01-12 アルプス電気株式会社 カーソル移動量の変換比調整装置および方法
RU2407224C2 (ru) * 2005-04-19 2010-12-20 Конинклейке Филипс Электроникс Н.В. Восприятие глубины
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
US8331615B2 (en) * 2007-08-01 2012-12-11 The Board Of Trustees Of The University Of Illinois Match, expand, and filter technique for multi-view stereopsis
KR101420681B1 (ko) 2008-02-01 2014-07-17 한국과학기술원 비디오 영상의 깊이 지도 생성 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008112624A2 (en) * 2007-03-12 2008-09-18 Conversion Works, Inc. A system and method for using off-screen mask space to provide enhanced viewing

Also Published As

Publication number Publication date
CN102117486A (zh) 2011-07-06
US20110158506A1 (en) 2011-06-30
KR20110078183A (ko) 2011-07-07
US8606043B2 (en) 2013-12-10
EP2360932A1 (en) 2011-08-24
CN102117486B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
KR101637491B1 (ko) 3차원 영상 데이터 생성 방법 및 장치
US7486817B2 (en) Apparatus for and method of generating image, and computer program product
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
JP6068329B2 (ja) 立体表示用のサブタイトルを生成する方法及びシステム
EP2560398B1 (en) Method and apparatus for correcting errors in stereo images
US8817020B2 (en) Image processing apparatus and image processing method thereof
KR20110126703A (ko) ３ｄ 이미지 및 그래픽 데이터의 조합
KR20110122057A (ko) 설정 메뉴를 디스플레이하기 위한 방법 및 대응하는 디바이스
CN104144334B (zh) 用于立体视频内容的字幕检测
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
KR101918030B1 (ko) 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR102490985B1 (ko) 깊이 맵을 처리하기 위한 장치 및 방법
CN103108198A (zh) 图像产生装置及图像调整方法
US20120224035A1 (en) Electronic apparatus and image processing method
US20120121163A1 (en) 3d display apparatus and method for extracting depth of 3d image thereof
KR20140058744A (ko) 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법
KR20150012976A (ko) 다시점 영상 처리 장치 및 그 영상 처리 방법
KR101080988B1 (ko) 최적시차 3ｄ 영상물 제작방법, 그리고, 기록매체
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
TWI493963B (zh) 影像產生裝置及影像調整方法
KR20100036683A (ko) 영상 출력 방법 및 장치
JP2012169822A (ja) 画像処理方法及び画像処理装置
CN102111630A (zh) 图像处理设备、图像处理方法和程序
CN117635684A (zh) 立体格式图像检测方法与使用该方法的电子装置
JP6131256B6 (ja) 映像処理装置及びその映像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 4