KR20100135032A - 2차원 영상의 3차원 영상 변환 장치 및 방법 - Google Patents

2차원 영상의 3차원 영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR20100135032A
KR20100135032A KR1020090053462A KR20090053462A KR20100135032A KR 20100135032 A KR20100135032 A KR 20100135032A KR 1020090053462 A KR1020090053462 A KR 1020090053462A KR 20090053462 A KR20090053462 A KR 20090053462A KR 20100135032 A KR20100135032 A KR 20100135032A
Authority
KR
South Korea
Prior art keywords
image
depth value
correcting
illuminance
displacement map
Prior art date
Application number
KR1020090053462A
Other languages
English (en)
Inventor
김지원
정용주
박두식
백아론
정영주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090053462A priority Critical patent/KR20100135032A/ko
Priority to US12/801,514 priority patent/US20100315488A1/en
Priority to JP2010135402A priority patent/JP2011004396A/ja
Priority to EP10165949A priority patent/EP2268047A3/en
Priority to CN2010102058615A priority patent/CN101923728A/zh
Publication of KR20100135032A publication Critical patent/KR20100135032A/ko
Priority to JP2014232922A priority patent/JP2015073292A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Abstract

2차원 영상의 3차원 영상 변환 장치 및 방법이 개시된다. 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치는, 상기 2차원 영상의 조도를 보정하고, 변위맵을 생성하며, 상기 변위맵의 깊이 값을 보정할 수 있다.
영상 변환, 조도 보정, 깊이 보정, 변위맵 생성, 룩업 테이블

Description

2차원 영상의 3차원 영상 변환 장치 및 방법{CONVERSION DEVICE FOR TWO DIMENSIONAL IMAGE TO THREE DIMENSIONAL IMAGE AND METHOD THEREOF}
본 발명의 일실시예들은 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및 방법에 관한 것이다.
최근에는 3차원 디스플레이 장치가 발전하여 일반 시청자에게 기존 영상보다 더욱 현실적인 입체감과 임장감이 있는 3차원 영상을 제공할 수 있게 되었으며, 그에 따라 3차원 컨텐츠에 대한 수요가 꾸준히 늘어나고 있다.
일반적으로 3차원 영상을 제공하기 위해서는 여러 시점의 2차원 영상들이 필요하였으나, 이와 같은 방식은 과거에 제작된 단일시점 2차원 영상을 활용할 수 없었다. 따라서, 2차원 영상의 3차원 영상으로의 변환은 과거에 제작된 컨텐츠를 차세대 디스플레이 장치에 적극적으로 활용하기 위한 작업이다.
본 발명의 일실시예에 따른 2차원 영상의 3차원 영상 변환 장치는, 2차원 영상의 조도(Illumination)를 보정하는 조도 보정부 및 상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 변위맵 생성부를 포함할 수 있다.
이때, 상기 조도 보정부는, 오리지널 조도값에 대응하는 보정 조도값을 저장하는 룩업 테이블(lookup table)을 이용하여 상기 2차원 영상을 톤 맵핑(tone mapping)하고, 상기 톤 맵핑은 상기 2차원 영상의 전체 또는 부분 별로 수행될 수 있다.
또한, 상기 조도 보정부는, 상기 2차원 영상의 휘도 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 상기 2차원 영상의 상기 하나 이상의 인텐시티 값을 표준화(normalization)하고, 상기 표준화는 상기 2차원 영상의 전체 또는 부분 별로 수행될 수 있다.
본 발명의 다른 일실시예에 따른 2차원 영상의 3차원 영상 변환 장치는, 상기 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 변위맵 생성부 및 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 깊이 선명화부를 포함할 수 있다.
이때, 상기 깊이 선명화부는, 양측성 필터(bilateral filter)를 사용하여 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역에 대응하는 하나 이상의 깊이 값을 평탄화할 수 있다.
또한, 상기 깊이 선명화부는, 상기 2차원 영상을 경계 영역 및 비경계 영역으로 분류하고, 상기 비경계 영역에 대응하는 상기 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화할 수 있다.
또한, 상기 깊이 선명화부는, 상기 2차원 영상으로부터 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함하는 특징정보를 추출하는 특징정보 추출부 및 상기 변위맵의 깊이 값 및 적어도 하나의 특징정보를 사용하여 고주파 성분을 보존하는 필터링을 수행하는 평탄 필터부를 포함할 수 있다.
본 발명의 다른 일실시예에 따른 2차원 영상의 3차원 영상 변환 장치는, 2차원 영상의 조도(Illumination)를 보정하는 조도 보정부, 상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 변위맵 생성부 및 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 깊이 선명화부를 포함할 수 있다.
본 발명의 일실시예에 따른 2차원 영상의 3차원 영상 변환 방법은, 2차원 영상의 조도(Illumination)를 보정하는 단계 및 상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 단계를 포함할 수 있다.
이때, 상기 조도를 보정하는 단계는, 상기 2차원 영상의 하나 이상의 영역에 대한 빛 방향 및 빛 강도 중 적어도 하나를 고려하여 상기 하나 이상의 영역의 조도를 조절할 수 있다.
또한, 상기 조도를 보정하는 단계는, 상기 2차원 영상 중 알지비(RGB) 영상에 대하여, 상기 알지비 영상의 각 채널마다 독립된 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑할 수 있다.
본 발명의 다른 일실시예에 따른 2차원 영상의 3차원 영상 변환 방법은, 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 단계 및 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 단계를 포함할 수 있다.
이때, 상기 깊이 값을 보정하는 단계는, 상기 변위맵의 깊이 값을 하나 이상의 그룹으로 그룹화하는 단계 및 상기 하나 이상의 그룹의 깊이 값을 평탄화하는 단계를 포함할 수 있다.
또한, 상기 깊이 값을 보정하는 단계는, 상기 2차원 영상을 경계 영역 및 비경계 영역으로 분류하는 단계 및 상기 비경계 영역에 대응하는 상기 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화하는 단계를 포함할 수 있다.
2차원 영상을 3차원 영상으로 변환하기 위해 시차 생성 이전 또는 시차 생성시에 2차원 영상의 조도를 보정함으로써, 2차원 영상 내의 물체에 대한 변별력을 높일 수 있다.
2차원 영상을 3차원 영상으로 변환하기 위해 시차 생성 이후 또는 시차 생성 시에 변위맵을 보정함으로써, 물체간의 경계를 명확히 할 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 2차원 영상의 3차원 영상 변환 장치의 일 실시예를 나타낸 도면이다.
도 1을 참고하면, 2차원 영상의 3차원 영상 변환 장치(100)는 조도 보정부(110)및 변위맵 생성부(120)를 포함한다.
조도 보정부(110)는 3차원 영상으로 변환하고자 하는 2차원 영상의 조도(Illumination)를 보정(compensation)할 수 있다. 변위 추정(disparity estimation)을 통해 2차원 영상의 변위맵을 작성하는 경우, 어두운 영역에서는 깊이가 평탄화되어 물체간의 변별력이 떨어질 수 있고, 추후 얻어지는 3D 입체 효과가 또한 떨어질 수 있다. 이러한 변별력 감소를 방지하기 위하여 2차원 영상내의 빛의 방향 및 빛의 강도 중 적어도 하나를 고려하여 조도를 보정할 수 있다.
조도 보정부(110)는 오리지널 조도값에 대응하는 보정 조도값을 저장하는 룩업 테이블(lookup table)을 이용하여 2차원 영상을 톤 맵핑(tone mapping)할 수 있다. 톤 맵핑은 2차원 영상의 전체로 맵핑을 수행하는 글로벌 톤 맵핑(global tone mapping) 또는 2차원 영상의 부분 별로 수행하는 로컬 톤 맵핑(local tone mapping)일 수 있다. 룩업 테이블은 감마 콜렉션 테이블(Gamma Correction table) 및 로그 콜렉션 테이블(Log Correction table) 중 적어도 하나일 수 있다. 룩업 테이블의 일실시예는 도 4를 참고하여 이하에서 상세하게 설명한다.
도 4는 톤 매핑을 수행하기 위한 룩업 테이블의 일예을 나타낸 도면이다.
도 4에 나타난 바와 같이, 감마 콜렉션 테이블의 X축은 오리지널 값을, Y축은 보정된 값을 나타낼 수 있으며, 오리지널 값에 대한 보정된 값의 그래프(410)가 도 4와 같이 제공될 수 있다.
다시 도 1을 참고하면, 2차원 영상이 알지비(RGB) 영상인 경우, 알지비 영상의 각 채널마다 별도의 다른 룩업 테이블을 이용하여 톤 맵핑(tone mapping)할 수 있다. 이와 달리, 하나의 룩업 테이블을 모든 채널에 적용하는 것도 가능하다.
또한, 조도 보정부(110)는 상기 2차원 영상의 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 상기 2차원 영상의 인텐시티 값을 표준화(normalization)할 수 있다. . 이러한 표준화는 상기 2차원 영상의 전체 또는 부분 별로 수행될 수 있으며, 표준화된 인텐시티 값을 이용하여 인텐시티 범위(intensity range)를 조절할 수 있다. 표준화에 사용되는 인텐시티 값의 일예로 휘도 인텐시티 값이 있다.
변위맵 생성부(120)는 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성할 수 있다. 이때, 앞서 언급한 조도 보정은 변위맵 생성과 동시에 수행 또는 변위맵 생성 이전에 수행될 수 있다. 이와 같이, 변위맵의 생성시 또는 변위맵 생성 이전에 2차원 영상의 조도를 보정함으로써, 어두운 영역에서도 물체간의 변별력을 높일 수 있는 2차원 영상의 3차원 영상 변환 장치를 제 공할 수 있다.
도 2는 2차원 영상의 3차원 영상 변환 장치의 다른 실시예를 나타낸 도면이다.
도 2를 참고하면, 2차원 영상의 3차원 영상 변환 장치(200)는 변위맵 생성부(210) 및 깊이 선명화부(220)를 포함한다.
변위맵 생성부(210)는 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성할 수 있다.
깊이 선명화부(220)는 변위맵의 깊이 값을 보정할 수 있다. 즉, 깊이 선명화부(220)는 변위맵의 깊이(depth) 간의 경계를 명확하게(sharpening) 하여 3D 영상 관찰시 극대화된 입체감을 얻도록 할 수 있다. 깊이 값을 보정하기 위해, 뎁스 샤프닝 필터(depth sharpening filter)를 사용할 수 있다. 오브젝트간의 경계를 뚜렷하게 표현하기 위하여, 에지 보존(edge preserving)을 가능하도록 디자인된 뎁스 샤프닝 필터를 사용하는 것이 바람직하다.
뎁스 샤프닝을 위한 깊이 값 보정은, 변위맵의 깊이 값들을 하나 이상의 그룹으로 그룹화하고, 그룹의 깊이 값들을 평탄화(smoothing)하는 방법을 사용할 수 있다. 즉, 변위맵의 깊이가 유사한 영역은 같은 그룹으로 그룹화하고, 같은 그룹에 대해서는 유사한 깊이 값을 갖도록 평탄화하고, 유사하지 않은 영역은 평탄화 작업을 수행하지 않아 물체간의 경계, 물체와 배경간의 경계 등을 보다 뚜렷하게 할 수 있다.
뎁스 샤프닝을 위한 깊이 값 보정은, 양측성 필터(bilateral filter)를 사 용하여 변위맵의 유사 영역의 깊이 값을 평탄화할 수 있다. 여기서, 양측성 필터는 영상의 선분들을 선명하게 유지하면서 유사 영역의 값들을 평탄화하는 필터이다. 유사 영역은 깊이 값이 유사한 영역일 수 있고, 영상에 포함된 각 객체가 하나의 유사 영역이 될 수 있다.
뎁스 샤프닝을 위한 깊이 값 보정은, 2차원 영상 및 변위맵을 비교하여 변위맵의 깊이 값을 보정할 수도 있다. 이를 위해, 2차원 영상 및 변위맵을 비교하여 2차원 영상을 경계 영역 및 비경계 영역으로 분류하고, 비경계 영역에 대응하는 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화할 수 있다. 즉, 주어진 2차원 영상을 기준 영상으로 하고, 이를 참고하여 변위맵의 선분 경계를 뚜렷하게 유지하면서 유사 영역을 평탄화할 수 있다.
깊이 선명화부(220)는, 특징정보 추출부(221) 및 평탄 필터부(222)를 포함할 수 있다. 특징정보 추출부(221)는 2차원 영상으로부터 하나 이상의 특징정보를 추출할 수 있다. 특징정보는 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함할 수 있다.
평탄 필터부(222)는 변위맵의 깊이 값 및 특징정보 추출부(221)로부터 추출된 적어도 하나의 특징정보를 사용하여 고주파 성분을 보존할 수 있다. 예를 들어, 추출된 특징정보로부터 2차원 영상의 경계에 관한 정보를 추출할 수 있고, 이를 이용하여 상기 2차원 영상의 에지를 보존할 수 있다. 여기서, 특징 정보를 이용하여 깊이 값을 보정하는 실시예는 도 5를 참고하여 이하에서 더욱 상세하게 설명한다.
도 5는 특징 정보를 이용하여 평탄 필터링을 수행하는 과정의 일 실시예를 나타낸 도면이다.
도 5를 참고하면, 변위맵(Disparity Map) 영역을 필터링하기 위해, 특징정보 추출부(520)는 필터링하고자 하는 영역에 대응되는 2차원 영상(510)의 하나 이상의 특징정보를 추출할 수 있다. 이후, 기존의 변위맵(530)의 값들과 연관되는 상기 하나 이상의 특징정보(521, 522, 523, 524, 525)를 참고하여 평탄 필터(Smoothing Filter)를 통해 새로운 변위맵(550)에 채울 픽셀 값을 계산할 수 있다.
평탄 필터는 비선형 에지 보호 평탄 필터(Nonlinear Edge-preserving Smoothing Filter)일 수 있다. 이러한 평탄 필터는 가우시안 커널(Gaussian Kernel)을 변위맵의 픽셀 값과 하나 이상의 특징정보에 동시에 적용하여 고주파 성분(Edge)을 보존하는 평탄화 작업(Smoothing)을 실행할 수 있다.
다시 도 2를 참고하면, 상기 깊이 값의 보정은 상기 변위맵의 생성 이후에 수행할 수도 있고, 상기 변위맵 생성시에 보정을 함께 수행할 수도 있다.
상기와 같이, 2차원 영상을 3차원 영상으로 변환하기 위해 변위맵을 보정함으로써, 물체간의 경계를 뚜렷하게 할 수 있다.
도 3은 2차원 영상의 3차원 영상 변환 장치의 다른 실시예를 나타낸 도면이다.
도 3을 참고하면, 2차원 영상의 3차원 영상 변환 장치(300)는 조도 보정부(310), 변위맵 생성부(320) 및 깊이 선명화부(330)를 포함할 수 있다. 조도 보정 부(310)는 2차원 영상의 조도(Illumination)를 보정할 수 있다. 즉, 어두운 영역에서 물체간의 변별력이 떨어지는 것을 보완하기 위해, 2차원 영상의 조도를 보정할 수 있다. 변위맵 생성부(320)는 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성할 수 있다. 깊이 선명화부(330)는 변위맵의 깊이 값을 보정할 수 있다. 즉, 변위맵의 깊이 값을 보정하여 에지를 보다 뚜렷하게 표현하도록 할 수 있다.
조도 보정 및 깊이 값 보정은 변위맵 생성시에 수행될 수 있다. 다른 예로, 조도 보정은 변위맵 생성 전에 수행되고, 깊이 값 보정은 변위맵 생성 후에 수행될 수도 있다.
이와 같은 조도 보정부(310), 변위맵 생성부(320) 및 깊이 선명화부(330)에 관하여 설명하지 아니한 내용은 앞서 도 1 및 도 2의 조도 보정부(110), 변위맵 생성부(120) 및 깊이 선명화부(220)를 통하여 설명한 바와 동일하므로 이하 설명을 생략한다.
조도 보정 및 깊이 보정 중 적어도 하나를 수행하는 2차원 영상의 3차원 영상 변환 장치는 3차원 스트레오스코픽 디스플레이(3D Stereoscopic Display), 3차원 스트레오스코픽 TV(3D Stereoscopic TV), 3차원 멀티뷰 디스플레이(3D Multi-view Display), 3차원 멀티뷰 TV(3D Multi-view TV), 3차원 스트레오스코픽 방송 장치(3D Stereoscopic Broadcasting device), 3차원 미디어 플레이어(3D Media Player), 게임 콘솔(Game Console), TV 셋탑 박스(TV Settop Box), 피씨 소프트웨어(PC Software), 및 피씨 그래픽 카드(PC Graphics Card) 등에 사용될 수 있다.
도 6은 2차원 영상의 3차원 영상 변환 방법의 일 실시예를 나타낸 도면이다.
도 6을 참고하면, 단계(610)에서는 2차원 영상의 조도(Illumination)를 보정할 수 있다. 즉, 변위맵 생성시 poor contrast에 의해 어두운 영역에서의 물체간의 변별력이 떨어질 수 있으며, 이로 인해 어두운 영역의 깊이가 평탄화되어서 3차원 입체 효과가 떨어질 수 있다. 따라서, 2차원 영상의 하나 이상의 영역에 대한 빛 방향 및 빛 강도 중 적어도 하나를 추적하여 상기 하나 이상의 영역의 조도를 조절할 수 있다.
조도를 보정하기 위해, 룩업 테이블을 이용하여 2차원 영상을 톤 맵핑할 수 있고, 톤 맵핑은 글로벌 톤 맵핑 또는 로컬 톤 맵핑으로 수행될 수 있다. 또한, 2차원 영상이 알지비(RGB) 영상인 경우, 조도 보정시 알지비 영상의 각 채널마다 독립된 룩업 테이블을 이용하여 2차원 영상을 톤 맵핑할 수 있다. 또한, 조도 보정시, 2차원 영상의 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 2차원 영상의 인텐시티 값을 표준화(normalization)할 수 있으며, 이러한 표준화는 2차원 영상의 전체 또는 부분 별로 수행될 수 있다.
단계(620)에서는 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성할 수 있다.
도 7은 2차원 영상의 3차원 영상 변환 방법의 다른 실시예를 나타낸 도면이다.
도 7을 참고하면, 단계(710)에서는 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성할 수 있다.
단계(720)에서는 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정할 수 있다. 깊이 값을 보정하기 위해 영상의 선분들을 선명하게 유지하면서 비슷한 영역의 값들을 평탄화하는 양측성 필터(bilateral filter) 또는 결합 양측성 필터(cross bilateral filter)를 사용할 수 있다. 양측성 필터 또는 결합 양측성 필터 사용시, 정확한 계산(exact computation)을 수행할 수 있으나, 연산 속도 또는 메모리 사용량을 줄이기 위해 정확한 계산(exact computation) 대신 어림셈(approximation)을 수행할 수도 있다.
도 8은 도 7의 깊이 값을 보정하는 과정의 일실시예를 나타낸 도면이다.
도 8을 참고하면, 단계(810)에서는 변위맵의 깊이 값을 하나 이상의 그룹으로 그룹화할 수 있다. 즉, 변위맵의 유사한 깊이 값을 가지는 영역을 그룹화하여 하나 이상의 그룹을 생성할 수 있다.
단계(820)에서는 상기 하나 이상의 그룹의 깊이 값을 평탄화 할 수 있다. 즉, 그룹의 깊이 값을 평탄화하여 그룹 간의 깊이 값을 뚜렷하게 구분함으로써, 물체와 물체간의 경계 또는 물체와 배경간의 경계 등을 보다 명확하게 할 수 있다.
도 9는 도 7의 깊이 값을 보정하는 과정의 다른 일실시예를 나타낸 도면이다.
도 9를 참고하면, 단계(910)에서는 2차원 영상을 경계 영역 및 비경계 영역으로 분류할 수 있다. 즉, 2차원 영상에 있어서, 물체와 물체 간의 경계, 물체와 배경간의 경계 등 경계를 이루는 영역을 경계 영역으로 분류하고, 그 외의 영역을 비경계 영역으로 분류할 수 있다.
단계(920)에서는 비경계 영역에 대응하는 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화 할 수 있다. . 비경계 영역의 깊이 값을 평탄화하고, 경계 값의 깊이 값은 평탄화하지 않아 경계가 뚜렷하도록 할 수 있다. 즉, 2차원 영상을 기준 영상으로 하여 변위맵의 선분 경계를 뚜렷하게 할 수 있다.
도 10은 도 7의 깊이 값을 보정하는 과정의 다른 일실시예를 나타낸 도면이다.
도 10을 참고하면, 단계(1010)에서는 2차원 영상으로부터 하나 이상의 특징정보를 추출할 수 있다. 여기서, 특징정보는, 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함할 수 있다.
단계(1020)에서는 변위맵의 깊이 값 및 적어도 하나의 특징정보를 사용하여 고주파 성분을 보존하는 필터링을 수행할 수 있다. 즉, 상기 특징정보로부터 경계정보를 추출하고 이 경계정보를 이용하여 깊이 값이 유사한 영역은 평탄화하고, 유사하지 않은 영역은 평탄화하지 않을 수 있다. 이때, 깊이 값이 유사한 영역은 하나의 객체 또는 하나의 배경일 수 있다.
상기와 같이, 2차원 영상을 3차원 영상으로 변환하기 위해 2차원 영상의 조도를 보정함으로써, 2차원 영상 내의 빛의 방향이나 빛의 강도에 영향을 받지 않고 물체에 대한 변별력을 높일 수 있다.
또한, 2차원 영상을 3차원 영상으로 변환하기 위해 변위맵을 보정함으로써, 물체간의 경계, 물체와 배경간의 경계 등을 뚜렷하게 하여 입체감을 제공할 수 있다.
이러한 2차원 영상의 3차원 영상 변환 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 2차원 영상의 3차원 영상 변환 장치의 일 실시예를 나타낸 도면이다.
도 2는 2차원 영상의 3차원 영상 변환 장치의 다른 실시예를 나타낸 도면이다.
도 3은 2차원 영상의 3차원 영상 변환 장치의 다른 실시예를 나타낸 도면이다.
도 4는 톤 매핑을 수행하기 위한 룩업 테이블의 일예를 나타낸 도면이다.
도 5는 특징 정보를 이용하여 평탄 필터링을 수행하는 과정의 일 실시예를 나타낸 도면이다.
도 6은 2차원 영상의 3차원 영상 변환 방법의 일 실시예를 나타낸 도면이다.
도 7은 2차원 영상의 3차원 영상 변환 방법의 다른 실시예를 나타낸 도면이다.
도 8은 도 7의 깊이 값을 보정하는 과정의 일실시예를 나타낸 도면이다.
도 9는 도 7의 깊이 값을 보정하는 과정의 다른 일실시예를 나타낸 도면이다.
도 10은 도 7의 깊이 값을 보정하는 과정의 다른 일실시예를 나타낸 도면이다.

Claims (45)

  1. 2차원 영상의 조도(Illumination)를 보정하는 조도 보정부; 및
    상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 변위맵 생성부를 포함하는, 영상 변환 장치.
  2. 제1항에 있어서,
    상기 조도 보정부는,
    상기 2차원 영상의 하나 이상의 영역에 대한 빛의 방향 및 빛의 강도 중 적어도 하나를 고려하여 상기 하나 이상의 영역의 조도를 보정하는 것을 특징으로 하는 영상 변환 장치.
  3. 제1항에 있어서,
    상기 조도 보정부는,
    오리지널 조도값에 대응하는 보정 조도값을 저장하는 룩업 테이블(lookup table)을 이용하여 상기 2차원 영상을 톤 맵핑(tone mapping)하고,
    상기 톤 맵핑은 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 장치.
  4. 제3항에 있어서,
    상기 조도 보정부는,
    상기 2차원 영상 중 알지비(RGB) 영상에 대하여, 상기 알지비 영상의 각 채널마다 독립된 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑(tone mapping)하는 것을 특징으로 하는 영상 변환 장치.
  5. 제3항에 있어서,
    상기 룩업 테이블은 감마 콜렉션 테이블(Gamma Correction table) 및 로그 콜렉션 테이블(Log Correction table) 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 변환 장치.
  6. 제1항에 있어서,
    상기 조도 보정부는,
    상기 2차원 영상의 휘도 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 상기 2차원 영상의 하나 이상의 인텐시티 값을 표준화(normalization)하고,
    상기 표준화는 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 장치.
  7. 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 변위맵 생성부; 및
    상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 깊이 선명화부
    를 포함하는 영상 변환 장치.
  8. 제7항에 있어서,
    상기 깊이 선명화부는,
    양측성 필터(bilateral filter)를 사용하여 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역에 대응하는 깊이 값을 평탄화하는 것을 특징으로 하는 영상 변환 장치.
  9. 제7항에 있어서,
    상기 깊이 선명화부는,
    상기 2차원 영상 및 상기 변위맵을 비교하여 상기 변위맵의 깊이 값을 보정하는 것을 특징으로 하는 영상 변환 장치.
  10. 제7항에 있어서,
    상기 깊이 선명화부는,
    상기 2차원 영상을 경계 영역 및 비경계 영역으로 분류하고, 상기 비경계 영역에 대응하는 상기 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화하는 것을 특징으로 하는 영상 변환 장치.
  11. 제7항에 있어서,
    상기 깊이 선명화부는,
    상기 2차원 영상으로부터 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함하는 특징정보를 추출하는 특징정보 추출부; 및
    상기 변위맵의 깊이 값 및 상기 추출된 하나 이상의 특징정보 중 적어도 하나를 사용하여 고주파 성분을 보존하는 필터링을 수행하는 평탄 필터부를 포함하는 것을 특징으로 하는 영상 변환 장치.
  12. 2차원 영상의 조도(Illumination)를 보정하는 조도 보정부;
    상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 변위맵 생성부; 및
    상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 깊이 선명화부
    를 포함하는, 영상 변환 장치.
  13. 제12항에 있어서,
    상기 조도 보정부는,
    상기 2차원 영상의 하나 이상의 영역에 대한 빛의 방향 및 빛의 강도 중 적 어도 하나를 고려하여 상기 하나 이상의 영역의 조도를 보정하는 것을 특징으로 하는 영상 변환 장치.
  14. 제12항에 있어서,
    상기 조도 보정부는,
    오리지널 조도값에 대응하는 보정 조도값을 저장하는 룩업 테이블(lookup table)을 이용하여 상기 2차원 영상을 톤 맵핑(tone mapping)하고,
    상기 톤 맵핑은 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 장치.
  15. 제14항에 있어서,
    상기 조도 보정부는,
    상기 2차원 영상 중 알지비(RGB) 영상에 대하여, 상기 알지비 영상의 각 채널마다 독립된 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑(tone mapping)하는 것을 특징으로 하는 영상 변환 장치.
  16. 제14항에 있어서,
    상기 룩업 테이블은 감마 콜렉션 테이블(Gamma Correction table) 및 로그 콜렉션 테이블(Log Correction table) 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 변환 장치.
  17. 제12항에 있어서,
    상기 조도 보정부는,
    상기 2차원 영상의 휘도 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 상기 2차원 영상의 하나 이상의 인텐시티 값을 표준화(normalization)하고,
    상기 표준화는 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 장치.
  18. 제12항에 있어서,
    상기 깊이 선명화부는,
    양측성 필터(bilateral filter)를 사용하여 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역에 대응하는 깊이 값을 평탄화하는 것을 특징으로 하는 영상 변환 장치.
  19. 제12항에 있어서,
    상기 깊이 선명화부는,
    상기 2차원 영상 및 상기 변위맵을 비교하여 상기 변위맵의 깊이 값을 보정하는 것을 특징으로 하는 영상 변환 장치.
  20. 제12항에 있어서,
    상기 깊이 선명화부는,
    상기 2차원 영상을 경계 영역 및 비경계 영역으로 분류하고, 상기 비경계 영역에 대응하는 상기 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화하는 것을 특징으로 하는 영상 변환 장치.
  21. 제12항에 있어서,
    상기 깊이 선명화부는,
    상기 2차원 영상으로부터 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함하는 특징정보를 추출하는 특징정보 추출부; 및
    상기 변위맵의 깊이 값 및 상기 추출된 하나 이상의 특징정보 중 적어도 하나를 사용하여 고주파 성분을 보존하는 필터링을 수행하는 평탄 필터부를 포함하는 것을 특징으로 하는 영상 변환 장치.
  22. 2차원 영상의 조도(Illumination)를 보정하는 단계; 및
    상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  23. 제22항에 있어서,
    상기 조도를 보정하는 단계는,
    상기 2차원 영상의 하나 이상의 영역에 대한 빛 방향 및 빛 강도 중 적어도 하나를 고려하여 상기 하나 이상의 영역의 조도를 조절하는 것을 특징으로 하는 영상 변환 방법.
  24. 제22항에 있어서,
    상기 조도를 보정하는 단계는,
    오리지널 조도값에 대응하는 보정 조도값을 저장하는 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑하고,
    상기 톤 맵핑은 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 방법.
  25. 제24항에 있어서,
    상기 조도를 보정하는 단계는,
    상기 2차원 영상 중 알지비(RGB) 영상에 대하여, 상기 알지비 영상의 각 채널마다 독립된 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑하는 것을 특징으로 하는 영상 변환 방법.
  26. 제24항에 있어서,
    상기 룩업 테이블은 감마 콜렉션 테이블 및 로그 콜렉션 테이블 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 변환 방법.
  27. 제22항에 있어서,
    상기 조도를 보정하는 단계는,
    상기 2차원 영상의 휘도 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 상기 2차원 영상의 하나 이상의 인텐시티 값을 표준화(normalization)하고,
    상기 표준화는 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 방법.
  28. 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 단계; 및
    상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  29. 제28항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 변위맵의 하나 이상의 깊이 값을 하나 이상의 그룹으로 그룹화하는 단 계; 및
    상기 하나 이상의 그룹의 깊이 값을 평탄화하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  30. 제28항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    양측성 필터(bilateral filter)를 사용하여 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역에 대응하는 깊이 값을 평탄화하는 것을 특징으로 하는 영상 변환 방법.
  31. 제28항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 2차원 영상 및 상기 변위맵을 비교하여 상기 변위맵의 깊이 값을 보정하는 것을 특징으로 하는 영상 변환 방법.
  32. 제28항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 2차원 영상을 경계 영역 및 비경계 영역으로 분류하는 단계; 및
    상기 비경계 영역에 대응하는 상기 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  33. 제28항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 2차원 영상으로부터 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함하는 특징정보를 추출하는 단계; 및상기 변위맵의 깊이 값 및 적어도 하나의 특징정보를 사용하여 고주파 성분을 보존하는 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  34. 2차원 영상의 조도(Illumination)를 보정하는 단계;
    상기 보정된 2차원 영상을 3차원 영상으로 변환하기 위한 변위맵(disparity map)을 생성하는 단계; 및
    상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역의 경계를 선명화하기 위해 상기 깊이 값을 보정하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  35. 제34항에 있어서,
    상기 조도를 보정하는 단계는,
    상기 2차원 영상의 하나 이상의 영역에 대한 빛 방향 및 빛 강도 중 적어도 하나를 고려하여 상기 하나 이상의 영역의 조도를 조절하는 것을 특징으로 하는 영상 변환 방법.
  36. 제34항에 있어서,
    상기 조도를 보정하는 단계는,
    오리지널 조도값에 대응하는 보정 조도값을 저장하는 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑하고,
    상기 톤 맵핑은 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 방법.
  37. 제36항에 있어서,
    상기 조도를 보정하는 단계는,
    상기 2차원 영상 중 알지비(RGB) 영상에 대하여, 상기 알지비 영상의 각 채널마다 독립된 룩업 테이블을 이용하여 상기 2차원 영상을 톤 맵핑하는 것을 특징으로 하는 영상 변환 방법.
  38. 제36항에 있어서,
    상기 룩업 테이블은 감마 콜렉션 테이블 및 로그 콜렉션 테이블 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 변환 방법.
  39. 제34항에 있어서,
    상기 조도를 보정하는 단계는,
    상기 2차원 영상의 휘도 인텐시티(intensity) 값의 평균 및 분산 중 적어도 하나를 이용하여 상기 2차원 영상의 하나 이상의 인텐시티 값을 표준화(normalization)하고,
    상기 표준화는 상기 2차원 영상의 전체 또는 부분 별로 수행되는 것을 특징으로 하는 영상 변환 방법.
  40. 제34항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 변위맵의 하나 이상의 깊이 값을 하나 이상의 그룹으로 그룹화하는 단계; 및
    상기 하나 이상의 그룹의 깊이 값을 평탄화하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  41. 제34항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    양측성 필터(bilateral filter)를 사용하여 상기 변위맵의 깊이 값으로 표현되는 객체 또는 영역에 대응하는 깊이 값을 평탄화하는 것을 특징으로 하는 영상 변환 방법.
  42. 제34항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 2차원 영상 및 상기 변위맵을 비교하여 상기 변위맵의 깊이 값을 보정하는 것을 특징으로 하는 영상 변환 방법.
  43. 제34항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 2차원 영상을 경계 영역 및 비경계 영역으로 분류하는 단계; 및
    상기 비경계 영역에 대응하는 상기 변위맵의 깊이 값을 결합 양측성 필터(cross bilateral filter)를 사용하여 평탄화하는 단계
    를 포함하는 것을 특징으로 하는 영상 변환 방법.
  44. 제34항에 있어서,
    상기 깊이 값을 보정하는 단계는,
    상기 2차원 영상으로부터 색(Color), 휘도(Luminance), 방향성(Orientation), 텍스처(Texture), 및 모션(Motion) 중 적어도 하나를 포함하는 특징정보를 추출하는 단계; 및상기 변위맵의 깊이 값 및 적어도 하나의 특징정보를 사용하여 고주파 성분을 보존하는 필터링을 수행하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
  45. 제22항 내지 제44항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020090053462A 2009-06-16 2009-06-16 2차원 영상의 3차원 영상 변환 장치 및 방법 KR20100135032A (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020090053462A KR20100135032A (ko) 2009-06-16 2009-06-16 2차원 영상의 3차원 영상 변환 장치 및 방법
US12/801,514 US20100315488A1 (en) 2009-06-16 2010-06-11 Conversion device and method converting a two dimensional image to a three dimensional image
JP2010135402A JP2011004396A (ja) 2009-06-16 2010-06-14 ２次元映像の３次元映像への変換装置および方法
EP10165949A EP2268047A3 (en) 2009-06-16 2010-06-15 Conversion device and method converting a two dimensional image to a three dimensional image
CN2010102058615A CN101923728A (zh) 2009-06-16 2010-06-17 将二维图像转换为三维图像的转换装置及方法
JP2014232922A JP2015073292A (ja) 2009-06-16 2014-11-17 ２次元映像の３次元映像への変換装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090053462A KR20100135032A (ko) 2009-06-16 2009-06-16 2차원 영상의 3차원 영상 변환 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20100135032A true KR20100135032A (ko) 2010-12-24

Family

ID=42710644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090053462A KR20100135032A (ko) 2009-06-16 2009-06-16 2차원 영상의 3차원 영상 변환 장치 및 방법

Country Status (5)

Country Link
US (1) US20100315488A1 (ko)
EP (1) EP2268047A3 (ko)
JP (2) JP2011004396A (ko)
KR (1) KR20100135032A (ko)
CN (1) CN101923728A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054043B1 (ko) * 2010-05-23 2011-08-10 강원대학교산학협력단 2차원 의료영상으로부터 3차원 영상을 생성하는 방법
KR20130084643A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 영상 처리 장치 및 방법
WO2014193668A1 (en) * 2013-05-31 2014-12-04 Intel Corporation Techniques for stereo three dimensional image mapping
WO2015016691A1 (ko) * 2013-08-02 2015-02-05 고포디 테크놀로지 엘엘씨 2차원 영상과 3차원 영상의 중간 정도의 입체감을 주는 영상 변환 및 재생 방법
US9532036B2 (en) 2014-05-13 2016-12-27 Samsung Electronics Co., Ltd. Stereo source image calibration method and apparatus
US11508188B2 (en) 2020-04-16 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus for testing liveness

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110222757A1 (en) 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
JP5556394B2 (ja) * 2010-06-07 2014-07-23 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
JP5197683B2 (ja) * 2010-06-30 2013-05-15 株式会社東芝 奥行き信号生成装置及び方法
CN102595151A (zh) * 2011-01-11 2012-07-18 倚强科技股份有限公司 影像深度计算方法
JP5488482B2 (ja) 2011-01-24 2014-05-14 株式会社Ｊｖｃケンウッド 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
US9338424B2 (en) * 2011-02-23 2016-05-10 Koninklijlke Philips N.V. Processing depth data of a three-dimensional scene
US20120224037A1 (en) * 2011-03-02 2012-09-06 Sharp Laboratories Of America, Inc. Reducing viewing discomfort for graphical elements
TWI543116B (zh) * 2011-04-26 2016-07-21 國立成功大學 影像區塊合併方法
KR20140045349A (ko) * 2011-05-19 2014-04-16 삼성전자주식회사 3d컨텐츠제공장치 및 3d컨텐츠제공방법
WO2013023325A1 (zh) * 2011-08-18 2013-02-21 北京世纪高蓝科技有限公司 基于图像运动信息的2d转3d方法
JP6113411B2 (ja) * 2011-09-13 2017-04-12 シャープ株式会社 画像処理装置
CN102360489B (zh) * 2011-09-26 2013-07-31 盛乐信息技术（上海）有限公司 实现二维图像到三维图像转换的方法及装置
CN102447939A (zh) * 2011-10-12 2012-05-09 绍兴南加大多媒体通信技术研发有限公司 一种影视作品2d转3d的优化方法
CN103875244A (zh) 2011-10-14 2014-06-18 松下电器产业株式会社 影像信号处理装置
CN103108198A (zh) * 2011-11-09 2013-05-15 宏碁股份有限公司 图像产生装置及图像调整方法
WO2013081383A1 (ko) * 2011-11-29 2013-06-06 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
KR101978172B1 (ko) * 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
TWI483612B (zh) * 2011-12-22 2015-05-01 Nat Univ Chung Cheng Converting the video plane is a perspective view of the video system
CN102521879A (zh) * 2012-01-06 2012-06-27 肖华 一种2d转3d的方法
KR101332638B1 (ko) * 2012-02-10 2013-11-25 시모스 미디어텍(주) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
US9525859B2 (en) * 2012-08-09 2016-12-20 Sony Corporation Refinement of user interaction
US9654764B2 (en) * 2012-08-23 2017-05-16 Sharp Kabushiki Kaisha Stereoscopic image processing device, stereoscopic image processing method, and program
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
US9641821B2 (en) 2012-09-24 2017-05-02 Panasonic Intellectual Property Management Co., Ltd. Image signal processing device and image signal processing method
WO2014053165A1 (en) * 2012-10-01 2014-04-10 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for generating a depth cue
CN103139522B (zh) * 2013-01-21 2016-03-23 宁波大学 一种多视点图像的处理方法
US10109076B2 (en) * 2013-06-12 2018-10-23 Brigham Young University Depth-aware stereo image editing method apparatus and computer-readable medium
CN104378621A (zh) * 2014-11-25 2015-02-25 深圳超多维光电子有限公司 立体场景处理方法及装置
EP3236657A1 (en) * 2016-04-21 2017-10-25 Ultra-D Coöperatief U.A. Dual mode depth estimator
CN110800292A (zh) * 2017-02-22 2020-02-14 刘简 2d视频转换为3d视频的理论方法和眼镜装置
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
EP3425907B1 (en) 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
CN108830785B (zh) * 2018-06-06 2021-01-15 Oppo广东移动通信有限公司 背景虚化方法及装置、电子装置、计算机设备和存储介质
CN108777784B (zh) * 2018-06-06 2019-09-06 Oppo广东移动通信有限公司 深度获取方法和装置、电子装置、计算机设备和存储介质
CN112653933A (zh) * 2020-12-09 2021-04-13 深圳市创维软件有限公司 基于机顶盒的vr数据显示方法、装置、系统及存储介质
CN113256489B (zh) * 2021-06-22 2021-10-26 深圳掌酷软件有限公司 三维壁纸生成方法、装置、设备及存储介质

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191397A (ja) * 1996-12-27 1998-07-21 Sanyo Electric Co Ltd 意図適応型の２次元映像を３次元映像に変換する装置
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2000261828A (ja) * 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
US7068825B2 (en) * 1999-03-08 2006-06-27 Orametrix, Inc. Scanning system and calibration method for capturing precise three-dimensional information of objects
JP2001103513A (ja) * 1999-09-27 2001-04-13 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
JP2001175863A (ja) * 1999-12-21 2001-06-29 Nippon Hoso Kyokai <Nhk> 多視点画像内挿方法および装置
JP3531003B2 (ja) * 2001-03-30 2004-05-24 ミノルタ株式会社 画像処理装置、画像処理プログラムが記録された記録媒体、および、画像再生装置
US7080979B2 (en) * 2001-04-13 2006-07-25 Orametrix, Inc. Method and workstation for generating virtual tooth models from three-dimensional tooth data
KR100554991B1 (ko) * 2002-09-17 2006-02-24 샤프 가부시키가이샤 2ｄ(2차원) 및 3ｄ(3차원)표시 기능을 구비하는 전자 기기
JP3938122B2 (ja) * 2002-09-20 2007-06-27 日本電信電話株式会社 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
JP4538598B2 (ja) * 2003-01-08 2010-09-08 ジーイーオー セミコンダクター インコーポレイテッド 軸外れ投影システムおよび方法
JP4262014B2 (ja) * 2003-07-31 2009-05-13 キヤノン株式会社 画像撮影装置および画像処理方法
JP4533895B2 (ja) * 2003-09-30 2010-09-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像レンダリングのための動き制御
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
JP4385776B2 (ja) * 2004-01-27 2009-12-16 ソニー株式会社 表示性能測定装置およびその方法
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
US7015926B2 (en) * 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
IL165190A (en) * 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
US7768496B2 (en) * 2004-12-02 2010-08-03 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale adjustment to compensate for a reduced source light power level
CN101189643A (zh) * 2005-04-25 2008-05-28 株式会社亚派 3d图像生成和显示系统
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
EP1958459B1 (en) * 2005-12-02 2018-06-13 Koninklijke Philips N.V. Depth dependent filtering of image signal
US7639893B2 (en) * 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US7881554B2 (en) * 2006-06-05 2011-02-01 Stmicroelectronics S.R.L. Method for correcting a digital image
US8340422B2 (en) * 2006-11-21 2012-12-25 Koninklijke Philips Electronics N.V. Generation of depth map for an image
KR100866486B1 (ko) * 2007-01-04 2008-11-03 삼성전자주식회사 주변광 적응적인 색 보정 장치 및 방법
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
JP2008237840A (ja) * 2007-03-29 2008-10-09 Gifu Univ 画像解析システム、及び画像解析プログラム
KR101483660B1 (ko) * 2007-07-26 2015-01-16 코닌클리케 필립스 엔.브이. 깊이－관련 정보 전파를 위한 방법 및 장치
RU2497196C2 (ru) * 2007-10-11 2013-10-27 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обработки карты глубины
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
JP5156837B2 (ja) * 2007-11-09 2013-03-06 トムソン ライセンシング 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP4958807B2 (ja) * 2008-01-24 2012-06-20 株式会社キーエンス 画像処理装置
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
NZ567986A (en) * 2008-05-02 2010-08-27 Auckland Uniservices Ltd Real-time stereo image matching system
CN100563339C (zh) * 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054043B1 (ko) * 2010-05-23 2011-08-10 강원대학교산학협력단 2차원 의료영상으로부터 3차원 영상을 생성하는 방법
KR20130084643A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 영상 처리 장치 및 방법
WO2014193668A1 (en) * 2013-05-31 2014-12-04 Intel Corporation Techniques for stereo three dimensional image mapping
WO2015016691A1 (ko) * 2013-08-02 2015-02-05 고포디 테크놀로지 엘엘씨 2차원 영상과 3차원 영상의 중간 정도의 입체감을 주는 영상 변환 및 재생 방법
US9532036B2 (en) 2014-05-13 2016-12-27 Samsung Electronics Co., Ltd. Stereo source image calibration method and apparatus
US11508188B2 (en) 2020-04-16 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus for testing liveness
US11836235B2 (en) 2020-04-16 2023-12-05 Samsung Electronics Co., Ltd. Method and apparatus for testing liveness

Also Published As

Publication number Publication date
EP2268047A3 (en) 2011-03-02
JP2011004396A (ja) 2011-01-06
US20100315488A1 (en) 2010-12-16
CN101923728A (zh) 2010-12-22
EP2268047A2 (en) 2010-12-29
JP2015073292A (ja) 2015-04-16

Similar Documents

Publication Publication Date Title
KR20100135032A (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
US9445075B2 (en) Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
US9398289B2 (en) Method and apparatus for converting an overlay area into a 3D image
US9378583B2 (en) Apparatus and method for bidirectionally inpainting occlusion area based on predicted volume
US10163246B2 (en) Three-dimensional image generation apparatus and method using region extension of object in depth map
TW201432622A (zh) 產生一關於一影像之深度圖
Phan et al. Semi-automatic 2D to 3D image conversion using scale-space random walks and a graph cuts based depth prior
US8982187B2 (en) System and method of rendering stereoscopic images
JP2011223566A (ja) 画像変換装置及びこれを含む立体画像表示装置
US8565513B2 (en) Image processing method for providing depth information and image processing system using the same
Xu et al. Depth map misalignment correction and dilation for DIBR view synthesis
JP2012029168A (ja) 視差画像生成方法及び装置
CN104869386A (zh) 一种基于分层处理虚拟视点合成方法
Xu et al. A foreground biased depth map refinement method for DIBR view synthesis
KR101797035B1 (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
Ma et al. Depth-guided inpainting algorithm for free-viewpoint video
Loghman et al. Segmentation-based view synthesis for multi-view video plus depth
US20120170841A1 (en) Image processing apparatus and method
US9787980B2 (en) Auxiliary information map upsampling
Phan et al. Semi-automatic 2D to 3D image conversion using a hybrid random walks and graph cuts based approach
Hua et al. A depth optimization method for 2D-to-3D conversion based on RGB-D images
Chang et al. Parallax-guided disocclusion inpainting for 3D view synthesis
US20140292748A1 (en) System and method for providing stereoscopic image by adjusting depth value
Wei et al. Iterative depth recovery for multi-view video synthesis from stereo videos
Yang et al. Depth image-based rendering with edge-oriented hole filling for multiview synthesis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101000986; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160222

Effective date: 20170928