KR101497503B1 - 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 - Google Patents

2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 Download PDF

Info

Publication number
KR101497503B1
KR101497503B1 KR1020080093956A KR20080093956A KR101497503B1 KR 101497503 B1 KR101497503 B1 KR 101497503B1 KR 1020080093956 A KR1020080093956 A KR 1020080093956A KR 20080093956 A KR20080093956 A KR 20080093956A KR 101497503 B1 KR101497503 B1 KR 101497503B1
Authority
KR
South Korea
Prior art keywords
map
line
depth
edge
dimensional image
Prior art date
Application number
KR1020080093956A
Other languages
English (en)
Other versions
KR20100034789A (ko
Inventor
정용주
백아론
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080093956A priority Critical patent/KR101497503B1/ko
Priority to US12/453,115 priority patent/US9153032B2/en
Priority to JP2009214604A priority patent/JP5692980B2/ja
Priority to EP09171211.7A priority patent/EP2169619A3/en
Publication of KR20100034789A publication Critical patent/KR20100034789A/ko
Application granted granted Critical
Publication of KR101497503B1 publication Critical patent/KR101497503B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치가 제공된다. 입력 영상으로부터 계산된 엣지 맵(Edge Map) 및 라인 트래이싱(Line Tracing) 방법에 기반하여 깊이(Depth)를 복원하고, 깊이(depth) 정보를 이용하여 스테레오(Stereoscopic)영상을 생성한다.
Figure R1020080093956
3차원 영상, 스테레오 영상, 영상 변환

Description

2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING DEPTH MAP FOR CONVERSION TWO DIMENSIONAL IMAGE TO THREE DIMENSIONAL IMAGE}
하기에서 설명하는 것은 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치에 관한 것이다.
최근에는 3차원 디스플레이 장치가 발전하여 일반 시청자에게 기존 영상보다 더욱 현실적인 입체감과 임장감이 있는 3차원 영상을 제공할 수 있게 되었으며, 그에 따라 3차원 컨텐츠에 대한 수요가 꾸준히 늘어나고 있다.
스테레오 3차원 디스플레이(Stereoscopic 3D Display) 상용화와 3차원 영화 등과 같은 3차원 컨텐츠 서비스의 증가 추세로 인하여 사용자의 경험 욕구는 높아지고 있다. 그러나, 현재 3차원 디스플레이(3D Display)가 시장에서 호소력을 갖는데 가장 큰 문제는 3차원 컨텐츠(3D Contents)의 부족에 있다. 일반적으로 3차원 영상을 제공하기 위해서는 여러 시점의 2차원 영상들이 필요하였으나, 이와 같은 방식은 과거에 제작된 단일시점 2차원 영상을 활용할 수 없었다.
따라서, 2차원 이미지/비디오(2D Image/Video)를 스테레오(Stereo)영상으로 변환하여 스테레오 3차원 디스플레이(Stereoscopic 3D Display)에서 렌더링하기 위한 기술이 요구되고 있다.
개시되는 실시예는 깊이 맵 생성 방법 및 장치를 스테레오 3차원 TV(Stereoscopic 3D TV)에 적용하여, 입력 2차원 영상을 스테레오 3차원(stereoscopic 3D) 영상으로 변환하여 디스플레이 하고자 한다.
또한, 개시되는 실시예는 기 재작된 2차원 영상을 이용하여 다양한 3차원 영상 콘텐츠를 제공하고자 한다.
또한, 개시되는 실시예는 2차원 영상의 3차원 영상 변환 칩(2D-to-3D conversion chip) 또는 소프트웨어(Software)에 적용하여, 스테레오 3차원 디스플레이/TV, DVD/BD 플레이어 등 다양한 디스플레이 및 영상 재생 장치에 활용이 가능하도록 하고자 한다.
개시되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법은, 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 단계, 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 단계, 및 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성하는 단계를 포함한다.
이때, 상기 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 단계는, 상기 입력 이미지의 픽셀의 휘도 차이에 따른 엣지를 추출하여 엣지 맵을 생성하는 단계일 수 있다.
이때, 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하여 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 단계는, 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하여 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 단계일 수 있다.
이때, 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성하는 단계는, 상기 라인과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성하는 단계일 수 있다.
이때, 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가질 수 있다.
이때, 상기 라인은 상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않을 수 있다.
이때, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 단계는, 상기 라인이 수직 방향(vertical direction)으로 급변하는 것을 방지하고, 상기 엣지 맵에 가장 가까운 라인을 선택하기 위하여 평활도 제약(Smoothness constraint)을 적용하는 단계를 더 포함할 수 있다.
이때, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생 성하는 단계는, 상기 라인 중에서 하나의 라인이 기 설정된 값보다 수직 방향(vertical direction)으로 급변하는 것을 제한하기 위한 탄성 제약(Elasticity constraint)을 적용하는 단계일 수 있다.
이때, 상기 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 단계는, 상기 입력 이미지를 다운 스케일링(down scaling)하는 단계를 더 포함할 수 있다.
이때, 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하는 단계, 또는 상기 깊이 맵(depth map)을 스무딩(smoothing)하는 단계를 더 포함할 수 있다.
이때, 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성하는 단계를 더 포함할 수 있다.
이때, 상기 깊이 맵(depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하는 단계, 및 상기 화상 깊이 큐(pictorial depth cue)를 이용하여 상기 깊이 맵을 재생성하는 단계를 더 포함할 수 있다.
개시되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치는, 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 엣지 감지부, 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 라인 추적부, 및 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성하는 깊이 생성부를 포함한다.
이때, 상기 엣지 감지부는 상기 입력 이미지의 픽셀의 휘도 차이에 따른 엣지를 추출하여 엣지 맵을 생성할 수 있다.
이때, 상기 라인 추적부는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하여 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성할 수 있다.
이때, 상기 깊이 생성부는 상기 라인과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성할 수 있다.
이때, 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가질 수 있다.
이때, 상기 라인은 상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않을 수 있다.
이때, 상기 라인 추적부는 상기 라인이 수직 방향(vertical direction)으로 급변하는 것을 방지하고, 상기 엣지 맵에 가장 가까운 라인을 선택하기 위하여 평활도 제약(Smoothness constraint)을 적용할 수 있다.
이때, 상기 라인 추적부는 상기 라인 중에서 하나의 라인이 기 설정된 값보다 수직 방향(vertical direction)으로 급변하는 것을 제한하기 위한 탄성 제약(Elasticity constraint)을 적용할 수 있다.
이때, 상기 입력 이미지를 다운 스케일링(down scaling)하는 다운 스케일링부를 더 포함할 수 있다.
이때, 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하는 업 스케일링부, 또는 상기 깊이 맵(depth map)을 스무딩(smoothing)하는 스무딩부를 더 포함할 수 있다.
이때, 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성하는 측면 이동부를 더 포함할 수 있다.
이때, 상기 깊이 맵(depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하는 화상 깊이 큐 생성부, 또는 상기 화상 깊이 큐(pictorial depth cue)를 이용하여 상기 깊이 맵을 재생성하는 깊이 맵 재생성부를 더 포함할 수 있다.
개시되는 실시예에 따르면, 깊이 맵 생성 방법 및 장치를 스테레오 3차원 TV(Stereoscopic 3D TV)에 적용하여, 입력 2차원 영상을 스테레오 3차원(stereoscopic 3D) 영상으로 변환하여 디스플레이 할 수 있다.
또한, 개시되는 실시예에 따르면 기 재작된 2차원 영상을 이용하여 다양한 3차원 영상 콘텐츠를 제공할 수 있다.
또한, 개시되는 실시예에 따르면 2차원 영상의 3차원 영상 변환 칩(2D-to-3D conversion chip) 또는 소프트웨어(Software)에 적용하여, 스테레오 3차원 디스플 레이/TV, DVD/BD 플레이어 등 다양한 디스플레이 및 영상 재생 장치에 활용이 가능하다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 바람직한 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치의 구성도이다. 도 1을 참조하여 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치를 설명하기로 한다.
도 1에 도시된 바와 같이, 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치는, 다운 스케일링부(110), 엣지 감지부(120), 라인 추적부(130), 깊이 생성부(140), 업 스케일링 및 스무딩부(150), 및 측면 이동부(160)를 포함한다.
엣지 감지부(120)는 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성한다.
이때, 엣지 감지부(120)는 상기 입력 이미지의 픽셀의 휘도 차이에 따른 엣지를 추출하여 엣지 맵을 생성할 수 있다.
다운 스케일링부(110)는 상기 입력 이미지를 다운 스케일링(down scaling)할 수 있다.
라인 추적부(130)는 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생 성되는 라인을 포함하는 라인 맵(line map)을 생성한다.
이때, 라인 추적부(130)는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출할 수 있다. 라인 추적부(130)는 상기 추출된 엣지를 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성할 수 있다.
상기 라인 추적부(130)는 상기 라인이 수직 방향(vertical direction)으로 급변하는 것을 방지하고, 상기 엣지 맵에 가장 가까운 라인을 선택하기 위하여 평활도 제약(Smoothness constraint)을 적용할 수 있다.
또한, 라인 추적부(130)는 상기 라인 중에서 하나의 라인이 기 설정된 값보다 수직 방향(vertical direction)으로 급변하는 것을 제한하기 위한 탄성 제약(Elasticity constraint)을 적용할 수 있다.
깊이 생성부(140)는 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성한다.
깊이 생성부(140)는 상기 라인과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성할 수 있다.
이때, 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가진다.
또한, 상기 라인(line)은 상호 교차되지 않으며 기 설정된 기울기 값을 초과 하지 않는다.
또한, 제안되는 실시예에 따르면, 깊이 생성부(140)에서 생성된 깊이 맵(depth map)을 업 스케일링 하고, 상기 깊이 맵을 스무딩(smoothing)하는 업 스케일링 및 스무딩부(150)를 더 포함할 수 있다. 이때, 업 스케일링 및 스무딩부(150)는 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하는 업 스케일링부(미도시) 및 상기 깊이 맵(depth map)을 스무딩(smoothing)하는 스무딩부(미도시)로 각각 분리되어 구성될 수 있다.
측면 이동부(150)는 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성할 수 있다.
또한, 제안되는 실시예에 따르면, 상기 깊이 맵(depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하는 화상 깊이 큐 생성부(미도시), 및 상기 화상 깊이 큐(pictorial depth cue)를 이용하여 상기 깊이 맵을 재생성하는 깊이 맵 재생성부를 더 포함할 수 있다.
도 2는 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다. 도 2를 참조하여 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기로 한다.
제안되는 실시예에 따른 깊이 맵 생성 방법은 크게 초기 깊이 추정 단계(210)와, 스테레오 이미지(Stereo Image) 생성 단계(S220)로 구성된다.
제안되는 실시예에 따른 깊이 맵 생성 장치는, 입력되는 이미지(또는 영상) 을 다운 스케일링(down scaling)할 수 있다(S211).
이때, 상기 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)하는 단계는 알고리즘의 복잡성(complexity)을 줄이기 위한 것이다.
깊이 맵 생성 장치는 입력되는 이미지(또는 영상) 상의 엣지(edge)를 감지하고, 감지된 엣지를 이용하여 엣지 맵(edge map)을 생성한다(S212).
이때, 깊이 맵 생성 장치는 상기 입력 이미지의 픽셀의 휘도(luminance) 차이에 따른 엣지를 추출하여, 엣지 맵을 생성할 수 있다.
깊이 맵 생성 장치는 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하고, 초기 라인 맵(Initial line map)을 입력 받는다. 깊이 맵 생성 장치는 추출된 엣지와 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성한다(S213).
이때, 깊이 맵 생성 장치는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하고, 추출된 엣지를 입력 라인 맵(Initial line map)에 맵핑할 수 있다.
예를 들어, 엣지의 추출 시에 엣지 맵의 왼쪽 경계(left border)로부터 오른쪽 경계(right border)측으로 강한 엣지 위치를 추적(trace)하여 라인 맵(line map)을 생성할 수 있다.
깊이 맵 생성 장치는 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성한다(S214)
이때, 깊이 맵 생성 장치는 상기 라인(line)과 순차적으로 인접한 라인들과 의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성할 수 있다. 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가질 수 있다.
예를 들어, 각 라인(line)과 라인 사이에 위치한 영역에 대하여 같은 깊이 값(depth order) 갖도록 하면서, 새로운 라인의 출현 시에 깊이 값을 기 설정된 값만큼 증가시킨다. 즉, 제일 아래에 위치한 라인과 라인 사이의 영역은 깊이 값 '0'이 할당되며, 제일 위에 위치한 라인과 라인 사이의 영역은 가장 큰 깊이 값(예: 50)을 가질 수 있다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하거나, 상기 깊이 맵(depth map)을 스무딩(smoothing)할 수 있다(S221). 또한, 3차원 영상을 보다 효과적으로 구현하기 위하여 상기와 같은 방법 이외의 다양한 후처리(postprocessing) 방법이 적용될 수 잇다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성(S222)한다.
따라서, 개시되는 실시예에 따르면, 입력 2차원 영상을 스테레오 3차원(stereoscopic 3D) 영상으로 변환하여 디스플레이 하므로, 기 재작된 2차원 영상을 이용하여 다양한 3차원 영상 콘텐츠를 제공할 수 있다.
또한, 개시되는 실시예에 따르면 2차원 영상의 3차원 영상 변환 칩(2D-to-3D conversion chip) 또는 소프트웨어(Software)에 적용하여, 스테레오 3차원 디스플레이/TV, DVD/BD 플레이어 등 다양한 디스플레이 및 영상 재생 장치에 활용이 가능하다.
도 3은 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이고, 도 4는 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 그래프이다.
도 3은 초기 라인 맵(Initial line map)과 상기 초기 라인 맵에 대한 깊이 맵(depth), 그리고 라인 맵(line map)과 상기 라인 맵에 따른 깊이 맵(depth map)을 도시하고 있다.
초기 라인 맵(Initial line map: 310)을 이용하여 각 라인(line)과 라인 사이에 위치한 영역에 대하여 같은 깊이 값(depth order) 갖도록 하면서, 새로운 라인의 출현 시에 깊이 값을 기 설정된 값만큼 증가시키면, 초기 깊이 맵(Initial depth map: 320)에서와 같은 형태의 깊이 맵이 생성된다.
따라서, 평행한 N개의 라인(line)을 포함하는 초기 라인 맵(310)을 이용하여, 입력 영상의 특성에 최적으로 어울리는 라인 맵(line map: 330)을 생성하고, 생성된 라인 맵(330)에 기초하여 깊이 맵(depth map: 340)을 생성할 수 있다.
이때, 도 4에 도시된 바와 같이, 상기 라인은 상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않는다.
또한, 도 4에 도시된 바와 같이, 생성된 깊이 맵(340)은 각 라인과 라인 사이에 위치한 영역이 같은 깊이 값(depth order)을 가지며, 새로운 라인이 출현할 때마다 일정한 값만큼 깊이 값이 증가하도록 구성된다. 즉, 도 4에 도시된 바와 같이, 5개의 라인(line)을 가지는 라인 맵(line map)의 경우에는, 상기 5개의 라인에 의해 생성되는 6개의 깊이(depth)를 가지는 깊이 맵(depth map)이 생성될 수 있다.
도 5는 제안되는 또 다른 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이고, 도 6은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 그래프이며, 도 7은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 도면이다.
깊이 맵 생성 장치는 입력 이미지(510) 상의 엣지(edge)를 이용하여 엣지 맵(edge map: 520)을 생성한다.
깊이 맵 생성 장치는 엣지 맵(520)에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map: 530)을 생성한다.
이후, 깊이 맵 생성 장치는 라인 맵(530)의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map: 540)을 생성한다.
이때, 제안되는 깊이 맵 생성 장치는 상기 강한 엣지 위치를 추적(trace)하여 라인 맵(line map)을 생성시에는, 다음과 같은 몇 가지 규칙이 적용될 수 있다.
즉, 생성되는 라인(line)의 개수는 일정하고, 라인은 상호간에 교차되지 않아야 하며, 어떤 지점에서도 라인의 기울기 값은 기 설정된 기울기 값보다 작아야 하고, 라인은 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경 계(border)의 방향으로 생성되며, 라인에 의하여 구분되는 사이 영역의 깊이(depth) 값은 균일하게 구성될 수 있다.
도 6에 도시된 바와 같이, 각 라인(line)의 초기 좌측 지점(initial left point: 610)으로부터 시작하여, 우측 경계(right border)에 도달할 때까지, 다음의 우측 지점(right point: 620)을 선택해가는데 있어서, 첫째 엣지(Edge)가 강하고, 둘째 y축 방향으로 변화도 스무스(smooth)하도록 하면서, 셋째 초기 라인(initial line)에서 많이 벗어나지 않게 하는, 최적의 벡터 y를 선택한다.
따라서, 제시되는 실시예에 따른 깊이 맵 생성 장치는 라인 트래이싱(Line tracing) 시에 최적의 다음 픽셀을 추적(trace) 할 수 있다.
또한, 보다 최적의 라인 추적(optimal line trace)를 위해 다음과 같은 제약들이 적용될 수 있다.
이와 같은 제약에는, 강한 엣지(strong edge)를 추적(trace) 하기 위한 라인 추적 제약(line trace constraint), 라인(line)이 수직 방향(vertical direction)으로 급변 것을 방지하기(penalize)위한 평활도 제약(smoothness constraint), 그리고 도 7에 도시된 바와 같이 한 라인(line: 710)에 있어서 수직 방향의 위치(720, 730, 740)로 많은 양의 변화를 방지하기 위해, 시작점인 좌측 경계(left border)로부터 너무 멀어지는 위치를 피하는 탄성 제약(elasticity constraint) 등이 적용될 수 있으며, 상기와 같은 제약은
상기와 같은 제약들을 수학식으로 나타내면 다음의 수학식 1과 같다.
Figure 112008067298161-pat00001
Figure 112008067298161-pat00002
Figure 112008067298161-pat00003
(단, Elt(x, y)는 라인 추적 제약 값, Es(x, y)는 평활도 제약 값, Ee(x, y)는 탄성 제약 값, 그리고 a, b, c는 에너지양을 조절하는 파라미터 값임.)
이때, a, b, c는 입력 영상 특성과 알고리즘에 따라 에너지(energy)양을 조절하는 파라미터 값이다.
따라서, 라인 트래이싱(Line tracing)은 상기와 같은 수학식 1에 의해 산출된 라인 추적 제약 값 Elt(x, y), 평활도 제약 값 Es(x, y), 탄성 제약 값 Ee(x, y)에 의하여, 결과적으로 다음의 수학식 2에서와 같이 정형화(formulate)된다.
Figure 112008067298161-pat00004
(단,
Figure 112008067298161-pat00005
는 가중 요소(weighting factor)임.)
상기와 같은 정형화된 라인 트래이싱(Line tracing)을 위해서는 최적화(optimization)방법이 적용되며, 이와 같은 최적화 기법으로는 글로벌 최적화(Global optimization) 방법 및 로컬 최적화(Local optimization)이 사용될 수 잇다.
상기 글로벌 최적화(Global optimization) 방법으로는, 대표적으로 모의 풀림(Simulated Annealing)방법이 사용될 수 있으며, 상기 모의 풀림 방법을 라인 트래이싱(line tracing)에 적용하면, 많은 경우의 수가 발생한다. 따라서, 모의 풀림 방법의 적용 과정에서 많은 반복(iteration)이 필요하게 되며, 이는 곧 알고리즘이 매우 복잡해짐(high complexity)을 의미하게 된다.
로컬 최적화(Local optimization) 방법으로는 대표적으로 그리디 알고리즘(Greedy Algorithm)이라고도 불리는 ICM(Iterated Conditional Modes) 방법이 이용될 수 있으며, 상기 ICM은 낮은 복잡성(low complexity) 알고리즘에 적합하다.
도 8은 제안되는 또 다른 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다. 도 8을 참조하여 제안되는 또 다른 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기로 한다.
제안되는 실시예에 따른 깊이 맵 생성 방법은 크게 초기 깊이 추정 단 계(810), 깊이 맵 생성 단계(S820), 및 스테레오 이미지(Stereo Image) 생성 단계(S830)로 구성된다.
제안되는 실시예에 따른 깊이 맵 생성 장치는, 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)할 수 있다(S811).
이때, 상기 입력되는 이미지(또는 영상)을 다운 스케일링(down scaling)하는 단계는 알고리즘의 복잡성(complexity)을 줄이기 위한 것이다.
깊이 맵 생성 장치는 입력되는 이미지(또는 영상) 상의 엣지(edge)를 감지하고, 감지된 엣지를 이용하여 엣지 맵(edge map)을 생성한다(S812).
이때, 깊이 맵 생성 장치는 상기 입력 이미지의 픽셀의 휘도(luminance) 차이에 따른 엣지를 추출하여, 엣지 맵을 생성할 수 있다.
깊이 맵 생성 장치는 상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하고, 초기 라인 맵(Initial line map)을 입력 받는다. 깊이 맵 생성 장치는 추출된 엣지와 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성한다(S813).
이때, 깊이 맵 생성 장치는 상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하고, 추출된 엣지를 입력 라인 맵(Initial line map)에 맵핑할 수 있다.
깊이 맵 생성 장치는 상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 초기 깊이 맵(Initial depth map)을 생성한다(S814).
이때, 깊이 맵 생성 장치는 상기 라인(line)과 순차적으로 인접한 라인들과 의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 초기 깊이 맵(Initial depth map)을 생성할 수 있다. 상기 사이 영역은 상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가질 수 있다.
이후, 상기 초기 깊이 맵(Initial depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하고(S821), 상기 생성된 화상 깊이 큐(pictorial depth cue)를 이용하여 깊이 맵(depth map)을 생성할 수 있다(S822).
즉, 이 실시예에 따르면, 라인 트래이싱(Line tracing)에 의해 구해진 깊이 맵(depth map)을 초기 깊이(initial depth) 정보로 사용하여, 영상 분석을 통해 추출된 다른 화상 깊이 큐(pictorial depth cue)를 사용해 깊이 개선(depth refinement) 과정을 거친 후, 최종적으로 깊이 맵(depth map)을 얻는다.
예를 들어, 영상 분석을 통해 선형 원근감(linear perspective), 영상 내의 객체 간의 중첩(overlapping), 또는 텍스처 그래디언트(texture gradient) 정보를 추출하고, 이러한 정보를 라인 맵(line map)에 의해 구한 깊이(depth) 정보를 기초로 하여, 병합/보완하여 3차원 효과(3D effect)를 증진 시킬 수 잇다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)을 업 스케일링(up scaling)하거나, 상기 깊이 맵(depth map)을 스무딩(smoothing)할 수 있다(S831). 또한, 3차원 영상을 보다 효과적으로 구현하기 위하여 상기와 같은 방법 이외의 다양한 후처리(postprocessing) 방법이 적용될 수 잇다.
이후, 깊이 맵 생성 장치는 상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위 치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성(S832)한다.
따라서, 이와 같은 깊이 맵 생성 방법 및 장치를 스테레오 3차원 TV(Stereoscopic 3D TV)에 적용할 수 있다.
시간 순차(Time sequential) 방식의 스테레오 디스플레이(stereoscopic display)를 통하여 좌안/우안 영상을 번갈아 가며 디스플레이 하고, 관찰자(viewer)는 셔터 글래스(shutter glass)를 착용하여 3차원 입체 영상을 시청할 수 있다.
또한, 이와 같은 깊이 맵 생성 방법 및 장치는 시간 순차(Time sequential) 방식뿐만 아니라, 다양한 방식의 스테레오 3차원 TV(Stereoscopic 3D TV)에 탑재되어, 입력 2차원 영상을 스테레오 3차원(stereoscopic 3D) 영상으로 변환하여 디스플레이 되도록 할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치의 구성도이다.
도 2는 제안되는 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다.
도 3은 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이다.
도 4는 제안되는 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 그래프이다.
도 5는 제안되는 또 다른 실시예에 따른 깊이 맵(depth map)의 생성 방법을 설명하기 위한 도면이다.
도 6은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 그래프이다.
도 7은 제안되는 실시예에 따른 라인 트래이싱(Line tracing) 방법을 설명하기 위한 도면이다.
도 8은 제안되는 또 다른 실시예에 따른 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 다운 스케일링부 120: 엣지 감지부
130: 라인 추적부 140: 깊이 생성부
150: 업 스케일링 및 스무딩부 160: 측면 이동부

Claims (24)

  1. 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 단계;
    상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하고, 상기 추출된 강한 엣지를 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 단계; 및
    상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성하는 단계
    를 포함하며,
    상기 초기 라인 맵은, 서로 평행한 복수 개의 직선을 포함하고, 상기 복수 개의 직선들 중 서로 다른 직선은 서로 다른 깊이 값에 대응하도록 구성되고,
    상기 라인 맵은, 각 라인과 라인 사이에 위치한 영역이 동일한 깊이 값을 식별하도록 구성되는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  2. 제1항에 있어서,
    상기 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 단계는,
    상기 입력 이미지의 픽셀의 휘도 차이에 따른 엣지를 추출하여 엣지 맵을 생성하는 단계
    인 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  3. 제1항에 있어서,
    상기 라인 맵(line map)을 생성하는 단계는,
    상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하여 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 단계
    인 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  4. 제1항에 있어서,
    상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성하는 단계는,
    상기 라인과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성하는 단계
    인 것을 특징으로 하는2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  5. 제4항에 있어서,
    상기 사이 영역은,
    상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가지는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  6. 제1항에 있어서,
    상기 라인은,
    상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  7. 제1항에 있어서,
    상기 라인 맵(line map)을 생성하는 단계는,
    상기 라인이 수직 방향(vertical direction)으로 급변하는 것을 방지하고, 상기 엣지 맵에 가장 가까운 라인을 선택하기 위하여 평활도 제약(Smoothness constraint)을 적용하는 단계
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  8. 제1항에 있어서,
    상기 라인 맵(line map)을 생성하는 단계는,
    상기 라인 중에서 하나의 라인이 기 설정된 값보다 수직 방향(vertical direction)으로 급변하는 것을 제한하기 위한 탄성 제약(Elasticity constraint)을 적용하는 단계
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  9. 제1항에 있어서,
    상기 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 단계는,
    상기 입력 이미지를 다운 스케일링(down scaling)하는 단계
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  10. 제1항에 있어서,
    상기 깊이 맵(depth map)을 업 스케일링(up scaling)하는 단계; 또는
    상기 깊이 맵(depth map)을 스무딩(smoothing)하는 단계
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  11. 제1항에 있어서,
    상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  12. 제1항에 있어서,
    상기 깊이 맵(depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하는 단계; 및
    상기 화상 깊이 큐(pictorial depth cue)를 이용하여 상기 깊이 맵을 재생성하는 단계
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법.
  13. 입력 이미지 상의 엣지(edge)를 이용하여 엣지 맵(edge map)을 생성하는 엣지 감지부;
    상기 엣지 맵에서 기 설정된 값보다 강한 엣지를 추출하여, 입력 받은 초기 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 라인 추적부; 및
    상기 라인 맵의 라인을 이용하여, 순차적인 깊이(depth) 값을 포함하는 깊이 맵(depth map)을 생성하는 깊이 생성부
    를 포함하며,
    상기 초기 라인 맵은, 서로 평행한 복수 개의 직선을 포함하고, 상기 복수 개의 직선들 중 서로 다른 직선은 서로 다른 깊이 값에 대응하도록 구성되고,
    상기 라인 맵은, 각 라인과 라인 사이에 위치한 영역이 동일한 깊이 값을 식별하도록 구성되는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  14. 제13항에 있어서,
    상기 엣지 감지부는,
    상기 입력 이미지의 픽셀의 휘도 차이에 따른 엣지를 추출하여 엣지 맵을 생성하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  15. 제13항에 있어서,
    상기 라인 추적부는,
    상기 엣지 맵(edge map)의 일측 경계(border)으로부터 또 다른 일측 경계(border)의 방향으로, 기 설정된 값보다 강한 엣지를 추출하여 입력 라인 맵(Initial line map)에 맵핑하고, 상기 맵핑에 의해 생성되는 라인을 포함하는 라인 맵(line map)을 생성하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  16. 제13항에 있어서,
    상기 깊이 생성부는,
    상기 라인과 순차적으로 인접한 라인들과의 사이에 위치하는 사이 영역의, 깊이(depth) 값을 순차적으로 증가 또는 감소시키는 방법에 의하여 깊이 맵(depth map)을 생성하는 것을 특징으로 하는2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  17. 제16항에 있어서,
    상기 사이 영역은,
    상기 라인 맵의 각각의 라인과 라인 사이에 위치하여, 같은 깊이(depth) 값을 가지는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  18. 제13항에 있어서,
    상기 라인은,
    상호 교차되지 않으며 기 설정된 기울기 값을 초과하지 않는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  19. 제13항에 있어서,
    상기 라인 추적부는,
    상기 라인이 수직 방향(vertical direction)으로 급변하는 것을 방지하고, 상기 엣지 맵에 가장 가까운 라인을 선택하기 위하여 평활도 제약(Smoothness constraint)을 적용하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  20. 제13항에 있어서,
    상기 라인 추적부는,
    상기 라인 중에서 하나의 라인이 기 설정된 값보다 수직 방향(vertical direction)으로 급변하는 것을 제한하기 위한 탄성 제약(Elasticity constraint)을 적용하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  21. 제13항에 있어서,
    상기 입력 이미지를 다운 스케일링(down scaling)하는 다운 스케일링부
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  22. 제13항에 있어서,
    상기 깊이 맵(depth map)을 업 스케일링(up scaling)하는 업 스케일링부; 또 는
    상기 깊이 맵(depth map)을 스무딩(smoothing)하는 스무딩부
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  23. 제13항에 있어서,
    상기 깊이 맵(depth map)의 각 픽셀(pixel)의 위치의 깊이(depth) 값에 기초하여 측면 이동(lateral shifting)시켜, 스테레오 영상(stereo image)을 생성하는 측면 이동부
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
  24. 제13항에 있어서,
    상기 깊이 맵(depth map)을 이용하여 화상 깊이 큐(pictorial depth cue)를 생성하는 화상 깊이 큐 생성부; 또는
    상기 화상 깊이 큐(pictorial depth cue)를 이용하여 상기 깊이 맵을 재생성하는 깊이 맵 재생성부
    를 더 포함하는 것을 특징으로 하는 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 장치.
KR1020080093956A 2008-09-25 2008-09-25 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 KR101497503B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020080093956A KR101497503B1 (ko) 2008-09-25 2008-09-25 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
US12/453,115 US9153032B2 (en) 2008-09-25 2009-04-29 Conversion method and apparatus with depth map generation
JP2009214604A JP5692980B2 (ja) 2008-09-25 2009-09-16 深さマップ生成を用いた変換方法および装置
EP09171211.7A EP2169619A3 (en) 2008-09-25 2009-09-24 Conversion method and apparatus with depth map generation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080093956A KR101497503B1 (ko) 2008-09-25 2008-09-25 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100034789A KR20100034789A (ko) 2010-04-02
KR101497503B1 true KR101497503B1 (ko) 2015-03-04

Family

ID=41435282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080093956A KR101497503B1 (ko) 2008-09-25 2008-09-25 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치

Country Status (4)

Country Link
US (1) US9153032B2 (ko)
EP (1) EP2169619A3 (ko)
JP (1) JP5692980B2 (ko)
KR (1) KR101497503B1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5224352B2 (ja) * 2008-09-29 2013-07-03 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像表示装置及びプログラム
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
US8502862B2 (en) 2009-09-30 2013-08-06 Disney Enterprises, Inc. Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image
US8884948B2 (en) * 2009-09-30 2014-11-11 Disney Enterprises, Inc. Method and system for creating depth and volume in a 2-D planar image
DE112009005382T5 (de) * 2009-11-18 2012-09-13 Industrial Technology Research Institute Verfahren zum Erzeugen von Tiefenkarten aus monokularen Bildern und Systeme, die dieses verwenden
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
US9042636B2 (en) 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
US20110157155A1 (en) * 2009-12-31 2011-06-30 Disney Enterprises, Inc. Layer management system for choreographing stereoscopic depth
KR101690297B1 (ko) * 2010-04-12 2016-12-28 삼성디스플레이 주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
KR101674568B1 (ko) * 2010-04-12 2016-11-10 삼성디스플레이 주식회사 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
WO2011138472A1 (es) * 2010-05-07 2011-11-10 Telefonica, S.A. Método de generación de mapas de profundidad para conversión de imágenes animadas 2d en 3d
CN101938669B (zh) * 2010-09-13 2012-01-11 福州瑞芯微电子有限公司 一种2d转3d的自适应视频转换系统
KR20120049997A (ko) * 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
KR101233399B1 (ko) * 2010-12-06 2013-02-15 광주과학기술원 다시점 깊이 영상 생성 방법 및 장치
US10158846B2 (en) * 2010-12-06 2018-12-18 Teranex Systems, Inc. Pseudo-3d forced perspective methods and devices
US8773427B2 (en) 2010-12-22 2014-07-08 Sony Corporation Method and apparatus for multiview image generation using depth map information
KR101207862B1 (ko) * 2010-12-24 2012-12-04 유기령 2차원 영상을 스테레오 영상으로 변환하는 방법
US8861836B2 (en) 2011-01-14 2014-10-14 Sony Corporation Methods and systems for 2D to 3D conversion from a portrait image
CN102098528B (zh) * 2011-01-28 2012-09-05 清华大学 一种平面图像的立体转换方法及装置
US10122986B2 (en) * 2011-02-18 2018-11-06 Sony Corporation Image processing device and image processing method
JP5927570B2 (ja) * 2011-04-22 2016-06-01 パナソニックＩｐマネジメント株式会社 ３次元撮像装置、光透過部、画像処理装置、およびプログラム
JP5238849B2 (ja) * 2011-05-16 2013-07-17 株式会社東芝 電子機器、電子機器の制御方法及び電子機器の制御プログラム
KR101853660B1 (ko) * 2011-06-10 2018-05-02 엘지전자 주식회사 3차원 그래픽 콘텐츠 재생 방법 및 장치
US8743180B2 (en) 2011-06-28 2014-06-03 Cyberlink Corp. Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
US9525858B2 (en) 2011-07-06 2016-12-20 Telefonaktiebolaget Lm Ericsson (Publ) Depth or disparity map upscaling
KR101239149B1 (ko) * 2011-08-16 2013-03-11 (주)레이딕스텍 다시점 3차원 영상 변환 장치 및 방법
CN102298708B (zh) * 2011-08-19 2013-08-07 四川长虹电器股份有限公司 基于颜色和形状匹配的3d模式识别方法
US8749548B2 (en) 2011-09-01 2014-06-10 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
EP2764696B1 (en) 2011-10-05 2020-06-03 Bitanimate, Inc. Resolution enhanced 3d video rendering systems and methods
WO2013085513A1 (en) * 2011-12-07 2013-06-13 Intel Corporation Graphics rendering technique for autostereoscopic three dimensional display
KR101302431B1 (ko) * 2012-06-20 2013-09-02 이광호 2차원 영상을 스테레오 영상으로 변환하는 방법
EP2677496B1 (en) 2012-06-20 2017-09-27 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for determining a depth image
KR101370785B1 (ko) 2012-11-06 2014-03-06 한국과학기술원 입체 영상의 깊이 맵 생성 방법 및 장치
EP2747028B1 (en) 2012-12-18 2015-08-19 Universitat Pompeu Fabra Method for recovering a relative depth map from a single image or a sequence of still images
EP2959684A4 (en) * 2013-02-20 2016-11-09 Intel Corp REAL-TIME AUTOMATIC CONVERSION OF IMAGES OR TWO-DIMENSIONAL VIDEO TO OBTAIN STEREO IMAGES OR VIDEO IN THREE DIMENSIONS
JP6182930B2 (ja) * 2013-03-28 2017-08-23 大日本印刷株式会社 奥行き制作支援装置、奥行き制作方法、及びプログラム
KR101435325B1 (ko) 2013-04-10 2014-08-27 한국과학기술원 깊이 맵 생성 방법 및 장치
US9532032B2 (en) * 2013-04-18 2016-12-27 Ellis Amalgamated, LLC Astigmatic depth from defocus imaging using intermediate images and a merit function map
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US10122992B2 (en) 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
KR102295579B1 (ko) * 2017-02-21 2021-08-30 현대자동차주식회사 차량의 장애물 검출 장치 및 방법
CN109978786B (zh) * 2019-03-22 2020-09-25 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法
US11688073B2 (en) 2020-04-14 2023-06-27 Samsung Electronics Co., Ltd. Method and system for depth map reconstruction
US11615594B2 (en) 2021-01-21 2023-03-28 Samsung Electronics Co., Ltd. Systems and methods for reconstruction of dense depth maps
KR102648882B1 (ko) * 2021-11-17 2024-03-19 (주)심스리얼리티 3차원 지도에 대한 모델링 데이터의 경량화 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320189A (ja) * 2003-04-14 2004-11-11 Sharp Corp ２次元画像の３次元化方法
KR20060129371A (ko) * 2004-02-03 2006-12-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 맵의 생성
KR20070026403A (ko) * 2004-03-12 2007-03-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 맵 생성

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384859B1 (en) * 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
JP2951291B2 (ja) 1997-06-17 1999-09-20 三洋電機株式会社 ２次元映像を３次元映像に変換する装置および方法
US6584219B1 (en) * 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
MY124160A (en) 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
JP2002123842A (ja) 2000-10-13 2002-04-26 Takumi:Kk 立体視画像生成装置および情報記憶媒体
CA2496353C (en) 2002-08-20 2011-10-18 Kazunari Era Method and apparatus for generating a stereographic image
KR100503276B1 (ko) 2003-08-12 2005-07-22 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치
KR100540732B1 (ko) 2004-02-02 2006-01-10 한양대학교 산학협력단 2차원 영상신호를 3차원 영상신호로 변환하는 장치
CA2553473A1 (en) * 2005-07-26 2007-01-26 Wa James Tam Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging
KR20080047673A (ko) 2006-11-27 2008-05-30 (주)플렛디스 입체영상 변환 장치 및 그 방법
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320189A (ja) * 2003-04-14 2004-11-11 Sharp Corp ２次元画像の３次元化方法
KR20060129371A (ko) * 2004-02-03 2006-12-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 맵의 생성
KR20070026403A (ko) * 2004-03-12 2007-03-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 깊이 맵 생성

Also Published As

Publication number Publication date
EP2169619A3 (en) 2017-01-18
KR20100034789A (ko) 2010-04-02
US20100073364A1 (en) 2010-03-25
US9153032B2 (en) 2015-10-06
EP2169619A2 (en) 2010-03-31
JP5692980B2 (ja) 2015-04-01
JP2010079899A (ja) 2010-04-08

Similar Documents

Publication Publication Date Title
KR101497503B1 (ko) 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치
US10652522B2 (en) Varying display content based on viewpoint
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
KR100894874B1 (ko) 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
US7262767B2 (en) Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR101491556B1 (ko) 깊이 추정 장치 및 방법
JP2006325165A (ja) テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
US8094148B2 (en) Texture processing apparatus, method and program
KR100517517B1 (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
JP5673032B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
CN106664397A (zh) 用于生成三维图像的方法和装置
JP2011078036A (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
KR20180099703A (ko) 적응형 초점면을 갖는 가상 현실을 렌더링하기 위한 구성
JP4892113B2 (ja) 画像処理方法及び装置
CN102098528A (zh) 一种平面图像的立体转换方法及装置
US10210654B2 (en) Stereo 3D navigation apparatus and saliency-guided camera parameter control method thereof
KR102091860B1 (ko) 영상 부호화 방법 및 장치
Cheng et al. 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System
KR20130112133A (ko) 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법
RU2523980C2 (ru) Способ и система для визуализации набора мультимедиа объектов на 3d дисплее
KR20120110804A (ko) 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 방법
JP2012060246A (ja) 画像処理装置、集積回路装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 6