KR20110134142A - 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 - Google Patents

깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 Download PDF

Info

Publication number
KR20110134142A
KR20110134142A KR1020100053963A KR20100053963A KR20110134142A KR 20110134142 A KR20110134142 A KR 20110134142A KR 1020100053963 A KR1020100053963 A KR 1020100053963A KR 20100053963 A KR20100053963 A KR 20100053963A KR 20110134142 A KR20110134142 A KR 20110134142A
Authority
KR
South Korea
Prior art keywords
pixel
depth map
map information
image
empty
Prior art date
Application number
KR1020100053963A
Other languages
English (en)
Other versions
KR101385514B1 (ko
Inventor
우대식
전병기
김아란
이홍우
하종호
박지훈
정원석
Original Assignee
에스케이플래닛 주식회사
주식회사 이시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사, 주식회사 이시티 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100053963A priority Critical patent/KR101385514B1/ko
Priority to JP2013513099A priority patent/JP2013534742A/ja
Priority to EP11792608.9A priority patent/EP2582143A4/en
Priority to US13/700,939 priority patent/US20130069942A1/en
Priority to CN201180028234.1A priority patent/CN103081476B/zh
Priority to PCT/KR2011/002443 priority patent/WO2011155697A2/ko
Publication of KR20110134142A publication Critical patent/KR20110134142A/ko
Application granted granted Critical
Publication of KR101385514B1 publication Critical patent/KR101385514B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 발명의 일 실시예는 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치에 관한 것이다.
본 발명의 일 실시예는 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정하는 깊이 맵 추정부; 상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용부; 상기 이동에 따라 상기 프레임 내에 빈 픽셀이 발생하는 경우, 상기 빈 픽셀의 인접 픽셀들에 가중치를 적용하여 상기 빈 픽셀 내에 보간(Interpolation) 픽셀이 형성되도록 하는 입체 영상 보간부; 및 상기 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)되도록 하는 입체 영상 렌더링 처리부를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치를 제공한다.
본 발명의 일 실시예에 의하면, 2D 영상 중 자막과 같이 인접 픽셀 간의 깊이 맵 정보에 변화가 큰 영상을 입체 영상으로 변환할 때, 자막의 해당 글자와 같은 오브젝트의 원형을 보존하면서 입체감이 나타나도록 하는 효과가 있다.

Description

깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치{Method And Apparatus for Transforming Stereoscopic Image by Using Depth Map Information}
본 발명의 일 실시예는 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치에 관한 것이다. 더욱 상세하게는, 입력된 2D 영상 컨텐츠를 입체 영상 컨텐츠로 변환할 때, 2D 영상컨텐츠에 해당 컨텐츠에 대한 깊이 맵(Depth Map) 정보를 적용하여 입체 영상 컨텐츠를 만듦에 있어서, 이 때 발생하는 어클루션(Occlusion) 현상을 개선하기 위해, 빈 픽셀 정보를 보간(Unterpolation) 처리하여, 입체 카메라로 촬영한 것과 유사한 입체 이미지로 렌더링(Rendering)할 수 있도록 하는 입체 영상 변환 방법 및 장치에 관한 것이다.
디지털 기술이 고도로 발전하고, 방송과 통신의 융합으로 방송 매체가 다양해짐에 따라 디지털 기술의 특성을 이용한 방송 관련 부가 서비스들이 새롭게 선보이고 있다. 현재 TV와 같은 영상 서비스의 발전 방향은 고화질과 대화면으로 가고 있으나, 아직까지 2D 영상 컨텐츠만을 제공하기 때문에 현재의 영상 컨텐츠를 통해서 시청자는 입체감을 느낄 수 없다.
이에 따라 점진적으로 입체 영상의 필요성이 대두되고 있는 실정이나 아직까지 입체 영상의 컨텐츠가 많이 부족한 실정이다. 입체 영상 처리기술은 차세대 정보통신 서비스 분야의 핵심 기술로서, 정보산업 사회로의 발달과 더불어 기술개발 경쟁이 치열한 최첨단 기술이다. 이러한 입체 영상 처리기술은 멀티미디어 응용에서 고품질의 영상 서비스를 제공하기 위해 필수적인 요소이며, 오늘날에는 이러한 정보통신 분야뿐만 아니라 방송, 의료, 교육, 군사, 게임, 가상현실 등 그 응용분야가 매우 다양화되고 있다.
따라서, 2D 영상 컨텐츠를 입체 영상 컨텐츠로 변환하여 제공하는 기술이 필요한 실정이다. 하지만 현재의 기술로는 2D 영상 컨텐츠를 입체 영상 컨텐츠로 변환하는 경우 화면 내의 오브젝트와 배경 이미지가 조화를 이루지 못하여 장시간 시청시 시청자의 눈 피로감을 가중시키고, 시청자로 하여금 충분한 입체감을 느끼지 못하게 하는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명의 일 실시예는, 2D 영상이 입체 카메라로 촬영한 것과 유사한 입체 이미지로 렌더링되도록 하는 어클루션(Occlusion) 기술을 제공하기 위한 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치를 제공하는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 일 실시예는, 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정하는 깊이 맵 추정부; 상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용부; 상기 이동에 따라 상기 프레임 내에 빈 픽셀이 발생하는 경우, 상기 빈 픽셀의 인접 픽셀들에 가중치를 적용하여 상기 빈 픽셀 내에 보간(Interpolation) 픽셀이 형성되도록 하는 입체 영상 보간부; 및 상기 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)되도록 하는 입체 영상 렌더링 처리부를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 입력된 영상 데이터의 각각의 프레임 내에 존재하는 각각의 픽셀 별로 깊이 맵 정보를 추정하는 깊이 맵 추정부; 상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용부; 및 상기 이동에 따른 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 하는 입체 영상 렌더링 처리부를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정하는 깊이 맵 추정 단계; 상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용 단계; 상기 이동에 따라 상기 프레임 내에 빈 픽셀이 발생하는 경우, 상기 빈 픽셀의 인접 픽셀들에 가중치를 적용하여 상기 빈 픽셀 내에 보간(Interpolation) 픽셀이 형성되도록 하는 입체 영상 보간 단계; 및 상기 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)되도록 하는 입체 영상 렌더링 처리 단계를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 입력된 영상 데이터의 각각의 프레임 내에 존재하는 각각의 픽셀 별로 깊이 맵 정보를 추정하는 깊이 맵 추정 단계; 상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용 단계; 및 상기 이동에 따른 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 하는 입체 영상 렌더링 처리 단계를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 입력된 2D 영상 컨텐츠를 입체 영상 컨텐츠로 변환할 때, 2D 영상 컨텐츠에 깊이 맵 정보를 적용하며 깊이 맵 정보 적용에 따른 빈 픽셀을 보간처리하여 입체 카메라로 촬영한 것과 유사한 입체 이미지가 렌더링되도록 하는 효과가 있다.
또한, 본 발명의 일 실시예에 의하면, 2D 영상 중 자막과 같이 인접 픽셀 간의 깊이 맵 정보에 변화가 큰 영상을 입체 영상으로 변환할 때, 자막의 해당 글자와 같은 오브젝트의 원형을 보존하면서 입체감이 나타나도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 변환 장치를 개략적으로 나타낸 블럭 구성도,
도 2는 본 발명의 일 실시예에 따른 깊이 맵 정보를 이용한 입체 영상 변환 방법을 설명하기 위한 순서도,
도 3은 본 발명의 일 실시예에 따른 깊이 맵 적용에 따른 좌측 시야용 이미지와 우측 시야용 이미지 생성에 대한 예시도,
도 4는 본 발명의 일 실시예에 따른 빈 픽셀과 빈 픽셀 그룹에 대한 예시도,
도 5는 본 발명의 일 실시예에 따른 좌측 시야용 이미지와 우측 시야용 이미지의 생성 방향에 대한 예시도,
도 6은 본 발명이 일 실시예에 따른 2D 이미지를 우측 시야용 이미지로 변환한 경우 영상의 위치 변화를 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 2D 이미지의 오브젝트를 좌측 시야용 이미지와 우측 시야용 이미지로 변환한 경우의 예시도,
도 8은 본 발명의 일 실시예에 따른 2D 이미지의 글자를 좌측 시야용 이미지와 우측 시야용 이미지로 변환한 경우의 예시도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 입체 영상 변환 장치 110: 깊이 맵 추정부
120: 깊이 맵 적용부 130: 입체 영상 보간부
140: 입체 영상 렌더링 처리부 410: 빈 픽셀
420: 빈 픽셀 그룹
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 입체 영상 변환 장치를 개략적으로 나타낸 블럭 구성도이다.
본 발명의 일 실시예에 따른 입체 영상 변환 장치(100)는 깊이 맵 추정부(110), 깊이 맵 적용부(120), 입체 영상 보간부(130) 및 입체 영상 렌더링 처리부(140)를 포함한다. 한편, 본 발명의 일 실시예에서는 입체 영상 변환 장치(100)가 깊이 맵 추정부(110), 깊이 맵 적용부(120), 입체 영상 보간부(130) 및 입체 영상 렌더링 처리부(140)만을 포함하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 입체 영상 변환 장치(100)에 포함되는 구성 요소에 대하여 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 발명의 일 실시예에 따른 입체 영상 변환 장치(100)는 입력 영상을 입체 영상으로 변환하는 장치를 말한다. 즉, 입체 영상 변환 장치(100)는 방송국과 같은 영상 컨텐츠 제공 업체로부터 2D 영상 데이터를 입력받고 이를 디스플레이하기 전에 입체 영상으로 변환할 수 있는 장치를 말한다. 여기서, 입체 영상 변환 장치(100)는 TV, 모니터와 같은 디스플레이 장치에 탑재되는 형태로 구현되거나 셋톱박스(Set-Top Box)와 같이 별도의 장치로 구현되어 디스플레이 장치와 연동하는 형태로 구현될 수 있을 것이다. 따라서, 본 발명에서는 입체 영상 변환 장치(100)가 입력 영상을 입체 영상인 좌측 시야용 이미지와 우측 시야용 이미지로 변환하는 것까지만 기술하도록 하며, 이후 디스플레이 장치에서 입체 영상을 안경 방식 (Stereoscopic) 또는 무안경 방식 (Auto-Stereoscopic)으로 디스플레이하는 것에 대해서는 별도로 언급하지 않도록 한다.
본 발명에서 기재된 입체 영상은 크게 두 가지 관점으로 정의할 수 있다. 첫 번째로, 입체 영상은 영상에 깊이 맵 정보를 적용시켜 영상의 일부가 화면으로부터 돌출되는 느낌을 사용자가 느낄 수 있는 영상으로 정의할 수 있다. 두 번째로, 입체 영상은 사용자에게 다양한 시점을 제공하여 그로부터 사용자가 영상에서 현실감을 느낄 수 있는 영상으로 정의할 수 있다. 즉, 본 발명에 기재된 입체 영상은 시청자가 마치 시청각적 입체감을 느끼게 함으로써 생동감 및 현실감을 제공하는 영상을 말한다. 이러한 입체 영상은 획득 방식, 깊이감(Depth Impression), 디스플레이 방식 등에 따라 양안식, 다안식, IP(Integral Photography), 다시점(옴니(Omni), 파노라마), 홀로그램 등으로 분류할 수 있다. 또한, 이러한 입체 영상을 표현하는 방법으로는 크게 영상 기반 표현법(Image-Based Representation)과 메쉬 기반 표현법(Mesh-Based Representation)이 있다.
또한, 입체 영상을 표현하는 방식으로 깊이 영상 기반 렌더링(DIBR; Depth Image-Based Rendering)방식이 있다. 깊이 영상 기반 렌더링은 관련된 각 픽셀마다 깊이나 차이각 등의 정보를 가진 참조 영상들을 이용하여 다른 시점에서의 장면들을 창출하는 방식을 말한다. 이러한 깊이 영상 기반 렌더링은 3D 모델의 표현하기 어렵고 복잡한 형상을 용이하게 렌더링할 뿐만 아니라, 일반적인 영상 필터링과 같은 신호처리 방법의 적용을 가능하게 하며, 고품질의 입체 영상을 생성할 수 있다. 이러한 깊이 영상 기반 렌더링은 깊이 카메라 및 멀티뷰 카메라를 통하여 획득되는 깊이 영상과 텍스쳐 영상을 이용한다.
또한, 깊이 영상은 3D 공간상에 위치하는 오브젝트와 그 오브젝트를 촬영하는 카메라 사이의 거리를 흑백의 단위로 나타내는 영상이다. 이러한 깊이 영상은 깊이 맵 정보와 카메라 파라미터를 통하여 3D 복원기술 또는 3D 워핑(Warping) 기술에 이용된다. 또한, 깊이 영상은 자유시점 TV와 3D TV에 응용된다. 자유시점 TV는 정해진 하나의 시점에서만 영상을 감상하지 않고 사용자의 선택에 따라 임의의 시점에서 영상을 시청할 수 있게 하는 TV를 말한다. 3D TV는 기존 2D TV에 깊이 영상을 더한 영상을 구현한다. 이와 같은 자유시점 TV와 3D TV에서 부드러운 시점 전환을 위해서는 중간영상을 생성하여야 하며, 이를 위해 정확한 깊이 맵 정보를 추정해야 한다. 한편, 본 발명에서 깊이 맵 정보를 추정하는 방법에 대해서는 깊이 맵 추정부(110)를 통해 자세히 설명하도록 한다.
깊이 맵 추정부(110)는 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정한다. 여기서, 각각의 픽셀은 R, G, B 서브 픽셀을 포함한다. 또한, 입력된 영상 데이터는 2D 영상 데이터를 말한다. 한편, 깊이 맵 추정부(110)는 깊이 맵 정보를 추정하기 위한 일반적인 방식으로는 스테레오 정합(Stereo Matching) 알고리즘이 이용할 수 있다. 스테레오 정합 알고리즘은 변이값을 구하기 위해 주변 영상에서 수평 방향으로만 탐색을 하고, 병렬 카메라 구성에서 얻은 영상 또는 교정(Rectification) 과정을 거친 영상만을 입력하는 방식이다. 본 발명에 기재된 깊이 맵 정보는 깊이감을 나타내 주는 정보를 의미하며, Z-버퍼(Buffer)라 일컫기도 한다.
또한, 깊이 맵 추정부(110)는 각각의 프레임을 분석하여 화면의 기울기, 오브젝트의 그림자, 화면 초점 및 오브젝트 패턴 중 적어도 하나 이상의 정보를 이용하여 깊이 맵 정보를 추정한다. 예를 들어서, 깊이 맵 추정부(110)는 프레임 내의 기울기를 이용하는 방식으로 프레임 내의 화면 하단에 위치하는 이미지가 가깝고 상단에 위치하는 이미지는 멀리 있는 것으로 판단하여 깊이 맵 정보를 추정할 수 있다. 또한, 깊이 맵 추정부(110)는 오브젝트의 그림자를 이용하는 방식으로 프레임 내의 오브젝트의 어두운 부분은 멀리 있고 밝은 부분은 가까이 있는 것으로 판단하여 깊이 맵 정보를 추정할 수 있다. 즉, 그림자는 항상 오브젝트보다 뒤에 있는 원리를 이용한 방식이다. 또한, 깊이 맵 추정부(110)는 화면 초점을 이용하는 방식으로 선명한 물체는 앞에 있고 흐린 물체는 뒤에 있는 것으로 판단하여 깊이 맵 정보를 추정할 수 있다. 또한, 깊이 맵 추정부(110)는 오브젝트 패턴(Pattern)을 이용하는 방식으로 동일 유형의 패턴이 연속되어 나올 경우 패턴의 크기가 큰 것이 작은 것보다 앞에 있는 것으로 판단하여 깊이 맵 정보를 추정할 수 있다.
한편, 본 발명에서는 입체 영상 변환 장치(100)가 깊이 맵 추정부(110)를 통해 입력 영상으로부터 깊이 맵 정보를 추출하는 것만을 기재하고 있으나, 이는 본 발명의 실시예에 대한 것으로서 반드시 이에 한정되는 것은 아니다. 즉, 입체 영상 변환 장치(100)가 입력 영상과 더불어 별도의 깊이 맵 정보를 외부로부터 수신하는 경우, 입체 영상 변환 장치(100)는 깊이 맵 추정부(110)를 이용하여 입력 영상으로부터 깊이 맵 정보를 추출할 필요없이 외부로부터 수신된 깊이 맵 정보를 이용할 수 있는 것이다.
깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 X축 방향으로 이동시키는 기능을 수행한다. 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 가감산하여 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 한다. 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 가산된 픽셀이 좌측 시야용 이미지가 되도록 한다. 깊이 맵 적용부(120)는 프레임 내에 X축 좌표의 끝점인 Xn의 픽셀 위치로부터 시작점인 X0의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하여 좌측 시야용 이미지가 되도록 한다.
깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 감산된 픽셀이 우측 시야용 이미지가 되도록 한다. 깊이 맵 적용부(120)는 프레임 내에 X축 좌표의 시작점인 X0의 픽셀 위치로부터 끝점인 Xn의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하여 우측 시야용 이미지가 되도록 한다. 한편, 깊이 맵 적용부(120)는 각각의 프레임 중 현재 프레임과, 이전 또는 미래 프레임인 참조 프레임의 비교를 통해 움직임이 추정되는 오브젝트를 인식하고, 오브젝트에 해당하는 픽셀에 대해서 깊이 맵 정보 만큼 X축 방향으로 이동시킨다. 여기서, 깊이 맵 적용부(120)는 프레임 내의 오브젝트 및 배경 모두에 대해 깊이 맵 정보를 적용하는 것이 바람직하나 본 발명의 일 실시예의 적용에 있어서, 프레임 내의 배경과 오브젝트를 분리하여 오브젝트에만 깊이 맵 정보를 적용할 수도 있는 것이다.
입체 영상 보간부(130)는 이동된 픽셀에 따라 프레임 내에 빈 픽셀이 발생하는 경우, 빈 픽셀의 인접 픽셀들에 기 설정된 가중치를 적용하여 빈 픽셀 내에 보간(Interpolation) 픽셀이 형성되도록 하는 기능을 수행한다. 여기서, 빈 픽셀은 픽셀 정보가 입력되지 않은 픽셀을 말한다. 입체 영상 보간부(130)는 빈 픽셀이 한 개인 경우, 인접 픽셀들의 중간값이 되도록 하는 상수를 가중치로 적용한다. 입체 영상 보간부(130)는 빈 픽셀의 인접 픽셀인 좌측 인접 픽셀과 우측 인접 픽셀에 동일한 상수를 곱한 후 동일한 상수가 곱해진 좌측 인접 픽셀과 우측 인접 픽셀을 가산한 값으로 보간 픽셀을 형성한다. 입체 영상 보간부(130)는 빈 픽셀(410)이 복수 개인 빈 픽셀 그룹(420)인 경우, 빈 픽셀 그룹(420) 중 보간하고자 하는 특정 빈 픽셀과 인접 픽셀들의 거리에 비례하는 상수를 가중치로 적용한다. 입체 영상 보간부(130)는 빈 픽셀 그룹(420)과 인접한 최 좌측 인접 픽셀과 최 우측 인접 픽셀의 거리에 비례한 상수를 곱한 후 거리에 비례한 상수가 곱해진 최 좌측 인접 픽셀과 최 우측 인접 픽셀을 가산한 값으로 보간 픽셀을 형성한다. 한편, 입체 영상 렌더링 처리부(140)는 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)되도록 하는 기능을 수행한다. 이러한, 2D 영상 데이터에 포함된 2D 이미지의 픽셀들을 3D 이미지인 좌측 시야용 이미지와 우측 시야용 이미지로 변환하기 위해 픽셀을 이동시키는 것을 어클루션(Occlusion)이라 한다.
도 2는 본 발명의 일 실시예에 따른 깊이 맵 정보를 이용한 입체 영상 변환 방법을 설명하기 위한 순서도이다.
입체 영상 변환 장치(100)는 방송국과 같은 영상 컨텐츠 제공 업체로부터 2D 영상 데이터를 입력받는다. 입체 영상 변환 장치(100)의 깊이 맵 추정부(110)는 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정한다(S210). 깊이 맵 추정부(110)는 각각의 프레임을 분석하여 화면의 기울기, 오브젝트의 그림자, 화면 초점 및 오브젝트 패턴 중 적어도 하나 이상의 정보를 이용하여 깊이 맵 정보를 추정한다.
입체 영상 변환 장치(100)의 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 X축 방향으로 이동시킨다(S220). 즉, 입체 영상 변환 장치(100)의 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 가감산하여 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 한다. 더 구체적으로 설명하자면, 입체 영상 변환 장치(100)의 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 가산된 픽셀이 좌측 시야용 이미지가 되도록 한다. 즉, 입체 영상 변환 장치(100)의 깊이 맵 적용부(120)는 프레임 내에 X축 좌표의 끝점인 Xn의 픽셀 위치로부터 시작점인 X0의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하여 좌측 시야용 이미지가 되도록 한다. 입체 영상 변환 장치(100)의 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 감산된 픽셀이 우측 시야용 이미지가 되도록 한다. 또한, 입체 영상 변환 장치(100)의 깊이 맵 적용부(120)는 프레임 내에 X축 좌표의 시작점인 X0의 픽셀 위치로부터 끝점인 Xn의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하여 우측 시야용 이미지가 되도록 한다.
입체 영상 변환 장치(100)의 입체 영상 보간부(130)는 이동된 픽셀에 따라 프레임 내에 빈 픽셀(410)이 발생하는지의 여부를 확인한다(S230). 단계 S230의 확인 결과, 빈 픽셀(410)이 발생하는 경우, 입체 영상 변환 장치(100)의 입체 영상 보간부(130)는 빈 픽셀(410)이 한 개인지의 여부를 확인한다(S240).
단계 S240의 확인 결과, 빈 픽셀(410)이 한 개인 경우, 입체 영상 변환 장치(100)의 입체 영상 보간부(130)는 빈 픽셀의 인접 픽셀들에 중간값이 되도록 하는 상수를 가중치로 적용하면 빈 픽셀 내에 보간 픽셀을 형성한다(S250). 즉, 입체 영상 변환 장치(100)의 입체 영상 보간부(130)는 빈 픽셀의 인접 픽셀인 좌측 인접 픽셀과 우측 인접 픽셀에 동일한 상수를 곱한 후 동일한 상수가 곱해진 좌측 인접 픽셀과 우측 인접 픽셀을 가산한 값으로 보간 픽셀을 형성한다.
한편, 단계 S240의 확인 결과, 빈 픽셀(410)이 한 개가 아닌 경우, 입체 영상 변환 장치(100)의 입체 영상 보간부(130)는 빈 픽셀이 복수 개인 빈 픽셀 그룹(420)인 것으로 판단하여 빈 픽셀 그룹(420) 중 보간하고자 하는 특정 빈 픽셀과 인접 픽셀들의 거리에 비례하는 상수를 가중치로 적용하여 빈 픽셀 내에 보간 픽셀을 형성한다(S260). 즉, 입체 영상 변환 장치(100)의 입체 영상 보간부(130)는 빈 픽셀 그룹(420)과 인접한 최 좌측 인접 픽셀과 최 우측 인접 픽셀의 거리에 비례한 상수를 곱한 후 거리에 비례한 상수가 곱해진 최 좌측 인접 픽셀과 최 우측 인접 픽셀을 가산한 값으로 보간 픽셀을 형성한다. 입체 영상 변환 장치(100)의 입체 영상 렌더링 처리부(140)는 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 한다(S270).
도 2에서는 단계 S210 내지 단계 S270을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S210 내지 단계 S270 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 2에 기재된 본 발명의 일 실시예에 따른 깊이 맵 정보를 이용한 입체 영상 변환 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 발명의 일 실시예에 따른 깊이 맵 정보를 이용한 입체 영상 변환 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 발명의 일 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명의 일 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 깊이 맵 적용에 따른 좌측 시야용 이미지와 우측 시야용 이미지 생성에 대한 예시도이다.
깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 X축 방향으로 이동시킨다. 깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 가감산하여 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 한다.
깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 감산된 픽셀이 우측 시야용 이미지가 되도록 한다. 다시 말하자면, 도 3에 도시된 바와 같이, 입체 영상 변환 장치(100)가 입력 영상인 2D 이미지로부터 추출한 각각의 픽셀의 깊이 맵 정보를 이용하여 입체 이미지의 우측 시야용 이미지를 생성하는 방법으로, 입력 영상의 X축 값을 해당 픽셀의 깊이 맵 정보에 해당하는 만큼 좌측으로 옮겨 배치하는 것이다. 즉, 도 3에 도시된 바와 같이, X축의 10 번째 픽셀인 P10에 대해 깊이 맵 정보가 7인 것으로 가정하는 경우, 깊이 맵 적용부(120)는 우측 시야용 이미지를 위해 10 번째 픽셀인 P10에 깊이 맵 정보인 7만큼을 감산하여 P3의 픽셀 위치로 이동시키는 것이다. 여기서, 깊이 맵 적용부(120)는 프레임 내에 X축 좌표의 시작점인 X0의 픽셀 위치로부터 끝점인 Xn의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하여 우측 시야용 이미지가 되도록 한다. 즉, 우측 시야용 이미지의 경우 10, 11 번째 픽셀의 깊이 맵 정보가 각각 7일 경우, 10 번째 픽셀은 우측 시야용 이미지의 3 번째 픽셀 위치로 이동하게 되고, 11 번째 픽셀은 바로 옆인 4번 픽셀 위치로 이동하게 되어 픽셀의 연속성이 유지된다. 한편, 이러한 경우 각각의 픽셀 위치와 깊이 맵 정보에 따라, 인접된 픽셀의 중간에 픽셀 데이터가 존재하지 않는 빈 공간인 빈 픽셀(410)이 발생할 수 있다.
깊이 맵 적용부(120)는 각각의 픽셀 별로 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 가산된 픽셀이 좌측 시야용 이미지가 되도록 한다. 다시 말하자면, 도 3에 도시된 바와 같이, 입체 영상 변환 장치(100)가 입력 영상인 2D 이미지로부터 추출한 각각의 픽셀의 깊이 맵 정보를 이용하여 입체 이미지의 좌측 시야용 이미지를 생성하는 방법으로, 입력 영상의 X축 값을 해당 픽셀의 깊이 맵 정보에 해당하는 만큼 좌측으로 옮겨 배치하는 것이다. 즉, 도 3에 도시된 바와 같이, X축의 10 번째 픽셀인 P10에 대해 깊이 맵 정보가 7인 것으로 가정하는 경우, 깊이 맵 적용부(120)는 좌측 시야용 이미지를 위해 10 번째 픽셀인 P10에 깊이 맵 정보인 7만큼을 가산하여 P17의 픽셀 위치로 이동시키는 것이다. 여기서, 깊이 맵 적용부(120)는 프레임 내에 X축 좌표의 끝점인 Xn의 픽셀 위치로부터 시작점인 X0의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하여 좌측 시야용 이미지가 되도록 한다. 즉, 좌측 시야용 이미지의 경우 10, 11 번째 픽셀의 깊이 맵 정보가 각각 7일 경우, 10 번째 픽셀은 우측 시야용 이미지의 17 번째 픽셀 위치로 이동하게 되고, 11 번째 픽셀은 바로 옆인 18번 픽셀 위치로 이동하게 되어 픽셀의 연속성이 유지된다. 한편, 이러한 경우 각각의 픽셀 위치와 깊이 맵 정보에 따라, 인접된 픽셀의 중간에 픽셀 데이터가 존재하지 않는 빈 공간인 빈 픽셀(410)이 발생할 수 있다.
도 4는 본 발명의 일 실시예에 따른 빈 픽셀과 빈 픽셀 그룹에 대한 예시도이다.
도 4에 도시된 바와 같이 입체 영상 변환 장치(100)가 입력 영상을 우측 시야용 이미지로 변환할 때, 각각의 픽셀 별로 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 각각의 픽셀을 이동시키는 과정에서 인접된 픽셀의 중간에 픽셀 데이터가 존재하지 않는 빈 공간인 빈 픽셀(410)이 발생할 수 있다. 즉, 도 4에 도시된 바와 같이, X축의 10 번째 픽셀인 P10에 대해 깊이 맵 정보를 7로 가정하고, 11 번째 픽셀인 P11에 대해 깊이 맵 정보를 6으로 가정하는 경우, 우측 시야용 이미지를 위해 10 번째 픽셀인 P10에 깊이 맵 정보인 7만큼을 감산하여 P3의 픽셀 위치로 이동시키고, 11 번째 픽셀인 P11에 깊이 맵 정보인 6만큼을 감산하여 P5의 픽셀 위치로 이동시키게 되는데 이러한 경우, P3과 P5 사이에 P4에 픽셀 데이터가 존재하지 않는 빈 공간인 빈 픽셀(410)이 발생할 수 있는 것이다.
이때, 입체 영상 변환 장치(100)는 빈 픽셀을 보간하기 위해 입체 영상 보간부(130)를 이용하여 이동된 픽셀에 따라 프레임 내에 빈 픽셀(410)이 발생하는 경우, 빈 픽셀의 인접 픽셀들에 기 설정된 가중치를 적용하여 빈 픽셀 내에 보간 픽셀이 형성한다. 즉, P4와 같이 P3과 P5 사이의 빈 픽셀(410)이 한 개인 경우, 입체 영상 보간부(130)는 인접 픽셀인 P3과 P5의 중간값이 되도록 하는 상수를 가중치로 적용하여 P4에 보간 픽셀을 형성한다. 더 구체적으로 설명하자면, 입체 영상 보간부(130)는 빈 픽셀(P4)의 인접 픽셀인 좌측 인접 픽셀(P3)과 우측 인접 픽셀(P5)에 동일한 상수(0.5)를 곱한 후 동일한 상수가 곱해진 좌측 인접 픽셀(P3×0.5)과 우측 인접 픽셀(P5×0.5)을 가산한 값으로 보간 픽셀을 형성하는 것이다.
전술한 설명 중 P4에 포함된 R, G, B 서브 픽셀을 수학식으로 표현하면 [수학식 1]과 같다.
Figure pat00001
한편, 도 4에 도시된 바와 같이, X축의 11 번째 픽셀인 P11에 대해 깊이 맵 정보를 6으로 가정하고, 12 번째 픽셀인 P12에 대해 깊이 맵 정보를 4로 가정하는 경우, 우측 시야용 이미지를 위해 11 번째 픽셀인 P11에 깊이 맵 정보인 6만큼을 감산하여 P5의 픽셀 위치로 이동시키고, 12 번째 픽셀인 P12에 깊이 맵 정보인 4만큼을 감산하여 P8의 픽셀 위치로 이동시키게 되는데 이러한 경우, P5과 P8 사이에 P6과 P7과 같은 복수 개의 빈 픽셀인 빈 픽셀 그룹(420)이 발생할 수 있는 것이다.
이때, 입체 영상 보간부(130)는 빈 픽셀이 복수 개인 빈 픽셀 그룹(420)인 경우, 빈 픽셀 그룹(420) 중 보간하고자 하는 특정 빈 픽셀인 P6과 인접 픽셀인 P5와 P8들의 거리에 비례하는 상수인 0.66과 0.34를 가중치로 적용한다. 즉, 입체 영상 보간부(130)는 빈 픽셀 그룹(420)과 인접한 최 좌측 인접 픽셀인 P5와 최 우측 인접 픽셀인 P8의 거리에 비례한 상수를 곱한 후 거리에 비례한 상수인 0.66과 0.34가 곱해진 최 좌측 인접 픽셀(P5×0.66)과 최 우측 인접 픽셀(P8×0.34)을 가산한 값으로 보간 픽셀을 형성한다. 전술한 방법으로 P6에 보간 픽셀이 형성되면, P7은 인접 픽셀인 P6과 P8의 중간값이 되도록 하는 상수를 가중치로 적용하여 보간 픽셀을 형성한다. 더 구체적으로 설명하자면, 입체 영상 보간부(130)는 빈 픽셀(P7)의 인접 픽셀인 좌측 인접 픽셀(P6)과 우측 인접 픽셀(P8)에 동일한 상수(0.5)를 곱한 후 동일한 상수가 곱해진 좌측 인접 픽셀(P6×0.5)과 우측 인접 픽셀(P8×0.5)을 가산한 값으로 보간 픽셀을 형성하는 것이다.
전술한 설명 중 P6에 포함된 R, G, B 서브 픽셀을 수학식으로 표현하면 [수학식 2]와 같다.
Figure pat00002
한편, 전술한 설명 중 P7에 포함된 R, G, B 서브 픽셀을 수학식으로 표현하면 [수학식 3]과 같다. 단, 가중치는 실시예일 뿐이므로, 최적화를 통해 다양한 상수가 적용될 수 있을 것이다. 즉, 각각의 수학식에 적용된 가중치는 본 발명을 구현하기 위한 예시에 대한 가정일 뿐, 실질적으로 본 발명을 실시 과정에서는 각 상황에 따라 최적화된 가중치가 적용될 수 있다.
Figure pat00003
전술한 과정을 통해 프레임 내에 존재하는 오브젝트는 깊이 맵 정보 별로 가상의 우측 시야용 이미지의 픽셀 데이터가 존재하지 않는 빈 공간인 빈 픽셀에 보간 픽셀을 형성할 수 있게 된다. 즉, 좌측 시야용 이미자와 우측 시야용 이미지를 각각 다르게 처리하기 위해, 우측 시야용 이미지의 프로세싱의 진행 방향을 원본 영상의 좌측으로부터 우측 방향 즉, X0부터 Xn의 방향으로 진행하게 되며, 이때 깊이 맵 정보 값이 커서 이동 거리가 많은 픽셀 데이터는 인접한 픽셀 데이터에 덮어씌여(Over Write)지게 되어 오브젝트의 우측면에 대한 가상의 이미지가 만들어 지게 된다. 이때, 반대 원리로 좌측면의 이미지는 축소되는 것이다. 한편, 좌측 시야용 이미지를 만들 때는 우측 시야용 이미지의 프로세싱 방향과 반대(Xn부터 X0의 방향)로 진행되며, 이러한 과정을 거쳐 각 오브젝트의 좌측면에 가상의 좌측면 이미지가 생성되고, 반대의 원리로 우측면 이미지가 축소되는 것이다.
도 5는 본 발명의 일 실시예에 따른 좌측 시야용 이미지와 우측 시야용 이미지의 생성 방향에 대한 예시도이다.
도 5에 도시된 바와 같이 프레임의 해상도가 800×480인 경우, X축을 기준으로 픽셀은 P0,0에서 P799,0 방향이 되고, Y축을 기준으로 픽셀은 P0,0에서 P0,479으로 방향이 된다. 즉, 입체 영상 변환 장치(100)가 좌측 시야용 이미지를 생성하기 위해서는 프레임 내에 X축 좌표의 끝점인 P799,0의 픽셀 위치로부터 시작점인 P0,0의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하는 것이다. 한편, 입체 영상 변환 장치(100)가 우측 시야용 이미지를 생성하기 위해서는 프레임 내에 X축 좌표의 시작점인 P0,0의 픽셀 위치로부터 끝점인 P799 ,0의 픽셀 위치 방향으로 깊이 맵 정보를 순차 적용하는 것이다. 한편, 도 5에 도시된 바와 같이, X축을 기준으로 P0 ,0으로부터 P799 ,0까지 또는 P799 ,0으로부터 P0 ,0까지 깊이 맵 정보를 적용한 후 P0 ,1로부터 P799 ,1까지 또는 P799 ,1로부터 P0 , 1 까지 순차적으로 깊이 맵 정보를 적용할 수 있을 것이다.
도 6은 본 발명이 일 실시예에 따른 2D 이미지를 우측 시야용 이미지로 변환한 경우 영상의 위치 변화를 나타낸 예시도이다.
도 6에 도시된 표를 살펴보면, 입력 영상인 2D 이미지가 우측 시야용 이미지로 변환될 때, -◇-로 표시된 2D 이미지의 그래프와 -■-로 표시된 우측 시야용 이미지 그래프 간의 폭을 살펴보면, 깊이 맵 정보에 따라 우측 시야용 이미지에 해당하는 영역은 그래프 폭이 증가되어 있고, 그 반대 방향에 해당하는 영역은 그래프 폭이 감소되어 있음을 알 수 있다.
도 6에 도시된 표와 같이, 인접 픽셀 간의 깊이 맵 정보에 변화가 큰 영상의 경우, 예컨대 자막이 많이 포함된 영상을 입체 영상으로 변환하는 경우, 자막의 원형을 보존하고 입체감이 나타나도록 한다. 만약, 자막을 포함한 영상과 같이 인접 픽셀 간의 깊이 맵 정보 값의 변화가 큰 영상을 깊이 맵 정보 값에 따른 단순 픽셀 이동으로만 처리할 경우 인접 픽셀 간 깊이 맵 정보의 역전 현상이 발생되어 글자 깨짐 현상이 나타나게 된다. 이러한 글자 깨짐 현상은 입체감을 높여 변환할수록 각 픽셀에 대한 깊이 맵 정보 값이 커져, 더 심하게 나타나게 된다.
도 7은 본 발명의 일 실시예에 따른 2D 이미지의 오브젝트를 좌측 시야용 이미지와 우측 시야용 이미지로 변환한 경우의 예시도이다.
도 7에 도시된 바와 같이, 사람의 눈으로 도 7의 (a)와 같은 입체 도형을 볼 때 좌안과 우안에 의해 비춰지는 영상은 도 7의 (b)나 (c)와 같이 동일 하지 않다. 즉, 좌안으로 오브젝트를 볼 때 도 7의 (b)와 같이 오브젝트의 좌측면이 우측면 보다 더 많이 보이고, 우안으로 오브젝트를 볼 때 도 7의 (c)와 같이 오브젝트의 우측면이 좌측면 보다 더 많이 보이게 된다. 즉, 두 대의 카메라를 이용한 입체 촬영 장치로 도 7의 (a)와 같은 오브젝트를 촬영할 할 경우, 사람의 좌우 눈에 보여지는 영상과 동일한 영상이 촬영되어, 입체 영상 장치 통해 볼 때 촬영된 오브젝트의 공간적인 배치인 입체감을 느낄 수 있게 된다.
그러나, 한 대로 카메라로 촬영된 2D 영상 데이터를 입체 영상 데이터로 변환할 때에는 오브젝트의 공간 정보가 포함되어 있지 않아, 원본 영상이 가지고 있는 여러가지 특징들을 이용하여 가상의 공간 정보를 만들어 주어야 한다. 이러한, 2D 이미지에서 가상의 공간 정보를 추출하는 방법에는 영상의 엣지(Edge), 밝기, 초점(Focus), 오브젝트의 배치 등을 이용하는 방법들이 있으며, 이러한 방법들을 통해 만들어진 공간 정보를 이용하여, 원본 영상의 각 픽셀 이미지를 좌우 방향으로 새롭게 배치하여 입체 영상을 만들게 된다.
즉, 입체 영상 변환 장치(100)는 도 7의 (a)와 같은 입력 영상을 각각의 픽셀 별로 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 가산된 픽셀이 도 7의 (b)와 같은 좌측 시야용 이미지가 되도록 하는 것이다. 또한, 입체 영상 변환 장치(100)는 도 7의 (a)와 같은 입력 영상을 각각의 픽셀 별로 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 감산된 픽셀이 도 7의 (c)와 같은 우측 시야용 이미지가 되도록 하는 것이다.
도 8은 본 발명의 일 실시예에 따른 2D 이미지의 글자를 좌측 시야용 이미지와 우측 시야용 이미지로 변환한 경우의 예시도이다.
도 8에 도시된 표와 같이, 인접 픽셀 간의 깊이 맵 정보에 변화가 큰 영상의 경우, 예컨대 자막이 많이 포함된 영상을 입체 영상으로 변환하는 경우, 자막의 원형을 보존하고 입체감이 나타나도록 하는 것이다. 만약, 자막을 포함한 영상과 같이 인접 픽셀 간의 깊이 맵 정보 값의 변화가 큰 영상을 깊이 맵 정보 값에 따른 단순 픽셀 이동으로만 처리할 경우 인접 픽셀 간 깊이 맵 정보의 역전 현상이 발생되어 글자 깨짐 현상이 나타나게 된다. 이러한 글자 깨짐 현상은 입체감을 높여 변환할수록 각 픽셀에 대한 깊이 맵 정보 값이 커져, 더 심하게 나타나게 된다. 즉, 입체 영상 변환 장치(100)는 자막으로 입력되는 글자 중 '가'와 같은 오브젝트를 포함한 입력 영상을 각각의 픽셀 별로 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 가산된 픽셀이 도 8의 (a)와 같은 좌측 시야용 이미지로 변환할 수 있다. 또한, 입체 영상 변환 장치(100)는 자막으로 입력되는 글자 중 '가'와 같은 오브젝트를 포함한 입력 영상을 각각의 픽셀 별로 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 각각의 픽셀을 이동시키고, 감산된 픽셀이 도 8의 (b)와 같은 우측 시야용 이미지로 변환할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 2D 영상이 입체 카메라로 촬영한 것과 유사한 입체 이미지로 렌더링되도록 하는 어클루션 기술을 제공하는 다양한 분야에 적용되어, 2D 영상 중 자막과 같이 인접 픽셀 간의 깊이 맵 정보에 변화가 큰 영상을 입체 영상으로 변환할 때, 자막의 해당 글자와 같은 오브젝트의 원형을 보존하면서 입체감이 나타나도록 하는 효과를 발생하는 유용한 발명이다.

Claims (20)

  1. 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정하는 깊이 맵 추정부;
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용부;
    상기 이동에 따라 상기 프레임 내에 빈 픽셀이 발생하는 경우, 상기 빈 픽셀의 인접 픽셀들에 가중치를 적용하여 상기 빈 픽셀 내에 보간(Interpolation) 픽셀이 형성되도록 하는 입체 영상 보간부; 및
    상기 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)되도록 하는 입체 영상 렌더링 처리부
    를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  2. 제 1 항에 있어서,
    상기 입체 영상 보간부는,
    상기 빈 픽셀이 한 개인 경우, 상기 인접 픽셀들의 중간값이 되도록 하는 상수를 상기 가중치로 적용하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  3. 제 2 항에 있어서,
    상기 입체 영상 보간부는,
    상기 빈 픽셀의 인접 픽셀인 좌측 인접 픽셀과 우측 인접 픽셀에 동일한 상수를 곱한 후 상기 동일한 상수가 곱해진 상기 좌측 인접 픽셀과 상기 우측 인접 픽셀을 가산한 값으로 상기 보간 픽셀을 형성하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  4. 제 1 항에 있어서,
    상기 입체 영상 보간부는,
    상기 빈 픽셀이 복수 개인 빈 픽셀 그룹인 경우, 상기 빈 픽셀 그룹 중 보간하고자 하는 특정 빈 픽셀과 인접 픽셀들의 거리에 비례하는 상수를 상기 가중치로 적용하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  5. 제 4 항에 있어서,
    상기 입체 영상 보간부는,
    상기 빈 픽셀 그룹과 인접한 최 좌측 인접 픽셀과 최 우측 인접 픽셀의 거리에 비례한 상수를 곱한 후 상기 거리에 비례한 상수가 곱해진 상기 최 좌측 인접 픽셀과 상기 최 우측 인접 픽셀을 가산한 값으로 상기 보간 픽셀을 형성하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  6. 제 1 항에 있어서,
    상기 깊이 맵 적용부는,
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 가감산하여 상기 좌측 시야용 이미지 및 상기 우측 시야용 이미지가 렌더링되도록 하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  7. 제 6 항에 있어서,
    상기 깊이 맵 적용부는,
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 상기 각각의 픽셀을 이동시키고, 상기 가산된 픽셀이 상기 좌측 시야용 이미지가 되도록 하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  8. 제 7 항에 있어서,
    상기 깊이 맵 적용부는,
    상기 프레임 내에 X축 좌표의 끝점인 Xn의 픽셀 위치로부터 시작점인 X0의 픽셀 위치 방향으로 상기 깊이 맵 정보를 순차 적용하여 상기 좌측 시야용 이미지가 되도록 하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  9. 제 6 항에 있어서,
    상기 깊이 맵 적용부는,
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 상기 각각의 픽셀을 이동시키고, 상기 감산된 픽셀이 상기 우측 시야용 이미지가 되도록 하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  10. 제 9 항에 있어서,
    상기 깊이 맵 적용부는,
    상기 프레임 내에 X축 좌표의 시작점인 X0의 픽셀 위치로부터 끝점인 Xn의 픽셀 위치 방향으로 상기 깊이 맵 정보를 순차 적용하여 상기 우측 시야용 이미지가 되도록 하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  11. 제 1 항에 있어서,
    상기 깊이 맵 추정부는,
    상기 각각의 프레임을 분석하여 화면의 기울기, 오브젝트의 그림자, 화면 초점 및 오브젝트 패턴 중 적어도 하나 이상의 정보를 이용하여 상기 깊이 맵 정보를 추정하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  12. 제 1 항에 있어서,
    상기 깊이 맵 적용부는,
    상기 각각의 프레임 중 현재 프레임과, 이전 또는 미래 프레임인 참조 프레임의 비교를 통해 움직임이 추정되는 오브젝트를 인식하고, 상기 오브젝트에 해당하는 픽셀에 대해서 상기 깊이 맵 정보 만큼 X축 방향으로 이동시키는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  13. 제 1 항에 있어서,
    상기 각각의 픽셀은 R, G, B 서브 픽셀을 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  14. 입력된 영상 데이터의 각각의 프레임 내에 존재하는 각각의 픽셀 별로 깊이 맵 정보를 추정하는 깊이 맵 추정부;
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용부; 및
    상기 이동에 따른 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 하는 입체 영상 렌더링 처리부
    를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 장치.
  15. 입력된 영상 데이터의 각각의 프레임(Frame) 내에 존재하는 각각의 픽셀(Pixel) 별로 깊이 맵(Depth Map) 정보를 추정하는 깊이 맵 추정 단계;
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용 단계;
    상기 이동에 따라 상기 프레임 내에 빈 픽셀이 발생하는 경우, 상기 빈 픽셀의 인접 픽셀들에 가중치를 적용하여 상기 빈 픽셀 내에 보간(Interpolation) 픽셀이 형성되도록 하는 입체 영상 보간 단계; 및
    상기 보간 픽셀을 적용한 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링(Rendering)되도록 하는 입체 영상 렌더링 처리 단계
    를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법.
  16. 제 15 항에 있어서,
    상기 입체 영상 보간 단계는,
    상기 빈 픽셀이 한 개인 경우, 상기 빈 픽셀의 인접 픽셀인 좌측 인접 픽셀과 우측 인접 픽셀에 동일한 상수를 곱한 후 상기 동일한 상수가 곱해진 상기 좌측 인접 픽셀과 상기 우측 인접 픽셀을 가산한 값으로 상기 보간 픽셀을 형성하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법.
  17. 제 16 항에 있어서,
    상기 입체 영상 보간 단계는,
    상기 빈 픽셀이 복수 개인 빈 픽셀 그룹인 경우, 상기 빈 픽셀 그룹과 인접한 최 좌측 인접 픽셀과 최 우측 인접 픽셀의 거리에 비례한 상수를 곱한 후 상기 거리에 비례한 상수가 곱해진 상기 최 좌측 인접 픽셀과 상기 최 우측 인접 픽셀을 가산한 값으로 상기 보간 픽셀을 형성하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법.
  18. 제 15 항에 있어서,
    상기 깊이 맵 적용 단계는,
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 가산한 X축 픽셀 위치로 상기 각각의 픽셀을 이동시키되, 상기 프레임 내에 X축 좌표의 끝점인 Xn의 픽셀 위치로부터 시작점인 X0의 픽셀 위치 방향으로 상기 깊이 맵 정보를 순차 적용하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법.
  19. 제 15 항에 있어서,
    상기 깊이 맵 적용 단계는,
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 감산한 X축 픽셀 위치로 상기 각각의 픽셀을 이동시키되, 상기 프레임 내에 X축 좌표의 시작점인 X0의 픽셀 위치로부터 끝점인 Xn의 픽셀 위치 방향으로 상기 깊이 맵 정보를 순차 적용하는 단계를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법.
  20. 입력된 영상 데이터의 각각의 프레임 내에 존재하는 각각의 픽셀 별로 깊이 맵 정보를 추정하는 깊이 맵 추정 단계;
    상기 각각의 픽셀 별로 상기 깊이 맵 정보만큼 X축 방향으로 이동시키는 깊이 맵 적용 단계; 및
    상기 이동에 따른 좌측 시야용 이미지 및 우측 시야용 이미지가 렌더링되도록 하는 입체 영상 렌더링 처리 단계
    를 포함하는 것을 특징으로 하는 깊이 맵 정보를 이용한 입체 영상 변환 방법.
KR1020100053963A 2010-06-08 2010-06-08 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 KR101385514B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020100053963A KR101385514B1 (ko) 2010-06-08 2010-06-08 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP2013513099A JP2013534742A (ja) 2010-06-08 2011-04-07 デプスマップ情報を利用した立体映像変換方法及び装置
EP11792608.9A EP2582143A4 (en) 2010-06-08 2011-04-07 METHOD AND DEVICE FOR THREE-DIMENSIONAL IMAGE CONVERSION USING DEPTH CARD INFORMATION
US13/700,939 US20130069942A1 (en) 2010-06-08 2011-04-07 Method and device for converting three-dimensional image using depth map information
CN201180028234.1A CN103081476B (zh) 2010-06-08 2011-04-07 利用深度图信息转换三维图像的方法和设备
PCT/KR2011/002443 WO2011155697A2 (ko) 2010-06-08 2011-04-07 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100053963A KR101385514B1 (ko) 2010-06-08 2010-06-08 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110134142A true KR20110134142A (ko) 2011-12-14
KR101385514B1 KR101385514B1 (ko) 2014-04-16

Family

ID=45098484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100053963A KR101385514B1 (ko) 2010-06-08 2010-06-08 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치

Country Status (6)

Country Link
US (1) US20130069942A1 (ko)
EP (1) EP2582143A4 (ko)
JP (1) JP2013534742A (ko)
KR (1) KR101385514B1 (ko)
CN (1) CN103081476B (ko)
WO (1) WO2011155697A2 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276346B1 (ko) * 2011-10-31 2013-06-18 전자부품연구원 선택적 깊이 지도 회전 방법 및 장치
WO2013115463A1 (ko) * 2012-02-01 2013-08-08 에스케이플래닛 주식회사 영상 처리 장치 및 방법
WO2013151270A1 (en) * 2012-04-03 2013-10-10 Samsung Techwin Co., Ltd Apparatus and method for reconstructing high density three-dimensional image
KR101319260B1 (ko) * 2012-02-01 2013-10-18 (주)리얼디스퀘어 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법
KR101332021B1 (ko) * 2011-10-31 2013-11-25 전자부품연구원 깊이 지도 회전 방법 및 장치
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US10332307B2 (en) 2015-05-04 2019-06-25 Samsung Electronics Co., Ltd. Apparatus and method performing rendering on viewpoint disparity image
KR20200003584A (ko) * 2018-07-02 2020-01-10 경희대학교 산학협력단 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611908B (zh) * 2012-03-19 2014-08-06 清华大学 一种反向重采样fpga装置
CN102761765B (zh) * 2012-07-16 2014-08-20 清华大学 一种用于三维立体视频的深度快速插帧方法
US9544612B2 (en) * 2012-10-04 2017-01-10 Intel Corporation Prediction parameter inheritance for 3D video coding
CN105216306B (zh) * 2014-05-30 2018-03-30 深圳创锐思科技有限公司 雕刻模型生成系统及方法、雕刻模型3d打印系统及方法
KR101748637B1 (ko) 2014-08-05 2017-06-20 한국전자통신연구원 깊이 맵 생성 장치 및 방법
KR102146319B1 (ko) 2015-10-02 2020-08-25 에프. 호프만-라 로슈 아게 Pd1 및 tim3에 특이적인 이중특이성 항체
CN108805921B (zh) * 2018-04-09 2021-07-06 奥比中光科技集团股份有限公司 图像获取系统及方法
US20190387165A1 (en) * 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
WO2020139533A1 (en) * 2018-12-26 2020-07-02 Snap Inc. Creation and user interactions with three-dimensional wallpaper on computing devices
CN113875230B (zh) * 2019-05-23 2023-03-28 奇跃公司 混合模式三维显示方法
CN110460831B (zh) * 2019-08-22 2021-12-03 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
US11039113B2 (en) 2019-09-30 2021-06-15 Snap Inc. Multi-dimensional rendering
CN117853642A (zh) 2019-12-06 2024-04-09 奇跃公司 虚拟、增强和混合现实系统和方法
CN117095134B (zh) * 2023-10-18 2023-12-22 中科星图深海科技有限公司 一种三维海洋环境数据插值处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3096595B2 (ja) * 1994-12-28 2000-10-10 三洋電機株式会社 立体映像発生装置
JP3249335B2 (ja) * 1995-04-17 2002-01-21 三洋電機株式会社 ３次元映像変換方法
JP3771964B2 (ja) * 1996-03-12 2006-05-10 オリンパス株式会社 立体映像ディスプレイ装置
JPH1198533A (ja) * 1997-09-24 1999-04-09 Sanyo Electric Co Ltd ２次元映像を３次元映像に変換する方法
ID27878A (id) * 1997-12-05 2001-05-03 Dynamic Digital Depth Res Pty Konversi image yang ditingkatkan dan teknik mengenkodekan
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
JP3593466B2 (ja) * 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2000253422A (ja) * 1999-03-03 2000-09-14 Toshiba Corp ２次元映像からの立体映像生成方法
JP2000261828A (ja) * 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2001359119A (ja) * 2000-06-15 2001-12-26 Toshiba Corp 立体映像生成方法
JP4118146B2 (ja) * 2003-01-09 2008-07-16 三洋電機株式会社 立体画像処理装置
JP4006601B2 (ja) * 2004-03-29 2007-11-14 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
WO2006111893A1 (en) * 2005-04-19 2006-10-26 Koninklijke Philips Electronics N.V. Depth perception
CN101390131B (zh) * 2006-02-27 2013-03-13 皇家飞利浦电子股份有限公司 呈现输出图像
CN101287142A (zh) * 2008-05-16 2008-10-15 清华大学 基于双向跟踪和特征点修正的平面视频转立体视频的方法
CN101282492B (zh) * 2008-05-23 2010-07-21 清华大学 三维影像显示深度调整方法
CN101610423B (zh) * 2009-07-13 2010-09-08 清华大学 一种渲染图像的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276346B1 (ko) * 2011-10-31 2013-06-18 전자부품연구원 선택적 깊이 지도 회전 방법 및 장치
KR101332021B1 (ko) * 2011-10-31 2013-11-25 전자부품연구원 깊이 지도 회전 방법 및 장치
WO2013115463A1 (ko) * 2012-02-01 2013-08-08 에스케이플래닛 주식회사 영상 처리 장치 및 방법
KR101319260B1 (ko) * 2012-02-01 2013-10-18 (주)리얼디스퀘어 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법
WO2013151270A1 (en) * 2012-04-03 2013-10-10 Samsung Techwin Co., Ltd Apparatus and method for reconstructing high density three-dimensional image
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
US10332307B2 (en) 2015-05-04 2019-06-25 Samsung Electronics Co., Ltd. Apparatus and method performing rendering on viewpoint disparity image
KR20200003584A (ko) * 2018-07-02 2020-01-10 경희대학교 산학협력단 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치

Also Published As

Publication number Publication date
CN103081476B (zh) 2016-08-10
US20130069942A1 (en) 2013-03-21
WO2011155697A2 (ko) 2011-12-15
JP2013534742A (ja) 2013-09-05
KR101385514B1 (ko) 2014-04-16
EP2582143A4 (en) 2014-01-01
WO2011155697A3 (ko) 2012-02-02
CN103081476A (zh) 2013-05-01
EP2582143A2 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
JP4762994B2 (ja) 視差マップ
JP7036599B2 (ja) 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法
JP5406269B2 (ja) 奥行き検知装置及び方法
Tam et al. 3D-TV content generation: 2D-to-3D conversion
JP5317955B2 (ja) 複数の視野の効率的な符号化
JP5011316B2 (ja) 出力画像のレンダリング
US20100104219A1 (en) Image processing method and apparatus
CN100565589C (zh) 用于深度感知的装置和方法
JP2013527646A5 (ko)
WO2010113859A1 (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
Cheng et al. Spatio-temporally consistent novel view synthesis algorithm from video-plus-depth sequences for autostereoscopic displays
KR20130137000A (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
KR20090050783A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
CN102783161A (zh) 用于3d tv的视差分布估计
Tam et al. Stereoscopic image rendering based on depth maps created from blur and edge information
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
US20120170841A1 (en) Image processing apparatus and method
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
Lee et al. Temporally consistent depth map estimation for 3D video generation and coding
KR101192313B1 (ko) 깊이 영상의 시간적 상관도 향상 방법
JP2011119926A (ja) 映像処理装置、映像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170407

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180404

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 6