KR101748674B1 - 3차원 영상 생성 방법 및 장치 - Google Patents

3차원 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101748674B1
KR101748674B1 KR1020160060975A KR20160060975A KR101748674B1 KR 101748674 B1 KR101748674 B1 KR 101748674B1 KR 1020160060975 A KR1020160060975 A KR 1020160060975A KR 20160060975 A KR20160060975 A KR 20160060975A KR 101748674 B1 KR101748674 B1 KR 101748674B1
Authority
KR
South Korea
Prior art keywords
image
target
dimensional
depth
model
Prior art date
Application number
KR1020160060975A
Other languages
English (en)
Inventor
김은태
조성진
조형기
조해민
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160060975A priority Critical patent/KR101748674B1/ko
Application granted granted Critical
Publication of KR101748674B1 publication Critical patent/KR101748674B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G06T3/0056—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • H04N13/0456—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

임의의 2차원 영상을 3차원 영상으로 매핑시키는 백플레인 모델에, 타겟과 관련하여 획득된 영상을 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계 및 상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하고, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 단계를 포함한다.

Description

3차원 영상 생성 방법 및 장치 {Method and apparatus for producing three-dimensional image}
본 발명은 3차원 영상 생성 방법 및 장치에 관한 것으로, 특히 3차원 영성 과정에서 발생하는 음영 영역으로 존재하는 배경을 복원하고, 보정하는 방법 및 장치에 관한 것이다.
현대에는 가상현실, 증강현실 등의 분야들이 점점 발달되고 있고, 그에 따라 환경을 3차원 적으로 표현하는 기술의 필요성이 증대되고 있다.
이러한 3차원 환경을 재구성하기 위해 깊이(depth) 카메라를 이용하여 다양한 영상을 획득하여, 맵을 생성하여 고밀도의 3차원 환경을 모델링하여, 재구성하는 기술이 개발되고 있다.
그러나, 깊이 카메라의 경우, 카메라가 인식할 수 있는 깊이의 범위가 있어, 먼 거리의 물체에 대한 정보는 제공할 수 없다.
따라서, 3차원 환경을 재구성 기술은 깊이 카메라에 의존적이므로, 깊이 카메라가 명확하게 인식할 수 없는 부분은 음영영역으로 제공되어, 상기 영상이 자연스럽지 못하고, 활용범위가 제한적이다.
이처럼, 종래의 3차원 환경 재구성 기술은 특수한 작업환경 조건 즉, 좁은 환경에서만 활용될 수 있으며, 효과적인 작업을 위해 주변 환경에 대한 정보가 필요한 경우에는 활용하기 어려운 한계점이 존재한다.
한국 등록 특허 제 1223206호 (등록)
상술한 바와 같은 문제점을 해결하기 위해서, 본 발명은 새로운 개념의 3차원 영상 생성 장치를 이용하여, 정보가 불충분하여 재구성되지 않은 음영 영역을 보다 나은 영상으로 보정하여 제공함으로써, 원하는 시점에서의 적절한 영상으로 재구성하여, 사용자가 보다 효과적이고 유용한 정보를 획득할 수 있도록 한다.
이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따르는 3차원 영상 생성 방법은, 임의의 2차원 영상을 3차원 영상으로 매핑시키는 백플레인 모델에, 타겟과 관련하여 획득된 영상을 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계 및 상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하고, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 단계를 포함할 수 있다.
본 발명에서 타겟과 관련하여 획득된 영상은 타겟의 2차원 영상과 복수개의 깊이 영상을 포함할 수 있다.
본 발명에서 타겟 영상을 획득하는 단계는 2차원 영상을 3차원 영상으로 매핑시키기 위한 3차원 백플레인 모델을 생성하는 단계, 3차원 영상을 획득하고자 하는 타겟의 2차원 영상과 복수개의 깊이 영상을 획득하는 단계 및 상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계를 더 포함할 수 있다.
본 발명에서 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하는 것은, 상기 획득된 2차원 영상을 복수개의 블록들로 분할하는 단계 및 상기 블록들을 상기 3차원 백플레인 모델에 블록 단위로 매핑하는 단계를 더 포함할 수 있다.
본 발명에서 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 것은, 상기 2차원 영상을 획득하는 기준 시점과, 상기 주어진 시점간의 차이를 이용하여 상기 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 획득할 수 있다.
본 발명에서 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역을 제외한 영역을 깊이 값 예측 영역으로 결정하는 단계를 더 포함할 수 있고, 상기 획득된 타겟의 깊이 영상을 보정하는 단계는 상기 결정된 깊이 값 예측 영역과 상기 변형된 타겟 영상을 이용하여 상기 깊이 영상을 보정할 수 있다.
본 발명에서 깊이 값 예측 영역으로 결정하는 단계는, 상기 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성하는 단계를 더 포함할 수 있다.
본 발명에서 3차원 백플레인 모델을 생성하는 단계는, 상기 적어도 2차원 영상에서 왜곡이 일어나는 일부분에 각도 값을 높인 상기 3차원 백플레인 모델을 생성하여, 상기 영상의 왜곡을 보정하는 것을 특징으로 하는 것을 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르는 3차원 영상 생성 장치는 2차원 영상을 3차원 영상으로 매핑시키기 위한 3차원 백플레인 모델을 생성하는 3차원 백플레인 생성부, 3차원 영상을 획득하고자 하는 타겟의 2차원 영상과 복수개의 깊이 영상을 획득하는 영상 획득부, 상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하는 매핑부, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 영상 변형부 및 상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하여, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 영상 보정부를 포함할 수 있다.
본 발명에서 매핑부는, 상기 획득된 2차원 영상을 복수개의 블록들로 분할하여, 상기 분할한 블록들을 상기 3차원 백플레인 모델에 블록 단위로 매핑할 수 있다. 또한, 영상 변형부는, 상기 2차원 영상을 획득하는 기준 시점과, 상기 주어진 시점간의 차이를 이용하여 상기 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 획득할 수 있다. 영상 보정부는, 상기 주어진 시점에서의 상기 타겟의 깊이 영상과 상기 변형된 타겟 영상을 정합하여 상기 획득된 타겟의 깊이 영상을 보정하는 것을 특징으로 하는 것을 더 포함할 수 있다.
본 발명의 3차원 영상 생성 장치는 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역을 제외한 영역을 깊이 값 예측 영역으로 결정하고, 상기 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성하는 것을 마스크 생성부를 더 포함할 수 있다. 상기 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에, 상기 3차원 타겟 모델을 정합하여, 상기 타겟의 깊이 영상을 보정하는 것을 특징으로 하는 것을 더 포함할 수 있다.
또한, 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명은 3차원 영상 생성 방법이 컴퓨터에서 수행되며, 컴퓨터에서 판독 가능한 기록 매체를 제공한다.
상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 따르는 3차원 영상 생성 방법 및 장치는 두 장의 영상과 3차원 백플레인 모델을 이용해, 주어진 시점에서의 배경 영상을 생성하여, 음영 영역이 복원된 영상을 얻을 수 있다.
또한, 상기 복원된 영상을 얻을 수 있기 때문에 원격조정과 같은 기술을 이용하여, 사람이 직접 갈 수 없는 곳에 활용할 수 있다.
도1 은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치에 따른 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 획득 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 RGB 카메라와 타겟의 관계를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 백플레인 모델을 도시한 도면이다.
도 5은 본 발명의 일 실시예에 따른 2차원 영상과 3차원 백플레인 모델의 매핑을 도시한 도면이다.
도 6는 타겟의 깊이 영상을 보정하는 것을 나타내는 도면이다.
도 7는 본 발명의 일 실시예에 따른 3차원 영상 생성 방법의 흐름도이다.
첨부된 도면들을 참조하여 본 발명을 일 실시예에 따라 상세히 설명한다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 발명의 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 해당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라 질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.
나아가, 도면들 중 참조번호 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
따라서 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치에 따른 구성을 나타내는 도면이다.
도 1을 참고하면, 3차원 영상 생성 장치는 영상 획득부(300), 3차원 백플레인 생성부(400), 매핑부(500), 마스크 생성부(600), 영상 변형부(700) 및 영상 보정부(800)을 포함한다.
일 실시예에 따른, 영상 획득부(300)는 깊이 카메라(100)와 RGB 카메라(200)로부터 영상정보를 획득한다.
여기서, 깊이 카메라(100)는 장면을 포착하기 위한 타겟의 깊이 정보를 포함하는 영상을 획득하는 카메라이다. 깊이 카메라는 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 TOF(Time of Flight)방식을 이용하여, 장면에 대한 점이나 줄의 패턴을 감지함으로써 동작한다. 점이나 패턴들을 변형시키는 방법 또는 카메라에서 역 반사되는 빛을 취하는데 걸리는 시간을 통해서 장면에 대한 3차원 윤곽의 계산을 가능하도록 한다. 따라서, 깊이 카메라는(100)는 타겟의 깊이 정보를 포함하는 영상을 획득한다. 이 때, 일 실시예에 의한, 깊이 카메라(100)는 이동할 수 있고, 이동하며 다양한 시점에서의 타겟의 깊이 정보를 포함하는 복수개의 영상을 획득할 수 있다.
여기서, 타겟(target)은 전경과 배경을 포함하는 깊이 정보를 포함하는 3차원 영상을 생성하고자 하는 시점에서의 장면을 말한다.
RGB 카메라(200)는 3차원 영상을 획득하고자 하는 타겟의 2차원 영상을 획득한다. RGB(Red-Green-Blue) 카메라는, 빨강, 초록 그리고 파랑색을 광원의 삼원색으로 정하고, 조합 정도에 따라 물체의 색상을 보다 효과적으로 표현할 수 있는 카메라이다. 여기서 실시예에 따른, 3차원 영상을 획득하고자 하는 타겟은 주어진 시점에 의해 깊이 카메라(100)의 기 설정된 위치에서 획득된 깊이 영상에서 전경에 의해 가려진 음영 영역을 포함하는 배경을 포함하는 타겟 영상을 말한다. 따라서, RGB 카메라(200)는 깊이 카메라(100)의 위치를 인지하고, 다른 위치에서 타겟의 2차원 영상을 획득할 수 있다. 여기에서, 2차원 영상은, 2차원 또는 3차원 영상을 포함하는 개념으로서, 일 예로 RGB 카메라로부터 획득되는 2차원 영상을 의미한다.
영상 획득부(300)는 깊이 카메라(100)가 획득한 RGB 카메라(200)가 획득한 음영 영역을 포함하는 배경을 포함하는 타겟의 2차원 영상을 전달 받아 획득한다.
여기에서, 일 실시예에 따른, 깊이 영상은 깊이 카메라(100)를 통해서 획득되는 영상으로서, RGB 카메라(200)와는 별개로 또는 동일한 장치로 구현될 수 있다.
3차원 백플레인 생성부(400)는 배경을 포함하는 타겟의 2차원 영상을 3차원 영상으로 매핑시키기 위한 3차원 백플레인 모델을 생성한다.
매핑부(500)는 3차원 백플레인 생성부(400)로부터 생성된 3차원 백플레인 모델과 상기 타겟의 2차원 영상을 매핑한다.
여기서, 도 2를 참조하여 일 실시예에 따른 보다 상세한 설명을 한다.
도 2는 본 발명의 일 실시예에 따른 영상 획득을 설명하기 위한 도면이다.
도 2의 (a)는 깊이 카메라(100)와 RGB 카메라(200)에 의한 영상 획득 단계를 나타내는 도면이다.
전경(10)과 배경(11)을 포함하는 타겟의 주어진 시점에서의 장면을 깊이 카메라(100)가 담는다. RGB 카메라(200)는 깊이 카메라(100)의 위치를 인식하고, 깊이 카메라(100)보다 높은 위치에서 전경(10)과 전경에 의해 가려진 음영 영역을 포함하는 배경(11)의 장면을 2차원 영상으로 획득한다.
도 2의 (b)는 RGB 카메라(200)에서 획득한 2차원 영상(210)을 3차원 백플레인 생성부(400)에서 생성한 3차원 백플레인 모델(410)에 매핑하는 것을 나타낸다.
도 3을 참조하여, 3차원 백플레인 모델(410)을 생성하는 방법을 구체적으로 설명한다.
본 발명의 일 실시예에 따른 3차원 영상 생성 장치는 이동장치(20)에 탑재하여, 사용자에 의해 원격조정으로 획득하고자 하는 타겟의 영상을 얻을 수 있도록 구현할 수 있다.
도 3에서, hm는 바닥면으로부터 RGB 카메라(200)까지의 높이를 의미하며, Rv는 RGB 카메라(200)에서 타겟의 거리이고, Rm은 카메라 시야범위에서 최외각 시작점(0,0)에서부터 카메라와 바닥면에 수직하는 수직면 사이의 거리이고, hn는 RGB 카메라(200)가 위치하는 곳에서부터 타겟의 최 상단까지의 높이이고, θm는 카메라 시야각을 정의하는 최외곽면, 그리고 바닥면에 수직하는 수직면이 이루는 각도이고, θv는 카메라의 시야각을 정의하는 또 다른 최외곽면과 바닥면이 이루는 각도이다.
도 3을 통해, 본 발명의 일 실시예에 따른 3차원 백플레인 모델(410)의 생성 방법을 설명한다. 일 예로, RGB 카메라(200)는 이동장치(20)의 상단에 설치되어, 타겟의 2차원 영상을 생성할 수 있다. 이 때, RGB 카메라(200)의 세로 화각은 θm과 θv 그리고 직각 90°와의 합이 된다. 여기에서, 타겟의 최상단의 지점을 (Hv , Rv)로 표현한다. 도 3에서 가로를 x축, 세로를 y축이라고 가정할 때, 시작점(0,0)은 RGB 카메라(200)에서 획득하는 이미지 중 제일 하단부분으로, 영상 정보 중 RGB 카메라(200)와 가장 가까운 위치이다.
하기의 수학식 1은 (Hv, Rv)의 좌표를 구할 수 있는 수학식이며, 이를 통해, (Hv, Rv)의 관계를 알 수 있다.
Figure 112016047738752-pat00001
여기서, 시작점 (0,0)과 끝점(Hv, Rv)를 지나가는 타원의 방정식을 이용하여, 3차원 백플레인 모델(410)을 이루는 곡선을 생성할 수 있다.
Figure 112016047738752-pat00002
수학식 2는 타원의 방정식을 나타내는 계산식이다.
Figure 112016047738752-pat00003
수학식 2의 타원의 방정식을 이용하여, x축으로 m만큼 이동하고, y축으로 n만큼 평행 이동하여, 수학식 3과 같이 3차원 백플레인 모델을 구성하는 원의 방정식을 구할 수 있다.
본 발명의 일 실시예로서, 원의 방정식을 이루는 x축과 y축으로 이루어진 좌표계에 (x, y)좌표가 존재한다고 가정할 때, (x, y)좌표의 점은 x축과 일정한 각도를 이루고, 좌표와 각도 사이의 관계는 sin과 cos함수로 나타낼 수 있으므로, 각도를 조금씩 증가하면서, 식에 대입한다면, 해당 각도에 상응하는 좌표를 얻을 수 있고, 계속해서 반복하면, 점선의 경로를 따라 하나의 원을 이루는 점들을 얻게 된다. 이렇게, 복수개의 원을 생성하고, 기 설정된 기준에 의해, n번째의 원부터는 z축의 좌표를 추가하여, 3차원 백플레인 모델을 생성한다.
도 4는 본 발명의 일 실시예에 따른 3차원 백플레인 모델을 도시한 도면이다.
Figure 112016047738752-pat00004
여기에서, r은 최소 단위 원의 반지름을 의미하고, θ는 원을 등분했을 때 최소 단위 각도를 의미하며, i는 원을 등분했을 때, 최소 단위 블럭을 의미하고, Π/180는 육십분법에서 호도법으로 변환하기 위한 단위변환을 의미한다.
수학식 4를 참조하여 예를 들면, 본 발명의 3차원 백플레인 모델(410)이 12개의 원으로 구성하고, 원을 36등분할 때, 0부터 36까지 1씩 증가하여 i에 대입하면, 도 4와 같이 3차원 백플레인 모델(410)이 생성한다.
이 때, 상기 생성된 3차원 백플레인 모델은 1/m등분으로 나누고, 획득한 2차원 영상(210)을 상기 나뉜 3차원 백플레인 모델(410)의 생성된 블록 수만큼 분할 할 수 있다.
여기서, 보다 구체적인 설명을 위해서 도 5를 참조하여, 설명한다.
도 5는 본 발명의 일 실시예에 따른 2차원 영상(210)과 3차원 백플레인 모델(410)의 매핑을 도시한 도면이다.
도 5의 (a)는 RGB 카메라(200)에서 획득된 타겟의 2차원 영상(210)을 블록 단위로 나눈 것을 나타내고, (b)는 3차원 백플레인 모델(410)을 나타낸다.
도 5에 도시된 바와 같이, (a)에서 각 블록을 이루고 있는 꼭지점 a, b, c, d와 (b)에서 각 블록을 이루고 있는 꼭지점 a', b', c', d'이 존재한다. 여기서, 2차원 영상(210)을 3차원 백플레인 모델(410)에 매핑하는 매핑 방법은, 각 꼭지점에 대응하는, 즉 a는 a', b는 b', c는 c' 그리고 d는 d'에 위치할 수 있도록 블록 단위로 매핑할 수 있다. 이 때, 일 실시예에 따른, 각 블록은 호모그래피(Homography) 행렬이 곱해져 획득된 2차원 영상이 3차원 백플레인 모델(410)에 매핑할 수 있다.
본 발명에 따른 3차원 영상 생성 방법 및 장치는 당업자에 의해 구현되는 상황의 필요에 따라, 1/m등분으로 나뉜 3차원 백플레인 모델(410)을 복수개의 2차원 영상을 매핑함에 따라, 생성된 복수개의 3차원 타겟 모델을 조합하여, 상기 조합한 3차원 타겟 모델은 90도, 120도, 180도 및 360도 등 다양한 각도로 자유롭게 구현될 수 있다.
RGB 카메라(200)로부터 타겟의 2차원 영상을 획득하여, 3차원 백플레인 영상으로 매핑함으로써, 3차원 타겟 모델을 생성하면, 깊이 카메라(100)가 획득한 타겟에 대한 복수개의 깊이 영상들 중 주어진 시점에 따른 하나의 영상의 일부에 마스크 이미지를 생성한다.
기 설정된 알고리즘에 따라, 마스크 생성부(600)는 상기 하나의 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 깊이 값이 존재하는 영역을 보정 대상 영역으로 간주하고, 마스크 이미지를 생성한다.
여기서, 깊이 값은 깊이 값을 나타내는 x축, y축 그리고 z축이 존재하는 좌표에서 영상 속에 존재하는 물체 또는 사물의 각 꼭지점에 해당하는 점의 좌표 (x, y, z) 중 z값에 따라 그 깊이 값을 확인할 수 있다.
따라서, 깊이 영상에서 보정 대상 영역을 제외한 영역을 깊이 값 예측 영역으로 결정할 수 있다.
영상 변형부(700)는 상기 마스크 이미지를 생성한 보정 대상 영역에 3차원 타겟 모델을 정합하기 위해, 상기 RGB 카메라(200)가 2차원 영상을 획득하는 기준 시점과 상기 주어진 시점간의 차이를 이용하여, 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 얻을 수 있다.
여기서, 일 예로, 도 2를 참조하면, 상기 주어진 시점이란, 이동하는 깊이 카메라(100)가 획득하는 다양한 시점에서의 복수개의 깊이 영상들 중 미리 설정된 시점에 따른 시점을 의미하고, 상기 2차원 영상을 획득하는 기준 시점이란, RGB 카메라(200)가 타겟의 2차원 영상을 획득하기 위해 깊이 카메라(100)와는 다른 위치에서 타겟의 영상을 획득하는 시점을 의미한다.
이 때, 주어진 시점에서의 3차원 상의 벡터와 기준 시점에서의 3차원 상의 벡터간의 비교를 통해, 3차원 타겟 모델을 변형할 수 있다.
깊이 값을 가지는 3차원 타겟 모델을 깊이 영상의 보정 대상 영역에 정합하기 위하여, 영역 크기에 부합하도록 3차원 타겟 모델 영상을 늘여 변형할 수 있다.
영상 보정부(800)는 상기 주어진 시점에서의 타겟의 깊이 영상과 변형된 타겟 영상을 정합하여, 영상 획득부(300)에서 획득한 타겟의 깊이 영상을 보정할 수 있다.
보다 상세한 설명을 위해, 도 6를 참조한다.
본 발명의 일 실시예에 따른, 도 6는 타겟의 깊이 영상과 3차원 타겟 모델을 이용하여 상기 타겟의 깊이 영상을 보정하는 것을 나타내는 도면이다.
도 6의 일 실시예에 따른 (a)는, 영상 획득부(300)가 획득한 타겟의 깊이 영상을 깊이 값 예측 영역은 보유하고, 보정 대상 영역은 픽셀만을 남겨둔다.
픽셀만을 남겨둔 보정 대상 영역에 대한 마스크 이미지(c)를 생성한다.
생성한 마스크 이미지(c)는 3차원 타겟 모델(b)을 보는 시점에서 변형된 타겟 영상이 정합(d)되어, 획득한 타겟의 깊이 영상의 배경 음영영역에 해당하는 배경 이미지를 생성하여, 상기 타겟의 깊이 영상을 보정(e)할 수 있다.
도 7는 본 발명의 일 실시예에 따른 3차원 영상 생성 방법의 흐름도이다.
도 7를 참고하면, 3차원 백플레인 생성부는 2차원 영상을 3차원 영상으로 매핑하기 위한 3차원 백플레인 모델을 생성한다(S100).
일 예로, RGB 카메라로 타겟의 2차원 영상을 획득하는 경우에, 상대적으로 거리가 먼 곳의 물체가 흐려져 보이거나 늘어져 보이는 왜곡이 발생될 수 있다. 이 때, 본 발명의 일 실시예에서는, 상기 2차원 영상의 왜곡을 보정하기 위해, 왜곡이 나타나는 일 부분에 각도를 높여, 3차원 백플레인 모델을 생성할 수 있다.
상기 왜곡이 나타나는 영상의 부분에 각도를 높여, 상술한 바와 같이 3차원 백플레인 모델은, 기 설정된 기준에 따라 좌표계를 이용하여 생성할 수 있다.
다음으로, 이동하는 깊이 카메라로부터 여러 각도에서 획득된 복수개의 타겟의 깊이 영상들을 수신하고(S200), RGB 카메라로부터 3차원 영상을 획득하고자 하는 타겟의 2차원 영상을 수신한다(S300).
다음으로, 획득된 2차원 영상을 생성된 3차원 백플레인 모델에 매핑한다(S400). 이 때, 상기 획득된 2차원 영상을 생성된 3차원 백플레인 모델의 블록 수만큼 복수개의 블록들로 분할한다. 3차원 백플레인 모델의 각 블록들은 블록마다 스케일을 다르게 하여, 상기 2차원 영상의 블록들에 대응하는 생성된 3차원 백플레인 모델의 블록들로 매핑한다.
2차원 영상과 3차원 백플레인 모델의 블록들간 매핑 단계를 마치면, 3차원 타겟 모델이 생성한다.
다음으로, 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득한다(S500).
일 실시예에 따른, 상기 변형된 타겟 영상은 RGB 카메라가 위치하는 곳에서 타겟을 바라보는 시점과, 깊이 카메라가 타겟을 바라보는 시점간의 차이를 이용하여, 변형하여 획득할 수 있다.
다음으로, 여러 각도에서 획득된 깊이 영상들 중 상기 주어진 시점에서의 타겟의 하나의 깊이 영상을 획득한다(S600).
획득한 하나의 깊이 영상의 음영 영역을 포함하는 배경의 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성한다(S700).
따라서, 마스크 이미지가 생성된 영역에 변형된 타겟 영상을 정합하여, 획득된 타겟의 깊이 영상을 전경에 의해 가려진 음영 영역을 포함하는 배경에 깊이 값을 주어 보다 유용한 영상으로 보정한다(S800).
본 발명의 3차원 백플레인 모델에 따른 어라운드 뷰(Around View)는 2차원 영상을 바닥에 투영하여, 3차원적 시각정보를 제공받을 수 있어, 보다 입체감이 있는 영상을 획득할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 깊이 카메라
200: RGB 카메라
300: 영상 획득부
400: 3차원 백플레인 생성부
500: 매핑부
600: 마스크 생성부
700: 영상 변형부
800: 영상 보정부
210: 2차원 영상
410: 3차원 백플레인 모델
10: 전경
11: 배경

Claims (15)

  1. 2차원 영상을 획득하는 카메라 시야범위에서 최외각 시작점과 상기 카메라 시야범위 내의 타겟이 위치하는 최상단의 지점을 포함하는 타원의 방정식을 결정하고, 상기 결정된 타원의 방정식에 따른 모델로서 임의의 2차원 영상을 3차원 영상으로 매핑시키는 백플레인 모델을 생성하는 단계;
    상기 백플레인 모델에, 상기 타겟과 관련하여 획득된 영상을 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계; 및
    상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하고, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 단계를 포함하는 3차원 영상 생성 방법.
  2. 제1항에 있어서,
    상기 타겟과 관련하여 획득된 영상은 타겟의 2차원 영상과 복수개의 깊이 영상을 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  3. 제1항에 있어서, 상기 타겟 영상을 획득하는 단계는
    3차원 영상을 획득하고자 하는 타겟의 2차원 영상과 복수개의 상기 깊이 영상을 획득하는 단계; 및
    상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
  4. 제3항에 있어서, 상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하는 것은,
    상기 획득된 2차원 영상을 복수개의 블록들로 분할하는 단계; 및
    상기 블록들을 상기 3차원 백플레인 모델에 블록 단위로 매핑하는 단계;
    를 더 포함하는 3차원 영상 생성 방법.
  5. 제3항에 있어서, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 것은,
    상기 2차원 영상을 획득하는 기준 시점과, 상기 주어진 시점간의 차이를 이용하여 상기 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 획득하는 것을 특징으로 하는 3차원 영상 생성 방법.
  6. 제2항에 있어서,
    상기 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역을 제외한 영역을 깊이 값 예측 영역으로 결정하는 단계를 더 포함하고,
    상기 획득된 타겟의 깊이 영상을 보정하는 단계는 상기 결정된 깊이 값 예측 영역과 상기 변형된 타겟 영상을 이용하여 상기 깊이 영상을 보정하는 것을 특징으로 하는 3차원 영상 생성 방법.
  7. 제6항에 있어서, 상기 깊이 값 예측 영역으로 결정하는 단계는,
    상기 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성하는 단계를 더 포함하는 3차원 영상 생성 방법.
  8. 제3항에 있어서, 상기 3차원 백플레인 모델을 생성하는 단계는,
    상기 적어도 2차원 영상에서 왜곡이 일어나는 일부분에 각도 값을 높인 상기 3차원 백플레인 모델을 생성하여, 상기 영상의 왜곡을 보정하는 것을 특징으로 하는 것을 더 포함하는 3차원 영상 생성 방법.
  9. 3차원 영상을 획득하고자 하는 타겟의 2차원 영상과 복수개의 깊이 영상을 획득하는 영상 획득부;
    상기 영상 획득부 중 상기 2차원 영상을 획득하는 카메라의 시야범위에서 최외각 시작점과 상기 카메라의 시야범위 내의 타겟이 위치하는 최상단의 지점을 포함하는 타원의 방정식을 결정하고, 상기 결정된 타원의 방정식에 따른 모델로서 임의의 2차원 영상을 3차원 영상으로 매핑시키는 3차원 백플레인 모델을 생성하는 3차원 백플레인 생성부;
    상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하는 매핑부;
    상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 영상 변형부; 및
    상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하여, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 영상 보정부;를 포함하는 3차원 영상 생성 장치.
  10. 제9항에 있어서, 상기 매핑부는,
    상기 획득된 2차원 영상을 복수개의 블록들로 분할하여, 상기 분할한 블록들을 상기 3차원 백플레인 모델에 블록 단위로 매핑하는 것을 특징으로 하는 것을 포함하는 3차원 영상 생성 장치.
  11. 제9항에 있어서, 상기 영상 변형부는,
    상기 2차원 영상을 획득하는 기준 시점과, 상기 주어진 시점간의 차이를 이용하여 상기 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 획득하는 것을 특징으로 하는 3차원 영상 생성 장치.
  12. 제9항에 있어서, 상기 영상 보정부는,
    상기 주어진 시점에서의 상기 타겟의 깊이 영상과 상기 변형된 타겟 영상을 정합하여 상기 획득된 타겟의 깊이 영상을 보정하는 것을 특징으로 하는 것을 더 포함하는 3차원 영상 생성 장치.
  13. 제9항에 있어서,
    상기 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역을 제외한 영역을 깊이 값 예측 영역으로 결정하고,
    상기 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성하는 것을 마스크 생성부; 를 더 포함하는 3차원 영상 생성 장치.
  14. 제13항에 있어서,
    상기 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에, 상기 3차원 타겟 모델을 정합하여, 상기 타겟의 깊이 영상을 보정하는 것을 특징으로 하는 것을 더 포함하는 3차원 영상 생성 장치.
  15. 제1항 및 제8항 중 어느 한 항에 따른 3차원 영상 생성 방법을 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체.
KR1020160060975A 2016-05-18 2016-05-18 3차원 영상 생성 방법 및 장치 KR101748674B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160060975A KR101748674B1 (ko) 2016-05-18 2016-05-18 3차원 영상 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160060975A KR101748674B1 (ko) 2016-05-18 2016-05-18 3차원 영상 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101748674B1 true KR101748674B1 (ko) 2017-06-19

Family

ID=59279298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160060975A KR101748674B1 (ko) 2016-05-18 2016-05-18 3차원 영상 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101748674B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022103190A1 (ko) * 2020-11-13 2022-05-19 주식회사 예간아이티 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
US11622098B2 (en) 2018-12-12 2023-04-04 Samsung Electronics Co., Ltd. Electronic device, and method for displaying three-dimensional image thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
KR101324611B1 (ko) * 2012-05-04 2013-11-01 전자부품연구원 깊이 영상 처리 방법 및 이를 적용한 3ｄ 영상 생성장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법
KR101324611B1 (ko) * 2012-05-04 2013-11-01 전자부품연구원 깊이 영상 처리 방법 및 이를 적용한 3ｄ 영상 생성장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622098B2 (en) 2018-12-12 2023-04-04 Samsung Electronics Co., Ltd. Electronic device, and method for displaying three-dimensional image thereof
WO2022103190A1 (ko) * 2020-11-13 2022-05-19 주식회사 예간아이티 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
CN111862179B (zh) 三维对象建模方法与设备、图像处理装置及介质
EP3018903B1 (en) Method and system for projector calibration
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN104335005B (zh) 3d扫描以及定位系统
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US8432435B2 (en) Ray image modeling for fast catadioptric light field rendering
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
US7973791B2 (en) Apparatus and method for generating CG image for 3-D display
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
WO2019049421A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP2015022510A (ja) 自由視点画像撮像装置およびその方法
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
CN113841384B (zh) 校准装置，用于校准的图表和校准方法
US11398007B2 (en) Video generation device, video generation method, program, and data structure
JP2018124939A (ja) 画像合成装置、画像合成方法、及び画像合成プログラム
KR20190062102A (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP2014067372A (ja) 運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101748674B1 (ko) 3차원 영상 생성 방법 및 장치
US20200286205A1 (en) Precise 360-degree image producing method and apparatus using actual depth information
KR20140021765A (ko) 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant