KR101549929B1 - 깊이 지도를 생성하는 방법 및 장치 - Google Patents

깊이 지도를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR101549929B1
KR101549929B1 KR1020140016447A KR20140016447A KR101549929B1 KR 101549929 B1 KR101549929 B1 KR 101549929B1 KR 1020140016447 A KR1020140016447 A KR 1020140016447A KR 20140016447 A KR20140016447 A KR 20140016447A KR 101549929 B1 KR101549929 B1 KR 101549929B1
Authority
KR
South Korea
Prior art keywords
image
specific image
depth map
specific
generating
Prior art date
Application number
KR1020140016447A
Other languages
English (en)
Other versions
KR20150095301A (ko
Inventor
김형중
최영진
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020140016447A priority Critical patent/KR101549929B1/ko
Priority to PCT/KR2015/001332 priority patent/WO2015122674A1/ko
Priority to US15/129,682 priority patent/US20170188008A1/en
Publication of KR20150095301A publication Critical patent/KR20150095301A/ko
Application granted granted Critical
Publication of KR101549929B1 publication Critical patent/KR101549929B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 단안(單眼)영상을 입체화하기 위한 깊이 지도를 생성하는 방법으로서, 원본 영상을 분할하는 단계, 분할된 영상과 상기 원본 영상을 결합시켜 결합 영상을 생성하고, 결합 영상 상에 추출하고자 하는 특정 영상 객체 마커(marker) 정보를 입력받고, 배경 마커(marker) 정보를 입력받은 단계, 결합 영상에서 특정 영상 객체를 추출하는 단계, 특정 영상 객체가 추출된 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱 단계 및 특정 영상 객체의 깊이 값을 조정하는 단계를 포함한다.

Description

깊이 지도를 생성하는 방법 및 장치{METHOD AND APPARATUS OF GENERATING DEPTH MAP}
본 발명은 깊이 지도를 생성하는 방법 및 장치에 관한 것으로서 보다 상세하게는 단안 영상의 2차원 영상을 입체 영상으로 변환하기 위한 깊이 지도를 생성하는 방법 및 장치에 관한 발명이다.
최근 입체 영상을 제공하는 디스플레이장치와 영상 컨텐츠에 대한 연구가 활발히 진행되고 있고, 현재 많은 연구기관이나 회사에서 입체 촬영을 위한 입체리그(Stereo Rig) 및 3차원 입체 디스플레이의 상당부분이 상용화되고 있다. 일반적으로 입체 영상을 구현하기 위해서 두 대 이상의 카메라를 사용하여 영상을 촬영하고 편집하여 좌안과 우안으로 각각 시차를 가지는 영상을 디스플레이함으로서 사용자는 영상을 보면서 입체감을 느끼게 된다.
입체 영상을 제공하기 위해서는 한 장면에 대하여 두 개 이상의 시점을 가지도록 하기 위해서 여러 대의 카메라를 이용하여 촬영한다. 하지만 한꺼번에 촬영하고 처리할 수 있는 카메라 개수는 제한되어 있고, 배치간격을 조밀하게 하는 것도 한계가 있다. 따라서 제한된 수의 카메라로 촬영한 영상으로부터 그 사이의 가상의 시점에 해당하는 영상을 생성하면 효과적인 입체 영상을 제작할 수 있다. 이와 같이 가상 시점 영상을 생성하기 위해 깊이 정보가 포함된 깊이 지도가 활용된다.
깊이 정보를 얻기 위해서 스테레오 정합 방법, 장면 내 물체의 거리를 직접 측정하는 TOF(Time of Flight)기술 등 다양한 방법이 사용된다. 그러나 이러한 기술은 두 대 이상의 카메라를 이용하여 촬영된 양안식 촬영이 필수적이고 하나의 카메라를 이용하여 촬영된 영상인 단안식 촬영 영상에서 사용될 수 없거나 사용에 제한이 있다. 즉 단안식 촬영 영상의 입체영상구현을 위한 깊이정보 추출을 위한 방법은 3차원 영상 기술의 발전에도 불구하고 양안영상 혹은 다중영상 기법에 의한 3차원 영상 구현보다 만족할 만한 결과를 얻기가 어렵다.
본 발명은 위와 같은 문제를 해결하기 위해 안출 된 것으로서 단안식 촬영 영상의 2차원 영상을 입체 영상으로 구현하기 위한 깊이 지도를 생성하는데 그 목적이 있다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 방법은 단안(單眼)영상을 입체화하기 위한 깊이 지도를 생성하는 방법으로서, 원본 영상을 분할하는 단계, 분할된 영상과 원본 영상을 결합시켜 결합 영상을 생성하고, 결합 영상 상에 추출하고자 하는 특정 영상 객체 마커(marker) 정보를 입력받고, 배경 마커(marker) 정보를 입력받은 단계, 결합 영상에서 특정 영상 객체를 추출하는 단계, 특정 영상 객체가 추출된 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱 단계 및 특정 영상 객체의 깊이 값을 조정하는 단계를 포함한다.
여기서, 원본 영상을 분할하는 단계는 SLIC(Simple Linear Iterative Clustering) 알고리즘을 이용하여 원본 영상을 분할하는 단계를 포함할 수 있다.
여기서 특정 영상 객체를 추출하는 단계는 MSRM(Max Similarity Based Region)알고리즘을 이용하여 추출하는 단계를 포함할 수 있다.
또한 특정 영상 객체를 추출하는 단계는 복수 개의 특정 영상 객체를 추출하는 단계를 포함할 수 있다.
여기서, 복수 개의 특정 영상 객체들은 서로 겹치지 않는다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 장치는 단안(單眼)영상을 입체화하기 위한 깊이 지도를 생성하는 장치로서, 원본 영상을 분할하는 분할부, 분할부로부터 분할된 영상과 원본 영상을 결합한 결합 영상에서 특정 영상 객체를 추출하는 영상추출부 및 원본 영상과 분할부로부터 분할된 영상을 결합시켜 결합 영상을 생성하고, 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱을 수행하고, 특정 영상 객체의 깊이 값을 조정하여 깊이 지도를 생성하는 생성부를 포함한다.
여기서, 깊이 지도를 생성하는 장치는 특정 영상 객체 마커(marker)정보를 입력받고, 배경 마커(marker)정보를 입력받으며, 조정된 특정 영상 객체의 깊이 값을 입력받는 사용자 인터페이스를 더 포함할 수 있다.
여기서, 분할부는 SLIC(Simple Linear Iterative Clustering) 알고리즘을 이용하여 원본 영상을 분할하고, 영상 추출부는 MSRM(Max Similarity Based Region)알고리즘을 이용하여 특정 영상 객체를 추출할 수 있다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 방법 및 장치에 의하면 단안식 촬영 영상의 2차원 영상을 입체 영상으로 변환시 보다 선명한 입체감을 가질 수 있고, 조명이나 그림자에 의한 입체 영상의 왜곡을 방지할 수 있다.
도1은 본 발명의 일실시예에 따른 깊이 지도를 생성하는 방법의 순서도이다.
도2는 본 발명의 일실시예에 따른 깊이 지도를 생성하기 위한 원본 사진의 예시이다.
도3은 원본 영상의 분할된 영상이다.
도4는 분할된 영상과 원본 영상을 결합한 영상이다.
도5는 결합 영상에 마커정보를 입력한 사진이다.
도6은 본 발명의 일실시예에 따른 분할 집단들이 서로 합쳐지는 과정을 나타내는 사진이다.
도7은 본 발명의 일실시예에 따른 특정 영상 객체가 추출된 사진이다.
도8은 본 발명의 일실시예에 따른 깊이 지도 생성방법을 거친 깊이 지도의 실제 사진이다.
도9는 본 발명의 일실시예에 따른 깊이 지도를 생성하는 장치의 기능 블럭도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 방법은 단안(單眼)영상을 입체화시키기 위한 깊이 지도를 생성하는 방법으로서, 원본 영상을 분할하는 단계(S100), 분할된 영상과 상기 원본 영상을 결합시켜 결합 영상을 생성(S200)하고, 결합 영상 상에 추출하고자 하는 특정 영상 객체 마커(marker) 정보를 입력받고, 배경 마커(marker) 정보를 입력받은 단계(S300), 결합 영상에서 특정 영상 객체를 추출하는 단계(S400), 특정 영상 객체가 추출된 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱 단계(S500), 특정 영상 객체의 깊이 값을 조정하는 단계(S600), 깊이 지도를 생성하는 단계(S700)를 포함한다.
깊이 지도란 영상 내의 사물들 사이에 대한 3차원 거리 차이를 나타내는 지도를 의미한다. 각 픽셀마다 0부터 255 사이의 값으로 표현되며, 이러한 깊이 지도와 2차원 영상을 통해 입체영상의 획득이 가능하다.
도1은 본 발명의 일실시예에 따른 깊이 지도를 생성하는 방법의 순서도이다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 방법을 도1을 참고하여 설명하면, 먼저 본 발명의 일실시예에 의해 깊이 지도를 생성하기 위해서 원본 영상을 분할하는 단계(S100)를 거친다. 원본 영상의 분할은 사용자가 지정하는 특정 영상 객체를 배경 영상과 구별하기 전에 원본 사진의 모든 객체를 구획하는 단계이다. 원본 영상을 분할하는 방법은 매우 다양하나 본 발명의 일실시예에 따른 원본 영상 분할 단계는 SLIC(Simple Linear Iterative Clustering) 알고리즘에 의해 실행될 수 있다. SLIC 알고리즘은 슈퍼픽셀 분야에서 사용되는 기법으로서 원본 사진의 정보 크기를 줄이기 위한 것이다. 원본 사진의 픽셀간 동일한 색상을 비슷한 범위끼리 뭉치도록 하여 분할 집단을 형성하도록 한다.
SLIC 알고리즘에 의해 생성된 원본 영상의 분할된 영상을 원본 영상과 결합시켜 결합 영상을 생성한다(S200). 결합 영상은 실제 원본 사진이 분할된 형태를 사용자에게 보여주고 특정 영상 객체와 배경 영상의 구별이 용이하게 한다.
위와 같이 원본 영상의 분할을 시도하는 것은 영상의 각 픽셀상 할당되는 픽셀값이 특정 영상 객체와 배경 영상의 경계부위에서 유사한 경우 경계의 구별이 모호할 수 있고, 특정 영상 객체 내에서 객체의 모양이 같은 이유로 왜곡되어 정확한 형상을 표현할 수 없게 되는 경우가 발생하는 것을 방지하기 위해서이다.
이하 실제 SLIC알고리즘에 의한 원본 영상의 분할된 영상과 원본 영상과 분할된 영상의 결합영상을 실제 사진을 통해 살펴본다.
도2는 본 발명의 일실시예에 따른 깊이 지도를 생성하기 위한 원본 사진의 예시이다.
도3은 원본 영상의 분할된 영상이다.
도4는 분할된 영상과 원본 영상을 결합한 영상이다.
도2에 도시된 바와 같이 새를 특정 영상 객체로 설정하고, 그 이외의 부분을 배경 영상으로 설정한다. 도3은 도2에 도시된 원본 사진을 분할한 영상으로서 SLIC알고리즘에 의해 원본 사진의 픽셀간 동일한 색상을 비슷한 범위끼리 뭉쳐서 분할 집단을 형성했다. 도4는 도2와 도3을 결합시킨 결합 영상으로서 사용자가 특정 영상 객체와 배경 영상의 분할된 모습을 확인할 수 있도록 한다.
만일 본 발명의 일실시예와 같이 원본 영상의 분할된 영상을 생성하지 않는 경우 앞서 언급한대로 특정 영상 객체 내에서 경계의 구별이 모호한 경우로서, 예를 들어 도2 도시된 새의 발과 새의 발이 놓여져 있는 부분의 색이 유사하여 새의 발에 대한 윤곽이 뚜렷하게 나타나지 않는 경우가 발생한다.
결국 특정 영상 객체의 형상을 명확히 나타내기 위해서는 원본 영상을 분할해야 하고 본 발명의 일실시예에 따르면 SLIC 알고리즘에 의해 원본 영상의 분할을 시도하였다.
다음으로 결합 영상에 마커정보를 입력받는 단계를 거친다(S300). 이 단계는 실제 사용자가 특정 영상 객체와 배경 영상을 명확하게 구별짓는 단계이다.
도5는 결합 영상에 마커정보가 입력된 사진이다. 마커정보는 특정 영상 객체 마커정보와 배경 마커정보로 나뉜다.
특정 영상 객체 마커정보는 2차원 영상에서 앞으로 돌출되도록 하고자 하는 영상의 일부분을 표시하는 정보를 의미한다. 도5에서는 새의 안쪽에 그려진 윤곽선으로 표시된 선이 사용자에 의해서 표시되어진 특정 영상 객체 마커정보이다.
배경 마커정보는 새의 바깥쪽에 그려진 윤곽선으로 표시된 선으로서 반드시 연결될 필요는 없다. 이와 같은 마커정보는 하기할 MSRM 알고리즘이 수행될 때 알고리즘이 시작되는 시작점이 된다. 보다 상세한 설명은 아래 MSRM 알고리즘을 수행하는 부분에서 설명한다.
결합 영상에 마커 정보가 입력되고 난 이후에는 결합 영상에서 특정 영상 객체를 추출하는 단계가 수행된다(S400). 본 발명의 일실시예에서는 특정 영상 객체를 추출하는 방법으로 MSRM(Max Similarity Based Region) 알고리즘을 이용한다. 그러나 반드시 이와 같은 알고리즘에 제한되는 것은 아니다.
MSRM 알고리즘을 통해 분할 집단에서 비슷한 종류의 집단들을 다시 하나의 큰 집단으로 취합한다. 사용자가 지정한 물체와 배경 즉 특정 영상 객체 마커정보와 배경 마커정보에 근접한 초기 분할집단들이 각각 물체 혹은 배경으로 합쳐지면서 앞서 원본 영상 분할단계에서 생성되었던 각 분할 집단을 구별하는 세그먼트(segment)들이 사라지는 과정을 거친다.
분할 집단을 구별하는 세그먼트들은 사용자에 의해서 입력받은 마커정보를 시작점으로 MSRM 알고리즘을 수행한다. 특히 본 발명의 일실시예에 따른 MSRM 알고리즘 수행은 배경 마커정보를 시작점으로 배경영역에 대한 MSRM 알고리즘을 먼저 수행하고, 이후 특정 영상 객체 마커정보를 시작점으로 MSRM 알고리즘을 수행하나 순서에는 제한이 없으며, 동시에 수행될 수도 있다.
도6은 본 발명의 일실시예에 따른 분할 집단들이 서로 합쳐지는 과정을 나타내는 사진이다. 도6에 도시된 바와 같이 실제 마커정보를 시작점으로 MSRM 알고리즘을 수행하여 분할 집단들이 서로 합쳐지고 있다.
특정 영상 객체를 추출하는 단계는 복수 개의 특정 영상 객체를 추출할 수 있다. 이 경우 특정 영상 객체 마커정보와 배경 마커정보를 복수 개 입력 받을 수 있다. 복수 개의 특정 영상 객체를 추출할 경우 특정 영상 객체들 사이에는 서로 겹치는 영역이 존재하지 않는다.
도7은 본 발명의 일실시예에 따른 특정 영상 객체가 추출된 사진이다.
도7에 도시된 바와 같이 MSRM 알고리즘에 의해서 분할 집단들이 서로 합쳐지는 과정이 완료되면 특정 영상 객체의 윤곽선이 도출된다.
본 발명의 일실시예에 따른 MSRM 알고리즘에 의해 배경 영상과 구별되는 특정 영상 객체는 윤곽선에 의해서 배경 영상과 구별되어 있고, 촬영 당시 렌즈의 초점거리에 있는 영상과 그 이외의 영상이 구별되어 있을 뿐이다. 다시 말하면 도7에 도시된 사진은 새에 초점이 맞춰져서 촬영된 사진이고, 배경이 되는 풀잎에 초점이 맞춰지지 않은 사진이다. 이러한 영상은 초점에 맞춰진 새의 영상은 선명하게 표현되지만 배경 영상은 이보다는 덜 선명하게 표현된다.
결국 렌즈의 초점이 어느 피사체를 타겟으로 하는 것인가에 따라서 2차원 영상의 선명한 부분 덜 선명한 부분으로 구별되어 질 뿐이고 이와 같은 영상을 3차원 영상이라고 할 수는 없다.
이에 본 발명의 일실시예에 의하면 특정 영상 객체의 영역처리를 수행하여 블러링(blurring)을 조정하는 디포커싱 단계를 거친다(S500).
블러링(blurring)이란 평활도(smoothness)라 표현되기도 하는 영상에서 색이 넓게 나타나거나 퍼지는 현상을 의미한다. 영역처리(area processing)는 화소의 원래값과 이웃하는 화소값을 기준으로 값을 변경하는 알고리즘으로 화소 여러 개가 서로 관계하여 새로운 화소값을 생성하는 과정이다. 결국 디포커싱 단계는 특정 영상 객체가 추출된 결합 영상에서 영역처리를 통해 블러링을 조정하는 단계이다. 특정 영상 객체가 돌출되어 보일 수 있도록 보다 선명하게 평활도를 낮추고, 배경 영상이 특정 영상 객체와 대비하여 후퇴하여 보일 수 있도록 평활도를 높이는 과정이다. 디포커싱 단계를 통해 새로운 화소값이 생성되고, 결합 영상에 적용된다.
결합 영상에서 추출된 특정 영상 객체가 돌출되어 보일 수 있도록 디포커싱 단계를 거친 이후, 특정 영상 객체의 깊이 값을 조정한다(S600).
특정 영상 객체의 깊이 값을 조정하는 단계(S600)는 특정 영상 객체 내의 깊이 값이 배경 영상의 깊이 값과 큰 차이가 없어 특정 영상 객체 내의 일정 부분이 후퇴하여 보이거나 과도하게 돌출되어 보이는 현상을 제거하기 위해 특정 영상 객체의 깊이 값을 더하거나 빼는 과정을 통해 특정 영상 객체가 보다 선명하게 돌출되어 보일 수 있도록 하기 위한 과정이다.
특정 영상 객체의 깊이 값이 조정되고 각 픽셀에 조정된 깊이 값이 반영된 깊이 지도를 생성하게 된다(S700).
도8은 본 발명의 일실시예에 따른 깊이 지도 생성방법을 거친 깊이 지도의 실제 사진이다.
각 픽셀마다 0부터 255 사이의 값으로 표현되는 도8의 깊이 지도에서 검정색(높은값)의 비율이 높은 부분일수록 돌출되어 표현되는 부분이고, 흰색(낮은값)의 비율이 높은 부분일수록 후퇴하여 배경으로 표현되는 부분이다. 도8의 특정 영상 객체로 추출되었던 새는 검정색 비율이 높은 돌출된 부분으로 표현되었고, 배경으로 표현된 풀잎은 흰색 비율이 높은 후퇴하는 배경으로 표현되었음을 도8의 깊이 지도를 통해 확인할 수 있다.
본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램으로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 프로그램이 저장되고 실행될 수 있다.
그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 장치는 단안(單眼)영상을 입체화하기 위한 깊이 지도를 생성하는 장치로서, 원본 영상을 분할하는 분할부(10), 분할부(10)로부터 분할된 영상과 원본 영상을 결합한 결합 영상에서 특정 영상 객체를 추출하는 영상추출부(20) 및 원본 영상과 분할부(10)로부터 분할된 영상을 결합시켜 결합 영상을 생성하고, 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱을 수행하고, 특정 영상 객체의 깊이 값을 조정하여 깊이 지도를 생성하는 생성부(30)를 포함한다.
본 발명의 일실시예에 따른 깊이 지도를 생성하는 장치는 특정 영상 객체 마커(marker)정보를 입력받고, 배경 마커(marker)정보를 입력받으며, 조정된 특정 영상 객체의 깊이 값을 입력받는 사용자 인터페이스(40)를 더 포함할 수 있다.
도9는 본 발명의 일실시예에 따른 깊이 지도를 생성하는 장치의 기능 블럭도이다.
도2 내지 도9를 참고하여 본 발명인 깊이 지도를 생성하는 장치에 대해서 상세히 설명한다.
도2의 원본 영상이 사용자 인터페이스(40)를 통해 깊이 지도를 생성하는 장치에 입력될 수 있다. 이와 달리 원본 영상이 저장되어 있는 저장매체(미도시)를 통해 깊이 지도를 생성하는 장치에 입력될 수도 있다. 깊이 지도를 생성하는 장치에 원본 영상이 입력되면, 분할부(10)는 원본 영상을 분할한다. 분할은 앞서 설명한 바와 같이 SLIC(Simple Linear Iterative Clustering) 알고리즘에 의할 수 있다. SLIC 알고리즘을 통해 분할된 영상(도3)은 원본 영상과 함께 생성부(30)로 전송되고, 생성부(30)는 분할된 영상과 원본 영상을 결합한 결합 영상(도4)을 생성한다. 결합 영상은 디스플레이 장치에 표시되고, 사용자 인터페이스(40)를 통해 입력된 마커 정보가 결합 영상에 표현되고, 생성부(30)는 마커 정보가 포함된 결합 영상(도5)을 영상 추출부(20)로 전송한다.
영상 추출부(20)는 마커 정보에 기반하여 특정 영상 객체를 추출한다. 특정 영상 객체를 추출하는 방법은 MSRM(Max Similarity Based Region) 알고리즘을 이용하여 수행된다. 도6은 앞서 설명한 MSRM 알고리즘에 의해서 특정 영상 객체를 추출하는 과정을 나타내는 사진이다.
영상 추출부(20)의 MSRM 알고리즘이 완료되면 특정 영상 객체가 윤곽선으로 구별되는 도7과 같은 영상이 획득된다. 영상 추출부(20)에서 추출된 특정 영상 객체가 포함된 결합 영상은 생성부(30)로 전송된다. 생성부(30)는 특정 영상 객체가 추출된 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱을 수행하고, 특정 영상 객체의 깊이 값을 조정한 후, 깊이 지도를 생성한다.
이러한 깊이 지도를 생성하는 장치를 통해 획득되는 깊이 지도는 2차원 영상을 입체 영상으로 변환하는 경우, 단안 영상 기법으로 획득된 2차원 영상임에도 불구하고, 입체영상으로 변환시 양안 영상 혹은 다안 영상 기법을 통해 얻어진 입체 영상만큼 선명하고, 입체화된 영상을 얻을 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 분할부
20 영상 추출부
30 생성부
40 사용자 인터페이스

Claims (9)

  1. 단안(單眼)영상을 입체화하기 위한 깊이지도를 생성하는 방법으로서,
    (a) SLIC(Simple Linear Iterative Clustering)알고리즘을 이용하여 원본영상을 분할하는 단계;
    (b) 분할된 영상과 상기 원본영상을 결합시켜 결합영상을 생성하고, 상기 결합 영상 상에 추출하고자 하는 특정 영상 객체 마커(marker)정보를 입력받고, 배경 마커(marker) 정보를 입력받는 단계;
    (c) 상기 결합 영상에서 특정 영상 객체를 추출하는 단계;
    (d) 특정 영상 객체가 추출된 결합 영상에서 영역처리(area processing)를 수행하여 블러링(blurring)을 조정하는 디포커싱 단계; 및
    (e) 상기 특정 영상 객체의 깊이 값을 조정하는 단계를 포함하는 것을 특징으로 하는 깊이 지도를 생성하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 (c) 단계는 MSRM(Max Similarity Based Region)알고리즘을 이용하여 추출하는 단계를 포함하는 것을 특징으로 하는 깊이 지도를 생성하는 방법.
  4. 제1항에 있어서,
    상기 (c) 단계는 복수 개의 특정 영상 객체를 추출하는 단계를 포함하는 것을 특징으로 하는 깊이 지도를 생성하는 방법.
  5. 제4항에 있어서,
    상기 복수 개의 특정 영상 객체들은 서로 겹치지 않는 것을 특징으로 하는 깊이 지도를 생성하는 방법.
  6. 제1항, 제3항 내지 제5항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
  7. 단안(單眼)영상을 입체화하기 위한 깊이 지도를 생성하는 장치로서,
    SLIC(Simple Linear Iterative clustering)알고리즘을 이용하여 원본 영상을 분할하는 분할부;
    상기 분할부로부터 분할된 영상과 원본 영상을 결합한 결합영상에서 특정 영상 객체를 추출하는 영상추출부; 및
    원본 영상과 상기 분할부로부터 분할된 영상을 결합시켜 결합 영상을 생성하고, 상기 결합 영상에서 영역처리(area processing)를 수행하여 블러링을 조정하는 디포커싱을 수행하고, 상기 특정 영상 객체의 깊이 값을 조정하여 깊이 지도를 생성하는 생성부를 포함하는 것을 특징으로 하는 깊이 지도를 생성하는 장치.
  8. 제7항에 있어서,
    특정 영상 객체 마커(marker)정보를 입력받고, 배경 마커(marker)정보를 입력받으며, 조정된 특정 영상 객체의 깊이 값을 입력받는 사용자 인터페이스를 더 포함하는 것을 특징으로 하는 깊이 지도를 생성하는 장치.
  9. 제7항에 있어서,
    상기 영상 추출부는 MSRM(Max Similarity Based Region)알고리즘을 이용하여 특정 영상 객체를 추출하는 것을 특징으로 하는 깊이 지도를 생성하는 장치.
KR1020140016447A 2014-02-13 2014-02-13 깊이 지도를 생성하는 방법 및 장치 KR101549929B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140016447A KR101549929B1 (ko) 2014-02-13 2014-02-13 깊이 지도를 생성하는 방법 및 장치
PCT/KR2015/001332 WO2015122674A1 (ko) 2014-02-13 2015-02-10 깊이 지도를 생성하는 방법 및 장치
US15/129,682 US20170188008A1 (en) 2014-02-13 2015-02-10 Method and device for generating depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140016447A KR101549929B1 (ko) 2014-02-13 2014-02-13 깊이 지도를 생성하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150095301A KR20150095301A (ko) 2015-08-21
KR101549929B1 true KR101549929B1 (ko) 2015-09-03

Family

ID=53800356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140016447A KR101549929B1 (ko) 2014-02-13 2014-02-13 깊이 지도를 생성하는 방법 및 장치

Country Status (3)

Country Link
US (1) US20170188008A1 (ko)
KR (1) KR101549929B1 (ko)
WO (1) WO2015122674A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN108271408B (zh) 2015-04-01 2020-12-04 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
US11024047B2 (en) * 2015-09-18 2021-06-01 The Regents Of The University Of California Cameras and depth estimation of images acquired in a distorting medium
WO2017212942A1 (ja) * 2016-06-06 2017-12-14 Kddi株式会社 地図に重畳表示するオブジェクトを送信する地図情報送信装置、地図表示装置、プログラム及び方法
CN109003297B (zh) * 2018-07-18 2020-11-24 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN112785489B (zh) * 2020-12-29 2023-02-17 温州大学 一种单目立体视觉图像生成方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927234B1 (ko) * 2007-07-30 2009-11-16 광운대학교 산학협력단 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
KR101278636B1 (ko) * 2011-11-07 2013-06-25 (주)포미디어텍 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9007441B2 (en) * 2011-08-04 2015-04-14 Semiconductor Components Industries, Llc Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers
JP5932476B2 (ja) * 2012-05-17 2016-06-08 キヤノン株式会社 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
US20150379720A1 (en) * 2013-01-31 2015-12-31 Threevolution Llc Methods for converting two-dimensional images into three-dimensional images
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100927234B1 (ko) * 2007-07-30 2009-11-16 광운대학교 산학협력단 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
KR101278636B1 (ko) * 2011-11-07 2013-06-25 (주)포미디어텍 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법

Also Published As

Publication number Publication date
KR20150095301A (ko) 2015-08-21
WO2015122674A1 (ko) 2015-08-20
US20170188008A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
Wadhwa et al. Synthetic depth-of-field with a single-camera mobile phone
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US11756223B2 (en) Depth-aware photo editing
KR101549929B1 (ko) 깊이 지도를 생성하는 방법 및 장치
CN110476185B (zh) 景深信息估算方法和装置
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP6347675B2 (ja) 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム
US9094675B2 (en) Processing image data from multiple cameras for motion pictures
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US9584723B2 (en) Apparatus and method for creating panorama
JP2009282979A (ja) 画像処理装置及び画像処理方法
JP2010522469A (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
JP6452360B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2010510569A (ja) ２次元から３次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
KR20150021522A (ko) 입체 결상을 구현하는 방법 및 장치
US9990738B2 (en) Image processing method and apparatus for determining depth within an image
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
CN105282534B (zh) 用于嵌入立体图像的系统及方法
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
TWI768231B (zh) 資訊處理裝置、記錄媒體、程式產品以及資訊處理方法
CN109089105B (zh) 基于深度感知编码的模型生成装置及方法
JPH11345334A (ja) 累計差分表を用いた３次元画像処理方法、装置、および３次元画像処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180723

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 5