KR20180106480A - 2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법 - Google Patents

2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20180106480A
KR20180106480A KR1020170034850A KR20170034850A KR20180106480A KR 20180106480 A KR20180106480 A KR 20180106480A KR 1020170034850 A KR1020170034850 A KR 1020170034850A KR 20170034850 A KR20170034850 A KR 20170034850A KR 20180106480 A KR20180106480 A KR 20180106480A
Authority
KR
South Korea
Prior art keywords
image
depth
depth image
object region
resolution
Prior art date
Application number
KR1020170034850A
Other languages
English (en)
Inventor
안양근
박영충
최광순
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170034850A priority Critical patent/KR20180106480A/ko
Publication of KR20180106480A publication Critical patent/KR20180106480A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치 및 방법에 관한 것이다.
본 발명의 일 실시예에 따른 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치는 2D 이미지로부터 물체 영역의 윤곽선을 추출하는 2D 윤곽선 추출부; 2D 이미지로부터 추출된 물체 영역의 윤곽선에 대응되는 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 3D 픽셀 선택부; 3D 픽셀 선택부를 통해 선택된 3D 뎁스 이미지의 물체 영역 픽셀과 2D 윤곽선 추출부를 통해 추출된 2D 이미지의 윤곽선을 매칭시키는 매칭부; 매칭부를 통해 2D 이미지의 윤곽선과 매칭되는 3D 뎁스 이미지의 물체 영역 픽셀을 분할하여 해상도를 확대하는 해상도 확대부; 및 윤곽선으로 한정된 2D 이미지의 물체 영역을 3D 뎁스 이미지의 물체 영역 픽셀에 합성하는 3D 뎁스 합성부;를 포함하여 이루어진 것을 특징으로 한다.
본 발명의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치는 고해상도의 2D 이미지와 저해상도의 3D 이미지를 합성하여 고해상도의 3D 이미지를 생성할 수 있게 됨에 따라, 해상도로 인해 발생되는 종래 정밀제스처, 공간 터치 인식 등의 문제점을 해결할 수 있는 효과가 있다.

Description

2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치 및 그 방법{High-resolution 3D depth image generation device for using 2D image and the method thereof}
본 발명은 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 저해상도의 3D 뎁스 이미지를 고해상도의 2D 이미지와 합성하여 고해상도의 3D 뎁스 이미지를 생성하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치 및 그 방법에 관한 것이다.
일반적으로 뎁스 카메라는 레이저나 적외선을 객체나 대상 영역에 비추어 되돌아오는 광선을 받아 시간 차이를 계산하는 TOF 방식으로 거리를 계산하여 이미지를 촬영하는 카메라이다.
이러한, 뎁스 카메라는 CCD 카메라 영상 화소 단위로 깊이 정보를 얻을 수 있어 3D 객체 인식, 3DTV 등 움직이는 객체나 장면의 실시간 깊이 정보를 모으는데 활용되고 있다.
다만, 종래 뎁스 카메라는 컬러 카메라의 해상도 HD(1920*1080), 4K(4096*2160)에 비하여 최대 해상도가 SD급(720*480), VGA(640*480) 및 200*200 등으로 낮으며, 이러한 해상도로 인해 정밀제스처, 공간 터치 인식 등에 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명에서 해결하고자 하는 과제는, 뎁스 카메라를 통해 획득한 저해상도의 3D 이미지와 일반 카메라를 통해 촬영된 고해상도의 2D 이미지를 합성하여 고해상도의 3D 뎁스 이미지를 생성할 수 있는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치 및 그 방법을 제공함에 있다.
본 발명의 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치는 2D 이미지로부터 물체 영역의 윤곽선을 추출하는 2D 윤곽선 추출부; 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선에 대응되는 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 3D 픽셀 선택부; 상기 3D 픽셀 선택부를 통해 선택된 상기 3D 뎁스 이미지의 물체 영역 픽셀과 상기 2D 윤곽선 추출부를 통해 추출된 상기 2D 이미지의 윤곽선을 매칭시키는 매칭부; 상기 매칭부를 통해 상기 2D 이미지의 윤곽선과 매칭되는 상기 3D 뎁스 이미지의 물체 영역 픽셀을 분할하여 해상도를 확대하는 해상도 확대부; 및 윤곽선으로 한정된 상기 2D 이미지의 물체 영역을 상기 3D 뎁스 이미지의 물체 영역 픽셀에 합성하는 3D 뎁스 합성부;를 포함하여 이루어진 것을 특징으로 한다.
상기 3D 픽셀 선택부는, 상기 3D 뎁스 이미지 중 특정 깊이 범위 내에 있는 영역의 픽셀을 선택하는 것이 바람직하다.
그리고 상기 매칭부는, 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선을 상기 3D 뎁스 이미지의 물체 영역 픽셀과 겹치도록 위치시킨 후 상기 윤곽선이 위치한 부분에 상기 3D 뎁스 이미지의 픽셀이 존재하지 않을 경우, 상기 물체 영역의 윤곽선이 위치한 상기 3D 뎁스 이미지 부분에 보정 픽셀을 추가하는 보정을 수행하는 것이 바람직하다.
본 발명의 일 실시예에 따른 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법은, 이미지 처리 프로세서가, 2D 이미지로부터 물체 영역의 윤곽선을 추출하는 단계; 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선에 대응되는 3D 뎁스 이미지의 영역의 픽셀을 선택하는 단계; 상기 3D 뎁스 이미지에서 선택된 물체 영역 픽셀과 상기 2D 이미지에서 추출한 물체 영역의 윤곽선을 매칭시키는 단계; 상기 윤곽선에 매칭된 3D 이미지의 물체 영역 픽셀을 분할하여 해상도를 확대하는 단계; 및 해상도가 확대된 상기 3D 뎁스 이미지의 물체 영역에 상기 2D 이미지의 물체 영역을 합성하는 단계;를 포함하여 이루어진 것을 특징으로 한다.
본 발명의 일 실시예에 채용된 상기 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 단계는, 상기 3D 뎁스 이미지 중 특정 깊이 범위 내에 있는 영역을 선택하는 것이 바람직하다.
그리고 상기 윤곽선을 매칭시키는 단계는, 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선을 상기 3D 뎁스 이미지의 물체 영역 픽셀과 겹치도록 위치시키는 단계; 및 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선이 위치한 부분에 상기 3D 뎁스 이미지의 픽셀이 존재하지 않을 경우, 상기 물체 영역의 윤곽선이 위치한 상기 3D 뎁스 이미지 부분에 보정 픽셀을 추가하는 보정을 수행하는 단계;를 포함하는 것이 바람직하다.
본 발명의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치 및 그 방법에 따르면, 고해상도의 2D 이미지와 저해상도의 3D 이미지를 합성하여 고해상도의 3D 이미지를 생성할 수 있게 됨에 따라, 해상도로 인해 발생되는 종래 정밀제스처, 공간터치 인식 등의 문제점을 해결할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 고해상도의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치를 설명하기 위한 기능블럭도.
도 2는 본 발명의 일 실시예에 따른 고해상도의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법을 설명하기 위한 순서도.
도 3은 본 발명의 일 실시예를 설명하기 위한 참고도.
도 4는 본 발명의 일 실시예에서 2D 이미지의 윤곽선과 3D 뎁스 이미지의 픽셀을 매칭하는 과정을 설명하기 위한 참고도.
도 5는 본 발명의 일 실시예에서 3D 뎁스 이미지의 해상도를 확장시키는 과정을 설명하기 위한 참고도이다.
본 발명의 이점과 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용되는 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성, 단계, 및/또는 동작은 하나 이상의 다른 구성, 단계, 및/또는 동작의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 고해상도의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치를 설명하기 위한 기능블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 고해상도의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치는 2D 윤곽선 추출부(10), 3D 픽셀 선택부(20), 매칭부(30), 해상도 확대부(40) 및 3D 뎁스 합성부(50)로 이루어진다.
2D 윤곽선 추출부(10)는 2D 이미지(200)로부터 물체 영역의 윤곽선(210)을 추출하는 역할을 하는 것으로, 도 3의 (a)에 도시된 바와 같은 2D 이미지(200)에서 도 3의 (b)에 도시된 물체 영역의 윤곽선(210)을 추출하게 된다. 본 발명의 일 실시예에서의 2D 이미지는 일반적인 CCD 카메라로부터 촬영된 이미지인 것이 바람직하다.
이러한 2D 윤곽선 추출부(10)는 상기 CCD 카메라로부터 입력된 고해상도의 2D 이미지에서 피부색상과 다른 부분을 배경으로 배치하고, 피부색상을 배경으로부터 분리하여 윤곽선을 추출하는 방법이 이용되나, 이미지에서 물체의 윤곽선을 추출하는 다양한 방법이 이용될 수도 있다.
그리고 3D 픽셀 선택부(20)는 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선(210)에 대응되는 3D 뎁스 이미지의 물체 영역 픽셀(110)을 선택하는 역할을 하는 것으로, 도 3의 (c)에 도시된 3D 뎁스 이미지(100)에서 물체 영역 픽셀(110)을 선택한다. 본 발명의 일 실시예에서의 3D 뎁스 이미지는 뎁스 카메라로부터 촬영된 이미지인 것이 바람직하고, 상기 2D 이미지에 비하여 해상도가 떨어진다.
한편, 본 발명의 일 실시예에서 이용된 2D 이미지를 촬영하는 카메라는 일반적인 CCD 카메라이나 2D를 촬영할 수 있는 다양한 카메라가 이용될 수 있고, 3D 뎁스 이미지를 촬영하는 뎁스 카메라는 삼각측량 방식의 3차원 레이저 스캐너, 구조 광선패턴을 이용한 깊이 카메라 및 적외선(IR : Infra-Red)의 반사 시간 차이를 이용한 TOF(Time-Of-Flight) 방식의 깊이 카메라 등이 이용될 수 있다.
본 발명의 일 실시예에서 3D 뎁스 이미지의 픽셀을 선택하는 방법은 적외선 광을 이용하여 배경을 제외하고, 가까운 사람이나 사물의 윤곽선을 추출하고, 그 윤곽선을 기반으로 3D 뎁스 이미지의 픽셀을 선택하는 방법이 이용될 수 있으나 이미지에서 픽셀을 추출할 수 있는 다양한 방법이 이용될 수 있다.
또한, 매칭부(30)는 3D 픽셀 선택부(20)를 통해 선택된 3D 뎁스 이미지(100)의 물체 영역 픽셀(110)과 상기 2D 윤곽선 추출부(10)를 통해 추출된 상기 2D 이미지의 윤곽선(210)을 매칭시키는 역할을 하는 것으로, 이후 도 3의 (d)에 도시된 바와 같이 3D 뎁스 이미지(100)의 물체 영역 픽셀(110)에 물체 영역의 윤곽선(210)으로 한정된 물체 영역을 합성하게 된다.
그리고 해상도 확대부(40)는 매칭부(30)를 통해 상기 2D 이미지의 윤곽선(210)과 매칭된 상기 3D 뎁스 이미지의 물체 영역 픽셀(110)을 분할하여 해상도를 확대하는 역할을 한다.
3D 뎁스 합성부(50)는 윤곽선(210)으로 한정된 도 3의 (b)에 도시된 상기 2D 이미지의 물체 영역을 도 3의 (c)에 도시된 상기 3D 뎁스 이미지의 물체 영역 픽셀(110)에 합성하여 도 3의 (e)에 도시된 바와 같이 고해상도의 2D 이미지가 합성된 물체 영역(320)을 갖는 3D 뎁스 이미지(100)를 생성한다.
따라서, 본 발명의 일 실시예에 따르면, 고해상도의 2D 이미지와 저해상도의 3D 뎁스 이미지를 합성하여 고해상도의 3D 뎁스 이미지를 생성할 수 있는 효과가 있다.
한편, 본 발명의 일 실시예에 채용된 3D 픽셀 선택부(20)는 3D 뎁스 이미지 중 특정 깊이 범위 내에 있는 물체 영역 픽셀(310)을 선택할 수도 있다. 즉, 도 3의 (a)에 도시된 물체 영역 픽셀(110)을 추출하여 2D 이미지의 물체 영역과 합성하지 않고, 도 3의 (d)의 특정 깊이 범위 내에 있는 영역의 픽셀(310)만 이진화하여 선택하고, 합성 대상이 되는 2D 이미지의 물체 영역 또한 3D 픽셀 선택부(20)에 의해 선택된 물체 영역 픽셀(310)에 대응되는 부분만 합성할 수도 있는 것이다. 여기서, 본 발명의 일 실시예에 따른 특정 깊이 범위는 3D 뎁스 이미지 중 가장 낮은 깊이인 것이 바람직하다.
이와 같이, 3D 댑스 이미지의 물체 영역 픽셀(110) 전체에 대하여 2D 이미지의 물체 영역과 합성하지 않더라도, 특정 깊이 범위 내에 있는 영역의 픽셀(310)만 고해상도의 3D 뎁스 이미지로 생성함으로써, 이미지 처리량이 감소되어 고속의 이미지 처리가 가능한 장점이 있다.
도 4는 본 발명의 일 실시예에서 2D 이미지의 윤곽선과 3D 뎁스 이미지의 픽셀을 매칭하는 과정을 설명하기 위한 참고도이다.
본 발명의 일 실시예에 채용된 상기 매칭부(30)는 도 4의 (a)에 도시된 바와 같이, 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선(210)을 상기 3D 뎁스 이미지의 물체 영역 픽셀(110)과 겹치도록 위치시킨 후 상기 윤곽선(210)이 위치한 부분에 상기 3D 뎁스 이미지의 픽셀이 존재하지 영역에 보정 픽셀(101)을 추가하는 보정을 수행할 수도 있다.
이러한 본 발명의 일 실시예에 채용된 매칭부에 따르면, 고해상도의 2D 이미지를 저해상도의 3D 뎁스 이미지에 합성시키더라도 왜곡이 발생하는 것을 방지할 수 있는 장점이 있다.
도 5는 본 발명의 일 실시예에서 3D 뎁스 이미지의 해상도를 확장시키는 과정을 설명하기 위한 참고도이다.
본 발명의 일 실시예에 채용된 해상도 확대부(40)는 2D 이미지로부터 추출된 물체 영역의 윤곽선(210)이 위치하는 3D 뎁스 이미지의 물체 영역 픽셀(110)과 보정 픽셀(101)을 도 5의 (a)에 도시된 바와 같이 물체 영역 분할 픽셀(120)로 분할한다.
이후, 도 5의 (b)에 도시된 바와 같이, 본 발명의 일 실시예에 채용된 3D 뎁스 합성부(50)는 3D 뎁스 이미지의 물체 영역 분할 픽셀(120) 중 상기 2D 이미지의 물체 영역의 윤곽선(210)이 위치한 부분의 물체 영역 분할 픽셀(12)만 합성 픽셀(121)로 재선택하고, 도 5의 (c)에 도시된 바와 같이, 3D 뎁스 이미지의 물체 영역으로 판단되는 나머지 물체 영역 픽셀(120)을 내부 합성 픽셀(122)을 선택한다.
이후 도 5의 (d)에 도시된 바와 같이, 윤곽선(210)으로 한정된 2D 이미지의 물체 영역을 3D 뎁스 이미지의 합성 픽셀(121)과 내부 합성 픽셀(122)에 합성함으로써, 고해상도의 3D 뎁스 이미지를 생성하게 된다.
도 2는 본 발명의 일 실시예에 따른 고해상도의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법을 설명하기 위한 순서도이다.
이하, 하기에서는 본 발명의 일 실시예에 따른 고해상도의 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법을 설명하기로 한다.
본 발명의 일 실시예에 따른 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법은 별도의 구성을 지정하지 않는 한 이미지 처리 프로세서에 의해 수행되는 것이 바람직하다. 여기서 본 발명의 일 실시예에서 채용된 이미지 처리 프로세서는 그 기능에 따라 2D 윤곽선 추출부(10), 3D 픽셀 선택부(20), 매칭부(30), 해상도 확대부(40) 및 3D 뎁스 합성부(50)에 의해 처리될 수 있다.
먼저, 이미지 처리 프로세서는 도 3의 (a)의 2D 이미지(200)로부터 도 3의 (b)의 물체 영역의 윤곽선(210)을 추출한다(S100). 본 발명의 일 실시예에 채용된 상기 윤곽선을 추출하는 단계(S100)는, 상기 CCD 카메라로부터 입력된 고해상도의 2D 이미지에서 피부색상과 다른 부분을 배경으로 배치하고, 피부색상을 배경으로부터 분리하여 윤곽선을 추출하는 것이 바람직하다.
그리고 도 3의 (c)에 도시된 바와 같이, 2D 이미지(200)의 윤곽선(210)에 대응되는 3D 뎁스 이미지(100)에서 물체 영역 픽셀(110)을 선택한다(S200). 본 발명의 일 실시예에서 3D 뎁스 이미지의 픽셀을 선택하는 방법은 적외선 광을 이용하여 배경을 제외하고, 가까운 사람이나 사물의 윤곽선을 추출하고, 그 윤곽선을 기반으로 3D 뎁스 이미지의 픽셀을 선택하는 방법을 이용한다.
여기서, 본 발명의 일 실시예에서의 2D 이미지(200)는 CCD 카메라로부터 촬영된 이미지이고, 3D 뎁스 이미지(100)는 뎁스 카메라로부터 촬영된 이미지이다. 이때, 2D 이미지와 3D 뎁스 이미지는 동일한 물체를 다른 종류의 카메라로 촬영한 이미지이거나 영상인 것이 바람직하다.
이어서, 상기 3D 뎁스 이미지(100)의 물체 영역 픽셀(310)과 상기 2D 이미지(200)의 윤곽선(210)을 매칭시킨다(S300).
이후, 상기 3D 뎁스 이미지(210)의 물체 영역 픽셀을 분할하여 해상도를 확대한다(S400).
이어서, 윤곽선(210)으로 한정된 상기 2D 이미지(210)의 물체 영역을 상기 3D 뎁스 이미지(100)의 물체 영역 픽셀(110)에 합성함으로써, 물체 영역에 대하여 고해상도의 2D 이미지가 합성된 3D 뎁스 이미지를 생성할 수 있다(S500).
본 발명의 일 실시예에 따르면, 고해상도의 2D 이미지와 저해상도의 3D 뎁스 이미지를 합성함으로써, 고해상도의 3D 뎁스 카메라를 이용하지 않고도 고해상도의 3D 뎁스 이미지를 생성할 수 있는 효과가 있다.
한편, 본 발명의 일 실시예에 채용된 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 단계는, 3D 뎁스 이미지(100) 중 특정 깊이 범위 내에 있는 픽셀(310)을 선택할 수도 있다. 여기서, 본 발명의 일 실시예에 따른 특정 깊이 범위는 3D 뎁스 이미지 중 가장 낮은 깊이인 것이 바람직하다.
그리고 3D 뎁스 이미지에서 특정 깊이 범위 내에 있는 영역의 픽셀(110)만 선택될 경우, 합성 대상이 되는 2D 이미지의 물체 영역 또한 3D 픽셀 선택부(20)에 의해 선택된 픽셀(110)에 대응되는 부분만 합성되는 것이 바람직하다.
본 발명의 일 실시예에 채용된 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 단계에 따르면, 3D 뎁스 이미지 중 특정 깊이 범위 내에 있는 영역의 픽셀을 선택하고, 이 영역만을 고해상도의 2D 이미지와 합성함으로써 고해상도의 3D 뎁스 이미지의 생성이 가능할 뿐만 아니라 저성능의 프로세서를 통해서도 구현 가능한 장점이 있다.
한편, 본 발명의 일 실시예에 채용된 윤곽선을 매칭시키는 단계(300)는 도 4의 (a)에 도시된 바와 같이, 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선(210)을 상기 3D 뎁스 이미지의 물체 영역 픽셀(110)에 겹치도록 위치시킨다(S310).
만약, 도 4의 (b)에 도시된 바와 같이, 상기 2D 이미지로부터 추출된 물체 영역의 윤곽선(210)이 위치한 부분에 상기 3D 뎁스 이미지의 물체 영역 픽셀(110)이 존재하지 않을 경우, 상기 물체 영역의 윤곽선(210)이 위치한 상기 3D 뎁스 이미지 부분에 보정 픽셀(101)을 추가하는 보정을 수행한다(S320).
이와 같이, 본 발명의 일 실시예에 채용된 윤곽선을 매칭시키는 단계에 따르면, 물체 영역의 윤곽선이 위치한 부분에 보정 픽셀을 추가하여 보정함으로써, 생성되는 고해상도의 3D 뎁스 이미지에 왜곡이 발생하는 것을 방지할 수 있는 장점이 있다.
또한, 본 발명의 일 실시예에 채용된 해상도 확대 단계(S400)는, 2D 이미지로부터 추출된 물체 영역의 윤곽선(210)이 위치하는 도 4의 (b)의 상기 3D 뎁스 이미지의 물체 영역 픽셀(110)과 보정 픽셀(101)을 도 5의 (a)에 도시된 바와 같이 물체 영역 분할 픽셀(120)로 분할한다(S410).
이후, 도 5의 (b)에 도시된 바와 같이, 상기 3D 뎁스 이미지의 물체 영역 분할 픽셀(120) 중 상기 2D 이미지의 물체 영역의 윤곽선(210)이 위치한 부분의 물체 영역 분할 픽셀(120)만을 합성 픽셀(121)로 재선택한다(S420).
이어서, 도 5의 (c)에 도시된 바와 같이 3D 뎁스 이미지의 물체 영역으로 판단되는 나머지 내부 합성 픽셀(122)을 선택한 후 도 5의 (d)에 도시된 바와 같이 윤곽선(210)으로 한정된 2D 이미지의 물체 영역을 3D 뎁스 이미지의 합성 픽셀(121)과 내부 합성 픽셀(122)에 합성함으로써, 고해상도의 3D 뎁스 이미지를 생성할 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의해 정해져야 할 것이다.
10 : 2D 윤곽선 추출부 20 : 3D 픽셀 선택부
30 : 매칭부 40 : 해상도 확대부
50 : 3D 뎁스 합성부

Claims (6)

  1. 2D 이미지로부터 물체 영역의 윤곽선을 추출하는 2D 윤곽선 추출부;
    상기 2D 이미지로부터 추출된 물체 영역의 윤곽선에 대응되는 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 3D 픽셀 선택부;
    상기 3D 픽셀 선택부를 통해 선택된 상기 3D 뎁스 이미지의 물체 영역 픽셀과 상기 2D 윤곽선 추출부를 통해 추출된 상기 2D 이미지의 윤곽선을 매칭시키는 매칭부;
    상기 매칭부를 통해 상기 2D 이미지의 윤곽선과 매칭되는 상기 3D 뎁스 이미지의 물체 영역 픽셀을 분할하여 해상도를 확대하는 해상도 확대부; 및
    윤곽선으로 한정된 상기 2D 이미지의 물체 영역을 상기 3D 뎁스 이미지의 물체 영역 픽셀에 합성하는 3D 뎁스 합성부;를 포함하여 이루어진 것을 특징으로 하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치.
  2. 제 1항에 있어서,
    상기 3D 픽셀 선택부는,
    상기 3D 뎁스 이미지 중 특정 깊이 범위 내에 있는 영역의 물체 영역 픽셀을 선택하는 것을 특징으로 하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치.
  3. 제 1항에 있어서,
    상기 매칭부는,
    상기 2D 이미지로부터 추출된 물체 영역의 윤곽선을 상기 3D 뎁스 이미지의 물체 영역 픽셀과 겹치도록 위치시킨 후 상기 윤곽선이 위치한 부분에 상기 3D 뎁스 이미지의 픽셀이 존재하지 않을 경우, 상기 물체 영역의 윤곽선이 위치한 상기 3D 뎁스 이미지 부분에 보정 픽셀을 추가하는 보정을 수행하는 것을 특징으로 하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 장치.
  4. 이미지 처리 프로세서가,
    2D 이미지로부터 물체 영역의 윤곽선을 추출하는 단계;
    상기 2D 이미지로부터 추출된 물체 영역의 윤곽선에 대응되는 3D 뎁스 이미지의 영역의 픽셀을 선택하는 단계;
    상기 3D 뎁스 이미지에서 선택된 물체 영역 픽셀과 상기 2D 이미지에서 추출한 물체 영역의 윤곽선을 매칭시키는 단계;
    상기 윤곽선에 매칭된 3D 이미지의 물체 영역 픽셀을 분할하여 해상도를 확대하는 단계; 및
    해상도가 확대된 상기 3D 뎁스 이미지의 물체 영역에 상기 2D 이미지의 물체 영역을 합성하는 단계;를 포함하여 이루어진 것을 특징으로 하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법.
  5. 제 4항에 있어서,
    상기 3D 뎁스 이미지의 물체 영역 픽셀을 선택하는 단계는,
    상기 3D 뎁스 이미지 중 특정 깊이 범위 내에 있는 물체 영역 픽셀을 선택하는 것을 특징으로 하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법.
  6. 제 4항에 있어서,
    상기 윤곽선을 매칭시키는 단계는,
    상기 2D 이미지로부터 추출된 물체 영역의 윤곽선을 상기 3D 뎁스 이미지의 물체 영역 픽셀과 겹치도록 위치시키는 단계; 및
    상기 2D 이미지로부터 추출된 물체 영역의 윤곽선이 위치한 부분에 상기 3D 뎁스 이미지의 픽셀이 존재하지 않을 경우, 상기 물체 영역의 윤곽선이 위치한 상기 3D 뎁스 이미지 부분에 보정 픽셀을 추가하는 보정을 수행하는 단계;를 포함하는 것을 특징으로 하는 2D 이미지를 이용한 고해상도 3D 뎁스 이미지 생성 방법.
KR1020170034850A 2017-03-20 2017-03-20 2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법 KR20180106480A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170034850A KR20180106480A (ko) 2017-03-20 2017-03-20 2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170034850A KR20180106480A (ko) 2017-03-20 2017-03-20 2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180106480A true KR20180106480A (ko) 2018-10-01

Family

ID=63877616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170034850A KR20180106480A (ko) 2017-03-20 2017-03-20 2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180106480A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657634A (zh) * 2018-12-26 2019-04-19 中国地质大学（武汉） 一种基于深度卷积神经网络的3d手势识别方法及系统
WO2020211626A1 (zh) * 2019-04-15 2020-10-22 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
CN111932566A (zh) * 2020-05-27 2020-11-13 杭州群核信息技术有限公司 一种模型轮廓图生成方法、装置和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657634A (zh) * 2018-12-26 2019-04-19 中国地质大学（武汉） 一种基于深度卷积神经网络的3d手势识别方法及系统
WO2020211626A1 (zh) * 2019-04-15 2020-10-22 Oppo广东移动通信有限公司 物体几何参数的测量方法、装置和终端
CN111932566A (zh) * 2020-05-27 2020-11-13 杭州群核信息技术有限公司 一种模型轮廓图生成方法、装置和系统
CN111932566B (zh) * 2020-05-27 2024-02-20 杭州群核信息技术有限公司 一种模型轮廓图生成方法、装置和系统

Similar Documents

Publication Publication Date Title
TWI573454B (zh) 電子裝置及其影像合成方法
KR100813100B1 (ko) 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
CN108683902B (zh) 目标图像获取系统与方法
CN108648225B (zh) 目标图像获取系统与方法
WO2017033853A1 (ja) 情報処理装置および情報処理方法
US20130335535A1 (en) Digital 3d camera using periodic illumination
JP6187640B2 (ja) 画像合成方法及び装置
JP7387434B2 (ja) 画像生成方法および画像生成装置
KR20180106480A (ko) 2d 이미지를 이용한 고해상도 3d 뎁스 이미지 생성 장치 및 그 방법
KR101853269B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 장치
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
CN111724470B (zh) 一种处理方法及电子设备
KR100943635B1 (ko) 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법
KR101994473B1 (ko) 평면이미지의 리포커싱 방법, 장치 및 기록매체에 저장된 프로그램
US20130271572A1 (en) Electronic device and method for creating three-dimentional image
JP4696925B2 (ja) 画像処理装置
KR20140026078A (ko) 객체 추출 장치 및 방법
JP2002117403A (ja) 画像処理装置および画像処理方法
JP2005031800A (ja) 熱画像表示装置
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
KR101142873B1 (ko) 입체 영상 생성 방법 및 장치
KR101893142B1 (ko) 객체 영역 추출 방법 및 그 장치
JP6416740B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2005078482A (ja) 対象物進行方向検出方法
JP2002260017A (ja) ３次元形状データ生成方法および装置