KR101963042B1 - 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법 - Google Patents

3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법 Download PDF

Info

Publication number
KR101963042B1
KR101963042B1 KR1020170133056A KR20170133056A KR101963042B1 KR 101963042 B1 KR101963042 B1 KR 101963042B1 KR 1020170133056 A KR1020170133056 A KR 1020170133056A KR 20170133056 A KR20170133056 A KR 20170133056A KR 101963042 B1 KR101963042 B1 KR 101963042B1
Authority
KR
South Korea
Prior art keywords
transparent object
information
unit
transparent
model
Prior art date
Application number
KR1020170133056A
Other languages
English (en)
Inventor
심현정
방두현
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170133056A priority Critical patent/KR101963042B1/ko
Application granted granted Critical
Publication of KR101963042B1 publication Critical patent/KR101963042B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 투명 객체를 복원하는 장치 및 그 방법에 관한 기술로서, 일실시예에 따른 투명 객체를 복원하는 장치는 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신하는 수신부와 투명 객체에 관한 정보에 기초하여 수신부에서 수신한 정보에서 투명 객체를 분리하는 투명 객체 분리부와, 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 학습된 복수의 투명 객체 모델 중에서 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택하는 모델 선택부와, 선택된 투명 객체 모델의 깊이 영상 정보를 추출하는 깊이 영상 정보 추출부 및 수신부에서 수신한 정보에서 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)하는 피팅부를 포함한다.

Description

3D 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법{APPARATUS AND Method FOR RESTORING TRANSPARENT AND TRANSLUCENT OBJECTS IN 3D IMAGE}
본 발명은 3D 영상에서 투명 객체를 복원하는 장치 및 그 방법에 관한 기술로서, 구체적으로는 3D 정보 취득 장치의 기계적 한계 혹은 제약 조건으로 왜곡된 투명 객체를 복원하는 기술적 사상에 관한 것이다.
기술이 발달하면서 3D 영화, 가상현실 및 증강현실과 같은 3차원 기술을 이용한 컨텐츠가 증가하고 있으며, 이에 대한 소비 또한 증가하고 있다. 3차원 기술은 대부분 많은 인력, 시간 및 비용을 소비하게 되는데, 현재는 이를 줄이기 위하여 3D 스캐너와 깊이 카메라(Depth Camera)와 같은 3D 정보 취득 장치가 등장하고 있다.
그러나, 전술한 3D 정보 취득 장치는 기술적인 한계로 인해 투명 및 반투명 객체의 깊이 정보를 제공하지 못하거나, 왜곡이 심한 정보를 제공한다. 따라서, 3D 정보 취득 장치의 기계적 한계에 의한 왜곡 현상을 보정하기 위한 다양한 방법론이 제안되고 있다.
한국공개특허 제10-2014-0052365호 "영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법" 한국등록특허 제10-1751697호 "건물 외곽 텍스처링 및 BIM 데이터 연계를 통한 투명 객체 가시화 방법 및 장치"
본 발명은, 3차원 촬영 영상에 포함된 투명 객체의 깊이 영상 정보를 학습된 투명 객체 모델의 깊이 영상 정보로 대체 및 영상에 맞게 피팅함으로써, 투명 객체를 복원하는 기술을 제공하는 것을 목적으로 한다.
또한, 본 발명은, 3차원 촬영 영상의 컬러 영상 정보에 기초하여 사전에 학습된 복수의 투명 객체 모델 중에서 3차원 촬영 영상에 포함된 투명 객체와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 추출하여 피팅함으로써, 투명 객체 복원의 정확성을 향상 시키는 것을 목적으로 한다.
또한, 본 발명은, 3차원 촬영 영상의 컬러 영상 정보에 기초하여 3차원 촬영 영상에 포함된 투명 객체의 위치 및 특성 정보를 고려한 피팅을 수행함으로써, 투명 객체 복원의 신뢰성을 향상시키는 것을 목적으로 한다.
본 발명의 일실시예에 따른 투명 객체를 복원하는 장치는 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신하는 수신부와 투명 객체에 관한 정보에 기초하여 수신부에서 수신한 정보에서 투명 객체를 분리하는 투명 객체 분리부와, 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 학습된 복수의 투명 객체 모델 중에서 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택하는 모델 선택부와, 선택된 투명 객체 모델의 깊이 영상 정보를 추출하는 깊이 영상 정보 추출부 및 수신부에서 수신한 정보에서 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)하는 피팅부를 포함한다.
일측에 따르면, 투명 객체 분리부는 투명 객체에 관한 정보로서, 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈, 및 형상 정보 중 적어도 하나 이상의 정보를 수신할 수 있다.
일측에 따르면, 투명 객체 분리부는 수신부에서 수신한 정보가 컬러 영상 정보인 경우, 컬러 영상 정보에서 투명 객체를 분리하고, 수신부에서 수신한 정보가 깊이 영상 정보인 경우, 깊이 영상 정보와 함께 취득되는 적외선 영상 정보에서 투명 객체를 분리할 수 있다.
일측에 따르면, 모델 선택부는 특성 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 추출하고, 추출된 형상 정보에 기초하여 투명 객체 모델을 선택할 수 있다.
일측에 따르면, 모델 선택부로 투명 객체 모델을 제공하는 학습부를 더 포함할 수 있다.
일측에 따르면, 학습부는 인터넷을 통하여 완성도 있는 투명 객체 데이터를 수집하는 투명 객체 수집부와, 투명 객체와 불투명 객체를 구분하기 위한 투명 객체에 관한 정보를 수집된 투명 객체 데이터에 기초하여 기계 학습하는 객체 정보 학습부 및 수집된 투명 객체 데이터에 기초하여 투명 객체의 형상 정보인 특성 정보를 추출하고, 추출된 특성 정보를 참고하여 클래스를 구분하며, 클래스 별로 기계 학습을 수행하여 학습된 복수의 투명 객체 모델을 생성하는 객체 모델 학습부를 포함할 수 있다.
일측에 따르면, 투명 객체 분리부는 수집부에서 수신한 정보에 포함된 투명 객체에 관한 정보를 객체 정보 학습부에서 학습된 투명 객체에 관한 정보와 비교하고, 비교 결과에 따라 컬러 영상 정보에서 투명 객체를 분리할 수 있다.
일측에 따르면, 학습부는 모델 선택부로부터 분리된 투명 객체의 특성 정보를 입력 받고, 입력된 특성 정보에 대응되는 클래스에 포함되어 있는 학습된 복수의 투명 객체 모델 중에서 입력된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 검색하여 모델 선택부에 제공하는 객체 모델 검색부를 더 포함할 수 있다.
일측에 따르면, 피팅부는 수신부에서 수신한 정보가 컬러 영상 정보인 경우에, 컬러 영상 정보에서 깊이 영상 정보를 추출하고, 컬러 영상 정보에서 추출된 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅할 수 있다.
본 발명의 일실시예에 따른 투명 객체를 복원하는 방법은 수신부에서 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신하는 단계와, 투명 객체 분리부에서 투명 객체에 관한 정보에 기초하여 수신부에서 수신한 정보에서 투명 객체를 분리하는 단계와, 모델 선택부에서 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 학습된 복수의 투명 객체 모델 중에서 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택하는 단계와, 깊이 영상 정보 추출부에서 선택된 투명 객체 모델의 깊이 영상 정보를 추출하는 단계 및 피팅부에서 수신부에서 수신한 정보에서 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)하는 단계를 포함한다.
일측에 따르면, 투명 객체를 분리하는 단계는 투명 객체에 관한 정보로서, 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나 이상의 정보를 수신할 수 있다.
일측에 따르면, 투명 객체 모델을 추출하는 단계는 특성 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 추출할 수 있다.
일측에 따르면, 투명 객체 모델을 추출하는 단계는 학습부에서 투명 객체 모델을 제공하는 단계를 더 포함할 수 있다.
일측에 따르면, 학습부에서 학습된 복수의 투명 객체 모델을 제공하는 단계는 학습부의 투명 객체 수집부에서 인터넷을 통하여 완성도 있는 투명 객체 데이터를 수집하는 단계와 학습부의 객체 정보 학습부에서 투명 객체와 불투명 객체를 구분하기 위한 투명 객체에 관한 정보를 수집된 투명 객체 데이터에 기초하여 기계 학습하는 단계 및 학습부의 객체 모델 학습부에서 수집된 투명 객체 데이터에 기초하여 투명 객체의 형상 정보인 특성 정보를 추출하고, 추출된 특성 정보를 참고하여 클래스를 구분하며, 클래스 별로 기계 학습을 수행하여 학습된 복수의 투명 객체 모델을 생성하는 단계를 포함할 수 있다.
일측에 따르면, 객체 모델 검색부에서 모델 선택부로부터 분리된 투명 객체의 특성 정보를 입력 받고, 입력된 특성 정보에 대응되는 클래스에 포함되어 있는 학습된 복수의 투명 객체 모델 중에서 입력된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 검색하여 모델 선택부에 제공하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 3차원 촬영 영상에 포함된 투명 객체의 깊이 영상 정보를 학습된 투명 객체 모델의 깊이 영상 정보로 대체 및 영상에 맞게 피팅함으로써, 투명 객체를 복원 할 수 있다.
또한, 일실시예에 따르면, 3차원 촬영 영상의 컬러 영상 정보에 기초하여 사전에 학습된 복수의 투명 객체 모델 중에서 3차원 촬영 영상에 포함된 투명 객체와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 추출하여 피팅함으로써, 투명 객체 복원의 정확성을 향상 시킬 수 있다.
또한, 일실시예에 따르면, 3차원 촬영 영상의 컬러 영상 정보에 기초하여 3차원 촬영 영상에 포함된 투명 객체의 위치 및 특성 정보를 고려한 피팅을 수행함으로써, 투명 객체 복원의 신뢰성을 향상시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 투명 객체를 복원하는 장치를 도시하는 구성도이다.
도 2는 본 발명의 일실시예에 따른 투명 객체를 복원하는 장치의 학습부를 도시하는 구성도이다.
도 3은 본 발명의 일실시예에 따른 투명 객체를 복원하는 방법을 도시하는 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 투명 객체를 복원하는 방법을 도시하는 순서도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 투명 객체를 복원하는 장치를 도시하는 구성도이다.
도 1을 참조하면, 투명 객체를 복원하는 장치(100)는 3차원 촬영 영상의 컬러 영상 정보에서 투명 객체를 분리하고, 사전에 학습된 복수의 투명 객체 모델 중에서 분리된 투명 객체의 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택할 수 있다.
다음으로, 투명 객체를 복원하는 장치(100)는 추출된 투명 객체 모델에서 깊이 영상 정보를 추출하고, 3차원 촬영 영상의 깊이 영상 정보에서 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)할 수 있다.
이를 위해, 일실시예에 따른 투명 객체를 복원하는 장치(100)는 수신부(110), 투명 객체 분리부(120), 모델 선택부(130), 깊이 영상 정보 추출부(140) 및 피팅부(150)를 포함할 수 있다.
일실시예에 따른 수신부(110)는 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신할 수 있다.
예를 들어, 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보는 3D 스캐너 또는 깊이 카메라(Depth Camera)로부터 수신할 수 있다.
일실시예에 따른 투명 객체 분리부(120)는 투명 객체에 관한 정보에 기초하여 수신부(110)에서 수신한 정보에서 투명 객체를 분리할 수 있다.
예를 들어, 투명 객체 분리부(120)는 투명 객체로 인해 후경의 모습이 왜곡되는 현상을 이용하여, 3차원 촬영 영상 내의 굴절로 인한 왜곡이 발생하는 영역을 탐지하고, 탐지된 영역을 투명 객체가 위치한 영역으로 분리할 수 있다.
일측에 따르면, 투명 객체 분리부(120)는 투명 객체에 관한 정보로서, 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나의 정보를 수신할 수 있다.
예를 들어, 투명 객체 분리부(120)는 투명 객체에 관한 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 수신할 수 있다.
일측에 따르면, 투명 객체 분리부(120)는 수신부(110)에서 수신한 정보가 컬러 영상 정보인 경우, 컬러 영상 정보에서 투명 객체를 분리할 수 있다.
예를 들어, 투명 객체 분리부(120)는 학습 기반의 방식으로 컬러 영상 정보에서 투명 객체를 분리할 수 있다.
또한, 투명 객체 분리부(120)는 수신부(110)에서 수신한 정보가 깊이 영상 정보인 경우, 깊이 영상 정보와 함께 취득되는 적외선 영상 정보에서 투명 객체를 분리할 수 있다.
즉, 투명 객체 분리부(120)는 깊이 영상 정보는 적외선 영상 정보를 포함하고 있으며, 컬러 영상 정보와 같이 적외선 영상 정보를 활용하여 투명 객체를 분리할 수 있다.
일실시예에 따른 모델 선택부(130)는 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 학습된 복수의 투명 객체 모델 중에서 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택할 수 있다.
일측에 따르면, 모델 선택부(130)는 특성 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 추출할 수 있다.
예를 들어, 투명 플라스틱으로 구성된 물체는 페트병, 파일 폴더, 서랍장, 바구니 등의 형상을 갖는 물체일 수 있다.
보다 구체적으로, 모델 선택부(130)는 분리된 투명 객체의 형상 정보에 기초하여 사전에 학습된 복수의 투명 객체 모델 중에서 디자인 및 사이즈가 가장 유사한 하나의 투명 객체 모델을 기준값 이상으로 유사한 투명 객체 모델로 선택할 수 있다.
예를 들어, 모델 선택부(130)는 분리된 투명 객체의 형상이 유리컵의 형상이고, 손잡이가 없는 역삼각형의 디자인을 갖는 투명 객체인 경우에, 사전에 학습된 복수의 투명 객체 모델 중에서 유리컵의 형상이고, 디자인 및 사이즈가 분리된 투명 객체와 가장 유사한 하나의 투명 객체 모델을 선택할 수 있다.
특히, 모델 선택부(130)는 투명 객체의 형상 정보, 디자인, 사이즈의 순서로 유사도를 비교하여, 사전에 학습된 복수의 투명 객체 모델 중에서 분리된 투명 객체와 가장 유사한 하나의 투명 객체 모델을 선택할 수도 있다.
즉, 본 발명은 3차원 촬영 영상의 컬러 영상 정보에 기초하여 사전에 학습된 복수의 투명 객체 모델 중에서 투명 객체와 가장 유사한 투명 객체 모델을 추출하여 피팅함으로써, 투명 객체 복원의 정확성을 향상시킬 수 있다.
일측에 따르면, 투명 객체를 복원하는 장치(100)는 모델 선택부(130)로 투명 객체 모델을 제공하는 학습부를 더 포함할 수 있다.
일실시예에 따른 학습부에서 투명 객체 모델을 모델 선택부(130)에 제공하는 동작은 이후 실시예 도 2를 통해 보다 구체적으로 설명 하기로 한다.
일실시예에 따른 깊이 영상 정보 추출부(140)는 선택된 투명 객체 모델의 깊이 영상 정보를 추출할 수 있다.
보다 구체적으로, 깊이 영상 정보 추출부(140)는 3차원 촬영 영상에 포함된 투명 객체의 형상 정보와 가장 유사한 투명 객체 모델을 구성하는 각 픽셀에서 신뢰성 있는 깊이 영상 정보를 추출할 수 있다.
일실시예에 따른 피팅부(150)는 수신부(110)에서 수신한 정보에서 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)할 수 있다.
일측에 따르면, 피팅부(150)는 수신부(110)에서 수신한 정보가 컬러 영상 정보인 경우에, 컬러 영상 정보에서 깊이 영상 정보를 추출할 수 있다. 또한, 피팅부(150)는 컬러 영상 정보에서 추출된 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅할 수 있다.
보다 구체적으로, 투명 객체를 복원하는 장치(100)는 3차원 영상의 컬러 영상 정보에서 투명 객체에 인접한 불투명 객체들을 구성하는 픽셀들의 위치에 기초하여 투명 객체의 정확한 위치와, 사이즈 및 형상 등의 특성 정보 검출할 수 있다.
또한, 피팅부(150)는 투명 객체에 대응되는 투명 객체 모델의 깊이 영상 정보를 검출된 투명 객체의 정확한 위치, 사이즈 및 형상에 맞게 피팅할 수 있다.
즉, 본 발명은 3차원 촬영 영상의 컬러 영상 정보에 기초하여 3차원 촬영 영상에 포함된 투명 객체의 위치 및 특성 정보를 고려한 피팅을 수행함으로써, 투명 객체 복원의 신뢰성을 향상시킬 수 있다.
도 2는 본 발명의 본 발명의 일실시예에 따른 투명 객체를 복원하는 장치의 학습부를 도시하는 구성도이다.
도 2에 도시된 학습부(200)는 도 1에 도시된 일실시예에 따른 투명 객체를 복원하는 장치(100)에 포함될 수 있다.
도 2를 참조하면, 학습부(200)는 인터넷으로 완성도 있는 투명 객체 데이터를 수집하여 불투명 객체를 구분하기 위한 1차 기계학습 및 특성 정보에 따라 클래스를 분류하고 분류된 클래스 별로 기계학습을 수행하여 복수의 투명 객체 모델을 생성하는 2차 기계학습을 수행할 수 있다.
이를 위해, 학습부(200)는 투명 객체 수집부(210), 객체 정보 학습부(220) 및 객체 모델 학습부(230)를 포함할 수 있다.
일측에 따르면, 투명 객체 수집부(210)는 인터넷을 통하여 완성도 있는 투명 객체 데이터를 수집할 수 있다.
보다 구체적으로, 투명 객체 수집부(210)는 인터넷 또는 사용자가 직접 입력한 투명 객체의 영상 및 깊이 정보를 포함하는 투명 객체 데이터를 수집하여 데이터베이스를 조성할 수 있다.
예를 들어, 투명 객체 수집부(210)는 3D warehouse에 등록된 투명 객체 데이터를 다운로드하여 수집할 수 있다.
일측에 따르면, 객체 정보 학습부(220)는 투명 객체와 불투명 객체를 구분하기 위한 투명 객체에 관한 정보를 수집된 투명 객체 데이터에 기초하여 기계 학습할 수 있다.
예를 들어, 투명 객체에 관한 정보는 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나 이상의 정보를 포함할 수 있다.
특히, 객체 정보 학습부(220)는 학습된 투명 객체에 관한 정보를 도 1의 투명 객체 분리부(120)에 제공할 수 있다.
일측에 따르면, 도 1의 투명 객체 분리부(120)는 도 1의 수집부(110)에서 수신한 정보에 포함된 투명 객체에 관한 정보를 객체 정보 학습부(220)에서 학습된 투명 객체에 관한 정보와 비교하고, 비교 결과에 따라 도 1의 수집부(110)에서 수신한 정보에서 투명 객체를 분리할 수 있다.
일측에 따르면, 객체 모델 학습부(230)는 수집된 투명 객체 데이터에 기초하여 투명 객체의 형상 정보인 특성 정보를 추출하고, 추출된 특성 정보를 참고하여 클래스를 구분하며, 클래스 별로 기계 학습을 수행하여 학습된 복수의 투명 객체 모델을 생성할 수 있다.
예를 들어, 특성 정보는 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보일 수 있으며, 투명 플라스틱으로 구성된 물체는 페트병, 파일 폴더, 서랍장, 바구니 등의 형상을 갖는 물체일 수 있다.
즉, 객체 모델 학습부(230)는 투명 객체의 형상이 유리컵이면 1번, 페트병이면 2번, 전등이면 3번, 유리창이면 4번, 서랍장이면 5번과 같이 투명 객체의 형상에 따라 임의의 레이블을 부여하여 클래스를 구분할 수 있다.
또한, 객체 모델 학습부(230)는 학습된 복수의 투명 객체 모델을 신경망(Neural Network), 의사결정나무(Decision Tree), 베이지안 망(Bayesian network), 서포트 벡터 머신(Support Vector Machine, SVM), Adaboost, K-nearest 분류기 중에서 적어도 하나의 기계학습 알고리즘을 통해 생성할 수 있다.
보다 구체적으로, 객체 모델 학습부(230)는 수집된 투명 객체 데이터에 수집된 투명 객체 데이터의 형상 정보인 특성 정보를 추출하고, 추출된 특성 정보를 참고하여 클래스를 구분하며, 구분된 클래스 별로 디자인 및 사이즈에 따라 기계 학습을 수행하여 학습된 복수의 투명 객체 모델을 생성할 수 있다.
일측에 따르면, 학습부(200)는 도 1의 모델 선택부(130)로부터 분리된 투명 객체의 특성 정보를 입력 받고, 입력된 특성 정보에 대응되는 클래스에 포함되어 있는 학습된 복수의 투명 객체 모델 중에서 입력된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 검색하여 도 1의 모델 선택부(130)에 제공하는 객체 모델 검색부(240)를 더 포함할 수 있다.
예를 들어, 학습부(200)는 도 1의 모델 선택부(130)로부터 유리병 형상의 투명 객체의 특성 정보를 입력 받으면, 유리병의 형상에 대응되는 클래스에 포함되어 있는 복수의 투명 객체 모델 중에서 입력 받은 특성 정보와 가장 유사한 특성 정보를 갖는 적어도 하나의 투명 객체 모델을 검색할 수 있다.
또한, 학습부(200)는 검색된 투명 객체 모델을 도 1의 모델 선택부(130)에 제공할 수 있다.
도 3은 본 발명의 일실시예에 따른 투명 객체를 복원하는 방법을 도시하는 순서도이다.
도 3에 도시된 일실시예에 따른 투명 객체를 복원하는 방법은 일실시예에 따른 투명 객체를 복원하는 장치에 의하여 수행될 수 있다.
따라서, 도 3에서 설명하는 투명 객체를 복원하는 방법 중에서 일실시예에 따른 투명 객체를 복원하는 장치에서 도 1 내지 도 2를 통하여 설명한 내용과 중복되는 설명은 생략하기로 한다.
도 3을 참조하면, 310단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신할 수 있다.
예를 들어, 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보는 3D 스캐너 또는 깊이 카메라(Depth Camera)로부터 수신할 수 있다.
320단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 투명 객체 분리부에서 투명 객체에 관한 정보에 기초하여 수신부에서 수신한 정보에서 투명 객체를 분리할 수 있다.
예를 들어, 투명 객체 분리부는 투명 객체로 인해 후경의 모습이 왜곡되는 현상을 이용하여, 3차원 촬영 영상 내의 굴절로 인한 왜곡이 발생하는 영역을 탐지하고, 탐지된 영역을 투명 객체가 위치한 영역으로 분리할 수 있다.
일측에 따르면, 320단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 투명 객체에 관한 정보로서, 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나 이상의 정보를 수신할 수 있다.
330단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 모델 선택부에서 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 학습된 복수의 투명 객체 모델 중에서 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택할 수 있다.
일측에 따르면, 330단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 특성 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 추출할 수 있다.
예를 들어, 플라스틱으로 구성된 물체는 페트병, 파일 폴더, 서랍장, 바구니 등의 형상을 갖는 물체일 수 있다.
보다 구체적으로, 330단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 분리된 투명 객체의 형상 정보에 기초하여 사전에 학습된 복수의 투명 객체 모델 중에서 디자인 및 사이즈가 가장 유사한 하나의 투명 객체 모델을 기준값 이상의 유사도를 갖는 투명 객체 모델로 추출할 수 있다.
일측에 따르면, 330단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 학습부에서 투명 객체 모델을 제공하는 도 4의 430단계를 더 포함할 수 있다.
학습부에서 투명 객체 모델을 제공하는 방법은 이후 실시예 도 4를 통해 보다 구체적으로 설명 하기로 한다.
340단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 깊이 영상 정보 추출부에서 추출된 투명 객체 모델의 깊이 영상 정보를 추출할 수 있다.
보다 구체적으로, 340단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 3차원 촬영 영상에 포함된 투명 객체의 형상 정보와 가장 유사한 투명 객체 모델을 구성하는 각 픽셀에서 신뢰성 있는 깊이 영상 정보를 추출할 수 있다.
350단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 피팅부에서 수신부에서 수신한 정보에서 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)할 수 있다.
보다 구체적으로, 350단계에서 일실시예에 따른 투명 객체를 복원하는 방법은 3차원 영상의 컬러 영상 정보에서 투명 객체에 인접한 불투명 객체들을 구성하는 픽셀들의 위치에 기초하여 투명 객체의 정확한 위치와, 사이즈 및 형상 등의 특성 정보 검출할 수 있으며, 투명 객체에 대응되는 투명 객체 모델의 깊이 영상 정보를 검출된 투명 객체의 정확한 위치, 사이즈 및 형상에 맞게 피팅할 수 있다.
즉, 본 발명은 3차원 촬영 영상의 컬러 영상 정보에 기초하여 3차원 촬영 영상에 포함된 투명 객체의 위치 및 특성 정보를 고려한 피팅을 수행함으로써, 투명 객체 복원의 신뢰성을 향상시킬 수 있다.
도 4는 본 발명의 다른 실시예에 따른 투명 객체를 복원하는 방법을 도시하는 순서도이다.
도 4에 도시된 다른 실시예에 따른 투명 객체를 복원하는 방법은 일실시예에 따른 투명 객체를 복원하는 장치에 의하여 수행될 수 있다.
따라서, 도 4에서 설명하는 투명 객체를 복원하는 방법 중에서 일실시예에 따른 투명 객체를 복원하는 장치 및 방법에서 도 1 내지 도 3을 통하여 설명한 내용과 중복되는 설명은 생략하기로 한다.
도 4를 참조하면, 431단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 학습부의 투명 객체 수집부에서 인터넷을 통하여 완성도 있는 투명 객체 데이터를 수집하는 단계를 포함할 수 있다.
보다 구체적으로, 431단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 투명 객체 수집부에서 인터넷 또는 사용자가 직접 입력한 투명 객체의 영상 및 깊이 정보를 포함하는 투명 객체 데이터를 수집하여 데이터베이스를 조성할 수 있다.
일측에 따르면, 432단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 학습부의 객체 정보 학습부에서 투명 객체와 불투명 객체를 구분하기 위한 투명 객체에 관한 정보를 수집된 투명 객체 데이터에 기초하여 기계 학습을 수행할 수 있다.
예를 들어, 투명 객체에 관한 정보는 투명 객체의 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나 이상의 정보를 포함할 수 있다.
일측에 따르면, 433단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 학습부의 객체 모델 학습부에서 수집된 투명 객체 데이터에 기초하여 투명 객체의 형상 정보인 특성 정보를 추출하고, 상기 추출된 특성 정보를 참고하여 클래스를 구분하며, 클래스 별로 기계 학습을 수행하여 학습된 복수의 투명 객체 모델을 생성할 수 있다.
예를 들어, 433단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 객체 모델 학습부에서 학습된 복수의 투명 객체 모델을 신경망(Neural Network), 의사결정나무(Decision Tree), 베이지안 망(Bayesian network), 서포트 벡터 머신(Support Vector Machine, SVM) Adaboost, K-nearest 분류기 중에서 적어도 하나의 기계학습 알고리즘을 통하여 생성할 수 있다.
보다 구체적으로, 433단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 수집된 투명 객체 데이터에서 수집된 투명 객체 데이터의 형상 정보인 특성 정보를 추출하고, 추출된 특성 정보를 참고하여 클래스를 구분하며, 구분된 클래스 별로 디자인 및 사이즈에 따라 기계 학습을 수행하여 학습된 복수의 투명 객체 모델을 생성할 수 있다.
일측에 따르면, 434단계에서 다른 실시예에 따른 투명 객체를 복원하는 방법은 객체 모델 검색부에서 모델 선택부로부터 분리된 투명 객체의 특성 정보를 입력 받고, 입력된 특성 정보에 대응되는 클래스에 포함되어 있는 학습된 복수의 투명 객체 모델 중에서 입력된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 검색하여 모델 선택부에 제공할 수 있다.
결국, 본 발명을 이용하면 3차원 촬영 영상에 포함된 투명 객체의 깊이 영상 정보를 학습된 투명 객체 모델의 깊이 영상 정보로 대체 및 영상에 맞게 피팅함으로써, 투명 객체의 형상을 복원할 수 있다.
또한, 3차원 촬영 영상의 컬러 영상 정보에 기초하여 사전에 학습된 복수의 투명 객체 모델 중에서 3차원 촬영 영상에 포함된 투명 객체와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델의 깊이 영상 정보를 3차원 촬영 영상에 포함된 투명 객체의 위치 및 특성 정보를 고려하여 피팅함으로써, 투명 객체 형상 복원의 정확성 및 신뢰성을 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 투명 객체를 복원하는 장치 110: 수신부
120: 투명 객체 분리부 130: 모델 선택부
140: 깊이 영상 정보 추출부 150: 피팅부

Claims (15)

  1. 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신하는 수신부;
    상기 투명 객체에 관한 정보에 기초하여 상기 수신부에서 수신한 정보에서 상기 투명 객체를 분리하는 투명 객체 분리부;
    상기 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 클래스별로 학습된 복수의 투명 객체 모델 중에서 상기 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택하는 모델 선택부;
    상기 선택된 투명 객체 모델의 깊이 영상 정보를 추출하는 깊이 영상 정보 추출부; 및
    상기 수신부에서 수신한 정보에서 상기 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 상기 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)하는 피팅부
    를 포함하고,
    상기 피팅부는
    상기 투명 객체 모델에서 추출된 깊이 영상 정보를 상기 분리된 투명 객체의 위치, 사이즈 및 형상에 맞게 피팅하는 투명 객체를 복원하는 장치.
  2. 제1항에 있어서,
    상기 투명 객체 분리부는
    상기 투명 객체에 관한 정보로서, 상기 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나의 정보를 수신하는
    투명 객체를 복원하는 장치.
  3. 제1항에 있어서,
    상기 투명 객체 분리부는
    상기 수신부에서 수신한 정보가 상기 컬러 영상 정보인 경우, 상기 컬러 영상 정보에서 상기 투명 객체를 분리하고, 상기 수신부에서 수신한 정보가 상기 깊이 영상 정보인 경우, 상기 깊이 영상 정보와 함께 취득되는 적외선 영상 정보에서 상기 투명 객체를 분리하는
    투명 객체를 복원하는 장치.
  4. 제1항에 있어서,
    상기 모델 선택부는
    상기 특성 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 추출하고, 상기 추출된 형상 정보에 기초하여 상기 투명 객체 모델을 선택하는
    투명 객체를 복원하는 장치.
  5. 제1항에 있어서,
    상기 모델 선택부로 상기 투명 객체 모델을 제공하는 학습부를 더 포함하는
    투명 객체를 복원하는 장치.
  6. 제5항에 있어서,
    상기 학습부는
    인터넷을 통하여 완성도 있는 투명 객체 데이터를 수집하는 투명 객체 수집부;
    상기 투명 객체와 불투명 객체를 구분하기 위한 상기 투명 객체에 관한 정보를 상기 수집된 투명 객체 데이터에 기초하여 기계 학습하는 객체 정보 학습부; 및
    상기 수집된 투명 객체 데이터에 기초하여 투명 객체의 형상 정보인 특성 정보를 추출하고, 상기 추출된 특성 정보를 참고하여 상기 클래스를 구분하며, 상기 클래스 별로 기계 학습을 수행하여 상기 학습된 복수의 투명 객체 모델을 생성하는 객체 모델 학습부
    를 포함하는 투명 객체를 복원하는 장치.
  7. 제6항에 있어서,
    상기 투명 객체 분리부는
    상기 수집부에서 수신한 정보에 포함된 투명 객체에 관한 정보를 상기 객체 정보 학습부에서 학습된 투명 객체에 관한 정보와 비교하고, 상기 비교 결과에 따라 상기 컬러 영상 정보에서 상기 투명 객체를 분리하는
    투명 객체를 복원하는 장치.
  8. 제6항에 있어서,
    상기 학습부는
    상기 모델 선택부로부터 상기 분리된 투명 객체의 특성 정보를 입력 받고, 상기 입력된 특성 정보에 대응되는 클래스에 포함되어 있는 상기 학습된 복수의 투명 객체 모델 중에서 상기 입력된 특성 정보와 상기 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 검색하여 상기 모델 선택부에 제공하는 객체 모델 검색부를 더 포함하는
    투명 객체를 복원하는 장치.
  9. 제1항에 있어서,
    상기 피팅부는
    상기 수신부에서 수신한 정보가 상기 컬러 영상 정보인 경우에, 상기 컬러 영상 정보에서 깊이 영상 정보를 추출하고, 상기 컬러 영상 정보에서 추출된 깊이 영상 정보를 상기 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅하는
    투명 객체를 복원하는 장치.
  10. 수신부에서 반투명 또는 투명한 성질을 갖는 투명 객체(Object)를 포함하는 3차원 촬영 영상의 컬러 영상 정보 및 깊이 영상 정보 중에서 적어도 하나의 정보를 수신하는 단계;
    투명 객체 분리부에서 상기 투명 객체에 관한 정보에 기초하여 상기 수신부에서 수신한 정보에서 상기 투명 객체를 분리하는 단계;
    모델 선택부에서 상기 분리된 투명 객체에서 특성(Feature) 정보를 추출하고, 사전에 클래스별로 학습된 복수의 투명 객체 모델 중에서 상기 추출된 특성 정보와 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 선택하는 단계;
    깊이 영상 정보 추출부에서 상기 선택된 투명 객체 모델의 깊이 영상 정보를 추출하는 단계; 및
    피팅부에서 상기 수신부에서 수신한 정보에서 상기 분리된 투명 객체에 대응되는 위치의 깊이 영상 정보를 상기 투명 객체 모델에서 추출된 깊이 영상 정보로 대체 및 영상에 맞게 피팅(Fitting)하는 단계
    를 포함하고,
    상기 피팅하는 단계는
    상기 투명 객체 모델에서 추출된 깊이 영상 정보를 상기 피팅부에서 상기 분리된 투명 객체의 위치, 사이즈 및 형상에 맞게 피팅하는 투명 객체를 복원하는 방법.
  11. 제10항에 있어서,
    상기 투명 객체를 분리하는 단계는
    상기 투명 객체에 관한 정보로서, 상기 투명 객체의 전체 또는 일부분에 대한 색상, 투명도, 사이즈 및 형상 정보 중 적어도 하나 정보를 수신하는
    투명 객체를 복원하는 방법.
  12. 제10항에 있어서,
    상기 투명 객체 모델을 선택하는 단계는
    상기 특성 정보로서, 유리컵 형상 정보, 전등 형상 정보, 유리창 형상 정보 및 투명 플라스틱으로 구성된 물체의 형상 정보 중에서 적어도 하나의 형상 정보를 추출하는
    투명 객체를 복원하는 방법.
  13. 제10항에 있어서,
    상기 투명 객체 모델을 선택하는 단계는
    학습부에서 상기 투명 객체 모델을 제공하는 단계를 더 포함하는
    투명 객체를 복원하는 방법.
  14. 제13항에 있어서,
    상기 학습부에서 투명 객체 모델을 제공하는 단계는
    상기 학습부의 투명 객체 수집부에서 인터넷을 통하여 완성도 있는 투명 객체 데이터를 수집하는 단계;
    상기 학습부의 객체 정보 학습부에서 상기 투명 객체와 불투명 객체를 구분하기 위한 상기 투명 객체에 관한 정보를 상기 수집된 투명 객체 데이터에 기초하여 기계 학습하는 단계; 및
    상기 학습부의 객체 모델 학습부에서 상기 수집된 투명 객체 데이터에 기초하여 투명 객체의 형상 정보인 특성 정보를 추출하고, 상기 추출된 특성 정보를 참고하여 상기 클래스를 구분하며, 상기 클래스 별로 기계 학습을 수행하여 상기 학습된 복수의 투명 객체 모델을 생성하는 단계를 포함하는
    투명 객체를 복원하는 방법.
  15. 제14항에 있어서,
    객체 모델 검색부에서 상기 모델 선택부로부터 상기 분리된 투명 객체의 특성 정보를 입력 받고, 상기 입력된 특성 정보에 대응되는 클래스에 포함되어 있는 상기 학습된 복수의 투명 객체 모델 중에서 상기 입력된 특성 정보와 상기 기준값 이상으로 유사한 특성 정보를 갖는 투명 객체 모델을 검색하여 상기 모델 선택부에 제공하는 단계를 더 포함하는
    투명 객체를 복원하는 방법.
KR1020170133056A 2017-10-13 2017-10-13 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법 KR101963042B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170133056A KR101963042B1 (ko) 2017-10-13 2017-10-13 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170133056A KR101963042B1 (ko) 2017-10-13 2017-10-13 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101963042B1 true KR101963042B1 (ko) 2019-03-27

Family

ID=65906433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170133056A KR101963042B1 (ko) 2017-10-13 2017-10-13 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101963042B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135614A1 (zh) * 2019-12-31 2021-07-08 杭州海康威视数字技术股份有限公司 视频处理的方法、装置和系统
WO2022098164A1 (ko) * 2020-11-06 2022-05-12 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
RU2789856C1 (ru) * 2019-12-31 2023-02-14 Ханчжоу Хиквижн Диджитал Текнолоджи Ко., Лтд. Способ, устройство и система для обработки видео

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140052365A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
KR20170028749A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR101751697B1 (ko) 2016-09-08 2017-06-30 한국건설기술연구원 건물 외곽 텍스처링 및 bim 데이터 연계를 통한 투명 객체 가시화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140052365A (ko) 2012-10-24 2014-05-07 삼성전자주식회사 영상에서 투명 오브젝트를 검출하는 영상 처리 장치 및 방법
KR20170028749A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR101751697B1 (ko) 2016-09-08 2017-06-30 한국건설기술연구원 건물 외곽 텍스처링 및 bim 데이터 연계를 통한 투명 객체 가시화 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nicholas Roy ET AL:"Recognition and Pose Estimation of Rigid Transparent Objects with a Kinect Sensor", Robotics:Science and Systems VIII(Book), Jul 5, 2013(2013.07.05.) 1부.* *
Ulrich Klank ET AL:"Transparent object detection and reconstruction on a mobile platform", 2011 IEEE International Conference on Robotics and Automation, 9-13 May 2011(2011.05.09.) 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021135614A1 (zh) * 2019-12-31 2021-07-08 杭州海康威视数字技术股份有限公司 视频处理的方法、装置和系统
RU2789856C1 (ru) * 2019-12-31 2023-02-14 Ханчжоу Хиквижн Диджитал Текнолоджи Ко., Лтд. Способ, устройство и система для обработки видео
WO2022098164A1 (ko) * 2020-11-06 2022-05-12 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Similar Documents

Publication Publication Date Title
US20220138490A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
Soomro et al. Action recognition in realistic sports videos
US10204283B2 (en) Image recognizing apparatus, image recognizing method, and storage medium
Ziaeefard et al. Semantic human activity recognition: A literature review
Wang et al. Scene-specific pedestrian detection for static video surveillance
CN111461203A (zh) 跨模态处理方法、装置、电子设备和计算机存储介质
Goyal et al. Sign language recognition system for deaf and dumb people
US8948500B2 (en) Method of automatically training a classifier hierarchy by dynamic grouping the training samples
Mac Aodha et al. Segmenting video into classes of algorithm-suitability
EP2300941A1 (en) System and method for similarity search of images
KR101902192B1 (ko) 3차원 기반의 유사 안무 검색 방법 및 이를 이용한 장치
CN104463177A (zh) 相似人脸图片获取方法和装置
Kang et al. Detection and recognition of text embedded in online images via neural context models
Chen et al. TriViews: A general framework to use 3D depth data effectively for action recognition
KR101963042B1 (ko) 3d 영상에서 반투명 및 투명 객체를 복원하는 장치 및 그 방법
Zhu et al. A two-stage detector for hand detection in ego-centric videos
JP2014197412A (ja) 画像の類似検索システム及び方法
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
Lin et al. Pedestrian detection by exemplar-guided contrastive learning
Jiang et al. A unified tree-based framework for joint action localization, recognition and segmentation
Naosekpam et al. UTextNet: a UNet based arbitrary shaped scene text detector
KR101817440B1 (ko) 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템
CN115661254B (zh) 一种多人姿态估计方法及相关装置
Chen et al. Action recognition with domain invariant features of skeleton image
Lim et al. Video-based skeletal feature extraction for hand gesture recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant