KR102089720B1

KR102089720B1 - 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템

Info

Publication number: KR102089720B1
Application number: KR1020180123246A
Authority: KR
Inventors: 고병철; 남재열; 이덕우; 김상원; 김나훈
Original assignee: 주식회사 파코웨어
Priority date: 2018-10-16
Filing date: 2018-10-16
Publication date: 2020-03-16
Also published as: WO2020080685A1

Abstract

본 발명은 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에 관한 것으로서, 보다 구체적으로는 놀이 블록 깊이 맵 생성 방법으로서, (1) 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 단계; (2) 상기 단계 (1)에서 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 단계; 및 (3) 상기 단계 (2)에서 생성된 놀이 블록 깊이 맵을 출력하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)에 관한 것으로서, 보다 구체적으로는 놀이 블록 깊이 맵 생성 시스템(10)으로서, 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 심층 네트워크 학습부(100); 상기 심층 네트워크 학습부(100)에 의해 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 놀이 블록 깊이 맵 생성부(200); 및 상기 놀이 블록 깊이 맵 생성부(200)에 의해 생성된 놀이 블록 깊이 맵을 출력하는 놀이 블록 깊이 맵 출력부(300)를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템에 따르면, 스테레오 카메라 혹은 별도의 부가적인 장비를 이용하지 않고, 단일 영상과 심층 네트워크를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.
또한, 본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템에 따르면, 심층 네트워크로서, 합성 곱 신경망 네트워크를 사용하여, 입력된 단일 영상에 대하여 효과적으로 영상의 특징을 추출하고 영상의 깊이 정보를 예측할 수 있으며, 특히, 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.

Description

단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING PLAY BLOCK DEPTH MAP USING SINGLE IMAGE AND DEEP NEURAL NETWORK}

본 발명은 놀이 블록 깊이 맵 생성 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템에 관한 것이다.

깊이 맵(depth map) 또는 깊이 지도는 3차원 컴퓨터 그래픽에서 관찰 시점(viewpoint)으로부터 물체 표면과의 거리와 관련된 정보가 담긴 하나의 영상 또는 영상의 한 채널을 말한다.

영상의 깊이 정보를 구하는 가장 일반적인 방법은 두 대의 카메라에서 촬영된 양안식 색상 영상만을 이용하는 스테레오 정합(stereo matching) 방법이다. 스테레오 정합은 색상 영상에서 각 화소에 해당하는 변위(disparity) 정보를 구하는 방법으로, 색상 영상만 가지고도 영상의 깊이를 구할 수 있다는 장점이 있으나, 객체에 의해 가려져있는 영역, 텍스처가 없는 영역 등에서는 깊이 정보를 구하기가 매우 어렵다는 단점이 있다.

또한, TOF(Time of Flight) 기술이 적용된 카메라를 이용하여 영상 내 물체들의 거리를 직접 측정할 수도 있다. 이러한 카메라를 깊이 카메라라고 부르는데, 깊이 카메라는 적외선 또는 광 신호를 영상에 방사하고, 그 신호가 물체에 반사되어 돌아오는 위상차를 이용하여 거리를 측정하여 깊이 영상으로 출력한다. 이와 같은 방법은, 실시간으로 장면의 깊이를 얻을 수 있다는 장점이 있지만, 출력영상의 낮은 해상도, 영상 잡음, 왜곡 등이 많다는 문제점이 있다.

하지만, 위와 같은 방법들은 스테레오 카메라 혹은 별도의 부가적인 장비를 이용해야 영상의 깊이 정보를 획득할 수 있다. 따라서, 스테레오 카메라 혹은 별도의 부가적인 장비를 이용하지 않고, 단일 영상만으로 깊이 정보를 추출할 수 있는 방법 및 시스템의 개발이 요구된다.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-0902353호(발명의 명칭: 깊이 맵 추정 장치와 방법, 이를 이용한 중간 영상 생성 방법 및 다시점 비디오의 인코딩 방법) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 스테레오 카메라 혹은 별도의 부가적인 장비를 이용하지 않고, 단일 영상과 심층 네트워크를 이용하여 놀이 블록 깊이 맵을 생성할 수 있는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템을 제공하는 것을 그 목적으로 한다.

또한, 본 발명은, 심층 네트워크로서, 합성 곱 신경망 네트워크를 사용하여, 입력된 단일 영상에 대하여 효과적으로 영상의 특징을 추출하고 영상의 깊이 정보를 예측할 수 있으며, 특히, 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성할 수 있는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템을 제공하는 것을 다른 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법은,

놀이 블록 깊이 맵 생성 방법으로서,

(1) 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 단계;

(2) 상기 단계 (1)에서 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 단계; 및

(3) 상기 단계 (2)에서 생성된 놀이 블록 깊이 맵을 출력하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 단계 (1)은,

(1-1) 깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 단계;

(1-2) 상기 단계 (1-1)에서 상기 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 단계; 및

(1-3) 상기 단계 (1-2)에서 예측된 깊이 정보와 상기 학습용 단일 영상의 깊이 정보를 비교하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (1)에 있어서,

상기 단계 (1-3)에서 비교된 결과가 미리 설정된 오차범위 내에 해당할 때까지 반복적으로 상기 심층 네트워크를 학습할 수 있다.

바람직하게는, 상기 단계 (2)는,

(2-1) 상기 단계 (1)에서 학습된 심층 네트워크에 단일 영상을 입력하는 단계;

(2-2) 상기 단계 (2-1)에서 입력된 단일 영상의 깊이 정보를 예측하는 단계; 및

(2-3) 상기 단계 (2-2)에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 단계를 포함할 수 있다.

바람직하게는, 상기 단계 (2)에서는,

1×74×55의 영상으로 놀이 블록 깊이 맵을 생성할 수 있다.

바람직하게는, 상기 심층 네트워크는,

합성 곱 신경망 네트워크일 수 있다.

더욱 바람직하게는, 상기 합성 곱 신경망 네트워크는,

활성함수로 Rectified linear unit을 사용할 수 있다.

더욱 바람직하게는, 상기 합성 곱 신경망 네트워크는,

5개의 콘볼루션 레이어(Convolution layers) 및 2개의 완전 연결 레이어(fully connected layers)를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.

더더욱 바람직하게는, 상기 5개의 콘볼루션 레이어(Convolution layers)에 있어서,

첫 번째 및 두 번째 레이어(layers)에 맥스 풀링(Max pooling)이 사용될 수 있다.

바람직하게는, (4) 상기 단계 (3)에서 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링하는 단계를 더 포함할 수 있다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템은,

놀이 블록 깊이 맵 생성 시스템으로서,

깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 심층 네트워크 학습부;

상기 심층 네트워크 학습부에 의해 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 놀이 블록 깊이 맵 생성부; 및

상기 놀이 블록 깊이 맵 생성부에 의해 생성된 놀이 블록 깊이 맵을 출력하는 놀이 블록 깊이 맵 출력부를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는, 상기 심층 네트워크 학습부는,

깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 학습용 입력 모듈;

상기 학습용 입력 모듈에 의해 상기 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 학습용 예측 모듈; 및

상기 학습용 예측 모듈에 의해 예측된 깊이 정보와 상기 학습용 단일 영상의 깊이 정보를 비교하는 학습용 비교 모듈을 포함할 수 있다.

더욱 바람직하게는, 상기 심층 네트워크 학습부는,

상기 학습용 비교 모듈에 의해 비교된 결과가 미리 설정된 오차범위 내에 해당할 때까지 반복적으로 상기 심층 네트워크를 학습할 수 있다.

바람직하게는, 상기 놀이 블록 깊이 맵 생성부는,

상기 심층 네트워크 학습부에 의해 학습된 심층 네트워크에 단일 영상을 입력하는 입력 모듈;

상기 입력 모듈에 입력된 단일 영상의 깊이 정보를 예측하는 예측 모듈; 및

상기 예측 모듈에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 생성 모듈을 포함할 수 있다.

바람직하게는, 상기 놀이 블록 깊이 맵 생성부는,

1×74×55의 영상으로 놀이 블록 깊이 맵을 생성할 수 있다.

바람직하게는, 상기 심층 네트워크는,

합성 곱 신경망 네트워크일 수 있다.

더욱 바람직하게는, 상기 합성 곱 신경망 네트워크는,

활성함수로 Rectified linear unit을 사용할 수 있다.

더욱 바람직하게는, 상기 합성 곱 신경망 네트워크는,

바람직하게는, 놀이 블록 깊이 맵 출력부에 의해 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링하는 3D 모델링부를 더 포함할 수 있다.

본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템에 따르면, 스테레오 카메라 혹은 별도의 부가적인 장비를 이용하지 않고, 단일 영상과 심층 네트워크를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.

또한, 본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템에 따르면, 심층 네트워크로서, 합성 곱 신경망 네트워크를 사용하여, 입력된 단일 영상에 대하여 효과적으로 영상의 특징을 추출하고 영상의 깊이 정보를 예측할 수 있으며, 특히, 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.

도 1은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 흐름도를 도시한 도면.
도 2는 심층 네트워크 중 MLP(Multi-Layer Perceptron) 네트워크를 설명하기 위해 도시한 도면.
도 3은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에서 사용하는 합성 곱 신경망 네트워크의 구조를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S210에서 입력하는 단일 영상을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S220을 통해 예측된 깊이 정보를 도시한 도면.
도 8은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S230을 통해 생성된 놀이 블록 깊이 맵을 도시한 도면.
도 9는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법을 통해 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링을 수행한 모습을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템의 구성을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템에 있어서 심층 네트워크 학습부의 세부적인 구성을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템에 있어서 놀이 블록 깊이 맵 생성부의 세부적인 구성을 도시한 도면.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 각각의 단계는 컴퓨터 장치에 의해 수행될 수 있다. 이하에서는 설명의 편의를 위해 각각의 단계에서 수행 주체가 생략될 수도 있다.

도 1은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 흐름도를 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법은, 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 단계(S100), 단계 S100에서 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 단계(S200), 및 단계 S200에서 생성된 놀이 블록 깊이 맵을 출력하는 단계(S300)를 포함하여 구현될 수 있으며, 단계 S300에서 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링하는 단계(S400)를 더 포함하여 구현될 수 있다.

이하에서는, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 각 단계에 대해 설명하기 전에, 본 발명에서 사용되는 심층 네트워크에 대하여 먼저 상세히 설명하도록 한다.

인공신경망(Artificial Neural Network, ANN)은 기계학습과 인지과학에서 사용되며, 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 네트워크 전반을 가리킨다. 좁은 의미에서는 오차역전파법을 이용한 다층 퍼셉트론을 가리키는 경우도 있지만, 이것은 잘못된 용법으로, 인공신경망은 이에 국한되지 않는다.

심층 네트워크 또는 심층 신경망(Deep Neural Network, DNN)은, 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이루어진 인공신경망이다. 심층 네트워크는 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 네트워크 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있는데, 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 네트워크의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.

도 2는 심층 네트워크 중 MLP(Multi-Layer Perceptron) 네트워크를 설명하기 위해 도시한 도면이다. 도 2에 도시된 바와 같이, MLP 네트워크는 입력층과 출력층 사이에 하나 이상의 중간층이 존재하는 신경망으로, 입력층과 출력층 사이에 중간층을 은닉층(hidden layer) 이라고 부른다. 네트워크는 입력층, 은닉층, 출력층 방향으로 연결되어 있으며, 각 층 내의 연결과 출력층에서 입력층으로의 직접적인 연결은 존재하지 않는 전방향(Feedforward) 네트워크이다.

MLP 네트워크는, 단층 perceptron과 유사한 구조를 가지고 있지만 중간층과 각 unit의 입출력 특성을 비선형으로 함으로써, 네트워크의 능력을 향상시켜 단층 perceptron의 여러 가지 단점을 극복하였다. MLP 네트워크는 층의 개수가 증가할수록 perceptron이 형성하는 결정 구역의 특성은 더욱 고급화된다. 보다 구체적으로는, 단층일 경우 패턴공간을 두 구역으로 나누어주고, 2층인 경우 볼록한(convex) 개구역 또는 오목한 폐구역을 형성하며, 3층인 경우에는 이론상 어떠한 형태의 구역도 형성할 수 있다.

일반적으로, 입력층의 각 unit에 입력 데이터를 제시하면, 이 신호는 각 unit에서 변환되어 중간층에 전달되고, 최종적으로 출력층으로 출력되게 되는데, 이 출력값과 원하는 출력값을 비교하여 그 차이를 감소시키는 방향으로 연결강도를 조절하여 MLP 네트워크를 학습시킬 수 있다.

합성 곱 신경망 네트워크(Convolutional Neural Network, CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 MLP 네트워크의 한 종류이다. 합성 곱 신경망 네트워크는, 하나 또는 여러 개의 콘볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전 연결 계층(fully connected layer)들로 구성된 신경망 네트워크로서, 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전파 알고리즘(Backpropagation algorithm)을 통해 훈련될 수 있어, 영상 내 객체 분류, 객체 탐지 등 다양한 응용 분야에 폭넓게 활용될 수 있다.

콘볼루션 계층은, 입력 데이터로부터 특징을 추출하는 역할을 할 수 있다. 콘볼루션 계층은 특징을 추출하는 기능을 하는 필터(filter)와, 필터에서 추출된 값을 비선형 값으로 바꾸어주는 액티베이션 함수(activation function)로 이루어질 수 있다.

합성 곱 신경망 네트워크는, 경사하강법(gradient descent)과 역전파(backpropagation) 알고리즘을 통해 학습시킬 수 있다. 이때, 경사하강법은 1차 근사값 발견용 최적화 알고리즘으로서, 함수의 기울기(경사)를 구하여 기울기가 낮은 쪽으로 계속 이동시켜서 극값에 이를 때까지 반복시키는 방법이고, 역전파 알고리즘은, 다층 퍼셉트론 학습에 사용되는 통계적 기법을 의미하는 것으로서, 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치(weight)를 조정하는 방법이다.

이하에서는, 전술한 바와 같은 심층 네트워크를 이용하는, 본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 각각의 단계에 대해 상세히 설명하기로 한다.

단계 S100에서는, 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습할 수 있다. 도 3은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에서, 단계 S100의 세부적인 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S100은, 깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 단계(S110), 단계 S110에서 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 단계(S120), 및 단계 S120에서 예측된 깊이 정보와 학습용 단일 영상의 깊이 정보를 비교하는 단계(S130)를 포함하여 구현될 수 있다.

단계 S110에서는, 학습용 단일 영상을 심층 네트워크에 입력할 수 있다. 본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법은 심층 네트워크를 이용하여 놀이 블록 깊이 맵을 생성하므로, 먼저, 심층 네트워크를 학습하기 위해 깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력할 수 있다. 이때, 학습용 단일 영상은 RGB 영상일 수 있으나, 상기 RGB 영상으로 학습용 단일 영상을 한정하는 것은 아니다.

단계 S120에서는, 단계 S110에서 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측할 수 있다. 보다 구체적으로, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S120에서는, 단계 S110에서 입력된 학습용 단일 영상의 깊이 정보를 심층 네트워크를 통해 예측할 수 있다.

단계 S130에서는, 단계 S120에서 예측된 깊이 정보와 학습용 단일 영상의 깊이 정보를 비교할 수 있다. 보다 구체적으로, 단계 S110에서 입력되는 학습용 단일 영상의 깊이 정보는 이미 알고 있으므로, 단계 S120에서 예측된 깊이 정보와 이미 알고 있는 학습용 단일 영상의 깊이 정보를 비교할 수 있다.

또한, 단계 S130에서 비교된 결과가 미리 설정된 오차범위 내에 해당할 때까지 반복적으로 심층 네트워크를 학습할 수 있다. 이때, 미리 설정된 오차범위는 ± 5%가 될 수 있으나, 상기의 오차범위를 ± 5%로 한정하는 것은 아니다.

단계 S200에서는, 단계 S100에서 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성할 수 있다. 도 4는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에서, 단계 S200의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S200은, 단계 S100에서 학습된 심층 네트워크에 단일 영상을 입력하는 단계(S210), 단계 S210에서 입력된 단일 영상의 깊이 정보를 예측하는 단계(S220), 및 단계 S220에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 단계(S230)를 포함하여 구현될 수 있다.

본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법은 심층 네트워크로서, 합성 곱 신경망 네트워크를 사용하여 입력된 단일 영상의 깊이 정보를 예측하고, 놀이 블록 깊이 맵을 생성할 수 있다.

도 5는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법에서 사용하는 합성 곱 신경망 네트워크의 구조를 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명에서 사용하는 합성 곱 신경망 네트워크는, 5개의 콘볼루션 레이어(Convolution layers)와 2개의 완전 연결 레이어(fully connected layers)로 구성되어 있으며, 5개의 콘볼루션 레이어의 첫 번째 및 두 번째 레이어(layers)에 맥스 풀링(Max pooling)이 사용될 수 있다.

단계 S210에서는, 단계 S100에서 학습된 심층 네트워크인 합성 곱 신경망 네트워크에 단일 영상을 입력하고, 단계 S220에서는, 합성 곱 신경망 네트워크를 통해 단계 S210에서 입력된 단일 영상의 깊이 정보를 예측하며, 및 단계 S230에서는, 단계 S220에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.

도 6은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S210에서 입력하는 단일 영상을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S210에서는, 단계 S100에서 학습된 심층 네트워크에 단일 영상을 입력할 수 있다. 다만, 학습된 심층 네트워크에 입력되는 단일 영상이, 도 6에 도시된 바와 같은 놀이 블록의 형태이어야 하는 것은 아니며, 어린 아이들이 그린 그림을 포함하는 다양한 영상을 포함할 수 있다.

도 7은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S220을 통해 예측된 깊이 정보를 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S220에서는, 합성 곱 신경망 네트워크를 통해 단계 S210에서 입력된 단일 영상의 깊이 정보를 예측할 수 있다.

보다 구체적으로, 단계 S210을 통해 입력된 단일 영상의 깊이 정보는 5개의 콘볼루션 레이어와 2개의 완전 연결 레이어로 구성된 합성 곱 신경망 네트워크를 통해, 단계 S220에서 예측될 수 있다. 이때, 마지막 레이어를 제외한 모든 레이어의 결과는 활성함수로 Rectified linear unit을 사용하고, 및 첫 번째와 두 번째 계층에 맥스 풀링을 사용할 수 있다. 또한, 여섯 번째 레이어에 Dropout을 사용해 합성 곱 신경망 네트워크의 일반화 성능을 향상시킬 수 있다.

본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 놀이 블록은, 영유아들이 놀이를 할 때 사용하는 것으로서, 쌓아 올리도록 만든 장난감을 의미하며, 놀이 블록 깊이 맵은 단일 영상을 놀이 블록 형태로 생성한 깊이 맵을 의미할 수 있다.

도 8은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S230을 통해 생성된 놀이 블록 깊이 맵을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S230에서는, 단계 S220에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다. 생성된 놀이 블록 깊이 맵에서 확인할 수 있는 바와 같이, 빨간색으로 표시된 부분은 모두 동일한 놀이 블록의 깊이를 가진다.

보다 구체적으로, 합성 곱 신경망 네트워크의 마지막 레이어에서 1×4070의 선형화된 영상이 출력되므로, 출력된 영상을 1×74×55로 재배열하여 재구성한 후, 재구성한 영상에 대해 레이블링하여 놀이 블록 깊이 맵을 생성할 수 있다.

놀이 블록 깊이 맵을 생성함으로써, 기존에 어린 아이들이 그린 단일 영상을 2차원 놀이 블록 모양으로 출력하던 것을, 깊이 정보를 포함하는 3차원의 놀이 블록 모양으로 출력할 수 있다.

단계 S300에서는, 단계 S200에서 생성된 놀이 블록 깊이 맵을 출력할 수 있다. 보다 구체적으로는, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법은, 단계 S210을 통해 입력된 단일 영상에 대해, 합성 곱 신경망 네트워크를 통해 놀이 블록 깊이 맵을 생성하여 단계 S300에서 생성된 결과를 출력할 수 있다.

단계 S400에서는, 단계 S300에서 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링할 수 있다. 도 9는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법을 통해 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링을 수행한 모습을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법의 단계 S400에서는, 단계 S300에서 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링을 하여 3차원 형태의 놀이 블록을 출력할 수 있다.

도 10은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)의 구성을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)은, 심층 네트워크 학습부(100), 놀이 블록 깊이 맵 생성부(200) 및 놀이 블록 깊이 맵 출력부(300)를 포함하여 구성될 수 있다.

보다 구체적으로는, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)은, 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 심층 네트워크 학습부(100), 심층 네트워크 학습부(100)에 의해 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 놀이 블록 깊이 맵 생성부(200), 및 놀이 블록 깊이 맵 생성부(200)에 의해 생성된 놀이 블록 깊이 맵을 출력하는 놀이 블록 깊이 맵 출력부(300)를 포함하여 구성될 수 있으며, 놀이 블록 깊이 맵 출력부(300)에 의해 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링하는 3D 모델링부(400)를 더 포함하여 구성될 수 있다.

도 11은 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)에 있어서 심층 네트워크 학습부(100)의 세부적인 구성을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)에 있어서 심층 네트워크 학습부(100)는, 깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 학습용 입력 모듈(110), 학습용 입력 모듈(110)에 의해 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 학습용 예측 모듈(120), 및 학습용 예측 모듈(120)에 의해 예측된 깊이 정보와 상기 학습용 단일 영상의 깊이 정보를 비교하는 학습용 비교 모듈(130)을 포함하여 구성될 수 있다.

도 12는 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)에 있어서 놀이 블록 깊이 맵 생성부(200)의 세부적인 구성을 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)에 있어서 놀이 블록 깊이 맵 생성부(200)는, 심층 네트워크 학습부(100)에 의해 학습된 심층 네트워크에 단일 영상을 입력하는 입력 모듈(210), 입력 모듈(210)에 입력된 단일 영상의 깊이 정보를 예측하는 예측 모듈(220), 및 예측 모듈(220)에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 생성 모듈(230)을 포함하여 구성될 수 있다.

본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템(10)에 대해서는 앞서 본 발명의 일실시예에 따른 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.

상술한 바와 같이, 본 발명에서 제안하고 있는 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법 및 시스템(10)에 따르면, 스테레오 카메라 혹은 별도의 부가적인 장비를 이용하지 않고, 단일 영상과 심층 네트워크를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다. 또한, 본 발명에 따르면, 심층 네트워크로서, 합성 곱 신경망 네트워크를 사용하여, 입력된 단일 영상에 대하여 효과적으로 영상의 특징을 추출하고 영상의 깊이 정보를 예측할 수 있으며, 특히, 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

10: 놀이 블록 깊이 맵 생성 시스템
100: 심층 네트워크 학습부
110: 학습용 입력 모듈
120: 학습용 예측 모듈
130: 학습용 비교 모듈
200: 놀이 블록 깊이 맵 생성부
210: 입력 모듈
220: 예측 모듈
230: 생성 모듈
300: 놀이 블록 깊이 맵 출력부
400: 3D 모델링부
S100: 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 단계
S110: 깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 단계
S120: 단계 S110에서 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 단계
S130: 단계 S120에서 예측된 깊이 정보와 학습용 단일 영상의 깊이 정보를 비교하는 단계
S200: 단계 S100에서 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 단계
S210: 단계 S100에서 학습된 심층 네트워크에 단일 영상을 입력하는 단계
S220: 단계 S210에서 입력된 단일 영상의 깊이 정보를 예측하는 단계
S230: 단계 S220에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 단계
S300: 단계 S200에서 생성된 놀이 블록 깊이 맵을 출력하는 단계
S400: 단계 S300에서 출력된 놀이 블록 깊이 맵을 기반으로 3D 모델링하는 단계

Claims

놀이 블록 깊이 맵 생성 방법으로서,
(1) (1-1) 깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 단계;
(1-2) 상기 단계 (1-1)에서 상기 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 단계; 및
(1-3) 상기 단계 (1-2)에서 예측된 깊이 정보와 상기 학습용 단일 영상의 깊이 정보를 비교하는 단계를 포함하여,
깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 단계
(2) (2-1) 상기 단계 (1)에서 학습된 심층 네트워크에 단일 영상을 입력하는 단계;
(2-2) 상기 단계 (2-1)에서 입력된 단일 영상의 깊이 정보를 예측하는 단계; 및
(2-3) 상기 단계 (2-2)에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 단계를 포함하여,
상기 단계 (1)에서 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 단계;
(3) 상기 단계 (2)에서 생성된 놀이 블록 깊이 맵을 출력하는 단계; 및
(4) 상기 단계 (3)에서 출력된 놀이 블록 깊이 맵을 기반으로 놀이 블록 깊이에 따라 서로 다른 색으로 표현되어 동일한 놀이 블록 깊이가 동일한 색으로 표현될 수 있도록 3D 모델링하는 단계; 를 포함하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
삭제
제1항에 있어서, 상기 단계 (1)에 있어서,
상기 단계 (1-3)에서 비교된 결과가 미리 설정된 오차범위 내에 해당할 때까지 반복적으로 상기 심층 네트워크를 학습하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
삭제
제1항에 있어서, 상기 단계 (2)에서는,
1×74×55의 영상으로 놀이 블록 깊이 맵을 생성하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
제1항에 있어서, 상기 심층 네트워크는,
합성 곱 신경망 네트워크인 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
제6항에 있어서, 상기 합성 곱 신경망 네트워크는,
활성함수로 Rectified linear unit을 사용하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
제6항에 있어서, 상기 합성 곱 신경망 네트워크는,
5개의 콘볼루션 레이어(Convolution layers) 및 2개의 완전 연결 레이어(fully connected layers)를 이용하여 놀이 블록 깊이 맵을 생성하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
제8항에 있어서, 상기 5개의 콘볼루션 레이어(Convolution layers)에 있어서,
첫 번째 및 두 번째 레이어(layers)에 맥스 풀링(Max pooling)이 사용되는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 방법.
삭제
놀이 블록 깊이 맵 생성 시스템(10)으로서,
깊이 정보를 알고 있는 학습용 단일 영상을 심층 네트워크에 입력하는 학습용 입력 모듈(110); 상기 학습용 입력 모듈(110)에 의해 상기 심층 네트워크에 입력된 학습용 단일 영상의 깊이 정보를 예측하는 학습용 예측 모듈(120); 및 상기 학습용 예측 모듈(120)에 의해 예측된 깊이 정보와 상기 학습용 단일 영상의 깊이 정보를 비교하는 학습용 비교 모듈(130)을 포함하고, 깊이 정보를 알고 있는 학습용 단일 영상을 이용하여 심층 네트워크를 학습하는 심층 네트워크 학습부(100);
상기 심층 네트워크 학습부(100)에 의해 학습된 심층 네트워크에 단일 영상을 입력하는 입력 모듈(210); 상기 입력 모듈(210)에 입력된 단일 영상의 깊이 정보를 예측하는 예측 모듈(220); 및 상기 예측 모듈(220)에서 예측된 깊이 정보를 이용하여 놀이 블록 깊이 맵을 생성하는 생성 모듈(230)을 포함하고, 상기 심층 네트워크 학습부(100)에 의해 학습된 심층 네트워크에 단일 영상을 입력하여 놀이 블록 깊이 맵을 생성하는 놀이 블록 깊이 맵 생성부(200);
상기 놀이 블록 깊이 맵 생성부(200)에 의해 생성된 놀이 블록 깊이 맵을 출력하는 놀이 블록 깊이 맵 출력부(300); 및
놀이 블록 깊이 맵 출력부에 의해 출력된 놀이 블록 깊이 맵을 기반으로 놀이 블록 깊이에 따라 서로 다른 색으로 표현되어 동일한 놀이 블록 깊이가 동일한 색으로 표현될 수 있도록 3D 모델링하는 3D 모델링부(400); 를 포함하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
삭제
제11항에 있어서, 상기 심층 네트워크 학습부(100)는,
상기 학습용 비교 모듈(130)에 의해 비교된 결과가 미리 설정된 오차범위 내에 해당할 때까지 반복적으로 상기 심층 네트워크를 학습하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
삭제
제11항에 있어서, 상기 놀이 블록 깊이 맵 생성부(200)는,
1×74×55의 영상으로 놀이 블록 깊이 맵을 생성하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
제11항에 있어서, 상기 심층 네트워크는,
합성 곱 신경망 네트워크인 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
제16항에 있어서, 상기 합성 곱 신경망 네트워크는,
활성함수로 Rectified linear unit을 사용하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
제16항에 있어서, 상기 합성 곱 신경망 네트워크는,
5개의 콘볼루션 레이어(Convolution layers) 및 2개의 완전 연결 레이어(fully connected layers)를 이용하여 놀이 블록 깊이 맵을 생성하는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
제18항에 있어서, 상기 5개의 콘볼루션 레이어(Convolution layers)에 있어서,
첫 번째 및 두 번째 레이어(layers)에 맥스 풀링(Max pooling)이 사용되는 것을 특징으로 하는, 단일 영상과 심층 네트워크를 이용한 놀이 블록 깊이 맵 생성 시스템.
삭제