KR20230050893A

KR20230050893A - 3차원 가상모델 제공을 위한 홀 필링 방법 및 그를 위한 컴퓨팅 장치

Info

Publication number: KR20230050893A
Application number: KR1020210134224A
Authority: KR
Inventors: 김켄; 정지욱; 파르호드 루스탐 욱리 후다이베르가노브
Original assignee: 주식회사 쓰리아이
Priority date: 2021-10-08
Filing date: 2021-10-08
Publication date: 2023-04-17
Also published as: US12056858B2; KR102551097B1; US20230112494A1; JP7353675B2; JP2023057017A; KR20230104105A

Abstract

본 출원의 일 기술적 측면에 따른 3차원 가상모델 제공을 위한 홀 필링 방법은, 컴퓨팅 장치에서 수행 가능한 방법으로서, 원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하는 동작, 뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하는 동작, 각각의 상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 대하여 구형 변환을 수행하는 동작 및 구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작을 포함할 수 있다.

Description

3차원 가상모델 제공을 위한 홀 필링 방법 및 그를 위한 컴퓨팅 장치 {Hole filling method for virtual 3 dimensional model and computing device therefor}

본 출원은 실내 공간에 대한 3차원 가상모델 제공을 위한 홀 필링 기술에 관한 것이다.

근래에 들어서는 실제 공간에 대응되는 온라인 상의 가상 공간을 제공받음으로써, 사용자가 직접 실제 공간에 방문하지 않고서도 실제 공간에 있는 듯한 체험이 가능한 가상공간 구현기술이 개발되고 있다.

이러한 현실공간 기반의 가상 기술은 디지털 트윈 또는 메타버스(metaverse) 구현을 위한 기술로서, 다양한 개발이 이루어지고 있다.

이러한 가상공간을 구현하기 위해서는, 구현하고자 하는 실제 공간을 대상으로 촬영된 평면 이미지를 획득하고, 이를 기초로 입체적인 가상 이미지, 즉, 3차원 모델을 생성하여 가상 공간을 제공하는 과정이 필요하다.

이러한 3차원 모델은 실내 공간 내부에서 촬영된 데이터를 기초로 생성된다. 이러한 경우, 3차원 모델을 구성하기 위해서, 실내 공간의 각 지점에서 360도 전방위로 데이터를 확보하여야 하므로, 전방위 이미지를 획득하기 위하여 다각 카메라 장치 등의 특수한 장비를 이용하여야 하는 한계가 있다.

또한, 지나가는 사람 등의 의도치 않은 피사체에 의한 노이즈 공간이 발생하고, 이러한 노이즈 공간을 제거하는 경우 3차원 모델에 데이터가 비어있는 홀이 발생하는 문제가 있다.

미국등록특허공보 제10,290,085호

본 출원의 일 기술적 측면은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 본 출원에 개시되는 일 실시예에 따르면, 3차원 가상 모델을 구성하는데 사용되는 파노라마 이미지 자체에 대하여 홀 필링을 수행하는 것을 목적으로 한다.

본 출원에 개시되는 일 실시예에 따르면, 구형 변환된 상태를 반영하여 트레이닝 함으로써, 파노라마 이미지에 대한 홀 필링이 3차원 가상 모델에서 사용시 보다 정확하게 채워지도록 하는 것을 목적으로 한다.

본 출원에 개시되는 일 실시예에 따르면, 실존하는 실내 공간에 대한 3차원 가상 모델을 구성함에 있어서 사람 등 비필요 객체를 삭제한 경우에도, 그에 의하여 발생한 홀을 효율적이고 정확하게 채우는 것을 목적으로 한다.

본 출원의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 출원의 일 기술적 측면은 3차원 가상모델 제공을 위한 홀 필링 방법을 제안한다. 상기 3차원 가상모델 제공을 위한 홀 필링 방법은, 컴퓨팅 장치에서 수행 가능한 방법으로서, 원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하는 동작, 뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하는 동작, 각각의 상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 대하여 구형 변환을 수행하는 동작 및 구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작을 포함할 수 있다.

본 출원의 다른 일 기술적 측면은 컴퓨팅 장치를 제안한다. 상기 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하고, 뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하고, 상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 각각에 대하여 구형 변환을 수행하고, 구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 할 수 있다.

본 출원의 다른 일 기술적 측면은 저장 매체를 제안한다. 상기 저장 매체는, 컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체이다. 상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하는 동작, 뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하는 동작, 각각의 상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 대하여 구형 변환을 수행하는 동작 및 구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작을 수행하도록 할 수 있다.

상기한 과제의 해결 수단은, 본 출원의 특징을 모두 열거한 것은 아니다. 본 출원의 과제 해결을 위한 다양한 수단들은 이하의 상세한 설명의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 출원에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

본 출원에 개시되는 일 실시예에 따르면, 3차원 가상 모델을 구성하는데 사용되는 파노라마 이미지 자체에 대하여 홀 필링을 제공할 수 있는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 구형 변환된 상태를 반영하여 트레이닝 함으로써, 파노라마 이미지에 대한 홀 필링이 3차원 가상 모델에서 사용시 보다 정확하게 채워지도록 할 수 있는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 실존하는 실내 공간에 대한 3차원 가상 모델을 구성함에 있어서 사람 등 비필요 객체를 삭제한 경우에도, 그에 의하여 발생한 홀을 효율적이고 정확하게 채울 수 있는 효과가 있다.

본 출원에 개시되는 일 실시예에 따르면, 뉴럴 네트워크의 학습을 위하여 사용되는 로스(Loss)를 산출함에 있어서, 다수의 함수를 조합적으로 사용함으로써, 로스 범위를 최소한으로 감소시킬 수 있는 효과가 있다.

본 출원의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 제공을 위한 홀 필링 방법을 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.
도 2는 본 출원에 개시되는 일 실시예에 따른 3차원 가상 모델 구축을 위한 실내 공간에 대한 이미지 취득 기술의 일 예를 도시하는 도면이다.
도 3은 본 출원에 개시되는 일 실시예에 따른 홀 필링을 수행하는 소프트웨어 모듈의 아키텍처를 나타내는 도면이다.
도 4는 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 제공을 위한 홀 필링 과정을 설명하는 순서도이다.
도 5는 본 출원에 개시되는 일 실시예에 따른 홀 생성 학습 이미지 생성 과정을 설명하는 순서도이다.
도 6은 본 출원에 개시되는 다른 일 실시예에 따른 홀 생성 학습 이미지 생성 과정을 설명하는 순서도이다.
도 7 내지 도 9는 본 출원에 개시되는 일 실시예들에 따른 홀 생성 학습 이미지 생성의 예시들을 도시하는 도면들이다.
도 10은 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크의 트레이닝을 수행하는 소프트웨어 모듈의 아키텍처를 나타내는 도면이다.
도 11은 본 출원에 개시되는 일 실시예에 따른 홀 필링을 위한 뉴럴 네트워크의 트레이닝 과정을 설명하는 순서도이다.
도 12는 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크의 트레이닝을 위한 로스 산출 과정을 설명하는 순서도이다.
도 13은 본 출원에 개시되는 다른 일 실시예에 따른 홀 필링을 수행하는 소프트웨어 모듈의 아키텍처를 나타내는 도면이다.
도 14는 본 출원에 개시되는 일 실시예에 따른 홀 필링 전의 깊이 맵 이미지와 홀 필링 이후의 깊이 맵 이미지를 비교하여 예시하는 도면이다.
도 15는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.

이하, 첨부된 도면을 참조하여 본 출원의 바람직한 실시 형태들을 설명한다.

그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 출원에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나" 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.

"제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예를 들어, 중요성 또는 순서)에서 한정하지 않는다.

어떤(예를 들어, 제 1) 구성요소가 다른(예를 들어, 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드", "커넥티드" 또는 "연결된" 이라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것 만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다

본 출원의 다양한 실시 예들은 기기(machine)-예를 들어, 사용자 단말(100)이나 컴퓨팅 장치(300)-에 의해 읽을 수 있는 저장 매체(storage medium)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예를 들어, 프로그램)로서 구현될 수 있다. 예를 들면, 프로세서(301)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예를 들어, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

본 출원의 실시형태를 설명하기 위하여 다양한 순서도가 개시되고 있으나, 이는 각 단계 또는 동작의 설명의 편의를 위한 것으로, 반드시 순서도의 순서에 따라 각 단계가 수행되는 것은 아니다. 즉, 순서도에서의 각 단계는, 서로 동시에 수행되거나, 순서도에 따른 순서대로 수행되거나, 또는 순서도에서의 순서와 반대의 순서로도 수행될 수 있다.

도 1은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 제공을 위한 홀 필링 방법을 제공하는 시스템을 설명하기 위한 하나의 예시 도면이다.

3차원 가상모델 제공을 위한 홀 필링 방법을 제공하는 시스템은 사용자 단말기(100), 이미지 취득 장치(200) 및 컴퓨팅 장치(300)를 포함할 수 있다.

사용자 단말기(100)는 사용자가 컴퓨팅 장치(300)에 접근하기 위하여 사용 가능한 전자 기기로서, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 퍼스널 컴퓨터(PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포괄한다. 그러나, 그 외에도 사용자 단말기(100)는 VR(Virtual Reality), AR(Augmented Reality)에 사용되는 전자 기기를 포함할 수 있다.

이미지 취득 장치(200)는 구형 가상 이미지를 생성하는데 사용되는, 색상 이미지 및 깊이 맵 이미지를 생성하는 장치이다.

도시된 예에서, 이미지 취득 장치(200)는 거리측정 장치(211) 및 촬상 장치(212)로 구분되어 도시되어 있으나, 이는 예시적인 것으로서, 하나의 이미지 취득 장치(200)를 이용하여 거리 측정 및 촬상을 수행할 수도 있다.

촬상 장치(212)는 촬영 기능을 가진 휴대용 전자 기기로서, 피사 영역(촬상 영역)에 대하여 색으로 표현되는 색상 이미지를 생성한다.

즉, 본 출원 명세서에서, 색상 이미지는 색으로 표현되는 이미지를 모두 포괄하는 것으로서, 특정한 표현 방식으로 제한하는 것은 아니다. 따라서, 색상 이미지는 RGB(Red Green Blue)로 표현되는 RFG 이미지 뿐만 아니라, CMYK(Cyan Magenta Yellow Key)로 표현되는 CMYK 이미지 등 다양한 표준으로 적용 가능하다.

촬상 장치(212)는, 예를 들어, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PDA(personal digital assistants), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 촬영 디바이스(wearable device, 예를 들어, 글래스형 단말기 (smart glass)) 등 일 수 있다.

거리측정 장치(211)는 피사 영역에 대하여 깊이 정보를 생성하여 깊이 맵 이미지를 생성할 수 있는 장치이다.

본 출원 명세서에서, 깊이 맵 이미지는 피사 공간에 대하여 깊이 정보를 포함하는 이미지이다. 예컨대, 깊이 맵 이미지에서의 각 픽셀은, 촬상 지점에서 촬영된 피사 공간의 각 지점-각 픽셀에 대응되는 지점-까지의 거리 정보 일 수 있다.

거리측정 장치(211)는, 거리 측정을 위한 소정의 센서, 예컨대, 라이다(LiDAR) 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다. 또는, 거리 측정 촬상 장치(212)는 센서를 대체하여 거리 정보를 측정할 수 있는 스테레오 카메라(stereo camera), 스테레오스코픽 카메라(stereoscopic camera), 3D 깊이 카메라(3D, depth camera) 등을 포함할 수 있다.

촬상 장치(212)는 색상 이미지를 생성하고, 거리 측정 장치(210)는 깊이 맵(Depth map)를 생성한다. 촬상 장치(212)에 의하여 생성된 색상 이미지와 거리 측정 장치(210)에 의하여 생성된 깊이 맵 이미지는 동일한 피사 영역에 대하여 동일한 조건(예컨대, 해상도 등)을 대상으로 생성될 수 있으며, 서로 1:1로 매칭된다.

거리측정 장치(211)와 촬상 장치(212)는 실존하는 실내 공간에 대하여 360도 파노라마 이미지, 즉, 각각 깊이 맵 파노라마 이미지와 색상 파노라마 이미지를 생성할 수 있고, 이를 컴퓨팅 장치(300)에 제공할 수 있다.

거리측정 장치(211)와 촬상 장치(212)는 실내의 여러 지점에서 각각 360도를 커버하는 깊이 맵 이미지와 색상 이미지를 생성하여 컴퓨팅 장치(300)에 제공할 수 있다. 이는, 실내 공간에 대응되는 가상 공간을 제공하기 위하여, 실내의 여러 지점에서 각각 360도 이미지 셋 -이미지 셋은 서로 1:1 대응되는 깊이 맵 이미지와 색상 이미지를 포함함-을 획득하기 위한 것이다.

거리측정 장치(211)는, 이러한 360도 촬영이 수행된 실내의 여러 지점 각각에 대한 거리 정보를 생성할 수 있다. 이러한 거리 정보는 상대적인 거리 정보 일 수 있다. 예를 들어, 거리측정 장치(211)는, 실내 공간에 대한 평면도를 구비하고 사용자의 입력에 따라 평면도 내에서 최초의 시작 실내 지점을 입력받을 수 있다. 이후, 거리측정 장치(211)는, 영상 분석 및/또는 이동감지 센서-예컨대, 3축 가속도 센서 및/또는 자이로 센서 등-를 기초로 상대적인 거리 이동 정보를 생성할 수 있다. 예컨대, 시작 실내 지점으로부터의 상대적인 거리 이동 정보를 기초로 제2 실내 지점에 대한 정보를 생성하고, 제2 실내 지점으로부터의 상대적인 거리 이동 정보를 기초로 제3 실내 지점에 대한 정보를 생성할 수 있다. 이러한 거리 정보의 생성은 촬상 장치(212)에 의하여 수행될 수도 있다.

일 실시예예서, 거리측정 장치(211)와 촬상 장치(212)는 하나의 이미지 취득 장치로서 구현 가능하다. 예를 들어, 이미지 취득 장치(200)는, 이미지 취득을 위한 카메라와 거리 측정을 위한 라이다(LiDAR) 센서를 포함하는 스마트폰일 수 있다. 도 2는 이러한 거리측정 장치(211)와 촬상 장치(212)가 하나의 통합 장치(210)로서 구현된 경우의 예를 도시한다. 통합 장치(210)는 촬상을 위한 카메라 모듈 및 거리 측정을 위한 거리측정 모듈(예컨대, LiDAR 모듈)을 포함하는 장치이며, 예를 들어, LiDAR 센서와 카메라를 포함하는 스마트 폰 일 수 있다.

통합 장치(210)는 전동 회전 크래들(220)에 고정되어 360도 회전하면서, 파노라마 이미지-즉, 색상 이미지 및 깊이 맵 이미지-를 생성할 수 있다. 실시예에 따라, 통합 장치(210)는 전동 회전 크래들(220)의 거치에 의한 지표상의 높이 정보를 전동 회전 크래들(220)로부터 획득 또는 사용자로부터 입력받아 저장할 수 있고, 이러한 높이 정보를 파노라마 이미지와 함께 컴퓨팅 장치(300)에 제공할 수 있다. 이러한 지표상의 높이 정보는 촬상 높이가 되며, 이는 컴퓨팅 장치(300)에서 3차원 모델을 생성하는데 사용될 수 있다.

깊이 맵 이미지와 색상 이미지는 360도 파노라마 이미지일 수 있으며, 설명의 편의를 위하여, 깊이 맵 이미지와 색상 이미지로 통칭한다. 이러한 깊이 맵 이미지와 색상 이미지는 360도 이미지를 제공하기 위하여 적합한 형태의 파노라마 이미지, 예컨대, 등장방형 투영 파노라마 이미지일 수도 있다.

컴퓨팅 장치(300)는 실내의 여러 지점에서 각각 생성된 색상 이미지와 깊이 맵 이미지를 이용하여, 실내 공간에 대응되는 3차원 가상공간인 3차원 가상 모델을 생성할 수 있다. 예컨대, 실내 각 지점에서의 360도 색상 이미지 및 360도 깊이 맵 이미지

컴퓨팅 장치(300)는 뉴럴 네트워크를 기반으로 색상 이미지 및 깊이 맵 이미지에 존재하는 홀을 채우는 홀 필링 동작을 수행할 수 있다. 컴퓨팅 장치(300)는 3차원 가상 모델을 생성하기 이전의 상태인 이미지, 즉, 색상 이미지 및 깊이 맵 이미지를 대상으로 홀 필링을 수행할 수 있다. 즉, 3차원 모델을 구성하기 이전에, 이미지 상태에 대하여 홀 필링을 수행함으로써, 홀 필링에 요구되는 리소스를 줄이고 빠르고 효율적으로 홀 필링을 수행할 수 있다.

컴퓨팅 장치(300)는 이러한 홀 필링 동작을 수행함에 있어서, 구형 변환을 기초로 홀 필링을 수행할 수 있다. 예를 들어, 색상 이미지 및/또는 깊이 맵 이미지는 구형 변환을 기초로 3차원 가상 모델을 구축하는데 사용되므로, 파노라마 이미지가 아닌 3차원 가상 모델로의 구현 상태을 고려하여 홀 필링을 수행한다. 그에 따라, 홀 필링의 정확도를 높일 수 있다.

이러한 컴퓨팅 장치(300)에 대해서는 도 3 내지 도 15를 참조하여 이하에서 보다 상세히 설명한다.

도 3에 도시된 바와 같은 홀 필링 과정의 각 단계에 대해 설명하기에 앞서, 본 개시를 설명함에 있어서 사용되는 주요 용어에 대해 설명한다. 본 개시에 따른 '전자 장치'는 뉴럴 네트워크 모델에 관련된 서비스를 제공하기 위한 서버 뿐만 아니라, 스마트 폰, 태블릿 PC 등과 같은 사용자 단말로 구현될 수도 있다. 즉, 본 개시에 따라 뉴럴 네트워크를 기반으로 홀 필링을 수행할 수 있도록 구성된 전자 장치라면 그 종류를 불문하고 본 개시의 전자 장치에 해당될 수 있다.

뉴럴 네트워크(neural network)는 신경망 모델 또는 뉴럴 네트워크 모델을 의미하며, 딥러닝(deep learning)을 기반으로 학습될 수 있다. 구체적으로, 신경망 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolution Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 및 생성적 적대 신경망(Generative Adversarial Networks, GAN) 중 적어도 하나의 인공 신경망을 포함할 수 있다. 다만, 본 개시에 따른 신경망 모델이 상술한 예에 국한되는 것은 아니다.

또한, 색상 이미지 또는 깊이 맵 이미지는 파노라마 이미지일 수 있다. 즉, 색상 이미지 및/또는 깊이 맵 이미지는 3차원 변환 또는 구형 변환에 사용되기 위한 형태를 가지는 2차원의 파노라마 이미지, 예컨대, 구형 변환을 위한 등장방형투영 이미지 일 수 있다.

이하에서는, 도 3 내지 도 12를 참조하여, 본 출원에 개시되는 다양한 일 실시예에 따른 홀 필링 기술들에 대하여 설명한다. 이하에서는, 학습 대상이 되는 원본 이미지를 ＇원본 학습 이미지＇, 원본 이미지에 대하여 홀을 생성한 이미지를 ＇홀 생성 학습 이미지＇, 홀 생성 학습 이미지에 대하여 뉴럴 네트워크에 의하여 홀이 채워진 이미지를 ＇홀 필링 학습 이미지＇라 칭한다. 또한, 원본 학습 이미지, 홀 생성 학습 이미지 및 홀 필링 학습 이미지로는 색상 이미지 뿐만 아니라 깊이 맵 이미지가 적용될 수 있다. 즉, 이하에서 설명하는 뉴럴 네트워크를 이용한 학습 과정은, 색상 이미지 및 깊이 맵 이미지에 대해 모두 적용 가능하다.

도 3은 본 출원에 개시되는 일 실시예에 따른 홀 필링을 수행하는 소프트웨어 모듈의 아키텍처를 나타내는 도면이다.

도 3을 참조하면, 본 개시의 일 실시예에 따른 소프트웨어 모듈은 뉴럴 네트워크 모델(320) 및 트레이닝 모듈(330)을 포함할 수 있다. 실시예에 따라, 소프트웨어 모듈은 학습 데이터 생성모듈(310)을 더 포함할 수 있다.

뉴럴 네트워크 모델(320)은 전술한 바와 같이, 인공 신경망을 포함하는 뉴럴 네트워크 모델이다.

일 예로, 뉴럴 네트워크 모델(320)은 학습 과정 및 추론 과정을 수행함에 있어서 활성화 함수를 이용할 수 있다. 구체적으로, 활성화 함수는 이전 레이어들로부터 전달된 입력값을 다음 레이어들로 전달할 것인지, 그리고 전달한다면 어떠한 출력 값으로 변환하여 전달할 것인지 여부를 결정하는 역할을 할 수 있으며, 활성화 함수의 그래디언트는 뉴럴 네트워크 모델(320)에 포함된 각각의 레이어들의 가중치(파라미터)를 업데이트하는데 이용될 수 있다.

트레이닝 모듈(330)은 뉴럴 네트워크 모델(320)의 학습 성능에 관련된 평가 정보를 획득하는 모듈이다.

예컨대, 트레이닝 모듈(330)은 뉴럴 네트워크 모델(320)의 학습이 몇 에포크(epoch)만큼 진행되었는지, 즉 학습 데이터 전체를 몇 회 학습하였는지에 대한 정보를 획득할 수 있다. 또한, 트레이닝 모듈(330)은 학습 과정이 진행되는 동안의 손실(loss)에 대한 정보를 획득할 수 있다.

학습 데이터 생성모듈(310)은 홀 필링 학습을 수행하기 위한 학습 데이터를 생성하는 모듈이다. 학습 데이터 생성모듈(310)은 원본 학습 이미지를 입력받고, 원본 학습 이미지에 임의의 홀을 생성할 수 있다.

도 3에서는 트레이닝 과정을 예시하고 있으며, 학습 데이터 생성모듈(310)은 원본 학습 이미지를 입력받고, 그에 임의의 홀을 생성하여 홀 생성 학습 이미지를 생성할 수 있다. 학습 데이터 생성모듈(310)은 생성한 홀 생성 학습 이미지를 뉴럴 네트워크 모델(320)에 제공할 수 있다. 뉴럴 네트워크 모델(320)은 입력받은 홀 생성 학습 이미지에 대해, 학습된 내용을 기반으로 홀 필링 처리를 수행하여 홀 필링 학습 이미지를 생성할 수 있다. 트레이닝 모듈(330)은 뉴럴 네트워크 모델(320)에서 생성한 홀 필링 학습 이미지와, 원본 학습 이미지를 비교하고 두 이미지 간의 차이에 따라 뉴럴 네트워크 모델(320)의 가중치를 변경하도록 함으로써, 뉴럴 네트워크 모델(320)을 학습시킬 수 있다.

이러한 예에서, 최초 동작에서 뉴럴 네트워크 모델(320)은 학습된 내용이 없으므로, 뉴럴 네트워크의 각 노드에서 랜덤한 값을 기반으로 홀 필링 학습 이미지 이미지를 생성할 수 있다. 뉴럴 네트워크 모델(320)은, 홀 필링 학습 이미지와 원본 학습 이미지 간의 차이에 의한 피드백 트레이닝을 반복적으로 수행하여 홀 필링 처리의 정확도를 향상시킬 수 있다.

한편, 색상 이미지에 대한 뉴럴 네트워크 모델(320)과 깊이 맵 이미지에 대한 뉴럴 네트워크 모델(320)은 각각 개별적으로 구현될 수 있다. 이는 입력되는 이미지의 종류에 따라 홀 필링을 수행하여야 하는 값이 상이하므로 입력되는 이미지의 종류 별로 각각 뉴럴 네트워크 모델(320)을 구비 및 트레이닝 할 수 있다.

도 4은 본 출원에 개시되는 일 실시예에 따른 3차원 가상모델 제공을 위한 홀 필링 과정을 설명하는 순서도로서, 도 4를 더 참조하여 설명한다.

본 개시의 일 실시예에 따른 소프트웨어 모듈은 원본 학습 이미지와 그에 대한 홀 생성 학습 이미지를 획득할 수 있다(S401). 여기에서, 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지일 수 있으며, 예를 들어, 학습 데이터 생성 모듈(310)에 의하여 생성된 이미지 일 수 있다.

뉴럴 네트워크 모델(320)은 입력받은 홀 생성 학습 이미지에 대하여, 뉴럴 네트워크를 이용하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성할 수 있다(S402).

트레이닝 모듈(330)은 뉴럴 네트워크 모델(320)에서 생성한 홀 필링 학습 이미지와, 원본 학습 이미지를 비교하고 두 이미지 간의 차이에 따라 뉴럴 네트워크 모델(320)의 가중치를 변경하도록 함으로써, 뉴럴 네트워크 모델(320)을 학습시킬 수 있다.

트레이닝 모듈(330)은 구형 변환을 기초로 로스를 산정하여, 뉴럴 네트워크 모델(320)의 가중치를 변경하도록 할 수 있다. 즉, 트레이닝 모듈(330)은 홀 필링 학습 이미지 및 원본 학습 이미지 각각을 구형 변환할 수 있고(S403), 구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 뉴럴 네트워크 모델(320)을 트레이닝 할 수 있다(S404). 이는, 홀 필링된 이미지는 색상 이미지 또는 깊이 맵 이미지로서 구형 변환되어 3차원 모델을 생성하는데 사용되므로, 구형 변환 전 상태인 이미지 상태에서 서로 비교하는 것은 오차가 발생하기 때문이다. 즉, 3차원 모델으로 구현된 이후에서의 학습 정확도를 높이기 위하여, 트레이닝 모듈(330) 자체에서 홀 필링 학습 이미지 및 원본 학습 이미지를 각각 구형변환 한 후, 둘 간의 로스를 산출하여 트레이닝을 함으로써 3차원 모델에서의 홀 필링 정확도를 보장할 수 있다.

전술한 바와 같이, 홀 생성 학습 이미지는 학습 데이터 생성모듈(310)에 의하여 생성될 수 있다. 학습 데이터 생성모듈(310)에 대한 다양한 실시예를 도 5 내지 도 9를 참조하여 설명한다.

도 5는 본 출원에 개시되는 일 실시예에 따른 홀 생성 학습 이미지 생성 과정을 설명하는 순서도이다.

도 5를 참조하면, 원본 학습 이미지를 입력받으면(S501), 학습 데이터 생성모듈(310)은 상부 영역 또는 하부 영역에 임의의 홀을 생성하여 홀 생성 학습 이미지를 생성할 수 있다.

예컨대, 학습 데이터 생성모듈(310)은 임의의 홀 영역에 대해 색상값 또는 거리값을 삭제 또는 기 설정된 수치(ex. 홀로서 식별되는 값에 해당하는 수치)로 설정함으로써 홀을 생성할 수 있다(S502).

도 7은 원본 학습 이미지의 일 예를, 도 8은 학습 데이터 생성모듈(310)에 의하여 상부 영역(810) 및 하부 영역(820)에 홀(801, 802)들이 생성된 홀 생성 학습 이미지의 일 예를 도시한다.

상부 영역(810) 및 하부 영역(820)은 이미지 전체에서 기 설정된 비율로 결정되는 영역일 수 있다. 이러한 상부 영역 및 하부 영역에 대한 비율은, 스마트폰에서 취득되는 360도 이미지에서의 비표시 영역에 대응되어 결정될 수 있다. 즉, 스마트폰에서 취득되는 360도 이미지는, 등장방형 투영 파노라마 이미지에 대비할 때 상부 및 하부에 미표시 영역이 존재한다. 이는, 등장방형 투영 파노라마 이미지의 경우 충분한 광각을 가지는 광각 카메라를 기초로 촬영되는 반면, 스마트폰에서 취득되는 360도 이미지(등장방형 도법으로 투영됨)에서는 그렇지 않기 때문이다. 도 8의 예를 들면, 스마트폰에서 취득되는 360도 이미지는 식별번호 830에 대응될 수 있다. 따라서, 학습 데이터 생성모듈(310)을 통해 상부 영역(810) 및 하부 영역(820)에 홀을 생성하도록 하고 이를 기초로 뉴럴 네트워크 모델(320)을 학습시키므로써, 뉴럴 네트워크 모델(320)이 스마트폰에서 취득되는 360도 이미지를 입력받더라도 이를 기초로 홀 필링을 수행하여 온전한 등장방형 투영 파노라마 이미지를 출력하도록 할 수 있다.

도 6은 본 출원에 개시되는 다른 일 실시예에 따른 홀 생성 학습 이미지 생성 과정을 설명하는 순서도이다.

도 6을 참조하면, 원본 학습 이미지를 입력받으면(S601), 학습 데이터 생성모듈(310)은 원본 학습 이미지의 무작위 위치에 기 설정된 크기 이하의 홀을 생성하여 홀 생성 학습 이미지를 생성할 수 있다(S602).

여기에서, 학습 데이터 생성모듈(310)은 기 설정된 크기 이하의 홀로서, 사람 형상의 홀을 생성할 수 있다.

도 7은 원본 학습 이미지의 일 예를, 도 9는 학습 데이터 생성모듈(310)에 의하여 사람 형상의 홀(901)이 생성된 홀 생성 학습 이미지의 일 예를 도시한다. 즉, 학습 데이터 생성모듈(310)은 사람 객체에 대한 학습 데이터를 기반으로 원본 학습 이미지에서의 사람 객체를 식별하고, 식별된 사람 객체를 홀로서 변경할 수 있다. 이러한 실시예는, 실내 공간에 대한 가상 공간을 생성함에 있어서, 우연히 찍힌 사람의 형상 등은 가상 공간을 생성하는 경우 노이즈에 불과하므로, 사람 형상에 대응되는 홀을 생성하여 학습 시킴으로써, 뉴럴 네트워크 모델(320)이 사람 모양의 홀에 대한 홀 필링의 정확도를 높이도록 학습시킬 수 있다.

도 10은 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크의 트레이닝을 수행하는 소프트웨어 모듈의 아키텍처를 나타내는 도면이고, 도 11은 본 출원에 개시되는 일 실시예에 따른 홀 필링을 위한 뉴럴 네트워크의 트레이닝 과정을 설명하는 순서도로서, 이하, 도 10 및 도 11을 참조하여, 트레이닝 모듈(330)의 일 실시예에 대하여 보다 상세히 설명한다.

도 10을 참조하면, 트레이닝 모듈(330)은 구형 변환 모듈(331), 로스 산출모듈(332) 및 옵티마이징 모듈(333)을 포함할 수 있다.

구형 변환 모듈(331)은 홀 필링 학습 이미지 및 홀 생성 학습 이미지를 구형 변환한다. 예컨대, 홀 필링 학습 이미지 및 홀 생성 학습 이미지는 등장방형 투영 파노라마 이미지일 수 있고, 구형 변환 모듈(331)은 이들을 구형으로 변환할 수 있다.

도 10에서, 구형 변환 모듈(331)에 의하여 구형 변환 된 원본 학습 이미지를 ＇원본 학습 이미지*＇으로, 구형 변환 된 홀 필링 학습 이미지를 ＇홀 필링 학습 이미지*＇으로 표시하고 있다.

일 예로, 구형 변환 모듈(331)은 아래의 수학식 1을 이용하여, 구형 변환을 수행할 수 있다. 구형 변환은 아래의 수학식 1 외에도 다양한 수식 또는 알고리즘으로 변환 가능하다.

[수학식 1]

로스 산출 모듈(332)은 구형 변환 된 홀 필링 학습 이미지(홀 필링 학습 이미지*)과 구형 변환 된 원본 학습 이미지(원본 학습 이미지*) 간의 로스를 산출할 수 있다(S1101).

즉, 로스 산출 모듈(332)은 구형 변환 된 홀 필링 학습 이미지와 구형 변환 된 원본 학습 이미지 간의 차이를 로스값으로 수치화 할 수 있다. 일 예로, 로스 산출 모듈(332)에 의하여 결정된 로스값은 0 내지 1 사이의 범위로 결정될 수 있다.

옵티마이징 모듈(333)은 로스 산출 모듈(332)로부터 계산된 로스를 제공받고, 해당 로스에 대응하여 뉴럴 네트워크의 매개 변수를 변경하여 옵티마이징을 수행할 수 있다(S1103).

일 예로, 옵티마이징 모듈(333)은 뉴럴 네트워크의 가중치 매개변수 W를 조절하여 옵티마이징을 수행할 수 있다. 다른 예로, 옵티마이징 모듈(333)은 뉴럴 네트워크의 가중치 매개변수 W 및 편향 b 중 적어도 하나를 조절하여 옵티마이징을 수행할 수 있다.

다양한 방식의 옵티마이징 방법이 옵티마이징 모듈(333)에 적용 가능하다. 예를 들어, 옵티마이징 모듈(333)은, 배치 경사 하강법(Batch Gradient Descent), 확률적 경사 하강법(Stochastic Gradient Descent), 미니 배치 경사 하강법(Mini-Batch Gradient Descent), 모멘텀(Momentum), 아다그라드(Adagrad), 알엠에스프롭(RMSprop) 등을 사용하여 옵티마이징을 수행할 수 있다.

도 12는 본 출원에 개시되는 일 실시예에 따른 뉴럴 네트워크의 트레이닝을 위한 로스 산출 과정을 설명하는 순서도이다.

도 12에 도시된 일 실시예에서, 로스 산출 모듈(332)은 복수의 로스 산출 방법을 적용하고, 그 결과값들로부터 대표값을 산출하여 로스를 결정할 수 있다.

도 12를 참조하면, 로스 산출 모듈(332)은 제1 로스 계산방식으로, 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 제1 로스 함수 결과를 계산할 수 있다(S1201).

이하의 수학식 2는, 제1 로스 계산식의 일 예를 설명하는 수학식이다.

[수학식 2]

여기에서, T는 샘플의 수, y는 학습 깊이 맵, y*는 추정 깊이 맵을 의미한다.

로스 산출 모듈(332)은 제2 로스 계산방식으로, 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 제2 로스 함수 결과를 계산할 수 있다(S1202).

이하의 수학식 3은, 제2 로스 계산식의 일 예를 설명하는 수학식이다.

[수학식 3]

여기에서, T는 샘플의 수, d는 로그 공간에서의 학습 깊이 맵과 추정 깊이 맵 간의 차이이다.

로스 산출 모듈(332)은 제3 로스 계산방식으로 구형 변환 된 추정 깊이 맵과 구형 변환 된 학습 깊이 맵 간의 제3 로스 함수 결과를 계산할 수 있다(S1203).

이하의 수학식 4는, 제3 로스 계산식의 일 예를 설명하는 수학식이다.

[수학식 4]

여기에서, y_true는 학습 깊이 맵을, y_predicted는 추정 깊이 맵을 의미한다.

로스 산출 모듈(332)은 제1 로스 함수 결과 내지 제3 로스 함수 결과에 대한 대표값을 산출하여, 로스로 결정할 수 있다(S1204). 여기에서, 대표값으로 평균, 중앙값, 최빈값 등이 적용 가능하다.

도 13은 본 출원에 개시되는 다른 일 실시예에 따른 홀 필링을 수행하는 소프트웨어 모듈의 아키텍처를 나타내는 도면이다.

도 3 내지 도 12에서는 하나의 뉴럴 네트워크 모델을 가정하여 설명하였으나, 도 13에 도시된 일 실시예와 같이, 색상 이미지와 깊이 맵 이미지 각각에 대하여 개별적으로 뉴럴 네트워크 모델(1320, 1350)과, 그와 연관되어 동작하는 학습 데이터 생성 모듈(1310, 1340) 및 트레이닝 모듈(1330, 1360)을 각각 포함할 수 있다.

즉, 제1 뉴럴 네트워크 모델(1320)은 질의 이미지로서 색상 이미지를 입력받고, 그에 대한 홀 필링을 수행하여 홀 필링 색상 이미지를 응답 이미지로서 출력할 수 있다. 제1 학습 데이터 생성 모듈(1310)은 원본 색상 이미지를 입력받고, 원본 색상 이미지에 대한 학습 데이터를 생성하여 제1 뉴럴 네트워크 모델(1320)에 제공할 수 있다. 제1 트레이닝 모듈(1330)은 제1 뉴럴 네트워크 모델(1320)에서 출력된 홀 필링 색상 이미지와, 원본 색상 이미지를 비교하여 제1 뉴럴 네트워크 모델(1320)을 학습시킬 수 있다.

제2 뉴럴 네트워크 모델(1350), 제2 학습 데이터 생성 모듈(1340) 및 제6 트레이닝 모듈(1360)은 깊이 맵 이미지를 대상으로 상술한 동작을 수행할 수 있다.

도 14는 본 출원에 개시되는 일 실시예에 따른 홀 필링 전의 깊이 맵 이미지와 홀 필링 이후의 깊이 맵 이미지를 비교하여 예시하는 도면으로서, 그림 (a)는 홀 필링 전의 입력 깊이 맵 이미지의 일 예이다. 그림 (a)는 스마트폰에서 촬영된 이미지로서 상부 영역 및 하부 영역이 광범위한 홀로서 표시된다. 그림 (b)는 제2 뉴럴 네트워크 모델(1350)에 의하여 출력된 홀 필링 깊이 맵 이미지의 예를 도시하며, 상부 영역 및 하부 영역의 홀이 채워진 것을 도시하고 있다.

도 15는 본 출원에 개시되는 일 실시예에 따른 컴퓨팅 장치를 설명하는 블록 구성도이다.

도 10에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(300)는 통신부(301), 메모리(302) 및 프로세서(303)를 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것으로서, 본 개시를 실시함에 있어 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음을 물론이다.

통신부(301)는 회로를 포함하며, 외부 장치(서버를 포함함)와의 통신을 수행할 수 있다. 구체적으로, 프로세서(303)는 통신부(301)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.

통신부(301)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, 및 NFC 모듈 중 적어도 하나를 포함할 수 있으며, IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다.

메모리(302)에는 전자장치(300)에 관한 적어도 하나의 명령이 저장될 수 있다. 메모리(302)에는 전자장치(300)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(302)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수 도 있다. 그리고, 메모리(302)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(HardDisk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

구체적으로, 메모리(302)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(303)는 메모리(302)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(302)는 프로세서(303)에 의해 액세스되며, 프로세서(303)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

본 개시에 따른 다양한 실시 예에 있어서, 메모리(302)에는 본 개시에 따른 뉴럴 네트워크 모델이 저장될 수 있으며, 학습 데이터 생성 모듈 및 트레이닝 모듈과 같은 소프트웨어 모듈이 저장될 수 있다.

그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(302)에 저장될 수 있으며, 메모리(302)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(303)는 전자 장치(300)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(303)는 상술한 바와 같은 통신부(301) 및 메모리(302)를 포함하는 전자 장치(300)의 구성과 연결되며, 상술한 바와 같은 메모리(302)에 저장된 적어도 하나의 명령을 실행하여 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(303)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(303)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(303)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.

프로세서(303)의 제어를 바탕으로 한 본 개시에 따른 다양한 실시 예에 대해서는 도 1 내지 도 14를 참조하여 상술하였으므로 중복 설명은 생략한다.

한편, 상술한 실시 예에 따른 전자 장치(300)에서 수행되는 제어 방법은 프로그램으로 구현되어 전자 장치(300)에 제공될 수 있다. 특히, 전자 장치(300)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

이상에서 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 전자장치(100)에 대한 다양한 실시 예는 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.

본 개시에 따른 뉴럴 네트워크와 관련된 기능은 프로세서(303)와 메모리(302)를 통해 동작된다. 프로세서(130)는 하나 또는 복수의 프로세서(303)로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서(303)는 CPU, AP,DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서(303)는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 뉴럴 네트워크 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서(303)가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는, 특정뉴럴 네트워크 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.

기 정의된 동작 규칙 또는 뉴럴 네트워크 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 뉴럴 네트워크 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 뉴럴 네트워크 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.

뉴럴 네트워크 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 뉴럴 네트워크 연산을 수행할 수 있다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 뉴럴 네트워크 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 뉴럴 네트워크 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 뉴럴 네트워크는 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.

한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

이상에서 설명한 본 출원은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 출원의 구성은 본 출원의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

100 : 사용자 단말기
200 : 전자 기기
300 : 컴퓨팅 장치
301 : 프로세서
302 : 메모리
303 : 통신부

Claims

컴퓨팅 장치에서 수행 가능한 방법으로서,
원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하는 동작;
뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하는 동작;
상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 각각에 대해 구형 변환을 수행하는 동작; 및
구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작;을 포함하는,
3차원 가상모델 제공을 위한 홀 필링 방법.
제1항에 있어서, 상기 홀 필링 방법은,
질의 이미지를 입력받는 동작; 및
트레이닝 된 상기 뉴럴 네트워크에 상기 질의 이미지를 입력하고, 상기 뉴럴 네트워크에서 출력된 홀 필링 이미지를 상기 질의 이미지에 대한 응답 이미지로서 출력하는 동작; 을 더 포함하는,
3차원 가상모델 제공을 위한 홀 필링 방법.
제1항에 있어서, 상기 홀 생성 학습 이미지를 획득하는 동작은,
상기 원본 학습 이미지를 획득하는 동작; 및
상기 원본 학습 이미지의 상부 영역 또는 하부 영역에 임의의 홀을 생성하여 상기 홀 생성 학습 이미지를 생성하는 동작; 을 포함하는,
3차원 가상모델 제공을 위한 홀 필링 방법.
제1항에 있어서, 상기 홀 생성 학습 이미지를 획득하는 동작은,
상기 원본 학습 이미지를 획득하는 동작; 및
상기 원본 학습 이미지의 무작위 위치에 기 설정된 크기 이하의 홀을 생성하여 상기 홀 생성 학습 이미지를 생성하는 동작; 을 포함하는,
3차원 가상모델 제공을 위한 홀 필링 방법.
제1항에 있어서, 상기 뉴럴 네트워크를 트레이닝하는 동작은,
구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 로스를 결정하는 동작; 및
결정된 로스에 대응하여 상기 뉴럴 네트워크의 매개 변수를 변경하여 상기 뉴럴 네트워크를 트레이닝 하는 동작; 을 포함하는,
3차원 가상모델 제공을 위한 홀 필링 방법.
제1항에 있어서,
상기 원본 학습 이미지는 색상 이미지 또는 깊이 맵 이미지 중 어느 하나인,
3차원 가상모델 제공을 위한 홀 필링 방법.
제1항에 있어서,
상기 원본 학습 이미지는 등장방형 투영 파노라마 이미지인,
3차원 가상모델 제공을 위한 홀 필링 방법.
컴퓨팅 장치로서,
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하고,
뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하고,
상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 각각에 대하여 구형 변환을 수행하고,
구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는,
컴퓨팅 장치.
제8항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
트레이닝 된 상기 뉴럴 네트워크에 질의 이미지를 입력하고, 상기 뉴럴 네트워크에서 출력된 홀 필링 이미지를 상기 질의 이미지에 대한 응답 이미지로서 출력하는,
컴퓨팅 장치.
제8항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 원본 학습 이미지의 상부 영역 또는 하부 영역에 임의의 홀을 생성하여 상기 홀 생성 학습 이미지를 생성하는,
컴퓨팅 장치.
제8항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 원본 학습 이미지의 무작위 위치에 기 설정된 크기 이하의 홀을 생성하여 상기 홀 생성 학습 이미지를 생성하는 동작;
컴퓨팅 장치.
제8항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 로스를 결정하고,
결정된 로스에 대응하여 상기 뉴럴 네트워크의 매개 변수를 변경하여 상기 뉴럴 네트워크를 트레이닝 하는,
컴퓨팅 장치.
제8항에 있어서,
상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 로스를 결정하고,
결정된 로스에 대응하여 상기 뉴럴 네트워크의 매개 변수를 변경하여 상기 뉴럴 네트워크를 트레이닝 하는,
컴퓨팅 장치.
제8항에 있어서,
상기 프로세서는,
색상 이미지를 대상으로 제1 뉴럴 네트워크를 학습하고, 상기 제1 뉴럴 네트워크를 이용하여 홀 필링 색상 이미지를 생성하는 제1 모듈; 및
깊이 맵 이미지를 대상으로 제2 뉴럴 네트워크를 학습하고, 상기 제2 뉴럴 네트워크를 이용하여 홀 필링 깊이 맵 이미지를 생성하는 제2 모듈; 을 포함하는,
컴퓨팅 장치.
컴퓨터 판독 가능한 인스트럭션들(instructions)을 저장하고 있는 저장 매체에 있어서,
상기 인스트럭션들은, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
원본 학습 이미지와 그에 대한 홀 생성 학습 이미지 -상기 홀 생성 학습 이미지는 상기 원본 학습 이미지를 기초로 적어도 하나의 홀이 생성된 이미지임- 를 획득하는 동작;
뉴럴 네트워크를 이용하여 상기 홀 생성 학습 이미지에 대하여 홀 필링을 수행하여 홀 필링 학습 이미지를 생성하는 동작;
상기 홀 필링 학습 이미지와 상기 원본 학습 이미지 각각에 대하여 구형 변환을 수행하는 동작; 및
구형 변환된 홀 필링 학습 이미지와 구형 변환된 원본 학습 이미지 간의 차이를 기초로 상기 뉴럴 네트워크를 트레이닝 하는 동작; 을 수행하도록 하는,
저장 매체.