KR102042078B1

KR102042078B1 - 뉴럴 네트워크를 이용한 3차원 형상 복원 시스템의 동작 방법

Info

Publication number: KR102042078B1
Application number: KR1020180047642A
Authority: KR
Inventors: 김효종; 최태선
Original assignee: 광주과학기술원
Priority date: 2018-04-25
Filing date: 2018-04-25
Publication date: 2019-11-27
Also published as: KR20190123842A

Abstract

3차원 형상의 표면을 초점을 달리하는 일련의 2차원 이미지를 이용하여 추정하는 3차원 형상 복원 시스템의 동작 방법이 개시된다. 본 발명의 실시 예에 따른 3차원 형상 복원 시스템의 동작 방법은, 복수의 인덱스를 포함하는 룩업 테이블을 저장하는 단계, 상기 룩업 테이블로부터, 글로벌 좌표의 기준 깊이 값에 대응하는 인덱스에 저장된 가중치를 획득하는 단계, 뉴럴 네트워크 모델에서 가중치를 사용하여 깊이 값을 구하고 상기 깊이 값을 이용하여 초점 측정이 최대가 되도록 가중치를 업데이트 하는 과정을 소정횟수 반복하는 단계, 및, 상기 가중치를 업데이트하는 과정을 소정횟수 반복하여 획득한 깊이 값을 최종 깊이 값으로 결정하여 3차원 형상의 표면을 추정하는 단계를 포함하고, 상기 가중치를 업데이트 하는 과정을 소정횟수 반복하는 단계는, 상기 획득한 가중치를 초기 가중치로 사용하여 초기 깊이 값을 획득하는 단계를 포함한다.

Description

뉴럴 네트워크를 이용한 3차원 형상 복원 시스템의 동작 방법{OPERATING METHOD OF A SYSTEM FOR RECONSTUCTING 3-D SHAPES USING NEURAL NETWORK}

본 발명은, 뉴럴 네트워크를 이용한 3차원 형상 복원 시스템의 동작 방법에 관한 것이다. 구체적으로는 3차원 형상 복원을 위한 뉴럴 네트워크 시스템에서 룩업 테이블에서 초기 가중치를 추출함으로써 3차원 형상 복원의 성공률을 높힐 수 있는, 3차원 형상 복원 시스템의 동작 방법에 관한 것이다.

다양한 3차원 형상 복윈 기술중에서, 초점결상(Shape From Focus, SFF)은 초점을 달리해 찍은 이차원 영상으로부터 대상의 3차원 구조를 추론하는 방법이다. 지난 10년여동안, 초점결상 방법은 단순하고 경제적인 계상 값으로 인하여 상당한 관심을 받아왔다.

초점결상에서, 이미지들의 시퀀스는 하나의 싱글 카메라를 통해 캡쳐된다. 여기서 시퀀스란 연속적으로 각기 다른 초점에서 찍은 복수의 2차원 이미지들의 집합이다.

먼저, 초점 측정이 시퀀스에서의 각각의 픽셀에 대한 초점 품질 측정을 위해 적용되고, 초기 깊이 맵이 초점 측정을 광학적 방향으로 최대화함으로써 획득된다. 마지막으로, 근사화 또는 머신 학습(Machine learning)방법이 초기 깊이 추정값을 수정하기 위해 적용된다.

초점 측정은 초점결상 방법에서 중요한 역할을 수행한다. 초점 측정 오퍼레이터의 퍼포먼스는 로컬 윈도우 크기, 이미지 디바이스의 스펙, 일루미네이션 컨디션 및 대상 형상의 복잡성을 포함하는 복수의 요소에 의존한다.

시퀀스 내 각각의 픽셀에 대한 포커스 값이 계산되면, 다양한 근사화 및 머신 학습 기반 방법이 대상 형상을 수정하고 추출하기 위해 제안된다. 초기 작업에 사용되는 가장 간단한 근사화 방법은 중앙 픽셀을 스몰 윈도우내 수집된 초점 측정(aggregated focus measures)으로 대체하는 것이다. 그리고 깊이 맵이 광학적 방향을 따라 초점 측정을 최대화함으로써 획득된다. 초점 측정의 수집은 계산이 용이하나, 정확한 깊이 맵을 제공하기 어렵다. 반면에, 최적화 및 머신 학습에 기반한 접근방법은 근사화 방법에 비해 상대적으로 우수한 3차원 형상을 획득할 수 있으나, 효율성이 감소하는 문제점이 있다.

인공 뉴럴 네트워크 모델(Artificial Neural Network Model)이 예시적인 입-출력 데이터의 세트를 이용하여 복잡한 문제들의 최적의 솔루션을 추정하기 위해 사용되고 있다.

인공 뉴럴 네트워크 모델(Artificial Neural Network Model)은 초점 측정의 기울기 방향으로 네트워크 가중치를 업데이트 한 후, 3차원 포커스 이미지 표면(Focused Image Surface, FIS)을 학습하도록 훈련된다.

한편 기존에는, 초기 가중치를 랜덤하게 선택하였기 때문에, 로컬 미니마이제이션(local minimization)의 문제가 발생하여 정확도가 떨어질 수 있었다.

여기서 로컬 미니마이제이션(local minimization)이란, 초기 깊이 맵이 트루(true) 깊이 맵과 차이가 큰 경우, 뉴럴 네트워크의 깊이 추정이 트루(true) 깊이 맵으로 수렴이 안되는 현상을 의미할 수 있다.

구체적으로 뉴럴 네트워크를 이용한 3차원 형상 복원 시스템은 초기 가중치를 사용하여 뉴럴 네트워크에서 초기 깊이 맵을 획득하게 된다. 다만 초기 가중치가 랜덤하게 선택되는 경우에는 초기 깊이 맵과 트루 깊이 맵 간의 차이가 너무 큰 경우가 발생할 수 있다. 특히 트루 깊이 값이 깊이 값 범위의 극단인 경우(최소 깊이 값 또는 최대 깊이 값 근처)인 경우 큰 문제가 될 수 있다. 이러한 경우에는 뉴럴 네트워크의 깊이 추정이 트루 깊이 맵으로 수렴이 되지 않아, 3차원 형상 복원의 정확도가 낮아지는 문제가 있었다.

또한 뉴럴 네트워크의 깊이 추정이 트루 깊이 맵으로 수렴이 되는 경우라도, 수렴 속도가 늦어지고 높은 계산 비용이 초래되는 문제가 있었다.

본 발명은 상술한 문제점을 해결하기 위함으로, 본 발명의 목적은 룩업 테이블에서 초기 가중치를 추출함으로써 3차원 형상 복원의 성공률을 높힐 수 있는 3차원 형상 복원 시스템의 동작 방법을 제공하기 위함이다.

본 발명의 일 실시 예에 따른, 3차원 형상의 표면을 초점을 달리하는 일련의 2차원 이미지를 이용하여 추정하는 3차원 형상 복원 시스템의 동작 방법은, 복수의 인덱스를 포함하는 룩업 테이블을 저장하는 단계, 상기 룩업 테이블로부터, 글로벌 좌표의 기준 깊이 값에 대응하는 인덱스에 저장된 가중치를 획득하는 단계, 뉴럴 네트워크 모델에서 가중치를 사용하여 깊이 값을 구하고 상기 깊이 값을 이용하여 초점 측정이 최대가 되도록 가중치를 업데이트 하는 과정을 소정횟수 반복하는 단계, 및, 상기 가중치를 업데이트하는 과정을 소정횟수 반복하여 획득한 깊이 값을 최종 깊이 값으로 결정하여 3차원 형상의 표면을 추정하는 단계를 포함하고, 상기 가중치를 업데이트 하는 과정을 소정횟수 반복하는 단계는, 상기 획득한 가중치를 초기 가중치로 사용하여 초기 깊이 값을 획득하는 단계를 포함한다.

이 경우 상기 룩업 테이블을 생성하는 단계를 더 포함하고, 상기 룩업 테이블을 생성하는 단계는, (1) 무작위로 가중치를 생성하는 단계, (2) 상기 무작위로 생성된 가중치를 이용하여 깊이 값을 획득하는 단계, (3) 상기 무작위로 생성된 가중치를 이용하여 획득한 깊이 값을 스케일링 하는 단계, (4) 상기 스케일링된 깊이 값에 대응하는 인덱스에 상기 생성된 가중치를 저장하는 단계를 포함할 수 있다.

이 경우 상기 룩업 테이블을 생성하는 단계는, 상기 (1) 내지 (4) 단계를 소정 횟수 반복하는 단계를 더 포함할 수 있다.

이 경우 상기 생성된 가중치를 저장하는 단계는, 상기 (1) 내지 (4) 단계를 반복하는 중, 해당 인덱스가 비어있는 경우 상기 생성된 가중치를 상기 해당 인덱스에 저장하는 단계를 포함할 수 있다.

한편 상기 생성된 가중치를 저장하는 단계는, 상기 (1) 내지 (4) 단계를 반복하는 중, 해당 인덱스가 채워져 있는 경우, 상기 스케일링된 깊이 값이 상기 해당 인덱스에 더 가까우면 상기 생성된 가중치를 상기 해당 인덱스에 저장하는 단계를 포함할 수 있다.

도 1은 뉴럴 네트워크를 이용하여 초점결상(SFF)을 통해 3차원 형상복원을 하는 방법을 개략적으로 나타낸다.
도 2는 초점결상(SFF)를 위한 뉴럴 네트워크 모델을 나타낸다.
도 3은 본 발명의 실시 예에 따른, 초기 가중치를 사용하여 초기 깊이 값을 구하고, 가중치를 업데이트하는 과정을 반복하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른, 룩업 테이블의 생성 방법을 설명하기 위한 순서도이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제시되는 구체적인 실시예로 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상에 포함된다고 할 것이다.

도 1은 뉴럴 네트워크를 이용하여 초점결상(SFF)을 통해 3차원 형상복원을 하는 방법을 개략적으로 나타낸다.

여기에서, 뉴럴 네트워크(Neural Network)은 인간의 뇌 기능을 적극적으로 모방하려는 생각에 기초를 두는 제어 방식을 말한다. 구체적으로 제어대상과 관련된 복수의 요인을 설정하고, 이들의 결합과 결합의 무게를 고려하는 방식이다. 뉴럴 네트워크는 계산을 하는 과정에서 학습(training) 방법을 이용한다. 뉴럴 네트워크의 학습 방법은 1) hebbian learning 2) preceptron rule 3) gradient descent 4)back propagation) 등의 방법이 있다.

도 1에서 실선으로 도시된 FIS(Focused Image Surface)는 추정하고자 하는 3차원 형상의 실제 표면이다. 점섬으로 도시된 추정면(estimate)는 뉴럴 네트워크를 이용하여 추정되는 3차원 형상이다.

3차원 형상의 표면을 초점을 달리하는 일련의 2차원 이미지를 이용하여 추정하는 3차원 형상 복원 시스템(이하 '시스템')은 깊이 값(Depth, Z)를 구하고자 하는 글로벌 좌표(x,y)에서 (x,y) 중심의 로컬 영역을 고려하고 로컬 영역의 좌표를 (j,k)로 정한다. 그리고 시스템은 반복동작을 소정횟수 실시하여 깊이 값을 결정한다.

구체적으로 시스템은 각각의 반복 동작(Iteration)마다 1) 뉴럴 네트워크 모델에서 가중치를 사용하여 깊이 값을 계산한다. 그리고 2)로컬 영역내의 깊이 값을 이용하여 초점 측정(focus measrue)를 고려한다. 마지막으로 3)초점 측정이 최대가 되는 방향으로 가중치(weight)를 업데이트 한다. 이때, 시스템은 그레디언트 디센트 룰(Gradient Descent Rule)을 이용하여 에러를 미분하여 가중치를 업데이트 한다. 그리고 시스템은 1) - 3)의 단계를 반복한다.

그리고 반복이 거듭될수록, 도 1에서 도시하는 바와 같이, 점섬으로 도시된 추정면(estimate)은 실선으로 도시된 FIS(Focused Image Surface)에 접근하게 된다.

마지막으로 시스템은 1) - 3)의 단계를 소정 횟수 반복 후 획득한 깊이 값(z)를 최종 깊이 값으로 결정하여 3차원 형상의 표면을 추정하게 된다.

도 2는 초점결상(SFF)를 위한 뉴럴 네트워크 모델을 나타낸다.

일반적인 뉴럴 네트워크 모델은 도2에 도시된 바와 같이 3 계층 뉴럴 네트워크 모델을 이용한다. 인풋 계층은 3 선형 뉴런(j, k, l)들로 구성되며, 히든 레이어는 추가적인 선형 뉴런과 함께 S자형(sigmoidal) 뉴런을 포함한다. 아웃풋 레이어는 하나의 S자형 뉴런으로 구성되며 [0,1] 범위의 출력을 제공한다. 하나의 반복 동작에서, 글로벌 인덱스(x,y)가 중심에 있는 M by M의 윈도우를 위한 로컬 깊이 값(Z)은 수학식 1과 같이 정의된다.

여기에서, (j,k)는 윈도우 내 로컬 인덱스 값의 공간 표상(spatial representation)이다. {wn, an, bn, cn}는 네트워크 가중치를 의미한다.

는 S자형 펑션이며 수학식 2와 같이 표현된다.

여기에서, x는 더미(dummy) 변수이다.

따라서, FIS의 형상은, 수학식 1에서 주어진 뉴럴 네트워크의 가중치 함수로써 표현될 수 있다.

포커스 메져(F)는 수학식 3을 통해 회색도 분산(gray level variance)에 의해 z(j, k)로부터 계산된다.

여기에서, I(x + j, y + k, z (j, k))는 프레임 넘버 z(j, k)에서 이미지 포지션(x+j, y+k)에서의 그레이 레벨이다. m=(M-1)/2로 로컬 인덱스 경계이다.

는 z(j, k)에 의해 정의되는 윈도우 표면 픽셀의 그레이 레벨의 평균을 나타낸다. 그리고 맵 z(j, k)는 수학식 1에 의해 주어지는 FIS의 추정치로, 이는 실제로 도 2에서 도시하는 뉴럴 네트워크 모델에 의하여 생성된 표면을 의미한다.

한편 각각의 반복 동작마다의 네트워크 가중치들은 수학식 4를 통한 그레디언트 디센트 룰에 기초하여 업데이트 된다.

여기에서,

는 앨리먼트로써 wn, an, bn and cn를 포함하는 가중치 백터의 알짜 변화량(net change)이다.

는 학습 레이트(learning rate)이다. 미분 연쇄 법칙(chain rule of differentiation)에 따라 수학식 4는 수학식 5와 같이 나타낼 수 있다.

또한, 수학식 3을 이용하여 수학식 5는 수학식 6과 같이 나타낼 수 있다.

그리고 윈도우 표면에서 픽셀 평균은 일정하므로, 수학식 6은 수학식 7과 같이 나타낼 수 있다.

여기에서,

는 각각의 이미지 프레임 넘버에 대한 윈도우 표면의 이미지 인텐시티(intensity)의 미분 계수를 나타낸다.

그리고

는 오류역전파 알고리즘(backpropagation algorithm)과 유사한 방식으로, 수학식 1로부터 유도될 수 있다.

그리고 가중치 업데이트 방정식은 아래와 같이 나타낼 수 있다.

여기서

는 운동량 상수(momentum constant)이고,

는 가중치의 보정 값일 수 있다.

와

는 실험을 통하여 변하였으며, 전형적으로는 각각 0.2, 0.1이다. 그리고 윈도우에 대한 최종 가중치는 메모리에 저장되고, 이미지 공간 내 다음 윈도우에서도 동일한 과정이 반복될 수 있다. 또한 이러한 과정은 병렬적으로 동시에 수행될 수도 있다.

도 3은 본 발명의 실시 예에 따른, 초기 가중치를 사용하여 초기 깊이 값을 구하고, 가중치를 업데이트하는 과정을 반복하는 방법을 설명하기 위한 도면이다.

시스템은, 뉴럴 네트워크 모델에서 가중치를 사용하여 깊이 값을 구하고(330, 340), 깊이 값을 이용하여

와

를 계산함으로써 초점 측정이 최대가 되도록 하는 가중치(

)를 획득하고(350, 360), 획득한 가중치를 업데이트할 수 있다(370). 그리고 시스템은, 이와 같은 과정을 소정 횟수만큼 반복할 수 있으며, 소정 횟수만큼 반복하여 획득한 깊이 값을 최종 깊이 값으로 결정할 수 있다.

한편 위와 같은 과정이 최초에 수행되는 경우, 초기 가중치가 이용될 수 있다.

구체적으로 시스템은 룩업 테이블로부터 초기 가중치(W(1))를 획득할 수 있다.

더욱 구체적으로 룩업 테이블은 복수의 인덱스 및 복수의 인덱스 각각에 대응하는 가중치를 포함할 수 있다. 그리고 시스템은, 깊이 값을 구하고자 하는 글로벌 좌표(x, y)에 상응하는 기준 깊이 값을 획득하고(310), 기준 깊이 값을 룩업 테이블에 전달하여 룩업 테이블의 인덱스로 사용할 수 있다. 이 경우 시스템은, 룩업 테이블로부터 글로벌 좌표의 기준 깊이 값에 대응하는 인덱스에 저장된 가중치(W(1))를 획득할 수 있다(320).

이 경우 시스템은, 획득한 가중치(W(1))를 초기 가중치로 사용하여 초기 깊이 값을 획득할 수 있다.

구체적으로 시스템은 뉴럴 네트워크 모델에서 초기 가중치(W(1))를 사용하여 깊이 값을 구하고(330, 340), 깊이 값을 이용하여 초점 측정이 최대가 되도록 하는 가중치를 획득하고(350, 360), 획득한 가중치를 업데이트할 수 있다(370).

그리고 나서 시스템은, 앞서 설명한 바와 같이 이와 같은 과정을 소정 횟수만큼 반복할 수 있으며, 소정 횟수만큼 반복하여 획득한 깊이 값을 최종 깊이 값으로 결정할 수 있다.

도 4는 본 발명의 실시 예에 따른, 룩업 테이블의 생성 방법을 설명하기 위한 순서도이다.

시스템은 룩업 테이블을 생성할 수 있다.

먼저 시스템은, 무작위로 가중치를 생성할 수 있다(S410).

그리고 시스템은 무작위로 생성된 가중치를 이용하여 깊이 값(Z)을 획득할 수 있다(S420).

구체적으로 무작위로 생성된 가중치는 수학식 1에 적용되어, 무작위로 생성된 가중치에 대응하는 깊이 값(Z)이 획득될 수 있다.

이때 획득한 깊이 값(Z)은 [0, 1]의 범위를 가질 수 있으며, 최초 추정 FIS를 나타낼 수 있다.

한편 시스템은 무작위로 생성된 가중치를 이용하여 획득한 깊이 값(Z)이 [1, Iz]의 범위를 가질 수 있도록 스케일링 할 수 있다(S430).

한편 시스템은, 스케일링된 깊이 값에 대응하는 인덱스에 생성된 가중치를 저장할 수 있다(S440).

구체적으로 시스템은, 획득한 깊이 값에서 가장 가까운 자연수를 룩업 테이블의 인덱스로 활용하고, 깊이 값을 획득하는데 사용된 가중치를 상기 인덱스에 대응하여 저장할 수 있다.

그리고 시스템은, S410 내지 S440을 소정 횟수 반복할 수 있다(S450).

한편 시스템은, S410 내지 S440을 반복하는 중 해당 인덱스(새롭게 깊이 갚을 산출한 경우 새롭게 산출한 깊이 값에 대응하는 인덱스)가 비어있는 경우, 새롭게 산출한 깊이 값을 획득하는데 사용된 가중치를 상기 해당 인덱스에 저장할 수 있다.

또한 시스템은, S410 내지 S440을 반복하는 중, 해당 인덱스(새롭게 깊이 갚을 산출한 경우 새롭게 산출한 깊이 값에 대응하는 인덱스)가 이미 채워져 있는 경우, 새롭게 산출한 깊이 값이 해당 인덱스에 더 가까우면, 새롭게 산출한 깊이 갚을 획득하는데 사용된 가중치를 상기 해당 인덱스에 저장할 수 있다.

구체적으로 시스템은, S410 내지 S440을 반복하면서, 획득한 깊이 값에서 가장 가까운 자연수를 룩업 테이블의 인덱스로 활용하여 깊이 값을 획득하는데 사용된 가중치를 상기 인덱스에 대응하여 저장할 수 있다.

이 경우 기존에 산출한 깊이 값에 대응하는 인덱스와 새롭게 산출한 깊이 값에 대응하는 인덱스가 서로 동일할 수 있다. 이 경우에는 기존에 산출한 깊이 값을 획득하는데 사용된 가중치가 이미 해당 인덱스에 채워져 있는 상태이다.

이 경우 시스템은, 기존에 산출한 깊이 값과 새롭게 산출한 깊이 값 중 어느 깊이 값이 해당 인덱스에 더 가까운지 판단할 수 있다.

그리고 시스템은, 새롭게 산출한 깊이 값이 해당 인덱스에 더 가까우면, 새롭게 산출한 깊이 값을 획득하는데 사용된 가중치를 해당 인덱스에 저장할 수 있다.

반대로 시스템은, 기존에 산출한 깊이 값이 해당 인덱스에 더 가까우면, 새롭게 산출한 깊이 값을 획득하는데 사용된 가중치를 해당 인덱스에 저장하지 않고, 기존에 저장되어 있던 가중치를 그대로 유지할 수 있다.

한편 시스템은 이와 같은 과정을 소정 횟수(예를 들어 10000번) 반복하여 룩업 테이블을 완성하고, 완성된 룩업 테이블을 저장할 수 있다.

아래의 표는 룩업 테이블의 예시이다.

index	a_n	b_n	…	w_o
1	0.123	0.323	…	-0.121
2	0.432	-0.013	…	0.328
3	0.321	0.472	…	-0.145
. .	. .	. .	…	. .
I_Z-1	0.157	0.312	…	0.421
I_Z	0.446	-0.451	…	0.132

또한 아래의 표는 원추형 오브젝트를 이용한 실험 결과를 나타낸 것이다.

	RMSE	Correlation
SML	8.548	0.957
GLV	8.462	0.971
Random Setting	8.567	0.967
LUTs (Proposed)	8.375	0.973

즉 룩업 테이블을 이용하여 초기 가중치를 선정한 경우, 에러율은 낮아지고 실제 깊이 맵과의 유사도는 높아진 것을 알 수 있다.

이와 같이 본 발명의 룩업 테이블을 이용하는 경우, 트루 깊이 값 근처의 초기 깊이 값을 만들게 하는 초기 가중치 값을 손쉽게 선정할 수 있다.

따라서 부적절한 초기 가중치의 선택으로 인한 로컬 미니마이제이션(local minimization)의 문제를 해결하고 3차원 형상 복원의 정확도를 향상시킬 수 있다.

또한 본 발명은, 트루 깊이 맵으로의 수렴 속도를 향상시킬 수 있으며, 계산 비용을 낮출 수 있는 장점이 있다.

한편, 앞서 설명한 알고리즘은 컴퓨터 프로그램으로 구현될 수 있다. 그리고 앞서 설명한 알고리즘은, 컴퓨터 프로그램이 설치되고 운영되는 하드웨어에서 실행될 수 있다.

또한 앞서 설명한 알고리즘을 구현하는 컴퓨터 프로그램은 기록매체에 저장될 수 있다.

지금까지, 본 발명의 이해를 돕기 위하여 무인 이동 장치에 대한 예시적인 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나 이러한 실시 예는 단지 본 발명을 예시 하기 위한 것이고, 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명을 도시되고 설명된 내용에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 변형이 본 기술 분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims

3차원 형상의 표면을 초점을 달리하는 일련의 2차원 이미지를 이용하여 추정하는 3차원 형상 복원 시스템의 동작 방법에 있어서,
복수의 인덱스를 포함하는 룩업 테이블을 생성하는 단계;
상기 룩업 테이블을 저장하는 단계;
상기 룩업 테이블로부터, 글로벌 좌표의 기준 깊이 값에 대응하는 인덱스에 저장된 가중치를 획득하는 단계;
뉴럴 네트워크 모델에서 가중치를 사용하여 깊이 값을 구하고 상기 깊이 값을 이용하여 초점 측정이 최대가 되도록 가중치를 업데이트 하는 과정을 소정횟수 반복하는 단계; 및
상기 가중치를 업데이트하는 과정을 소정횟수 반복하여 획득한 깊이 값을 최종 깊이 값으로 결정하여 3차원 형상의 표면을 추정하는 단계;를 포함하고,
상기 룩업 테이블을 생성하는 단계는,
특정 깊이 값에 대응하는 인덱스에 상기 특정 깊이 값을 획득하는데 사용된 가중치를 저장하고,
상기 가중치를 업데이트 하는 과정을 소정횟수 반복하는 단계는,
상기 획득한 가중치를 초기 가중치로 사용하여 초기 깊이 값을 획득하는 단계를 포함하는
3차원 형상 복원 시스템의 동작 방법.
제 1항에 있어서,
상기 룩업 테이블을 생성하는 단계는,
(1) 무작위로 가중치를 생성하는 단계;
(2) 상기 무작위로 생성된 가중치를 이용하여 깊이 값을 획득하는 단계;
(3) 상기 무작위로 생성된 가중치를 이용하여 획득한 깊이 값을 스케일링 하는 단계;
(4) 상기 스케일링된 깊이 값에 대응하는 인덱스에 상기 생성된 가중치를 저장하는 단계;를 포함하는
3차원 형상 복원 시스템의 동작 방법.
제 2항에 있어서,
상기 룩업 테이블을 생성하는 단계는,
상기 (1) 내지 (4) 단계를 소정 횟수 반복하는 단계를 더 포함하는
3차원 형상 복원 시스템의 동작 방법.
제 3항에 있어서,
상기 생성된 가중치를 저장하는 단계는,
상기 (1) 내지 (4) 단계를 반복하는 중, 해당 인덱스가 비어있는 경우 상기 생성된 가중치를 상기 해당 인덱스에 저장하는 단계;를 포함하는
3차원 형상 복원 시스템의 동작 방법.
제 3항에 있어서,
상기 생성된 가중치를 저장하는 단계는,
상기 (1) 내지 (4) 단계를 반복하는 중, 해당 인덱스가 채워져 있는 경우, 상기 스케일링된 깊이 값이 상기 해당 인덱스에 더 가까우면 상기 생성된 가중치를 상기 해당 인덱스에 저장하는 단계;를 포함하는
3차원 형상 복원 시스템의 동작 방법.
상기 제1항 내지 4항 중 어느 하나의 항의 3차원 형상 복원 시스템의 동작 방법을 실행시키는 기록매체에 저장된 컴퓨터 프로그램.