KR20200137998A

KR20200137998A - 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체

Info

Publication number: KR20200137998A
Application number: KR1020200059225A
Authority: KR
Inventors: 타케시 나가타; 히데마사 마에카와; 토시오 카사마; 마사요시 시모모토; 카즈히코 이마이즈미
Original assignee: 미즈호 죠호 소켄 가부시키가이샤; 재팬 애즈 레프리젠티드 바이 디렉터 제네럴 오브 내셔널 리서치 인스티튜트 오브 폴리스 사이언스
Priority date: 2019-05-31
Filing date: 2020-05-18
Publication date: 2020-12-09
Also published as: JP6751540B1; KR102413589B1; CN112017096A; JP2020197845A; CN112017096B

Abstract

　제 1입체 형상에 대해 상대적으로 배치된 제 2입체 형상을 적확하게 추정하기 위한 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체를 제공한다. 형상 예측 시스템(20)은 제어부(21)와, 머리 부분의 두개골 및 외표면의 CT화상을 기억한 CT화상 데이터 기억부(22)를 구비한다. 제어부(21)는 두개골에서 특징점을 특정하고 이 특징점에서 두개골에 대해 상대적으로 배치되는 외표면의 형상을 CT화상 데이터 기억부(22)로부터 취득하여 두개골의 골 형상의 특징점에서 외표면 형상의 배치를 예측하기 위한 예측 모델을 생성하는 학습 처리를 실행한다. 제어부(21)는 예측 대상 머리 부분의 두개골 특징점을 특정하고 특징점의 배치에 예측 모델을 적용해 머리 부분의 외표면을 예측하는 예측 처리를 실행한다.

Description

형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체{SHAPE PREDICTION SYSTEM, SHAPE PREDICTION METHOD, AND COMPUTER-READABLE MEDIUM STORING SHAPE PREDICTION PROGRAM}

본 발명은, 제1입체 형상에 대해 상대적으로 배치된 제2입체 형상을 예측하는 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체에 관한 것이다.

종래, 해부학적으로 같은 위치에 있는 얼굴의 특징점을 이용하여 형상을 예측하는 경우가 있다. 예를 들어 범죄 수사나 고고학 분야 등에서는 두개골을 바탕으로 생전의 안면으로 복원하는 복안(復顔) 작업이 이루어진다. 이 복안을 효율적으로 행하기 위한 기술이 검토되고 있다. 예를 들어 일본 특허 공개 평01-043232호 공보에 기재된 자동 복안 시뮬레이터는 두개골 표면의 입체 형상을 계측하는 계측부에서 얻은 형상 데이터를 바탕으로 제1의 데이터 기억부에 기억된 인체의 신체적 특징에 관한 데이터와 제2의 데이터 기억부에 기억된 인체의 안면 두께 데이터로부터 안면 입체 형상 데이터를 산출한다.

　또 특징점을 이용해 나이가 든 얼굴을 예측하는 기술이 있다. 예를 들어 일본 특허 제5950486호 공보에 기재된 가령화(加齡化) 예측 시스템은 각도 예측 모델 및 3차원화 변환 예측 모델을 이용해 처리 대상의 2차원 얼굴 화상으로부터 3차원 얼굴 데이터를 생성한다. 그리고 이 가령화 예측 시스템은 형상 가령(加齡) 모델, 텍스처 가령 모델을 이용해 얼굴 화상의 텍스처에 대한 나이가 듦에 따른 변화와 얼굴 형상에 대한 나이가 듦에 따른 변화를 예측하여 나이가 든 후의 얼굴 화상을 출력한다.

그러나 제1입체 형상에 대한 제2입체 형상의 상대적인 배치는 형상 자체의 영향을 받기 때문에 단순한 함수로 결정되지 않는 경우가 있다. 예를 들어 얼굴 두께는 체형만으로 결정되는 것이 아니라 두개골 형태의 영향을 받는다. 또한 두개골에는 안와 등의 구멍이 있기 때문에 복안에 있어서 두께를 적확하게 추정할 수 없는 경우도 있다.

상기 과제를 해결하는 형상 예측 시스템은 형상 정보 기억부와 입력부, 출력부에 접속된 제어부를 구비한 형상 예측 시스템으로, 상기 제어부가 학습 처리로서, 물체의 제1입체 형상을 상기 형상 정보 기억부에 기억하고, 상기 제1입체 형상에서 특징점을 특정하고, 상기 제1입체 형상에 대해 상대적으로 배치된 제2입체 형상을, 상기 제1입체 형상과 관련지어 상기 형상 정보 기억부에 기억하고, 상기 제2입체 형상을 이용하여, 상기 제1입체 형상의 상기 특징점에서, 상기 제2입체 형상을 예측하기 위한 예측 모델을 생성하는 학습 처리를 실행하고, 예측 처리로서, 예측 대상인 제1입체 형상에서 특징점을 특정하고, 상기 예측 대상의 상기 특징점 배치에 상기 예측 모델을 적용함으로써, 상기 예측 대상의 제2입체 형상을 예측하는 예측 처리를 실행한다.

본 발명에 따르면 제1입체 형상에 대하여 상대적으로 배치된 제2입체 형상을 적확하게 추정할 수 있다.

도 1은, 실시 형태의 형상 예측 시스템의 설명도.
도 2는, 실시 형태의 하드웨어 구성의 설명도.
도 3 은, 실시 형태에서의 두께, 외표면, 고무막 및 두개골의 관계를 설명하는 개념도.
도 4 는, 실시 형태의 학습 처리의 처리 순서를 설명하는 흐름도.
도 5 는, 실시 형태의 참조 상동(相同) 모델의 생성 처리 설명도이며, (a)는 참조 상동 모델의 생성 처리 순서 흐름도, (b)는 두개골 특징점 설명도, (c)는 특징 메쉬점 설명도.
도 6 은, 실시 형태의 상동 모델화 처리의 설명도로, (a)는 상동 모델화 처리 순서의 흐름도, (b)는 다른 메쉬점의 보간 처리 후에서의 구면(球面) 메쉬 설명도, (c)는 균등화된 구면 메쉬 설명도.
도 7 은, 실시 형태의 고무막 생성 처리 설명도이며, (a)는 골 형상을 이용한 고무막 생성 처리 순서 흐름도, (b)는 고무막 피팅 처리 순서 흐름도, (c)는 메쉬를 축소 이동하기 전의 상태, (d)는 메쉬를 축소 이동시킨 상태.
도 8 은, 실시 형태의 커플링 학습의 설명도로서, (a)는 처리 순서의 흐름도, (b)는 고무막 좌표 벡터와 두께 벡터로 이루어진 행렬, (c)는 정규화·주성분 분석된 행렬, (d)는 전반 부분의 직교화 및 후반 부분의 선형 결합을 실시한 행렬.
도 9 는, 실시 형태의 예측 처리의 처리 순서를 설명하는 흐름도.
도 10 은, 실시 형태의 두께의 예측 처리를 설명하는 설명도.
도 11 은, 실시 형태의 예측 처리를 설명하는 설명도이며, (a)는 메쉬점으로 구성된 고무막 표면, (b)는 각 메쉬점으로부터 예측된 두께 벡터, (c)는 두께 벡터에 의해 생성된 외표면.
도 12 는, 실시 형태에서의 예측 대상 형상을 설명하는 설명도로서, (a)는 입력 두개골, (b)는 고무막으로 감싼 상태, (c)는 커플링 학습에 의해 두께를 적용한 상태, (d)는 평균 두께를 적용한 상태, (e)는 정답을 나타낸다.
도 13 은, 변경예에서의 처리의 처리 순서를 설명하는 흐름도이며, (a)는 학습 처리, (b)는 예측 처리.

이하, 도 1 내지 도 12를 이용하여, 형상 예측 시스템, 형상 예측 방법 및 형상 예측 프로그램을 기억한 컴퓨터 가독 매체를 구체화한 일 실시 형태를 설명한다. 본 실시 형태에서는 제1입체 형상인 두개골부터 머리 부분의 외표면(제2입체 형상)까지의 상대 위치(두께)를 커플링 학습을 통해 학습하고 학습 결과를 이용하여 두개골로부터 얼굴을 추정하는 복안을 실시한다. 이것을 위해, 본 실시 형태에서는, 도 1에 나타내는 형상 예측 시스템을 이용한다.

(하드웨어 구성 설명)

도 2를 이용해 형상 예측 시스템(20)을 구성하는 정보 처리 장치(H10)의 하드웨어 구성을 설명한다. 정보 처리 장치(H10)는 통신 장치(H11), 입력 장치(H12), 표시 장치(H13), 기억부(H14), 프로세서(H15)를 구비한다. 또한 이 하드웨어 구성은 하나의 예이며, 다른 하드웨어에 의해 실현하는 것도 가능하다.

통신 장치(H11)는 다른 장치와의 사이에서 통신 경로를 확립하여 데이터 송수신을 실행하는 인터페이스이며, 예를 들어 네트워크 인터페이스 카드나 무선 인터페이스 등이다.

입력 장치(H12)는 이용자 등으로부터의 입력을 받는 입력부로, 예를 들어 마우스나 키보드, CT스캐너 등이다. 표시 장치(H13)는 각종 정보를 표시하는 출력부로, 예를 들어 디스플레이 등이다.

기억부(H14)는 형상 예측 시스템(20)의 각종 기능을 실행하기 위한 데이터나 각종 프로그램을 저장하는 기억 장치(컴퓨터 가독 매체)이다. 기억부(H14)의 일례로서는 ROM, RAM, 하드디스크 등이 있다.

프로세서(H15)는 기억부(H14)에 기억되는 프로그램이나 데이터를 이용해 형상 예측 시스템(20)에서의 각 처리를 제어한다. 프로세서(H15)의 일례로서는, 예를 들어 CPU나 MPU등이 있다. 이 프로세서(H15)는 ROM등에 기억되는 프로그램을 RAM에 전개하여 각 서비스를 위한 각종 프로세스를 실행한다.

프로세서(H15)는 자신이 실행하는 모든 처리에 대해 소프트웨어 처리를 행하는 것으로 한정되지 않는다. 예를 들어 프로세서(H15)는 자신이 실행하는 처리의 적어도 일부에 대해 하드웨어 처리를 하는 전용 하드웨어 회로(예를 들어 특정 용도용 집적 회로: ASIC)를 갖추어도 된다. 즉, 프로세서(H15)는 (1)컴퓨터 프로그램(소프트웨어)에 따라 동작하는 1개 이상의 프로세서, (2)각종 처리 중 적어도 일부의 처리를 실행하는 1개 이상의 전용 하드웨어 회로, 혹은 (3)그들의 조합을 포함하는 회로(circuitry)로서 구성할 수 있다. 프로세서는 CPU그리고 RAM 및 ROM 등의 메모리를 포함하고 메모리는 처리를 CPU에 실행시키도록 구성된 프로그램 코드 또는 지령을 저장하고 있다. 메모리 즉 컴퓨터 가독 매체는 범용 또는 전용 컴퓨터로 접근할 수 있는 모든 이용 가능한 매체를 포함한다.

(각 기능부의 설명)

도 1과 같이 형상 예측 시스템(20)은 두개골로부터 머리 부분(얼굴)의 형상을 복원하는 복안 처리를 하기 위한 컴퓨터 시스템이다. 이 형상 예측 시스템(20)은 제어부(21), 형상 정보 기억부로서의 CT화상 데이터 기억부(22), 특징점 데이터 기억부(23), 구면 메쉬 데이터 기억부(24) 및 모델 기억부(25)를 구비하고 있다.

제어부(21)는 제어 수단(CPU, RAM, ROM등)을 구비하고, 후술하는 처리(학습 관리 단계, 기본 모델 생성 단계, 두께 계측 단계, 상동화(相同化) 처리 단계, 고무막 생성 단계, 기계 학습 단계, 예측 관리 단계 및 형상 생성 단계 등의 각 처리)를 실시한다. 그것을 위한 형상 예측 프로그램을 실행함으로써, 제어부(216)는, 학습 관리부(210), 기본 모델 생성부(211), 두께 계측부(212), 상동화 처리부(213), 고무막 생성부(214), 기계 학습부(215), 예측 관리부(216), 형상 생성부(217)로서 기능한다.

도 3과 같이, 본 실시 형태에서는 두개골에서 복안을 할 경우, 구멍이 뚫린 부분(결락 영역)을 막기 위해 예측에 이용하는 두개골의 형상을 고무막(메쉬막)으로 덮은 형상(고무막 모델)으로 변환한다. 그리고 고무막 모델의 각 부분에서 두께를 예측하여 외표면의 형상을 추정한다.

도 1의 학습 관리부(210)는 형상 예측에 이용하는 배치 예측 모델을 생성하는 처리를 관리한다. 학습 관리부(210)는 학습에 이용하는 상동 모델을 기억하기 위한 학습용 메모리를 구비한다.

기본 모델 생성부(211)는 상동 모델화 처리에 이용하는 기본 모델(참조 상동 모델)에 관한 데이터를 생성하는 처리를 실행한다. 여기에서는, 학습 대상의 복수의 두개골로부터 산출한 평균적인 상동 모델을 생성한다. 여기서 상동 모델이란 각 두개골에 대한 3차원 데이터를 메쉬로 표현하고 각 메쉬에 포함된 정점(頂点)이 해부학적으로 같은 위치가 되도록 변환한 3차원 좌표 데이터다.

두께 계측부(212)는 고무막 모델로부터 외표면까지의 거리(두께)를 계측하는 처리를 실행한다. 본 실시 형태에서는 원점과 고무막 모델의 메쉬점을 연결하는 직선상에서 고무막 모델과 외표면의 거리를 계측한다. 또한, 원점으로서 미리 정한 소정의 특징점으로부터 일정한 오프셋을 부여한 점(위치)을 이용한다.

상동화 처리부(213)는 학습이나 예측에 이용하는 두개골에 대한 상동 모델을 생성하는 처리를 실행한다.

고무막 생성부(214)는 두개골을 고무막으로 덮은 형상을 생성하는 처리를 실행한다.

기계 학습부(215)는, 고무막으로 덮은 형상으로부터 외표면까지의 거리를 기계 학습하는 처리를 실행한다. 본 실시 형태에서는, 기계 학습으로서 후술하는 커플링 학습을 이용한다.

예측 관리부(216)는 예측 대상인 두개골의 CT화상과 배치 예측 모델을 이용하여 두개골의 각 부에서의 두께를 예측하기 위한 관리 처리를 실행한다.

형상 생성부(217)는 예측 시뮬레이션에 의해 취득한 두께를 이용해 두개골로부터 머리 부분의 외표면 형상(얼굴 형상)을 생성하는 처리를 실행한다.

또한, CT화상 데이터 기억부(22)에는, 학습에 이용하는 샘플의 화상 데이터가 기억되어 있다. 여기에서는 머리 부분의 외표면(얼굴)의 CT화상과 이 머리 부분의 두개골의 CT화상(3D)이 식별 번호와 관련지어 기억되어 있다. 머리 부분의 외표면의 CT 화상을 통해 머리 부분의 3차원 형상을 특정할 수 있다. 또한, 두개골의 CT 화상을 통해 두개골의 3차원 형상을 특정할 수 있다.

특징점 데이터 기억부(23)에는 두개골의 특징점에 관한 데이터가 기억되어 있다. 특징점은 머리 부분의 특징적인 부분(예를 들어, 두정골의 최상방점이나 골 비강 내표면의 최외측점 등)이다.

구면 메쉬 데이터 기억부(24)에는 형상 예측에 이용하는 메쉬에 관한 데이터가 기억되어 있다. 이 메쉬에 관한 데이터는 근사적으로 균등한 메쉬로서 산출한 데이터이며, 메쉬의 정점 수가 10242개, 삼각형 수가 20480개인 거의 구면을 구성하는 각 메쉬의 좌표 데이터이다. 이 메쉬 데이터는 정20면체를 출발점으로 하여 이하의 (1) 내지 (3)의 메쉬 분할 처리를 5회 반복하여 형성된다. 메쉬 분할 처리는 아래의 순서로 이루어진다.

(1) 모든 삼각형을 구성하는 변의 중점에 새로운 메쉬점을 두고 삼각형을 재정의한다.

(2) (1)에서 배치한 점은 구면상에 없으므로 중심(원점)과 해당점을 연결한 선분을 연장하여 이 선분과 구면의 교점에 재배치한다.

(3) (2)에서 구면상에 재배치한 점 끼리의 간격은 불균등해져 있으므로, 최급강하법(구배법)에 의해 이하의 2가지 조건을 충족하는 가운데 최적의 배치(에너지가 낮은 배치)를 계산한다.

ㆍ 구면상에 있는 점의 에너지를 구면상에 없는 점의 에너지보다 낮게 한다.

ㆍ 인접한 점끼리의 거리가 평균 거리에 가까운 점의 에너지를 낮게 한다.

모델 기억부(25)에는 예측 처리에서 두께를 예측하기 위해 이용하는 배치 예측 모델이 기억된다. 이 배치 예측 모델은 학습 처리가 실행되었을 경우에 기억된다.

(학습 처리)

우선, 도 4를 이용해, 학습 처리에 대해 설명한다.

형상 예측 시스템(20)의 제어부(21)는 골 형상 및 외표면의 CT 화상의 취득 처리를 실행한다(스텝 S1-1). 구체적으로는 제어부(21)의 학습 관리부(210)는 각 식별 번호와 관련된 머리 부분의 외표면의 CT 화상과 두개골의 CT 화상을 CT 화상 데이터 기억부(22)로부터 취득한다. 그리고 학습 관리부(210)는 머리 부분의 외표면의 CT 화상을 이용하여 외표면의 3차원 형상을 생성하고 두개골의 CT 화상을 이용하여 두개골의 3차원 형상을 생성한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 참조 상동 모델의 생성 처리를 실행한다(스텝 S1-2). 이 처리의 상세한 내용에 대해서는 도 5를 이용하여 후술한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 학습 개별 데이터에서의 상동 모델화 처리를 실행한다(스텝 S1-3). 이 처리에 있어서는 스텝 S1-1에서 생성한 두개골의 3차원 형상과 S1-2에서 생성한 참조 상동 모델을 이용하여 상동 모델화 처리를 실행한다. 이 처리의 상세한 것에 대해서는 도 6을 이용해 후술한다.

그리고 형상 예측 시스템(20)의 제어부(21)는 골 형상을 이용한 고무막의 생성 처리를 실행한다(스텝 S1-4). 이 처리의 상세한 내용은 도 7을 이용하여 후술한다.

그리고 형상 예측 시스템(20)의 제어부(21)는 두께의 계측 처리를 실행한다(스텝 S1-5). 구체적으로는 제어부(21)의 두께 계측부(212)는 원점과 구면 상동 모델의 각 메쉬점을 포함한 직선상에서 고무막 표면의 좌표와 외표면의 좌표를 특정한다. 두께 계측부(212)는 특정한 외표면의 좌표로부터 고무막 표면의 좌표까지의 거리(두께)를 산출한다.

다음으로 형상 예측 시스템(20)의 제어부(21)는 커플링 학습에 의한 배치 예측 모델의 생성 처리를 실행한다(스텝 S1-6). 이 처리의 상세한 것에 대해서는 도 8을 이용해 후술한다.

<참조 상동 모델 생성 처리>

다음으로, 도 5를 이용하여 참조 상동 모델의 생성 처리를 설명한다. 이 처리를 CT 화상 데이터 기억부(22)에 기억된 데이터를 이용하여 생성한 머리 부분의 모든 골 형상을 이용하여 실행한다.

도 5(a)에 나타내는 바와 같이, 제어부(21)의 기본 모델 생성부(211)는 평균 특징점 산출 처리를 실행한다(스텝 S2-1). 구체적으로는 기본 모델 생성부(211)는 각 개별 데이터의 원점을 일치시켜 중회귀 분석 등을 이용하여 좌우 대칭으로 얼굴이 정면을 향하도록 회전시킨다. 또한 기본 모델 생성부(211)는 정수리부터 턱까지의 Z축 상의 길이가 지정값이 되도록 리사이즈(확대 또는 축소)함으로써 각 개별 데이터의 두개골 상의 특징점 데이터를 정규화한다. 그리고, 기본 모델 생성부(211)는, 정규화한 각 개별 데이터를 이용해, 골 형상의 각 특징점의 평균 위치(평균 특징점)를 산출한다.

다음으로, 제어부(21)의 기본 모델 생성부(211)는 특징 메쉬점의 특정 처리를 실행한다(스텝 S2-2). 구체적으로는 기본 모델 생성부(211)는 구면 메쉬 데이터 기억부(24)에 기억된 메쉬 데이터를 취득한다. 다음으로 기본 모델 생성부(211)는 원점으로부터 연장된 평균 특징점(좌표)의 연장선과 취득한 메쉬 데이터(구면)와의 교점을 특정한다. 또한 기본 모델 생성부(211)는 특정한 교점에 가장 가까운 메쉬점을 교점까지 이동시켜 특징 메쉬점으로 한다.

다음으로, 제어부(21)의 기본 모델 생성부(211)는 다른 메쉬점의 보간 처리를 실행한다(스텝 S2-3). 구체적으로는 기본 모델 생성부(211)는 특징 메쉬점을 고정한 채 특징 메쉬점 이외의 다른 메쉬점에 대해 특징 메쉬점으로부터의 이동량을 구면상에서 분배하여 분배한 이동량에 따라 다른 메쉬점을 구면상에서 이동시킨다.

그리고 제어부(21)의 기본 모델 생성부(211)는 최급강하법을 이용하여 메쉬 균등화 처리를 실행한다(스텝 S2-4). 구체적으로는 기본 모델 생성부(211)는 취득한 메쉬 데이터(구면) 상에 배치한 메쉬점(특징 메쉬점 및 보간한 메쉬점)의 각 위치를 최급강하법을 이용하여 균등화시킨다. 이 경우, 특징점의 메쉬 정점을 움직이지 않도록 고정해 둔다. 그리고 기본 모델 생성부(211)는 균등화시킨 각 메쉬점의 위치를 학습용 메모리에 기억한다.

도 5(b)에는 두개골에서의 특징점을 흑점으로 나타낸다. 도 5(c)에는 구 표면에서 균등화된 각 메쉬점을 나타낸다. 또한 구 표면 상의 흑점은 특징 메쉬점을 나타내고 있다.

<학습 개별 데이터 상동 모델화 처리>

다음으로, 도 6을 이용해 학습 개별 데이터에서의 상동 모델화 처리(스텝 S3-1)를 설명한다. 이 처리는, 골 형상의 각 학습 개별 데이터에 대해서 반복해서 실행된다.

도 6(a)에 나타내는 바와 같이 제어부(21)의 상동화 처리부(213)는 특징점의 특정 처리를 실행한다(스텝 S3-1). 구체적으로는 상동화 처리부(213)는 학습 개별 데이터의 골 형상에서의 각 특징점을 특정한다.

다음으로, 제어부(21)의 상동화 처리부(213)는 특징점의 정규화 처리를 실행한다(스텝 S3-2). 구체적으로는 상동화 처리부(213)는 공지된 프로크러스테스 해석을 이용하여 각 개별 데이터의 특징점(좌표)을 원점으로부터 평균 특징점까지의 방향과 거리에 일치시킨다.

다음으로, 제어부(21)의 상동화 처리부(213)는 특징 메쉬점의 이동 처리를 실행한다(스텝 S3-3). 구체적으로는 상동화 처리부(213)는 구면 메쉬 데이터 기억부(24)에 기억된 메쉬 데이터를 취득한다. 다음으로, 상동화 처리부(213)는 원점으로부터 연장된 정규화 특징점(좌표)의 연장선과 취득한 메쉬 데이터(구면)의 교점을 특정한다. 또한 상동화 처리부(213)는 특정한 교점에 가장 가까운 메쉬점을 교점까지 이동시켜 특징 메쉬점으로 한다.

다음으로, 제어부(21)의 상동화 처리부(213)는 스텝 S2-3, S2-4와 마찬가지로 다른 메쉬점의 보간 처리(스텝 S3-4), 최급강하법을 이용하여 메쉬의 균등화 처리(스텝 S3-5)를 실행한다.

도 6(b)에는 다른 메쉬점의 보간 처리(스텝 S3-4) 후에서의 구면 메쉬와 흑점에 의한 특징 메쉬점을 나타내고 있다. 또한 도 6(c)에 나타내는 구면 메쉬 데이터는 최급강하법을 이용하여 메쉬 균등화 처리(스텝 S3-5)에 의해 특정한 메쉬점을 나타내고 있다. 이 균등화 처리에 의해 메쉬점이 왜곡된 영역(도 6(b)의 우측 상단의 타원영역)의 메쉬점끼리의 간격은 평균적인 간격으로 균등화된다.

<골 형상을 이용한 고무막 생성 처리>

다음으로, 도 7(a)을 이용하여 골 형상을 이용한 고무막의 생성 처리(스텝 S1-4)를 설명한다. 이 처리는, 골 형상의 각 학습 개별 데이터에 대해서, 반복해서 실행된다.

우선 제어부(21)의 고무막 생성부(214)는 구면 메쉬의 원점에 골 형상을 배치하는 처리를 실행한다(스텝 S4-1). 구체적으로는 고무막 생성부(214)는 메쉬 데이터(구면)의 원점에 CT화상에 의해 특정한 두개골의 3차원 형상의 중심을 일치시켜 두개골 표면의 위치를 특정한다.

다음으로, 제어부(21)의 고무막 생성부(214)는 고무막 피팅 처리를 실행한다(스텝 S4-2). 이 처리의 상세한 것에 대해서는 도 7(b)를 이용하여 후술한다.

다음으로, 제어부(21)의 고무막 생성부(214)는 고무막 상에서 메쉬 정점을 특정하는 처리를 실행한다(스텝 S4-3). 구체적으로는 고무막 생성부(214)는 원점으로부터 연장된 각 상동 메쉬점의 연장선과 고무막 표면의 교점을 특정한다. 그리고, 고무막 생성부(214)는, 특정한 교점을 상동 모델의 메쉬 정점으로서 특정한다.

<고무막 피팅 처리>

다음으로, 도 7(b)을 이용해 고무막 피팅 처리(스텝 S4-2)에 대해 설명한다.

우선, 고무막 생성부(214)는 구면 메쉬의 균등 분할 처리를 실행한다(스텝 S5-1). 구체적으로는 고무막 생성부(214)는 두개골을 내포하는 구면을 가정해 구면상을 메쉬로 분할한다.

다음으로, 고무막 생성부(214)는 메쉬의 축소 이동 처리를 실행한다(스텝 S5-2). 구체적으로는 고무막 생성부(214)는 각 메쉬 사이에 인력을 부여하여 공지된 분자동역학 수법에 따라 구면을 축소하는 방향으로 각 메쉬를 이동시킨다. 이 경우 메쉬점은 구(球)의 중심과 초기 위치를 연결한 직선상으로만 이동시킨다.

여기에서는 도 7(c)에 나타내는 바와 같이 인접하는 메쉬점의 방향에 인력을 부여한다. 그리고 각 메쉬점을 중심 방향으로 이동시킨다.

이 경우, 고무막 생성부(214)는 골 형상 표면에 도달한 각 메쉬점에 대해서는 도착한 표면 위치에 배치를 결정한다. 그리고, 이후, 이 메쉬점에 대해서는 축소 이동시키지 않는다.

한편 고무막 생성부(214)는 골 형상 표면에 도달하지 않은 각 메쉬점에 대해서는 각 메쉬 사이에 인력을 추가로 부여하고, 공지된 분자동역학 수법에 따라 구면을 축소하는 방향으로 각 메쉬의 이동을 반복하여 배치를 결정한다.

도 7(d)에 나타내는 바와 같이 두개골의 볼록부에서는 메쉬점이 고무막 표면에 붙어 있고, 오목부에서는 메쉬점간의 인력에 의해 배치가 결정된다.

<커플링 학습에 의한 배치 예측 모델 생성 처리>

다음으로, 도 8을 이용해 커플링 학습에 의한 배치 예측 모델의 생성 처리(스텝 S1-6)에 대해 설명한다.

우선, 도 8(a)에 나타내는 바와 같이, 기계 학습부(215)는, 고무막 좌표 데이터와 두께 데이터로 행렬 생성을 실시하는 처리를 실행한다(스텝 S6-1). 구체적으로는, 기계 학습부(215)는, 고무막 좌표 벡터를 1행에 나열한다.

또한, 도 8(b)에 나타내는 바와 같이, 기계 학습부(215)는, 같은 두개골과 고무막 좌표를 이용해 산출한 두께 벡터를 고무막 좌표 벡터와 같은 행에 이어서 늘어놓은 행렬(제 1행렬)을 생성한다.

다음으로, 기계 학습부(215)는, 정규화·주성분 분석 처리를 실행한다(스텝 S6-2). 구체적으로는, 기계 학습부(215)는, 생성한 행렬의 정규화를 실시한다. 또한, 기계 학습부(215)는, 정규화한 행렬의 행 벡터를 이용해 주성분 분석을 실시한다.

이를 통해 도 8(c)에 나타내는 바와 같이 데이터 공간을 표현하는 직교 기저에 의해 기여율이 높은 순서대로 나열한 행렬(제 2행렬)을 생성한다.

다음으로, 기계 학습부(215)는, 직교 기저 전반의 직교화 처리를 행한다(스텝 S6-3). 구체적으로는, 기계 학습부(215)는, 그람-슈미트의 수법을 이용하여 직교 기저의 전반 부분을 직교화한다. 이에 따라, 전반 부분의 직교화에 이용한 직교화 계수가 산출된다.

다음으로, 기계 학습부(215)는 직교화 계수로 선형 결합을 실시하는 처리를 실행한다(스텝 S6-4). 구체적으로는 기계 학습부(215)는 직교 기저의 후반 부분에 대해서도 전반 부분의 직교화 계수를 이용한 선형 결합에 의해 표현한다.

여기에서는 도 8(d)에 나타내는 바와 같이 i행 j열로 이루어지는 전반 부분(제 3행렬)과 i행 k열로 이루어지는 후반부분(제 4행렬)이 생성된다.

그리고 이 제 3행렬 및 제 4행렬을 모델 기억부(25)에 기억한다.

(예측 처리)

다음에, 도 9 내지 도 12를 이용해 예측 처리에 대해 설명한다.

도 9에 나타내는 바와 같이 형상 예측 시스템(20)의 제어부(21)는 예측 대상 두개골의 3D스캔 처리를 실행한다(스텝 S7-1). 구체적으로는 제어부(21)의 예측 관리부(216)는 예측 대상 머리 부분의 두개골(골 형상)의 CT화상을 입력 장치(H12)를 통해 취득한다. 그리고 예측 관리부(216)는 두개골의 CT화상을 이용하여 두개골의 3차원 형상을 생성하고 이 형상 데이터(두개골 데이터)를 취득한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 예측 대상 데이터에서의 상동 모델화 처리를 실행한다(스텝 S7-2). 구체적으로는 제어부(21)의 상동화 처리부(213)는 취득한 예측 대상의 두개골 데이터를 이용하여 학습 개별 데이터에서의 상동 모델화 처리와 마찬가지로 두개골에서의 특징점의 특정 처리, 특징점의 정규화 처리, 특징 메쉬점의 이동 처리, 다른 메쉬점의 보간 처리 및 최급강하법을 이용하여 메쉬지의 균등화 처리(스텝 S3-1 내지 S3-5)를 실행한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 골 형상을 이용한 고무막의 생성 처리를 실행한다(스텝 S7-3). 구체적으로는 제어부(21)의 고무막 생성부(214)는 학습 처리의 골 형상을 이용한 고무막 생성 처리(스텝 S1-4)와 마찬가지로 구면 메쉬의 원점에 골 형상을 배치하는 처리, 고무막 피팅 처리, 고무막 상에서 메쉬 정점의 특정을 행하는 처리를 실행한다(스텝 S4-1 내지 스텝 S4-3).

다음으로, 형상 예측 시스템(20)의 제어부(21)는 각 메쉬점의 좌표에서 두께의 예측 처리를 실행한다(스텝 S7-4). 이 처리의 상세한 내용에 대해서는 도 10을 이용하여 후술한다.

그리고 형상 예측 시스템(20)의 제어부(21)는 복안의 생성 처리를 실행한다(스텝 S7-5). 여기에서는 예측한 두께를 이용하여 고무막 모델로부터 머리 부분의 외표면(얼굴)의 3차원 형상을 복원하여 표시 장치(H13)에 표시한다. 이 처리의 상세한 것에 대해서는 도 11을 이용해 후술한다.

<각 메쉬점의 좌표 두께에서의 예측 처리>

다음으로 도 10을 이용해 각 메쉬점의 좌표에서의 두께 예측 처리(스텝 S7-4)에 대해 설명한다.

여기에서는 제어부(21)의 예측 관리부(216)는 취득한 골 형상으로부터 생성한 고무막 좌표를 1행에 나열한 고무막 좌표 벡터(설명 변수 벡터)를 생성하여 정규화를 실시한다.

다음으로 제어부(21)의 예측 관리부(216)는 정규화한 고무막 좌표 벡터와 제3행렬과의 내적(內積)을 계산함으로써 예측 계수를 계산한다.

다음으로 제어부(21)의 예측 관리부(216)는 산출한 예측 계수와 제4행렬과의 내적을 계산함으로써 예측 벡터(목적 변수 벡터)를 산출한다. 이 예측 벡터의 크기는 각 메쉬점의 두께를 나타내고 있다.

<복안 생성 처리>

다음으로, 도11을 이용하여 복안의 생성 처리에 대해 설명한다.

제어부(21)의 형상 생성부(217)는 스텝 S7-4에서 산출한 각 메쉬점에서의 두께를 고무막 표면의 메쉬점 좌표에 가산하여 얼굴 외표면의 좌표를 특정한다. 그리고, 특정한 각 좌표를 포함한 3 차원 형상에 의해 얼굴 형상을 생성한다.

도 11(a)에는 고무막 표면의 메쉬점을 나타내고 있다. 이 고무막 표면의 흑점은 특징점이다.

도 11(b)에는 고무막 표면의 각 메쉬점에서 예측한 두께 벡터를 나타내고 있다. 이 두께 벡터는 원점으로부터 메쉬점을 연결하는 방향으로 고무막 표면에서 예측된 두께(거리)로 구성된다.

도11(c)에는 두께 벡터에 의해 특정된 좌표점에 의해 생성된 외표면 형상을 나타내고 있다. 또한 외표면상의 흑점은 특징점을 나타내고 있다.

(예측 결과의 비교)

도 12 에는, 40명의 개별 데이터에서, 39명의 개별 데이터를 이용해 학습 처리를 실행하고, 나머지의 1명의 개별 데이터를 이용해 예측 처리를 실행한 결과를 나타낸다.

도12(a)는 예측 처리에 이용한 두개골이다.

도 12(b), (c)는 입력한 두개골로부터 생성된 고무막, 커플링 학습에 의하여 예측한 복안 결과이다.

도12(d)는 참고예로서 얼굴의 평균 두께에 의해 예측한 복안 결과이다.

도12(e)는 정답이 되는 외표면(얼굴 형상)이다.

도12(d)의 비교예보다 도12(c)의 본 발명 예측 결과가 정답에 가깝다는 것을 알 수 있다.

본 실시 형태에 의하면, 이하와 같은 효과를 얻을 수 있다.

(1)본 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 두개골의 골 형상에서의 특징점을 특정하고, 특징점의 배치에 기초하여 골 형상으로부터 외표면까지의 두께를 예측하는 배치 예측 모델을 생성하는 학습 처리를 실행한다. 나아가, 제어부(21)는 예측 대상인 두개골의 특징점을 특정하고 특정한 특징점의 배치에 배치 예측 모델을 적용하여 외표면을 예측한다. 이에 따라, 실제의 두개골과 외표면의 데이터로부터 학습해 예측한 두께를 이용해 외표면을 생성하기 때문에, 복안을 적확하게 실시할 수 있다.

(2)본 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 두개골을 덮은 고무막으로부터 외표면까지의 두께를 계측하고, 이 계측값을 이용해 두께를 예측하는 모델을 생성한다. 두개골에서는 안와 등의 구멍(결락 영역)을 가진다. 이 경우에도 고무막으로부터 외표면까지의 두께를 적확하게 예측할 수 있다.

(3)본 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 고무막 피팅 처리에서 구면 메쉬의 균등 분할 처리 및 메쉬의 축소 이동 처리를 실행한다(스텝 S5-1, S5-2). 이를 통해 복수의 메쉬점 사이에서 인력을 작용시킴으로써 두개골의 외형 형상과 합치된 메쉬를 생성할 수 있다.

(4)본 실시 형태에서 형상 예측 시스템(20)의 제어부(21)는 계측한 두께를 이용하여 커플링 학습에 의한 배치 예측 모델의 생성 처리를 실행한다. 이에 따라, 중소 규모의 데이터를 이용해, 적확하게 예측하는 모델을 생성할 수 있다.

(5)본 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 참조 상동 모델의 생성 처리(스텝 S1-2)및 학습 개별 데이터에서의 상동 모델화 처리(스텝 S1-3)를 실행한다. 이에 따라, 각 학습 개별 데이터를 해부학 상의 특징으로 공통화시켜, 배치 예측 모델을 생성할 수 있다.

(6)본 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 참조 상동 모델의 생성 처리 및 상동 모델화 처리에서 최급강하법을 이용하여 메쉬의 균등화를 실행한다(스텝 S2-4, S3-5). 이에 따라, 메쉬를 균등하게 배치할 수 있으므로 고르게 예측할 수 있다.

본 실시 형태는 다음과 같이 변경하여 실시할 수 있다. 본 실시 형태 및 이하의 변경예는 기술적으로 모순되지 않는 범위에서 서로 조합하여 실시할 수 있다.

ㆍ 상기 실시 형태의 형상 예측 시스템(20)의 제어부(21)는 CT화상 데이터 기억부(22)에 기억된 데이터를 이용하여 배치 예측 모델을 생성하였다. 이 경우, 입체 형상의 속성(예를 들어 인종이나 성별)별로 배치 예측 모델을 생성해도 된다. 이 경우에는, 제어부(21)는 같은 속성의 CT화상 데이터를 이용하여 속성별 배치 예측 모델을 생성한다. 또한 형상 예측 시스템(20)에는 두개골 형상의 특징량에 대하여 속성을 특정하기 위한 속성 판정 정보를 유지시켜 둔다.

그리고, 예측 대상인 두개골의 3D데이터를 취득했을 경우, 제어부(21)는, 두개골 형상의 특징량을 산출해, 속성 판정 정보를 이용하여 속성을 특정한다. 또한, 입력 장치(H12)를 통해 속성을 입력하도록 해도 된다. 다음으로, 제어부(21)는 특정한 속성에 따른 배치 예측 모델을 이용하여 두께를 예측하고 예측한 두께를 이용하여 외표면을 생성한다. 이에 따라 인종이나 성별 등의 속성에 따른 두께의 차이를 고려하여 보다 적확하게 복안할 수 있다.

ㆍ 상기 실시 형태의 형상 예측 시스템(20)의 제어부(21)는 골 형상으로부터 두께를 고려하여 외표면을 예측하였다. 예측하는 제 2입체 형상은 제 1입체 형상에 대해 상대적으로 배치된 형상이면 된다. 예를 들어 외표면(제 1입체 형상)으로부터 골 형상(제 2입체 형상)을 예측하도록 해도 된다.

구체적으로는, 도 13(a)에 나타내는 바와 같이 형상 예측 시스템(20)의 제어부(21)는 상기 실시 형태의 학습 처리와 마찬가지로 골 형상 및 외표면의 CT화상의 취득 처리(스텝 S8-1), 참조 상동 모델의 생성 처리(스텝 S8-2), 학습 개별 데이터에서의 상동 모델화 처리(스텝 S8-3)를 실행한다. 또한 제어부(21)는 상기 실시 형태의 학습 처리와 마찬가지로 골 형상을 이용한 고무막 생성 처리(스텝 S8-4) 및 두께의 계측 처리(스텝 S8-5)를 실행한다. 그리고 형상 예측 시스템(20)의 제어부(21)는 커플링 학습에 의한 배치 예측 모델의 생성 처리를 실행한다(스텝 S8-6). 이 처리에서 제어부(21)는 외표면 좌표 벡터를 설명 변수 벡터로 하고 두께 벡터를 목적 변수 벡터로 하여 이용한 커플링 학습을 행하여 배치 예측 모델을 생성한다.

　그리고, 도 13(b)에 나타내는 바와 같이 예측 처리에서는 형상 예측 시스템(20)의 제어부(21)는 예측 대상 외표면의 3D스캔 처리를 실행한다(스텝 S9-1). 구체적으로는 제어부(21)의 예측 관리부(216)는 예측 대상인 외표면의 CT화상을 입력 장치(H12)를 통해 취득하고 외표면의 3차원 형상을 생성하여 외표면 데이터를 취득한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 예측 대상 데이터에서의 상동 모델화 처리를 실행한다(스텝 S9-2). 구체적으로는 제어부(21)의 상동화 처리부(213)는 취득한 예측 대상인 외표면 데이터를 이용하여 학습 개별 데이터에서의 상동 모델화 처리와 마찬가지로 외표면에서의 특징점의 특정 처리, 특징점의 정규화 처리, 특징 메쉬점의 이동 처리, 다른 메쉬점의 보간 처리 및 최급강하법을 이용하여 메쉬의 균등화를 하는 처리(스텝 S3-1 내지 S3-5)를 실행한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 스텝 S7-4와 마찬가지로 각 메쉬점의 좌표에서의 두께의 예측 처리를 실행한다(스텝 S9-3). 이 경우 제어부(21)는 예측 대상인 외표면의 좌표 벡터를 입력 데이터로 하여 두께 벡터를 산출한다.

다음으로, 형상 예측 시스템(20)의 제어부(21)는 외표면에서 두께를 빼고 고무막을 생성하는 처리를 실행한다(스텝 S9-4).

이를 통해 외표면으로부터 고무막으로 덮은 골 형상을 예측할 수 있다.

또한 제 1입체 형상 및 제 2입체 형상은 두개골 및 머리 부분의 외표면으로 한정되지 않고 인체의 골형상 및 외표면이어도 된다. 이 경우, 마른 형태나 비만형 등 체형에 따른 두께를 예측하는 예측 모델을 생성해도 좋다. 그리고 같은 인체의 골 형상에 체형에 따른 외표면을 예측해 마른 경우나 살이 찐 경우의 체형을 예측해도 된다.

또한 예측하는 제 2입체 형상은 제 1입체 형상의 외측 또는 내측에 배치되는 경우로 한정되지 않는다. 예를 들어 강 표면의 물결 형상(제 1입체 형상)으로부터 강 바닥의 형상(제 2입체 형상)을 예측해도 좋다.

ㆍ 상기 실시 형태에서는 고무막 피팅 처리(스텝 S4-2)에서 형상 예측 시스템(20)의 제어부(21)는 구면 메쉬의 균등 분할 처리 및 메쉬의 축소 이동 처리를 실행한다(스텝 S5-1, S5-2). 이 경우, 안와 등의 결락 영역과 볼 등의 움푹 들어간 영역을 구별하여 고무막을 피팅시켜도 된다. 예를 들어 메쉬 축소 이동 처리(스텝 S5-2)에서 각 메쉬 간의 인력(제 1인력)과 함께 두개골(제 1입체 형상)과 메쉬점 사이에 인력(제 2인력)을 작용시킨다(즉, 두개골과 메쉬점 사이에 인력을 부여한다). 이 경우에는, 움푹 들어간 영역은 제2인력에 의해 골에 가까워지지만 결락 영역에는 골이 없기 때문에 제2인력은 작용하지 않고 제1인력만으로 배치가 결정된다. 이를 통해 고무막의 피팅 정확도를 개선할 수 있다.

ㆍ 상기 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 골 형상을 이용한 고무막의 생성 처리에서 골 형상에 맞춘 고무막을 생성하고, 외표면으로부터 고무막까지의 두께를 계측하였다. 제어부(21)는 고무막을 생성하는 대신에 안와 등의 결락 영역과 다른 영역을 구별하고 영역별로 두께를 예측해도 된다. 이 경우, 결락 영역의 주위를 특정해, 결락 영역을 막는 형상을 설정하고, 이 부재로부터 외표면까지의 거리를 두께로 하여 계측해도 좋다.

ㆍ 상기 실시 형태에서, 형상 예측 시스템(20)의 제어부(21)는 커플링 학습에 의해 배치 예측 모델을 생성하였다. 배치 예측 모델의 생성은 커플링 학습으로 한정되는 것은 아니다. 예를 들어 종속 변수(예측 대상 특징량)를 이용해 설명 변수(예측 시에 사용하는 특징량)를 산출하는 중회귀 분석이나, 뉴럴 네트워크 등의 다른 기계 학습을 이용해도 좋다.

20 형상 예측 시스템
21 제어부
22 CT화상 데이터 기억부
23 특징점 데이터 기억부
24 구면 메쉬 데이터 기억부
25 모델 기억부
210 학습 관리부
211 기본 모델 생성부
212 두께 계측부
213 상동화 처리부
214 고무막 생성부
215 기계 학습부
216 예측 관리부
217 형상 생성부

Claims

형상 정보 기억부와,
입력부, 출력부에 접속된 제어부를 구비한 형상 예측 시스템으로,
상기 제어부가
학습 처리로서,
물체의 제1입체 형상을 상기 형상 정보 기억부에 기억하고,
상기 제1입체 형상에서 특징점을 특정하고,
상기 제1입체 형상에 대해 상대적으로 배치된 제2입체 형상을 상기 제1입체 형상과 관련지어 상기 형상 정보 기억부에 기억하고,
상기 제2입체 형상을 이용하여 상기 제1입체 형상의 상기 특징점에서 상기 제2입체 형상을 예측하기 위한 예측 모델을 생성하는, 학습 처리를 실행하고,
예측 처리로서,
예측 대상의 제1입체 형상에서 특징점을 특정하고,
상기 예측 대상의 상기 특징점의 배치에 상기 예측 모델을 적용함으로써 상기 예측 대상의 제2입체 형상을 예측하는 예측 처리를 실행하는 것을 특징으로 하는 형상 예측 시스템.
제1항에 있어서, 상기 제어부는 상기 제1입체 형상에서 결락 영역을 특정하고, 상기 결락 영역을 보간하는 형상 예측 시스템.
제2항에 있어서, 상기 제어부는
상기 제1입체 형상을, 복수의 메쉬점이 설정된 메쉬막으로 덮고,
상기 복수의 메쉬점 사이에 인력을 부여하여 상기 결락 영역을 메우도록 보간하는 형상 예측 시스템.
제3항에 있어서, 상기 제어부는 상기 제1입체 형상과 상기 메쉬점 사이에 인력을 부여하여 상기 결락 영역을 보간하는 형상 예측 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제어부는 상기 제1입체 형상에 대해서 상동화한 형상에서 상기 특징점을 특정하는 형상 예측 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1입체 형상은 골 형상이며,
상기 제2입체 형상은 상기 골 형상의 외측에 두께를 이용해 형성된 외표면의 형상인 형상 예측 시스템.
제6항에 있어서, 상기 외표면 형상은 얼굴을 포함한 머리 부분의 외표면 형상이며,
상기 제어부는 두개골에 살을 붙임으로써 상기 제2입체 형상을 예측하는 복안 처리를 실행하는 형상 예측 시스템.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제1입체 형상은 인체 외표면의 형상이며,
상기 제2입체 형상은, 상기 인체의 내측에 두께를 개재시켜 배치된 골 형상으로 설정된 메쉬막의 형상인, 형상 예측 시스템.
　 제8항에 있어서, 상기 제어부는 머리 부분의 외표면 형상으로부터 두개골로 설정된 메쉬막을 예측하는 처리를 실행하는 형상 예측 시스템.
형상 정보 기억부와,
입력부, 출력부에 접속된 제어부를 구비한 형상 예측 시스템을 이용하는 형상 예측 방법으로,
상기 제어부가
학습 처리로서,
물체의 제1입체 형상을 상기 형상 정보 기억부에 기억하고,
상기 제1입체 형상에서 특징점을 특정하고,
상기 제1입체 형상에 대해 상대적으로 배치된 제2입체 형상을 상기 제1입체 형상과 관련지어 상기 형상 정보 기억부에 기억하고,
상기 제2입체 형상을 이용하여 상기 제1입체 형상의 상기 특징점에서 상기 제2입체 형상을 예측하기 위한 예측 모델을 생성하는, 학습 처리를 실행하고,
예측 처리로서,
예측 대상의 제1입체 형상에서 특징점을 특정하고,
상기 예측 대상의 상기 특징점의 배치에 상기 예측 모델을 적용함으로써 상기 예측 대상의 제2입체 형상을 예측하는 예측 처리를 실행하는 것을 특징으로 하는 형상 예측 방법.
형상 정보 기억부와,
입력부, 출력부에 접속된 제어부를 구비한 형상 예측 시스템을 이용하여 형상을 예측하기 위한 형상 예측 프로그램을 기억한 컴퓨터 가독 매체이며,
상기 제어부를
학습 처리로서,
물체의 제1입체 형상을 상기 형상 정보 기억부에 기억하고,
상기 제1입체 형상에서 특징점을 특정하고,
상기 제1입체 형상에 대해 상대적으로 배치된 제2입체 형상을 상기 제1입체 형상과 관련지어 상기 형상 정보 기억부에 기억하고,
상기 제2입체 형상을 이용하여 상기 제1입체 형상의 상기 특징점에서 상기 제2입체 형상을 예측하기 위한 예측 모델을 생성하는, 학습 처리를 실행하고,
예측 처리로서,
예측 대상의 제 1입체 형상에서 특징점을 특정하고,
상기 예측 대상의 상기 특징점의 배치에 상기 예측 모델을 적용함으로써 상기 예측 대상의 제 2입체 형상을 예측하는 예측 처리를 실행하는 수단으로서 기능시키는 것을 특징으로 하는 컴퓨터 가독 매체.