KR102143227B1 - 객체의 3차원 형상 정보 생성 방법 및 그 장치 - Google Patents

Abstract

3 차원 프린팅을 위한, 객체의 3차원 형상 정보 생성 장치에 의해 수행되는 방법이 개시된다. 본 발명의 일 실시예에 따르면, 상기 방법은, 디스플레이부 상에 영상 컨텐츠를 디스플레이하는 단계와 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 단계와 상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 객체의 형상을 식별하는 단계와 상기 제1 프레임 상에서 식별된 객체의 형상을 기초로, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

Description

객체의 3차원 형상 정보 생성 방법 및 그 장치 {METHOD FOR GENERATING 3D SHAPE INFORMATION OF OBJECT AND APPARATUS THEREOF}

본 발명은 객체의 3차원 형상 정보 생성 방법 및 그 장치에 관한 것이다. 보다 자세하게는, 3차원 프린터를 통해 컨텐츠 상의 객체를 물리적인 실물로 출력하기 위한 객체의 3차원 형상 정보 생성 방법 및 그 장치에 관한 것이다.

3차원 영상에서, 특정 객체를 3차원 모델링 파일을 추출해내고, 이에 대한 3차원 프린팅을 수행함으로써, 객체에 대한 3차원 결과물을 생산하는 서비스가 제공되고 있다. 이 같은 서비스는, 서비스 이용자에게 맞춤형 제품을 생산할 수 있어, 최종 결과물을 수령한 서비스 이용자에게 기성품과 차별적인 만족감을 제공할 수 있는 장점이 있다.

다만, 이 같은 서비스는 서비스 이용자가 직접 제작한 3차원 컨텐츠 또는 외부로부터 확보된 3차원 컨텐츠와 같이, 미리 등록된 3차원 스캐닝 데이터 기준으로 추출 가능한 컨텐츠만 이용될 수 있는 한계점을 노출한다.

그럼에도 2차원의 동영상에서, 객체를 식별하고, 복수의 프레임 상에서 식별된 객체의 이미지를 결합하여 3차원의 형상 정보를 생성하고, 이를 기초로 3차원 결과물을 생성하는 서비스는 제공되지 않고 있다.

한국등록특허 제 1801853 호

본 발명이 해결하고자 하는 기술적 과제는, 영상물 내의 특정 객체를 식별하고, 해당 객체에 대한 3차원 모델링을 수행하는 방법을 제공하는 것이다.

구체적으로 본 발명이 해결하고자 하는 기술적 과제는, 복수의 프레임 상에서 객체를 인식하고, 인식된 객체의 이미지를 조합함으로써 객체의 3차원 형상 정보를 생성하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적 과제는, 영상물 내의 특정 객체의 적어도 일부 영역을 모델링하고, 모델링된 3차원 형상 정보를 포함하는 결과물을 3차원 출력하는 방법을 제공하는 것이다.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 미리 학습된 3차원 형상 생성 모델을 이용하여 객체의 선택된 제1 이미지와 소정의 범위 내의 유사도를 갖는 제2 이미지를 추적하고 선택함으로써, 3차원 객체의 형상 정보를 생성하는 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 객체의 3차원 형상 정보 생성 방법은, 디스플레이부 상에 영상 컨텐츠를 디스플레이하는 단계와 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 단계와 상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 객체의 형상을 식별하는 단계와 상기 제1 프레임 상에서 식별된 객체의 형상을 기초로, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 단계는, 상기 미리 등록된 객체 중, 제1 객체의 선택을 수신하는 단계를 포함하고, 상기 제1 프레임 상에서 상기 객체의 형상을 식별하는 단계는, 상기 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 단계를 포함하고, 상기 제1 프레임 상에서 식별된 객체의 형상을 기초로, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 복수의 프레임 중, 상기 선택된 제1 객체를 포함하는 제2 프레임을 식별하는 단계와 상기 제2 프레임 상의 제1 객체의 제2 면 정보를 추출하는 단계와 상기 제1 객체의 상기 제1 면 정보 및 상기 제2 면 정보를 기초로, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 객체는, 제1 부분과 제2 부분을 포함하고, 상기 제2 프레임 상의 제1 객체의 제2 면 정보를 추출하는 단계는, 상기 제1 면 정보 및 상기 제2 면 정보를 통해 상기 제1 부분의 3차원 형상 정보를 생성하는 단계를 포함하고, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계는, 상기 제2 부분의 미리 등록된 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 면 정보 및 상기 제2 면 정보를 통해 상기 제1 부분의 3차원 형상 정보를 생성하는 단계는, 상기 제2 부분에 대하여, 미리 등록된 3차원 형상 중 어느 하나를 선택받는 단계를 포함하고, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계는, 상기 제2 부분의 상기 어느 하나의 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 객체는, 제1 부분과 제2 부분을 포함하고, 상기 제2 프레임 상의 제1 객체의 제2 면 정보를 추출하는 단계는, 상기 제1 면 정보 및 상기 제2 면 정보를 통해 상기 제1 부분의 3차원 형상 정보를 생성하는 단계를 포함하고, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계는, 상기 복수의 프레임 중, 상기 선택된 제1 객체를 포함하는 제3 프레임을 식별하는 단계와 상기 제3 프레임 상의 제1 객체의 제3 면 정보를 추출하는 단계와 상기 제3 면 정보를 기초로, 상기 제2 부분의 3차원 형상 정보를 생성하는 단계와 상기 제2 부분의 상기 생성된 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 프레임 상에서 식별된 객체의 형상을 기초로, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 식별된 객체의 형상에 대한 추천 인터페이스를 디스플레이 하는 단계와 상기 추천 인터페이스를 통해, 상기 객체에 대한 복수의 3차원 형상 정보가 디스플레이되고, 상기 복수의 3차원 형상 정보 중, 상기 객체에 대한 어느 하나의 3차원 형상 정보를 선택받는 단계를 포함할 수 있다.

일 실시예에서, 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 단계는, 제1 객체 및 제2 객체에 대한 선택을 수신하는 단계를 포함하고, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 제1 객체 및 상기 제2 객체 각각에 대한 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 단계는, 제1 객체 및 제2 객체에 대한 선택을 수신하는 단계를 포함하고, 상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 객체의 형상을 식별하는 단계는, 상기 제1 프레임 상에서 상기 제1 객체를 식별하는 단계를 포함하고, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 제1 객체 및 상기 제2 객체가 모두 포함된 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 제1 프레임 상에서 상기 제1 객체를 식별하는 단계는, 상기 제1 프레임 상에서, 상기 제1 객체를 식별하는 단계와 상기 복수의 프레임 중 적어도 하나의 프레임 상에서, 상기 제2 객체를 식별하는 단계를 포함하고, 상기 제1 객체 및 상기 제2 객체가 모두 포함된 3차원 형상 정보를 생성하는 단계는, 상기 제1 프레임 상에서 식별된 상기 제1 객체에 대한 3차원 형상 정보를 생성하는 단계와 상기 적어도 하나의 프레임 상에서 식별된 상기 제2 객체에 대한 3차원 형상 정보를 생성하는 단계와 상기 제1 객체에 대한 3차원 형상 정보 및 상기 제2 객체에 대한 3차원 형상 정보를 결합하여, 3차원 프린팅 대상 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 객체의 형상을 식별하는 단계는, 미리 학습된 3차원 형상 생성 모델을 이용하여, 상기 제1 프레임 상에서 상기 선택된 객체의 형상 정보를 추출하는 단계와 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 복수의 프레임 상에서, 상기 형상 정보와 미리 설정된 유사도 이상의 형상 정보를 포함하는 프레임을 추출하는 단계와 상기 추출된 프레임 상에서 상기 미리 설정된 유사도 이상의 형상 정보를 갖는 객체를 3차원 형상 정보 생성 대상 객체로 결정하는 단계를 포함하고, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 제1 프레임 및 상기 추출된 프레임 상에서 식별된 상기 객체에 대한 형상 정보를 기초로, 상기 객체의 3 차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에서, 상기 추출된 프레임 상에서 상기 미리 설정된 유사도 이상의 형상 정보를 갖는 객체를 3차원 형상 정보 생성 대상 객체로 결정하는 단계는, 상기 미리 설정된 유사도 중, 제1 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제1 면 형상을 생성하기 위한 제1 면 형상 객체로 결정하는 단계와 상기 미리 설정된 유사도 중, 제2 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제2 면 형상을 생성하기 위한 제2 면 형상 객체로 결정하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 객체의 3 차원 형상 정보를 생성하는 단계는, 상기 제1 면 형상 객체 및 상기 제2 면 형상 객체를 기초로 상기 3차원 형상 정보 생성 대상 객체의 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 제1 프레임 상에서 상기 선택된 객체의 형상 정보를 추출하는 단계는, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 객체의 형상 정보 상의 특징점을 추출하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 제1 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제1 면 형상을 생성하기 위한 제1 면 형상 객체로 결정하는 단계는, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제1 범위의 변위 값을 갖는 변위점을 예측하는 단계와 상기 예측된 변위점을 추적하여 상기 제1 면 형상을 생성하기 위한 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 제2 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제2 면 형상을 생성하기 위한 제2 면 형상 객체로 결정하는 단계는, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제2 범위의 변위 값을 갖는 변위점을 예측하는 단계와 상기 예측된 미리 설정된 제2 범위의 변위 값을 갖는 변위점을 추적하여 상기 제2 면 형상을 생성하기 위한 3차원 형상 정보를 생성하는 단계를 포함할 수 있다,

일 실시예에 따르면, 상기 특징점은, 제1 특징점 및 제2 특징점을 포함하고, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제1 범위 내의 변위 값을 갖는 변위점을 예측하는 단계는, 상기 제1 특징점 및 상기 제2 특징점에 상기 제1 범위 내의 변위 값이 각각 적용된 제1 변위점 그룹을 예측하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제2 범위의 변위 값을 갖는 변위점을 예측하는 단계는, 상기 제1 특징점 및 상기 제2 특징점에 상기 제2 범위 내의 변위 값이 각각 적용된 제2 변위점 그룹을 예측하는 단계를 포함할 수 있다.

일 실시예에 따르면, 상기 제1 면 형상 객체 및 상기 제2 면 형상 객체를 기초로 상기 3차원 형상 정보 생성 대상 객체의 3차원 형상 정보를 생성하는 단계는, 상기 제1 특징점 및 상기 제2 특징점과, 각각 예측된 상기 제1 변위점 그룹 및 제2 변위점 그룹을 기초로 상기 3차원 형상 정보를 생성하는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 객체의 3차원 결과물 출력 방법은, 3 차원 프린팅을 위한, 객체의 3차원 출력 시스템에 의해 수행되는 방법으로서, 디스플레이부 상에 영상 컨텐츠를 디스플레이하는 단계와 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 단계와 상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 객체의 형상을 식별하는 단계와 상기 제1 프레임 상에서 식별된 객체의 형상을 기초로, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계와 상기 생성된 3차원 형상 정보를, 3차원 프린팅 장치에 송신하는 단계와 상기 3차원 프린팅 장치를 통해, 상기 객체에 대한 3차원 결과물 출력이 수행되는 단계를 포함할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 객체의 3차원 형상 정보 생성 장치는, 하나 이상의 프로세서와 객체의 3차원 형상 정보를 3차원 프린팅 장치로 송신하는 네트워크 인터페이스와 상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리와 영상 컨텐츠를 디스플레이하는 디스플레이부와 상기 컴퓨터 프로그램를 저장하는 스토리지를 포함할 수 있다.

일 실시예에 따르면, 상기 컴퓨터 프로그램은, 상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신하는 오퍼레이션과 상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 객체의 형상을 식별하는 오퍼레이션과 상기 제1 프레임 상에서 식별된 객체의 형상을 기초로, 상기 객체에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 오퍼레이션을 포함할 수 있다.

일 실시예에서, 상기 객체의 3차원 형상 정보 생성 장치는, 상기 3차원 프린팅 장치를 더 포함하고, 상기 오퍼레이션은, 상기 생성된 3차원 형상 정보를, 3차원 프린팅 장치에 송신하는 오퍼레이션과 상기 3차원 프린팅 장치를 통해, 상기 객체에 대한 3차원 출력이 수행되는 오퍼레이션을 포함할 수 있다.

본 발명의 일 실시예에 따르면, 컨텐츠를 시청 중인 시청자가 원하는 캐릭터에 대한 3차원 프린팅을 요청함으로써 개인화된 3차원 형상의 제품이 제공되는 효과가 있다. 이로써, 영상 컨텐츠를 통해 단순 컨텐츠 제공뿐만 아니라 다양한 굿즈와 결합한 비즈니스의 제공이 가능해지는 효과가 있다.

본 발명의 다른 실시예에 따르면, 미리 학습된 3차원 형상 생성 모델을 이용하여, 제1 이미지로부터 근접한 제2 이미지를 추적함으로써, 3차원 형상 정보 생성을 위해 가장 적합한 복수개의 이미지를 신속하게 선택할 수 있는 장점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 객체의 3차원 형상 정보 생성 및 3차원 결과물 출력 시스템의 개념도이다.
도 2는 본 발명의 다른 실시예에 따른 객체의 3차원 형상 정보 생성 장치의 블록(Block)도이다.
도 3은 본 발명의 또 다른 실시예에 따른 객체의 3차원 형상 정보 생성 예측 방법의 순서도이다.
도 4는 본 발명의 몇몇 실시예에서 참조되는, 연속된 영상 프레임 컨텐츠의 예시이다.
도 5는 본 발명의 몇몇 실시예에서 참조되는, 객체의 3차원 형상 생성을 위한 모델링을 설명하기 위한 예시도이다.
도 6은 본 발명의 몇몇 실시예에서 참조되는, 객체의 특징점에 대한 트래킹 기능을 설명하기 위한 예시도이다.
도 7은 본 발명의 몇몇 실시예에서 참조되는, 객체에 대한 3차원 결과물의 예시이다.
도 8은 본 발명의 몇몇 실시예에서 참조되는, 복수의 객체 중 3차원 출력대상을 선택하는 사용자 인터페이스의 예시이고, 도 9는 선택된 3차원 출력대상의 출력 결과물의 예시이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서, 컨텐츠는, 그림, 사진 등과 같은 정지 화면 이미지뿐만 아니라, 영화, 애니메이션과 같은 동영상도 포함할 수 있다. 또한, 본 명세서에서 객체는, 2차원 또는 3차원 형상을 가질 수 있으며, 컨텐츠 상에 표출되는 인물, 동물, 식물 및 기타 캐릭터 또는 컨텐츠에 포함된 배경화면을 구성하는 적어도 일부 중 어느 하나일 수 있다.

도 1은 본 발명의 일 실시예에 따른 객체의 3차원 형상 정보 생성 및 3차원 결과물 출력 시스템의 개념도이다.

도 1을 참조하면, 3차원 형상 정보 생성 및 3차원 결과물 출력 시스템은, 디스플레이 장치(10), 객체 선택 장치(50)와 3차원형상 정보 생성 장치(100) 및 3차원 프린팅 장치(200)를 포함할 수 있다.

이하, 3차원 형상 정보 생성 장치(100)와 3차원 프린팅 장치(200)는 설명의 편의를 위해, 각각 형상 정보 생성 장치(100)와 프린팅 장치(200)로 약칭될 수 있다.

도 1의 디스플레이 장치(10), 객체 선택 장치(50), 형상 정보 생성 장치(100) 및 프린팅 장치(200)는 각 구성마다 유선 또는 무선으로 연결되어 데이터를 교환하는 컴퓨팅 장치일 수 있다.

도 1에서, 디스플레이 장치(10)와 형상 정보 생성 장치(100)가 독립된 구성으로 예시되었으나, 본 발명의 실시예는 이에 한정되지 않고, 디스플레이 장치(100)와 형상 정보 생성 장치(100)는 통합된 하나의 하드웨어로 구성될 수 있다. 디스플레이 장치(10)가 형상 정보 생성 장치(100)와 통합된 경우, 디스플레이 장치(10)는 디스플레이부로 칭할 수도 있다.

디스플레이 장치(10)는, 컨텐츠(20)를 디스플레이한다. 예를 들어, 컨텐츠(20)는 이미지 프레임이 연속적으로 재생될 수 있는 동영상 컨텐츠일 수 있다. 컨텐츠(20)는 연속적인 이미지 프레임 또는 이격된 이미지 프레임 상에 표출되는 객체를 포함할 수 있다. 객체(30)의 예로써, 도 1에서 컨텐츠(20)의 등장인물인 캐릭터(30)가 도시되었다.

객체 선택 장치(50)는, 디스플레이 장치(10)를 통해 표출되는 컨텐츠(20) 상의 객체(30)을 선택할 수 있다.

객체 선택 장치(50)는 디스플레이 장치(10)에 적외선 신호, 근거리 무선통신 신호 및 무선통신 신호 중 적어도 하나를 송신할 수 있다. 특히, 디스플레이 장치(10)가 객체 선택 장치(50)로부터 적외선 신호를 수신할 때, 적외선 신호가 디스플레이 장치(10)의 특정 디스플레이 영역을 향하는 것을 식별할 수 있다.

디스플레이 장치(10)가 형상 정보 생성 장치(100)와 통합된 경우, 형상 정보 생성 장치(100)가 적외선 신호가 향하는 디스플레이 영역을 식별할 수 있으며, 이를 통해, 컨텐츠(20) 상에서 선택된 객체(30)가 식별될 수 있다.

형상 정보 생성 장치(100)는, 본 발명의 실시예에 따른 객체의 3차원 형상 정보를 생성하기 위한 적어도 하나의 애플리케이션 및/또는 프로그램을 저장 및 연산할 수 있다.

형상 정보 생성 장치(100)는 선택된 컨텐츠(20) 상의 객체(30)의 3차원 형상 정보를 생성할 수 있다. 특히, 형상 정보 생성 장치(100)는 프린팅 장치(200)에서 생성 가능한 3차원 형상 정보를 프린팅 장치(200)가 인식 가능한 정보로 변환할 수 있으며, 상기 변환된 정보는 프린팅 장치(200)에서 출력물을 제조하기 위한 소재 정보, 적층 경로, 적층 속도 및 압출량 등이 결정된 정보를 포함할 수도 있다.

프린팅 장치(200)는, 3차원 결과물을 출력하는 장치로서, 도 1의 시스템의 구성으로, 형상 정보 생성 장치(100)와 유무선 연결될 수 있다. 일 예에 따르면, 특히, 프린팅 장치(200)는 객체에 대한 3차원 형상 정보를 네트워크를 통해 수신하고, 별도의 공간에서 3차원 출력할 수 있다. 프린팅 장치(200)는 본 발명이 속한 분야에서 널리 알려진 3차원 프린팅 장치 중 적어도 하나일 수 있다. 출력 대상 결과물의 소재, 특성에 따라 프린팅 장치(200)는 복수개로 구비되어, 결과물을 구성하는 일부 구성을 각각 출력할 수도 있다.

도 2는 본 발명의 다른 실시예에 따른 객체의 3차원 형상 정보 생성 장치의 블록(Block)도이다.

도 2를 참조하면, 형상 정보 생성 장치(100)는, 하나 이상의 프로세서(101), 외부 디바이스가 유선 또는 무선으로 연결되어, 외부 디바이스와 통신하는 네트워크 인터페이스(102), 프로세서(101)에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리(103)와, 컴퓨터 프로그램을 저장하는 스토리지(104)를 포함할 수 있다.

프로세서(101)는 형상 정보 생성 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(101)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다. 또한, 프로세서(101)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 형상 정보 생성 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.

네트워크 인터페이스(102)는 형상 정보 생성 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 네트워크 인터페이스(102)는 공중 통신망인 인터넷 외에 다양한 통신 방식을 지원할 수도 있다. 또한, 네트워크 인터페이스(102)는 외부 디바이스와의 연결을 제공할 수도 있다. 이를 위해, 네트워크 인터페이스(102)는 본 발명의 기술 분야에 잘 알려진 통신 모듈 및 접속 단자 중 적어도 하나를 포함하여 구성될 수 있다. 여기에서 외부 디바이스는, 프린팅 장치(200)뿐만 아니라, 디스플레이 장치(10), 객체 선택 장치(50) 및 3차원 출력물의 주문자 단말과 같은 기타 외부 단말일 수도 있다.

메모리(103)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(103)는 본 발명의 실시예들에 따른 방법들을 실행하기 위하여 스토리지(104)로부터 하나 이상의 프로그램(105)을 로드(load)할 수 있다. 도 3의 메모리(103)는 예를 들어 RAM일 수 있다.

스토리지(104)는 상기 하나 이상의 프로그램(105) 및 데이터베이스(107)를 비임시적으로 저장할 수 있다. 도 2에서 상기 하나 이상의 프로그램(105)의 예시로 형상 정보 생성 소프트웨어(105)가 도시되었다. 형상 정보 생성 소프트웨어(105)는, 형상 정보 생성 프로그램으로 칭해질 수도 있다.

본 발명의 실시예에 따르면, 프로세서(101)에 의해 로드된 형상 정보 생성 소프트웨어(105)가 실행됨에 따라 객체에 대한 3차원 형상 정보 생성 방법의 각 단계들이 수행될 수 있다.

스토리지(104)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

형상 정보 생성 소프트웨어(105)는 본 발명의 실시예에 따라, 형상 정보 생성 장치(100) 또는 디스플레이 장치(10)에 각종 사용자 인터페이스(UI)를 제공하도록 지원할 수 있다. 또한, 형상 정보 생성 소프트웨어(105)는 디스플레이 장치(10)를 통해 선택된 3차원 객체와 최종 출력물의 크기, 표정, 동작, 색상 등의 객체 외관에 대한 예상 결과물을 디스플레이기 위한 정보를 제공하고, 예상 결과물의 다양한 변경을 위한 메뉴 정보를 제공할 수도 있다.

형상 정보 생성 장치(100)는, 프린팅 장치(200)의 모델 정보 및 세팅 정보를 수신하고, 이를 기초로 데이터베이스(106)을 업데이트할 수 있다. 형상 정보 생성 장치(100)는 기계 학습 알고리즘을 저장할 수 있으며, 이를 기초로 데이터베이스(107)의 형상 생성 모델을 이용하여, 형상 정보 생성 소프트웨어(105)는 컨텐츠(20) 상의 객체(30)의 다양한 방향에서 바라보는 면(형상)을 식별할 수 있다.

형상 생성 모델(107)은, 컨텐츠에 대한 미리 학습을 통해 생성된 형상 인식 및 생성을 위한 모델링 데이터로서, 형상 정보 생성 소프트웨어(105)는 지속적으로, 형상 생성 모델(107)을 학습하고 업데이트 시킬 수 있다.

본 발명의 실시예에 따르면, 데이터베이스(107)는 형상 생성 모델 데이터를 저장할 수 있으며, 형상 정보 생성 소프트웨어(105)는 형상 생성 모델 데이터를 학습하고, 결과물 데이터를 또 다시 피드(Feed) 데이터로 반영하여 학습할 수 있다.

형상 정보 생성 소프트웨어(105)에 대해 이하 보다 상세히 설명한다.

본 발명의 실시예에 따르면, 형상 정보 생성 소프트웨어(105)는 빅데이터 속에서 사건의 패턴을 찾아 예측하는 인공지능의 하위분야인 기계학습(machine learning) 알고리즘이 적용될 수 있다. 예를 들어, 기계학습 알고리즘으로, 의사결정나무(DT, Decision Tree), 랜덤 포레스트(Random Forest), 로지스틱 회귀분석(Logistic regression), 나이브 베이즈(Naive-Bayes) 모형, K-최근접이웃알고리즘(KNN, K-Nearest neighborhood), 서포트벡터머신(SVM, Support vector machine), 컨볼루션 신경망(convolution neural network: CNN), 오토 인코더(auto encoder), 피드포워드 신경망(feedforward neural network), 방사 신경망(radial basis function network), 코헨 자기조직 신경망(kohonen self-organizing network), 순환 신경망(RNN:recurrent neural network) 중 적어도 하나적어도 하나가 적용될 수 있다.

프로세서(101)에 의해 형상 정보 생성 소프트웨어(105) 상의 기계 학습 알고리즘이 구동됨에 따라, 컨텐츠(20)를 구성하는 이미지 프레임을 분석하여 객체(30)의 특징점을 추출할 수 있다.

예를 들어, 기계 학습 알고리즘이 컨볼루션 신경망에 의한 것일 경우, 프로세서(101)에 의해 기계 학습 알고리즘이 구동됨에 따라, 객체(30)의 특징 값이 필터링되고, 컨볼루션 계산을 통해 여러 이미지 픽셀 중 특정한 값만 새롭게 취해진다. 이를 반복 학습함으로써, 객체(30) 상의 원하는 특징점이 추출될 수 있다.

상기 특징점은, 객체(30)의 얼굴의 구성, 얼굴 표정 또는 신체 일부를 구성하는 포인트일 수 있다.

예를 들어, 객체(30)가 사람 또는 동물 캐릭터인 경우, 상기 특징점은 프로세서(101)가 형상 정보 생성 소프트웨어(105)를 실행함으로써 파악할 수 있는 캐릭터 신체의 일부로서, 예를 들어, 캐릭터의 신체의 일부인 눈, 코, 입, 뿔, 귀, 어깨, 손목, 가슴, 골반, 무릎, 발목, 다리 관절, 꼬리 등에 대응되는 점, 또는 상기 신체의 일부에 대응되는 선을 구성하는 점일 수 있다.

형상 생성 모델(107)은 이와 같은 기계 학습을 통해 축적된 특징점 추출 결과 데이터일 수 있다. 또는, 형상 생성 모델(107)은 기계 학습 모델링을 위한 특징점 데이터로서 피드(Feed) 데이터일 수도 있다.

형상 정보 생성 소프트웨어(105)는 이와 같은 기계 학습 알고리즘이 확장 또는 개선된 알고리즘으로서, 이를 구동함으로써, 형상 정보 생성 장치(100)는, 아래와 같은 기능을 수행할 수 있다.

예를 들어, 형상 정보 생성 장치(100)는 컨피던스 맵을 이용하여 특징점을 인식할 수 있다. 또한, 형상 정보 생성 장치(100)는 예를 들어, PAF(Part Affinity Fields)를 이용하여 특징점을 기준으로 방향성 및 유사성을 분석함으로써, 각각의 특징점을 연관 지을 수 있다.

즉, 형상 정보 생성 장치(100)는 각 특징점을 연관 짓고 연결함으로써 제1 이미지 프레임 상의 각 특징점 사이의 관계, 상기 특징점 중 적어도 2개가 구성하는 선벡터, 상기 특징점 중 적어도 3개가 구성하는 도형(예를 들어 삼각형과 같은 형상을 구성하는 영역)의 내각과 각 변의 길이정보를 식별할 수 있다.

또한, 형상 정보 생성 장치(100)는, 제2 이미지 프레임 상의 각 특징점 사이의 관계, 상기 특징점 중 적어도 2개가 구성하는 선벡터, 상기 특징점 중 적어도 3개가 구성하는 도형(예를 들어 삼각형과 같은 형상을 구성하는 영역)의 내각과 각 변의 길이정보를 식별할 수 있다.

결과적으로, 형상 정보 생성 장치(100)는 제1 이미지 프레임 상의 각 특징점, 제2 이미지 프레임 상의 각 특징점의 유사도를 판단하여, 제1 프레임 상의 각 특징점을 제2 프레임 상의 각 특징점과 매칭할 수 있다.

예를 들어, 형상 정보 생성 장치(100)는, 그리디(Greedy) 알고리즘을 이용하여 특징점의 움직임을 분석할 수 있다. 특징점의 움지임을 지속적으로 트래킹(Tracking)함으로써, 형상 정보 생성 장치(100)는 각 프레임 상의 객체(30)의 특징점의 이동을 식별할 수 있다.

여기에서, 컨피던스 맵은 조직의 탄성도 데이터를 신뢰도에 따라 구분해 표시하는 기능을 말한다. 또한, PAF(Part Affinity Fields)는 비 매개 변수를 사용하여 각 프레임 상의 특징점을 상호간 연관시키는 방법을 말한다. 또한, Greedy 알고리즘은 전체 문제를 해결해 나갈 때 매순간　탐욕적인 선택을 해 나가면서 전체 문제를 해결하는 알고리즘을 말한다.

다른 실시예에서, 형상 정보 생성 장치(100)는 제1 이미지 프레임 상의 적어도 두 개의 특징점이 구성하는 선벡터와, 제2 이미지 프레임 상의 적어도 두 개의 특징점이 구성하는 선벡터 사이의 유사도를 판단하여, 제1 프레임 상의 선벡터를 제2 프레임 상의 선벡터와 매칭할 수 있다.

또 다른 실시예에서, 형상 정보 생성 장치(100)는 제1 이미지 프레임 상의 적어도 세 개의 특징점이 구성하는 영역과, 제2 이미지 프레임 상의 적어도 세 개의 특징점이 구성하는 영역 간의 유사도를 판단하여, 제1 프레임 상의 영역을 제2 프레임 상의 영역과 매칭할 수 있다.

상기 예시된 각각의 알고리즘은 예측 원리에 따라 입력되는 데이터의 정확도에 차이가 있기 때문에, 하나의 알고리즘으로 제1 이미지 프레임 상의 객체(30)와 제2 이미지 프레임 상의 객체의 유사성을 예측 하기보다 각 상황에 정확도가 가장 높은 알고리즘을 사용하는 것이 적합할 수 있다.

형상 정보 생성 장치(100)는, 3차원 출력 결과물의 종류에 따라, 형상 정보 생성 소프트웨어(105) 상의 다양한 알고리즘 중 적어도 일부를 적용하여, 3차원 형상 정보 생성을 위한 최적의 모델을 생성할 수 있다. 예를 들어, 3차원 객체가 애니메이션 캐릭터인지, 영화 속 사람 캐릭터인지, 영상 속의 특정 배경인지 여부 또는 출력 대상 도형의 종류에 따라, 정밀도가 높은 출력 결과물 생성을 위한 최적의 기계 학습 알고리즘이 적용될 수 있다.

도 3은 본 발명의 또 다른 실시예에 따른 객체의 3차원 형상 정보 생성 예측 방법의 순서도이다. 이하, 도 3의 각 단계는, 형상 정보 생성 장치(100)에 의해 수행되며, 구체적으로 프로세서(101)가 형상 정보 생성 소프트웨어(105)를 구동함으로써 수행된다.

또한, 도 4는 본 발명의 몇몇 실시예에서 참조되는, 연속된 영상 프레임 컨텐츠의 예시이고, 도 5는 본 발명의 몇몇 실시예에서 참조되는, 객체의 3차원 형상 생성을 위한 모델링을 설명하기 위한 예시도이다.

도 3을 참조하면, 형상 정보 생성 장치(100)는 디스플레이 장치(10) 상에 영상 컨텐츠를 디스플레이할 수 있다(S10).

도 4에서, 영상 컨텐츠(401, 403, 405)이 디스플레이된 경우가 예시되었다. 영상 컨텐츠는, 이미지 프레임(401), 이미지 프레임(403) 및 이미지 프레임(405)이 연속된 컨텐츠일 수 있다.

도 3 및 도 4를 참조하면, 형상 정보 생성 장치(100)는 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체에 대한 선택을 수신할 수 있다(S20).

형상 정보 생성 장치(100)는, 이미지 프레임(401) 상에서 제1 캐릭터(411)와 제2 캐릭터(412) 중, 제1 캐릭터에 대한 선택을 수신할 수 있다(S20). 이때, 형상 정보 생성 장치(100)는 복수의 객체를 미리 등록하여 객체 각각에 대한 태깅 정보를 미리 저장할 수 있다. 예를 들어, 도 4에서, 제1 캐릭터(411)와 제2 캐릭터(412)는 미리 태깅 정보가 저장되어 있으나, 배경 이미지에 대한 태깅 정보는 저장되어 있지 않을 수 있다. 이 경우, 객체 선택 장치(50)는, 이미지 프레임 상에서, 2개의 객체(411, 412)만을 식별할 수 있으며, 2개 중 적어도 하나의 객체만이 선택될 수 있다.

형상 정보 생성 장치(100)는 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 이미지 프레임(401) 상에서 객체(411)의 형상을 식별할 수 있다(S30).

형상 정보 생성 장치(100)는 이미지 프레임(401) 상에서 식별된 객체(411)의 형상을 기초로, 객체(411)에 대한 3차원 프린팅을 위한 3차원 형상 정보를 생성할 수 있다(S40).

단계(S20)에서, 객체(411)에 대한 선택이 수신된 경우, 단계(S30)에서, 형상 정보 생성 장치(100)는 이미지 프레임(401)에서 객체(411)의 제1 면 정보를 추출할 수 있다.

형상 정보 생성 장치(100)는 단계(S40)에서, 이미지 프레임(401) 상에서 식별된 객체(411)의 형상을 기초로, 복수의 프레임 중, 선택된 객체(411)를 포함하는 이미지 프레임(403)를 식별할 수 있다.

구체적으로, 이미지 프레임(403) 상의 객체(411)의 제2 면 정보를 추출하고, 형상 정보 생성 장치(100)는 객체(411)의 상기 제1 면 정보 및 상기 제2 면 정보를 기초로, 객체(411)의 3차원 형상 정보를 생성할 수 있다.

다른 실시예에서, 형상 정보 생성 장치(100)는 복수의 프레임 중, 선택된 객체(411)를 포함하는 복수의 이미지 프레임(403, 405)을 식별할 수도 있다.

이에 따라, 형상 정보 생성 장치(100)는 이미지 프레임(403)에서 제2 면 정보 및 이미지 프레임(405)의 제3 면 정보를 추출할 수도 있다. 형상 정보 생성 장치(100)는 객체(411)의 상기 제1 면 정보, 상기 제2 면 정보 및 상기 제3 면 정보를 기초로 객체(411)의 3차원 형상 정보를 생성할 수도 있다.

본 발명의 또 다른 실시예에 따르면, 형상 정보 생성 장치(100)는 상기 제1 면 정보를 기준으로, 상기 제1 면 정보 상의 특징점 또는 선벡터 또는 영역 중 적어도 하나를 기준으로, 변화량이 미리 설정된 범위 내에 있는 면 정보를 갖는 이미지 프레임을 선택할 수도 있다.

예를 들어 상기 미리 설정된 범위 내의 면 정보가 이미지 프레임(403) 상의 제2 면 정보인 경우, 형상 정보 생성 장치(100)는 상기 제1 면 정보와 상기 제2 면 정보를 기초로 객체(411)의 3차원 형상 정보를 생성할 수도 있다.

도 4를 참조하면, 이미지 프레임(401, 403, 405)에서 객체(412)는 프레임 좌측에서 우측으로 이동 중이다. 이때, 이미지 프레임(401) 상의 객체(411)와 이미지 프레임(403) 상의 객체(411)의 이동 거리는, 이미지 프레임(401)과 이미지 프레임(405) 상의 객체의 이동 거리 대비 짧은 편이다. 이 경우, 형상 정보 생성 장치(100)는 이미지 프레임(401)의 객체(411)를 기준으로 이미지 프레임(403)를 3차원 형상 정보 생성을 위한 데이터로 추출할 수 있다.

상기 미리 설정된 범위는 유사도 판단에 따른 범위일 수 있으며, 구체적으로 특징점의 이동 거리, 선벡터의 각도 변화 또는 영역의 형상 및/또는 면적 변화 판단을 기초로 결정된 범위일 수 있다.

도 5을 참조하면, 단계(S40)의 객체(411)의 3차원 형상 정보를 생성하기 위해, 형상 정보 생성 장치(100)는, 복수의 이미지 프레임(500)을 이용할 수 있다. 또한, 복수의 이미지 프레임(500) 상에서 객체를 포함하는 프레임을 식별할 수 있다. 형상 정보 생성 장치(100)는 복수의 이미지 프레임(500) 상에서 객체(411)에 대한, 다양한 각도의 3차원 형상 정보(501, 502, 503, 504)를 생성할 수 있다. 특히 도 5에서 전, 후, 좌, 우 4면에서 바라보는 3차원 형상 정보가 도시되었다. 형상 정보 생성 장치(100)는 3차원 형상 정보(501, 502, 503, 504)를 기초로 객체(411)에 대한 3차원 모델 정보를 최종적으로 결정할 수 있다. 도 5에서, 하나의 프레임 상에 3차원 형상 정보(501, 502, 503, 504)가 표시된 경우가 예로써 도시되었으나, 본 발명의 실시예는 이에 한정되지 않는다.

또한, 각 3차원 형상 정보는 객체의 종류 및 형상, 형상 정보 생성을 위해 투입된 이미지 프레임의 개수에 따라, 생성되는 3차원 형상 정보의 개수가 변경될 수도 있다.

다시 도 3을 참조하면, 형상 정보 생성 장치(100)는 이 같이 생성된 3차원 형상 정보를 프린팅 장치(200)에 송신할 수 있다(S40). 이때, 형상 정보 생성 장치(100)는 프린팅 장치(200)의 모델, 사양 정보를 식별하고, 프린팅 장치(200)에 3차원 객체의 결과물 출력을 위한 정보를 송신할 수 있다(S50).

프린팅 장치(200)는, 형상 정보 생성 장치(100)로부터 수신한 3차원 형상 정보를 기초로, 3차원 결과물을 출력할 수 있다(S60).

한편, 상기에서, 객체의 형상의 복잡도가 클수록, 객체의 3차원 형상 정보를 생성하는데 시간이 많이 소요될 수 있다. 또한, 출력 단의 프린팅 장치(200)의 사양에 따라, 3차원 형상의 정밀 출력에 한계가 있을 수 있다. 이러한 출력 시간, 출력의 정밀도 한계를 극복하기 위해, 본 발명의 실시예에 따르면, 형상 정보 생성 장치(100)는 객체의 일 부분에 대해서만 3차원 형상 정보를 생성하고, 나머지 부분은 미리 등록된 3차원 형상 정보를 이용할 수 있다.

즉, 일부분의 3차원 형상을 주문자가 선택하고, 나머지는 저장된 데이터를 활용하는 것이다. 예를 들어, 캐릭터의 얼굴 표정은 주문자의 선택에 따라 결정하되, 나머지 신체부분은 미리 등록된 복장 및 자세의 3차원 형상 데이터를 이용한다. 이로써, 3차원 형상 정보 생성의 영역을 최소화하여 데이터 모델 생성의 시간을 절감하고, 3차원 출력물의 정밀 생성이 어려운 부분은 미리 등록된 3차원 형상 모델을 이용할 수도 있다.

객체의 일부분에 대한 3차원 형상 정보를 생성하고, 이에 대한 결과물 출력이 이뤄진 경우에 대하여 도 9를 참조하여, 후술하도록 한다.

한편 도 2에 대한 설명에서 전술한 기계 학습 알고리즘에 따른 객체의 특징점 추출이 수행되면, 형상 정보 생성 장치(100)는 객체의 특징점 간의 관계를 설정하고, 각 이미지 프레임 상에서 특징점의 변위를 추적할 수 있다. 기계 학습 알고리즘을 이용하여, 형상 정보 생성 장치(100)가 형상 정보 생성 소프트웨어(105)를 구동하여 특징점을 추적함으로써 객체의 다양한 각도에서 보이는 면을 동일한 객체의 다른 면으로 식별할 수 있다. 이하, 도 6을 참조하여 설명한다.

도 6은 본 발명의 몇몇 실시예에서 참조되는, 객체의 특징점에 대한 트래킹 기능을 설명하기 위한 예시도이다.

도 4 및 도 6을 참조하면, 형상 정보 생성 장치(100)는 미리 학습된 3차원 형상 생성 모델을 이용하여, 이미지 프레임(401) 상에서 선택된 객체(411)의 형상 정보를 추출할 수 있다.

형상 정보 생성 장치(100)는 미리 학습된 3차원 형상 생성 모델을 이용하여 복수의 프레임 상에서, 객체(411)의 추출된 형상 정보와 미리 설정된 유사도 이상의 형상 정보를 포함하는 프레임을 추출할 수 있다. 예를 들어, 도 4의 이미지 프레임(403, 405)이 추출될 수 있다.

추출된 프레임(403, 405) 상에서, 형상 정보 생성 장치(100)상기 미리 설정된 유사도 이상의 형상 정보를 갖는 객체를 3차원 형상 정보 생성 대상 객체로 결정할 수 있다. 즉, 형상 정보 생성 장치(100)는, 추출된 프레임(403, 405)에서 객체(411)을 3차원 형상 정보 생성 대상 객체로 결정할 수 있다.

구체적으로, 형상 정보 생성 장치(100)는 미리 설정된 유사도 중, 제1 유사도 이상의 형상 정보를 갖는 객체를, 3차원 형상 정보 생성 대상 객체의 제1 면 형상을 생성하기 위한 제1 면 형상 객체로 결정할 수 있다. 또한, 형상 정보 생성 장치(100)는 미리 설정된 유사도 중, 제2 유사도 이상의 형상 정보를 갖는 객체를, 3차원 형상 정보 생성 대상 객체의 제2 면 형상을 생성하기 위한 제2 면 형상 객체로 결정할 수도 있다.

형상 정보 생성 장치(100)는, 제1 면 형상 객체 및 제2 면 형상 객체를 기초로 3차원 형상 정보 생성 대상 객체의 3차원 형상 정보를 생성할 수 있다.

제1 면 형상 객체를 결정하는 과정을 자세히 설명한다. 형상 정보 생성 장치(100)는, 이미지 프레임(401) 상에서 선택된 객체(411)의 형상 정보를 추출할 때, 미리 학습된 3차원 형상 생성 모델을 이용하여 객체(411)의 형상 정보 상의 특징점을 추출할 수 있다.

도 4 및 도 6을 참조하면, 형상 정보 생성 장치(100)는 객체(411)의 경계(601)를 추출하고, 경계(601) 상의 특징점(611, 621, 631)을 추출할 수 있다. 또한, 도 6을 참조하면 특징점(611, 621, 631) 외에도, 경계(601) 상의 다양한 점이 특징점으로 추출되었다.

형상 정보 생성 장치(100)는 미리 학습된 3차원 형상 생성 모델을 이용하여 추출된 특징점(611, 621, 631)을 기준으로 미리 설정된 제1 범위의 변위 값을 갖는 변위점을 예측할 수 있다. 형상 정보 생성 장치(100) 다른 이미지 프레임 상의 객체(411)의 경계(602)를 추출하고, 특징정(612, 622, 632)를 추출할 수 있다.

형상 정보 생성 장치(100)는, 미리 학습된 3차원 형상 생성 모델을 이용하여, 특징점(611)의 변위를 예측하고 특징점(612)를 추적할 수 있다. 또한, 형상 정보 생성 장치(100)는 특징점(621)의 변위를 예측하고 특징점(622)를 추적할 수 있다. 형상 정보 생성 장치(100)는 특징점(631)의 변위를 예측하고 특징점(632)를 추적할 수 있다.

즉, 특징점(611), 특징점(621) 및 특징점(631)은 각각 이미지 프레임의 변경에 따라, 객체(611)가 변위 됨에 따라 매칭되는 변위점인 특징점(612), 특징점(622) 및 특징점(632)가 추적될 수 있다.

이때, 형상 정보 생성 장치(100)는 추적된 특징점의 변위 값의 범위가 제1 범위 이내인 변위점을 갖는 이미지 프레임을 추출할 수 있다. 추출된 이미지 프레임 상의 객체를, 제1 면 형상 객체로 결정한다.

형상 정보 생성 장치(100)는 추적된 특징점의 변위 값의 제2 범위 이내인 이미지 프레임을 추출할 수도 있다. 형상 정보 생성 장치(100)는 추출된 이미지 프레임 상의 객체를, 제2 면 형상 객체로 결정할 수 있다.

형상 정보 생성 장치(100)는 제1 면 형상 객체 및 제2 면 형상 객체를 기초로 객체(411)에 대한 3차원 형상 정보를 생성할 수 있다.

이미지 프레임(401)의 객체(411)인 기린의 얼굴 부분이 기준인 경우를 예로써 설명한다. 이미지 프레임(403)의 객체(411)는, 얼굴 부분이 미세한 방향 차이가 있을 뿐, 얼굴 부분의 경계 상의 특징점 들의 변위가 작은 편이다. 변위 값이 실제 제1 범위 내인 경우, 제1 형상 객체로 이미지 프레임(403) 상의 객체(411)를 결정할 수 있다. 반면, 이미지 프레임(401)의 객체(411)인 기린의 얼굴 부분을 기준으로 볼 때, 이미지 프레임(405)의 객체(411)는, 얼굴 부분이 향하는 방향이 반대 방향으로 차이가 꽤 있는 편이다. 변위 값이 실제 제1 범위를 초과하는 제2 범위 내인 경우, 제2 형상 객체로 이미지 프레임(405) 상의 객체(411)를 결정할 수 있다. 만약, 제2 범위를 초과하는 경우, 서로 다른 객체로 식별될 수도 있다.

본 발명의 다른 실시예에 따르면, 특징점(611, 621, 631)의 추적 정밀도를 향상시키기 위해, 형상 정보 생성 장치(100)는, 특징점 상호 간의 관계에 대한 정보를 활용할 수도 있다.

형상 정보 생성 장치(100)는, 미리 학습된 3차원 형상 생성 모델을 이용하여 특징점(611) 및 특징점(621)이 제1 범위 내의 변위 값이 각각 적용된 제1 변위점 그룹을 예측할 수 있다.

이를 위해, 특징점(611)의 주변 특징점(621, 631)과의 거리, 방향에 대한 정보가 고려된, 선벡터가 추출될 수 있다.

추출된 선벡터에 대한 정보 및 미리 학습된 3차원 형상 생성 모델을 이용하여, 특징점(611)을 기준으로, 형상 정보 생성 장치(100)는 제1 범위의 변위 값 특징점(612, 622, 632)를 예측할 수 있다. 형상 정보 생성 장치(100)는, 동일한 방식으로, 특징점(621) 기준, 특징점(631) 기준의 예측을 수행할 수 있다.

형상 정보 생성 장치(100)는 각 회차 별 예측 결과, 변위점 그룹을 생성하고, 누적된 변위점 그룹의 각 특징점 및 각 특징점 사이의 관계를 고려하여, 특징점의 변위를 추적할 수 있다.

동일한 방식으로, 형상 정보 생성 장치(100)는 제2 범위의 특징점을 예측할 수도 있다.

상기 선벡터를 활용하여 형상 정보 생성 장치(100)가 예측을 수행하는 실시예가 설명되었으나, 본 발명의 실시예는 이에 한정되지 않고, 형상 정보 생성 장치(100)는 복수의 선벡터가 구성하는 객체의 영역의 면적과 형상을 기초로 특징점의 변위점을 추적할 수도 있다.

또 다른 실시예에서, 형상 정보 생성 장치(100)는 경계를 미리 설정된 단위로 분할하여, 각 분할된 경계 상의 특징점을 선택적으로 추적에 활용할 수도 있다. 즉, 경계(601) 상단에서 적어도 하나의 특징점(611, 621, 631), 경계(601)의 중단의 특징점 및 객체(601)의 하단의 적어도 하나의 특징점을 활용할 수 있다. 예를 들어, 객체(601)의 중단은 기린의 목이 등과 연결된 지점으로서, 목 부분의 종단으로 변위가 크지 않아 형상 정보 생성 장치(100)는 해당 특징점을 필수적으로 선택할 수 있다.

이 경우, 형상 정보 생성 장치(100)는 필수적으로 선택된 특징점을 기준으로, 변위가 상대적으로 많이 발생하는 상단 부분의 특징점을 더 빈번하게 추적할 수도 있다.

도 7은 본 발명의 몇몇 실시예에서 참조되는, 객체에 대한 3차원 결과물의 예시이다. 도 7을 참조하면, 형상 정보 생성 장치(100)는 도 3 내지 도 6을 참조하여 설명된 본 발명의 실시예에 따라, 3차원 결과물을 최종 출력할 수 있다. 다른 예에서, 형상 정보 생성 장치(100)는 3차원 형상 정보까지 생성하고, 출력은, 프린팅 장치(200)에 의해 수행될 수도 있다.

도 7에서, 객체(411)인 기린의 3차원 결과물(701, 702, 703)이 예시되었으며, 특히, 도 5에서 참조된 다양한 각도에서 3차원 형상 정보의 생성을 통해, 도 7에서 최종 결과물의 3차원 결과물(701, 702, 703) 역시 다양한 방향에서 보이는 영역마다 색상, 무늬 등이 적절히 처리된 경우가 예로써 도시되었다.

도 8은 본 발명의 몇몇 실시예에서 참조되는, 복수의 객체 중 3차원 출력대상을 선택하는 사용자 인터페이스의 예시이고, 도 9는 선택된 3차원 출력대상의 출력 결과물의 예시이다.

도 8을 참조하면, 형상 정보 생성 장치(100)는, 디스플레이 장치(10)를 통해, 객체에 대한 선택을 위한 사용자 인터페이스를 제공할 수 있다(801, 802).

이미지 프레임(801)을 참조하면, 이미지 프레임(801)은 객체(810) 및 객체(820)을 포함한다. 형상 정보 생성 장치(100)는, 객체(810) 및 객체(820)에 대한 정보를 미리 등록할 수 있으며, 상기 정보는, 각 객체에 태깅된 객체의 명칭, 색상, 형상 및 크기 등의 정보를 포함할 수 있다.

주문자로부터 객체 선택 장치(50)에 객체 선택입력이 수신되면, 형상 정보 생성 장치(100)는 3차원 프린팅을 수행하기 위한 대상을 결정하기 위한 사용자 인터페이스가 디스플레이되도록 제어할 수 있다. 이때, 도시되지 않았으나, 어느 하나의 객체에 대한 선택입력이 수신되면, 사용자 인터페이스는, 해당 객체에 대하여, 미리 등록된 다양한 3차원 형상 정보에 대한 추천을 제공할 수 있다. 즉, 해당 객체에 대하여, 미리 출력된 바 있는 3차원 형상 정보를 주문자에게 제공하고, 별도 객체의 제1 면 및 제2 면 추출을 수행하지 않고 미리 등록된 3차원 형상 정보가 선택되면, 선택된 형상의 3차원 출력을 수행한다.

도 8에 예시된 바와 같이, 객체(810)에 대응되는 메뉴(811) 및 객체(820)에 대응되는 메뉴(821)가 이미지 프레임(801) 상에 표출될 수 있다.

이미지 프레임(802)을 참조하면, 주문자가 메뉴(811)을 선택하면, 메뉴(821)은 비활성화되고, 메뉴(811)에서 객체(810)을 3차원 출력하기 위한 세부 설정(812)을 결정할 수 있다.

본 발명의 다른 실시예에 따르면, 형상 정보 생성 장치(100)는, 객체(810) 및 객체(820)을 선택받고, 객체(810) 및 객체(820) 각각에 대한 3차원 형상 정보를 생성할 수도 있다. 즉, 형상 정보 생성 장치(100)는 이미지 프레임 상의 복수의 객체 각각에 대한 3차원 출력을 수행할 수도 있다.

본 발명의 또 다른 실시예에 따르면, 형상 정보 생성 장치(100)는 객체(810) 및 객체(820)을 선택받고, 객체(810) 및 객체(820)을 모두 포함하는 3차원 형상 정보를 생성할 수도 있다. 즉, 형상 정보 생성 장치(100)는 이미지 프레임 상의 복수의 객체가 연속되어 부착된 대한 3차원 출력을 수행할 수도 있다.

이를 위해, 형상 정보 생성 장치(100)는 객체(810)에 대한 제1 태깅 정보와 객체(820)에 대한 제2 태깅 정보를 기초로, 객체(810) 및 객체(820)를 모두 포함하는 형상 정보에 대한 제3의 태깅 정보를 생성할 수 있다. 또한, 형상 정보 생성 장치(100)는 객체(810)과 객체(820)이 결합된 하나의 객체를 출력하는 경우, 외면으로 노출되지 않는 객체(810)의 제1 영역과 상기 제1 영역과 맞닿는 객체(820)의 외면으로 노출되지 않는 제2 영역의 정보를 식별하고, 3차원 출력 시 이를 반영할 수 있다. 즉, 형상 정보 생성 장치(100)는 복수의 객체에 대한 형상 정보 각각을 결합하는 과정에서 최적화를 수행하여, 복수의 객체가 결합된 새로운 객체에 대한 3차원의 형상 정보를 생성할 수 있다.

상기 복수의 객체에 대한 3차원 출력을 수행하는 실시예에서, 객체(810) 및 객체(820)은 하나의 이미지 프레임 상에 존재할 수 있으나, 본 발명의 실시예는 이에 한정되지 않는다.

즉, 형상 정보 생성 장치(100)는, 객체(810) 및 객체(820)이 모두 존재하는 제1 이미지 프레임 상에서 객체(810) 및 객체(820) 각각에 대해 또는 두 객체 모두를 포함하는 3차원 출력 선택을 수신하면, 형상 정보 생성 장치(100) 두 객체가 모두 포함된 다른 이미지 프레임을 적어도 하나 추출하고, 제1 이미지 프레임 및 추출된 적어도 하나의 이미지 프레임을 기초로 3차원 형상 정보를 생성할 수 있다.

또는, 형상 정보 생성 장치(100) 두 객체 각각이 개별적으로 포함된 다른 이미지 프레임을 복수개 추출하고, 제1 이미지 프레임 및 추출된 복수개의 이미지 프레임을 기초로 3차원 형상 정보를 생성할 수도 있다.

도 9에서, 신체의 다양한 부분이 개별적으로 3차원 출력되고 결합되는 경우가 예로써 도시되었다.

도 9를 참조하면, 예시도(901)에서, 형상 정보 생성 장치(100)는, 객체의 일 부분에 대한 3차원 형상 정보를 생성할 수 있으며, 객체의 일 부분에 대해서는 생성된 3차원 형상 정보를 이용하고, 나머지 부분은, 기존의 등록된 형상을 선택받은 경우가 개시되었다. 형상 정보 생성 장치(100)는 생성된 3차원 형상 정보 및 선택된 기 등록 3차원 형상 정보를 결합하여, 최종적으로 객체의 3차원 출력을 위한 형상 정보를 생성할 수 있다.

캐릭터가 얼굴 부분과 신체 부분으로 구성되어 있는 경우, 형상 정보 생성 장치(100)는, 얼굴 부분에 대하여, 이미지 프레임에서 얼굴 부분에 대한 제1 면 및 제2 면을 추출하여 3차원 형상 정보를 생성할 수 있다.

나머지 신체 부분에 대해서는, 형상 정보 생성 장치(100)가 미리 등록된 3차원 형상 정보를 이용하여, 객체 전체의 3차원 형상 정보를 생성할 수 있다. 형상 정보 생성 장치(100)는, 객체에 대하여 미리 등록된 태깅 정보를 기초로, 나머지 신체 부분에 대한 3차원 형상 정보를 식별할 수 있다. 나머지 신체 부분의 3차원 형상 정보는, 다양한 자세의 데이터가 미리 저장될 수 있으며, 주문자의 선호도에 따라 선택되거나, 주문자의 정보를 바탕으로 추천될 수도 있다. 이때, 주문자의 주문에 따라, 형상 정보를 생성해내는 캐릭터의 부분을 선택할 수 있으며, 또한, 예시도(902)와 같이 객체의 세부 구성을 3차원 출력하여 각 구성을 조립하는 타입의 결과물 출력 역시 가능하다.

또 다른 실시예에서, 형상 정보 생성 장치(100)는, 제1 이미지 프레임과 제2 이미지 프레임을 통해 얼굴 부분의 3차원 형상 정보 생성을 위한 얼굴 면을 추출하되, 나머지 신체 부분의 3차원 형상 정보 생성을 위한 신체 면은, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임 중 적어도 하나 이외의 이미지 프레임에서 추출할 수도 있다.

지금까지 첨부된 도면을 참조하여 설명된 본 발명의 실시예에 따른 방법들은 컴퓨터가 읽을 수 있는 코드로 구현된 컴퓨터프로그램의 실행에 의하여 수행될 수 있다. 상기 컴퓨터프로그램은 인터넷 등의 네트워크를 통하여 제1 컴퓨팅 장치로부터 제2 컴퓨팅 장치에 송신되어 상기 제2 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 제2 컴퓨팅 장치에서 사용될 수 있다. 상기 제1 컴퓨팅 장치 및 상기 제2 컴퓨팅 장치는, 서버 장치, 데스크탑 PC와 같은 고정식 컴퓨팅 장치, 노트북, 스마트폰, 태블릿 피씨와 같은 모바일 컴퓨팅 장치를 모두 포함한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (16)

1. 3 차원 프린팅을 위한, 객체의 3차원 형상 정보 생성 장치에 의해 수행되는 방법으로서,
   디스플레이부 상에 영상 컨텐츠를 디스플레이하는 단계;
   상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체 중, 제1 부분과 제2 부분을 포함하는 제1 객체에 대한 선택을 수신하는 단계;
   상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 단계;
   상기 복수의 프레임 중, 상기 제1 객체를 포함하는 제2 프레임을 식별하는 단계;
   상기 제2 프레임 상의 제1 객체의 제2 면 정보를 추출하는 단계;
   상기 제1 면 정보 및 상기 제2 면 정보를 기초로, 상기 제1 객체의 상기 제1 부분의 3차원 형상 정보를 생성하는 단계;
   상기 복수의 프레임 중, 상기 선택된 제1 객체를 포함하는 제3 프레임을 식별하는 단계;
   상기 제3 프레임 상의 제1 객체의 제3 면 정보를 추출하는 단계;
   상기 제3 면 정보를 기초로, 상기 제2 부분의 3차원 형상 정보를 생성하는 단계; 및
   상기 제2 부분의 상기 생성된 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계를 포함하는,
   객체의 3차원 형상 정보 생성 방법.
2. 삭제
3. 제1 항에 있어서,
   상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 제2 부분의 미리 등록된 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계를 포함하는,
   객체의 3차원 정보 생성 방법.
4. 제3 항에 있어서,
   상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는,
   상기 제2 부분에 대하여, 미리 등록된 3차원 형상 중 어느 하나를 선택받는 단계; 및
   상기 제2 부분의 상기 선택된 어느 하나의 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 형상 정보를 생성하는 단계를 포함하는,
   객체의 3차원 정보 생성 방법.
5. 삭제
6. 제 1 항에 있어서,
   상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는,
   상기 제1 객체의 형상에 대한 추천 인터페이스를 디스플레이 하는 단계; 및
   상기 추천 인터페이스를 통해, 상기 제1 객체에 대한 복수의 3차원 형상 정보가 디스플레이되고, 상기 복수의 3차원 형상 정보 중, 상기 제1 객체에 대한 어느 하나의 3차원 형상 정보를 선택받는 단계를 포함하는,
   객체의 3차원 정보 생성 방법.
7. 제 1 항에 있어서,
   상기 제1 객체에 대한 선택을 수신하는 단계는, 상기 제1 객체 및 상기 제1 객체와 다른 제2 객체에 대한 선택을 수신하는 단계를 포함하고,
   상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는,
   상기 제1 객체 및 상기 제2 객체 각각에 대한 3차원 형상 정보를 생성하는 단계를 포함하는,
   객체의 3차원 형상 정보 생성 방법.
8. 제 1 항에 있어서,
   상기 제1 객체에 대한 선택을 수신하는 단계는, 상기 제1 객체 및 상기 제1 객체와 다른 제2 객체에 대한 선택을 수신하는 단계를 포함하고,
   상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계는, 상기 제1 객체 및 상기 제2 객체가 모두 포함된 3차원 형상 정보를 생성하는 단계를 포함하는,
   객체의 3차원 형상 정보 생성 방법.
9. 삭제
10. 제 1 항에 있어서,
    상기 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 단계는,
    미리 학습된 3차원 형상 생성 모델을 이용하여, 상기 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 단계;
    상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 복수의 프레임 상에서, 상기 제1 면 정보와 미리 설정된 유사도 이상의 형상 정보를 포함하는 프레임을 추출하는 단계; 및
    상기 추출된 프레임 상에서 상기 미리 설정된 유사도 이상의 형상 정보를 갖는 객체를 3차원 형상 정보 생성 대상 객체로 결정하는 단계를 포함하고,
    상기 제1 객체의 상기 제1 부분의 3차원 형상 정보를 생성하는 단계는, 상기 제1 면 정보 및 상기 추출된 프레임 상에서 식별된 상기 객체에 대한 형상 정보를 기초로, 상기 제1 객체의 제1 부분의 3 차원 형상 정보를 생성하는 단계를 포함하는,
    객체의 3차원 형상 정보 생성 방법.
11. 제 10 항에 있어서,
    상기 추출된 프레임 상에서 상기 미리 설정된 유사도 이상의 형상 정보를 갖는 객체를 3차원 형상 정보 생성 대상 객체로 결정하는 단계는,
    상기 미리 설정된 유사도 중, 제1 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제1 면 형상을 생성하기 위한 제1 면 형상 객체로 결정하는 단계; 및
    상기 미리 설정된 유사도 중, 제2 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제2 면 형상을 생성하기 위한 제2 면 형상 객체로 결정하는 단계를 포함하고,
    상기 제1 객체의 상기 제1 부분의 3 차원 형상 정보를 생성하는 단계는,
    상기 제1 면 형상 객체 및 상기 제2 면 형상 객체를 기초로 상기 3차원 형상 정보 생성 대상 객체의 3차원 형상 정보를 생성하는 단계를 포함하는,
    객체의 3차원 형상 정보 생성 방법.
12. 제 11 항에 있어서,
    상기 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 단계는, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 제1 객체의 제1 면 정보 상의 특징점을 추출하는 단계를 포함하고,
    상기 제1 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제1 면 형상을 생성하기 위한 제1 면 형상 객체로 결정하는 단계는, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제1 범위의 변위 값을 갖는 변위점을 예측하는 단계; 및
    상기 예측된 변위점을 추적하여 상기 제1 면 형상을 생성하기 위한 3차원 형상 정보를 생성하는 단계를 포함하고,
    상기 제2 유사도 이상의 형상 정보를 갖는 객체를, 상기 3차원 형상 정보 생성 대상 객체의 제2 면 형상을 생성하기 위한 제2 면 형상 객체로 결정하는 단계는, 상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제2 범위의 변위 값을 갖는 변위점을 예측하는 단계; 및
    상기 예측된 미리 설정된 제2 범위의 변위 값을 갖는 변위점을 추적하여 상기 제2 면 형상을 생성하기 위한 3차원 형상 정보를 생성하는 단계를 포함하는,
    객체의 3차원 형상 정보 생성 방법.
13. 제 12 항에 있어서, 상기 특징점은, 제1 특징점 및 제2 특징점을 포함하고,
    상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제1 범위 내의 변위 값을 갖는 변위점을 예측하는 단계는, 상기 제1 특징점 및 상기 제2 특징점에 상기 제1 범위 내의 변위 값이 각각 적용된 제1 변위점 그룹을 예측하는 단계를 포함하고,
    상기 미리 학습된 3차원 형상 생성 모델을 이용하여 상기 추출된 특징점을 기준으로 미리 설정된 제2 범위의 변위 값을 갖는 변위점을 예측하는 단계는, 상기 제1 특징점 및 상기 제2 특징점에 상기 제2 범위 내의 변위 값이 각각 적용된 제2 변위점 그룹을 예측하는 단계를 포함하고,
    상기 제1 면 형상 객체 및 상기 제2 면 형상 객체를 기초로 상기 3차원 형상 정보 생성 대상 객체의 3차원 형상 정보를 생성하는 단계는,
    상기 제1 특징점 및 상기 제2 특징점과, 각각 예측된 상기 제1 변위점 그룹 및 제2 변위점 그룹을 기초로 상기 3차원 형상 정보를 생성하는 단계를 포함하는,
    객체의 3차원 형상 정보 생성 방법.
14. 3 차원 프린팅을 위한, 객체의 3차원 출력 시스템에 의해 수행되는 방법으로서,
    디스플레이부 상에 영상 컨텐츠를 디스플레이하는 단계;
    상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체 중, 제1 부분과 제2 부분을 포함하는 제1 객체에 대한 선택을 수신하는 단계;
    상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 단계;
    상기 복수의 프레임 중, 상기 제1 객체를 포함하는 제2 프레임을 식별하는 단계;
    상기 제2 프레임 상의 제1 객체의 제2 면 정보를 추출하는 단계;
    상기 제1 면 정보 및 상기 제2 면 정보를 기초로, 상기 제1 객체의 상기 제1 부분의 3차원 형상 정보를 생성하는 단계;
    상기 복수의 프레임 중, 상기 선택된 제1 객체를 포함하는 제3 프레임을 식별하는 단계;
    상기 제3 프레임 상의 제1 객체의 제3 면 정보를 추출하는 단계;
    상기 제3 면 정보를 기초로, 상기 제2 부분의 3차원 형상 정보를 생성하는 단계; 및
    상기 제2 부분의 상기 생성된 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 단계;
    상기 생성된 3차원 형상 정보를, 3차원 프린팅 장치에 송신하는 단계; 및
    상기 3차원 프린팅 장치를 통해, 상기 객체에 대한 3차원 결과물 출력이 수행되는 단계를 포함하는,
    객체의 3차원 결과물 출력 방법.
15. 하나 이상의 프로세서;
    객체의 3차원 형상 정보를 3차원 프린팅 장치로 송신하는 네트워크 인터페이스;
    상기 프로세서에 의하여 수행되는 컴퓨터 프로그램을 로드(load)하는 메모리;
    영상 컨텐츠를 디스플레이하는 디스플레이부; 및
    상기 컴퓨터 프로그램를 저장하는 스토리지를 포함하되,
    상기 컴퓨터 프로그램은,
    상기 디스플레이부 상에 영상 컨텐츠를 디스플레이하는 오퍼레이션;
    상기 영상 컨텐츠 상의 적어도 하나의 미리 등록된 객체 중, 제1 부분과 제2 부분을 포함하는 제1 객체에 대한 선택을 수신하는 오퍼레이션;
    상기 디스플레이된 영상 컨텐츠의 복수의 프레임 중, 제1 프레임 상에서 상기 제1 객체의 제1 면 정보를 추출하는 오퍼레이션;
    상기 복수의 프레임 중, 상기 제1 객체를 포함하는 제2 프레임을 식별하는 오퍼레이션;
    상기 제2 프레임 상의 제1 객체의 제2 면 정보를 추출하는 오퍼레이션;
    상기 제1 면 정보 및 상기 제2 면 정보를 기초로, 상기 제1 객체의 상기 제1 부분의 3차원 형상 정보를 생성하는 오퍼레이션;
    상기 복수의 프레임 중, 상기 선택된 제1 객체를 포함하는 제3 프레임을 식별하는 오퍼레이션;
    상기 제3 프레임 상의 제1 객체의 제3 면 정보를 추출하는 오퍼레이션;
    상기 제3 면 정보를 기초로, 상기 제2 부분의 3차원 형상 정보를 생성하는 오퍼레이션; 및
    상기 제2 부분의 상기 생성된 3차원 형상 정보와, 상기 제1 부분의 상기 생성된 3차원 형상 정보가 결합된, 상기 제1 객체의 3차원 프린팅을 위한 3차원 형상 정보를 생성하는 오퍼레이션을 포함하는,
    객체의 3차원 형상 정보 생성 장치.
16. 제 15 항에 있어서, 상기 객체의 3차원 형상 정보 생성 장치는,
    상기 3차원 프린팅 장치를 더 포함하고,
    상기 오퍼레이션은,
    상기 생성된 3차원 형상 정보를, 3차원 프린팅 장치에 송신하는 오퍼레이션; 및
    상기 3차원 프린팅 장치를 통해, 상기 객체에 대한 3차원 출력이 수행되는 오퍼레이션을 포함하는,
    객체의 3차원 형상 정보 생성 장치.

Images