KR102559717B1 - 3d 인간 모델 생성 장치 및 방법 - Google Patents

Abstract

본 발명은 3D 인간 모델 생성 장치에 관한 것이며, 3D 인간 모델 생성 장치는 휴대용 장치로부터 모델링 대상 인간에 대한 측정 데이터를 획득하는 획득부; 및 상기 측정 데이터를 기반으로, 기 학습된 인공지능 모델을 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 모델링 대상 인간에 대응하는 3D 인간 모델을 생성하는 생성부를 포함할 수 있다.

Description

3D 인간 모델 생성 장치 및 방법 {Apparatus and Method for Generating 3D Human Model}

본 발명은 3D 인간 모델 생성 장치 및 방법에 관한 것이다. 특히, 본 발명은 휴대용 장치에서의 라이다 센서(LiDAR Sensor)를 이용하여 3D 인간 모델을 생성하는 3D 인간 모델 생성 장치 및 방법에 관한 것이다.

3D 모델링(3D modeling)은 점 혹은 픽셀로 구성된 데이터 구조에서 면을 생성하는 메시(mesh)를 진행하는 과정으로, 가상공간에 3D로 구성된 객체를 생성하는 것을 목표로 한다. 3D 모델을 생성하기 위해서는 이미지 픽셀의 거리(깊이)를 알 수 있거나 추론하여 생성한 RGBD 이미지 혹은 색을 알 수 있는 포인트 클라우드(Point Cloud)를 이용하여 임의의 위치에 3 차원 점들을 생성하고 서로 이웃한 점들을 3 개 이상 이어서 다각형을 만들면 면이 되고 누락된 점없이 면이 만들어지면 메시(mesh)가 생성된다.

그런데, 종래의 3D 인간 모델링은 팔과 닿는 겨드랑이와 허리, 턱 아랫면, 정수리, 발바닥 등 여러 방면에 대해 측정 센서로 측정을 해야 하고, 자세가 변경되면서 측정 오차로 인하여 실제 인간의 겉면과 정합성이 높은 다각형을 생성하기 어렵고 이어서 높은 품질의 3D 인간 모델링을 생성하는 데에 어려운 측면이 있었다.

본 발명의 배경이 되는 기술은 한국등록특허공보 제10-1942296호에 개시되어 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 적은 횟수의 측정을 통해 실제 인간의 겉면에 대해 높은 정합성을 갖는 고품질의 3D 인간 모델을 보다 빠르게 생성할 수 있는, 3D 인간 모델 생성 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치는, 휴대용 장치로부터 모델링 대상 인간에 대한 측정 데이터를 획득하는 획득부; 및 상기 측정 데이터를 기반으로, 기 학습된 인공지능 모델을 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 모델링 대상 인간에 대응하는 3D 인간 모델을 생성하는 생성부를 포함할 수 있다.

또한, 상기 측정 데이터는, 상기 휴대용 장치 내에 구비된 라이다 센서와 카메라 센서를 통해 측정된 상기 모델링 대상 인간에 대한 포인트 클라우드와 이미지 데이터를 포함할 수 있다.

또한, 상기 획득부는, 상기 모델링 대상 인간을 중심으로 하여 상기 휴대용 장치로 4개의 측정 지점에서의 측정을 진행함으로써 상기 4개의 측정 지점 각각에 대응하는 4개의 측정 데이터를 획득할 수 있다.

또한, 상기 생성부는, 상기 보간을 수행한 이후, 상기 측정 데이터 내 전체 포인트 클라우드 중 일부 포인트 클라우드를 제거하고 표면처리를 진행함으로써 상기 3D 인간 모델을 생성할 수 있다.

또한, 상기 생성부는, 상기 기 학습된 인공지능 모델을 이용하여 상기 측정 데이터 내 상기 모델링 대상 인간에 대한 결측 부위의 보간 데이터를 생성하고, 생성된 보간 데이터를 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 3D 인간 모델을 생성할 수 있다.

또한, 상기 생성부는, 포인트 클라우드의 생성과 관련하여 기 정의된 제1 손실함수와 부위의 판별과 관련하여 기 정의된 제2 손실함수 간의 차이를 최소화하는 포인트 클라우드를 상기 결측 부위의 보간 데이터로서 생성할 수 있다.

또한, 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치는, 3D 관련 서비스를 제공하는 서비스 제공 장치로 상기 생성부에서 생성된 상기 3D 인간 모델을 전송하는 전송부를 더 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 3D 인간 모델 생성 장치 및 방법을 제공함으로써, 적은 횟수의 측정을 통해 실제 인간(즉, 모델링 대상 인간)의 겉면에 대해 높은 정합성을 갖는 고품질의 3D 인간 모델을 보다 빠르게 생성할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 3D 인간 모델 생성 장치 및 방법을 제공함으로써, 3D 인간 모델을 생성함에 있어서 적은 횟수의 측정으로 측정자(사용자)의 측정 시간을 줄이고, 사용자의 편의성을 높이면서 정합성이 높은 3D 인간 모델을 생성할 수 있다.

전술한 본 발명의 과제 해결 수단에 의하면, 라이다 센서를 포함한 휴대용 장치를 이용하여 실제 인간인 모델링 대상 인간의 전면, 후면, 좌측면 및 우측면을 포함한 4개의 측면에 대해 측정을 진행하고, 상기 측정을 통해 획득된 4개의 측정 데이터를 기반으로 기 학습된 인공지능 모델을 이용해 결측 부위에 대한 보간을 수행함으로써 모델링 대상 인간에 대응하는 3D 인간 모델을 생성할 수 있는 3D 인간 모델 생성 장치 및 방법을 제공함으로써, 적은 횟수의 측정으로 모델링 대상 인간(3)과 관련해 높은 정합성의 3D 인간 모델을 생성, 즉 보다 빠르고 높은 정합성을 가지는 고품질 3D 인간 모델을 생성할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치를 포함한 3D 인간 모델 생성 시스템의 개략적인 구성을 나타낸 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치에 의해 제공되는 운동 관련 서비스의 예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3D 인간 모델 생성 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 발명의 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본 발명의 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본 발명의 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치(10)를 포함한 3D 인간 모델 생성 시스템(1)의 개략적인 구성을 나타낸 도면이다. 도 3 내지 도 5는 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치(10)를 설명하기 위한 도면이다.

이하에서는 설명의 편의상, 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치(10)를 본 장치(10)라 하고, 본 발명의 일 실시예에 따른 3D 인간 모델 생성 시스템(1)을 본 시스템(1)이라 하기로 한다. 도 1 내지 도 5에 도시(기재)된 사항은 이하 생략된 내용이라 하더라도 본 장치(10)에 대한 설명에도 동일하게 적용될 수 있다.

도 1 내지 도 5를 참조하면, 본 시스템(1)은 3D 인간 모델 생성 장치(10, 본 장치), 휴대용 장치(20) 및 서비스 제공 장치(30)를 포함할 수 있다.

본 장치(10)는 휴대용 장치(20)로부터 획득된 측정 데이터를 기반으로 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 생성하는 장치를 의미할 수 있다. 본 장치(10)에 의해 생성되는 3D 인간 모델은 모델링 대상 인간(3)을 3D(3차원)으로 모델링한 모델링 대상 인간(3)의 3D 모델 데이터를 의미할 수 있다.

휴대용 장치(20)는 모델링 대상 인간(3)의 3D 인간 모델을 생성하기 위해 필요한 데이터인 측정 데이터를 획득하는 장치를 의미할 수 있다. 휴대용 장치(20)는 모델링 대상 인간(3)을 측정(촬영)함으로써 모델링 대상 인간(3)에 대한 측정 데이터를 획득(생성)할 수 있다.

휴대용 장치(20)는 라이다 센서(21, LiDAR Sensor) 및 카메라 센서(22)를 포함할 수 있다.

라이다 센서(21)는 휴대용 장치(20)의 내부에 배치(마련)되고, 일예로 전방을 향하여 레이저를 발사할 수 있다. 라이다 센서(21)는 레이저 파장의 빛을 외부로 방출하고, 이 방출된 빛이 외부 객체(일예로 모델링 대상 인간(3))에 반사되어 되돌아오는 데 소요되는 시간을 측정하여 외부 객체의 위치에 대한 정보(라이다 데이터, 즉 포인트 클라우드 정보)를 생성할 수 있다.

라이다 센서(21)는 레이저를 이용하여 측정한 거리정보(distance information)를 3D 공간에서 점들의 집합(point cloud) 형태로 나타내어 제공(즉, 포인트 클라우드를 제공)할 수 있다. 일예로, 포인트 클라우드 내 각 포인트들은 센서(라이다 센서)의 위치로부터 목표물(일예로 모델링 대상 인간)과 좌표계 기준 X 방향, Y 방향, Z 방향으로 각 몇 m 떨어져 있는지의 거리정보와 목표물의 반사계수값을 포함할 수 있다.

카메라 센서(22)는 일예로 RGB 카메라 센서 또는 RGBD(즉, RGB-D) 카메라 센서 등일 수 있다. RGBD 카메라 센서는 칼라이미지인 RGB 데이터와 측정된 거리 데이터인 D 데이터(Depth)를 동시에 획득할 수 있는 센서이다. RGBD 카메라 센서는 적외선의 패턴을 이용해 이를 수광하여 대상 픽셀까지의 거리를 한 번에 알아 낼 수 있는 장점이 있으며, 이에 따라 색상정보와 더불어 픽셀의 깊이 정보까지 제공하여 입체적 이미지를 제공할 수 있다. 즉, 카메라 센서(22)가 RGBD 카메라 센서인 경우, 카메라 센서(22)로 모델링 대상 인간(3)을 측정(촬영)함으로써 획득된 모델링 대상 인간(3)의 이미지 데이터는, 색상정보와 깊이 정보를 함께 포함한 입체적 이미지 데이터일 수 있다. 본 발명에서는 카메라 센서(22)가 RGB 카메라 센서인 것이 바람직할 수 있다.

카메라 센서(22)는 일예로 모델링 대상 인간(3)을 촬영함으로써 생성된 이미지 데이터와 더불어, 해당 이미지에 대하여 측정된 RGB 좌표계 정보를 추가로 제공할 수 있다.

휴대용 장치(20)는 라이다 센서(21)와 카메라 센서(22) 외에도, 제2 메모리부(23) 및 제2 통신부(24)를 포함할 수 있다. 휴대용 장치(20)는 라이다 센서(21)와 카메라 센서(22)로 모델링 대상 인간(3)을 측정(촬영)함으로써 생성된 측정 데이터를 제2 메모리부(23)에 저장할 수 있다. 제2 통신부(24)는 라이다 센서(21)와 카메라 센서(22)에 의해 생성된 측정 데이터, 또는 제2 메모리부(23)에 저장된 상기 측정 데이터를 본 장치(10)로 네트워크(2)를 통해 전송할 수 있다.

휴대용 장치(20)에 의해 생성된 측정 데이터는, 라이더 센서(21)로 모델링 대상 인간(3)을 측정(촬영)함으로써 생성된 모델링 대상 인간(3)에 대한 포인트 클라우드(즉, 라이다 데이터)와 카메라 센서(22)로 모델링 대상 인간(3)을 측정(촬영)함으로써 생성된 모델링 대상 인간(3)에 대한 이미지 데이터를 포함할 수 있다. 여기서, 포인트 클라우드는, 라이다 센서(21)가 레이저를 이용하여 모델링 대상 인간(3)에 대해 측정한 거리정보를 3D 공간에서 점들의 집합 형태로 나타낸 정보를 의미할 수 있다. 포인트 클라우드는 라이다 데이터, 점군 데이터 등의 용어로 달리 지칭될 수 있다. 또한, 이미지 데이터는 모델링 대상 인간(3)에 대한 RGB 이미지를 의미할 수 있다.

본 장치(10)를 이용하는 사용자는 본 장치(10)를 통하여 모델링 대상 인간(3)의 3D 인간 모델을 생성하기를 희망하는 사용자를 의미할 수 있다. 이러한 본 장치(10)를 이용하는 사용자는 휴대용 장치(20)를 소유한 사용자일 수 있고, 휴대용 장치(20)를 이용하여 모델링 대상 인간(3)에 대한 측정(촬영)을 수행하는 사용자일 수 있으며, 이는 측정자 등으로 달리 지칭될 수 있다. 즉, 일예로 휴대용 장치(20)는 본 장치(10)를 이용한 사용자(측정자)가 소지한 장치(단말)를 의미할 수 있다.

휴대용 장치(20)는 사용자(측정자)에 의해 이동 및 휴대 가능하게 마련된 장치(단말)일 수 있다. 휴대용 장치(20)는 모바일 장치 등으로 달리 지칭될 수 있다. 일예로 휴대용 장치(20)는 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스 등과 같은 모든 종류의 유무선 통신 장치를 포함할 수 있으며, 이에 한정되는 것은 아니다.

본 장치(10)를 이용하는 사용자(즉, 측정자)와 모델링 대상 인간(3)은 동일인일 수도 있고, 혹은 서로 다른 사람일 수도 있으며, 이하에서는 설명의 편의상 일예로 본 장치(10)를 이용하는 사용자와 모델링 대상 인간(3)이 서로 다른 사람인 경우를 기준으로 설명하기로 한다.

모델링 대상 인간(3)은 본 장치(10)에 의해 생성되는 3D 인간 모델의 대상이 되는 인간(실제 사람)을 의미하는 것으로서, 유저(User), 휴먼(Human) 등으로 달리 지칭될 수 있다. 본 발명에서 고려되는 모델링 대상 인간(3)은 살아있는 인간인 것임이 바람직할 수 있으나, 이는 본 발명의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니고, 본 발명에서 고려되는 모델링 대상 인간(3)으로는 살아있는 인간 뿐만 아니라 살아있는 생물(동물, 식물 등), 물체 등 3D 모델링의 대상이 되는 다양한 객체가 고려(적용)될 수 있다.

서비스 제공 장치(30)는 본 장치(10)로부터 제공받은 3D 인간 모델을 기반으로, 3D와 관련하여 다양한 3D 관련 서비스(일예로, 교육/학습/운동 등에 관한 컨텐츠, 게임 등)를 제공하는 장치를 의미할 수 있다. 이러한 서비스 제공 장치(30)는 서비스 제공자(Service provider), 서비스 제공 서버, 서비스 서버 등으로 달리 지칭될 수 있다. 즉, 서비스 제공 장치(30)는 3D 관련 서비스를 제공하는 업체의 장치(단말)를 의미할 수 있다.

본 장치(10)는 휴대용 장치(20) 및 서비스 제공 장치(30) 각각과 네트워크(2)를 통해 연동되어 데이터를 송수신할 수 있다.

네트워크(2)는 일예로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정된 것은 아니고, 다양한 유/무선 통신 네트워크를 포함할 수 있다.

일예로 본 장치(10)는 3D 인간 모델 생성과 관련된 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 본 장치(10)를 이용하는 사용자(측정자)가 소지한 단말(일예로 휴대용 장치(20))로 제공할 수 있으며, 이를 통해 사용자(측정자)는 본 장치(10)에 의해 제공되는 3D 인간 모델 생성 서비스를 이용할 수 있다.

즉, 본 장치(10)는 일예로 사용자가 소지한 단말에 설치되는 프로그램 또는 애플리케이션(어플, 앱)의 형태로 구현 가능한 장치일 수 있으며, 이를 달리 표현하면, 본 장치(10)를 통해 제공되는 3D 인간 모델 생성 방법은 프로그램 또는 애플리케이션의 형태로 구현되어 사용자가 소지한 단말을 통해 사용자(측정자)에게 제공될 수 있다. 다만, 이에 한정되는 것은 아니고, 다른 일예로 본 장치(10)는 사용자가 소지한 단말과 데이터 송수신이 가능한 서버의 형태로 마련될 수 있으며, 서버의 형태로 마련된 본 장치(10)는, 본 장치(10)에 의해 제공되는 애플리케이션 등에 접속한 단말(사용자가 소지한 단말)의 작동(일예로 화면 표시)를 제어할 수 있다. 도 1을 참조한 설명에서는 본 장치(10)가 일예로 서버의 형태로 마련되는 것을 예로 들어 설명하기로 한다.

상술한 설명에서, 사용자(측정자)가 소지한 단말은 일예로 휴대용 장치(20)를 의미할 수 있으나, 이에만 한정되는 것은 아니고, 휴대용 장치(20)와는 별도로 마련된 사용자가 소지한 사용자 단말을 의미할 수도 있다.

여기서, 사용자 단말은, 일예로 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스, 데스크탑 PC 등과 같은 모든 종류의 유무선 통신 장치를 포함할 수 있으며, 이에 한정되는 것은 아니다. 본 장치(10)에 대한 보다 구체적인 설명은 다음과 같다.

도 1 내지 도 5를 참조하면, 본 장치(10)는 획득부(11), 생성부(12), 전송부(13), 제어부(14), 제1 통신부(15) 및 제1 메모리부(16)를 포함할 수 있다.

획득부(11)는, 휴대용 장치(20)로부터 모델링 대상 인간(3)에 대한 측정 데이터를 획득할 수 있다. 특히, 휴대용 장치(20) 내 제2 통신부(24)는 휴대용 장치(20)에서 생성된 측정 데이터를 본 장치(10)로 전송할 수 있고, 이를 통해 본 장치(10) 내 제1 통신부(15)는 제2 통신부(24)로부터 측정 데이터를 전달받을 수 있다. 획득부(11)는 제1 통신부(15)가 제2 통신부(24)로부터 전달받은 측정 데이터를 획득할 수 있다.

여기서, 획득부(11)가 획득한 측정 데이터는, 휴대용 장치(20) 내에 구비된 라이다 센서(21)와 카메라 센서(22)를 통해 측정된 모델링 대상 인간(3)에 대한 포인트 클라우드(라이다 데이터)와 이미지 데이터를 포함할 수 있다. 여기서, 포인트 클라우드는 라이다 센서(21)를 통해 측정된 데이터로서, 라이다 데이터라 달리 지칭될 수 있고, 이는 라이다 센서(21)가 레이저를 이용하여 모델링 대상 인간(3)에 대해 측정한 거리정보를 3D 공간에서 점들의 집합 형태로 나타낸 데이터(포인트 클라우드 데이터)를 의미할 수 있다. 이미지 데이터는 카메라 센서(22)로 측정된 데이터로서, 모델링 대상 인간(3)에 대한 RGB 이미지를 의미할 수 있다.

또한, 획득부(11)는 측정 데이터를 획득함에 있어서, 모델링 대상 인간(3)을 중심으로 하여 상기 휴대용 장치(20)로 4개의 측정 지점에서의 측정을 진행함으로써 상기 4개의 측정 지점 각각에 대응하는 4개의 측정 데이터(d1, d2, d3, d4)를 휴대용 장치(20)로부터 획득할 수 있다.

여기서, 4개의 측정 지점은 모델링 대상 인간(3)의 정면, 후면, 좌측면 및 우측면의 측정이 가능한 지점을 의미할 수 있다. 즉, 4개의 측정 지점은 일예로 모델링 대상 인간(3)을 중심으로 하여, 모델링 대상 인간(3)의 위치로부터 전방/후방/좌측/우측 각각에 대해 일정 거리(일예로 2m)만큼 이격된 위치의 지점을 의미할 수 있다. 이러한 4개의 측정 지점에는 모델링 대상 인간(3)을 기준으로 모델링 대상 인간(3)의 전방에 위치한 제1 측정 지점, 후방에 위치한 제2 측정 지점, 좌측에 위치한 제3 측정 지점 및 우측에 위치한 제4 측정 지점을 포함할 수 있다.

이에 따르면, 4개의 측정 데이터(d1, d2, d3, d4)는, 제1 측정 지점에서 측정된 정면 측정 데이터(d1), 제2 측정 지점에서 측정된 후면 측정 데이터(d2), 제3 측정 지점에서 측정된 좌측면 측정 데이터(d3) 및 제4 측정 지점에서 측정된 우측면 측정 데이터(d4)를 포함할 수 있다. 이들 4개의 측정 데이터(d1, d2, d3, d4) 각각에는 4개의 측정 지점 각각에서 측정된 포인트 클라우드와 이미지 데이터가 포함되어 있을 수 있다.

라이다 센서(21)는 라이다 센서(21)의 위치로부터 모델링 대상 인간(3)의 위치까지의 거리 측정이 가능하다. 따라서, 일예로 사용자(측정자)는 휴대용 장치(20)의 화면 상에 표시되는 거리 측정 정보(즉, 라이다 센서(21)의 위치로부터 모델링 대상 인간(3)의 위치 까지의 거리 측정 정보)를 기반으로, 휴대용 장치(20)를 손에 파지한 상태에서 모델링 대상 인간(3)으로부터 동일한 이격 거리(즉, 일정 거리만큼 이격된 거리)를 갖는 4개의 측정 지점(즉, 제1 측정 지점 내지 제4 측점 지점) 각각을 이동하면서 4회의 측정을 수행할 수 있으며, 이를 통해 획득부(11)가 4개의 측정 데이터(d1, d2, d3, d4)를 획득할 수 있다. 다만, 이에만 한정되는 것은 아니고, 다른 예로 사용자(측정자)는 휴대용 장치(20)를 손에 파지한 상태에서 4개의 측정 지점 중 어느 한 측정 지점(일예로 제1 측정 지점)에 고정적으로 서 있을 수 있고, 이 상태에서 모델링 대상 인간(3)이 자신이 서있는 위치를 기준으로 제자리에서 시계방향 또는 반시계 방향으로 90도씩 3번 내지 4번 회전할 수 있고, 이때 모델링 대상 인간(3)이 90도씩 회전할 때마다 사용자가 측정을 수행함으로써, 이를 통해 획득부(11)가 4개의 측정 데이터(d1, d2, d3, d4)를 획득할 수도 있다.

생성부(12)는, 획득부(11)에서 획득된 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))를 기반으로, 기 학습된 인공지능 모델을 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 생성할 수 있다.

여기서, 결측 부위는, 모델링 대상 인간(3)의 전체 신체부위 중에서, 획득부(11)에서 획득된 측정 데이터(4개의 측정 데이터(d1, d2, d3, d4))로 식별(확인) 불가능한 신체부위를 의미할 수 있다. 즉, 결측 부위는 전체 신체부위 중 휴대용 장치(20)에 의한 측정시에 측정되지 않은(결측된) 신체부위를 의미할 수 있다.

일예로 모델링 대상 인간(3)의 전체 신체부위에는 머리카락, 얼굴, 머리, 귀, 목, 어깨, 상박, 하박, 왼팔, 오른팔, 왼쪽다리, 오른쪽다리, 왼손, 오른손, 턱 아랫면, 정수리, 왼쪽 발바닥, 오른쪽 발바닥, 피부와 피부가 닿는 부위(일예로 팔과 몸이 닿는 왼쪽과 오른쪽의 겨드랑이 부위, 이웃한 두 손가락이 닿는 손가락 측면 부위, 두 다리의 허벅지가 닿는 안쪽 허벅지 부위 등) 등과 같이 복수 종류의 신체부위가 포함될 수 있다. 이때, 예시적으로 모델링 대상 인간(3)이 차렷 자세로 있었다고 하자. 이러한 경우, 결측 부위는 턱 아랫면, 정수리, 발바닥, 피부와 피부가 닿는 부위(즉, 겨드랑이 부위, 손가락 측면 부위, 안쪽 허벅지 부위 등) 등이 포함될 수 있다.

생성부(12)는 상기 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))를 기반으로, 기 학습된 인공지능 모델을 이용하여 상기 측정 데이터 내 상기 모델링 대상 인간(3)에 대한 결측 부위의 보간 데이터를 생성하고, 생성된 보간 데이터를 이용하여 결측 부위에 대한 보간을 수행함으로써 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 생성할 수 있다. 여기서, 결측 부위의 보간 데이터는, 결측 부위에 대응하는 포인트 클라우드와 색상값(즉, 결측 부위에 대응하는 포인트 클라우드 내 포인트(점) 각각의 색상값)을 포함할 수 있다.

이때, 생성부(12)에서 이용되는 기 학습된 인공지능 모델은, 일예로 복수의 인간(실제 인간)을 대상으로 획득된 복수의 학습 측정 데이터를 입력으로 하고, 상기 복수의 학습 측정 데이터 각각과 매칭되는 신체부위별(즉, 신체부위의 종류별) 포인트 클라우드를 출력값으로 도출하도록 학습된 모델일 수 있다. 뿐만 아니라, 상기 기 학습된 인공지능 모델은, 복수의 학습 측정 데이터를 기반으로 한 신체부위별 포인트 클라우드의 분류의 반복 학습을 통해, 이를 기반으로 신규한 측정 데이터가 입력으로 주어졌을 때, 인간을 구성하는 신체부위 전체(즉, 복수 종류의 신체부위) 중 입력된 측정 데이터 내에 포함되어 있지 않은 결측 부위(결측 신체부위)를 식별하고, 식별된 결측 부위에 대응하는 보간 데이터(즉, 결측 부위의 포인트 클라우드와 그의 색상값)를 생성해 도출(출력)하도록 학습된 모델일 수 있다.

여기서, 복수의 학습 측정 데이터는, 상술한 4개의 측정 지점(즉, 전방/후방/좌측/우측)에서의 측정을 통해 획득되는 측정 데이터(포인트 클라우드와 이미지 데이터) 뿐만 아니라, 4개의 측정 지점 외에, 인간의 모든 신체부위에 대한 포인트 클라우드의 획득이 가능하도록 하는 다양한 방향(각도)에서 인간을 측정함으로써 획득되는 측정 데이터가 포함될 수 있다.

이러한, 기 학습된 인공지능 모델에 의하면, 생성부(12)는 획득부(11)에서 획득된 상기 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))를 기 학습된 인공지능 모델의 입력으로 적용함으로써, 기 학습된 인공지능 모델로부터 상기 입력에 대응하는 출력값으로서 모델링 대상 인간(3)에 대한 결측 부위의 보간 데이터(즉, 결측 부위에 대응하는 포인트 클라우드와 색상값 데이터)를 획득할 수 있다.

본 발명에서 고려되는 기 학습된 인공지능(AI, artificial intelligence) 모델은, 일예로 딥러닝 모델, 기계학습(머신러닝) 모델, 신경망 모델(인공 신경망 모델), 뉴로 퍼지 모델 등을 의미할 수 있다. 또한, 기 학습된 인공지능 모델은 예시적으로 컨볼루션 신경망(Convolution Neural Network, CNN, 합성곱 신경망), 순환신경망(RNN, Recurrent Neural Network), 딥 신경망(Deep Neural Network) 등 종래에 이미 공지되었거나 향후 개발되는 다양한 신경망 모델이 적용될 수 있다.

또한, 생성부(12)는, 기 학습된 인공지능 모델을 이용하여 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 생성할 때, 일예로 포인트 클라우드의 생성과 관련하여 기 정의된 제1 손실함수와 부위의 판별과 관련하여 기 정의된 제2 손실함수 간의 차이를 최소화하는 포인트 클라우드를 상기 결측 부위의 보간 데이터로서 생성할 수 있으며, 이렇게 생성된 결측 부위의 보간 데이터를 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 3D 인간 모델을 생성할 수 있다. 여기서, 제1 손실함수는 생성의 손실함수, 제2 손실함수는 판별의 손실함수 등의 용어로 달리 지칭될 수 있다.

구체적으로, 본 발명에서 생성부(12)가 기 학습된 인공지능 모델을 이용하여 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 생성하는 과정은, 제1 손실함수와 제2 손실함수를 중심으로 두 손실함수의 제일 적은 값(즉, 두 손실함수의 차이의 최소값)을 산출하는 포인트 클라우드(포인트 집합)를 생성하는 과정을 통해 이루어질 수 있다. 달리 표현하면, 생성부(12)는 기 학습된 인공지능 모델을 이용하여 기 정의된 두 손실함수(즉, 제1 손실함수와 제2 손실함수)의 차이의 최소값을 갖는 포인트 클라우드(즉, 두 손실함수의 차이를 최소화하는 포인트 클라우드)를 생성할 수 있으며, 이때 생성되는 상기 최소값을 갖는 포인트 클라우드가 결측 부위의 보간 데이터를 의미하고, 이에 생성부(12)는 상기 생성된 결측 부위의 보간 데이터로 보간을 수행함으로써 3D 인간 모델을 생성할 수 있다.

손실함수(loss function)는 출력값과 정답의 오차(차이)를 정의하는 함수를 의미한다.

여기서, 제1 손실함수(즉, 생성의 손실함수)는 아래 식 1과 같이 정의될 수 있고, 제1 손실함수는 추론을 통해 만들어진 포인트 클라우드(점군 데이터)와 기존 모델의 학습에 사용된 실제 인간 모델의 포인트 클라우드(점군 데이터) 간의 편차에서 정규화하여 절대값을 나타낸다. 다시 말해, 제1 손실함수 는, 추론을 통해 생성된 포인트 클라우드 (즉, 획득부(11)에서 획득된 측정 데이터를 기반으로 추론을 통해 생성된 모델링 대상 인간(3)의 포인트 클라우드)와, 기 학습된 인공지능 모델의 학습시 사용된 인간(실제 인간)의 포인트 클라우드 (즉, 학습시 사용된 인간의 학습 측정 데이터를 기반으로 획득된 포인트 클라우드) 간의 편차(차이)에 대하여 정규화하여 절대값을 적용한 값으로 표현될 수 있다.

[식 1]

또한, 제2 손실함수(즉, 판별의 손실함수)는 아래 식 2와 같이 정의될 수 있고, 제2 손실함수는 학습된 모델의 일정 카테고리별로 분류된 결과와 실제 인간 모델의 점군 간의 확률적 오차를 나타낸다. 다시 말해, 제2 손실함수 는, 기 학습된 인공지능 모델이 획득부(11)에서 획득된 측정 데이터를 입력으로 하여 입력된 측정 데이터를 일정 카테고리별(즉, 신체부위별) 포인트 클라우드로 분류한 결과 와, 기 학습된 인공지능 모델이 복수의 학습 측정 데이터를 신체부위별 포인트 클라우드로 분류한 결과 (즉, 복수의 학습 측정 데이터에 대한 신체부위별 포인트 클라우드의 분류 결과) 간의 확률적 오차의 값으로 표현될 수 있다.

[식 2]

생성부(12)는, 일예로 포인트 클라우드(점군 데이터)에서 인간의 신체부위를 머리카락, 얼굴, 목, 어깨, 상박, 하박, 손, 윗 다리, 아랫 다리 혹은 그 이상을 기준으로 나누어 세부 군(Subset)으로 모델에 전달하여 각 부위별 두 손실함수들의 합을 최소화하는 것을 아래 식 3을 따라 M^* 값을 추출하고, 생물을 판단하는 임의의 N 값과 인간을 판단하는 임의의 M'값을 비교하여 신뢰도 수준 P 값과 함께 M^* 값을 도출할 수 있다.

다시 말해, 생성부(12)는, 획득부(11)에서 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))가 획득되면, 획득된 상기 측정 데이터 내에 포함된 모델링 대상 인간(3)에 대한 포인트 클라우드(전체 포인트 클라우드)를 상술한 복수 종류의 신체부위별로 구분한 후, 구분된 복수 종류의 신체부위별 포인트 클라우드를 기 학습된 인공지능 모델의 입력으로 적용시킬 수 있으며, 이를 통해 기 학습된 인공지능 모델로부터 복수 종류의 신체부위별로 제1 손실함수와 제2 손실함수 간의 차이를 최소화하는 포인트 클라우드인 M ^* 값을 아래의 식 3을 기반으로 도출할 수 있다. 이러한 M ^* 값은 측정 데이터 내에서 결측 부위에 대한 보간 데이터(즉, 결측 부위의 보간 데이터)를 의미할 수 있다.

[식 3]

또한, 생성부(12)는 M ^* 값을 도출함과 함께, 기 학습된 인공지능 모델을 통해 생물을 판단하는 임의의 N 값과 인간을 판단하는 임의의 M'값을 비교하여 신뢰도 수준 P 값을 함께 도출할 수 있다. 본 발명에서, 기 학습된 인공지능 모델은 일예로 3D 생성 모델 등의 용어로 달리 지칭될 수 있다.

이후, 생성부(12)는, 도출된 M ^* 값을 기반으로 결측 부위에 대한 보간을 수행(특히, 측정 데이터를 기반으로 생성된 모델링 대상 인간(3)에 대한 초기 3D 인간 모델에 대하여 결측 부위에 대한 보간을 수행)한 이후, 획득부(11)에서 획득된 상기 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4)) 내 전체 포인트 클라우드 중 일부 포인트 클라우드를 제거하고 표면처리를 진행함으로써 3D 인간 모델(즉, 모델링 대상 인간(3)에 대응하는 3D 인간 모델인 최종 3D 인간 모델)을 생성할 수 있다. 여기서, 일부 포인트 클라우드는, 상기 측정 데이터 내 전체 포인트 클라우드 중 모델링 대상 인간(3)을 제외한 주변 영역에 대응하는 포인트 클라우드를 의미할 수 있다.

구체적으로, 생성부(12)는 기 학습된 인공지능 모델(즉, 3D 생성 모델)로부터 획득한 P 값으로 3D 인간 모델에 맞는 포인트 클라우드(점군 데이터)의 일부를 절삭하고 부드러운 표면처리를 진행할 수 있고, 도출된 M ^* 값에 따라 부드러운 표면처리 범위를 산정하여 최종 3D 인간 모델을 생성할 수 있다.

다시 말해, 생성부(12)는 도출된 M ^* 값을 기반으로 결측 부위에 대한 보간을 수행한 이후, 일예로 기 학습된 인공지능 모델로부터 도출된 P 값을 기반으로 하여 측정 데이터를 토대로 생성된 모델링 대상 인간(3)에 대한 초기 3D 인간 모델의 포인트 클라우드 중 일부 포인트 클라우드를 제거(절삭)한 다음 부드러운 표면처리를 진행함으로써 모델링 대상 인간(3)에 대응하는 3D 인간 모델로서 최종 3D 인간 모델을 생성할 수 있다. 이때, 생성부(12)는 도출된 M ^* 값에 따라 표면처리가 이루어지는 범위(표면처리의 범위)를 산정(지정, 설정)할 수 있으며, 산정된 표면처리의 범위를 토대로 일부 포인트 클라우드의 제거 및 표면처리의 진행을 수행함으로써 최종 3D 인간 모델을 생성할 수 있다.

본 발명에서 생성부(12)는 일예로 인공지능을 이용한 생성 모듈(12a) 및 재구성 모듈(12b)을 포함할 수 있다. 생성 모듈(12a)은 Generative AI module(Gen, AI module)과 같이 표현될 수 있고, 이는 앞서 말한 기 학습된 인공지능 모델을 이용하여 결측 부위의 보간 데이터를 생성하는 구성(모듈, 부)을 의미할 수 있다. 재구성 모듈(12b)은 Reconstruction module(Recon. module)과 같이 표현될 수 있고, 이는 생성 모듈(12a)에서 생성된 보간 데이터로 결측 부위에 대한 보간을 수행하고, 보간이 이루어진 보간 처리된 3D 인간 모델에서 일부 포인트 클라우드를 제거하고 표면처리를 진행하는 등의 재구성 처리 과정을 통해 최종적으로 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 생성하는 구성(모듈, 부)를 의미할 수 있다.

즉, 생성부(12)는 일예로 i) 획득된 상기 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))를 기반으로 모델링 대상 인간(3)에 대한 초기 3D 인간 모델을 생성할 수 있고, 이후 ii) 초기 3D 인간 모델 내 결측 부위(결측된 신체부위)에 대하여, 기 학습된 인공지능 모델로 생성된 결측 부위의 보간 데이터를 이용해 보간을 수행함으로써 보간 처리된 3D 인간 모델을 생성할 수 있으며, 이후 iii) 보간 처리된 3D 인간 모델에서 일부 포인트 클라우드의 제거(절삭) 및 표면처리를 수행함으로써, 표면처리가 완료된 3D 인간 모델을 모델링 대상 인간(3)에 대응하는 3D 인간 모델(즉, 최종 3D 인간 모델)로서 생성할 수 있다.

전송부(13)는, 3D 관련 서비스를 제공하는 서비스 제공 장치(30)로 생성부(12)에서 생성된 모델링 대상 인간(3)에 대응하는 3D 인간 모델(최종 3D 인간 모델)을 전송할 수 있다. 제어부(14)는 본 장치(10) 내 각 부의 작동을 제어할 수 있으며, 또한 휴대용 장치(20)의 작동(일예로 화면 표시 등)을 제어할 수 있다.

도 3은 일예로 휴대용 장치(20)의 라이다 센서(21)를 통해 취득된 4 면에 대해 앞서 설명한 3D 생성 모델(즉, 기 학습된 인공지능 모델)을 통해 기존의 인간 좌, 우, 앞, 뒤 면과 함께 상, 하, 좌앞, 우앞, 좌뒤, 우뒤면이 생성되어 얼굴과 몸통으로 분류되어 모델링 대상 인간(3)에 대응하는 3D 인간 모델(최종 3D 인간 모델)이 생성되는 과정을 개략적으로 나타낸 도면이다. 도 4는 기 학습된 인공지능 모델로 모델링 대상 인간(3)에 대응하는 3D 인간 모델(최종 3D 인간 모델)을 생성하는 과정을 개략적으로 나타낸 도면이다.

도 3 및 도 4를 참조하면, 획득부(11)는 휴대용 장치(20)로부터 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))를 획득할 수 있다. 이후, 생성부(12)는 획득부(11)에서 획득된 측정 데이터(4개의 측정 데이터)를 기 학습된 인공지능 모델의 입력으로 적용할 수 있다. 이때, 기 학습된 인공지능 모델은 입력된 측정 데이터를 기반으로, 입력된 측정 데이터 내 포인트 클라우드(전체 포인트 클라우드)를 복수 종류의 신체부위별로 구분(분류)할 수 있고, 이를 복수의 인간을 대상으로 도출된 신체부위별 포인트 클라우드와 대비함으로써 결측 부위에 대응하는 보간 데이터(즉, 결측 부위의 포인트 클라우드와 그의 색상값)를 생성해 도출할 수 있다.

이때, 기 학습된 인공지능 모델은 일예로 생성부(12) 내 생성 모듈(12a)에 포함되어 있는 구성일 수 있다. 또한, 복수의 인간을 대상으로 도출된 신체부위별 포인트 클라우드는 일예로 기준 모델(Reference model)의 신체부위별 포인트 클라우드를 의미할 수 있다. 기 학습된 인공지능 모델은 이러한 기준 모델의 신체부위별 포인트 클라우드를 기반으로 보간 데이터를 생성해 도출(출력)할 수 있다.

이를 토대로 생성부(12)는 상기 도출된 보간 데이터로 초기 3D 인간 모델에 대해 보간(interpolation)을 수행함으로써 결과적으로 모델링 대상 인간(3)의 최종 3D 인간 모델을 생성할 수 있다. 생성부(12)에서 생성되는 최종 3D 인간 모델은, 초기 3D 인간 모델과 대비하여 결측 부위(일예로 획득부(11)에서 획득된 측정 데이터 내에는 포함되어 있지 않은 신체부위로서, 턱 아랫면, 정수리, 발바닥 등의 신체부위)가 추가적으로 포함되어 있는 상태의 3D 인간 모델일 수 있다.

도 5는 본 장치(10)에 의해 모델링 대상 인간(3)의 3D 인간 모델이 생성되는 과정을 개략적으로 나타낸 도면이다. 도 5를 참조하면, 본 장치(10)는 휴대용 장치(20)의 라이다 센서(21)로부터 4 면의 포인트 클라우드와 각 점군에 존재하는 색상값을 취득하고, 색상값을 기준으로 틀어진 일부 점들을 정렬한 다음, 3D 생성 모델을 이용하여 비어있는 부위에 대한 점군을 생성하고, 전체 점군을 절삭하거나 표면처리 혹은 둘 다를 진행하여, 최종 3D 인간 모델을 생성하고, 서비스 제공 장치(30)에 전달하여 저장할 수 있다.

다시 말하자면, 획득부(11)는 휴대용 장치(20)를 통해 포인트 클라우드와 이미지 데이터를 한 쌍으로 하는 4개의 측정 데이터(즉, 4개의 측정 데이터(d1, d2, d3, d4))를 획득할 수 있다. 이후, 생성부(12)는 획득부(11)에서 획득된 측정 데이터로부터, 상기 획득된 측정 데이터(즉, 4개의 측정 데이터) 내 포인트 클라우드와, 해당 포인트 클라우드 내 각 포인트의 색상값을 획득하고(Get Point Cloud with RGB values), 획득된 색상값을 기준으로 틀어진 일부 포인트들을 정렬(Alignment based on RGB Images)시킬 수 있다. 이후, 생성부(12)는 기 학습된 인공지능 모델을 이용하여 비어있는 부위에 대한 점군 데이터를 생성(즉, 결측 부위의 보간 데이터를 생성)하고 이를 토대로 보간을 수행함으로써, 보간의 수행을 통해 결측 부위의 포인트 클라우드를 증가(Augmentation)시킬 수 있다. 이후, 생성부(12)는 보간 처리된 3D 인간 모델에서 일부 포인트 클라우드를 제거(절삭, Cutting)하는 과정 및 표면처리(Smoothing)하는 과정 중 적어도 하나를 수행할 수 있으며, 이후 제거 및 표면처리의 과정이 완료된 3D 인간 모델(즉, 최종 3D 인간 모델)에 대응하는 포인트 클라우드를 기반으로, 해당 포인트 클라우드 내 서로 이웃한 점들을 3개 이상 이어서 다각형을 만들어 면을 생성하는 메시 과정을 진행(Meshing)함으로써, 결과적으로 모델링 대상 인간(3)에 대응하는 최종 3D 인간 모델을 생성할 수 있다. 생성부(12)는 생성된 3D 인간 모델(즉, 최종 3D 인간 모델)을 제1 메모리부(16)에 저장(Save Mesh Model)할 수 있으며, 또한 생성된 3D 인간 모델을 제1 통신부(15)를 통하여 네트워크(2)를 통해 서비스 제공 장치(30)로 전송할 수 있다. 서비스 제공 장치(30)는 본 장치(10)로부터 전달받은 3D 인간 모델을 이용해 3D 관련 서비스를 사용자들(고객들)에게 제공할 수 있다.

제1 메모리부(16)와 제2 메모리부(23) 각각은, 저장소, 데이터베이스부 등의 용어로 달리 지칭될 수 있다. 제1 통신부(15)와 제2 통신부(24) 각각은 외부 통신모듈 등의 용어로 달리 지칭될 수 있다.

이처럼, 본 시스템(1)에서 휴대용 장치(20)는, 자체 장착된 라이다 센서(21)와 카메라 센서(22)로부터 모델링 대상 인간(3)에 대한 인간 정보로서 4개의 측정 데이터(d1, d2, d3, d4)를 측정할 수 있다. 본 장치(10)는 휴대용 장치(20)를 통해 측정된 4개의 측정 데이터를 획득하고, 이를 기 학습된 인공지능 모델의 입력으로 적용함으로써 출력값으로 결측 부위의 보간 데이터를 도출할 수 있으며, 보간 데이터로 결측 부위에 대한 보간을 수행함으로써 모델링 대상 인간(3)에 대응하는 최종 3D 인간 모델을 생성(즉, 인공지능 모델을 이용한 보간 데이터를 기반으로 최종 3D 인간 모델을 생성)할 수 있으며, 생성된 최종 3D 인간 모델을 서비스 제공 장치(30)로 전달할 수 있다.

즉, 본 발명에서 라이다 센서(21)를 포함한 휴대용 장치(20)는, 모델링 대상 인간(3)의 정면, 후면, 좌측면 및 우측면 각각의 포인트 클라우드가 포함된 4개의 측정 데이터(d1, d2, d3, d4)를 수집(획득)하여 본 장치(10)로 제공(전달)할 수 있다.

이후, 본 장치(10)는 휴대용 장치(20)로부터 획득한 4개의 측정 데이터를 기반으로, 기 학습된 인공지능 모델을 이용해 결측 부위에 대한 보간 데이터(즉, 결측된 신체부위의 포인트와 색)를 생성하여 결측 부위에 대한 보간을 수행할 수 있다. 이후, 본 장치(10)는 보정된 3D 인간 모델에서 인간 외 수집된 정보를 제거(즉, 보정된 3D 인간 모델에서 모델링 대상 인간(3)을 제외한 주변 영역에 대응하는 포인트 클라우드인 일부 포인트 클라우드를 제거)하고, 다각형을 만드는 메시 과정을 진행한 다음 부드러운 면처리(표면처리)를 수행(혹은 표면처리를 수행한 다음 메시 과정을 진행)함으로써, 모델링 대상 인간(3)에 대응하는 최종 3D 인간 모델을 생성할 수 있다.

이러한 본 장치(10)는 모델링 대상 인간(3)에 대한 비교적 적은 측정 수로(즉, 4회의 측정 횟수 만으로) 사용자(측정자)의 측정 시간을 줄이고 사용자 편의성을 높이면서 인공지능 모델을 이용하여 모델링 대상 인간(3)에 대해 정합성이 높은 3D 인간 모델을 생성할 수 있다.

즉, 본 장치(10)는 모델링 대상 인간(3)과 관련해 높은 정합성의 3D 인간 모델을 생성하기 위하여, 휴대용 장치(20)에 마련된 라이다 센서(21)를 기반으로, 실제 인간인 모델링 대상 인간(3)의 전면, 후면, 좌측면 및 우측면을 포함한 4개의 측면에 대해 측정을 진행(수행)하고, 상기 측정을 통해 획득된 측정 데이터(즉, 4개의 측정 데이터)를 기반으로 기 학습된 인공지능 모델을 이용해 결측된 구간을 보간함(즉, 인공지능 모델로 결측 부위에 대한 보간을 수행함)으로써 모델링 대상 인간(3)에 대응하는 최종 3D 인간 모델을 생성할 수 있다. 이러한 본 장치(10)는 적은 횟수의 측정으로 보다 빠르고 높은 정합성을 가지는 고품질 3D 인간 모델을 생성할 수 있다. 한편, 본 장치(10)는 다음과 같은 기능들을 제공할 수도 있다.

앞서 말한 바와 같이, 획득부(11)는 사용자(측정자)가 휴대용 장치(20)로 4개의 측정 지점 각각에서 모델링 대상 인간(3)을 측정함으로써 생성된 4개의 측정 데이터(d1, d2, d3, d4)를 휴대용 장치(20)로부터 획득할 수 있다. 이때, 본 장치(10)는 사용자로 하여금 휴대용 장치(20)를 통한 측정(즉, 4개의 측정 데이터의 획득)의 편의를 위해 휴대용 장치(20)의 작동을 다음과 같이 제어할 수 있다.

일예로, 사용자(측정자)는 휴대용 장치(20)로 모델링 대상 인간(3)에 대한 측정을 수행하기 위해, 휴대용 장치(20)의 내장 카메라를 활성화시키고, 이후 휴대용 장치(20)의 화면 상에 모델링 대상 인간(3)이 노출되도록(비추도록) 내장 카메라를 모델링 대상 인간(3)을 향하여 위치시킬 수 있다. 이때, 휴대용 장치(20)의 내장 카메라는 일예로 카메라 센서(22)를 의미할 수 있다. 일예로 라이다 센서(21)와 카메라 센서(22)는 서로 연계되어 함께 on/off 될 수 있다. 즉, 내장 카메라가 활성화되면(즉, on으로 제어되면), 라이다 센서(21) 역시 활성화될 수 있다.

제어부(14)는 휴대용 장치(20)의 내장 카메라가 활성화되어 휴대용 장치(20)의 화면 상에 모델링 대상 인간(3)이 노출된 상태일 때, 사용자가 휴대용 장치(20)의 화면 상에 노출된 모델링 대상 인간(3)의 표출 영역 상의 어느 한 지점(일예로 목 부위의 지점)을 기준 촬영 지점으로서 선택하도록 안내하는 안내 메시지를 휴대용 장치(20)의 화면에 표시할 수 있다. 이후, 제어부(14)는 표시된 안내 메시지에 응답하여 사용자로부터 기준 촬영 지점의 선택이 완료되면, 라이다 센서(21)로 실시간으로 측정되는 실시간 거리 측정 정보(즉, 라이다 센서(21)의 위치로부터 모델링 대상 인간(3)까지의 거리를 측정한 거리 측정 정보)를 휴대용 장치(20)의 화면에 노출시킬 수 있다. 이후 사용자는 화면에 노출된 거리 측정 정보를 토대로 휴대용 장치(20)의 위치를 이동시켜가며(일예로, 휴대용 장치(20)를 모델링 대상 인간(3)에 대해 보다 가까이 위치시키거나 보다 멀리 위치시키는 이동을 수행하거나, 및/또는 모델링 대상 인간(3)의 주위를 시계 방향 또는 반시계 방향으로 도는 이동을 수행함으로써) 4개의 측정 데이터의 획득을 수행할 수 있다. 이때 사용자는 휴대용 장치(20)가 모델링 대상 인간(3)으로부터 앞서 말한 일정 거리(일예로 2m)만큼 이격된 측정 지점(즉, 제1 측정 지점 내지 제4 측정 지점)에서의 측정 데이터의 획득이 이루어질 수 있도록 하고자, 화면에 노출된 실시간 거리 측정 정보를 확인해 가면서 최대한 휴대용 장치(20)가 상기 일정 거리에 맞추어 위치(배치)하도록 휴대용 장치(20)의 위치를 이동시킬 수 있다.

또한, 제어부(14)는 표시된 안내 메시지에 응답하여 사용자로부터 기준 촬영 지점의 선택이 완료되면, 실시간 거리 측정 정보를 휴대용 장치(20)의 화면에 노출시킴과 함께, 휴대용 장치(20)의 화면의 일영역에 자동 측정 버튼을 노출시킬 수 있다. 이후, 제어부(14)는 자동 측정 버튼에 대한 사용자의 클릭 입력이 이루어지면, 휴대용 장치(20)를 자동 측정 모드로 제어할 수 있다.

자동 측정 모드와 관련하여, 구체적으로 제어부(14)는 자동 측정 버튼에 대한 사용자(측정자)의 클릭 입력이 이루어지면, 휴대용 장치(20)의 화면 상에 노출(표출)되고 있는 화면 이미지를 실시간으로 이미지 분석을 수행하여, 휴대용 장치(20)의 화면 상에 노출된 모델링 대상 인간(3)의 측정 방향 정보를 식별(즉, 모델링 대상 인간(3)에 대해 휴대용 장치(20)로 측정이 이루어지는 방향이 어느 방향인지에 대한 정보를 식별)할 수 있다. 즉, 제어부(14)는 실시간으로 이미지 분석을 수행하여, 휴대용 장치(20)의 화면 상에 노출된 모델링 대상 인간(3)의 측정 방향 정보가 정면인지, 후면인지, 좌측면인지, 혹은 우측면인지, 아니면 이들 전술한 4개의 면(전면/후면/좌측면/우측면)을 제외한 다른 면의 방향인지(일예로 정면도 아니고 좌측면도 아닌 그 사이의 방향인지 등)를 식별할 수 있다.

이후, 제어부(14)는, 상기 식별된 측정 방향 정보를 고려하여 상기 휴대용 장치(20)가 기 설정된 자동 측정 조건을 충족하는지 여부를 판단하고, 상기 휴대용 장치(20)가 기 설정된 자동 측정 조건을 충족하는 것으로 판단(감지)된 시점에, 휴대용 장치(20)에서 모델링 대상 인간(3)에 대한 자동 측정(촬영)이 이루어지도록 휴대용 장치(20)의 작동을 제어할 수 있다. 자동 측정이 수행되고 나면, 제어부(14)는 자동 측정의 수행에 의해 생성된 측정 데이터를 제2 메모리부(23)에 저장되도록 하고, 이를 통해 자동 측정 버튼에 대한 사용자의 클릭 입력에 의한 자동 측정 모드의 제어가 종료되도록 할 수 있다. 본 발명에서는 측정 데이터가 총 4개의 측정 데이터(d1, d2, d3, d4)를 획득하는 것임에 따라, 일예로 사용자는 자동 측정 버튼을 4회 클릭하여 4회의 자동 측정 모드가 진행되도록 할 수 있고, 이를 통해 휴대용 장치(20)는 4개의 측정 데이터를 생성(획득)하여 저장할 수 있다. 본 발명에서, 자동 측정이라 함은 실제 측정(촬영)의 수행에 의해 제2 메모리부(23)에 측정 데이터가 저장되도록 하는 것을 의미할 수 있다.

여기서, 기 설정된 자동 측정 조건은, 이미지 분석을 통해 도출된 상기 식별된 측정 방향 정보가 정면, 후면, 좌측면 및 우측면 중 어느 한 면인 것으로 확인되는 제1 조건, 휴대용 장치(20)의 화면의 중심 위치에 사용자에 의해 기 선택된 상기 기준 촬영 지점이 위치하는 제2 조건, 및 라이다 센서(21)로부터 측정되는 실시간 거리 측정 정보가 기 설정된 거리값(일예로 앞서 말한 일정 거리인 2m)으로 측정(센싱)되는 제3 조건을 포함한 복수의 조건(즉, 제1 조건 내지 제3 조건)을 동시에(모두) 충족하는 조건을 의미할 수 있다.

즉, 제어부(14)는, 사용자(측정자)가 휴대용 장치(20)의 내장 카메라를 활성화시킨 후 실시간 거리 측정 정보가 노출되고 있는 휴대용 장치(20)를 이동시키며 측정을 수행하고자 하는 상태에서, 이때 [휴대용 장치(20)의 화면 상에 노출된 모델링 대상 인간(3)의 측정 방향 정보가 일예로 정면인 것으로 식별(확인)되면서, 기준 촬영 지점이 휴대용 장치(20)의 화면의 중심 위치에 위치하고, 실시간 거리 측정 정보가 기 설정된 거리값(일예로 2m)로 측정된 것으로 감지]된 시점에(즉, 기 설정된 자동 측정 조건을 충족하는 것으로 감지된 시점에), 자동으로 휴대용 장치(20)에서 실제 측정(촬영)이 이루어지도록 휴대용 장치(20)의 작동을 제어할 수 있으며, 이를 통해 휴대용 장치(20)는 정면 측정 데이터를 생성하고 획득할 수 있다.

사용자(측정자)가 휴대용 장치(20)로 측정 데이터를 획득할 수 있는 방법으로는, 일예로 사용자가 실시간 거리 측정 정보만을 보고 휴대용 장치(20)의 위치가 모델링 대상 인간(3)의 위치로부터 일정 거리(2m)로 떨어진 위치(지점)에 위치해 있다고 판단되었을 때, 그때 사용자가 촬영 버튼을 클릭하여 촬영을 수행함으로써 측정 데이터를 획득할 수 있는 방법이 있을 수 있다. 그런데, 이와 같은 획득 방법(촬영 방법)은 촬영 버튼을 클릭하는 시점에 미세한 사용자의 손 흔들림(떨림) 등으로 인해 거리가 달라질 수 있고, 또한 실시간 거리 측정 정보를 토대로 촬영하는 것 없이 눈대중으로 대충 4면(정면, 후면, 좌측면 및 우측면)에 대한 측정 데이터의 획득(측정)을 수행한다면 4개의 측정 데이터 각각 내에 위치한 모델링 대상 인간(3)의 크기가 각기 다를 수 있어(즉, 크기의 차이가 심할 수 있어) 크기 차이로 인해 3D 인간 모델을 생성하는 데에 오랜 시간이 걸릴 수 있는 등 다양한 문제가 존재할 수 있다.

이러한 문제를 해소하고자, 본 장치(10)는 자동 측정 버튼에 대한 사용자의 입력에 응답하여 휴대용 장치(20)가 자동 측정 모드로 작동하도록 제어(즉, 휴대용 장치(20)가 기 설정된 자동 측정 조건을 충족하는 것으로 판단된 시점에 자동으로 측정이 이루어지도록 제어)할 수 있는바, 사용자가 4개의 측정 데이터에 대한 측정(획득)을 보다 손쉽고 편리하게 수행할 수 있도록 하고, 4개의 측정 데이터의 획득 당시 4개의 측정 데이터 각각 내에 위치한 모델링 대상 인간(3)의 크기가 서로 거의 동일한 크기를 가짐에 따라 별도의 전처리(각 측정 데이터 내에 위치한 모델링 대상 인간(3)의 크기를 통일시키는 등의 과정)를 수행할 필요 없이 그대로 활용해 3D 인간 모델을 생성할 수 있는바, 보다 빠르고 정확하게 3D 인간 모델의 생성이 가능하도록 할 수 있다.

또한, 상술한 본 발명의 일예에서는, 서비스 제공 장치(30)가 본 장치(10)로부터 제공받은 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 이용하여, 3D 관련 서비스를 사용자들(고객들)에게 제공하는 것으로 예시하였으나, 이는 본 발명의 이해를 돕기 위한 하나의 예시일 뿐 이에만 한정되는 것은 아니고, 다른 예로, 본 장치(10)는 서비스 제공부(미도시)를 더 포함할 수 있고, 서비스 제공 장치(30)가 수행하는 역할을 서비스 제공부(미도시)가 수행할 수 도 있다. 즉, 본 장치(10) 내 서비스 제공부(미도시)는 일예로 생성부(12)에서 생성된 모델링 대상 인간(3)에 대응하는 3D 인간 모델을 이용하여, 3D 관련 서비스를 사용자들(고객들)에게 제공할 수도 있다. 즉, 본 발명에서 서비스 제공부(미도시)에 대하여 설명된 내용은 서비스 제공 장치(30)에 대한 설명에도 동일하게 적용될 수 있으며, 그 반대로도 적용될 수 있다.

일예로, 본 시스템(1)은 도면에 도시하지는 않았으나, 서비스 제공부(미도시)에 의해 제공되는 3D 관련 서비스를 이용하는 고객이 소지한 고객 단말(미도시)을 더 포함할 수 있다. 본 장치(10)는 네트워크(2)를 통해 고객 단말(미도시)과 연동되어 데이터를 송수신할 수 있다. 서비스 제공부(미도시)는, 3D 관련 서비스로서 일예로 운동 관련 서비스를 고객 단말(미도시)로 제공할 수 있다. 운동 관련 서비스의 제공과 관련된 구체적인 설명은 다음과 같다.

최근 코로나 등의 이유로 고객(사용자)이 홈트레이닝과 같이 집에서 운동을 하는 경우가 많아지고 있다. 이때 일반적으로 집에서 운동할 때에는 고객이 소지한 고객 단말로 운동 컨텐츠를 재생시켜두고 운동 콘텐츠 내 사람이 알려주는 자세를 보고 따라하면서 같이 운동을 하는 경우가 많다.

그런데, 운동 컨텐츠 내에서 운동의 동작을 알려주는 사람이 바라보는 시선의 방향은 운동의 종류나 자세마다 천장(하늘)/정면/바닥/좌측면/우측면 등과 같이 각기 다르고, 해당 동작을 보고 따라하는 고객은 항시 고정된 위치에 배치되어 있는 고객 단말의 화면을 보면서 따라해야 하기 때문에, 고객이 운동 컨텐츠를 보며 운동을 수행함에 있어서, 시선제약 등의 이유로 운동 컨텐츠 내 사람이 알려주는 자세와 동일한 자세를 취하면서 운동을 수행하기란 쉽지 않은 실정이다. 이러한 문제를 해소하고자, 본 발명은 서비스 제공부(미도시)를 제공함으로써, 고객이 운동 컨텐츠를 보며 운동을 따라함에 있어서 정확하게 운동 자세를 취하며 효과 높은 운동을 수행 가능하도록 하는 운동 관련 서비스를 제공하고자 한다.

구체적으로, 서비스 제공부(미도시)는, 생성부(12)에서 생성된 3D 인간 모델을 기반으로 상기 3D 인간 모델을 포함한 운동 컨텐츠를 생성하고, 생성된 운동 컨텐츠를 고객 단말(미도시)로 제공할 수 있다. 서비스 제공부(미도시)는 고객 단말에서 상기 운동 컨텐츠의 재생 요청이 이루어진 경우, 상기 운동 컨텐츠가 고객 단말의 화면 상에 표시되어 재생되도록 상기 고객 단말(미도시)의 작동을 제어할 수 있다. 고객 단말은, 일예로 상술한 휴대용 장치와 마찬가지로 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스 등과 같은 모든 종류의 유무선 통신 장치일 수 있다.

또한, 서비스 제공부(미도시)는 효과적인 운동 관련 서비스의 제공을 위해, 고객이 생활하는 생활공간에 배치된 복수개의 이미지센서의 ON/OFF를 제어하는 센서제어부(미도시)를 포함할 수 있다.

여기서, 복수개의 이미지센서는, 고객의 전방에 배치된 제1 이미지센서, 고객의 일측면(일예로 좌측면 또는 우측면)에 배치된 제2 이미지센서, 및 고객의 상측에 배치된 제3 이미지 센서를 포함할 수 있다. 여기서, 제1 이미지센서는 고객 단말 내에 자체 마련된 이미지센서를 의미할 수 있다. 이에 따르면, 제1 이미지센서는 고객이 운동 모습을 전방에서 촬영한 영상인 고객의 전방 고객운동영상을 획득하고, 제2 이미지센서는 고객이 운동하는 모습을 일측면에서 촬영한 영상인 고객의 일측면 고객운동영상을 획득하고, 제3 이미지센서는 고객이 운동하는 모습을 상측에서 촬영한 영상인 고객의 상측 고객운동영상을 획득할 수 있다.

또한, 상기 생활공간은 일예로 집, 회사 등 다양한 실내의 생활 공간을 의미할 수 있다.

센서제어부(미도시)는, 상기 고객 단말에서 상기 운동 컨텐츠가 재생된 것으로 감지되는 경우, 상기 재생된 운동 컨텐츠에서 식별되는 상기 재생된 운동 컨텐츠 내 상기 3D 인간 모델의 운동수행 방위정보와 3D 인간 모델이 수행하는 운동의 종류, 및 상기 복수개의 이미지센서 중 고객 단말에 마련된 이미지센서인 제1 이미지센서를 통해 식별되는 고객의 운동수행 방위정보를 고려하여, 상기 복수개의 이미지센서 중 일부의 이미지센서를 선택적으로 ON 으로 제어할 수 있다.

이후, 서비스 제공부(미도시)는, 고객 단말의 화면 상의 2개의 분할영역 중 제1 분할영역에 상기 재생된 운동 컨텐츠를 표시하고, 상기 2개의 분할영역 중 제2 분할영역에 상기 선택적으로 ON으로 제어된 일부의 이미지센서를 통해 획득된 영상을 고객운동영상으로서 표시할 수 있다. 이후, 서비스 제공부(미도시)는 상기 2개의 분할영역에 표시된 상기 재생된 운동 컨텐츠 내 3D 인간 모델의 자세와 상기 고객운동영상 내 고객의 자세를 실시간으로 서로 비교함으로써, 상기 3D 인간 모델의 자세(운동 자세)에 대한 상기 고객의 자세(운동 자세)의 일치도 정보(즉, 정확도 정보)를 도출하고, 도출된 일치도 정보를 고객 단말의 화면의 일영역에 노출시킬 수 있다. 여기서, 일치도 정보는 일예로 % 정보로 도출될 수 있고, 100%에 가까울수록 두 자세가 서로 일치함을 의미하고, 0% 에 가까울수록 두 자세가 서로 일치하지 않음을 의미할 수 있다.

상술한 설명에서, 3D 인간 모델의 운동수행 방위정보는, 재생된 운동 컨텐츠 내 3D 인간 모델이 특정 운동의 자세를 취했을 때에 3D 인간 모델의 전면(앞면)이 향하는 방위(방향)에 대한 정보를 의미할 수 있다. 마찬가지로, 고객의 운동수행 방위정보는 고객이 특정 운동의 자세를 취했을 때에 고객의 전면(앞면)이 향하는 방위(방향)에 대한 정보를 의미할 수 있다.

예시적으로, 도 6은 본 발명의 일 실시예에 따른 3D 인간 모델 생성 장치(10)에 의해 제공되는 운동 관련 서비스의 예를 설명하기 위한 도면이다.

도 6을 참조하면, 일예로 고객이 집에서 운동을 수행할 때, 고객 단말의 화면의 제1 분할영역에 표시된 도 6의 (a)에 도시된 것과 같은 재생된 운동 컨텐츠를 보면서, 자신도 3D 인간 모델의 운동자세를 따라하며 똑같은 자세(ex, 스쿼트 자세)를 취한다 했을 때, 이때, 고객이 고객 단말의 화면을 바라본 상태로 스쿼트 자세를 취한다면, 고객 단말에 마련된 제1 이미지센서를 통해서는 도 6의 (b)와 같은 영상이 획득될 수 있다.

그런데, 이때 도 6에서의 (a) 및 (b)와 같은 두 영상이 고객 단말의 화면의 제1 분할영역과 제2 분할영역에 각각 표시되는 경우, 고객이 현재 고객 단말의 화면 상에 표시된 두 영상을 통해서는, 고객 자신이 3D 인간 모델의 자세를 똑같이 잘 따라하고 있는지를 직관적으로 판단하는 것이 어렵다 할 수 있으며, 또한 서비스 제공부(미도시)가 두 영상 간의 자세(운동 자세)가 얼마나 일치하는지를 판단(즉, 고객의 자세의 정확도를 판단)함에 있어서도 그 오차가 크게 발생할 수 있다.

이에, 서비스 제공부(미도시)는, 일예로 센서제어부에 의해 제1 분할영역과 제2 분할영역에 표시된 두 영상으로부터 재생된 운동 컨텐츠 내 3D 인간 모델이 수행하는 운동의 종류가 일예로 '스쿼트'인 것으로 식별되고, 해당 3D 인간 모델이 우측을 바라보고 있으므로 3D 인간 모델의 운동수행 방위정보가 ‘우측’으로 식별되며, 고객은 정면을 바라본 상태로 운동자세를 취하고 있으므로 고객의 운동수행 방위정보가 '정면'인 것으로 식별할 수 있다.

이때, 서비스 제공부(미도시)는, 식별된 3가지 정보(즉, 3D 인간 모델의 운동수행 방위정보, 3D 인간 모델이 수행하는 운동의 종류, 및 고객의 운동수행 방위정보)를 기반으로, 센서제어부(미도시)가 복수개의 이미지센서 중 일부의 이미지센서로서 일예로 제2 이미지센서(일예로 일측면으로서 고객의 우측면에 대한 고객운동영상을 획득하는 제2 이미지센서)를 통해 고객의 일측면 고객운동영상으로서 우측면 고객운동영상을 획득하도록 제어할 수 있다. 이에 따라, 서비스 제공부(미도시)는 제2 이미지센서를 통해 촬영(획득)되는 고객의 일측면 고객운동영상(특히 우측면 고객운동영상)인 도 6의 (c)와 같은 영상을 고객 단말의 화면의 제2 분할영역에 표시할 수 있다. 이후, 서비스 제공부(미도시)는 제1 분할영역에 표시되는 도 6의 (a)와 같은 재생된 운동 컨텐츠 내 3D 인간 모델의 자세와, 제2 분할영역에 표시되는 도 6의 (c)와 같은 고객운동영상 내 고객의 자세를 실시간으로 서로 비교함으로써, 두 자세 간의 일치도 정보를 도출한 후 고객 단말의 화면의 일영역에 노출시킬 수 있다. 즉, 이에 따르면, 고객은 도 6의 (a)와 (c)와 같은 두 영상이 고객 단말의 한 화면 상의 제1 분할영역과 제2 분할영역 각각에 함께 표시되어 있는 자신의 고객 단말의 화면을 보면서 운동을 수행할 수 있게 될 수 있다.

이러한 본 장치(10)는 센서제어부를 포함한 서비스 제공부를 통해 일예로 상술한 운동 관련 서비스를 제공함으로써, 운동 컨텐츠 내 3D 인간 모델이 다양한 방향에 시선을 둔 상태로 다양한 운동자세를 알려준다 하더라도, 항시, 고객이 자신이 3D 인간 모델의 자세를 똑같이 잘 따라하고 있는지를 직관적으로 확인할 수 있도록 하고, 두 영상 간의 운동 자세가 얼마나 일치하는지(즉, 고객의 운동자세의 정확도) 역시 직관적으로 판단 가능하도록 하여, 효과적인 운동이 이루어지도록 할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본 발명의 동작 흐름을 간단히 살펴보기로 한다.

도 7은 본 발명의 일 실시예에 따른 3D 인간 모델 생성 방법에 대한 동작 흐름도이다.

도 7에 도시된 3D 인간 모델 생성 방법은 앞서 설명된 본 장치(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(10)에 대하여 설명된 내용은 3D 인간 모델 생성 방법에 대한 설명에도 동일하게 적용될 수 있다.

도 7을 참조하면, 단계S11에서 획득부는 휴대용 장치로부터 모델링 대상 인간에 대한 측정 데이터를 획득할 수 있다.

다음으로, 단계S12에서 생성부는, 단계S11에서 획득된 측정 데이터를 기반으로, 기 학습된 인공지능 모델을 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 모델링 대상 인간에 대응하는 3D 인간 모델을 생성할 수 있다.

상술한 설명에서, 단계 S11 및 S12는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본 발명의 일 실시 예에 따른 3D 인간 모델 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 3D 인간 모델 생성 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 3D 인간 모델 생성 시스템
10: 3D 인간 모델 생성 장치
11: 획득부
12: 생성부
13: 전송부
14: 제어부
20: 휴대용 장치
30: 서비스 제공 장치

Claims (5)

1. 휴대용 장치로부터 모델링 대상 인간에 대한 측정 데이터를 획득하는 획득부;
   상기 측정 데이터를 기반으로, 기 학습된 인공지능 모델을 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 모델링 대상 인간에 대응하는 3D 인간 모델을 생성하는 생성부;
   3D 관련 서비스를 제공하는 서비스 제공 장치로 상기 생성부에서 생성된 상기 3D 인간 모델을 전송하는 전송부; 및
   상기 생성부에서 생성된 모델링 대상 인간에 대응하는 3D 인간 모델을 이용하여, 3D 관련 서비스로서 운동 관련 서비스를 고객이 소지한 고객 단말로 제공하는 서비스 제공부를 포함하고,
   상기 서비스 제공부는, 상기 3D 인간 모델을 기반으로 상기 3D 인간 모델을 포함한 운동 컨텐츠를 생성하고, 생성된 운동 컨텐츠를 고객 단말로 제공하고, 고객 단말에서 상기 운동 컨텐츠의 재생 요청이 이루어진 경우, 상기 운동 컨텐츠가 고객 단말의 화면 상에 표시되어 재생되도록 고객 단말의 작동을 제어하고, 고객이 생활하는 생활공간에 배치된 복수개의 이미지센서의 ON/OFF를 제어하는 센서제어부를 포함하며,
   상기 복수개의 이미지센서는, 고객의 전방에 배치되어 고객이 운동하는 모습을 전방에서 촬영한 영상인 고객의 전방 고객운동영상을 획득하는 고객 단말 내에 마련된 제1 이미지센서, 고객의 일측면에 배치되어 고객이 운동하는 모습을 일측면에서 촬영한 영상인 고객의 일측면 고객운동영상을 획득하는 제2 이미지센서, 및 고객의 상측에 배치되어 고객이 운동하는 모습을 상측에서 촬영한 영상인 고객의 상측 고객운동영상을 획득하는 제3 이미지 센서를 포함하고,
   상기 센서제어부는, 상기 고객 단말에서 상기 운동 컨텐츠가 재생된 것으로 감지되는 경우, 상기 재생된 운동 컨텐츠에서 식별되는 상기 재생된 운동 컨텐츠 내 상기 3D 인간 모델의 운동수행 방위정보와 3D 인간 모델이 수행하는 운동의 종류, 및 상기 복수개의 이미지센서 중 고객 단말에 마련된 이미지센서인 제1 이미지센서를 통해 식별되는 고객의 운동수행 방위정보를 고려하여, 상기 복수개의 이미지센서 중 일부의 이미지센서로서 상기 3D 인간 모델의 운동수행 방위정보와 동일한 고객의 운동수행 방위정보에 해당하는 고객운동영상의 획득이 가능한 이미지센서를 ON 으로 제어하고,
   이후 상기 서비스 제공부는, 고객 단말의 화면 상의 2개의 분할영역 중 제1 분할영역에 상기 재생된 운동 컨텐츠를 표시하고, 상기 2개의 분할영역 중 제2 분할영역에 상기 ON으로 제어된 일부의 이미지센서를 통해 획득된 영상을 고객운동영상으로서 표시하고, 이후 상기 2개의 분할영역에 표시된 상기 재생된 운동 컨텐츠 내 3D 인간 모델의 자세와 상기 고객운동영상 내 고객의 자세를 실시간으로 서로 비교함으로써, 상기 3D 인간 모델의 자세에 대한 상기 고객의 자세의 일치도 정보를 퍼센트 정보로 도출하고, 도출된 일치도 정보를 고객 단말의 화면의 일영역에 노출시키고,
   상기 3D 인간 모델의 운동수행 방위정보는, 재생된 운동 컨텐츠 내 3D 인간 모델이 특정 운동의 자세를 취했을 때에 3D 인간 모델의 전면이 향하는 방향에 대한 정보이고,
   상기 고객의 운동수행 방위정보는 고객이 특정 운동의 자세를 취했을 때에 고객의 전면이 향하는 방향에 대한 정보인 것인, 3D 인간 모델 생성 장치.
2. 제1항에 있어서,
   상기 측정 데이터는, 상기 휴대용 장치 내에 구비된 라이다 센서와 카메라 센서를 통해 측정된 상기 모델링 대상 인간에 대한 포인트 클라우드와 이미지 데이터를 포함하는 것인, 3D 인간 모델 생성 장치.
3. 제2항에 있어서,
   상기 획득부는,
   상기 모델링 대상 인간을 중심으로 하여 상기 휴대용 장치로 4개의 측정 지점에서의 측정을 진행함으로써 상기 4개의 측정 지점 각각에 대응하는 4개의 측정 데이터를 획득하는 것인, 3D 인간 모델 생성 장치.
4. 제1항에 있어서,
   상기 생성부는,
   기 학습된 인공지능 모델을 이용하여 상기 측정 데이터 내 상기 모델링 대상 인간에 대한 결측 부위의 보간 데이터를 생성하고, 생성된 보간 데이터를 이용하여 결측 부위에 대한 보간을 수행함으로써 상기 3D 인간 모델을 생성하는 것인, 3D 인간 모델 생성 장치.
5. 삭제

Images