KR20180064907A

KR20180064907A - 3차원 인체 부위정보 인식 및 가시화 장치 및 방법

Info

Publication number: KR20180064907A
Application number: KR1020160165348A
Authority: KR
Inventors: 김재환; 김경일; 김호원; 윤기송; 정유구; 조규성; 한병옥
Original assignee: 한국전자통신연구원
Priority date: 2016-12-06
Filing date: 2016-12-06
Publication date: 2018-06-15

Abstract

3차원 인체 정보 인식 장치, 건강 상태 가시화 장치 및 방법이 개시된다. 본 발명에 따른 건강 상태 가시화 장치는, 3차원 인체 정보 인식 장치로부터 사용자에 상응하는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 수신하는 3차원 인체 정보 수신부, 상기 사용자에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 인체 모델 비교부, 그리고 상기 표준 인체 모델 및 상기 3차원 인체 정보의 비교 결과를 가시화하여 출력하는 건강 상태 출력부를 포함한다.

Description

3차원 인체 정보 인식 장치, 건강 상태 가시화 장치 및 방법{3D BODY INFORMATION RECOGNITION APPARATUS, APPARATUS AND METHOD FOR VISUALIZING OF HEALTH STATE}

본 발명은 3차원 인체 정보를 인식하고, 사용자의 건강 상태를 가시화하여 제공하는 기술에 관한 것으로, 특히 인체 부위별 비만도, 관절 위치 및 자세 비대칭 정보 등을 사용자에게 가시적으로 보여주는 기술에 관한 것이다.

오늘날 건강 관리 및 자세 교정에 대한 관심이 증대됨에 따라, 사용자의 건강을 관리하거나, 자세를 교정하는 목적의 기술들이 많이 등장하였다. 대부분의 건강 관리 및 자세 교정 관련 기술들은 웨어러블(wearable) 센서를 이용하여 동작한다.

웨어러블 센서는 사용자의 특정 신체 부위에 센서를 부착해야 하는 수고와, 지엽적인 부위에 대한 데이터만을 측정할 수 있다는 한계가 있다. 또한, 전기 신호값을 이용한 신체 체지방 및 근육량 측정 방법은 범용적이긴 하나, 3차원 인체에 대한 가시적인 측정 및 결과 비교가 어렵다.

최근 마이크로소프트사의 키넥트 센서를 이용한 다양한 응용 기술 및 컨텐츠들이 소개되고 있으며, 인체 포즈 측정 기술은 이미 사용자 상호작용 기반 응용 컨텐츠 뿐만 아니라 인체 모델을 대상으로 하는 여러 응용 기술의 핵심 기술로 고려되고 있다. 특히, 인체 모델을 대상으로하는 컨텐츠는 게임, 스포츠, 의류, 헬스 등 다양한 분야에서 개발되고 있다.

사용자의 관심이 증대된 헬스 케어 분야에 인체 포즈 측정 기술을 적용하는 기술의 개발이 필요하며, 이를 통하여 사용자에게 체형 관리 및 자세 교정 서비스를 가시적으로 제공하는 기술의 개발이 필요하다.

한국 등록 특허 제10-0657901호, 2006년 12월 14일 공고(명칭: 건강상태에 따른 아바타 영상 생성 방법 및 장치)

본 발명의 목적은 3차원 인체 정보를 기반으로 사용자의 건강 상태를 가시화하여 제공함으로써, 사용자가 건강 상태를 직감적으로 파악할 수 있도록 하는 것이다.

또한, 본 발명의 목적은 사용자의 체형 관리 및 자세 교정 프로세스를 개인화 및 지능화하는 것이다.

또한, 본 발명의 목적은 3차원 인체 정보를 기반으로 사용자의 인체 부위별 비만도, 관절 위치 및 자세 비대칭 정보 등을 제공하는 것이다.

또한, 본 발명의 목적은 사용자의 3차원 인체 정보를 기반으로 사용자에게 적합한 자세 교정 및 건강 관리 관련 서비스를 제공 하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 3차원 인체 정보 인식 장치는 3차원 가상 인체 모델, 자세 모델 및 데이터 생성 환경 변수 중 적어도 어느 하나를 기반으로 하나 이상의 실측 데이터를 생성하는 실측 데이터 생성부, 상기 실측 데이터를 기반으로 인체 영역 학습 모델을 생성하는 인체 영역 학습 모델 생성부, 상기 실측 데이터를 이용하여 생성한 오프셋 정보와 상기 인체 영역 학습 모델을 기반으로 인체 관절 위치 학습 모델을 생성하는 관절 위치 학습 모델 생성부, 그리고 생성된 상기 인체 영역 학습 모델 및 상기 인체 관절 위치 학습 모델을 저장하는 모델 저장부를 포함한다.

이때, 상기 실측 데이터 생성부는, 실제 깊이 값과 위치 좌표에 대한 실측 데이터인 제1 실측 데이터, 인체 영역 별로 서로 상이한 색상이 레이블된 영상을 포함하는 제2 실측 데이터 및 인체의 3차원 관절 식별자와 위치 좌표에 대한 실측 데이터인 제3 실측 데이터 중 적어도 어느 하나의 실측 데이터를 생성 할 수 있다.

이때, 상기 오프셋 정보는, 상기 인체 영역과 관절 간 오프셋 정보를 의미 할 수 있다.

이때, 상기 인체 영역 학습 모델을 기반으로, 입력받은 인체 깊이 데이터를 주요 영역으로 구분하여 3차원 영역 정보를 생성하는 영역 인식부를 더 포함 할 수 있다.

이때, 상기 인체 관절 위치 학습 모델 및 상기 주요 영역별 포인트 위치를 기반으로, 관절의 위치를 보정하여 3차원 관절 정보를 생성하는 관절 위치 보정부를 더 포함 할 수 있다.

이때, 상기 3차원 영역 정보 및 상기 3차원 관절 정보를 건강 상태 가시화 장치로 전송하는 3차원 인체 정보 전송부를 더 포함 할 수 있다.

또한, 본 발명의 일실시예에 따른 건강 상태 가시화 장치는 3차원 인체 정보 인식 장치로부터 사용자에 상응하는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 수신하는 3차원 인체 정보 수신부, 상기 사용자에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 인체 모델 비교부, 그리고 상기 표준 인체 모델 및 상기 3차원 인체 정보의 비교 결과를 가시화하여 출력하는 건강 상태 출력부를 포함 할 수 있다.

이때, 상기 사용자로부터 신체 정보를 입력받는 신체 정보 입력부를 더 포함 할 수 있다.

이때, 상기 인체 모델 비교부는, 상기 신체 정보에 상응하는 상기 표준 인체 모델과 상기 3차원 인체 정보를 비교 할 수 있다.

이때, 상기 건강 상태 출력부는, 상기 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 출력 할 수 있다.

이때, 상기 건강 상태 출력부는, 상기 3차원 인체 정보를 기반으로, 색상, 점선, 방향 지시선 중 적어도 어느 하나의 형태로 상기 비만 정보 및 상기 자세 교정 정보를 출력 할 수 있다.

이때, 상기 사용자의 상기 신체 영역별 비만 정보 및 상기 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 기반으로, 상기 사용자에게 운동 및 자세 추천 서비스를 제공하는 서비스 제공부를 더 포함 할 수 있다.

또한, 본 발명의 일실시예에 따른 건강 상태 가시화 장치에 의해 수행되는 건강 상태 가시화 방법은 3차원 인체 정보 인식 장치로부터, 사용자의 인체 깊이 데이터에 상응하는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 수신하는 단계, 상기 사용자에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 단계, 그리고 상기 표준 인체 모델 및 상기 3차원 인체 정보의 비교 결과를 가시화하여 출력하는 단계를 포함한다.

이때, 상기 3차원 영역 정보는 학습된 인체 영역 학습 모델을 기반으로 상기 사용자에 상응하는 인체 깊이 데이터를 주요 영역으로 구분하여 생성된 것이고, 상기 3차원 관절 정보는 인체 관절 위치 학습 모델 및 상기 주요 영역의 포인트 위치를 기반으로 관절의 위치를 보정하여 생성된 것일 수 있다.

이때, 상기 인체 영역 학습 모델은, 실제 깊이 값과 위치 좌표에 대한 실측 데이터인 제1 실측 데이터, 인체 영역 별로 서로 상이한 색상이 레이블된 영상을 포함하는 제2 실측 데이터 및 인체의 3차원 관절 식별자와 위치 좌표에 대한 실측 데이터인 제3 실측 데이터 중 적어도 어느 하나의 실측 데이터를 기반으로 생성된 것일 수 있다.

이때, 상기 인체 관절 위치 학습 모델은, 인체 영역과 관절 간 오프셋 정보와 상기 인체 영역 학습 모델을 기반으로 생성된 것일 수 있다.

이때, 상기 사용자에 상응하는 신체 정보를 입력받는 단계를 더 포함할 수 있다.

이때, 상기 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 단계는, 상기 신체 정보에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교할 수 있다.

이때, 상기 비교 결과를 가시화하여 출력하는 단계는, 상기 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 출력할 수 있다.

이때, 상기 비교 결과를 가시화하여 출력하는 단계는, 상기 3차원 인체 정보를 기반으로, 색상, 점선, 방향 지시선 중 적어도 어느 하나의 형태로 상기 비만 정보 및 상기 자세 교정 정보를 출력할 수 있다.

이때, 상기 사용자의 상기 신체 영역별 비만 정보 및 상기 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 기반으로, 상기 사용자에게 운동 및 자세 추천 서비스를 제공하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 3차원 인체 정보를 기반으로 사용자의 건강 상태를 가시화하여 제공함으로써, 사용자가 건강 상태를 직감적으로 파악할 수 있다.

또한 본 발명에 따르면, 사용자의 체형 관리 및 자세 교정 프로세스를 개인화 및 지능화할 수 있다.

또한 본 발명에 따르면, 3차원 인체 정보를 기반으로 사용자의 인체 부위별 비만도, 관절 위치 및 자세 비대칭 정보 등을 제공할 수 있다.

또한 본 발명에 따르면, 사용자의 3차원 인체 정보를 기반으로 사용자에게 적합한 자세 교정 및 건강 관리 관련 서비스를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치 및 건강 상태 가시화 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치의 구성을 나타내 블록도이다.
도 3은 본 발명의 일실시예에 따른 건강 상태 가시화 장치의 구성을 나타낸블록도이다.
도 4는 본 발명의 일실시예에 따른 3차원 인체 정보 인식 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치의 실측 데이터 생성부의 기능을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 3차원 합성 인체 모델 및 인체 카테고리 구조도의 합성 결과를 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 인체 카테고리 구조도를 나타낸 예시도이다.
도 8은 본 발명의 일실시예에 따른 인체 영역 학습 모델 및 관절 위치 학습 모델의 생성 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 관절 위치 보정 과정을 설명하기 위한 예시도이다.
도 10은 본 발명의 일실시예에 따른 건강 상태 가시화 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일실시예에 따른 건강 상태 가시화 장치의 기능을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 건강 상태 가시화 장치 화면의 일 예를 나타낸 예시도이다.
도 13은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치 및 건강 상태 가시화 장치가 적용되는 환경을 개략적으로 나타낸 도면이다.

도 1에 도시한 바와 같이, 깊이 센서(100)는 사용자의 인체에 대한 깊이 영상인 인체 깊이 데이터를 3차원 인체 정보 인식 장치(200)로 전송한다. 여기서, 깊이 센서(100)는 키넥트 센서 등의 깊이 인식 카메라일 수 있으며, 깊이 센서의 종류는 이에 한정되지 않는다.

그리고 3차원 인체 정보 인식 장치(200)는 3차원 가상 인체 모델, 자세 모델 및 데이터 생성 환경 변수 중 적어도 어느 하나를 기반으로 하나 이상의 실측 데이터를 생성하고, 생성된 실측 데이터를 기반으로 인체 영역 학습 모델을 생성한다. 또한, 3차원 인체 정보 인식 장치(200)는 실측 데이터를 이용하여 생성한 오프셋 정보와 인체 영역 학습 모델을 기반으로 인체 관절 위치 학습 모델을 생성하며, 생성된 인체 영역 학습 모델 및 인체 관절 위치 학습 모델을 저장한다.

3차원 인체 정보 인식 장치(200)는 하나 이상의 깊이 센서(100)로부터 입력받은 인체 깊이 데이터를 주요 영역으로 구분하여, 3차원 영역 정보를 생성한다. 또한, 3차원 인체 정보 인식 장치(200)는 인체 관절 위치 학습 모델 및 주요 영역별 포인트 위치를 기반으로 관절의 위치를 보정하여 3차원 관절 정보를 생성할 수 있다.

그리고 3차원 인체 정보 인식 장치(200)는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 건강 상태 가시화 장치(300)로 전송한다.

건강 상태 가시화 장치(300)는 3차원 인체 정보 인식 장치(200)로부터 수신한 3차원 인체 정보와 사용자에 상응하는 표준 인체 모델을 비교한다. 그리고 건강 상태 가시화 장치(300)는 3차원 인체 정보와 표준 인체 모델의 비교 결과를 가시화하여 출력한다.

이때, 건강 상태 가시화 장치(300)는 사용자로부터 입력받은 신체 정보에 상응하는 표준 인체 모델을 검색하고, 검색된 표준 인체 모델과 사용자의 3차원 인체 정보를 비교할 수 있다.

그리고 건강 상태 가시화 장치(300)는 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 포함하는 건강 상태 정보를 출력할 수 있다. 이때, 건강 상태 가시화 장치(300)는 건강 상태 가시화 장치(300)에 구비된 출력모듈을 통하여 건강 상태 정보를 출력하거나, 외부의 출력 장치(400)로 건강 상태 정보를 전송하여 외부의 출력 장치(400)가 사용자의 건강 상태 정보를 출력하도록 할 수 있다.

또한, 건강 상태 가시화 장치(300)는 표준 인체 모델과 사용자의 3차원 인체 정보의 비교 결과를 기반으로, 사용자 맞춤형 운동 및 자세 추천 서비스를 제공할 수 있다.

이하에서는 도 2를 통하여 본 발명의 일시예에 따른 3차원 인체 정보 인식 장치의 구성에 대하여 더욱 상세하게 설명한다.

도 2는 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치의 구성을 나타내 블록도이다.

도 2에 도시한 바와 같이, 3차원 인체 정보 인식 장치(200)는 실측 데이터 생성부(210), 인체 영역 학습 모델 생성부(220), 관절 위치 학습 모델 생성부(230), 모델 저장부(240), 영역 인식부(250), 관절 위치 보정부(260) 및 3차원 인체 정보 전송부(270)를 포함한다.

실측 데이터 생성부(210)는 3차원 가상 인체 모델, 자세 모델과 데이터 생성 환경 변수를 이용하여, 하나 이상의 실측 데이터(Ground-Truth data, GT data)를 생성한다.

실측 데이터 생성부(210)는 사용자의 나이, 키, 몸무게, 성별 등의 사용자 신체 정보를 기반으로 자동으로 선택된 3차원 가상 인체 모델(3D virtual Human Model)과 사전에 선택된 사용자 선호도가 높은 자세 모델(3D Motion Model) 및 실측 데이터 샘플링을 위한 데이터 생성 환경 변수를 입력으로, 하나 이상의 실측 데이터를 생성할 수 있다.

이때, 실측 데이터 생성부(210)는 실제 깊이 값(Real Depth)과 위치 좌표(Pos.)에 대한 실측 데이터인 제1 실측 데이터, 인체 영역 별로 서로 상이한 색상이 레이블된 영상(Color Labeled Image)을 포함하는 제2 실측 데이터 및 인체의 3차원 관절 식별자(3D Joint)와 위치 좌표(Position)에 대한 실측 데이터인 제3 실측 데이터 중 적어도 어느 하나의 실측 데이터를 생성할 수 있다.

인체 영역 학습 모델 및 인체 관절 위치 학습 모델 중 적어도 어느 하나의 학습 모델을 학습하는 과정에서, 실측 데이터 생성부(210)는 실제 깊이 값과 위치 좌표 및 사전에 정의된 가상 카메라 파라미터 정보 등을 활용할 수 있다.

또한 실제 입력되는 임의의 인체 깊이 데이터에 대한 인식 과정에서, 실측 데이터 생성부(210)는 깊이 센서(Smart Mobile Depth Camera) 파라미터로 변환하여 인식 과정을 수행할 수 있으며, 깊이 센서 파라미터는 카메라와 자이로스코프의 자동 캘리브레이션을 통해 계산될 수 있다.

그리고 인체 영역 학습 모델 생성부(220)는 생성된 실측 데이터를 기반으로 인체 영역 학습 모델을 생성한다. 인체 영역 학습 모델 생성부(220)는 각 포인트 당 깊이 값 기반의 특징 정보와 특징 정보에 상응하는 영역 인덱스를 실측 데이터로 입력하여, 인체 영역 학습 모델(Body Parts Classification Model, BPC Model)로 학습할 수 있다.

또한, 관절 위치 학습 모델 생성부(230)는 실측 데이터를 이용하여 생성한 오프셋 정보와 인체 영역 학습 모델을 기반으로, 인체 관절 위치 학습 모델을 생성한다. 관절 위치 학습 모델 생성부(230)는 각 관절 포인트 당 주변 영역 포인트 또는 각 영역의 중심 포인트와의 거리 차이값을 실측 데이터로 입력하여, 인체 관절 위치 학습 모델(Body Joints Regression Model, BJR Model)로 학습할 수 있다.

이때, 인체 영역 학습 모델 생성부(220) 및 관절 위치 학습 모델 생성부(230)는 임의의 교사학습방법(Supervised learning)을 통하여 각 인체 영역 및 관절 위치의 실측 데이터 값을 학습할 수 있다. 여기서 교사학습방법의 종류는 특정 알고리즘으로 한정되지 않으며, 속도, 정확성 등의 사용자 목적에 따라 알고리즘이 선택될 수 있다.

그리고 모델 저장부(240)는 생성된 인체 영역 학습 모델(BPC Model) 및 인체 관절 위치 학습 모델(BJR Model)을 저장한다. 모델 저장부(240)는 학습결과 모델인 인체 영역 학습 모델 및 인체 관절 위치 학습 모델 각각을 메타 데이터 형태로 저장할 수 있다.

이때, 각각의 모델 메타 데이터에는 교사학습시 학습 환경 설정을 위한 파라미터, 수렴된 학습 모델 구조 파라미터 등이 저장될 수 있다. 또한, 모델 저장부(240)에 저장된 인체 영역 학습 모델(BPC Model) 및 인체 관절 위치 학습 모델(BJR Model)은 사용자의 3차원 인체 정보 인식 과정에서 활용된다.

영역 인식부(250)는 인체 영역 학습 모델을 기반으로 입력된 인체 깊이 데이터를 주요 영역으로 구분하여 3차원 영역 정보를 생성한다.

영역 인식부(250)는 학습된 인체 영역 학습 모델(BPC Model)에 깊이 센서로부터 획득한 인체 깊이 데이터를 입력하여, 인체 영역을 주요 영역으로 구분하고, 3차원 영역 정보를 출력한다. 이때, 주요 영역은 독립된 색상으로 구분될 수 있으며, 인덱스 정보를 포함할 수 있다.

다음으로 관절 위치 보정부(260)는 인체 관절 위치 학습 모델 및 주요 영역별 포인트 위치를 기반으로 관절의 위치를 보정하여 3차원 관절 정보를 생성한다.

관절 위치 보정부(260)는 학습된 인체 관절 위치 학습 모델(BJR Model)에 영역 인식부(250)에서 계산된 각 주요 영역의 중심 위치 또는 주요 영역 내 각 포인트들의 위치 값을 입력하여, 관절의 위치를 보정함으로써 3차원 관절 정보를 생성한다.

인체 영역 학습 모델 생성부(220)로부터 유추된 관절의 위치는 영역 기반의 학습 결과로 유추된 것이므로 오차가 존재할 수 있다. 따라서 본 발명의 일실시예에 따른 관절 위치 보정부(260)는 인체 영역 학습 모델 생성부(220)로부터 유추된 관절의 위치를 보정한다.

마지막으로 3차원 인체 정보 전송부(270)는 3차원 영역 정보 및 3차원 관절 정보를 건강 상태 가시화 장치로 전송한다.

3차원 인체 정보 전송부(270)는 인체 영역 학습 모델을 기반으로 인식된 3차원 영역 정보와 인체 관절 위치 학습 모델을 기반으로 인식된 3차원 관절 정보를 포함하는 3차원 인체 정보를 건강 상태 가시화 장치(300)로 전송한다.

이하에서는 도 3을 통하여 본 발명의 일시예에 따른 건강 상태 가시화 장치의 구성에 대하여 더욱 상세하게 설명한다.

도 3은 본 발명의 일실시예에 따른 건강 상태 가시화 장치의 구성을 나타낸블록도이다.

도 3과 같이, 건강 상태 가시화 장치(300)는 3차원 인체 정보 수신부(310), 인체 모델 비교부(320), 건강 상태 출력부(330) 및 서비스 제공부(340)를 포함한다.

먼저, 3차원 인체 정보 수신부(310)는 3차원 인체 정보 인식 장치(200)로부터 사용자에 상응하는 3차원 인체 정보를 수신한다. 이때, 3차원 인체 정보는 3차원 영역 정보 및 3차원 관절 정보를 포함할 수 있다.

그리고 인체 모델 비교부(320)는 사용자에 상응하는 표준 인체 모델과 3차원 인체 정보를 비교한다. 이때, 인체 모델 비교부(320)는 신체 정보 입력부(미도시)로부터 입력받은 사용자의 신체 정보를 기반으로, 사용자의 신체 정보에 상응하는 표준 인체 모델을 검색하고, 검색된 표준 인체 모델과 3차원 인체 정보를 비교할 수 있다.

다음으로 건강 상태 출력부(330)는 표준 인체 모델 및 3차원 인체 정보의 비교 결과를 가시화하여 출력한다.

건강 상태 출력부(330)는 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 출력할 수 있다. 또한, 건강 상태 출력부(330)는 3차원 인체 정보를 기반으로, 색상, 점선, 방향 지시선 중 적어도 어느 하나의 형태로 비만 정보 및 자세 교정 정보를 출력할 수 있다.

마지막으로 서비스 제공부(340)는 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 기반으로, 사용자 맞춤형 운동 및 자세 추천 서비스를 제공한다.

이하에서는 도 4 내지 도 9를 통하여 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치에 의해 수행되는 3차원 인체 정보 인식 방법에 대하여 더욱 상세하게 설명한다.

도 4는 본 발명의 일실시예에 따른 3차원 인체 정보 인식 방법을 설명하기 위한 순서도이다.

먼저, 3차원 인체 정보 인식 장치(200)는 실측 데이터를 생성한다(S410).

3차원 인체 정보 인식 장치(200)는 3차원 가상 인체 모델, 자세 모델 및 데이터 생성 환경 변수 중 적어도 어느 하나를 기반으로 하나 이상의 실측 데이터를 생성한다.

도 5는 본 발명의 일실시예에 따른 3차원 인체 정보 인식 장치의 실측 데이터 생성부의 기능을 설명하기 위한 도면이다.

도 5에 도시한 바와 같이, 3차원 인체 정보 인식 장치(200)는 사용자의 나이, 키, 몸무게, 성별 등의 사용자 신체 정보를 기반으로 자동으로 선택된 3차원 가상 인체 모델(3D virtual Human Model)과 사전에 선택된 사용자 선호도가 높은 자세 모델(3D Motion Model) 및 실측 데이터 샘플링을 위한 데이터 생성 환경 변수를 입력으로, 하나 이상의 실측 데이터를 생성할 수 있다.

특히, 3차원 인체 정보 인식 장치(200)는 실제 깊이 값(Real Depth)과 위치 좌표(Pos.)에 대한 실측 데이터인 제1 실측 데이터, 인체 영역 별로 서로 상이한 색상이 레이블된 영상(Color Labeled Image)을 포함하는 제2 실측 데이터 및 인체의 3차원 관절 식별자(3D Joint)와 위치 좌표(Pos.)에 대한 실측 데이터인 제3 실측 데이터 중 적어도 어느 하나의 실측 데이터를 생성할 수 있다.

3차원 인체 정보 인식 장치(2000가 제1 실측 데이터, 제2 실측 데이터 및 제3 실측 데이터를 생성하는 기능은 도 2에 도시된 실측 데이터 생성부(210)에 의해 수행될 수 있다.

도 6은 본 발명의 일실시예에 따른 3차원 합성 인체 모델 및 인체 카테고리 구조도의 합성 결과를 나타낸 예시도이다.

도 6과 같이, 3차원 인체 정보 인식 장치(200)는 3차원 합성 인체 모델(610)과 인체 카테고리 구조도(620)를 기반으로 실측 데이터 모델(630)을 합성한다. 여기서, 3차원 합성 인체 모델은 3차원 가상 인체 모델 및 자세 모델이 합성된 것을 의미하며, 제1 실측 데이터 내지 제3 실측 데이터의 정보를 모두 포함할 수 있다.

도 7은 본 발명의 일실시예에 따른 인체 카테고리 구조도를 나타낸 예시도이다.

도 7에 도시한 바와 같이, 인체 카테고리 구조도(Human Body Category)는 사전에 정의된 인체 영역 들간 텍사노미(Taxonomy) 관계를 나타낸 것이다.

다시 도 4에 대하여 설명하면, 3차원 인체 정보 인식 장치(200)는 인체 영역 학습 모델을 생성하고, 생성된 인체 영역 학습 모델을 저장한다(S420). 그리고 3차원 인체 정보 인식 장치(200)는 인체 관절 위치 학습 모델을 생성하고, 생성된 인체 관절 위치 학습 모델을 저장한다(S430).

도 8은 본 발명의 일실시예에 따른 인체 영역 학습 모델 및 관절 위치 학습 모델의 생성 과정을 설명하기 위한 도면이다.

도 8에 도시한 바와 같이, 3차원 인체 정보 인식 장치(200)는 제1 실측 데이터와 제2 실측 데이터를 기반으로 인체 영역 학습 모델(BPC Model)을 생성 및 학습하고, 생성 및 학습된 인체 영역 학습 모델을 저장한다. 이때, 3차원 인체 정보 인식 장치(200)는 메타 데이터 형태로 학습결과 모델인 인체 영역 학습 모델(BPC Model)을 저장할 수 있다.

또한, 3차원 인체 정보 인식 장치(200)는 제3 실측 데이터를 기반으로 인체 영역 및 관절 간 오프셋 정보인 제4 실측 데이터를 생성할 수 있다. 그리고 3차원 인체 정보 인식 장치(200)는 생성된 제4 실측 데이터를 기반으로 인체 관절 위치 학습 모델(BJR Model)을 생성 및 학습하고, 생성 및 학습된 인체 관절 위치 학습 모델을 저장한다. 이때, 3차원 인체 정보 인식 장치(200)는 메타 데이터 형태로 학습 결과 모델인 인체 관절 위치 학습 모델을 저장할 수 있다.

다음으로 3차원 인체 정보 인식 장치(200)는 학습 모델을 기반으로 3차원 인체 정보를 생성한다(S440).

3차원 인체 정보 인식 장치(200)는 학습된 인체 영역 학습 모델에 깊이 센서로부터 획득한 인체 깊이 데이터를 입력하여, 인체 영역을 주요 영역으로 구분하고, 3차원 영역 정보를 출력한다. 이때, 구분된 주요 영역은 독립된 색상으로 구분될 수 있으며, 주요 영역은 인덱스 정보를 포함할 수 있다.

또한, 3차원 인체 정보 인식 장치(200)는 인체 관절 위치 학습 모델 및 주요 영역별 포인트 위치를 기반으로 관절의 위치를 보정하여 3차원 관절 정보를 생성한다. 이때, 3차원 인체 정보 인식 장치(200)는 학습된 인체 관절 위치 학습 모델에 각 주요 영역의 중심 위치 또는 주요 영역 내 각 포인트들의 위치 값을 입력하여 관절의 위치를 보정할 수 있다.

도 9는 본 발명의 일실시예에 따른 관절 위치 보정 과정을 설명하기 위한 예시도이다.

도 9에 도시한 바와 같이, 3차원 인체 정보 인식 장치(200)는 인식된 실측 데이터에 대한 관절의 위치를 보정하여, 보정 전 관절의 위치(910)를 보정된 관절의 위치(920)로 위치 보정할 수 있다.

여기서, 보정 대상이 되는 실측 데이터에 대한 관절의 위치는 인체 영역 학습 모델로부터 유추된 관절 위치를 의미하며, 3차원 인체 정보 인식 장치(200)는 영역 기반의 학습 결과에 따른 오차를 보정하기 위하여, 관절의 위치를 보정할 수 있다.

마지막으로, 3차원 인체 정보 인식 장치(200)는 건강 상태 가시화 장치(300)로 3차원 인체 정보를 전송한다(S450).

3차원 인체 정보 인식 장치(200)는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 건강 상태 가시화 장치(300)로 전송한다. 이를 통하여, 3차원 인체 정보 인식 장치(200)는 건강 상태 가시화 장치(300)가 사용자에 상응하는 3차원 인체 정보를 기반으로, 사용자의 건강 상태를 가시화하여 출력할 수 있도록 한다.

이하에서는 도 10 내지 도 12를 통하여 본 발명의 일실시예에 따른 건강 상태 가시화 장치에 의해 수행되는 건강 상태 가시화 방법에 대하여 더욱 상세하게 설명한다.

도 10은 본 발명의 일실시예에 따른 건강 상태 가시화 방법을 설명하기 위한 순서도이고, 도 11은 본 발명의 일실시예에 따른 건강 상태 가시화 장치의 기능을 설명하기 위한 도면이다.

먼저, 건강 상태 가시화 장치(300)는 3차원 인체 정보 인식 장치(200)로부터 3차원 인체 정보를 수신한다(S1010).

여기서, 3차원 인체 정보는 3차원 영역 정보 및 3차원 관절 정보를 포함할 수 있다.

그리고 건강 상태 가시화 장치(300)는 표준 인체 모델과 3차원 인체 정보를 비교한다(S1020).

건강 상태 가시화 장치(300)는 사용자에 상응하는 표준 인체 모델과 3차원 인체 정보를 비교할 수 있다. 이때, 건강 상태 가시화 장치(300)는 사용자로부터 나이, 성별, 키, 몸무게 등의 신체 정보를 입력받고, 사용자의 신체 정보에 상응하는 표준 인체 모델을 표준 인체 모델 DB로부터 검색한다. 그리고 건강 상태 가시화 장치(300)는 검색된 표준 인체 모델과 3차원 인체 정보를 비교할 수 있다.

다음으로 건강 상태 가시화 장치(300)는 표준 인체 모델과 3차원 인체 정보를 비교한 결과를 가시화한다(S1030).

건강 상태 가시화 장치(300)는 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 가시화하여 출력할 수 있다. 또한, 건강 상태 가시화 장치(300)는 3차원 인체 정보를 기반으로 색상, 점선, 방향 지시선 중 적어도 어느 하나의 형태로 비만 정보 및 자세 교정 정보를 출력할 수 있다.

도 12는 본 발명의 일실시예에 따른 건강 상태 가시화 장치 화면의 일 예를 나타낸 예시도이다.

도 12에 도시한 바와 같이, 건강 상태 가시화 장치(300)는 자세 교정 정보(1220)를 출력하여, 자세(pose) 교정이 필요하다고 판단된 관절의 위치를 사용자에게 알릴 수 있다. 이때, 건강 상태 가시화 장치(300)는 어깨 부근의 점선, 크로스 표시 및 화살표 중 적어도 어느 하나를 이용하여, 사용자에게 자세 교정 정보를 제공할 수 있다.

또한, 건강 상태 가시화 장치(300)는 도 12와 같이 하복부 및 허벅지 부분의 비만(obesity) 영역을 빨간 색으로 표시하여, 사용자가 비만 영역을 한 눈에 쉽게 파악할 수 있도록 비만 정보(1210)를 가시화하여 제공할 수 있다.

마지막으로, 건강 상태 가시화 장치(300)는 비교 결과를 기반으로, 사용자에게 운동 및 자세 추천 서비스를 제공한다(S1040).

건강 상태 가시화 장치(300)는 표준 인체 모델과 3차원 인체 정보를 비교한 결과를 기반으로, 사용자의 건강 상태에 적합한 특정 운동 및 자세를 추천할 수 있다.

이때, 건강 상태 가시화 장치(300)는 외부의 운동 및 자세 추천 서비스 제공 서버로부터 사용자에게 적합한 특정 운동 및 자세 관련 정보를 수신하여 사용자에게 제공하거나, 건강 상태 가시화 장치(300) 내부에 저장된 컨텐츠 중 사용자에게 적합한 컨텐츠를 제공할 수 있다.

도 13은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.

도 13을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1300)에서 구현될 수 있다. 도 13에 도시된 바와 같이, 컴퓨터 시스템(1300)은 버스(1320)를 통하여 서로 통신하는 하나 이상의 프로세서(1310), 메모리(1330), 사용자 입력 장치(1340), 사용자 출력 장치(1350) 및 스토리지(1360)를 포함할 수 있다. 또한, 컴퓨터 시스템(1300)은 네트워크(1380)에 연결되는 네트워크 인터페이스(1370)를 더 포함할 수 있다. 프로세서(1310)는 중앙 처리 장치 또는 메모리(1330)나 스토리지(1360)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1330) 및 스토리지(1360)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1331)이나 RAM(1332)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 3차원 인체 정보 인식 장치, 건강 상태 가시화 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100: 깊이 센서 200: 3차원 인체 정보 인식 장치
210: 실측 데이터 생성부 220: 인체 영역 학습 모델 생성부
230: 관절 위치 학습 모델 생성부
240: 모델 저장부 250: 영역 인식부
260: 관절 위치 보정부 270: 3차원 인체 정보 전송부
300: 건강 상태 가시화 장치 310: 3차원 인체 정보 수신부
320: 인체 모델 비교부 330: 건강 상태 출력부
340: 서비스 제공부 400: 출력 장치
610: 3차원 합성 인체 모델 620: 인체 카테고리 구조도
630: 실측 데이터 모델 910: 보정 전 관절의 위치
920: 보정된 관절의 위치 1210: 자세 교정 정보
1220: 비만 정보 1300: 컴퓨터 시스템
1310: 프로세서 1320: 버스
1330: 메모리 1331: 롬
1332: 램 1340: 사용자 입력 장치
1350: 사용자 출력 장치 1360: 스토리지
1370: 네트워크 인터페이스 1380: 네트워크

Claims

3차원 가상 인체 모델, 자세 모델 및 데이터 생성 환경 변수 중 적어도 어느 하나를 기반으로 하나 이상의 실측 데이터를 생성하는 실측 데이터 생성부,
상기 실측 데이터를 기반으로 인체 영역 학습 모델을 생성하는 인체 영역 학습 모델 생성부,
상기 실측 데이터를 이용하여 생성한 오프셋 정보와 상기 인체 영역 학습 모델을 기반으로 인체 관절 위치 학습 모델을 생성하는 관절 위치 학습 모델 생성부, 그리고
생성된 상기 인체 영역 학습 모델 및 상기 인체 관절 위치 학습 모델을 저장하는 모델 저장부
를 포함하는 3차원 인체 정보 인식 장치.
제1항에 있어서,
상기 실측 데이터 생성부는,
실제 깊이 값과 위치 좌표에 대한 실측 데이터인 제1 실측 데이터, 인체 영역 별로 서로 상이한 색상이 레이블된 영상을 포함하는 제2 실측 데이터 및 인체의 3차원 관절 식별자와 위치 좌표에 대한 실측 데이터인 제3 실측 데이터 중 적어도 어느 하나의 실측 데이터를 생성하는 것을 특징으로 하는 3차원 인체 정보 인식 장치.
제2항에 있어서,
상기 오프셋 정보는,
상기 인체 영역과 관절 간 오프셋 정보를 의미하는 것을 특징으로 하는 3차원 인체 정보 인식 장치.
제3항에 있어서,
상기 인체 영역 학습 모델을 기반으로, 입력받은 인체 깊이 데이터를 주요 영역으로 구분하여 3차원 영역 정보를 생성하는 영역 인식부
를 더 포함하는 것을 특징으로 하는 3차원 인체 정보 인식 장치.
제4항에 있어서,
상기 인체 관절 위치 학습 모델 및 상기 주요 영역별 포인트 위치를 기반으로, 관절의 위치를 보정하여 3차원 관절 정보를 생성하는 관절 위치 보정부
를 더 포함하는 것을 특징으로 하는 3차원 인체 정보 인식 장치.
제5항에 있어서,
상기 3차원 영역 정보 및 상기 3차원 관절 정보를 건강 상태 가시화 장치로 전송하는 3차원 인체 정보 전송부를 더 포함하는 것을 특징으로 하는 3차원 인체 정보 인식 장치.
3차원 인체 정보 인식 장치로부터 사용자에 상응하는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 수신하는 3차원 인체 정보 수신부,
상기 사용자에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 인체 모델 비교부, 그리고
상기 표준 인체 모델 및 상기 3차원 인체 정보의 비교 결과를 가시화하여 출력하는 건강 상태 출력부
를 포함하는 건강 상태 가시화 장치.
제7항에 있어서,
상기 사용자로부터 신체 정보를 입력받는 신체 정보 입력부를 더 포함하고,
상기 인체 모델 비교부는,
상기 신체 정보에 상응하는 상기 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 것을 특징으로 하는 건강 상태 가시화 장치.
제7항에 있어서,
상기 건강 상태 출력부는,
상기 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 출력하는 것을 특징으로 하는 건강 상태 가시화 장치.
제9항에 있어서,
상기 건강 상태 출력부는,
상기 3차원 인체 정보를 기반으로, 색상, 점선, 방향 지시선 중 적어도 어느 하나의 형태로 상기 비만 정보 및 상기 자세 교정 정보를 출력하는 것을 특징으로 하는 건강 상태 가시화 장치.
제9항에 있어서,
상기 사용자의 상기 신체 영역별 비만 정보 및 상기 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 기반으로, 상기 사용자에게 운동 및 자세 추천 서비스를 제공하는 서비스 제공부를 더 포함하는 것을 특징으로 하는 건강 상태 가시화 장치.
건강 상태 가시화 장치에 의해 수행되는 건강 상태 가시화 방법에 있어서,
3차원 인체 정보 인식 장치로부터, 사용자의 인체 깊이 데이터에 상응하는 3차원 영역 정보 및 3차원 관절 정보를 포함하는 3차원 인체 정보를 수신하는 단계,
상기 사용자에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 단계, 그리고
상기 표준 인체 모델 및 상기 3차원 인체 정보의 비교 결과를 가시화하여 출력하는 단계
를 포함하는 건강 상태 가시화 방법.
제12항에 있어서,
상기 3차원 영역 정보는 학습된 인체 영역 학습 모델을 기반으로 상기 사용자에 상응하는 인체 깊이 데이터를 주요 영역으로 구분하여 생성된 것이고, 상기 3차원 관절 정보는 인체 관절 위치 학습 모델 및 상기 주요 영역의 포인트 위치를 기반으로 관절의 위치를 보정하여 생성된 것을 특징으로 하는 건강 상태 가시화 방법.
제13항에 있어서,
상기 인체 영역 학습 모델은,
실제 깊이 값과 위치 좌표에 대한 실측 데이터인 제1 실측 데이터, 인체 영역 별로 서로 상이한 색상이 레이블된 영상을 포함하는 제2 실측 데이터 및 인체의 3차원 관절 식별자와 위치 좌표에 대한 실측 데이터인 제3 실측 데이터 중 적어도 어느 하나의 실측 데이터를 기반으로 생성된 것을 특징으로 하는 건강 상태 가시화 방법.
제13항에 있어서,
상기 인체 관절 위치 학습 모델은,
상기 인체 영역과 관절 간 오프셋 정보와 상기 인체 영역 학습 모델을 기반으로 생성된 것을 특징으로 하는 건강 상태 가시화 방법.
제12항에 있어서,
상기 사용자에 상응하는 신체 정보를 입력받는 단계를 더 포함하는 것을 특징으로 하는 건강 상태 가시화 방법.
제16항에 있어서,
상기 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 단계는,
상기 신체 정보에 상응하는 표준 인체 모델과 상기 3차원 인체 정보를 비교하는 것을 특징으로 하는 건강 상태 가시화 방법.
제12항에 있어서,
상기 비교 결과를 가시화하여 출력하는 단계는,
상기 사용자의 신체 영역별 비만 정보 및 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 출력하는 것을 특징으로 하는 건강 상태 가시화 방법.
제18항에 있어서,
상기 비교 결과를 가시화하여 출력하는 단계는,
상기 3차원 인체 정보를 기반으로, 색상, 점선, 방향 지시선 중 적어도 어느 하나의 형태로 상기 비만 정보 및 상기 자세 교정 정보를 출력하는 것을 특징으로 하는 건강 상태 가시화 방법.
제18항에 있어서,
상기 사용자의 상기 신체 영역별 비만 정보 및 상기 관절 위치별 자세 교정 정보 중 적어도 어느 하나를 기반으로, 상기 사용자에게 운동 및 자세 추천 서비스를 제공하는 단계를 더 포함하는 것을 특징으로 하는 건강 상태 가시화 방법.