KR102097190B1 - 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러 - Google Patents

Abstract

본 발명에 의하면, 스마트 미러(smart mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법에 있어서, 적어도 하나의 이미지 센서로부터 사용자의 운동 동작과 관련된 영상을 획득하는 단계, 획득한 영상에 기초하여 사용자의 신체 치수를 측정하는 단계, 측정된 신체 치수에 기초하여 사용자의 3차원(3D) 근골격 모델을 생성하는 단계, 3D 근골격 모델에 기초하여 사용자의 관절 위치를 추정하는 단계, 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하는 단계, 및 인식된 운동 동작에 기초하여 실시간 렌더링된 사용자의 신체 이미지를 디스플레이하는 단계를 포함하는 실시간 운동 동작 분석 방법을 제공할 수 있다.

Description

스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러{METHOD FOR ANALYZING AND DISPLAYING A REALTIME EXERCISE MOTION USING A SMART MIRROR AND SMART MIRROR FOR THE SAME}

본 발명은 스마트 미러(mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법 및 이를 위한 스마트 미러 장치에 관한 것이다. 보다 구체적으로, 본 발명은 사용자의 운동 동작을 실시간 측정 및 분석하고, 운동 동작 관련 정보를 실시간 렌더링 처리를 통해 직관적인 사용자 인터페이스(UI, User Interface)를 갖는 거울(mirror) 형태의 미러 디스플레이를 제공하기 위한 방법 및 이를 위한 스마트 미러 장치에 관한 것이다.

미러 디스플레이 또는 거울 디스플레이는 거울의 외형을 가지면서 거울에 디스플레이 장치가 부착되고 통합되어 있어, 거울에 부가 정보가 함께 보이는 디스플레이 장치를 의미한다. 이와 같은 미러 디스플레이는 사용자에게 시각적으로 다양한 정보 및 실감형 디스플레이를 제공할 수 있어 광고, 패션 분야에서 점차 많이 사용되고 있다. 특히, 패션 분야에서 이미지 센서를 장착한 키오스크 형태의 미러 디스플레이 앞에서 사용자의 신체 부위에 가상의 의류나 액세서리를 그래픽적으로 렌더링하여 가상 체험을 제공해주는 서비스가 제공되고 있다.

또한 증강 현실(Augmented Reality; AR) 기술은 영상 및 사진을 보여줄 때 컴퓨터가 만들어 낸 유용한 정보를 이미지에 겹쳐서 결합하거나 합성하는 과정을 통해 현실의 이미지에 가상 이미지 또는 정보를 함께 보여주는 기술을 의미한다.

한편, 스포츠 현장 또는 피트니스(fitness) 현장에서 운동 지도 시에 지도자의 동작 측정 및 평가에 기초하여 수행되기 때문에, 측정자의 주관적 평가기준에 따라 결과에 대해 고객의 이해도나 신뢰도가 낮을 수 있으며, 이론적 설명이 난해한 경우도 발생하여, 이와 같은 문제점을 해결하기 위해 미러 디스플레이 및 AR 기술을 이용할 필요가 있다.

대한민국 등록특허공보 제10-1359570호

본 발명은 컴퓨터 비전을 이용하여 인체의 정적 및 동적 정보를 취득 및 분석함으로써, 사용자의 운동 동작에 따른 실사용 근육을 실시간 렌더링을 통해 디스플레이할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 운동 측정자 또는 지도자의 주관적 평가기준에 따라 운동 동작을 평가하는 대신에, 영상 센서를 통한 사용자의 객관적 형상 및 관절의 모션 정보를 측정 및 분석함으로써 운동 동작 평가의 신뢰도 및 정확성을 향상시키는 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 실시간 운동 동작 분석에 따른 피드백 정보를 시각적으로 제공함으로써, 동작 오류에 대한 고객의 이해 및 동작 개선을 효과적으로 향상시키는 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 사용자 데이터 누적 관리 및 운동 패턴 학습을 통해 표준화 및 정량화되고 사용자 맞춤화된 운동 관리 서비스를 제공하는 것을 목적으로 한다.

또한, 본 발명은 증강 현실(AR, Augmented Reality) 기술을 스마트 미러에 적용함으로써, 미러 디스플레이에 나타난 사용자의 모습에 운동 동작 관련 이미지 또는 정보를 더하여 제공함으로써 보다 직관적이고 효율적인 운동 정보 제공이 가능한 방법 및 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 사물 인터넷(IoT) 기술을 활용하여 사용자 인식 또는 식별을 통하여 위치 및 장소에 제약 받지 않는 실시간 운동 동작 분석 및 지도를 위한 스마트 미러 시스템을 제공하는 것을 목적으로 한다.

본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면, 스마트 미러(smart mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법에 있어서, 적어도 하나의 이미지 센서로부터 사용자의 운동 동작과 관련된 영상을 획득하는 단계; 상기 획득한 영상에 기초하여 상기 사용자의 신체 치수를 측정하는 단계; 상기 측정된 신체 치수에 기초하여 상기 사용자의 3차원(3D) 근골격 모델을 생성하는 단계; 상기 3D 근골격 모델에 기초하여 상기 사용자의 관절 위치를 추정하는 단계; 상기 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하는 단계; 및 상기 인식된 운동 동작에 기초하여 실시간 렌더링된 상기 사용자의 신체 이미지를 디스플레이하는 단계를 포함하는 실시간 운동 동작 분석 및 디스플레이 방법을 제공할 수 있다.

여기서, 상기 사용자의 성별, 연령 및 체성분 정보 중 적어도 하나의 개인 정보를 수신하는 단계; 및 상기 개인 정보 및 상기 측정된 신체 치수와 관련된 정보에 기초하여 상기 3D 근골격 모델을 생성하는 단계를 더 포함하는 실시간 운동 동작 분석 및 디스플레이 방법을 제공할 수 있다.

또한, 상기 사용자의 신체 치수를 측정하는 단계는, 기계학습 기반의 동작별 관절위치 정보와 기초적인 동작 검사를 통해 상기 사용자의 머리, 몸통, 팔 및 다리의 각 관절부위를 인식함으로써, 상기 사용자의 몸통, 두 팔 및 두 다리의 길이를 측정하는 단계; 및 상기 사용자의 시상면과 관상면의 실루엣 사이의 거리 측정에 기초하여 상기 사용자의 몸통, 두 팔 및 두 다리의 둘레를 측정하는 단계를 포함할 수 있다.

또한, 상기 운동 동작을 인식하는 단계는, 상기 사용자의 관절 위치의 변화와 관련된 정보 및 운동 정보 데이터베이스(DB)로부터 획득한 정보에 기초하여 상기 운동 동작과 관련된 실사용 근육과 관절부위를 판단할 수 있다. 또한, 상기 사용자의 신체 이미지를 디스플레이하는 단계는, 상기 운동 동작과 관련된 실사용 근육과 관련된 부분을 렌더링하여 합성한 신체 이미지를 디스플레이할 수 있다.

또한, 상기 사용자의 관절 위치의 측정값에 기초하여 운동 동작을 인식하는 단계는, 상기 사용자의 관절 위치의 측정값에 기초하여 상기 관절 위치의 이동 범위가 미리 결정된 범위 이내인 경우 동작을 미인식할 수 있다.

또한, 상기 인식된 운동 동작에 기초하여 상기 운동 동작의 오류를 판단하는 단계를 더 포함하고, 상기 오류 판단 단계는, 상기 사용자의 현재 관절 위치 및 운동 정보 데이터베이스(DB)로부터 획득한 관련 관절의 운동 범위에 기초하여 상기 운동 동작의 오류 여부를 판단하고, 상기 운동 동작의 오류가 있다고 판단하는 경우 상기 오류와 관련된 근육 부위를 결정할 수 있다. 상기 오류 판단 단계는 상기 사용자의 관상면, 횡단면 및 시상면에 기초하여 상기 인식된 운동 동작 관련 관절의 운동 범위를 기준으로 오류를 판단할 수 있다.

또한, 상기 사용자의 신체 이미지를 디스플레이하는 단계는, 상기 오류와 관련된 근육 부위를 구분하여 표시할 수 있다. 또한, 상기 오류 판단과 관련된 데이터를 상기 사용자와 연관시켜 저장하는 단계; 및 상기 오류 판단과 관련된 누적 데이터에 기초하여 상기 사용자의 동작 오류 패턴을 예측하는 단계를 더 포함할 수 있다.

또한, 적어도 하나의 상기 이미지 센서에 기초하여 상기 사용자를 식별하는 단계를 더 포함하고, 상기 오류 판단 단계는 기 저장된 상기 사용자의 정보에 기초하여 수행될 수 있다. 또한, 상기 사용자의 신체 이미지를 디스플레이하는 단계는, 상기 인식된 운동 동작과 관련된 기준선을 실시간 렌더링하여 디스플레이할 수 있다.

본 발명의 다른 실시예에 따르면, 실시간 운동 동작을 분석 및 디스플레이하기 위한 스마트 미러에 있어서, 사용자의 운동 동작과 관련된 영상을 획득하기 위한 이미지 센서; 상기 이미지 센서로부터 획득한 영상에 기초하여 상기 사용자의 신체 치수를 측정하기 위한 신체 측정부; 상기 측정된 신체 치수에 기초하여 상기 사용자의 3차원(3D) 근골격 모델을 생성하기 위한 3D 모델 생성부; 상기 3D 근골격 모델에 기초하여 상기 사용자의 관절 위치를 추정하고, 상기 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하기 위한 운동 동작 분석부; 및 상기 인식된 운동 동작에 기초하여 실시간 렌더링된 상기 사용자의 신체 이미지를 디스플레이하기 위한 미러부를 포함하는 스마트 미러를 제공할 수 있다.

여기서, 상기 사용자의 성별, 연령 및 체성분 정보 중 적어도 하나의 개인 정보를 수신하도록 구성된 사용자 정보 데이터베이스(DB)를 더 포함하고, 상기 3D 모델 생성부는 상기 사용자 정보 DB에 저장된 상기 개인 정보 및 상기 측정된 신체 치수와 관련된 정보에 기초하여 상기 3D 근골격 모델을 생성할 수 있다. 또한, 상기 신체 측정부는, 기계학습 기반의 동작별 관절위치 정보와 기초적인 동작 검사를 통해 상기 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 상기 사용자의 두 팔 및 두 다리의 길이를 측정하도록 구성되고, 또한, 상기 사용자의 시상면과 관상면의 실루엣 사이의 거리 측정에 기초하여 상기 사용자의 두 팔 및 두 다리의 둘레를 측정하도록 구성될 수 있다.

또한, 상기 운동 동작 분석부는, 상기 사용자의 관절 위치의 변화와 관련된 정보 및 운동 정보 데이터베이스(DB)로부터 획득한 정보에 기초하여 상기 운동 동작과 관련된 실사용 근육 부위를 판단하도록 구성될 수 있다. 또한, 상기 운동 동작과 관련된 실사용 근육과 관절의 해당 부분을 렌더링하여 합성한 신체 이미지를 생성하기 위한 렌더링 화면 생성부를 더 포함하고, 상기 미러부는 상기 합성한 신체 이미지를 디스플레이할 수 있다.

또한, 상기 운동 동작 분석부는, 상기 사용자의 관절 위치의 측정값에 기초하여 상기 관절 위치의 이동 범위가 미리 결정된 범위 이내인 경우 동작을 미인식할 수 있다.

또한, 상기 운동 동작 분석부는 상기 인식된 운동 동작에 기초하여 상기 운동 동작의 오류를 판단하도록 구성되고, 상기 운동 동작 분석부는, 상기 사용자의 현재 관절 위치 및 운동 정보 데이터베이스(DB)로부터 획득한 관련 관절의 운동 범위에 기초하여 상기 운동 동작의 오류 여부를 판단하고, 상기 운동 동작의 오류가 있다고 판단하는 경우 상기 오류와 관련된 근육과 관절 부위를 결정할 수 있다.

또한, 상기 운동 동작 분석부는 상기 사용자의 관상면, 횡단면 및 시상면에 기초하여 상기 인식된 운동 동작 관련 관절의 운동 범위를 기준으로 오류를 판단할 수 있다. 또한, 상기 미러부는 상기 오류와 관련된 근육과 관절 부위를 구분하여 표시할 수 있다. 또한, 상기 오류 판단과 관련된 데이터를 상기 사용자와 연관시켜 저장하도록 구성된 운동 정보 데이터베이스(DB); 및 상기 오류 판단과 관련된 누적 데이터에 기초하여 상기 사용자의 동작 오류 패턴을 예측하도록 구성된 운동 동작 오류 예측부를 더 포함할 수 있다.

또한, 상기 적어도 하나의 이미지 센서에 기초하여 상기 사용자를 식별하도록 구성된 사용자 인식부를 더 포함하고, 상기 운동 동작 분석부는 기 저장된 상기 사용자의 정보에 기초하여 상기 운동 동작의 오류를 판단할 수 있다. 또한, 상기 렌더링 화면 생성부는 상기 인식된 운동 동작과 관련된 기준선을 실시간 렌더링하도록 구성될 수 있다.

본 발명에 의하면, 본 발명은 컴퓨터 비전을 이용하여 인체의 정적 및 동적 정보를 취득 및 분석함으로써, 사용자의 운동 동작에 따른 실사용 근육과 관절을 실시간 렌더링을 통해 디스플레이할 수 있는 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 운동 측정자 또는 지도자의 주관적 평가기준에 따라 운동 동작을 평가하는 대신에, 영상 센서를 통한 사용자의 객관적 형상 및 관절의 모션 정보를 측정 및 분석함으로써 운동 동작 평가의 신뢰도 및 정확성을 향상시키는 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 실시간 운동 동작 분석에 따른 피드백 정보를 시각적으로 제공함으로써, 동작 오류에 대한 고객의 이해 및 동작 개선을 효과적으로 향상시키는 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 사용자 데이터 누적 관리 및 운동 패턴 학습을 통해 표준화 및 정량화되고 사용자 맞춤화된 운동 관리 서비스를 제공할 수 있다.

또한, 본 발명에 의하면, 증강 현실(AR, Augmented Reality) 기술을 스마트 미러에 적용함으로써, 미러 디스플레이에 나타난 사용자의 모습에 운동 동작 관련 이미지 또는 정보를 더하여 제공함으로써 보다 직관적이고 효율적인 운동 정보 제공이 가능한 방법 및 장치를 제공할 수 있다.

또한, 본 발명에 의하면, 사물 인터넷(IoT) 기술을 활용하여 사용자 인식 또는 식별을 통하여 위치 및 장소에 제약 받지 않는 실시간 운동 동작 분석을 위한 스마트 미러 시스템을 제공하는 것을 목적으로 한다.

본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 렌더링 처리부의 구성을 설명하기 위한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 외형을 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 스마트 미러(smart mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 스마트 미러(smart mirror)를 이용한 실시간 운동 동작 분석을 통해 운동 동작의 오류를 판단하는 방법을 설명하기 위한 흐름도이다.
도 6a는 본 발명의 일 실시예에 따라 고정 운동 수행 시 운동 동작 오류의 판단 및 분석을 설명하기 위한 예시도이다.
도 6b는 본 발명의 일 실시예에 따라 자유 운동 수행 시 운동 동작 오류의 판단 및 분석을 설명하기 위한 예시도이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따라 실사용 근육을 실시간 렌더링하여 디스플레이하는 스마트 미러 화면의 예시도이다.
도 8a는 본 발명의 일 실시예에 따라 동작별 실사용 근육을 디스플레이하는 스마트 미러 화면의 예시도이다.
도 8b는 본 발명의 일 실시예에 따라 운동 동작 오류를 표시하여 디스플레이하는 스마트 미러 화면의 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서 사용되는 "포함한다(comprises)", "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 이와 같은 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.

도 1은 본 발명의 일 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 구성을 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따른 스마트 미러는 미러부(100), 렌더링 처리부(200), 이미지 센서(300), 입력부(400) 및 통신부(500)를 포함할 수 있다.

미러부(100)는 일반 거울과 유사한 형태를 가지며, 거울에 디스플레이 장치가 부착되어 통합된 디스플레이 장치로서, 예컨대 반사율과 투과율이 일정 수준 이상인 유리의 후면에 디스플레이 패널을 부착한 형태로 구성될 수 있다. 또한, 미러부(100)는 예컨대 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 퀀텀닷 디스플레이(quantum dot display), 마이크로 LED, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 등을 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 이와 같은 미러부(100)의 일부는 입력 부(400)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.

미러부(100)는 사용자에게 운동 동작과 관련된 참고 영상 등을 디스플레이하기 위한 영상 디스플레이부(110) 및 사용자의 모습 및 운동 동작을 렌더링된 화면으로 디스플레이하기 위한 렌더링 디스플레이부(120)를 포함할 수 있다. 영상 디스플레이부(110) 및 렌더링 디스플레이부(120)는 미러부(100) 내의 적절한 위치에 서로 겹치지 않도록 배치될 수 있다.

디스플레이부(221)는 예컨대 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 LED, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 이와 같은 디스플레이부(221)는 입력 수신부(210)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.

렌더링 처리부(200)는 이미지 센서(300)로부터 획득한 영상에 기초하여 사용자의 신체 치수를 측정하고, 측정된 신체 치수에 기초하여 사용자의 3차원(3D) 모델을 생성할 수 있다. 또한, 렌더링 처리부(200)는 생성된 3D 모델에 기초하여 사용자의 관절 위치를 추정하고, 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하고, 이와 같이 인식된 운동 동작에 기초하여 실시간 렌더링된 사용자의 신체 이미지를 생성할 수 있다. 렌더링 처리부(200)는 사용자의 동작 인식, 분석 및 렌더링 화면 생성과 관련된 각종 제어 및 처리 동작을 수행하며, 복수의 구성 요소들의 제어 및 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 예컨대, 렌더링 처리부(200)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다. 렌더링 처리부(200)의 구체적인 구성 요소에 대한 설명은 이후에 도 2를 참조하여 상세히 설명될 것이다.

이미지 센서(300)는 사용자의 모습 또는 운동 동작을 촬영 및 캡처(capture)할 수 있는 적어도 하나 이상의 카메라를 포함할 수 있으며, 예컨대 거리 측정이 가능한 깊이(depth) 카메라 또는 일반 컬러 카메라의 형태로 구성될 수 있고, 깊이 센서(depth sensor) 또는 적외선 센서 중 하나 이상을 포함할 수 있다. 이미지 센서(300)는 사용자의 운동 동작과 관련된 영상을 획득하기 위한 적절한 위치에 배치될 수 있으며, 예컨대, 미러부(100)의 가장자리 근처, 예컨대 상단 중앙 등의 위치에 설치되어 앉거나 서서 운동하는 사용자의 모습을 촬영할 수 있으며 하단에 설치되어 바닥에서 운동하는 사용자의 모습을 촬영할 수 있다. 또한 서로 상이한 위치에 배치되는 복수의 이미지 센서(300)로 구성되어 사용자의 전면 및 후면을 모두 촬영하는 것도 가능하다.

입력부(400)는 사용자의 조작 및 선택을 위해 다양한 입력을 수신하기 위해, 터치 패드(touch pad), 터치 패널(touch pad), 키 패드(Key pad), 돔 스위치(dome switch), 물리 버튼, 조그 셔틀(jog shuttle) 및 센서(sensor) 중 적어도 하나를 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 입력부(400)는 사용자의 음성을 수신하기 위한 마이크(microphone)를 더 포함할 수 있다.

스마트 미러는 통신부(500)를 통해 사용자 단말 또는 운동 동작 분석과 관련된 외부 메인 서버 또는 관련 앱(application) 서버와 연결되어 통신 가능하다. 통신부(500)는 유선 통신이나 무선 통신 중 적어도 하나를 통한 데이터 송수신을 수행하며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN, Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network)등 다양한 통신망을 지원하도록 구성될 수 있으며, 예컨대 통신 방식은 LTE(long term evolution), WCDMA(wideband code division multiple access), CDMA(code division multiple access), GSM(global system for mobile communications), WiFi(wireless fidelity), 블루투스(bluetooth) 및 NFC(near field communications) 중 적어도 하나를 포함할 수 있으며, 이들에 제한되지 않는다.

또한, 스마트 미러의 통신부(500)를 통해 통신하는 사용자 단말은 사용자의 입출력 조작에 따라 유무선 통신망 등을 경유하여 각종 데이터 등을 송수신 및 처리하고, 디스플레이할 수 있는 단말기일 수 있으며, 예컨대 스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 데스크탑(desktop) 컴퓨터, 랩탑(laptop) 컴퓨터, 노트북, 워크스테이션(workstation), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 무선 전화기(wireless phone), 모바일 폰(mobile phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 텔레비전(television), 웨어러블 디바이스(wearable device), 음성 인식 스피커, 스마트 스피커, AI(인공지능) 스피커 중 하나일 수 있으며, 이들에 제한되지 않는다.

도 2는 본 발명의 일 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 렌더링 처리부의 구성을 설명하기 위한 블록도이다.

본 발명의 일 실시예에 따른 렌더링 처리부(200)는 영상 획득부(210), 신체 측정부(220), 3D(3차원) 모델 생성부(230), 운동 동작 분석부(240), 렌더링 화면 생성부(250), 운동 동작 오류 예측부(260), 사용자 정보 DB(데이터베이스)(270), 운동 정보 DB(데이터베이스)(280)를 포함할 수 있다.

영상 획득부(210)는 이미지 센서(300)에서 촬영한 사용자의 운동 동작과 관련된 영상을 수신한다. 영상 획득부(210)는 이미지 센서(300)와 유무선 통신 등을 통해 사용자의 촬영 영상 및 캡쳐 이미지 등의 데이터를 수신하여 저장할 수 있다.

영상 획득부(210)는 획득한 사용자의 이미지 또는 영상 등에 기초하여 사용자를 식별하도록 구성된 사용자 인식부(211)를 포함할 수 있다. 사용자 인식부(211)는 사용자의 생체신호를 통한 인증으로, 얼굴 인식, 홍채 인식, 지문 인식, 음성 인식, 심박패턴 인식, 운동 패턴 인식 등에 기초하여 무자각 및 무인지하게 사용자를 식별함으로써, 사용자의 별도의 로그인 정보 입력 없이 간편하게 사용자 식별 인식이 가능하며, 동작 분석, 동작 오류 판단, 동작 오류 예측 등을 기 저장된 사용자 정보에 기초하여 수행할 수 있다.

신체 측정부(220)는 영상 획득부(210)에서 획득한 영상에 기초하여 사용자의 신체 치수를 측정하는 역할을 수행한다. 신체 측정부(220)는 기계학습 기반의 동작별 관절위치 정보와 기초적인 동작 검사를 통해 획득한 영상에 기초하여 사용자의 각 사지, 즉 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 사용자의 몸통 및 두 팔 그리고 두 다리의 길이를 측정할 수 있다. 또한, 필요에 따라 사용자의 몸통 길이를 제외하고 두팔 및 두 다리의 길이만을 측정할 수 있다. 또한, 신체 측정부(220)는 각 관절정보 중간값에 몸통의 수직선을 이어 시상면과 관상면의 실루엣 사이의 거리에 기초하여 사용자의 몸통 및 각 사지 둘레측정을 수행할 수 있으며, 예컨대 브레슨햄(Bresenham) 알고리즘을 이용하여 측정가능하다.

3D 모델 생성부(230)는 신체 측정부(220)에서 측정된 신체 치수에 기초하여 사용자의 3차원(3D) 근골격 메시 모델을 생성할 수 있다.

운동 동작 분석부(240)은 3D 모델 생성부(230)에서 생성된 3D 근골격 메시 모델(mesh model)에 기초하여 사용자의 관절 위치를 추정하고, 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식 및 식별할 수 있다.

또한, 운동 동작 분석부(240)는 사용자의 관절 위치의 변화와 관련된 정보 및 운동 정보 데이터베이스(DB)(280)로부터 획득한 정보에 기초하여 현재 사용자가 수행하는 운동 동작과 관련된 실사용 근육 또는 관절 부위를 판단할 수 있다.

운동 정보 데이터베이스(DB)(280)는 기능 해부학과 운동학 기반의 라이브러리 정보를 포함할 수 있다. 또한, 운동 정보 DB(280)는 각 사용자의 누적된 운동 동작 오류 관련 정보를 포함하는 사용자 특유의(user-specific) 운동 정보를 저장하기 위한 사용자 동작 오류 DB(281)를 포함할 수 있다.

또한, 운동 동작 분석부(240)는 사용자의 관절 위치의 측정값에 기초하여 관절 위치의 이동 범위가 미리 결정된 범위 이내인 경우 동작을 미인식하도록 구성될 수 있다. 즉, 알고리즘 상 움직임으로 인식되는 관절별 위치 이동과 관련하여 역치값(threshold value)을 설정함으로써, 역치값 이하의 이동인 경우 동작으로 인식하지 않을 수 있다.

또한, 운동 동작 분석부(240)는 인식된 운동 동작에 기초하여 운동 동작의 오류를 판단하도록 구성된 오류 분석 판단부(241)를 포함할 수 있다. 오류 분석 판단부(241)는 사용자의 현재 관절 위치 및 운동 정보 DB(280)로부터 획득한 관련 관절의 운동 범위에 기초하여 운동 동작의 오류 여부를 판단하고, 운동 동작의 오류가 있다고 판단하는 경우 운동 정보 DB(280)에서 획득한 정보에 기초하여 오류와 관련된 근육을 결정할 수 있다.

인체는 3개의 면, 즉 관상면, 횡단면 및 시상면과 축에 자유도를 가지며, 각각의 관절면이 올바른 관절운동 범위를 기준으로 역치 기준 이상으로 동작이 벗어나면 운동 동작 오류로 인식할 수 있다. 따라서, 오류 분석 판단부(241)는 사용자의 관상면, 횡단면 및 시상면에 기초하여 인식된 운동 동작 관련 관절의 운동 범위를 기준으로 운동 동작의 오류 여부 및 오류가 발생하는 근육 부위 및 관절 부위 중 적어도 하나의 부위 등을 판단할 수 있다.

이와 같이 오류 분석 판단부(241)에서 오류가 발생한 신체 근육 부분은 미러부(100)의 렌더링 디스플레이부(120)를 통해 다른 부분과 다르게 차별적으로 표시됨으로써, 사용자가 현재 운동 동작에서 오류가 발생하는 근육을 직관적으로 인식가능하게 해줄 수 있다. 또한, 오류 분석 판단부(241)는 사용자 인식부(211)를 통해 해당 사용자를 식별 및 인식함으로써, 기 저장된 사용자 정보에 기초하여 운동 동작의 오류를 판단할 수 있다. 해당 사용자의 기존 누적 데이터로부터 운동 동작 오류 패턴 등을 파악함으로써 보다 정확하고 신속한 오류 판단이 가능하며, 운동 동작의 개선 효과 등도 파악할 수 있다.

또한, 운동 동작 분석부(240)는 사용자의 운동 동작 오류를 개선하기 위한 솔루션을 생성하기 위한 운동 동작 오류 개선 모델 생성부(242)를 포함할 수 있다. 운동 동작 오류 개선 모델 생성부(242)는 각 사용자에게 자주 오류가 발생하는 운동 동작이나, 오류가 발생하는 특정 근육 및 관절 정보, 오류 패턴 정보 등에 기초하여 사용자 맞춤형 교정 솔루션을 생성할 수 있다. 또한, 누적된 운동 정보 데이터에 기초하여, 교정 운동 시행에 따라 타 사용자의 운동 동작 패턴 개선 데이터와 해당 사용자의 운동동작 패턴 개선 데이터를 축적 및 분석하고, 딥 러닝 등의 기계 학습 기반으로 운동 동작의 개선 변화도를 분석하고 학습 모델을 생성함으로써 효과적인 운동 동작 오류 개선 모델을 생성할 수 있다.

렌더링 화면 생성부(250)는 운동 동작 분석부(240)에서의 분석을 통해 인식된 운동 동작에 기초하여 사용자의 신체 이미지를 실시간 렌더링하는 실시간 렌더링 화면을 생성한다. 또한, 렌더링 화면 생성부(250)는 현재 수행되는 운동 동작과 관련된 실사용 근육과 해당 부분만을 운동 동작 분석부(240)의 분석을 통해 판단함으로써, 실사용 근육과 관절만을 다른 부분과 다르게 해부학적 근육과 관절 모양으로 렌더링하여 합성한 신체 이미지를 생성할 수 있다. 이와 같이 생성된 렌더링 이미지는 미러부(100)를 통해 디스플레이 될 수 있다.

또한, 렌더링 화면 생성부(250)는 인식된 운동 동작과 관련된 기준선을 실시간 렌더링하여 표시함으로써, 수직선 또는 수평선 등의 기준선 표시를 통해 사용자의 올바른 동작을 유도할 수 있다. 또한, 현재 운동 동작에 오류가 있는 것으로 판단되는 경우, 사용되지 말아야 하나 보상적으로 사용되는 오류 근육은 정상 동작 시 사용되는 근육과 상이한 색상으로 표현하거나 또는 도형 형상 표시와 함께 오류 표시를 디스플레이 함으로써, 오류 근육과 관절 부위를 직관적으로 파악할 수 있도록 할 수 있다. 이와 함께 신체 중심을 기준으로 수직선 또는 수평선, 그리고 사용관절 이동경로 기준선을 동작 중에 표시함으로써 올바른 동작으로 돌아갈 수 있도록 유도할 수 있다.

운동 동작 오류 예측부(260)는 운동 동작의 오류 판단과 관련된 누적 데이터에 기초하여 사용자의 동작 오류 패턴을 예측하도록 구성된다. 예컨대, 오류 판단과 관련된 데이터를 사용자와 연관시켜 저장하여 데이터베이스(DB)를 구축한 운동 정보 DB(280)로부터 해당 사용자와 관련된 누적 데이터에 기초하여 오류 관련 정보를 추출할 수 있으며, 추출된 오류 관련 정보에 기초하여 해당 사용자에게 발생 가능성이 높은 동작 오류 패턴을 미리 예측할 수 있다. 이와 같이 과거 데이터의 분석에 기초하여 사용자에게 발생 가능성이 높은 동작 오류 패턴 정보를 미리 제공함으로써, 사용자에게 올바른 운동 동작을 보다 효과적으로 유도할 수 있다.

사용자 정보 데이터베이스(DB)(270)는 사용자의 성별, 연령 및 체성분 정보 중 적어도 하나의 개인 정보를 수신하도록 구성될 수 있다. 3D 모델 생성부(230)는 사용자 정보 DB(270)에 저장된 개인 정보 및 측정된 신체 치수 정보에 기초하여 3D 근골격 모델을 생성할 수 있다.

도 3a는 본 발명의 일 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 외형을 설명하기 위한 예시도이다.

도 3a를 참조하면, 미러부(100)는 일반 영상을 디스플레이하는 영상 디스플레이부(110) 및 사용자의 운동 동작에 기초하여 렌더링된 화면을 디스플레이하는 렌더링 디스플레이부(120)로 구성될 수 있다.

영상 디스플레이부(110)는 사용자의 운동 동작과 관련된 영상 화면을 디스플레이할 수 있으며, 예컨대 사용자가 고정 운동을 수행할 때는 관련 영상 화면을 디스플레이하고, 사용자가 고정 운동이 아닌 자유 운동을 수행할 때는 영상을 디스플레이하지 않을 수 있다.

이미지 센서(300)를 통해 현재 사용자의 운동 동작을 획득하고, 운동 동작 영상의 분석을 통해 현재 수행하는 운동 동작이 고정 운동 중 하나의 운동 동작이라고 판단되는 경우, 영상 디스플레이부(110)를 통해 판단된 고정 운동과 관련된 영상 또는 사용근육에 대한 세부정보를 디스플레이할 수 있다.

렌더링 디스플레이부(120)는 사용자의 전면을 디스플레이하기 위한 전면 디스플레이부(121) 및 사용자의 후면을 디스플레이하기 위한 후면 디스플레이부(122)를 포함할 수 있다. 사용자의 선택에 따라 전면 디스플레이부(121) 및 후면 디스플레이부(122)를 각각 메인 화면 또는 보조 화면으로 선택할 수 있으며, 전면 및 후면 중 어느 하나의 디스플레이가 필요없는 경우 전면 디스플레이부(121) 또는 후면 디스플레이부(122)를 비활성화 또는 배치구조를 변경시킬 수 있다.

전면 디스플레이부(121)를 참조하면, 사용자의 운동 동작의 인식에 기초하여 신체 중심선(123)을 표시할 수 있다. 신체 중심선(123)은 수평선 및 수직선을 포함할 수 있으며, 사용자 선택에 따라 필요한 선만을 활성화시킬 수 있다. 또한, 사용자에게 반복적으로 동작 오류가 발생하는 경우, 오류에 따른 보상적 사용 근육과 관절에 대해 오류 표시부(124)를 통해 나타낼 수 있다. 오류 표시부(124)는 별도의 색상 또는 원형 등의 형상으로 표시하여 사용자가 직관적으로 인식할 수 있도록 디스플레이할 수 있다.

이미지 센서(300)는 사용자의 모습 또는 운동 동작을 촬영 및 캡처할 수 있는 하나 이상의 카메라로 구성되며, 깊이 센서(depth sensor), 적외선 센서 및 이미지센서 중 하나 이상이 내장되어 있을 수 있으며, 미러부(100)의 상단,하단 중앙 등 적절한 위치에 설치될 수 있다. 또한, 이미지 센서(300)의 일부 카메라는 사용자의 후면을 촬영하기 위해 미러부(100)와 분리되어 떨어진 위치에 배치될 수 있다.

입력부(400)는 미러부(100)와 통합된 터치 버튼 등의 형태로 구성될 수 있으며, 해당 버튼의 선택 및 사용자의 음성 인식 등에 기초하여 사용자 입력을 수신할 수 있다.

도 3b는 본 발명의 다른 실시예에 따른 실시간 운동 동작을 분석하기 위한 스마트 미러의 외형을 설명하기 위한 예시도이다.

사용자 편의에 따라 도 3a에서 도시된 스마트 미러와 다른 형태로 구성가능하며, 전면 디스플레이부(121) 상부에 영상 디스플레이부(110)를 배치할 수 있으며, 입력부(400)도 사용자의 편의에 따라 다양한 위치에 배치가능하다.

도 4는 본 발명의 일 실시예에 따른 스마트 미러(smart mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법을 설명하기 위한 흐름도이다.

먼저 적어도 하나의 이미지 센서(300)를 통해 촬영된 사용자의 영상 정보를 획득한다.(S410)

획득한 사용자 영상 정보에 기초하여 사용자의 신체 치수를 측정하고(S420), 측정된 신체 치수에 기초하여 상기 사용자의 3차원(3D) 근골격 메시 모델을 생성한다.(S430)

신체 치수 측정 단계는 기초적인 동작 검사를 통해 상기 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 사용자의 몸통, 두 팔 및 두 다리의 길이를 측정하는 단계와 사용자의 시상면과 관상면의 실루엣 사이의 거리 측정에 기초하여 상기 사용자의 몸통, 두 팔 및 두 다리의 둘레를 측정하는 단계를 포함할 수 있다.

또한, 사용자로부터 획득한 성별 또는 연령 정보와 같은 개인 정보를 이용하여 개인 정보 및 측정된 신체 치수 정보에 기초하여 표준화된 3D 근골격 메시 모델을 생성할 수 있다. 3D 근골격 메시 모델은 투명한 선을 기준으로 작성되며, 표면의 주요 근육군이 구분되도록 모델링될 수 있다.

또한, 생체 전기 임피던스를 통한 체성분 측정정보를 기반으로 부위별 피하지방 두께를 추정하여 사용자의 실루엣과 3D 근골격 메시 모델 사이의 간격을 설정할 수 있다. 여기서, 사용되는 정보는 성별, 연령, BMI(신체질량지수), 체지방 및 체지방량 등이 될 수 있으며 회귀식을 통해 피하지방 두께를 추정할 수 있다. 이와 같은 다양한 정보에 기초하여 표준 3D 근골격 메시 모델을 사용자의 신체에 맞게 변형하여 적용함으로써, 보다 정확한 3D 신체 모델링이 가능하다.

3D 근골격 모델에 기초하여 3D 신체 자세 매칭이 수행된다.(S440) 3D 신체 자세 매칭은 3D 근골격 모델에 기초하여 사용자의 관절 위치를 추정하고, 추정된 관절 위치 또는 이동에 기초하여 운동 동작을 매칭하여 인식하도록 이루어진다. 이와 같은 신체 자세 매칭(정합)은 보다 구체적으로 아래 단계와 같이 수행될 수 있다.

1) 깊이(Depth) 센서 또는 동작별 관절위치 정보 기계학습 기반의 일반 컬러 이미지 센서(300)를 통해 최초 각 관절별 좌표를 받아 트래킹 노이즈(tracking noise) 최소화를 위해 포지션별 칼만 필터(Kalman Filter)를 적용한다.

2) 최초자세와 변형자세의 비교를 위해 관절별 중간의 간격을 특정하여 자세별 정밀도를 높인다.

3) 사용자의 3D 근골격 메시 모델을 함수 최적화 기법 중 하나인 레벤버그 마쿼드(Levenberg marquardt) 최적화 방식으로 입력된 깊이 영상에 정합하여 관절 위치를 추정한다. 정확도 향상을 위해 사용자의 동작별 관절영역을 인식하고 3D 근골격 메시모델을 실시간으로 정합하는 최적화 알고리즘을 적용한다.

4) 관절별 동작범위 제한 조건문 적용을 통해 관절별 가동범위와 움직임 축 정의를 하고 트레킹 오류를 필터링한다.

5) 사용자의 운동동작 변형에 따른 3D 근골격 메시 모델의 실사용 근육군(주동근, 협력근, 길항근, 안정근)의 실시간 증강현실 디스플레이를 위해 운동 정보 DB(280)의 서버와 연동한다. 알고리즘상 움직임으로 감지되는 관절별 과표값의 동작 정도 역치값을 설정하여 역치값 이하로 입력될 경우 동작으로 인식하지 않는다.

다음으로 3D 신체 자세 매칭 정보에 기초하여 실시간 실사용 근육과 관절을 보여주는 렌더링 화면이 디스플레이 될 수 있다.(S450)

신체 자세 매칭을 통해 완성된 사용자의 3D 근골격 메시 모델은 부위별 피하지방층 두께 표시를 위해 근육과 피하지방 사이의 음영 또는 색상이 구분할 수 있다. 또한, 미러부(100)에서 보통 주 화면으로 사용자의 전면이 렌더링 되지만, 사용자의 후면에 대한 작은 이미지도 렌더링하여 보조 화면으로 함께 디스플레이할 수 있으며, 사용자 입력에 따라 주 화면 및 보조 화면의 변경이 가능하다.

사용자의 움직임이 없는 기본 해부학 자세에서는 일반 미러의 기능과 동일하게 사용자의 모습을 렌더링 처리 없이 나타낼 수 있다. 사용자의 움직임이 감지되는 경우, 움직임이 감지되는 특정 관절의 위치정보 변화에 따라 동작수행을 위해 사용되는 근육 및 위치를 운동 정보 DB(280) 및 운동 동작 분석부(240)로부터 알아내어, 해당 근육정보를 3D 근골격 메시 모델과 거울에 비친 사용자와 렌더링하여 실사용 근육, 주로 주동근 또는 협력근(필요에 따라 길항근, 안정근)을 관절과 함께 디스플레이할 수 있다. 이와 같이 실사용 근육만을 렌더링하여 표현함으로써, 사용자는 해당 운동 동작에서 사용되는 근육과 관절을 직관적으로 쉽게 인식할 수 있다.

또한, 움직임이 감지되는 특정 관절의 좌표 정보 인식에 따라 운동 정보 DB(280)의 정보에 기초하여 인식되는 실제 사용 근육을 미러 디스플레이상에 실시간 렌더링하며, 움직임이 감지되지 않는 특정 관절은 사용자의 형상이 동일하게 미러에 비춰지게 된다. 이와 같이 사용자 신체의 전체 근육을 표시하는 것이 아니라 실시간으로 실사용 근육 또는 움직임이 인식되는 근육만을 차별적으로 표시함으로써 실사용 근육과 관절의 인식의 직관성이 증대되고, 해부학적 근육 표시에 대한 거부감도 상당히 줄어들 것이다. 또한, 동시에 여러 관절의 움직임이 감지될 경우 각 관절에 동일한 방식을 적용하여, 동작 순서와 속도를 미러 속 사용자와 일치시켜 렌더링할 수 있다.

정해진 규칙 상의 고정 운동 동작 수행 시, 관절 위치정보 변화에 따라 운동 정보 DB(280)의 정보에 기초하여 운동 동작 분석부(240)를 통해 사용 근육을 인식함으로써 실시간 렌더링 디스플레이가 가능하며, 운동시 관절별 좌표값이 오류범위로 동작함이 감지될 경우 운동학 기반의 운동 정보 DB(280)에 재입력되어 오류에 따른 보상적 근육과 관절부위 사용 결과를 실시간 디스플레이할 수 있다.

여기서 고정 운동은 예컨대 정해진 규칙 상의 10개의 운동 동작을 포함할 수 있으며, 상체 4개 동작은 어깨 관절 기준으로, 푸쉬업(push-up)(상체 전면), 로우(row)(상체 후면), 숄더 프레스(shoulder press)(상체 상부), 풀업(pull-up)(상체 하부)를 포함하고, 몸통 3개 동작은 척추 관절 기준으로, 코어 프론트(core front)(몸통 전면), 코어 사이드(core side)(몸통 측면), 코어 백(core back)(몸통 후면)을 포함하고, 하체 3개 동작은 고관절 기준으로, 스쿼드(squat)(하체 전면), 데드 리프트(dead lift)(하체 후면), 런지(lunge)(하체 측면)를 포함할 수 있다.

고정 운동 수행 시 동작상 오류로 구분될 경우, 사용되지 말아야 하나 보상적으로 사용되는 오류 근육은 정상 동작시 사용되는 근육과 색상에 구분을 두어 디스플레이 되며 신체 중심을 기준으로 수직선 및 수평선, 그리고 사용관절의 이동경로선을 동작 중에 표시함으로써 올바른 동작으로 변경할 수 있도록 유도할 수 있다.

이때 동작 중 오류동작이 개선되면 올바르게 사용되는 근육과 관절부위를 재표시하며 신체중심을 기준으로 한 수직선 및 수평선, 그리고 사용관절의 이동경로선이 사라지도록 디스플레이할 수 있다. 또한, 올바른 동작 수행 시에도 원하면 신체중심 수직, 수평선 및 관절 이동경로선을 계속 유지되도록 디스플레이할 수 있다.

또한, 분석된 관절별 좌표값의 이동 정도와 정상적 관절 가동 범위에 따라 해당 근육의 수축 정도를 분석하며 수축 도입기에는 옅은 색상의 긴 모양을 유지하며, 수축의 말기에는 짧고 부피가 증가하며 짙은 색상으로 구분되도록 디스플레이할 수 있다.

규칙 없는 자유 운동 동작의 경우에도, 운동학 기반의 운동 정보 DB(280)와 연동하여 렌더링 처리부(200)를 통해 실사용 근육에 대해 실시간 렌더링할 수 있다. 이때 오류 동작과 정상 동작으로 구분하지 않고 각 동작별로 실제 사용되는 근육을 디스플레이 할 수 있다.

동작분석 기능수행을 위해 수행된 일정 동작을 저장하고 재생속도를 조절하여 리플레이(replay)할 수 있으며, 근육과 관절의 자동분석을 통해 점수화하여 제시할 수 있다. 이를 통해 근육 및 관절 중 적어도 하나에 대해 운동 동작 오류와 관련된 정보를 디스플레이할 수 있으며, 예컨대, 관절별 동작 점수를 숫자 또는 그래프 등으로 이미지화하여 디스플레이할 수 있다.

또한, 미러부(100)에 디스플레이 되는 영상 내 특정 부위의 근육과 관절을 사용자 입력, 예컨대 클릭함으로써 줌인(zoom in)을 통한 확대 영상 제공이 가능하며, 기능 및 상태에 대한 세부내용을 별도의 화면을 통해 제공하는 것도 가능하다.

다음으로 실시간 운동 동작의 오류 분석이 진행되고(S460), 운동 동작의 오류 정보가 생성될 수 있다.(S470) 또한, 실시간 운동 동작의 오류 분석이 먼저 진행되고, 오류 분석 결과가 반영된 렌더링 디스플레이가 수행되는 것도 가능하다.

정해진 규칙 상의 고정 운동 동작에 대해 렌더링 처리부(200)에서의 분석 결과 및 오류 상황을 수신하여 그에 따른 보상적 근육 사용 정보를 미러부(100)에 전달하여 디스플레이할 수 있다.

고정 운동 동작의 오류 평가의 기준은 각 관절의 좌표값의 경로가 관절별 정상범위의 역치값 내 경로에서 미리 결정된 기준 이상 반복적으로 벗어나는지 여부로 판단할 수 있다.

고정 운동 동작의 동작 수행 시, 수직 및 수평상의 균형, 관절의 정상적인 운동궤도의 이탈거리와 횟수를 분석하고, 정해진 규칙 상의 운동 동작에 대해 특정 관절의 참여 제한 여부와 운동 각도, 그리고 운동이 지연되는 타이밍을 분석할 수 있다. 운동 동작 분석부(240)를 통해 검출된 데이터 상의 운동 동작 오류들을 종합하고 정확도 향상을 위해 특징적 내용을 추출하고, 해당 사용자의 운동 동작 오류와 관련된 정보들은 운동 정보 DB(280)의 사용자 동작 오류 DB(281)에 저장될 수 있다.

규칙 없는 자유 운동 동작에 대해서는 1차적인 오류 분석 없이, 운동학 기반의 운동 정보 DB(280)로부터 획득한 정보에 기초하여 실사용 근육에 대해 실시간 렌더링할 수 있다. 자유 운동 동작의 오류는 각 관절별 운동 가동범위 역학적 사용순서와 10대 운동(고정 운동)과의 응용적 연관성을 분석하고 기계 학습하여 오류 패턴을 분석하고 구분할 수 있다.

이와 같이 분석을 통해 생성된 오류 정보는 해당 사용자와 연관되어 운동 정보 DB(280)의 사용자 동작 오류 DB(281)에 저장되고(S480), 지속적으로 업데이트 될 수 있다.(S490)

이상에서 설명된 흐름은 필요에 따라 일부 단계가 생략 가능하고, 일부 단계들은 서로 순서가 바뀌거나 동시에 수행될 수 있으며, 일부 단계는 반복하여 수행될 수 있다.

도 5는 본 발명의 일 실시예에 따른 스마트 미러(smart mirror)를 이용한 실시간 운동 동작 분석을 통해 운동 동작의 오류를 판단하는 방법을 설명하기 위한 흐름도이다.

전술한 3D 신체 자세 매칭 작업이 시작되고(S510), 기능 해부학과 운동학 기반의 라이브러리 정보 및 사용자 특유의 운동 정보를 포함하는 운동 정보 DB(280)에 액세스하여 운동 동작 분석에 필요한 정보를 검색 및 추출한다.(S520)

렌더링 처리부(200)의 운동 동작 분석부(240)는 운동 정보 DB(280)로부터 추출한 정보에 기초하여 운동 동작의 오류를 분석하고 오류 정보를 생성한다.(S530)

운동 동작 분석부(240)는 사용자의 현재 관절 위치 및 운동 정보 DB(280)로부터 획득한 관련 관절의 운동 범위에 기초하여 운동 동작의 오류 여부를 판단하고, 오류 특징 정보를 추출할 수 있다.(S540) 예컨대, 운동 동작의 오류가 있다고 판단하는 경우 오류와 관련된 근육과 관절 부위를 결정할 수 있다. 또한, 운동 동작의 오류 판단은 사용자의 관상면, 횡단면 및 시상면에 기초하여 해당 운동 동작 관련 관절의 운동 궤도와 범위를 기준으로 결정될 수 있다.

오류와 관련된 근육 부위가 결정되면 렌더링 처리를 통해 사용자의 신체 이미지에서 오류와 관련된 근육 부위를 구분하여 표시할 수 있다.(S550) 예컨대, 운동 동작 오류에 따라 보상적으로 사용되는 근육을 정상 동작 시 사용되는 근육과 색상을 달리하여 표현하거나, 잘못 사용되는 근육을 원형 형상 등으로 별도 표시할 수 있을 것이다.

이후, 해당 사용자의 맞춤형 운동 동작 오류 개선 모델을 생성할 수 있다.(S560) 예컨대, 해당 사용자에게 자주 오류가 발생하는 운동 동작이나, 오류가 발생하는 특정 근육 및 관절 정보, 타이밍 정보 등에 기초하여 교정 솔루션을 생성할 수 있다. 누적된 운동 정보 데이터에 기초하여, 교정 운동 시행에 따라 타 사용자의 운동 동작 패턴 데이터와 해당 사용자의 운동동작 패턴 데이터를 축적 및 분석하고, 기계 학습 기반으로 운동 동작의 변화도를 분석하고 학습 모델을 생성함으로써 효과적인 오류 개선 모델을 생성할 수 있다.

예컨대, 오류 패턴 분석에 따라 1차적 해결방안은, 예컨대 교정운동과 생활 습관 개선을 제시할 수 있으며, 오류의 재발 방지를 위해 기계 학습을 통해 유사한 동작패턴 수행 시 관절별 오류 연관성을 분석하여 재발 방지를 위해 반복 수행 시 오류 피드백을 제공할 수 있다. 분석 결과의 정확도 유지를 위해 규칙 기반 운동 동작 분석을 기초로 하여 기계 학습 기반의 운동 동작 분석을 사용할 수 있으며, 이때 지도학습 기반의 딥 러닝(deep learning) 및 앙상블(ensemble)과 같은 알고리즘을 사용할 수 있다.

이와 같은 오류 개선 모델을 제공함으로써, 동작 패턴 분석에 따라 반복적인 오류 동작을 수행 시, 오류 피드백을 통한 운동 재학습 과정을 거쳐 운동 패턴을 교정할 수 있도록 돕고, 지속적으로 관찰하여 해당 오류 패턴 재발할 경우 동일한 피드백 과정을 거쳐 완전한 교정이 될 수 있도록 할 수 있다.

또한, 운동 동작 중 오류 패턴의 교정 과정에서 데이터 정보와 더불어 제안되는 일상 생활 습관 교정 정보 및 교정 운동 정보들은 운동 정보 DB(280)에 저장될 수 있으며, 개인 또는 운동 관리자가 스마트 기기들을 통해 실시간 열람이 가능하게 할 수 있다.

이와 같이 운동 동작 개선 모델의 생성과 함께 해당 사용자의 운동 동작 오류 예측을 생성할 수 있다.(S570) 해당 사용자의 운동 동작 오류 판단과 관련된 누적 데이터에 기초하여 사용자의 동작 오류 패턴을 미리 예측함으로써, 관련 솔루션을 함께 제공할 수 있다. 이와 같이, 근육과 관절의 구조적 균형을 위해 개선된 교정 운동 시행 후, 운동 학습의 재교육을 위해 사용자가 틀릴 수 있는 동작 패턴을 미리 예측하여 해당 운동 동작을 수행하기 전에 또는 수행 시에 운동 동작 오류 패턴을 알려줌으로써 해당 사용자에게 맞춤형으로 올바른 운동 동작을 유도할 수 있다.

이와 같은 운동 동작 관련 정보는 운동 정보 DB(280)에 저장되어 업데이트될 수 있다.(S580) 또한, 오류 개선이 진행되면 오류 개선 모델 생성 과정이 삭제되며, 이후 반복적으로 오류가 재발할 경우 동일한 과정의 반복을 통해 오류 개선 모델이 다시 생성될 수 있다.

개인의 운동 수행 및 오류 관련 정보는 스마트 미러를 운영하는 메인 서버 내에 저장되어 미러 디스플레이가 구비되어 있는 다양한 장소에서 운동을 시행하더라도 사물 인터넷(IoT) 기술을 통해 정보를 송수신할 수 있다. 따라서, 사용자는 본 기술이 적용되는 스마트 미러가 설치된 다양한 위치 및 환경 속에서도 본인에게 최적화된 운동 동작 분석 및 지도를 제공받을 수 있다. 또한, 사용자에게 웹 페이지 또는 스마트 미러 관련 앱 등을 통해 관절별 동작 오류 정도 및 패턴 등에 대한 정보와 해결 방안 등을 수치화 및 시각화함으로써 실시간 확인할 수 있도록 제공이 가능하다.

이상에서 설명된 흐름은 필요에 따라 일부 단계가 생략 가능하고, 일부 단계들은 서로 순서가 바뀌거나 동시에 수행될 수 있으며, 일부 단계는 반복하여 수행될 수 있다.

도 6a 및 도 6b는 본 발명의 일 실시예에 따라 각각 고정 운동 및 자유 운동에서 오류의 판단 및 분석을 설명하기 위한 예시도이다.

도 6a는 사용자가 정해진 규칙 상의 고정 운동을 수행 시에 발생하는 동작 오류의 예시를 나타낸다. 도 6a에서와 같이 사용자가 스쿼트(squat) 동작을 수행하는 경우, 편평 발 오류(feet flatten), 발뒤꿈치가 바닥에서 들리는 오류(Heels Rise Off Floor), 비대칭 체중 이동(Asymmetric Weight Shift) 등의 동작 오류가 나타날 수 있다.

특정 관절에서의 저운동성, 즉 뻣뻣함은 다른 관절에 보상적인 과운동성, 즉 과도한 유연성을 초래하게 되어 지속적으로 반복된 부하가 전달 되면 근골격계의 불균형으로 인한 통증 유발의 원인이 될 수 있다. 따라서, 건강한 운동 동작 수행을 위해서는 관절마다 적정한 가동 범위와 움직임, 적절한 근력을 갖고 있어야 하고 각 근육과 관절이 조화롭게 움직임을 할 수 있어야 한다. 이에 따라 최근에는 운동 수행 전 사용자의 운동 동작 분석의 과정을 통해 교정 운동 프로그램을 사전에 시행하고 있으나, 강사 개인의 판단을 통해 분석을 수행하여 검사의 신뢰도가 떨어지고, 이후 운동수행 시 지속적으로 발생되는 오류에 대한 피드백이 부족하여 개선 효과가 떨어지는 문제점이 발생한다.

본 발명의 일 실시예에 따르면, 규칙 기반의 운동 동작 수행 시에 사용자의 관절 정보를 실시간 분석하여 각각의 오류를 식별하고 오류에 대한 내역을 실시간 렌더링 화면을 제공함으로써, 동작의 비대칭성에 따라 잘못 쓰여지는 사용자의 근육 또는 관절을 디스플레이하여 시각적 피드백을 통해 사용자가 오류를 개선할 수 있도록 유도할 수 있다.

도 6b는 사용자가 자유 운동 수행 시에 발생하는 동작 오류의 예시를 나타낸다. 도 6을 참조하면, 밀기 동작의 오류 패턴으로, 허리 아칭 오류(Low back arching), 어깨 상승 오류(Elevation shoulders), 머리 돌출 오류(Protruding head) 등의 오류가 발생할 수 있다.

이와 같은 자유 운동 수행의 경우, 관절 위치 분석을 통한 오류 분석을 위해 기계 학습 기반의 분석을 수행할 수 있다. 예컨대, 무릎 관절 정상 가동범위로서 굴곡 140도, 신전 10도, 내측 회전 35도, 외측 회전 10 도의 범위가 정상 범위일 수 있다. 기계 학습을 통해 이와 같은 각 관절별 정상적인 가동 범위와 자유도, 그리고 정상적인 관절 역학에 기준하여 반복적으로 이탈되는 동작 오류 패턴을 습득할 수 있다.

자유 운동 동작 역시 규칙 기반의 고정 운동인 10대 동작에서 파생되는 동작들로서 고정 운동의 규칙성을 기초 단계에서 적용 및 학습할 수 있다. 오류가 빈번한 패턴의 규칙성을 기반으로 사용자의 특이성을 파악하여 오류가 반복될 시, 오류로 인하여 잘못 사용되는 근육과 해당 부위, 그리고 정상적인 동작의 관절이동 궤도를 실시간으로 나타내어 사용자의 만성적인 운동 동작상 오류를 개선할 수 있도록 피드백을 생성할 수 있을 것이다.

도 7a 및 도 7b는 본 발명의 일 실시예에 따라 실사용 근육을 실시간 렌더링하여 디스플레이하는 스마트 미러 화면의 예시도이다.

운동 시설 내 미러 또는 전신 거울 설치는 필수적이며, 사용자의 자세와 동작에 대해 피드백을 주는 용도로 활용되고 있다. 본 발명의 일 실시예에 따르면 운동 동작 분석부(240)의 동작 분석을 통해 현재 수행되는 운동 동작과 관련된 실사용 근육과 관련된 부분만을 판단하고, 렌더링 화면 생성부(250)에서 실사용 근육 또는 관절만을 다른 부분과 다르게 사용자의 신체와 정합된 근육과 관절 모양으로 실시간 렌더링하여 합성한 신체 이미지를 생성하여 미러부(100)를 통해 디스플레이할 수 있다.

예컨대, 도 7a에서는 가슴 근육이 실사용 근육으로서 실시간 렌더링되어 표시되고, 도 7b에서는 어깨 근육이 실사용 근육으로서 실시간 렌더링되어 표시되고 있다. 이와 같이, 동작에 따라 사용되는 근육과 관절을 실시간 렌더링하여 보여줌으로써, 사용자는 실시간으로 실제로 사용되는 근육의 위치 및 부위를 직관적으로 파악할 수 있고, 이를 통해 사용자는 실시간 모션에 대한 시각적 피드백을 통해 운동 동작의 이해도가 향상될 수 있다.

또한, 운동의 주도권을 쥐는 근육인 주동근과 서로 협력하여 작용하는 협력근(협동근)을 서로 다른 명암으로 표시함으로써 사용자가 각기 다른 기능을 갖는 근육 또는 관절을 쉽게 구분할 수 있도록 디스플레이가능하다. 예컨대 도 7a에서 주동근인 가슴 근육(대흉근)은 높은 명암을 갖도록 진한 파란색으로 표시하고, 협력근인 팔 근육(삼두근)은 낮은 명암을 갖도록 옅은 파란색으로 표시할 수 있다. 또한, 예컨대 도 7b에서 주동근인 어깨 근육(삼각근)을 높은 명암을 갖도록 진한 노란색으로 표시하고, 협력근인 팔 근육(삼두근)을 낮은 명암을 갖도록 옅은 노란색으로 표시할 수 있다.

도 8a는 본 발명의 일 실시예에 따라 동작별 실사용 근육을 디스플레이하는 스마트 미러 화면의 예시도이며, 도 8b는 본 발명의 일 실시예에 따라 동작 오류를 표시하여 디스플레이하는 스마트 미러 화면의 예시도이다.

일반적으로 사용자는 각각의 운동 동작이 어느 부위의 근육을 어떠한 순서로 사용되는지에 대한 기능 해부학적인 지식이 부족하며, 올바른 자세로 수행하는지 여부에 대해 객관적인 데이터가 아닌 주관적인 감각에 의존해야 한다는 문제점이 있다.

도 8a를 참조하면, 본 발명의 일 실시예에 따라 동작별 실사용 근육을 렌더링 화면으로 실감있게 디스플레이함으로써, 자신이 사용하는 근육을 실시간 확인할 수 있다. 도 8a를 참조하면, 사용자의 현재 동작을 분석함으로써, 가슴 및 팔부위를 포함하는 실사용 근육(810)을 인체내부의 해부학적 근육 모양으로 렌더링하여 디스플레이하고 있다. 또한, 요청에 따라 렌더링되는 실사용 근육은 사용자의 착용의상의 색상에 따라 시안성이 분명한 색상으로 변경하여 디스플레이할 수 있으며, 사용근육에 대한 상세설명(820)을 해당 근육의 그림 또는 사진과 함께 디스플레이할 수 있다.

도 8b를 참조하면, 본 발명의 일 실시예에 따라 운동 동작 오류에 대한 정보를 렌더링 화면으로 디스플레이함으로써, 사용자에게 동작 오류에 대한 객관적인 피드백 솔루션을 실시간으로 제공할 수 있다. 사용자의 운동 동작 오류에 대한 정보를 사용자에게 제공하기 위해, 선, 각도, 별도 색상 또는 명암 표시로 표현할 수 있다. 도 8b를 참조하면, 양 손의 위치 및 양 손 사이의 올바른 각도를 표시하기 위해 점선(840)을 통한 가이드라인을 제공할 수 있으며, 이와 같은 점선(840)은 양 손의 위치나 각도에 오류가 있는 경우에만 디스플레이하거나, 또는 평소에도 올바른 위치나 각도를 점선(840)을 통해 디스플레이하고, 운동 동작에 오류가 발생하는 경우에 점선(840)을 점멸시키거나, 다른 색상으로 변경함으로써 사용자에게 오류 발생을 알릴 수도 있다.

또한, 오류가 발생하는 근육 또는 관절 부위(830)를 짙은 명암 또는 빗살 표시 또는 다른 색상 또는 다른 형상 마크를 이용하여 표현함으로써, 사용자가 실시간으로 동작의 오류 여부 및 오류가 발생하는 근육과 관절 부위를 쉽게 파악할 수 있다. 예컨대 도 8b를 참조하면, 올바른 동작은 턱을 당긴 일직선의 자세였으나, 운동 수행자의 목이 앞으로 빠져서 기준이 되는 점선(840)과 비교할 수 있도록 실선 및 원형 마크 등을 이용하여 오류가 발생하는 근육 또는 관절의 부위(830)를 효과적으로 표시할 수 있다.

본 발명에 의하면, 사용자의 운동 동작 수행 시에 실제 사용 근육을 학습하고 올바른 가동범위와 자세에서 진행할 수 있도록 객관적인 데이터를 실시간으로 학습함으로써 안전하고 효과적인 운동 수행이 가능하게 된다. 현재까지 운동 지도자들이 이러한 역할을 수행하고 있으나 각각의 경험과 지식, 그리고 감각에 의존하여 객관성이 떨어졌으나, 본 발명에 의한 스마트 미러에 의하면 표준화되고 검증된 건강 관리 서비스 진행을 위한 피드백 솔루션을 제공 가능하다.

이상 본 발명의 실시예에 따른 스마트 미러(smart mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법 및 이를 위한 장치를 구체적인 다양한 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시형태들을 조합, 치환하여 적시되지 않은 형상의 패턴을 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.

100: 미러부 110: 영상 디스플레이부
120: 렌더링 디스플레이부 200: 렌더링 처리부
210: 영상 획득부 211: 사용자 인식부
220: 신체 측정부 230: 3D 모델 생성부
240: 운동 동작 분석부 241: 오류 분석 판단부
242: 운동 동작 오류 개선 모델 생성부
250: 렌더링 화면 생성부 260: 운동 동작 오류 예측부
270: 사용자 정보 DB 280: 운동 정보 DB
281: 사용자 동작 오류 DB 300: 이미지 센서
400: 입력부 500: 통신부

Claims (26)

1. 스마트 미러(smart mirror)를 이용하여 실시간 운동 동작을 분석하기 위한 방법에 있어서,
   적어도 하나의 이미지 센서로부터 사용자의 운동 동작과 관련된 영상을 획득하는 단계;
   상기 획득한 영상에 기초하여 상기 사용자의 신체 치수를 측정하는 단계;
   상기 측정된 신체 치수에 기초하여 상기 사용자의 3차원(3D) 근골격 모델을 생성하는 단계;
   상기 3D 근골격 모델에 기초하여 상기 사용자의 관절 위치를 추정하는 단계;
   상기 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하는 단계; 및
   상기 인식된 운동 동작에 기초하여 실시간 렌더링된 상기 사용자의 신체 이미지를 디스플레이하는 단계를 포함하고,
   상기 사용자의 신체 치수를 측정하는 단계는,
   운동 동작별 사용되는 관절위치 정보, 및 기초적인 동작 검사를 통해 획득한 영상에 기초하여 상기 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 상기 사용자의 두 팔 및 두 다리의 길이를 측정하는 단계; 및
   상기 사용자의 시상면과 관상면의 실루엣에 기초하여 측정된 거리 및 측정된 관절위치 정보를 이용하여 상기 사용자의 두 팔 및 두 다리의 둘레를 측정하는 단계
   를 포함하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
2. 제1항에 있어서,
   상기 사용자의 성별, 연령 및 체성분 정보 중 적어도 하나의 개인 정보를 수신하는 단계; 및
   상기 개인 정보 및 상기 측정된 신체 치수와 관련된 정보에 기초하여 상기 3D 근골격 모델을 생성하는 단계
   를 더 포함하는 실시간 운동 동작 분석 및 디스플레이 방법.
3. 삭제
4. 제1항에 있어서, 상기 운동 동작을 인식하는 단계는,
   상기 사용자의 관절 위치의 변화와 관련된 정보 및 운동 정보 데이터베이스(DB)로부터 획득한 정보에 기초하여 상기 운동 동작과 관련된 실사용 근육 부위를 판단하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
5. 제4항에 있어서, 상기 사용자의 신체 이미지를 디스플레이하는 단계는,
   상기 운동 동작과 관련된 실사용 근육을 상기 사용자의 신체와 정합된 모양으로 실시간 렌더링하여 합성한 신체 이미지를 디스플레이하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
6. 제1항에 있어서, 상기 사용자의 관절 위치의 측정값에 기초하여 운동 동작을 인식하는 단계는, 상기 사용자의 관절 위치의 측정값에 기초하여 상기 관절 위치의 이동 범위가 미리 결정된 범위 이내인 경우 동작을 미인식하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
7. 제1항에 있어서, 상기 인식된 운동 동작에 기초하여 상기 운동 동작의 오류를 판단하는 단계를 더 포함하고,
   상기 오류 판단 단계는, 상기 사용자의 현재 관절 위치 및 운동 정보 데이터베이스(DB)로부터 획득한 관련 관절의 운동 궤도 및 운동 범위 중 적어도 하나에 기초하여 상기 운동 동작의 오류 여부를 판단하고, 상기 운동 동작의 오류가 있다고 판단하는 경우 상기 오류와 관련된 근육 또는 관절 부위를 결정하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
8. 제7항에 있어서, 상기 오류 판단 단계는 상기 사용자의 관상면, 횡단면 및 시상면에 기초하여 상기 인식된 운동 동작 관련 관절의 운동 궤도 및 운동 범위 중 적어도 하나를 기준으로 오류를 판단하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
9. 제7항에 있어서, 상기 사용자의 신체 이미지를 디스플레이하는 단계는, 상기 오류와 관련된 근육 또는 관절 부위를 구분하여 표시하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
10. 제7항에 있어서,
    상기 오류 판단과 관련된 데이터를 상기 사용자와 연관시켜 저장하는 단계; 및
    상기 오류 판단과 관련된 누적 데이터에 기초하여 상기 사용자의 동작 오류 패턴을 예측하는 단계
    를 더 포함하는 실시간 운동 동작 분석 및 디스플레이 방법.
11. 제7항에 있어서,
    상기 적어도 하나의 이미지 센서에 기초하여 상기 사용자를 식별하는 단계를 더 포함하고,
    상기 오류 판단 단계는 기 저장된 상기 사용자의 정보에 기초하여 수행되는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
12. 제1항에 있어서, 상기 사용자의 신체 이미지를 디스플레이하는 단계는, 상기 사용자의 운동 수행 시 상기 인식된 운동 동작과 관련된 기준선을 렌더링하여 디스플레이하는 것인, 실시간 운동 동작 분석 및 디스플레이 방법.
13. 제7항에 있어서, 상기 오류와 관련된 근육 또는 관절 부위와 관련된 정보를 디스플레이하는 단계를 더 포함하는, 실시간 운동 동작 분석 및 디스플레이 방법.
14. 실시간 운동 동작을 분석 및 디스플레이하기 위한 스마트 미러에 있어서,
    사용자의 운동 동작과 관련된 영상을 획득하기 위한 이미지 센서;
    상기 이미지 센서로부터 획득한 영상에 기초하여 상기 사용자의 신체 치수를 측정하기 위한 신체 측정부;
    상기 측정된 신체 치수에 기초하여 상기 사용자의 3차원(3D) 근골격 모델을 생성하기 위한 3D 모델 생성부;
    상기 3D 근골격 모델에 기초하여 상기 사용자의 관절 위치를 추정하고, 상기 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하기 위한 운동 동작 분석부; 및
    상기 인식된 운동 동작에 기초하여 실시간 렌더링된 상기 사용자의 신체 이미지를 디스플레이하기 위한 미러부를 포함하고,
    상기 신체 측정부는, 운동 동작별 사용되는 관절위치 정보, 및 기초적인 동작 검사를 통해 획득한 영상에 기초하여 상기 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 상기 사용자의 두 팔 및 두 다리의 길이를 측정하도록 구성되고, 또한, 상기 사용자의 시상면과 관상면의 실루엣에 기초하여 측정된 거리 및 측정된 관절위치 정보를 이용하여 상기 사용자의 두 팔 및 두 다리의 둘레를 측정하도록 구성되는 것인, 스마트 미러.
15. 제14항에 있어서,
    상기 사용자의 성별, 연령 및 체성분 정보 중 적어도 하나의 개인 정보를 수신하도록 구성된 사용자 정보 데이터베이스(DB)를 더 포함하고,
    상기 3D 모델 생성부는 상기 사용자 정보 DB에 저장된 상기 개인 정보 및 상기 측정된 신체 치수와 관련된 정보에 기초하여 상기 3D 근골격 모델을 생성하는 것인, 스마트 미러.
16. 삭제
17. 제14항에 있어서, 상기 운동 동작 분석부는,
    상기 사용자의 관절 위치의 변화와 관련된 정보 및 운동 정보 데이터베이스(DB)로부터 획득한 정보에 기초하여 상기 운동 동작과 관련된 실사용 근육 부위를 판단하도록 구성되는 것인, 스마트 미러.
18. 제17항에 있어서,
    상기 운동 동작과 관련된 실사용 근육을 상기 사용자의 신체와 정합된 모양으로 실시간 렌더링하여 합성한 신체 이미지를 생성하기 위한 렌더링 화면 생성부를 더 포함하고,
    상기 미러부는 상기 합성한 신체 이미지를 디스플레이하는 것인, 스마트 미러.
19. 제14항에 있어서, 상기 운동 동작 분석부는, 상기 사용자의 관절 위치의 측정값에 기초하여 상기 관절 위치의 이동 범위가 미리 결정된 범위 이내인 경우 동작을 미인식하는 것인, 스마트 미러.
20. 제14항에 있어서, 상기 운동 동작 분석부는 상기 인식된 운동 동작에 기초하여 상기 운동 동작의 오류를 판단하도록 구성되고,
    상기 운동 동작 분석부는, 상기 사용자의 현재 관절 위치 및 운동 정보 데이터베이스(DB)로부터 획득한 관련 관절의 운동 궤도 및 운동 범위 중 적어도 하나에 기초하여 상기 운동 동작의 오류 여부를 판단하고, 상기 운동 동작의 오류가 있다고 판단하는 경우 상기 오류와 관련된 근육 또는 관절 부위를 결정하는 것인, 스마트 미러.
21. 제20항에 있어서, 상기 운동 동작 분석부는 상기 사용자의 관상면, 횡단면 및 시상면에 기초하여 상기 인식된 운동 동작 관련 관절의 운동 궤도 및 범위 중 적어도 하나를 기준으로 오류를 판단하는 것인, 스마트 미러.
22. 제20항에 있어서, 상기 미러부는 상기 오류와 관련된 근육 또는 관절 부위를 구분하여 표시하는 것인, 스마트 미러.
23. 제20항에 있어서,
    상기 오류 판단과 관련된 데이터를 상기 사용자와 연관시켜 저장하도록 구성된 운동 정보 데이터베이스(DB); 및
    상기 오류 판단과 관련된 누적 데이터에 기초하여 상기 사용자의 동작 오류 패턴을 예측하도록 구성된 운동 동작 오류 예측부를 더 포함하는 스마트 미러.
24. 제20항에 있어서,
    상기 적어도 하나의 이미지 센서에 기초하여 상기 사용자를 식별하도록 구성된 사용자 인식부를 더 포함하고,
    상기 운동 동작 분석부는 기 저장된 상기 사용자의 정보에 기초하여 상기 운동 동작의 오류를 판단하는 것인, 스마트 미러.
25. 제18항에 있어서, 상기 렌더링 화면 생성부는 상기 사용자의 운동 수행시 상기 인식된 운동 동작과 관련된 기준선을 렌더링하도록 구성되는 것인, 스마트 미러.
26. 제20항에 있어서, 상기 미러부는 상기 오류와 관련된 근육 또는 관절 부위와 관련된 정보를 디스플레이하는 것인, 스마트 미러.
    

Images