KR20180024833A - 발바닥 압력 센서 및 그 제어 방법 - Google Patents

Abstract

본 발명은 발바닥 압력 센서 및 그 제어 방법에 관한 것으로, 본 발명의 실시예에 따르면 발바닥 압력 센서를 통해 감지된 발바닥 압력 값과 사용자를 매칭하고, 상기 사용자의 움직임에 따른 발바닥의 압력 변화에 기반하여 상기 사용자에게 다양한 서비스를 제공하기 위한 기법이 제공될 수 있다.

Description

발바닥 압력 센서 및 그 제어 방법{PLANTAR PRESSURE SENSOR AND METHOD FOR CONTROLLING THEREOF}

본 발명은 발바닥 압력 센서 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 발바닥 압력 센서를 통해 감지된 발바닥 압력 값과 사용자를 매칭하고, 상기 사용자의 움직임에 따른 발바닥의 압력 변화에 기반하여 상기 사용자에게 다양한 서비스를 제공하기 위한 기법을 포함한다.

IT 기술의 발달에 힘입어, 최근 다양한 종류의 웨어러블 디바이스가 시장에 등장하고 있다. 통상적으로, 상기 웨어러블 디바이스들은 무선 통신 모듈과 다양한 센서들을 구비하고 있다. 이러한 웨어러블 디바이스의 구성을 통해 사용자의 일상 또는 특정 목적(예를 들어 운동)에 따른 움직임을 용이하게 감지, 기록 및 공유할 수 있게 되었다.

하지만, 현존하는 대부분의 웨어러블 디바이스는 대부분 손목이나 팔의 상박에 착용하는 밴드의 형태로 구현된다. 또한, 내장된 센서들 역시 가속도 센서나 자이로스코프에 한정되기 때문에 실질적으로 상기 웨어러블 디바이스들이 감지할 수 있는 사용자의 움직임은 제한적이며, 센서의 정확도 또한 문제시되고 있다.

한편, 또 다른 형태의 웨어러블 디바이스로서, 신발, 양말 또는 신발의 밑창 형상으로 구현되는 발바닥 압력 센서(plantar pressure sensor)에 대한 관심이 집중되고 있다. 발바닥 압력 센서는 다양한 방식으로 압력을 감지하는 센서들을 복수 개 포함할 수 있으며, 이에 따라 발바닥의 각 부위별 압력의 변화를 실시간으로 감지할 수 있다. 이러한 특성과 관련하여, 발바닥 압력 센서는 병원 등의 의료기관에서 환자의 상태를 측정하는 용도로 활발하게 활용되고 있으며, 발바닥 압력 센서의 제조 및 의료적 활용 방안에 대한 연구 역시 함께 진행되고 있다.

하지만, 아직까지는 일상 및 운동 등 다른 분야에서 발바닥 압력 센서를 적극적으로 활용하고 있는 제품이 등장하지 않고 있다. 일부 발바닥 압력 센서를 이용한 운동을 위한 제품의 경우, 단순하게 사용자의 발바닥 압력의 변화만 감지하고 이를 리포팅하는데 그치고 있다. 따라서, 일상 및 다양한 목적을 위한 발바닥 압력 센서의 활용 방안에 대한 깊이 있는 연구가 필요한 실정이다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 발바닥 압력 센서를 통해 감지된 정보를 이용하여 사용자에게 유용한 정보를 제공하는데 있다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시예에 따르면, 발바닥 압력 센서 및 그 제어 방법이 제공될 수 있다.

본 발명에 따르면, 복수의 발바닥 압력 센서들이 공존하는 상황에서, 특정 발바닥 압력 센서에서 감지된 정보와 상기 특정 발바닥 압력 센서를 이용하는 사용자를 용이하게 매칭시킬 수 있다.

또한, 본 발명의 실시예에 따르면 발바닥 압력 센서의 압력 값에 기반하여 사용자에게 분석 결과 또는 적절한 피드백을 제공할 수 있으며, 이를 통해 사용자는 운동 또는 훈련시 자신의 자세를 효과적으로 개선할 수 있다.

도 1은 본 발명의 실시예에 따라 발바닥 압력 센서 사용자와 발바닥 압력 센서를 매칭하는 방식을 나타낸 도면이다.
도 2는 본 발명의 다른 실시예에 따라 발바닥 압력 센서 사용자와 발바닥 압력 센서를 매칭하는 방식을 나타낸 도면이다.
도 3은 사용자와 발바닥 압력 센서를 매칭시키는 방법을 구별하여 나타낸 도면이다.
도 4는 사용자의 이미지로부터 스켈레톤을 추출한 예시를 나타낸 것이다.
도 5는 연속된 움직임에 따른 스켈레톤 변화를 하나의 움직임 모델로 설정하는 실시예를 나타낸 것이다.
도 6은 발바닥 압력 센서의 발바닥 센서 모듈과 브로드캐스팅되는 정보 또는 메시지의 구조를 나타낸 것이다.
도 7은 본 발명의 실시예에 따라 발바닥 압력을 비교하는 방식을 나타낸 것이다.
도 8은 전술한 과정에 따라 사용자와 발바닥 압력 센서를 매칭하는 방식을 도시한 도면이다.
도 9는 본 발명의 다른 실시예에 따른 매칭 방법을 나타낸 것이다.
도 10은 본 발명의 실시예에 따라 레퍼런스 모델을 선택하는 방식을 나타낸 것이다.
도 11은 본 발명의 실시예에 따라 사용자와 레퍼런스 모델을 비교하는 방식을 나타낸 도면이다.
도 12는 본 발명의 실시예에 따라 사용자에게 진동 피드백을 제공하는 방식을 나타낸 것이다.
도 13은 본 발명의 실시예에 따라 발바닥 압력 값을 비교하는 방식을 나타낸 도면이다.
도 14는 실내 스크린 골프장 등의 장소에서 발바닥 압력 센서를 응용하는 실시예를 나타낸 도면이다.
도 15는 레퍼런스 모델과 참가자의 발바닥 압력을 시간에 따라 비교한 것을 나타낸 도면이다.
도 16은 기존의 이미지 기반 선수 인식 시스템의 한계점을 나타낸 도면이다.
도 17은 발바닥 압력 센서를 이용하여 선수를 인식하는 방식을 간략하게 나타낸 도면이다.
도 18은 본 발명의 실시예에 따라 선수 인식시 발생될 수 있는 불확실성 문제를 해결하는 방식을 시간의 흐름에 따라 나타낸 것이다.
도 19는 본 발명의 실시예에 따라 발바닥 압력 값과 이미지 데이터를 비교하는 방식을 나타낸 도면이다.
도 20은 본 발명의 실시예에 따라 발바닥 압력 값의 특징과 이미지 데이터의 특징을 비교하는 방식을 나타낸 도면이다.

본 발명은 발바닥 압력 센서 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 발바닥 압력 센서를 통해 감지된 발바닥 압력 값과 사용자를 매칭하고, 상기 사용자의 움직임에 따른 발바닥의 압력 변화에 기반하여 상기 사용자에게 다양한 서비스를 제공하기 위한 기법에 관한 것이다. 이하, 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

본 발명의 일 실시예에 따른 매칭 방법

도 1은 본 발명의 실시예에 따라 발바닥 압력 센서 사용자(target exerciser)와 발바닥 압력 센서를 매칭하는 방식을 나타낸 도면이다. 도 1의 실시예에 따른 시스템은 각 사용자에게 제공된 복수의 발바닥 압력 센서, 신호 수신기, 분석 장치(또는 이미지 분석 장치) 및 데이터베이스를 포함할 수 있다. 특히, 도 1은 헬스장 등의 특정 장소에서 복수의 사용자들이 동시에 발바닥 압력 센서를 이용하는 환경을 가정하고 있다. 이때, 분석 장치는 이미지(영상)을 캡쳐할 수 있는 카메라를 포함할 수 있으며, 상기 특정 장소에 설치된 카메라는 사용자의 얼굴 또는 사용자의 움직임을 촬영할 수 있다. 이에 따라 분석 장치는 사용자 얼굴을 인식하거나 사용자의 움직임을 인식하여 사용자의 발바닥에 가해지는 압력을 예측할 수도 있다. 데이터베이스는 사용자의 개인 정보(키, 몸무게, 얼굴 사진 등)를 포함할 수 있다. 신호 수신기는 무선 통신 방식을 통해 발바닥 압력 센서로부터 감지된 압력 값을 수신할 수 있으며, 본 발명의 바람직한 실시예에 따르면 상기 무선 통신 방식은 저전력 블루투스(BLE) 통신 방식일 수 있다. 수신된 압력 값은 분석 장치 또는 데이터베이스로 전송될 수 있다.

도 2는 본 발명의 다른 실시예에 따라 발바닥 압력 센서 사용자와 발바닥 압력 센서를 매칭하는 방식을 나타낸 도면이다. 도 2의 실시예에 따른 시스템은 사용자들에게 제공된 복수의 발바닥 압력 센서, AR 기기 및 데이터베이스를 포함할 수 있다. 도 2의 실시예는 도 1의 분석 장치 및 신호 수신기가 AR 기기로 대체된 것일 수 있다. AR 기기가 수신한 압력 값은 데이터베이스로도 전송될 수도 있다. 특히, 도 2의 AR 기기는 헬스장 또는 스포츠 센터 등의 트레이너나 조교가 이용할 수 있으며, 상기 AR 기기를 통해 분석된 정보를 토대로 사용자에게 적절한 조언을 할 수 있다.

통상의 경우, 발바닥 압력 센서는 사용자가 휴대하고 있는 스마트폰 등의 단말과 일 대 일로 연동되며, 발바닥 압력 센서는 상기 연동된 단말로 압력 값을 전송한다. 이때, 사용자가 격렬한 운동을 수행하는 상황에서는 상기 스마트폰 등의 단말을 휴대하기가 힘든 경우가 있다. 한편, 통상의 발바닥 압력 센서의 활용 방법에 따르면, 특정 발바닥 압력 센서의 압력 값을 상기 연동되지 않은 다른 단말과 공유하기가 용이하지 않다는 문제점이 있다. 이에 대하여, 제안하는 도 1 및 도 2의 시스템, 분석 장치, AR 기기는 전술한 문제점을 용이하게 해결할 수 있다.

도 1 및 도 2의 시스템, 분석 장치, AR 기기의 구체적인 작동 방식은 후술하는 도면을 통해 설명하도록 한다.

도 3은 사용자와 발바닥 압력 센서를 매칭시키는 방법을 구별하여 나타낸 도면이다. 상기 도 3의 방법의 각 단계를 상세하게 설명하면 다음과 같다.

(단계 A) 사용자의 얼굴 인식

상기 단계 A는 선택적인 단계로써, 본 발명을 실시하는 방식에 따라서 생략될 수도 있다. 사용자는 자신의 이름, 별칭, ID, 얼굴 사진, 키, 몸무게 등의 개인 정보를 데이터베이스에 저장할 수 있다. 예를 들어, 이러한 개인 정보의 수집은 헬스장/스포츠 센터 등의 특정 공간을 이용하기 전 사용자 등록을 진행하는 과정에서 이루어질 수도 있다. 상기 개인 정보가 데이터베이스에 저장되어있는 경우, 후술하는 매칭 과정 및 발바닥 압력 예측을 보다 정확하게 수행할 수 있으나, 본 발명은 이에 한정되지 않으며, 상기 개인 정보 저장 및 등록 과정이 없어도 본 발명의 따른 실시예는 사용자와 발바닥 센서를 매칭시킬 수 있다.

도 1의 분석 장치 또는 도 2의 AR 기기는 각 사용자의 얼굴을 감지하고, 감지된 사용자의 얼굴을 인식할 수 있다. 만약 데이터베이스에 사용자의 얼굴 사진이 저장되어 있으면, 분석 장치 또는 AR 기기는 상기 얼굴 사진에 대응되는 사용자의 이름, 별칭, ID, 키, 몸무게 등의 개인 정보를 확인할 수 있다(얼굴 인지를 통한 사용자 인지).

만약 데이터베이스에 상기 개인 정보가 저장되지 않은 경우, 분석 장치 또는 AR 기기는 얼굴이 인식된 특정 사용자에 대하여 타인과 구별되는 임의의 식별자를 할당할 수 있다. 그리고, 상기 임의의 식별자는 추후 단계에서 상기 특정 사용자가 이용하는 발바닥 압력 센서를 구별하기 위해 이용될 수 있다. 예를 들어, 인식된 얼굴의 특성 및 스켈레톤 형상의 특성과 상기 임의의 식별자 “as20u1”가 조합될 수 있으며, 이는 데이터베이스에 저장될 수 있다. 그리고, 후술하는 과정을 통해 사용자 “as20u1”가 이용하는 발바닥 압력 센서의 ID가 “120sd03”인 것으로 확인될 수 있으며, 상기 사용자가 동일한 발바닥 압력 센서를 이용하는 동안, ID “120sd03”와 관련된 발바닥 압력 정보는 상기 사용자 “as20u1”과 관련된 정보인 것으로 인식될 수 있다. 이에 따라, AR 기기를 사용하는 트레이너는 데이터베이스에 개인 정보를 등록하지 않은 상기 사용자의 식별자가 “as20u1”이고, 상기 사용자의 현재 발바닥 압력의 분포 상태 등을 즉각적으로 확인할 수 있다.

(단계 B) 사용자의 신체 또는 움직임 인식

사용자의 발 및 상기 사용자의 발바닥에 가해지는 압력을 예측하기 위해서는 주변 환경 이미지로부터 사용자의 신체를 추출할 필요가 있다. 상기 과정에는 다양한 머신 비젼 기술이 활용될 수 있으며, 이를 통해 주변 환경과 사용자의 신체를 분리할 수 있다. 또한 사용자의 신체의 발 오브젝트를 개별적으로 인식 또는 추출할 수도 있다.

본 발명의 다른 실시예에 따르면, 사용자의 발과 지면이 서로 접하는(닿는) 지점(픽셀)을 추출할 수 있으며, 이를 이용하여 사용자의 발바닥에 가해지는 압력을 예측할 수도 있다. 상기 발과 지면이 서로 접하는 지점(또는 발 위치)은 추출된 사용자의 신체가 지표면과 만나는 지점에 위치한 픽셀일 수 있다. 예를 들어, 상기 발과 지면이 서로 접하는 지점은 사용자의 신체의 신발 또는 발 오브젝트의 가운데 점일 수 있다.

(단계 C) 발바닥 압력 예측

이 단계에서는 추출된 사용자 신체의 이미지로부터 사용자의 왼발 및 오른발에 가해지는 압력을 예측하며, 이때 압력 예측 함수가 활용될 수 있다. 발바닥의 압력은 사용자 신체 이미지의 발 오브젝트와 지면의 관계(예를 들어 지면의 기울어진 정도, 각 발의 위치 및 방향)에 기반하여 예측될 수 있다. 특히, 본 발명의 바람직한 실시예에 따르면, 상기 압력 예측 함수는 사용자의 신체의 이미지로부터 추출된 스켈레톤(skeleton, 또는 키네틱스(kinetics)) 또는 스켈레톤의 움직임을 참조하여 발바닥 압력을 구하도록 구성될 수 있다. 3차원 공간에서의 사용자 또는 스켈레톤(키네틱스)의 움직임, 사용자의 발과 지면이 서로 접하는 지점 등은 뎁스 카메라(depth camera, 예를 들어, 마이크로소프트사의 키넥트)등을 통해 감지될 수 있다.

도 4는 사용자의 이미지로부터 스켈레톤을 추출한 예시를 나타낸 것이다. 도 1의 분석 장치 또는 도 2의 AR 기기는 이러한 사용자의 움직임을 감지하는 구성을 이용하여 사용자의 움직임을 효과적으로 감지할 수 있으며, 사용자의 스켈레톤(키네틱스)에 기반한 발바닥 압력 예측을 수행할 수 있다. 본 발명의 바람직한 실시예에 따르면, 상기 분석 장치 또는 상기 AR 기기는 움직임 모델 방식(movement model method)를 통해 사용자의 발바닥 압력을 효과적으로 예측할 수 있으며, 상기 예측의 정확도를 높일 수 있다.

움직임 모델 방식은 적어도 하나의 기 설정된 움직임 모델(movement model)을 이용한다. 이를 통해 사용자의 움직임을 분류할 수 있으며, 분류된 움직임에 대응한 발바닥 압력을 예측할 수 있다. 각 움직임 모델은 개별적으로 움직임 ID(이름 또는 분류를 위한 식별 부호 등 포함), 각 움직임에 대응하는 스켈레톤 형상(또는 스켈레톤(키네틱스) 관절들의 3차원 공간상 좌표의 집합), 각 움직임에 대응하여 예측되거나 측정된 왼발 및 오른발의 압력 분포 정보를 포함할 수 있다.

상기 움직임 모델 방식이 활용되기 전, 트레이너(또는 표준의 움직임을 재현할 수 있는 조교 등)의 개별 움직임으로부터 획득한 스켈레톤(키네틱스) 및 그에 따른 왼발 및 오른발의 압력 분포로부터 표준 움직임 모델(standard movement model)이 생성될 수 있다. 그후, 상기 표준 움직임 모델은 사용자의 움직임 및 그에 따른 발바닥 압력을 예측할 때 이용될 수 있다. 또는, 스켈레톤 및 발바닥 압력은 매우 큰 집단의 사람들로부터 획득될 수 있으며, 통계적 방식에 따라서 상기 움직임 모델의 각종 정보들(움직임에 대응한 스켈레톤 및 발바닥 압력 분호)이 결정될 수도 있다. 또한, 움직임 모델을 형성하는 과정에서 특정 움직임의 연속적 동작에 대응하는 복수의 시간의 흐름에 따른 스켈레톤 및 그에 따른 발바닥 압력의 변화 세트가 하나의 움직임 모델로 묶일 수 있다.

도 5는 연속된 움직임에 따른 스켈레톤 변화를 하나의 움직임 모델로 설정하는 실시예를 나타낸 것이다. 상기 도 5에 따르면, 연속된 스켈레톤 형상은 서브 ID(sub ID, A1 내지 A11, B1 내지 B11)를 가질 수 있으며, 각 서브 ID에 개별적으로 대응되는 왼발 및 오른발의 압력 분포도 움직임 모델에 포함될 수 있다. 움직임 모델은 전술한 분석 장치, AR 기기 또는 데이터베이스에 저장될 수 있다.

움직임 모델 방식에 따르면, 사용자로부터 추출된 스켈레톤 형상과 움직임 모델의 스켈레톤 형상이 상호 비교되며, 특히 두 형상의 유사도가 평가될 수 있다. 본 발명의 바람직한 실시예에 따르면, 사용자의 발바닥 압력은 사용자의 스켈레톤 형상과 가장 유사도가 높은 스켈레톤 형상과 연관된 움직임 모델의 발바닥 압력 정보일 수 있다.

다음은 움직임 모델 방식의 작동 방식을 나타낸 수도 코드(pseudo code)이다.

/* 움직임 모델 구조체 */

structure MOVEMENT_MODEL{

char *ID; // 움직임 모델 이름

shape SKELETON; // ‘shape’ 데이터 타입 스클레톤 형상, 통계적 수치의 집합일 수 있음

pressure LEFT; // 왼발의 압력, 통계적 수치의 집합일 수 있음

pressure RIGHT; // 오른발의 압력, 통계적 수치의 집합일 수 있음

}

...

// L 개의 움직임 모델이 존재함을 가정함

...

/* 압력 예측 함수 */

foot_pressure_estimation(captured_skeleton){

int i, MODEL_NUMBER;

float SIM[L];

pressure ESTI_LEFT, ESTI_RIGHT;// 'pressure' 데이터 타입

for (i = 0 ; i < L ; i++){

SIM[i] = similarity(captured_skeleton, MOVEMENT_MODEL[i].SKELETON); // 유사도 산출

}

MODEL_NUMBER = maximum_similarity(SIM); // 가장 유사한 움직임 모델 확인

ESTI_LEFT = MOVEMENT_MODEL[MODEL_NUMBER].LEFT;

ESTI_RIGHT = MOVEMENT_MODEL[MODEL_NUMBER].RIGHT;

...

}

상기 유사도를 평가하기 앞서서, 분석 장치 또는 AR 기기는 데이터베이스로부터 사용자의 키 또는 몸무게 정보를 수신할 수 있으며, 수신한 키 또는 몸무게 정보를 이용하여 움직임 모델의 스켈레톤 형상을 보정하거나 발바닥 압력을 보정할 수 있다.

(단계 D) 사용자와 발바닥 압력 센서 매칭

다시 도 3으로 돌아와서, 본 발명의 바람직한 실시예에 따르면, 사용자에게 할당된 발바닥 압력 센서는 감지된 발바닥 압력을 특정 주기마다 브로드캐스팅(broadcasting)할 수 있으며, 이때 상기 발바닥 압력 센서의 고유 식별자(ID 등)가 함께 브로드캐스팅 될 수 있다. 상기 발바닥 압력 센서의 브로드캐스팅은, 사용자에 의해 상기 발바닥 압력 센서가 특정 모드에 진입되거나 상기 사용자에 의해 활성화 되었을 때 수행될 수 있다. 그리고, 분석 장치는 신호 수신기를 통해, 그리고 AR 기기는 직접 상기 브로드캐스팅된 정보들을 수신할 수 있으며, 이를 위한 별도의 통신 모듈(예를 들어, 블루투스)을 포함할 수 있다. 도 6은 발바닥 압력 센서의 발바닥 센서 모듈과 브로드캐스팅되는 정보 또는 메시지의 구조를 나타낸 것이다. 이때, 상기 브로드캐스팅되는 정보 또는 메시지는 전송된 시간(타임 스탬프) 정보를 추가적으로 포함할 수 있다.

최종적으로, 분석 장치 또는 AR 기기는 (특정 시간 t에 대해서)전 단계에서 예측된 발바닥 압력과 각 발바닥 압력 센서로부터 전송된 복수의 발바닥 압력을 비교할 수 있다. 이때, 발바닥 압력 센서에는 복수의 센서 모듈이 포함될 수 있으며, 각 센서 모듈은 개별적으로 자신에게 가해진 압력을 감지할 수 있음을 가정한다. 이에 따라 예측된 발바닥 압력과 전송된 발바닥 압력 역시 복수의 센서 모듈에 의한 복수의 압력 값의 집합일 수 있다. 그리고, 발바닥 압력 센서에서 왼발의 엄지 발가락 주변의 센서 모듈과 오른발의 엄지 발가락 주변의 센서 모듈은 서로 페어(pair)를 이룰 수 있다.

상기 두 발바닥 압력(예측된 발바닥 압력과 전송된 발바닥 압력)의 비교는 다음의 평가 기준에 따라 유사도가 산출될 수 있다. 도 7은 본 발명의 실시예에 따라 발바닥 압력을 비교하는 방식을 나타낸 것이다.

(a) 개별 센서에 의한 압력 값의 유사도를 이용하여 상기 두 발바닥 압력 비교

(b) 특정 시간 구간 동안 측정된 개별 센서의 압력 값의 확률적 분포값의 유사도를 이용하여 상기 두 발바닥 압력 비교

(c) 특정 개별 센서 사이의 압력 값의 비율의 유사도를 이용하여 상기 두 발바닥 압력 비교

(d) 페어를 이루는 개별 센서의 압력 비의 유사도를 이용하여 상기 두 발바닥 압력 비교

(e) (미도시) 특정 시간 구간 동안 가장 강한 압력이 가해진 개별 센서의 식별 부호의 순서의 유사도를 이용하여 상기 두 발바닥 압력 비교

상기 유사도 비교 결과, 두 발바닥 압력의 매칭 정도가 산출될 수 있으며, 유사도의 정확도를 높이기 위해 전술한 단계 A 내지 D가 복수 회 반복될 수 있다. 분석 장치 또는 AR 기기는 예측된 발바닥 압력과 가장 유사도가 높은 전송된 발바닥 압력을 선택할 수 있으며, 상기 선택된 발바닥 압력의 고유 식별자(ID)를 확인할 수 있다. 이에 따라, 상기 고유 식별자를 포함하는 발바닥 압력 정보가 상기 사용자가 이용 중인 발바닥 압력 센서의 발바닥 압력 정보인 것으로 인식할 수 있다. 상기 인식 이후, 분석 장치 또는 AR 기기는 브로드캐스팅 되는 발바닥 압력 정보들 중 상기 확인된 고유 식별자와 연관된 발바닥 압력 정보를 구별할 수 있다. 만약 데이터베이스에 상기 사용자가 이용 중인 발바닥 압력 센서의 고유 식별자가 등록되는 경우, 상기 사용자의 발바닥 압력 정보는 자동적으로 타인의 것과 구별되어 데이터베이스에 저장될 수 있으며, 긴 시간 동안의 상기 사용자의 발바닥 압력 변화를 추적하는데 활용될 수 있다. 상기 긴 시간 동안의 사용자의 발바닥 압력 변화로부터 상기 사용자의 운동량, 포즈의 변화 등도 추가적으로 분석할 수 있다.

상기 단계 A 내지 D에 의한 작동 방식은 복수의 발바닥 압력 센서가 무작위의 사용자들에 대하여 이용되는 경우(예를 들어, 헬스장에서 대여하는 복수의 발바닥 압력 센서의 케이스), 각 사용자의 움직임에 기반한 사용자 인식 및 발바닥 압력 센서 매칭에 효과적으로 적용될 수 있다. 어떤 사용자가 헬스장에 방문할 때마다 서로 다른 발바닥 압력 센서를 이용하더라도, 전술한 단계들에 의해 즉각적으로 매칭이 이루어질 수 있다.

도 8은 전술한 과정에 따라 사용자와 발바닥 압력 센서를 매칭하는 방식을 도시한 도면이다.

본 발명의 다른 실시예에 따른 매칭 방법

도 9는 본 발명의 다른 실시예에 따른 매칭 방법을 나타낸 것이다. 도 9의 경우, 특정 장소에 사용자들을 인식할 수 있는 카메라가 설치되어있고, 상기 카메라와 연동된 분석 장치가 존재하는 상황을 가정한다. 해당 특정 장소에 복수의 사용자들이 존재하며, 각 사용자에게 발바닥 압력 센서가 분배된 경우, 다음과 같은 작동 방식을 고려해볼 수 있다. 이때, 상기 특정 장소 주변에서 다른 복수의 발바닥 압력 센서가 활용되고 있으며, 상기 다른 복수의 발바닥 압력 센서가 무작위적으로 발바닥 압력 정보를 브로드캐스팅 중일 수 있다. 도 9는 이러한 대량의 발바닥 압력 센서가 활용 중인 상황에서도 용이한 방법으로 사용자와 발바닥 압력 센서를 매칭하는 방법을 제공한다.

(1) 카메라를 통해 사용자의 수를 감지한다(여기서, n 명의 사용자가 존재함을 가정함).

(2) 상기 특정 장소에 설치된 디스플레이 또는 스피커를 통해 제 1 발바닥 압력 패턴을 출력한다. 예를 들어, 디스플레이를 통해 LRLLRR을 출력하며, 제 1 사용자(사용자의 순서는 협의 하에 정해진 것으로 가정함)는 상기 출력된 LRLLRR순서에 따라 왼발, 오른발, 왼발, 왼발, 오른발, 오른발에 특정 세기 이상의 압력을 가할 수 있다. 상기 제 1 사용자에게 할당된 임의의 발바닥 압력 센서는 상기 발바닥 압력 값을 순차적으로 브로드캐스팅 하면서 자신의 고유 식별자도 함께 발신할 수 있다.

(3) 분석 장치가 신호 수신기를 통하여 제 1 사용자의 발바닥 압력 센서로부터 상기 제 1 발바닥 압력 패턴에 따른 발바닥 압력을 수신한 경우, 상기 제 1 사용자의 발바닥 압력 센서의 고유 식별자가 상기 제 1 사용자에 관련된 것으로 인지한다.

(4) 상기 (1) 내지 (3)의 과정을 나머지 사용자들(n - 1 명)에 대하여 모두 수행한다. 이때, 상기 출력되는 발바닥 압력 패턴은 각 사용자에 대하여 모두 다르게 출력될 수 있으나 이에 한정되지 않으며, 다른 실시예에 따르면, 모든 사용자가 동일한 발바닥 압력 패턴을 이용하여 자신의 발바닥 압력 센서를 매칭시킬 수도 있다. 만약, 디스플레이를 통해 복수의 사용자를 위한 서로 다른 패턴이 동시에 출력된 경우, 각 사용자의 구별을 위해, 각 사용자를 위한 발바닥 압력 패턴이 모두 다를 수 있다(도 9의 실시예).

상기 (1) 내지 (4)의 과정은 복수의 사용자 그룹에 대하여 동시에 수행될 수도 있으며, 서로 다른 발바닥 압력 패턴이 각 사용자에게 할당된 경우 혼동 없이 모든 사용자에 대하여 발바닥 압력 센서가 용이하게 매칭될 수 있다. 한편, 상기의 방식에 따르면 사용자 각각의 스켈레톤 형상을 추출할 필요가 없으므로 보다 간단하고 단순한 방식으로 사용자 매칭이 이루어질 수 있다.

사용자를 위한 피드백 제공 방식

사용자와 발바닥 압력 센서가 매칭된 경우, 해당 사용자의 발바닥 압력 변화가 실시간으로 타인에게 공유될 수 있다. 특히, 사용자가 발바닥 압력 센서를 착용한 채 특정 종류의 스포츠를 즐기는 경우, 사용자의 움직임에 따른 발바닥 압력의 변화가 자동적으로 수집되고 공유될 수 있다.

어떤 종류의 스포츠든 정확한 자세 또는 포즈를 취하는 것이 중요하며, 상기 자세 또는 포즈는 사용자의 발바닥에 가해지는 압력의 분포가 적절한지 여부에 따라 평가될 수 있다. 특히, 동일한 포즈라도, 발바닥에 인위적으로 서로 다른 힘을 가할 수 있는데, 겉으로 보았을 때 이런 인위적 힘의 분배를 전혀 확인할 수 없는 경우 발바닥 압력 센서가 유용하게 활용될 수 있다.

전술한 실시예에 따르면, 특정 스포츠를 연습하는 스포츠 센터 등에서 만약 트레이너가 전술한 AR 기기 등을 활용하는 경우, 발바닥 센서를 착용한 채 연습 중인 사람들의 자세가 올바른지 여부를 확인할 수 있다. 하지만, 본 발명은 이에 한정되지 않으며, 본 발명은 이러한 트레이너가 없는 상황에서도 운동을 연습하는 사람은 자신의 발바닥 압력 센서를 이용하여 스스로의 포즈 또는 움직임이 올바른지 여부를 확인할 수 있다.

본 발명의 실시예에 따르면, 사용자는 자신이 모방하길 윈하는 레퍼런스 모델(reference model)(예를 들어, 여성 골프의 경우 애니카 소렌스탐, 축구의 경우 박지성)을 선택할 수 있다. 또는, 사용자의 개인 정보 또는 사용자의 스켈레톤 형상에 기반하여 레퍼런스 모델이 자동적으로 선택될 수 있다. 그리고 발바닥 압력 센서를 통해 감지한 자신의 움직임과 레퍼런스 모델의 움직임 또는 상기 움직임과 관련된 정보를 비교함으로써, 현재 자신이 올바른 동작을 취하고 있는지 여부를 확인할 수 있다. 레퍼런스 모델은 고유 식별자, 키 정보, 몸무게 정보, 성별 정보, 체형 정보, 스켈레톤 및 움직임 모델을 포함할 수 있으며, 스켈레톤의 움직임(하나의 레퍼런스 모델은 복수의 스켈레톤 움직임을 포함할 수 있음)에 따른 발바닥 압력 값의 변화 역시 포함할 수 있다. 여기서, 레퍼런스 모델은 스켈레톤에 기반한 통상의 인간 3D 모델도 포함할 수 있으며, 상기 인간 3D 모델은 상기 스켈레톤과 동일한 움직임을 나타낼 수 있다.

전술한 바와 같이, 레퍼런스 모델은 사용자가 임의로 선택할 수 있다. 여기서, 사용자는 키, 몸무게, 체형 및 습관 등 여러 가지 면에서 매우 다양한 분포를 보이고 있으며, 그에 따라 선택된 레퍼런스 모델의 스켈레톤, 키, 몸무게 등의 정보와 사용자의 스켈레톤, 키 및 몸무게 등이 매칭되지 않을 수 있다. 이 경우, 상기 레퍼런스 모델은 그대로 이용될 수도 있지만, 상기 레퍼런스 모델의 스켈레톤이 사용자의 스켈레톤을 참조하여 조정될 수 있다. 예를 들어, 키가 170 cm 미만인 어린 사용자가 키 180 cm 이상의 농구 선수 레퍼런스 모델을 선택한 경우, 레퍼런스 모델의 스켈레톤의 키가 상기 어린 사용자의 키에 대응되게 조정될 수 있다. 또는 사용자와 레퍼런스 모델의 키, 몸무게 등의 정보가 서로 상이한 경우, 그에 대응하여 레퍼런스 모델의 발바닥 압력 값이 증가되거나 감소될 수 있다. 상기 전술한 어린 사용자의 예에서, 키 180 cm 이상의 농구 선수 레퍼런스 모델의 발바닥 압력 값이 상기 어린 사용자의 키에 대응하여 감소될 수 있다.

한편, 전술한 바에 따르면 레퍼런스 모델은 본 발명의 실시예에 따른 발바닥 압력 센서의 작동 방식이 적용된 시스템 또는 장치에 의해 자동적으로 선택될 수 있다. 이때, 사용자의 개인 정보(키, 몸무게, 성별, 체형 등) 및 스켈레톤 형상이 참조될 수 있으며, 사용자의 개인 정보 또는 스켈레톤 형상과 가장 유사한 레퍼런스 모델이 선택될 수 있다. 특히, 상기 레퍼런스 모델 선택시 사용자의 스켈레톤 및 레퍼런스 모델의 스켈레톤의 특정 부위의 길이 비율이 비교될 수 있는데, 예를 들어 두 스켈레톤의 다리 대 팔의 길이 비율 등이 참조될 수 있으며, 상기 비율이 가장 유사한 레퍼런스 모델이 선택될 수 있다. 만약 사용자의 개인 정보가 없는 경우, 사용자가 착용한 발바닥 압력 센서를 통해 감지된 대략적인 사용자의 몸무게가 레퍼런스 모델 선택시 이용될 수도 있다.

도 10은 본 발명의 실시예에 따라 레퍼런스 모델을 선택하는 방식을 나타낸 것이다. 사용자가 참조할 레퍼런스 모델이 결정되면, 사용자는 디스플레이 등의 영상 출력 수단을 통해 자신의 레퍼런스 모델의 스켈레톤(또는 인간 3D 모델)의 움직임, 체중의 이동(즉, 발바닥 압력의 변화)을 확인할 수 있다. 이때, 사용자는 이러한 레퍼런스 모델의 움직임 등을 참조하여 자신의 몸을 움직이거나 특정 운동을 수행할 수 있으며, 사용자의 움직임에 따른 스켈레톤의 움직임 또는 발바닥 압력 변화가 레퍼런스 모델의 스켈레톤의 움직임 또는 발바닥 압력 변화와 실시간으로 비교될 수 있다.

도 11은 본 발명의 실시예에 따라 사용자와 레퍼런스 모델을 비교하는 방식을 나타낸 도면이다. 본 발명의 실시예에 따르면, 사용자와 레퍼런스 모델의 다양한 종류의 정보가 상호 비교 및 분석될 수 있다. 도 11(a)에 따르면, 사용자는 레퍼런스 모델과 자신의 발바닥 압력을 즉각적으로 비교해볼 수 있으며, 이를 통해 포즈 또는 자세의 차이를 확인할 수 있다. 도 11(a)의 경우, 사용자는 자신의 신체를 왼쪽으로 더 기울어야 됨을 확인할 수 있다. 도 11(b)에 따르면, 사용자와 레퍼런스 모델의 왼발 및 오른발 전체의 압력의 변화가 시간의 흐름에 따라 비교될 수 있다. 도 11(b)에서, t_ref_cross는 레퍼런스 모델의 체중 이동 시점을 나타낸 것이며, t_user_cross는 측정된 사용자의 체중 이동 시점을 나타낸 것이다. 시간 t_L_err 이후, 레퍼런스 모델의 왼발의 압력과 사용자의 왼발의 압력의 차이가 증가됨을 알 수 있는데, 이는 상기 t_ref_cross 및 t_user_cross의 시간 차이에 기인한 것일 수 있다. 도 11(b)와 같은 비교 그래프를 확인한 사용자는 자신의 왼발에 보다 이른 시간에 압력을 가해야 된다는 것을 확인할 수 있으며, 다음 연습 때 상기 확인한 사항을 실제로 적용해볼 수 있다.

앞서 언급한 대로, 사용자의 키 또는 몸무게와 레퍼런스 모델의 키 또는 몸무게는 서로 상이할 수 있으며, 이를 보상하기 위해 레퍼런스 모델의 발바닥 압력 값이 사용자의 키 또는 몸무게와 레퍼런스 모델의 키 또는 몸무게의 차이에 기반하여 조정될 수 있다.

한편, 전술한 정보의 비교 및 분석 이후, 분석된 정보에 기반하여 사용자에게 적절한 피드백이 제공될 수도 있다. 도 12는 본 발명의 실시예에 따라 사용자에게 진동 피드백을 제공하는 방식을 나타낸 것이다. 상기 도 11(b)와 같은 그래프가 사용자에게 제공되었음에도 불구하고, 사용자는 자신의 왼발에 압력을 가하는 타이밍을 계속해서 놓칠 수 있다. 본 발명의 실시예에 따르면, 발바닥 압력 센서가 모터 등에 의한 진동 모듈을 구비할 수 있으며, 사용자에게 진동 피드백을 줄 시간과 관련된 정보를 전술한 본 발명의 실시예를 위한 시스템, 분석 장치, 데이터베이스 등으로부터 수신할 수 있다. 상기 도 11(b)의 예에서는, 발바닥 압력 센서는 t_L_err 시점에 진동을 통해 사용자에게 왼발에 압력을 가할 시점을 알릴 수 있고, 사용자는 상기 진동에 대응하여 자신의 압력을 가하는 타이밍을 교정할 수 있다.

발바닥 압력 센서 응용 방안 1

헬스장에서 트레이너가 고객에게 올바른 운동 포즈를 알려주는 상황을 가정해볼 수 있다. 이때, 트레이너는 전술한 AR 기기 및 발바닥 압력 센서를 착용한 상황이고 고객 역시 발바닥 압력 센서를 착용한 상황일 수 있다. 또는, 트레이너는 헬스장의 디스플레이 또는 자신의 스마트 디바이스를 통해 헬스장의 분석 장치 및 데이터베이스에서 분석되거나 저장된 고객의 발바닥 압력 등의 정보를 확인할 수 있는 상황일 수 있다. 트레이너는 간단한 운동 포즈를 시연한 후 고객이 상기 운동 포즈를 올바르게 따라하고 있는지 확인할 수 있는 수단이 필요하다. 이때, 전술한 본 발명의 실시예를 응용하면 트레이너는 자신과 고객의 발바닥 압력을 쉽게 비교할 수 있으며, 상기 비교에 기초하여 고객에게 적절한 조언을 할 수 있다. 도 13은 본 발명의 실시예에 따라 발바닥 압력 값을 비교하는 방식을 나타낸 도면이다.

전술한 실시예에 따라 고객과 고객이 사용하는 발바닥 압력 센서 매칭이 완료된 후, 트레이너는 AR 기기 또는 분석 장치를 통해 고객의 발바닥 압력 센서에서 전송되는 발바닥 압력 값을 확인할 수 있다. 상기 설명을 정리하면 다음과 같다.

- 단계 1 : 사용자와 발바닥 압력 센서 매칭

전술한 실시예에 따라 발바닥 압력 센서와 발바닥 압력 센서의 사용자가 매칭될 수 있다. 이 단계에서는 고객 뿐만 아니라 트레이너에 대한 발바닥 압력 센서의 매칭이 동시에 진행될 수도 있다(또는, 트레이너는 미리 매칭된 발바닥 압력 센서를 이용 가능).

- 단계 2 : 트레이너의 움직임에 따른 발바닥 압력 값 기록

트레이너는 고객에게 데몬스트레이션을 실시하는 과정에서 자신의 발바닥 압력 값의 변화를 시간의 흐름에 따라 기록할 수 있다. 기록된 발바닥 압력 값은 AR 기기, 분석 장치 또는 데이터베이스로 전송될 수 있다.

- 단계 3 : 비교 대상 발바닥 압력 센서 값 수집

고객은 트레이너의 데몬스트레이션을 참조하여 자신의 신체를 움직일 수 있으며, 상기 신체의 움직임에 따른 발바닥 압력 값의 변화가 수집되어 AR 기기, 분석 장치 또는 데이터베이스로 전송될 수 있다.

- 단계 4 : 두 발바닥 압력 값 비교

트레이너의 발바닥 압력 센서 값과 고객의 발바닥 압력 센서 값은 AR 기기, 분석 장치 또는 데이터베이스에 의해 자동적으로 비교 및 분석될 수 있으며, 그에 따른 결과를 트레이너가 확인할 수 있다. 이때, 상기 발바닥 압력 센서 값의 비교는 전술한 도 7의 방식에 따른 비교 방식이 이용될 수도 있다.

또는 트레이너는 자신의 AR 기기 또는 헬스장의 디스플레이 등을 통해서 두 발바닥 압력 센서 값을 직접 확인할 수 있다. 도 12의 예시에 따르면, 트레이너는 고객에게 신체를 보다 왼쪽으로 기울이라고 조언할 수 있으며, 이를 통해 트레이너와 고객의 발바닥 압력 센서 값의 차이를 줄이도록 유도할 수 있다.

발바닥 압력 센서 응용 방안 2

본 발명의 실시예는 다양한 스포츠에 활용될 수 있다. 이 장에서는 발바닥 압력 센서가 실내 스크린 골프장에 적용된 예시를 설명하도록 한다. 이 장에서는 특히 사용자의 개인 정보가 별도로 저장되지 않은 상태이며, 스크린 골프장에서 일시적으로 또는 즉각적으로 이루어지는 골프 경기 상황을 가정한다. 도 14는 이러한 실내 스크린 골프장 등의 장소에서 발바닥 압력 센서를 응용하는 실시예를 나타낸 도면이다.

- 단계 1 : 각 경기 참가자와 발바닥 압력 센서 매칭

전술한 실시예의 방식에 따라 각 참가자들과 각 참가자들이 이용하는 발바닥 압력 센서가 매칭될 수 있으며, 이로 인해 각 참가자들의 발바닥 압력 센서 값이 구분될 수 있다.

- 단계 2 : 각 참가자를 위한 레퍼런스 모델 선택

분석 장치는 첫 경기가 진행되기 전 또는 첫 경기가 진행되는 도중 각 참가자를 위한 레퍼런스 모델을 선택할 수 있다. 이를 위해, 분석 장치는 참가자들의 발바닥 압력 센서로부터 전송된 전체 압력 값에 기반하여 각 참가자들의 대략적인 몸무게를 계산할 수 있다. 보다 정확한 몸무게 계산을 위해, 분석 장치는 참가자의 움직임이 적을 때(steady state)의 발바닥 압력으로부터 몸무게를 산출할 수 있다. 또는, 분석 장치는 스크린 화면을 통해 각 참가자들이 올바른 자세로 수초 정도 서있기를 요청할 수도 있다.

한편, 분석 장치는 실내 골프장에 설치된 적어도 하나의 카메라 등을 이용하여 참가자들의 스켈레톤을 추출할 수 있다(상기 스켈레톤 추출 과정은 앞선 단계 1의 매칭 단계에서 이미 추출된 것일 수 있다). 분석 장치는 추출된 스켈레톤 형상에 기반하여 참가자들의 키, 스켈레톤의 각 부위의 비율 등을 계산할 수 있으며, 최종적으로 대략적인 몸무게, 키, 상기 비율에 가장 유사한 레퍼런스 모델을 선택할 수 있다.

- 단계 3 : 참가자를 위한 피드백

각 참가자를 위한 레퍼런스 모델의 선택이 완료되면, 각 참가자의 발바닥 압력 값은 레퍼런스 모델의 발바닥 압력 값과 비교될 수 있다. 도 15는 레퍼런스 모델과 참가자의 발바닥 압력을 시간에 따라 비교한 것을 나타낸 도면이다.

분석 장치는 경기가 진행되는 동안 각 참가자에게 레퍼런스 모델과의 비교 결과에 기반하여 적절한 조언을 제공할 수 있다. 도 15에 따르면, 참가자 P4의 발 뒤쪽의 압력이 레퍼런스의 그것에 비해 작은 것을 알 수 있다. 이에 따라, 분석 장치는 참가자 P4에서 발 뒤쪽으로 무게 중심을 이동하라는 조언을 디스플레이 등을 통해 제공할 수 있다. 한편, 도 14에 따르면, t3의 시점에서 참가자 P4의 왼발의 압력의 분포가 레퍼런스 모델의 그것과 많은 차이를 보이고 있다. 분석 장치는 이를 알리기 위한 신호를 참가자 P4의 발바닥 압력 센서로 전송할 수 있고, 참가자 P4의 발바닥 압력 센서는 상기 신호에 기반하여 t3의 시점에 참가자 P4에게 진동을 가할 수 있다.

발바닥 압력 센서 응용 방안 3

근대 이후의 스포츠에서, 운동 선수 또는 팀의 통계적 데이터가 선수 또는 팀 관리를 위한 핵심 정보로 여겨져 왔다. 최근, 대부분의 스포츠 팀은 운동 경기 기록을 위한 전문가를 채용하고 있으며, 각 선수 또는 팀의 모든 움직임을 디지털 장비를 통해 기록한다. 이후, 기록된 데이터는 통계적 데이터의 형태로 조직화될 수 있으며, 통계적 데이터는 상기 전문가 또는 관리자에 의해 분석될 수 있다.

통계적 데이터는 미디어 또는 스포츠 팬들에게도 중요하다. 미디어는 통계적 데이터를 통해 사람들의 운동 경기에 대한 이해도를 향상시킬 수 있다. 특히, 통계적 데이터는 운동 경기의 요점과 관련된 정보를 포함할 수 있기 때문에 스포츠 뉴스 등의 미디어의 핵심 정보로써 활용된다. 한편, 팬들은 선호하는 다양한 운동 경기의 통계들을 트래킹해왔으며, 이러한 운동 경기 관련 통계들은 스포츠를 즐기는 또 다른 소재로써 활용되어왔다.

IT 기술의 발달에 의해, 각 운동 선수들의 움직임은 다양한 전자기기(예를 들어, 카메라, 컴퓨터 및 센서들)에 의해 기록되고 있다. 각 선수들의 모든 움직임을 감지하기 위해서는 전체 경기장을 커버하는 카메라 등의 센서가 필요한데, 이러한 감지 장치들은 대량의 감지 결과 데이터를 생성한다. 이때문에 이러한 데이터들을 처리하고 유의미한 분석 데이터를 추출하기 위한 효과적인 방법론이 요구된다. 최근, 일부 회사들은 스포츠 팀들을 대신하여 운동 선수들의 데이터의 수집 및 분석을 수행하는 사업을 진행하기도 한다.

현재로서는, 상기 데이터 수집 및 분석 기업들은 카메라로 촬영된 영상에 의존하여 각 운동 선수들을 트래킹을 한다. 이러한 이미지 기반 선수 인식 시스템은 선수들의 얼굴이나 등 번호 등의 특징(feature)들을 이용하는데, 복수의 운동 선수들이 좁은 공간에 위치하는 경우 상기 특징들이 가려져서 선수 인식에 실패하는 경우가 있다.

도 16은 기존의 이미지 기반 선수 인식 시스템의 한계점을 나타낸 도면이다. 도 16과 같은 상황에서, 기존의 이미지 기반 선수 인식 시스템은 수집된 영상으로부터 각 운동 선수를 인식할 수 없기 때문에, 사람에 의해 수동적으로 선수를 인식하고 이를 수집된 영상 또는 데이터에 별도로 기록을 해야 한다는 문제점이 있다.

한편, 이러한 선수 인식의 문제점을 해결하기 위해 선수에게 별도의 신호 발생기 등을 부착하는 방안을 생각해볼 수 있으나, 이러한 추가적인 장비는 선수의 부상을 유발하거나 선수의 경기력에 부정적인 영향을 미칠 수 있다. 즉, 경기에 전혀 방해가 되지 않는(non-intrusive), 보다 진보된 선수 인식 방식이 필요하다.

도 17은 발바닥 압력 센서를 이용하여 선수를 인식하는 방식을 간략하게 나타낸 도면이다. 본 발명의 실시예에 따르면 각 선수들은 자신에게 할당된 발바닥 압력 센서를 착용한 채 경기에 참여한다. 이에 따라, 각 발바닥 압력 센서는 선수들의 움직임에 대응한 발바닥 압력 값을 BLE 등의 방식으로 브로드캐스팅할 수 있으며, 신호 수신기를 통해 각 선수의 발바닥 압력 값이 자동적으로 수집될 수 있다. 이때, 각 선수들에게 할당된 발바닥 압력 센서는 고유의 식별자를 가지며, 발바닥 압력 센서가 발바닥 압력 값을 브로드캐스팅할 대 자신의 식별자도 함께 전송하기 때문에, 각 선수 별 발바닥 압력 값이 개별적으로 구별되어 수집될 수 있다. 한편, 발바닥 압력 센서는 신발 깔창 등의 형태로 제작될 수 있기 때문에 발바닥 압력 센서의 사용 때문에 선수들의 경기력이 저하되는 일은 없다.

한편, 제안하는 실시예는 기존의 이미지 기반 방식과 함께 이용될 수 있다. 서버(또는 분석 장치)는 이미지 데이터와 발바닥 압력 값을 동시에 수신 및 저장할 수 있으며, 도 16과 같은 혼동(ambiguity, 선수 신원, 위치, 모션의 불확실성)이 발생된 경우 발바닥 압력 값을 참조하여 상기 혼동 문제를 해결할 수 있다. 이때, 카메라 등의 센서는 선수들의 발의 위치 등을 추가적으로 감지할 수 있으며, 상기 추가적인 정보들과 발바닥 압력 값의 조합을 이용하여 혼동 문제를 해결할 수 있다.

도 18은 본 발명의 실시예에 따라 선수 인식시 발생될 수 있는 불확실성 문제를 해결하는 방식을 시간의 흐름에 따라 나타낸 것이다.

1. 감지된 데이터 수집(기본 상태)

단계 1a : 각 발바닥 압력 센서는 자신들의 발바닥 압력 값을 BLE 등의 방식을 통해 브로드캐스팅한다. 이때, 발바닥 압력 센서의 식별자 및 선수의 식별자가 함께 전송될 수 있다.

단계 1b : 경기장의 적어도 하나의 카메라가 선수들의 이미지 데이터를 수집하고, 이를 서버로 전송한다. 이때 카메라는 기존의 방식에 따른 레거시(legacy) 카메라일 수 있다.

단계 1c : 신호 수신기는 브로드캐스팅된 발바닥 압력 값, 발바닥 압력 센서의 식별자 및 선수 식별자를 수신하고 이를 서버로 전송한다.

단계 1d : 서버는 전송된 이미지와 발바닥 압력 값 등을 저장한다(각 식별자도 함께).

2. 혼동 문제 감지

단계 2a : 서버는 이미지 데이터에 기반하여 혼동 문제가 발생했는지 여부를 확인할 수 있다. 만약 서버가 이미지 데이터로부터 각 선수를 인식할 수 없는 경우, 혼동 문제가 발생한 것으로 판단할 수 있다. 또는, 적어도 둘 이상의 선수가 기 설정된 거리 이내에 위치하는 경우, 혼동 문제가 발생한 것으로 판단할 수도 있다.

단계 2b : 혼동 문제가 발생된 경우, 서버는 어떤 선수가 인식되지 않는지 확인할 수 있다. 예를 들어, 10 명의 선수들이 농구 경기에 참여하고 있는 상황에서 선수 1 내지 선수 8들만 개별적으로 인식되는 상황이 존재할 수 있다. 이것의 역으로써, 서버는 선수 9 및 10이 인식되지 않는 상태인 것으로 판별할 수 있다. 인식되지 않는 선수 9 및 10은 ID_amb로 셋팅될 수 있다. 상기 예시의 경우처럼 둘 이상의 ID_amb들이 존재할 수 있다.

기존의 이미지 기반 선수 인식 시스템에 따르면, 경기장에서의 선수들의 위치 - X 및 Y 좌표를 확인할 수 있는데, 제안하는 방식은 이러한 구성을 이용할 수 있다. 만약 선수 9 및 10을 인식할 수 없는 경우, 서버는 상기 두 선수가 동일한 공간에 존재하는 것으로 판단할 수 있는데, 이때, 상기 선수 9 및 10의 유효한 과거 위치(예를 들어, 혼동 문제가 발생한 시점으로부터 3초 전의 시간 등) 및 이동 경로가 참조될 수 있다. 다시 말해, 각 선수들은 이동에 따라 연속적인 X 및 Y 좌표를 가지기 때문에 상기 과거 위치 및 이동 경로로부터 혼동 문제가 발생한 시점에서의 위치를 대략적으로 추정할 수 있으며, 상기 추정 결과 상기 선수 9 및 10가 동일한 장소에 위치할 것으로 판단할 수 있다.

단계 2c : 서버는 혼동 문제가 언제 발생되었는지 확인할 수 있다. 확인된 시간은 t_amb로 셋팅될 수 있으며, 서버는 복수의 혼동 문제 발생 시간들을 확인할 수 있다.

3. 혼동 문제 해결

단계 3a : 서버는 시간 t_amb에서의 이미지 데이터와 ID_amb의 발바닥 압력 값을 매칭시킬 수 있다. 예를 들어, 만약 혼동 문제가 00:30:27(t_amb1)와 00:30:40(t_amb2) 사이에 발생되고, 선수 9 및 10이 인식되지 않는 경우(ID_amb = ID9 또는 ID10), 서버는 상기 시간 구간의 이미지와 ID9 및 ID10의 발바닥 압력 값을 비교할 수 있다. 이때, 발바닥 압력 값의 특징과 이미지 데이터의 특징이 이용될 수 있다. 서버가 ID9 및 ID10 중 하나에 대해서 ID_amb1이라고 셋팅하는 경우 나머지가 ID_amb2가 된다.

도 19는 본 발명의 실시예에 따라 발바닥 압력 값과 이미지 데이터를 비교하는 방식을 나타낸 도면이며, 도 20은 본 발명의 실시예에 따라 발바닥 압력 값의 특징과 이미지 데이터의 특징을 비교하는 방식을 나타낸 도면이다. 도 20에 따르면, 이미지 데이터의 발 위치 특징과 발바닥 압력 값의 압력 값 분포 특징이 비교될 수 있다. 도 19에서 ID_amb1의 왼발은 땅에 닿아있고 오른발은 공중에 위치하고 있다. 한편, 수신된 발바닥 압력 값 중 ID9의 왼발은 높은 압력 값을 가지지만 오른발은 낮은 압력값을 가짐을 알 수 있다. 이에 따라 서버는 ID_amb1이 ID9(즉, 선수 9)이고, ID_amb2가 ID10(즉, 선수 10)인 것을 개별적으로 확인할 수 있다. 한편, 서버는 수신된 두 선수의 발바닥 압력 값에 기반하여 두 선수의 포즈 또는 자세를 산출할 수 있으며, 이때, 전술한 레퍼런스 모델 도는 움직임 모델이 활용될 수도 있다.

단계 3b : 서버는 확인되지 않은 ID_amb가 남아있는지 확인할 수 있으며, 만약 남아있지 않으면 기본 상태, 즉 단계 1b로 복귀하고 여전히 남아있으면 다음 단계로 이동한다.

단계 3c : 만약 서버가 이미지 데이터의 특징을 인식하지 못하는 경우(예를 들어, 선수의 발이 타 선수에 의해 가려졌을 때 등), 적어도 일부의 ID_amb가 성공적으로 확인되지 못할 수 있다. 이 경우, 서버는 t_amb 시간 구간의 다른 이미지 데이터로부터 특징을 인식하려고 시도할 수 있다. 예를 들어, 00:30:27에서 00:30:35 사이의 시간 동안에는 ID_amb1의 발이 ID_amb2에 의해 가려져서 보이지 않을 수 있지만, 00:30:36에서 00:30:40 사이의 시간 동안에는 상기 발이 인식될 수 있을 때, 서버는 상기 00:30:36에서 00:30:40 사이의 시간의 이미지 데이터를 이용하여 미확인 ID_amb를 처리할 수 있다.

이상에서 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지를 벗어나지 않는 범위 내에서 수정, 변경을 할 수 있을 것이다. 따라서 본 발명이 속하는 기술분야에 속한 사람이 본 발명의 상세한 설명 및 실시예로부터 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석되어야 할 것이다.

Claims (1)

1. 발바닥 압력 센서 및 그 제어 방법.

Images