KR102033643B1 - 대상체 인식비율에 따른 이용자 모션분석 시스템 - Google Patents

대상체 인식비율에 따른 이용자 모션분석 시스템 Download PDF

Info

Publication number
KR102033643B1
KR102033643B1 KR1020170087110A KR20170087110A KR102033643B1 KR 102033643 B1 KR102033643 B1 KR 102033643B1 KR 1020170087110 A KR1020170087110 A KR 1020170087110A KR 20170087110 A KR20170087110 A KR 20170087110A KR 102033643 B1 KR102033643 B1 KR 102033643B1
Authority
KR
South Korea
Prior art keywords
user
motion
image
recognition module
image input
Prior art date
Application number
KR1020170087110A
Other languages
English (en)
Other versions
KR20190006305A (ko
Inventor
최이권
서정훈
Original Assignee
모젼스랩 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모젼스랩 (주) filed Critical 모젼스랩 (주)
Priority to KR1020170087110A priority Critical patent/KR102033643B1/ko
Publication of KR20190006305A publication Critical patent/KR20190006305A/ko
Application granted granted Critical
Publication of KR102033643B1 publication Critical patent/KR102033643B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • G06K9/00362
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지에 모션 인식 카메라를 이용하여, 이용자의 모션을 인식하고, 인식된 이용자의 모션을 표준모션과 대비하여 이용자의 모션을 평가하는 시스템에 관한 것으로, 본 발명은 이용자의 모션을 촬영하여 인식하는 인식모듈과; 이용자의 모션 평가결과를 출력하는 출력모듈; 그리고 상기 인식모듈의 구동을 제어하고, 상기 인식모듈을 통해 입력된 이용자 모션을 표준 대상체와 대비하여 평가하며, 평가결과를 상기 출력모듈을 통해 출력하는 시스템 제어모듈을 포함하여 구성되고: 상기 시스템 제어모듈은, 상기 인식모듈로부터 인식된 이용자의 모션 영상을 입력받는 영상입력부와; 상기 인식모듈을 영상입력배율을 제어하는 인식모듈 컨트롤러와; 상기 영상입력부로부터 입력된 이용자 모션 영상과 대비될 표준 대상체의 모션 데이터가 저장되는 데이터베이스; 그리고 상기 영상입력부로부터 입력된 이용자 모션 영상과 데이터베이스에 저장된 표준 대상체의 모션 데이터를 대비하여, 상기 이용자 모션의 일치도를 평가하는 제어부를 포함하여 구성된다. 이와 같은 본 발명에 의하면, 본 발명은 이용자의 신체비율에 따라 입력되는 영상의 배율을 조정하여, 이용자 모션의 정확성을 향상시킬 수 있는 효과가 있다.

Description

대상체 인식비율에 따른 이용자 모션분석 시스템 { MOTION ANALYSIS SYSTEM BASED ON RATIO OF OBJECTS }
본 발명은 이미지에 모션 인식 카메라를 이용하여, 이용자의 모션을 인식하고, 인식된 이용자의 모션을 표준모션과 대비하여 이용자의 모션을 평가하는 시스템에 관한 것으로, 본 발명은 문화체육관광부의 스포츠산업기술개발사업중 '청소년용 실감 체험형 스포츠 통합플랫폼 기술 개발'과제를 수행함에 있어 산출된 결과물에 대한 발명이다.
최근에는 가상 콘텐츠와 인터렉션 기술이 발달함에 따라, 게임, 스포츠 등 다양한 분야에서, 이용자의 모션인식을 통한 인터렉션 기술이 널리 활용되고 있다.
이와 같은 사용자 모션인식을 통한 플랫폼은 스포츠 분야에도 e-스포츠라는 이름으로 널리 연구개발되고 있는 실정이다.
e-스포츠란 electronic sports의 약자로 컴퓨터 및 네트워크, 기타 영상 및 IT 장비 등을 이용하여 승부를 겨루는 스포츠로 지적 능력 및 신체적 능력이 필요한 경기이다. 대회 또는 리그와 같은 현장으로의 참여, 전파를 통해 전달되는 중계의 관전, 그리고 이와 관계되는 커뮤니티 활동 등의 사이버문화 전반 또한 e-스포츠 활동에 속한다.
이와 같은 연구의 일환으로, 대한민국 공개특허 제10-2017-0077664호에는, 태권도의 세계화 전략과 21세기 태권도 부흥을 위해 e-스포츠 관점에서 개발된 태권도 관련 플랫폼이 개시되어 있다.
이와 같은 선행기술에서는, 도 1에 도시된 바와 같이, 태권도 학습 아이템들을 디스플레이하고, 이용자는 상기 학습 아이템의 태권도 자세를 따라하면, 이용자의 모션을 캡쳐하여 처리된 영상을 통해 결과를 분석 평가하는 발명이 개시되어 있다.
그러나 상기한 바와 같은 선행 기술에서는 다음과 같은 문제점이 있다.
즉, 종래기술에서는 이용자의 크기에 따라 모션 정확도 산출에 신뢰성이 확보되지 못하는 문제점이 있었다.
구체적으로, 평가의 기준이 되는 표준 대상체와 이용자의 영상 비율이 서로 다른 경우, 이에 따라 평가의 정확성이 저하되는 문제점이 있었다.
나아가, 이와 같은 문제는 입력 영상을 다양한 영상처리 기법으로, 처리한 후 표준 대상체와 대비하는 방법이 적용될 수 있으나, 이와 같은 경우, 영상 처리에 따른 많은 시스템 자원이 요구되어, 복잡하고 정교하며, 긴 시간 동안 수행되는 모션의 경우, 효과적이고 즉각적인 결과를 산출하기 어려운 문제점이 있었다.
(001) 대한민국 공개특허 제10-2017-0077664호
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 이용자의 신체비율에 따라 입력되는 영상의 배율을 조정하여, 이용자 모션의 정확성을 향상시킨 대상체 인식비율에 따른 이용자 모션분석 시스템을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 이용자의 모션을 촬영하여 인식하는 인식모듈과; 이용자의 모션 평가결과를 출력하는 출력모듈; 그리고 상기 인식모듈의 구동을 제어하고, 상기 인식모듈을 통해 입력된 이용자 모션을 표준 대상체와 대비하여 평가하며, 평가결과를 상기 출력모듈을 통해 출력하는 시스템 제어모듈을 포함하여 구성되고: 상기 시스템 제어모듈은, 상기 인식모듈로부터 인식된 이용자의 모션 영상을 입력받는 영상입력부와; 상기 인식모듈을 영상입력배율을 제어하는 인식모듈 컨트롤러와; 상기 영상입력부로부터 입력된 이용자 모션 영상과 대비될 표준 대상체의 모션 데이터가 저장되는 데이터베이스; 그리고 상기 영상입력부로부터 입력된 이용자 모션 영상과 데이터베이스에 저장된 표준 대상체의 모션 데이터를 대비하여, 상기 이용자 모션의 일치도를 평가하는 제어부를 포함하여 구성된다.
이때, 상기 시스템 제어모듈은, 상기 제어부가 평가한 상기 이용자 모션의 평가결과를 포함한 출력콘텐츠를 생성하여 상기 출력모듈을 통해 출력하는 영상출력부를 더 포함하여 구성될 수도 있다.
그리고 상기 인식모듈컨트롤러는, 상기 데이터베이스에 저장된 표준 대상체의 영상을 독출하여, 상기 영상입력부로부터 인식된 이용자 영상과 표준대상체 영상을 대비하여, 상기 인식모듈의 영상 입력배율을 조정할 수도 있다.
또한, 상기 인식모듈컨트롤러는, 상기 이용자 영상의 수직 길이가 상기 표준대상체 영상의 수직길이와 기설정된 오차범위 이내가 되도록 배율보정값을 산출하고, 상기 배율보정값에 따라 상기 인식모듈의 주밍(zooming)값을 설정할 수도 있다.
그리고 상기 인식모듈컨트롤러는, 상기 이용자 영상의 수직 길이가 상기 표준대상체 영상의 수직길이와 기설정된 오차범위 이내가 되도록 수직배율보정값을 산출하고, 상기 수직배율보정값에 따라 상기 인식모듈의 수직방향 영상입력 배율을 설정할 수도 있다.
또한, 상기 인식모듈컨트롤러는, 상기 이용자 영상의 수평 길이가 상기 표준대상체 영상의 수평길이와 기설정된 오차범위 이내가 되도록 수평배율보정값을 산출하고, 상기 수평배율보정값에 따라 상기 인식모듈의 수평방향 영상입력 배율을 설정할 수도 있다.
그리고 상기 제어부는, 서로 대응하는 상기 표준 대상체의 각 관절 부위와 이용자 모션의 각 관절 부위의 벡터평균 차이값의 합에 의해 산출될 수도 있다.
또한, 상기 제어부는, 상기 벡터평균 차이값의 합이 작을수록, 상기 일치도가 높은 것으로 판별할 수도 있다.
그리고 상기 벡터평균 차이값은, 상기 표준 대상체의 특정 관절부위의 X,Y 및 Z축 벡터 이동값과 상기 이용자 모션의 대응 관절부위의 X,Y 및 Z축 벡터 이동값과의 차이값의 제곱평균값일 수도 있다.
또한, 상기 벡터평균 차이값은, X 및 Y 축 벡터이동값의 차이값에 수평방향 배율조정값과 수직방향 배율조정값의 비율값을 반영하여 산출될 수도 있다.
그리고 상기 벡터평균 차이값은,
Figure 112017065688667-pat00001
에 의해 산출되고,
여기서, 여기서,
Figure 112017065688667-pat00002
는 표준 대상체의 관절(I1)의 X,Y,Z축 방향의 벡터 이동값이고,
Figure 112017065688667-pat00003
는 이용자 모션 이미지의 관절(I1)의 X,Y,Z축 방향의 벡터 이동값이며,
Figure 112017065688667-pat00004
는 각각 인식모듈컨트롤러의 '수평방향 배율조정값/수직방향 배율조정값' 및 '수직방향 배율조정값/수평방향 배율조정값'일 수도 있다.
위에서 살핀 바와 같은 본 발명에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템에서는 다음과 같은 효과를 기대할 수 있다.
즉, 본 발명에서는 이용자의 신체비율에 따라 입력되는 영상의 배율을 조정하여, 이용자 모션의 정확성을 향상시킬 수 있는 효과가 있다.
도 1은 종래기술에 의한 모션인식을 통한 태권도학습 애플리케이션의 일 예를 도시한 예시도.
도 2는 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템의 구성을 도시한 시스템 구성도.
도 3은 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템의 구성을 도시한 블록도.
도 4는 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 방법을 도시한 흐름도.
도 5는 본 발명의 구체적인 실시예에 의한 표준 대상체의 일 예를 도시한 예시도.
도 6은 본 발명의 구체적인 실시예에 의한 이용자 인식영상의 일 예를 도시한 예시도.
도 7은 본 발명의 구체적인 실시예에 의한 이용자 인식영상의 배율 조정 영상의 일 예를 도시한 예시도.
도 8은 본 발명의 다른 실시예에 의한 이용자 인식영상의 배율 조정 영상의 일 예를 도시한 예시도.
도 9는 본 발명의 다른 실시예에 의한 이용자 인식영상의 배율 조정 영상의 다른 예를 도시한 예시도.
이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템을 살펴보기로 한다.
설명에 앞서 먼저, 본 발명의 효과, 특징 및 이를 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예에서 명확해진다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.
그리고, 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성하여 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다.
즉, 도시된 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.
도 2는 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템의 구성을 도시한 시스템 구성도이고, 도 3은 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템의 구성을 도시한 블록도이며, 도 4는 본 발명의 구체적인 실시예에 의한 대상체 인식비율에 따른 이용자 모션분석 방법을 도시한 흐름도이고, 도 5는 본 발명의 구체적인 실시예에 의한 표준 대상체의 일 예를 도시한 예시도이며, 도 6은 본 발명의 구체적인 실시예에 의한 이용자 인식영상의 일 예를 도시한 예시도이고, 도 7은 본 발명의 구체적인 실시예에 의한 이용자 인식영상의 배율 조정 영상의 일 예를 도시한 예시도이며, 도 8은 본 발명의 다른 실시예에 의한 이용자 인식영상의 배율 조정 영상의 일 예를 도시한 예시도이고, 도 9는 본 발명의 다른 실시예에 의한 이용자 인식영상의 배율 조정 영상의 다른 예를 도시한 예시도이다.
먼저, 도 2에 도시된 바와 같이, 본 발명에 의한 이용자 모션분석 시스템은 인식모듈(100)과 시스템제어모듈(200) 및 출력모듈(300)을 포함하여 구성된다.
상기 인식모듈(100)은 이용자의 모션을 촬영하여, 상기 이용자의 모션을 인식하는 모듈로, 바람직하게는 이용자의 거리를 인식할 수 있는 키넥트 카메라가 이용된다.
그리고 상기 출력모듈(300)은 표준 대상체를 통해 이용자가 수행할 모션을 제공하고, 이용자의 모션 평가 결과를 출력하는 디스플레이 장치로, 다양한 콘텐츠에 따라 다양한 영상을 출력하는 부분이다.
또한, 상기 시스템 제어모듈(200)은, 상기 인식모듈(100)의 구동을 제어하고, 상기 인식모듈(100)을 통해 입력된 이용자 모션을 표준 대상체와 대비하여 평가하며, 출력콘텐츠를 생성하여 상기 출력모듈(300)을 통해 출력하는 등, 전체적인 시스템의 제어를 수행하는 부분으로, 상기 시스템 제어모듈(200)의 구성 및 기능에 대하여는 이하에서 상세히 설명하기로 한다.
상기 시스템 제어모듈(200)은 도 3에 도시된 바와 같이, 영상입력부(210), 인식모듈 컨트롤러(220), 제어부(230), 영상출력부(250) 및 데이터베이스(240)를 포함하여 구성된다.
상기 영상입력부(210)는 상기 인식모듈(100)로부터 인식된 이용자의 모션 영상을 입력받아 후술할 제어부(230)에 제공한다.
그리고 상기 인식모듈 컨트롤러(220)는 상기 영상입력부(210)를 통해 입력되는 이용자 모션 영상과 데이터베이스에 저장된 표준 대상체의 영상을 대비하여, 상기 인식모듈(100)을 설정상태를 조절한다.
이때, 상기 인식모듈 컨트롤러(220)의 인식모듈(100) 컨트롤 방법의 구체적인 방법에 대하여는, 본 발명의 모션 분석 방법을 설명함에 있어, 다시 설명하기로 한다.
또한, 상기 제어부(230)는 상기 영상입력부(210)를 통해 입력된 영상을 데이터베이스(240)에 저장된 표준 대상체의 영상과 비교하여, 이용자 모션의 평가결과를 산출한다.
상기 제어부(230)에 의한 모션 평가는 기본적으로 상기 이용자 모션과 상기 표준 대상체의 모션과의 일치도에 따라 산출되는 것으로, 구체적인 산출방법은 본 발명의 모션 분석 방법을 설명함에 있어 다시 설명하기로 한다.
한편, 상기 데이터베이스(240)는 이용자 모션의 평가를 위한 표준 대상체의 모션 데이터가 저장되는 부분으로, 각 이용자별 모션 영상 및 평가결과가 저장될 수도 있을 뿐만아니라, 본 발명의 시스템을 운용하기 위한 출력 콘텐츠 등의 다양한 데이터가 저장될 수 있다.
그리고 상기 영상출력부(250)는 상기 이용자 모션의 평가결과를 출력하기 위한 출력콘텐츠를 생성하여 상기 출력모듈(300)을 통해 출력한다.
이하에서는 이와 같이 구성되는 본 발명의 모션 분석 시스템을 통해, 이용자의 모션을 분석하는 방법에 대하여 상세히 설명하기로 한다.
본 발명에 의한 이용자 모션 분석 방법은, 도 4에 도시된 바와 같이, 먼저 인식모듈(100)이 이용자의 영상을 입력받아, 이용자를 인식하는 것으로부터 시작된다(S110, S120).
즉, 상기 인식모듈(100)이 이용자를 촬영하여, 이용자의 영상을 영상입력부(210)로 전송하면, 상기 인식모듈컨트롤러(220)는 입력영상으로부터 이용자를 인식한다
이후, 상기 인식모듈컨트롤러(220)는 상기 데이터베이스(240)에 저장된 표준 대상체의 영상을 독출한다(S130).
그리고 상기 인식모듈컨트롤러(220)는 상기 인식된 이용자 영상과 표준대상체 영상을 대비하여, 상기 인식모듈(200)의 영상 입력배율을 조정한다.
구체적으로, 상기 인식모듈컨트롤러(220)는, 상기 인식된 이용자 영상과 상기 표준대상체 영상을 대비하여, 상기 이용자 영상의 크기가 상기 표준대상체 영상의 크기의 허용범위 내에 포함되는지여부를 판별한다(S140).
이때, 상기 이용자 영상의 크기가 상기 표준대상체 영상의 크기의 허용범위 내에 포함된다면, 양 영상의 대상체는 유사 범위의 크기로 입력되는 것으로, 인식모듈(100)의 영상입력 배율을 조정할 필요가 없다.
반면에, 상기 이용자 영상의 크기가 상기 표준대상체 영상의 크기의 허용범위 내에 포함되지 않는다면, 상기 인식모듈 컨트롤러(220)는 상기 인식모듈(100)의 영상 입력 배율에 대한 배율 보정값을 산출한다(S150).
여기서, 상기 배율보정값은 본 발명의 실시예에 따라 두 가지 형태로 수행될 수 있다.
먼저, 본 발명의 제1실시예에 의한 배율보정값은 이용자 영상의 길이가 표준 대상체의 길이에 대응하도록 인식모듈의 주밍(zooming)값을 설정하는 것이다.
즉, 도 5에 도시된 바와 같은 영상이 표준 대상체(S) 영상이고, 도 6에 도시된 바와 같은 영상이 이용자의 입력영상(V)인 경우, 도 7에 도시된 바와 같이, 상기 인식모듈을 영상 입력 배율을 확대 설정하여, 이용자 영상의 길이가 표준 대상체의 길이와 같아지도록 하는 것이다.
실제 입력영상의 평가 테스트 결과, 성인인 시범교관의 모션을 표준 대상체 모션으로 하고, 어린이 이용자의 모션을 평가하는 경우, 성인 이용자의 모션을 평가하는 경우보다 결과값의 정확성이 현저히 떨어지는 결과가 도출되었다.
이에 따라 전술한 바와 같이, 입식모듈(100)의 입력배율을 조정하여, 어린이 이용자의 모션을 입력받아 대비하는 경우, 평가 결과의 정확성이 성인 이용자의 경우와 유사하게 유지되는 결과를 확인하였다.
한편, 본 발명의 제1실시예에 의한 배율보정 방법은, 대상체의 길이를 기준으로 전체 영상을 주밍하여 배율을 보정하여, 배율 보정이 극히 간소화되는 장점은 있으나, 대상체의 폭방향이 과도하게 보정되어, 체형이 변화됨에 따라 부수적인 평가결과의 오차가 발생될 수 있다.
이에 따라, 본 발명의 제2실시예에 의한 배율보정은 이용자 영상의 길이와 폭을 각각 표준 대상체의 길이와 폭에 대응하도록 인식모듈의 수직방향 배율 및 수평방향 배율을 각각 달리 설정한다.
이때, 상기 인식모듈(100)은 수직방향 배율 및 수평방향 배율이 각각 개별적으로 설정될 수 있는 디지털화된 인식장치임은 자명한 사실이다.
구체적으로, 도 5에 도시된 바와 같은 영상이 표준 대상체(S) 영상이고, 도 6에 도시된 바와 같은 영상이 이용자의 입력영상(V)인 경우, 본 발명의 제2실시예에 의한 배율보정은 먼저, 상기 인식모듈컨트롤러(220)가 도 8에 도시된 바와 같이, 이용자 영상의 길이가 표준 대상체의 길이와 같아지도록 인식모듈의 수직방향 배율을 보정(설정)한다.
다음으로, 상기 인식모듈컨트롤러(220)는 도 9에 도시된 바와 같이, 이용자 영상의 폭이 표준 대상체의 폭과 같아지도록 인식모듈의 수평방향 배율을 보정(설정)한다.
이와 같은, 본 발명에 의한 인식모듈컨트롤러(220)의 배율 조절과정을 통해, 입력되는 이용자 영상을 별도의 처리 없이 표준 대상체의 모션 영상과 대비하여, 이용자 모션을 평가할 수 있게 된다.
전술한 바와 같이, 상기 인식모듈컨트롤러(220)에 의해 인식모듈의 영상 입력 배율이 조정되어, 이용자의 모션이 입력되면(S170), 상기 제어부(230)는 입력되는 이용자의 모션과 표준 대상체의 모션을 대비하여 일치도에 따라, 상기 이용자 모션을 분석 및 평가한다(S180).
이때, 상기 이용자의 모션과 표준 대상체의 모션의 일치도 산출의 구체적인 방법을 설명하기로 한다.
즉, 상기 일치도는 표준 대상체의 각 관절 부위와 이에 대응하는 이용자 영상의 각 관절 부위의 벡터평균 차이값의 합 또는 평균값에 의해 산출될 수 있다.
이를 수식으로 표현하면, 아래 [수학식 1]과 같이,
Figure 112017065688667-pat00005
각 관절(
Figure 112017065688667-pat00006
)에 대하여, 벡터평균 차이값을 산출하고,
이들 벡터평규 차이값의 전체 합(
Figure 112017065688667-pat00007
)이 작을수록 일치도가 높은 것으로 이용자 모션을 평가할 수 있다.
여기서,
Figure 112017065688667-pat00008
는 표준 대상체의 관절(I1)의 X,Y,Z축 방향의 벡터 이동값이고,
Figure 112017065688667-pat00009
는 이용자 모션 이미지의 관절(I1)의 X,Y,Z축 방향의 벡터 이동값이다.
그리고
Figure 112017065688667-pat00010
는 각각 인식모듈컨트롤러의 '수평방향 배율조정값/수직방향 배율조정값' 및 '수직방향 배율조정값/수평방향 배율조정값'을 의미한다.
여기서, 상기 X축 방향 벡터이동 차이값 및 Y축 방향 벡터이동 차이값에 수평방향 배율조정값/수직방향 배율조정값 및 수직방향 배율조정값/수평방향 배율조정값을 반영하는 이유는, 수평 및 수직방향의 배율조정값에 따라 벡터이동값에 의한 신체부위의 이동거리가 실제와 다르게 반영되므로 이를 보정하기 위한 것이다.
한편, 상기 제어부(230)는 전술한 바와 같이, 이용자 모션에 대한 분석 및 평가가 완료되면, 이를 출력모듈(300)을 통해 사용자에게 출력한다(S190).
살핀 바와 같이, 본 발명에 의한 대상체 인식비율에 따른 이용자 모션분석 시스템은 입력영상의 배율 설정을 조정함에 따라, 입력 영상을 별도로 처리하는 과정 없이 표준 대상체의 모션 영상과 대비할 수 있고, 각 관절에 대한 벡터값을 비교함에 의해 간단한 연산과정을 통해, 이용자 모션을 평가할 수 있어, 모션 분석에 따른 플랫폼 구성을 간소화하면서도, 평가의 정확성을 확보할 수 있는 효과가 있다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
본 발명은 이미지에 모션 인식 카메라를 이용하여, 이용자의 모션을 인식하고, 인식된 이용자의 모션을 표준모션과 대비하여 이용자의 모션을 평가하는 시스템에 관한 것으로, 본 발명에 의하면, 이용자의 신체비율에 따라 입력되는 영상의 배율을 조정하여, 이용자 모션의 정확성을 향상시킬 수 있는 효과가 있다.
100 : 인식모듈 200 : 시스템제어모듈
300 :출력모듈 210 : 영상입력부
220 : 인식모듈컨트롤러 230 : 제어부
240 ; 데이터베이스 250 : 영상출력부

Claims (6)

  1. 이용자의 모션을 촬영하여 인식하는 인식모듈과;
    이용자의 모션 평가결과를 출력하는 출력모듈; 그리고
    상기 인식모듈의 구동을 제어하고, 상기 인식모듈을 통해 입력된 이용자 모션을 표준 대상체와 대비하여 평가하며, 평가결과를 상기 출력모듈을 통해 출력하는 시스템 제어모듈을 포함하여 구성되고:
    상기 시스템 제어모듈은,
    상기 인식모듈로부터 인식된 이용자의 모션 영상을 입력받는 영상입력부와;
    상기 인식모듈을 영상입력배율을 제어하는 인식모듈 컨트롤러와;
    상기 영상입력부로부터 입력된 이용자 모션 영상과 대비될 표준 대상체의 모션 데이터가 저장되는 데이터베이스와;
    상기 영상입력부로부터 입력된 이용자 모션 영상과 데이터베이스에 저장된 표준 대상체의 모션 데이터를 대비하여, 상기 이용자 모션의 일치도를 평가하는 제어부; 그리고
    상기 제어부가 평가한 상기 이용자 모션의 평가결과를 포함한 출력콘텐츠를 생성하여 상기 출력모듈을 통해 출력하는 영상출력부를 포함하여 구성되고:
    상기 인식모듈컨트롤러는,
    상기 데이터베이스에 저장된 표준 대상체의 영상을 독출하여,
    상기 영상입력부로부터 인식된 이용자 영상과 표준대상체 영상을 대비하여, 상기 인식모듈의 영상 입력배율을 조정하되;
    상기 이용자 영상의 수직 길이가 상기 표준대상체 영상의 수직길이와 기설정된 오차범위 이내가 되도록 수직배율보정값을 산출하고, 상기 수직배율보정값에 따라 상기 인식모듈의 수직방향 영상 입력배율을 설정하고;
    상기 이용자 영상의 수평 길이가 상기 표준대상체 영상의 수평길이와 기설정된 오차범위 이내가 되도록 수평배율보정값을 산출하고, 상기 수평배율보정값에 따라 상기 인식모듈의 수평방향 영상 입력배율을 설정하며:
    상기 제어부는,
    서로 대응하는 상기 표준 대상체의 각 관절 부위와 이용자 모션의 각 관절 부위의 벡터평균 차이값의 합에 의해 산출되고, 상기 벡터평균 차이값의 합이 작을수록 상기 일치도가 높은 것으로 판별하고:
    각 관절부위의 상기 벡터평균 차이값(I1)은,
    수학식
    Figure 112018090526498-pat00025

    에 의해 산출되고,
    여기서,
    Figure 112018090526498-pat00026
    는 표준 대상체의 제1관절의 X,Y,Z축 방향의 벡터 이동값이고;
    Figure 112018090526498-pat00027
    는 이용자 모션 이미지의 제1관절의 X,Y,Z축 방향의 벡터 이동값이며,
    Figure 112018090526498-pat00028
    는 영상 입력배율의 수평방향 배율조정값/수직방향 배율조정값 이고;
    Figure 112018090526498-pat00029
    는 영상 입력배율의 수평방향 배율조정값/수직방향 배율조정값 임을 특징으로 하는 대상체 인식비율에 따른 이용자 모션분석 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
KR1020170087110A 2017-07-10 2017-07-10 대상체 인식비율에 따른 이용자 모션분석 시스템 KR102033643B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170087110A KR102033643B1 (ko) 2017-07-10 2017-07-10 대상체 인식비율에 따른 이용자 모션분석 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170087110A KR102033643B1 (ko) 2017-07-10 2017-07-10 대상체 인식비율에 따른 이용자 모션분석 시스템

Publications (2)

Publication Number Publication Date
KR20190006305A KR20190006305A (ko) 2019-01-18
KR102033643B1 true KR102033643B1 (ko) 2019-10-17

Family

ID=65323709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170087110A KR102033643B1 (ko) 2017-07-10 2017-07-10 대상체 인식비율에 따른 이용자 모션분석 시스템

Country Status (1)

Country Link
KR (1) KR102033643B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758259B2 (en) 2020-08-31 2023-09-12 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102112236B1 (ko) * 2019-09-26 2020-05-18 주식회사 홀로웍스 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120038764A (ko) * 2010-10-14 2012-04-24 한국전자통신연구원 영상 인식 방법 및 영상 인식 장치
KR20170010157A (ko) * 2015-07-15 2017-01-26 (주)블루클라우드 인터랙티브 운동프로그램을 통한 사용자의 운동동작 유도 방법 및 그 장치
KR20170077664A (ko) 2015-12-28 2017-07-06 이길수 태권도 학습 방법 및 그 애플리케이션 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758259B2 (en) 2020-08-31 2023-09-12 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
KR20190006305A (ko) 2019-01-18

Similar Documents

Publication Publication Date Title
US9619868B2 (en) Information processing device, information processing system, and information processing method
US8374395B2 (en) Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream
CN102662476B (zh) 一种视线估计方法
KR102106135B1 (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
JP2011258160A (ja) プログラム、情報記憶媒体及び画像生成システム
KR101478937B1 (ko) 영상 표시 장치
US11042730B2 (en) Method, apparatus and device for determining an object, and storage medium for the same
KR102033643B1 (ko) 대상체 인식비율에 따른 이용자 모션분석 시스템
US10628964B2 (en) Methods and devices for extended reality device training data creation
KR20190142166A (ko) 이용자 모션 분석에 따른 가상 줄넘기 콘텐츠 제공 시스템
Wang et al. Synthesis and evaluation of linear motion transitions
CN113577774A (zh) 虚拟对象生成方法、装置、电子设备及存储介质
KR102147930B1 (ko) 포즈 인식 방법 및 장치
US20190310475A1 (en) Image display apparatus and image display method
CN107293162A (zh) 运动教学辅助方法及装置、终端设备
Hwang et al. Motion data acquisition method for motion analysis in golf
US10713847B2 (en) Method and device for interacting with virtual objects
CN108509924A (zh) 人体姿态的评分方法和装置
CN110070036B (zh) 辅助运动动作训练的方法、装置及电子设备
EP3889738A1 (en) A system and a method for calibrating a user interface
CN113544701A (zh) 关联对象的检测方法及装置
US8223220B2 (en) Image processing device, image processing method, and information storage medium
KR101717490B1 (ko) 모션을 활용한 퍼포먼스 구현 시스템 및 방법
KR20200070531A (ko) 직업체험을 위한 가상현실 생성 및 제공 시스템
CN114546125B (zh) 键盘跟踪方法及跟踪系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right