KR20200129883A - 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템 - Google Patents

저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템 Download PDF

Info

Publication number
KR20200129883A
KR20200129883A KR1020190054945A KR20190054945A KR20200129883A KR 20200129883 A KR20200129883 A KR 20200129883A KR 1020190054945 A KR1020190054945 A KR 1020190054945A KR 20190054945 A KR20190054945 A KR 20190054945A KR 20200129883 A KR20200129883 A KR 20200129883A
Authority
KR
South Korea
Prior art keywords
precision
motion recognition
low
recognition module
mobile
Prior art date
Application number
KR1020190054945A
Other languages
English (en)
Inventor
김태남
구자욱
신택선
Original Assignee
주식회사 위힐드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 위힐드 filed Critical 주식회사 위힐드
Priority to KR1020190054945A priority Critical patent/KR20200129883A/ko
Publication of KR20200129883A publication Critical patent/KR20200129883A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템은 모바일 디바이스에 의해 촬영된 영상을 저정밀도 고속으로 인식하는 저정밀도 모션인식모듈, 상기 모바일 디바이스에 의해 촬영된 영상을 고정밀도 저속으로 인식하는 고정밀도 모션인식모듈, 그리고 현재 사용자의 운동상황을 파악하고, 상기 운동상황에 어느 모션인식모듈을 작동시켜야할지 판단하는 상황판단모듈를 포함한다. 이를 통해서, 본 발명은 모바일 디바이스의 한정된 자원을 최대한 효율적으로 활용하며, 모바일 디바이스 외의 추가 자원을 사용하지않으면서도, 사용자의 전반적인 만족도를 높게 유지할 수 있는 효과를 제공한다.

Description

저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템{MOBILE HYBRID SYSTEM OF LOW PRECISION AND HIGH PRECISION}
본 발명은 사용자의 운동상황에 따라 고속의 저정밀도 모션인식 및 저속의 고정밀도 모션인식을 이용한 모바일 모션인식 하이브리드 시스템에 관한 것이다.
현대인들은 신체 활동의 부족과 불규칙한 식습관 등으로 인하여 자세의 불균형, 비만 등과 같은 성인병이 문제되고 있다. 이에 따라, 건강 및 운동에 대한 관심이 높아지고 있으며, 다양한 운동 기구 또는 운동 시스템이 개발되고 있다.
하지만, 종래의 운동 시스템 또는 운동 기구는 자동 속도 변환 및 경사각 조절 등의 다양한 기능을 제공하지만, 단순히 미리 정해진 프로그램에 따라 반복적으로 동일한 동작을 반복하는데 그치므로, 사용자가 쉽게 지루함을 느끼고 흥미를 잃어 지속적인 운동이 유지되기 어렵다는 문제가 있었다.
또한, 휴대용 모바일 디바이스는 현대인에게 없어서는 안될 필수품으로서 남녀 노소를 막론하고 사용하고 있다. 이러한 흐름을 반영하여, 최근에는 휴대용 모바일 디바이스를 이용하여 사용자의 운동 자세를 촬영하고 가이드해 주는 기술이 개발되고 있다.
이때, 카메라 촬영 피사체의 운동상황을 제대로 판단하기위해서는 결과도출속도가 빠르고 정밀도도 높아야하지만, 휴대용 모바일 디바이스의 한정된 자원으로 인해서 이를 만족시키기는 어려운 실정이다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명은 사용자의 운동상황에 따라 저정밀도 모션인식 모듈과 고정밀도 모션인식 모듈을 선택적으로 사용하여 모바일 디바이스의 한정된 자원을 최대한 효율적으로 활용할 수 있는 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템을 제안하고자 한다.
또한, 본 발명은 모바일 디바이스 외의 추가 자원을 사용하지않으면서도, 사용자의 전반적인 만족도를 높게 유지할 수 있는 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템을 제안하고자 한다.
본 발명의 한 특징에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템은 모바일 디바이스에 의해 촬영된 영상을 저정밀도 고속으로 인식하는 저정밀도 모션인식모듈, 상기 모바일 디바이스에 의해 촬영된 영상을 고정밀도 저속으로 인식하는 고정밀도 모션인식모듈, 그리고 현재 사용자의 운동상황을 파악하고, 상기 운동상황에 어느 모션인식모듈을 작동시켜야할지 판단하는 상황판단모듈를 포함한다.
본 발명은 사용자의 운동상황에 따라 저정밀도 모션인식 모듈과 고정밀도 모션인식 모듈을 선택적으로 사용함으로써, 모바일 디바이스의 한정된 자원을 최대한 효율적으로 활용할 수 있는 환경을 제공한다.
또한, 본 발명은 모바일 디바이스 외의 추가 자원을 사용하지않으면서도, 사용자의 전반적인 만족도를 높게 유지할 수 있는 환경을 제공한다.
도 1은 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템을 도시한 도면이다.
도 2는 본 발명의 한 실시예에 따른 사용자가 모바일 앱을 사용하는 전체시간에서 사용자의 운동상황에 따라 저정밀도 모션인식모듈 및 고정밀도 모션인식모듈을 선택적으로 사용하는 예를 도시한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서에서, 단말은 일반적인 데스크 탑이나 노트북 등의 일반 PC, 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스 (Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬 레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이 브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기에 적용될 수 있다.
이하, 도면을 참조로 하여 본 발명의 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템에 대하여 상세히 설명한다.
도 1은 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템을 도시한 도면이다. 이때, 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템은 본 발명의 실시예에 따른 설명을 위해 필요한 개략적인 구성만을 도시할 뿐 이러한 구성에 국한되는 것은 아니다.
도 1을 참조하면, 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템(100)은 상황판단모듈(110), 저정밀도 모션인식모듈(120), 고정밀도 모션인식모듈(130), 저정밀도 영상처리모듈(140), 고정밀도 영상처리모듈(150), 그리고 영상 및 모션인식결과 저장소(160)를 포함한다.
우선, 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템(100)은 모바일 디바이스에서의 모션인식 모듈의 결과도출속도와 정밀도 간에는 반비례 관계가 있으므로, 결과도출속도가 빠르지만 정밀도가 낮은 저정밀도 모션인식모듈(120) 및, 결과도출속도가 느리고 정밀도가 높은 고정밀도 모션인식모듈(130)을 선택적으로 사용한다.
예를 들어, 운동수행시간 중 상당부분에서는 저정밀도 모션인식 만으로도 충분히 만족할만한 수준의 운동상황판단 기능을 사용자에게 제공할 수 있고, 고정밀도 모션인식이 요구되는 순간은 전체 운동수행시간 중 일부에 불과하다. 그리고, 그러한 순간은 매회 운동을 수행할 때마다 반복되는 패턴이 있으며, 고정밀도 모션인식결과는 즉각적으로 요구되기보다 운동을 잠시 쉬는 휴식시간이나 운동결과 리포트를 보는 시간 등 지연된 시간에 표시해도 되는 경우가 있다.
따라서, 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템(100)은 사용자의 운동상황에 따라 저정밀도 모션인식 모듈(120)과 고정밀도 모션인식 모듈(130)을 선택적으로 사용함으로써, 모바일 디바이스의 한정된 자원을 최대한 효율적으로 활용할 수 있는 환경을 제공한다.
그리고, 상황판단모듈(110)은 현재 사용자의 운동상황이 어느 모션인식모듈을 작동시켜야할지 판단한다. 예를 들어, 상황판단모듈(110)은 현재 사용자의 운동상황에 따라 저정밀도 모션인식모듈(120)을 작동시키거나, 필요한 경우 고정밀도 모션인식모듈(130)을 작동시키도록 제어할 수 있다. 여기서, 사용자의 운동상황은 운동방법 설명듣는시간, 운동 수행 시간, 휴식 시간, 또는 운동결과리포트열람시간 등을 포함한다.
도 2는 본 발명의 한 실시예에 따른 사용자가 모바일 앱을 사용하는 전체시간에서 사용자의 운동상황에 따라 저정밀도 모션인식모듈 및 고정밀도 모션인식모듈을 선택적으로 사용하는 예를 도시한 도면이다.
도 2를 참조하여 상기 상황판단모듈(110)의 작동 예시를 들자면, 현재 사용자가 운동을 수행하고있는 도중이라면, 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템(100)은 저정밀도 모션인식모듈(120)을 작동시킨다. 그리고 상황판단모듈(110)은 사용자가 운동을 잠시 쉬는 휴식시간이나 운동방법을 듣고있는 시간, 운동결과 리포트를 보는 시간이라면, 고정밀도 모션인식모듈(130)을 작동시킬 수 있다.
그리고, 저정밀도 모션인식모듈(120)은 전자적 디바이스에 의해 촬영된 영상으로부터 피사체를 저정밀도 고속으로 인식한다. 예를 들어, 저정밀도 모션인식모듈(120)은 본 발명의 한 실시예에 따라 사용자의 운동 수행 시간 동안 사용될 수 있다.
그리고, 고정밀도 모션인식모듈(130)은 전자적 디바이스에 의해 촬영된 영상으로부터 피사체를 고정밀도 저속으로 인식한다. 예를 들어, 고정밀도 모션인식모듈(130)은 본 발명의 한 실시예에 따라 운동방법 설명듣는시간, 휴식 시간, 또는 운동결과리포트열람시간 동안 사용될 수 있다.
저정밀도 영상처리모듈(140)은 저정밀도 모션인식모듈(120)로부터 인식된 모션 및 영상을 처리하여 영상 및 모션인식결과 저장소(160)에 저장한다.
예를 들어, 저정밀도 영상처리모듈(140)은 상기 상황판단모듈(110)에 의해 상기 저정밀도 모션인식모듈(120)이 작동하게 될 때, 상기 저정밀도 모션인식모듈(120)로부터 도출된 포즈데이터의 패턴으로부터 고정밀도가 필요한 시간의 시작시점 및 종료시점을 판정하여 해당 시간대의 영상을 처리하여 영상 및 모션인식결과 저장소(160)에 저장한다.
또한, 고정밀도 영상처리모듈(150)은 고정밀도 모션인식모듈(130)로부터 인식된 모션 및 영상을 처리하여 영상 및 모션인식 결과저장소(160)에 저장한다.
예를 들어, 상기 상황판단모듈(3)에 의해 상기 고정밀도 모션인식모듈(130)이 작동하게 될 때, 상기 고정밀도 영상처리모듈(150)은 상기 영상 및 모션인식결과 저장소(160)에 저장된 영상들 중 고정밀도 모션인식이 필요한 영상들에 대해 긴급도, 중요도, 다른 영상과의 유사도 등에 따라 우선순위를 판단하여 높은 우선순위의 영상에 대해 모션인식을 수행하고 결과를 처리한다.
이와 같이, 본 발명의 한 실시예에 따른 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템은 사용자의 운동상황에 따라 저정밀도 모션인식 모듈과 고정밀도 모션인식 모듈을 선택적으로 사용함으로써, 모바일 디바이스의 한정된 자원을 최대한 효율적으로 활용할 수 있는 환경을 제공한다.
또한, 본 발명은 모바일 디바이스 외의 추가 자원을 사용하지않으면서도, 사용자의 전반적인 만족도를 높게 유지할 수 있는 환경을 제공한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (1)

  1. 모바일 디바이스에 의해 촬영된 영상을 저정밀도 고속으로 인식하는 저정밀도 모션인식모듈,
    상기 모바일 디바이스에 의해 촬영된 영상을 고정밀도 저속으로 인식하는 고정밀도 모션인식모듈, 그리고
    현재 사용자의 운동상황을 파악하고, 상기 운동상황에 어느 모션인식모듈을 작동시켜야할지 판단하는 상황판단모듈
    를 포함하는 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템.
KR1020190054945A 2019-05-10 2019-05-10 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템 KR20200129883A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190054945A KR20200129883A (ko) 2019-05-10 2019-05-10 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190054945A KR20200129883A (ko) 2019-05-10 2019-05-10 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템

Publications (1)

Publication Number Publication Date
KR20200129883A true KR20200129883A (ko) 2020-11-18

Family

ID=73697590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190054945A KR20200129883A (ko) 2019-05-10 2019-05-10 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템

Country Status (1)

Country Link
KR (1) KR20200129883A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469175A (zh) * 2023-06-20 2023-07-21 青岛黄海学院 一种幼儿教育可视化互动方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469175A (zh) * 2023-06-20 2023-07-21 青岛黄海学院 一种幼儿教育可视化互动方法及系统
CN116469175B (zh) * 2023-06-20 2023-08-29 青岛黄海学院 一种幼儿教育可视化互动方法及系统

Similar Documents

Publication Publication Date Title
US11330194B2 (en) Photographing using night shot mode processing and user interface
US10832448B2 (en) Display control device, display control method, and program
EP3616050B1 (en) Apparatus and method for voice command context
CN108024079B (zh) 录屏方法、装置、终端及存储介质
EP2899618A1 (en) Control device and recording medium
CN109040524B (zh) 伪影消除方法、装置、存储介质及终端
CN110572716B (zh) 多媒体数据播放方法、装置及存储介质
WO2021043121A1 (zh) 一种图像换脸的方法、装置、系统、设备和存储介质
CN112866576B (zh) 图像预览方法、存储介质及显示设备
CN108958587B (zh) 分屏处理方法、装置、存储介质和电子设备
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN112825013A (zh) 终端设备的控制方法和装置
US20170161011A1 (en) Play control method and electronic client
CN111510757A (zh) 一种共享媒体数据流的方法、装置以及系统
US20150244984A1 (en) Information processing method and device
CN112788233B (zh) 视频拍摄处理方法和电子设备
KR20200129883A (ko) 저정밀도 및 고정밀도 모바일 모션인식 하이브리드 시스템
CN112423139A (zh) 基于移动终端的多机位直播方法、系统、设备及存储介质
CN108307041A (zh) 一种根据指纹获取操作指令的方法、移动终端及存储介质
CN111274925A (zh) 推荐视频的生成方法、装置、电子设备及计算机存储介质
US20210158049A1 (en) Apparatus and method for associating images from two image streams
WO2020000974A1 (zh) 视频拍摄方法、客户端、终端及存储介质
CN110798736A (zh) 视频播放方法、装置、设备和介质
WO2020007010A1 (zh) 音量的显示方法、装置、终端设备及存储介质
CN110941344B (zh) 获取注视点数据的方法及相关装置