KR102001966B1 - 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법 - Google Patents

음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법 Download PDF

Info

Publication number
KR102001966B1
KR102001966B1 KR1020180023975A KR20180023975A KR102001966B1 KR 102001966 B1 KR102001966 B1 KR 102001966B1 KR 1020180023975 A KR1020180023975 A KR 1020180023975A KR 20180023975 A KR20180023975 A KR 20180023975A KR 102001966 B1 KR102001966 B1 KR 102001966B1
Authority
KR
South Korea
Prior art keywords
user
information
treadmill
control
voice
Prior art date
Application number
KR1020180023975A
Other languages
English (en)
Inventor
이상민
조우형
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180023975A priority Critical patent/KR102001966B1/ko
Application granted granted Critical
Publication of KR102001966B1 publication Critical patent/KR102001966B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • A63B22/0242—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation
    • A63B22/025—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation electrically, e.g. D.C. motors with variable speed control
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/808—Microphones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S482/00—Exercise devices
    • Y10S482/901—Exercise devices having computer circuitry

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 사용자의 음성과 사용자의 입(mouth)을 촬영한 영상을 이용하여 해당 사용자의 명령을 인증한 후 인증을 통과한 명령에 따라 동작하도록 함으로써 이웃하는 사용자의 명령에 영향을 받지 않도록 하고, 해당 사용자의 몸을 촬영한 영상을 이용하여 자동으로 러닝벨트의 속도를 조절함으로써 사용자가 직접 속도를 조절하지 못하여 발생할 수 있는 사고를 예방할 수 있는 기능을 수행하는 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법을 제안한다. 상기 음성과 영상을 이용하여 제어하는 트레드밀은, 사용자가 걷거나 뛰는 러닝벨트와 구동명령에 따라 상기 러닝벨트의 동작을 제어하는 구동장치를 포함하는 본체 및 상기 구동명령을 생성하는 제어패널을 포함하는 것으로, 상기 제어패널은 복수의 마이크 및 신호처리부를 포함한다.

Description

음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법{A treadmill controlled by sound and image and control method of the treadmill}
본 발명은 트레드밀에 관한 것으로, 특히, 사용자의 음성과 사용자의 입을 촬영한 영상을 이용하여 해당 사용자의 명령을 인증한 후 인증을 통과한 명령에 따라 동작하도록 함으로써 이웃하는 사용자의 명령에 영향을 받지 않도록 하고, 해당 사용자의 몸을 촬영한 영상을 이용하여 자동으로 러닝벨트의 속도를 조절함으로써 사용자가 직접 속도를 조절하지 못하여 발생할 수 있는 사고를 예방할 수 있는 기능을 수행하는 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법에 관한 것이다.
흔히 러닝머신(running machine)이라고 하는 모터 구동 트레드밀(motor driven treadmill, 이하 트레드밀)은 너비가 넓은 벨트로 된 바닥을 모터로 회전시키고, 그 위를 회전방향과 반대방향으로 걷거나 뛰는 장치를 말한다.
도 1은 일반적인 트레드밀의 사진이다.
도 1을 참조하면, 트레드밀(100)은 지면과 닿아 있으며 회전하는 러닝벨트(111)가 설치된 트레드밀 본체(110)와 프레임(130)으로 트레드밀 본체(110)의 전방 상부에 위치하는 트레드밀 제어패널(120)로 구성된다.
트레드밀 본체(110)를 구성하는 러닝벨트(111) 및 러닝벨트(111)를 회전시키는 구동부(112)는 본 발명의 아이디어에 포함되지 않으며 이 분야의 통상의 지식을 가진 기술자는 누구든지 그 구성이나 동작에 대해 자세하게 알고 있으므로 여기서는 자세하게 설명하지 않는다.
트레드밀 제어패널(120)에는 트레드밀 본체(110)를 구성하는 장치의 동작을 제어하는데 사용되는 각종 입력수단이 설치되어 있다. 각종 입력수단의 예는 복수의 제어버튼으로, 예를 들면, 동작버튼, 속도제어버튼, 기능선택버튼 및 긴급정지버튼 등이 있다.
트레드밀을 사용하기 위해서는 먼저 제어패널(120)에 설치된 동작버튼(미도시)을 눌러야 하는데, 일단 동작버튼이 눌려지면 러닝벨트(111)가 회전한다. 러닝벨트(111)의 회전속도는 사용자가 어떤 선택도 하지 않는 경우에는 미리 설정한 느린 속도로 회전하고, 이어 사용자가 제어패널(120)에 설치된 제어버튼(미도시)을 통해 회전속도를 선택하면 그에 따라 회전하며, 동작버튼을 누르기 전에 회전속도를 설정하였다면, 동작버튼을 누르는 순간 러닝벨트(111)의 회전속도가 설정속도가 될 때까지 서서히 증가하게 될 것이다.
트레드밀은 겨울철에도 적당한 온도의 실내에서 걷기 또는 뛰는 운동을 할 수 있으며, 사용자 자신의 수준에 맞도록 벨트의 속도를 조절할 수 있다는 장점이 있다. 트레드밀은 처음에 선택한 러닝벨트의 속도를 운동 중에도 조절할 수 있는데, 운동 중 러닝벨트의 속도를 조절하기 위해서는 제어패널을 사용자가 일일이 조작하여야 하는 불편이 있다. 러닝벨트에서 걷거나 뛰는 도중 제어패널의 버튼을 누를 때 사용자의 균형이 흐트러진다면 이는 큰 사고로 연결될 수 있다.
상술한 바와 같이 트레드밀을 사용하는 사용자가 직접 제어버튼을 눌러야 하기 때문에, 트레드밀 사용이 익숙하지 않은 사용자를 위해 동작방법에 대해서 안내하는 "런닝머신의 음성안내 장치"가 등록실용신안 20-0277767(2002년5월28)로 공개되어 있지만, 상기 음성안내 장치도 사용이 서투른 사용자가 어떤 제어버튼을 눌러야 하는가에 대해서는 서비스를 제공하지만, 사용자가 직접 제어버튼을 눌러야 하는 것에는 변함이 없다.
"스마트 기기를 제어패널로 이용하는 트레드밀"이라는 기술이 등록발명 10-1777672호(2017년9월6일)에 공개되어 있는데, 이 발명의 트레드밀의 제어를 하기 위해서는 직접 손으로 스마트폰이나 PC에 명령을 입력해야 한다는 단점을 해소하지는 못하였다.
대한민국 공개특허 10-2004-0070381호(2004년8월9일)에 공개된 "음성인식 시스템을 이용한 런닝머신 구동제어장치"에서는 간단한 음성명령으로 런닝머신을 구동할 수 있도록 하여 손으로 직접 제어하지 않도록 하였다. 그러나 이 기술은 가정집에서 혼자 사용할 때에는 의미가 있을 수 있지만, 스포츠센터와 같이 여러 대의 트레드밀이 정렬되어 있고 수많은 사람이 있는 곳에서는 효과적이지 못하다는 단점이 있다. 왜냐하면, 일렬로 정렬된 복수의 트레드밀을 복수의 사용자가 사용하고 있는 때, 임의의 사용자의 음성신호가 자신의 트레드밀은 물론 이웃하는 트레드밀의 동작을 제어할 수 있기 때문이다.
본 발명이 해결하고자 하는 기술적 과제는, 사용자의 음성과 사용자의 입(mouth)을 촬영한 영상을 이용하여 해당 사용자의 명령을 인증한 후 인증을 통과한 명령에 따라 동작하도록 함으로써 이웃하는 사용자의 명령에 영향을 받지 않도록 하고, 해당 사용자의 몸을 촬영한 영상을 이용하여 자동으로 러닝벨트의 속도를 조절함으로써 사용자가 직접 속도를 조절하지 못하여 발생할 수 있는 사고를 예방할 수 있는 기능을 수행하는 음성과 영상을 이용하여 제어하는 트레드밀을 제공하는 것에 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 사용자의 음성과 사용자의 입을 촬영한 영상을 이용하여 해당 사용자의 명령을 인증한 후 인증을 통과한 명령에 따라 동작하도록 함으로써 이웃하는 사용자의 명령에 영향을 받지 않도록 하고, 해당 사용자의 몸을 촬영한 영상을 이용하여 자동으로 러닝벨트의 속도를 조절함으로써 사용자가 직접 속도를 조절하지 못하여 발생할 수 있는 사고를 예방할 수 있는 기능을 수행하는 트레드밀 제어방법을 제공하는 것에 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 음성과 영상을 이용하여 제어하는 트레드밀은, 사용자가 걷거나 뛰는 러닝벨트와 구동명령에 따라 상기 러닝벨트의 동작을 제어하는 구동장치를 포함하는 본체 및 상기 구동명령을 생성하는 제어패널을 포함하는 것으로, 상기 제어패널은 복수의 마이크 및 신호처리부를 포함한다. 상기 카메라는 상기 제어패널의 전방에 설치되어 상기 본체의 상기 러닝벨트 위에서 걷거나 뛰는 사용자를 촬영한다. 상기 복수의 마이크는 상기 제어패널의 2곳 이상의 장소에 설치한다. 상기 신호처리부는 상기 카메라 및 상기 마이크로부터 수신한 영상(영상신호) 및 음성(음성신호)을 처리(signal processing)하여 사용자가 음성으로 상기 트레드밀의 동작을 지시하였는가를 판단하여 상기 본체의 러닝벨트의 속도를 제어하는 제1제어 및 상기 카메라에서 촬영한 영상신호를 처리하여 사용자의 운동 상태에 따라 상기 러닝벨트의 속도를 조절하는 제2제어 중 적어도 하나의 제어를 수행하여 상기 구동명령을 생성하고, 상기 제어패널에 설치된 스피커를 제어하여 상기 트레드밀의 현재속도, 거리, 경사도, 설정된 코스의 구간정보 및 트레이너가 일상적으로 하는 말 중 적어도 하나를 사용자에게 제공한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 트레드밀 제어방법은, 제4항에 기재된 상기 음성과 영상을 이용하여 제어하는 트레드밀의 동작을 제어하는 것으로, 상기 신호처리부는, 상기 카메라에서 촬영하여 처리한 상기 영상정보 중 사용자의 입 모양과 입 모양의 변화상태를 상기 마이크로 입력되는 신호에서 잡음을 제거하여 사용자의 음성신호만을 포함하도록 처리한 상기 음성정보와 비교하고, 비교결과에 따라 상기 구동명령을 생성하는 제1제어단계 및 상기 카메라에서 촬영하여 처리한 상기 영상정보 중 사용자의 몸체의 크기 변화를 실시간으로 비교하고, 비교결과에 따라 상기 구동명령을 생성하는 제2제어단계를 수행한다.
상술한 바와 같이, 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법은 사용자의 음성과 사용자의 입을 촬영한 영상을 이용하여 해당 사용자의 명령을 인증한 후 인증을 통과한 명령에 따라 동작하도록 함으로써 이웃하는 사용자의 명령에 영향을 받지 않도록 하고, 해당 사용자의 몸을 촬영한 영상을 이용하여 자동으로 러닝벨트의 속도를 조절함으로써 사용자가 직접 속도를 조절하지 못하여 발생할 수 있는 사고를 예방할 수 있다는 장점이 있다.
도 1은 일반적인 트레드밀의 사진이다.
도 2는 본 발명에 따른 음성과 영상을 이용하여 제어하는 트레드밀의 평면도이다.
도 3은 본 발명에 따른 트레드밀 제어방법의 신호 흐름도이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명에 따른 음성과 영상을 이용하여 제어하는 트레드밀의 평면도이다.
본 발명에 따른 음성과 영상을 이용하여 제어하는 트레드밀의 외관은 도 1에 도시된 종래의 트레드밀의 외관과 큰 차이가 없고, 후술하는 바와 같이 제어패널에 차이가 있으므로, 이하의 설명에서는 제어패널 위주로 기재할 것이며, 또한 제어패널에서 수행하는 제어방법에 대해서 기재할 것이다.
도 2를 참조하면, 본 발명에 따른 음성과 영상을 이용하여 제어하는 트레드밀(200)은 본체(210) 및 제어패널(220)로 구성된다는 것을 알 수 있다.
본체(210)는 사용자가 걷거나 뛰는 러닝벨트(211, 미도시) 및 제어패널(220)에 생성한 구동명령에 따라 러닝벨트(211)의 동작을 제어하는 구동장치(212, 미도시)를 포함한다.
제어패널(220)에는 카메라(221), 마이크(222), 신호처리부(223, 미도시) 및 스피커(224)를 포함하며, 이들 중 신호처리부(223)는 제어패널(220)의 내부에 설치되었으므로 도 2에는 표시되지 않았다.
카메라(221)는 제어패널(220)의 전방에 설치되어 본체(210)의 러닝벨트 위에 위치하는 사용자를 촬영한다. 카메라(221)가 하나만 설치되어 있을 때에는 사용자의 입을 포함하는 몸체의 전부 또는 일부를 촬영하여야 하고, 복수의 카메라(221)가 설치되어 있을 때에는 해당 카메라가 사용자의 입과 몸체를 구분하여 촬영하도록 할 수 있다. 카메라(221)를 복수 개로 구성시 적어도 어느 하나의 카메라(221)는 사용자의 입을 촬영한다. 또한, 사용자의 몸체를 전체 촬영할 수도 있지만, 실시 예에 따라서는 사용자의 상체만을 촬영한 영상을 활용하도록 할 수도 있다.
마이크(222)는 도 2에서 확인할 수 있는 바와 같이 사용자의 전면에 2개를 분산하여 설치할 수도 있지만, 제어패널(220)의 2곳 이상의 장소에 분산하여 설치하는 실시 예도 가능하다. 복수의 마이크(222) 각각이 음성 수신 지향성 즉 빔포밍(beam forming)을 수행하도록 하여, 마이크(222)가 설치된 위치에 따라 사용자의 음성(음향 포함, 이하 음성)을 수신하는 감도가 서로 다르며, 특히 음성에 포함된 잡음의 강도도 서로 다르게 될 것이다. 이러한 특징을 이용하면 복수의 마이크(222)로부터 인가되는 음성에서 잡음을 제거할 수 있도록 한다.
신호처리부(223)는 적어도 하나의 카메라(221) 및 복수의 마이크(222)로부터 수신한 영상(영상신호) 및 음성(음성신호)에 대하여 신호처리(signal processing)를 수행하여 사용자가 음성으로 트레드밀(200)의 동작명령을 지시하였는가를 판단하여 본체(210)의 러닝벨트(212)의 속도를 제어하며(제1제어), 카메라(221)에서 촬영한 영상신호를 신호처리하여 사용자의 상태에 따라 러닝벨트(212)의 속도를 조절(제2제어)하고, 스피커(224)를 제어하여 트레드밀(200)의 현재속도, 거리, 경사도, 설정된 코스의 구간정보, 트레이너가 일상적으로 하는 말 등을 사용자에게 제공한다.
신호처리부(223)에서 하는 신호처리 중 제1제어는 카메라(221)에서 촬영한 사용자의 입과 몸체의 영상에서 사용자의 입술모양의 변화상태 및 입술모양이 변화한 시간에 대한 정보(이하 영상정보)를 추출하고, 복수의 마이크(222)에서 수신한 복수의 음성신호를 처리하여 음성신호에 포함된 잡음을 제거한 음성정보를 추출함으로써 시작한다. 이어서, 수신시간의 동기를 일치시킨 영상정보와 음성정보를 서로 비교하여, 사용자가 음성으로 제어명령을 내렸는가를 판단한다.
임의의 시간대의 음성정보와 임의의 시간과 동일 시간대의 영상정보가 일치한다고 판단한다면, 즉 일정 시간대에 음성정보에 제어명령이 포함되어 있고 대응하는 시간대의 영상정보에 포함된 영상의 입술모양이 음성정보에 대응하여 변한다면, 이는 사용자가 트레드밀(200)에 제어명령을 하였다는 것을 의미한다. 이때에는 신호처리부(223)가 구동장치(212)의 동작을 제어하여 러닝벨트(211)를 동작시킨다.
상술한 임의의 시간대의 음성정보와 동일 시간대의 영상정보가 일치하지 않는다고 판단한다면, 즉 일정 시간대의 음성정보에 제어명령이 포함되어 있지만 대응하는 시간대의 영상정보에 포함된 영상의 입술모양이 변하지 않거나 음성정보에 포함된 제어명령과 다른 형태로 변화한다면, 이는 해당 사용자가 트레드밀(200)에 일정한 제어명령을 한 것이 아니라는 것을 의미한다. 이런 현상의 이유는 다양한데, 이웃하는 트레드밀을 사용하고 있는 사용자 또는 트레드밀 주위를 지나가는 다른 사용자가 한 말이 마이크(222)에 입력되었다고 할 수 있을 것이다. 따라서, 이때에는 신호처리부(223)가 어떠한 동작도 취하지 않는다.
영상정보에서 특정부분을 해석하는 기술은 이 분야에서 널리 알려진 기술인데, 영상정보에 포함된 사용자의 이미지 중 사용자의 입술의 형태변화를 검출하는 것은 어려운 기술이 아니다. 본 발명에서는 이러한 기술을 이용하여 영상정보에서 사용자의 입술의 모양의 변화를 쉽게 검출할 수 있으며, 입술 모양의 변화와 이에 대응하는 음성을 일치시키는 것도 어려운 일이 아니므로, 영상정보와 음성정보를 비교하여 제1제어를 어떻게 수행할 수 있는가에 대해서는 자세하게 설명하지 않을 것이다.
제2제어는 카메라(221)에서 촬영한 영상신호의 시간별 변동 상황을 비교하여 사용자의 운동상태를 판단하고, 판단 결과에 따라 러닝벨트(212)의 속도를 조절하는 것이다. 예를 들면, 트레드밀(200)에서 일정한 속도로 걷거나 뛰는 사용자가 트레드밀(200)의 앞쪽에서 일정시간 동안 걷거나 뛰고 있을 때에는 아직 힘이 있다고 판단하고, 반대로 트레드밀(200)의 뒤쪽에서 걷거나 뛰고 있을 때에는 힘이 떨어졌다고 판단할 수 있을 것이다. 힘이 있다고 판단한 때에는 현재의 속도를 유지하거나 속도를 높이도록 하고, 반대로 힘이 없다고 판단한 때에는 러닝벨트(212)의 속도를 늦추도록 한다.
도 3은 본 발명에 따른 트레드밀 제어방법의 신호 흐름도이다.
도 3을 참조하면, 본 발명에 따른 트레드밀의 제어방법(300)은, 제1제어단계(310) 및 제2제어단계(350)를 실시간으로 수행한다는 것을 알 수 있다. 제1제어단계(310) 및 제2제어단계(350)는 실시 예에 따라 순차적으로 수행하거나 동시에 수행하도록 설정할 수 있으며, 2개의 단계(310, 350) 중 하나의 단계만을 수행하도록 하는 실시 예도 가능할 것이다.
제1제어단계(310)는 제1기준정보 추출단계(320), 제1기준정보 비교단계(330) 및 명령 수행단계(340)를 수행한다.
제1기준정보 추출단계(320)는 영상정보추출단계(321) 및 음성정보추출단계(322)를 수행한다. 영상정보추출단계(321)에서는 카메라(221)에서 촬영한 사용자의 입과 몸체의 영상에서 사용자의 입술모양의 변화상태 및 입술모양이 변화한 시간에 대한 정보(이하 영상정보)를 추출한다. 음성정보추출단계(322)에서는 복수의 마이크(222)에서 수신한 복수의 음성신호를 처리하여 음성신호에 포함된 잡음을 제거한 음성정보를 추출한다.
제1기준정보 비교단계(330)에서는 제1기준정보 추출단계(320)에서 추출한 영상정보 및 음성정보를 동기를 일치시킨 후 비교한다. 예를 들어, 특정 시간대의 음성정보에는 "속도 올려"라는 음성이 포함되어 있을 때, 동일 특정 시간대의 영상정보에서의 입술 모양이 변화가 있는가 없는가를 비교한다. 비교결과 입술모양의 변화가 없는 때(No)에는 사용자가 명령을 한 것이 아니라, 이웃하는 트레드밀의 사용자의 음성 또는 주위를 지나가는 다른 사용자가 한 말이라고 판단하여 제1기준정보 추출단계(320)를 수행하도록 하고, 비교결과 입술모양의 변화가 있는 때(Yes)에는 트레드밀(200)의 러닝벨트(212)의 속도를 미리 설정한 값으로 상승시킨다. 미리 설정한 값이 시속 5킬로미터(kilo meters)라면 현재의 속도에서 5킬로미터 더 빠르게 회전하게 될 것이다.
반대로, 특정 시간대의 영상정보에서는 입술의 모양이 변한다고 할 때, 해당 특정 시간대의 음성정보가 존재하지 않을 때(No)에는 입술의 모양만 변했을 뿐 실제로 명령을 하지 않았다고 판단하여 제1기준정보 추출단계(320)를 수행하도록 하고, 음성정보가 존재할 때(Yes)에는 음성정보가 "속도 올려"라는 음성을 포함하고 있을 때에는 트레드밀(200)의 러닝벨트(212)의 속도를 미리 설정한 값으로 상승시킨다.
결론적으로 말하면, 특정시간 대에 음성정보와 영상정보가 서로 대응할 때(Yes)에는 명령 수행단계(340)에서 음성정보에 포함된 명령을 수행하고, 음성정보와 영상정보가 대응하지 않을 때(No)에는 다시 제1기준정보 추출단계(320)를 수행하도록 한다.
상술한 제1제어단계(310)가 영상정보와 음성정보를 비교하여 트레드밀(200)의 동작을 제어하는 것이라면, 후술하는 제2제어단계(350)는 영상정보만을 이용하여 트레드밀(200)의 동작을 제어한다.
제2제어단계(350)는 제2기준정보 수신단계(360), 제2기준정보 비교단계(370) 및 조치단계(380)를 수행한다.
제2기준정보 수신단계(360)에서는 카메라(221)에서 사용자의 몸체를 촬영한다.
제2기준정보 비교단계(370)에서는 사용자의 몸체의 크기를 일정 시간 간격으로 비교하며, 동일 판단단계(371) 및 대소 판단단계(372)를 수행한다.
동일 판단단계(371)에서는 현재의 영상에 나타난 사용자 몸체의 크기와 이전의 영상에 나타난 사용자 몸체의 크기를 비교하여, 동일하다고 판단하면(Yes) 제2기준정보 수신단계(360)를 재수행하도록 한다.
대소 판단단계(372)는, 동일 판단단계(371)에서 동일하지 않다고 판단(No)하였을 때 수행하며, 현재의 영상에 나타난 사용자 몸체의 크기와 이전의 영상에 나타난 사용자 몸체의 크기 중 어느 것이 큰가를 판단한다.
조치단계(380)에서는, 대소 판단단계(372)에서의 판단결과, 현재의 영상에 나타난 사용자 몸체의 크기와 이전의 영상에 나타난 사용자 몸체의 크기에 비해 크다고 판단한 때(Yes)에는 러닝벨트의 속도를 증가(381)시키고, 반대로 현재의 영상에 나타난 사용자 몸체의 크기와 이전의 영상에 나타난 사용자 몸체의 크기에 비해 작다고 판단(No)한 때에는 러닝벨트의 속도를 감소(382)시킨다.
카메라(221)의 위치가 고정된 상태에서 카메라(221) 앞에 있는 사용자의 몸체를 촬영할 때, 촬영 영상에 나타난 사용자 몸체의 크기는 사용자가 카메라(221)에 가깝게 있는 경우가 멀리 있는 경우에 비해 클 것이다. 가깝게 있다는 것은 사용자가 그만큼 제어패널(220)에 가깝게 있다는 것이고, 멀리 있다는 것은 사용자가 제어패널(220)에서 멀리 떨어져 있다는 것이다. 본 발명에서는 영상에 표시된 사용자 몸체의 크기의 변화를 이용하여 사용자의 운동상태를 판단하고, 판단 결과에 따라 러닝벨트(212)의 속도를 조절하는 것을 제안한다.
예를 들면, 트레드밀(200)에서 일정한 속도로 걷거나 뛰는 사용자가 트레드밀(200)의 앞쪽에서 일정시간 동안 걷거나 뛰고 있을 때에는 아직 힘이 있다고 판단하고, 반대로 트레드밀(200)의 뒤쪽에서 걷거나 뛰고 있을 때에는 힘이 떨어졌다고 판단할 수 있을 것이다. 힘이 있다고 판단한 때에는 현재의 속도를 유지하거나 속도를 높이도록 하고, 반대로 힘이 없다고 판단한 때에는 러닝벨트(212)의 속도를 늦추도록 한다.
도 3에서 사용자가 트레드밀(200)을 사용하지 않을 것을 명령했는가를 판단하는 과정(345, 385)을 수행하는 것이 바람직할 것이지만, 도면만으로도 상황을 쉽게 이해할 수 있으므로 여기서는 자세한 설명은 생략한다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 기술자라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
110: 트레드밀 본체
111: 러닝벨트 112: 구동부
120: 트레드밀 제어패널
130: 프레임
210: 본체
211: 러닝벨트
220: 제어패널
221: 카메라 222: 마이크
223: 신호처리부 224: 스피커

Claims (7)

  1. 사용자가 걷거나 뛰는 러닝벨트와 구동명령에 따라 상기 러닝벨트의 동작을 제어하는 구동장치를 포함하는 본체 및 상기 구동명령을 생성하는 제어패널을 포함하는 트레드밀로서,
    상기 제어패널에는,
    상기 제어패널의 전방에 설치되어 상기 본체의 상기 러닝벨트 위에서 걷거나 뛰는 사용자를 촬영하는 카메라;
    상기 제어패널의 2곳 이상의 장소에 설치하는 복수의 마이크; 및
    상기 카메라 및 상기 마이크로부터 수신한 영상(영상신호) 및 음성(음성신호)을 처리(signal processing)하여 사용자가 음성으로 상기 트레드밀의 동작을 지시하였는가를 판단하여 상기 본체의 러닝벨트의 속도를 제어하는 제1제어 및 상기 카메라에서 촬영한 영상신호를 처리하여 사용자의 운동 상태에 따라 상기 러닝벨트의 속도를 조절하는 제2제어 중 적어도 하나의 제어를 수행하여 상기 구동명령을 생성하고, 상기 제어패널에 설치된 스피커를 제어하여 상기 트레드밀의 현재속도, 거리, 경사도, 설정된 코스의 구간정보 및 트레이너가 일상적으로 하는 말 중 적어도 하나를 사용자에게 제공하는 신호처리부; 를 포함하며,
    상기 카메라는 복수 개로 설치되어 사용자의 입과 몸체를 구분하여 촬영하되 적어도 어느 하나의 카메라는 사용자의 입을 촬영하고,
    상기 복수의 마이크 각각은 빔포밍(beam forming)을 수행하는 것을 특징으로 하는 음성과 영상을 이용하여 제어하는 트레드밀.
  2. 삭제
  3. 제1항에서,
    상기 제1제어는 상기 카메라가 촬영한 영상신호에서 사용자의 입술모양의 변화상태 및 입술모양이 변화한 시간에 대한 정보(이하 영상정보)를 추출하고, 상기 복수의 마이크에서 수신한 복수의 음성신호를 처리하여 음성신호에 포함된 잡음을 제거한 음성정보를 추출하며, 상기 영상정보와 상기 음성정보의 수신 시간을 일치시킨 후 서로 비교하여 사용자가 음성으로 제어명령을 내렸는가를 판단하고, 사용자가 음성으로 제어명령을 내렸다고 판단한 때에는 제어명령에 대응하는 지시를 포함하는 상기 구동명령을 생성하며,
    상기 제2제어는 상기 카메라가 촬영한 영상신호 중 사용자 몸체의 영상신호의 시간별 변동 상황을 비교하여 사용자의 운동상태를 판단하고, 판단 결과에 따라 상기 러닝벨트의 속도를 조절할 것을 지시하는 내용을 포함하는 상기 구동명령을 생성하는 것을 특징으로 하는 음성과 영상을 이용하여 제어하는 트레드밀.
  4. 제3항에서, 상기 제2제어는,
    상기 카메라에서 촬영한 영상신호에서 상기 몸체의 크기를 시간별로 비교하여, 일정한 속도로 걷거나 뛰는 사용자가 상기 트레드밀의 앞쪽에서 일정시간 동안 걷거나 뛰고 있을 때에는 아직 힘이 있다고 판단하고, 사용자가 상기 트레드밀의 뒤쪽에서 걷거나 뛰고 있을 때에는 힘이 떨어졌다고 판단하여, 힘이 있다고 판단한 때에는 상기 러닝벨트가 현재의 속도를 유지하거나 속도를 높이도록 상기 구동명령을 생성하고, 힘이 없다고 판단한 때에는 상기 러닝벨트가 속도를 늦추도록 상기 구동명령을 생성하는 것을 특징으로 하는 음성과 영상을 이용하여 제어하는 트레드밀.
  5. 제4항에 기재된 상기 음성과 영상을 이용하여 트레드밀의 동작을 제어하는 방법에 관한 것으로,
    상기 신호처리부는,
    상기 카메라에서 촬영하여 처리한 상기 영상정보 중 사용자의 입 모양과 입 모양의 변화상태를 상기 마이크로 입력되는 신호에서 잡음을 제거하여 사용자의 음성신호만을 포함하도록 처리한 상기 음성정보와 비교하고, 비교결과에 따라 상기 구동명령을 생성하는 제1제어단계; 및
    상기 카메라에서 촬영하여 처리한 상기 영상정보 중 사용자의 몸체의 크기 변화를 실시간으로 비교하고, 비교결과에 따라 상기 구동명령을 생성하는 제2제어단계; 를
    수행하는 것을 특징으로 하는 트레드밀 제어방법.
  6. 제5항에서, 상기 제1제어단계에서는,
    상기 카메라에서 촬영한 사용자의 입과 몸체의 영상 중 사용자의 입술모양의 변화상태 및 입술모양이 변화한 시간에 대한 정보(이하 영상정보)를 추출하는 영상정보추출단계 및 상기 복수의 마이크에서 수신한 복수의 음성신호를 처리하여 음성신호에 포함된 잡음을 제거한 음성정보를 추출하는 음성정보추출단계를 수행하는 제1기준정보추출단계;
    상기 제1기준정보 추출단계에서 추출한 상기 영상정보 및 상기 음성정보를 동기를 일치시킨 후 특정 시간대에 상기 영상정보와 상기 음성정보가 일치하는가를 비교하여, 일치하지 않는다고 판단한 때에는 상기 제1기준정보추출단계를 수행하도록 하는 제1기준정보 비교단계; 및
    상기 제1기준정보 비교단계에서 특정 시간대에 상기 영상정보와 상기 음성정보가 일치한다고 판단한 때에는 상기 음성정보에 포함된 제어명령에 대응하는 상기 구동명령을 생성하는 명령수행단계; 를
    수행하는 것을 특징으로 하는 트레드밀 제어방법.
  7. 제5항에서, 상기 제2제어단계에서는,
    상기 카메라에서 촬영한 사용자의 몸체를 영상정보로 수신하는 제2기준정보 수신단계;
    현재의 영상정보에 포함된 사용자 몸체의 크기와 이전의 영상정보에 포함된 사용자 몸체의 크기를 비교하여 동일하다고 판단하면 상기 제2기준정보 수신단계를 재수행하도록 하는 동일 판단단계와 상기 동일 판단단계에서 동일하지 않다고 판단하였을 때 수행하며, 현재의 영상정보에 포함된 사용자 몸체의 크기와 이전의 영상정보에 포함된 사용자 몸체의 크기 중 어느 것이 큰가를 판단하는 대소 판단단계를 수행하는 제2기준정보비교단계; 및
    상기 대소 판단단계에서의 판단결과, 현재의 영상정보에 포함된 사용자 몸체의 크기가 이전의 영상정보에 포함된 사용자 몸체의 크기에 비해 크다고 판단한 때에는 상기 러닝벨트의 속도를 증가시킬 것을 지시하는 상기 구동명령을 생성하고, 현재의 영상정보에 포함된 사용자 몸체의 크기가 이전의 영상정보에 포함된 사용자 몸체의 크기에 비해 작다고 판단한 때에는 상기 러닝벨트의 속도를 감소시킬 것을 지시하는 상기 구동명령을 생성하는 조치단계; 를
    수행하는 것을 특징으로 하는 트레드밀 제어방법.
KR1020180023975A 2018-02-27 2018-02-27 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법 KR102001966B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180023975A KR102001966B1 (ko) 2018-02-27 2018-02-27 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180023975A KR102001966B1 (ko) 2018-02-27 2018-02-27 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법

Publications (1)

Publication Number Publication Date
KR102001966B1 true KR102001966B1 (ko) 2019-10-01

Family

ID=68207335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023975A KR102001966B1 (ko) 2018-02-27 2018-02-27 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법

Country Status (1)

Country Link
KR (1) KR102001966B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11577177B2 (en) 2021-03-19 2023-02-14 Infiniset, Inc. Motorized rotatable treadmill and system for creating the illusion of movement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040070381A (ko) * 2003-02-03 2004-08-09 서영대 음성인식시스템을 이용한 런닝머신 구동제어장치
KR100733455B1 (ko) * 2006-07-28 2007-06-29 충북대학교 산학협력단 런닝머신 속도 조절장치 및 그 제어방법
KR101571361B1 (ko) * 2014-10-02 2015-11-24 (주)개선스포츠 시뮬레이션 런닝머신
CN105879305A (zh) * 2016-04-12 2016-08-24 中国科学院合肥物质科学研究院 一种基于视频的跑步机自适应调速系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040070381A (ko) * 2003-02-03 2004-08-09 서영대 음성인식시스템을 이용한 런닝머신 구동제어장치
KR100733455B1 (ko) * 2006-07-28 2007-06-29 충북대학교 산학협력단 런닝머신 속도 조절장치 및 그 제어방법
KR101571361B1 (ko) * 2014-10-02 2015-11-24 (주)개선스포츠 시뮬레이션 런닝머신
CN105879305A (zh) * 2016-04-12 2016-08-24 中国科学院合肥物质科学研究院 一种基于视频的跑步机自适应调速系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11577177B2 (en) 2021-03-19 2023-02-14 Infiniset, Inc. Motorized rotatable treadmill and system for creating the illusion of movement

Similar Documents

Publication Publication Date Title
US10375296B2 (en) Methods apparatuses, and storage mediums for adjusting camera shooting angle
US9652915B2 (en) System and method having biometric identification intrusion and access control
CN109792577B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US11006864B2 (en) Face detection device, face detection system, and face detection method
CN105278380B (zh) 智能设备的控制方法和装置
KR20020094011A (ko) 시청자의 위치에 의존하는 디스플레이의 자동 포지션닝
WO2019125084A1 (en) Systems and methods for biometric user authentication
JP2017518691A (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
CN109587533A (zh) 具有增强音频的设备
JPH01195499A (ja) 音声入力装置
KR102415552B1 (ko) 디스플레이 장치
CN105872456A (zh) 一种基于智能电视机的安防方法及装置
KR102001966B1 (ko) 음성과 영상을 이용하여 제어하는 트레드밀 및 트레드밀 제어방법
CN105472170A (zh) 一种显示屏亮度调整的方法及移动终端
US20160378194A1 (en) Remote control method and system for virtual operating interface
KR20190096852A (ko) 볼륨 조절 장치 및 이의 조절 방법
CN104679250B (zh) 控制电子设备工作状态的方法及装置
CN110769148A (zh) 一种基于人脸识别的摄像头自动控制方法及装置
CN106559629A (zh) 一种投影的方法、装置和设备
KR20140039928A (ko) 휴대 단말기의 이미지 촬영 방법 및 장치
JP2024059809A (ja) 情報処理装置、情報処理方法、情報処理システム及び情報処理プログラム
JP2737682B2 (ja) テレビ会議システム
KR101629553B1 (ko) 이동 단말기에서 디스플레이 화면 제어 장치 및 그 방법
KR20210039583A (ko) 멀티모달 기반 사용자 구별 방법 및 장치
CN113343788A (zh) 图像采集方法及装置