KR101753997B1 - 동작 인식을 이용한 음성 제어 장치 및 그 방법 - Google Patents

동작 인식을 이용한 음성 제어 장치 및 그 방법 Download PDF

Info

Publication number
KR101753997B1
KR101753997B1 KR1020150171915A KR20150171915A KR101753997B1 KR 101753997 B1 KR101753997 B1 KR 101753997B1 KR 1020150171915 A KR1020150171915 A KR 1020150171915A KR 20150171915 A KR20150171915 A KR 20150171915A KR 101753997 B1 KR101753997 B1 KR 101753997B1
Authority
KR
South Korea
Prior art keywords
voice
user
recognized
motion
candidate group
Prior art date
Application number
KR1020150171915A
Other languages
English (en)
Other versions
KR20170065763A (ko
Inventor
성연식
성만규
하재성
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020150171915A priority Critical patent/KR101753997B1/ko
Publication of KR20170065763A publication Critical patent/KR20170065763A/ko
Application granted granted Critical
Publication of KR101753997B1 publication Critical patent/KR101753997B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 동작 인식을 이용한 음성 제어 장치 및 그 방법에 대한 것이다.
본 발명에 따른 동작 인식을 이용한 음성 제어 장치는 사용자의 동작에 대한 다수의 동작후보군과, 각각의 동작에 대응되는 사용자의 음성에 대한 다수의 음성후보군을 저장하는 데이터베이스부와, 동작 인식 센서로부터 인식된 사용자의 동작을 분석하고 동작후보군을 이용하여 분석된 동작과 매칭되는 동작을 추출하는 동작 인식부와, 음성 인식 센서로부터 인식된 사용자의 음성을 분석하고 음성후보군을 이용하여 분석된 음성과 매칭되는 음성을 추출하는 음성 인식부 및 사용자의 동작이 인식되면, 동작 인식부로부터 추출된 동작에 대응되는 음성후보군 내에 인식된 사용자의 음성이 포함되어 있는지 판단하고, 판단 결과에 따라 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성하는 제어부를 포함한다.
본 발명에 따르면, 사용자의 음성과 동작을 통해 사용자의 의도를 정확하게 판단함으로써, 이를 모션 인식 기반의 게임 또는 어플리케이션에 적용하였을 때, 사람의 음성이 부정확 하거나 주변 소음이 심하여 음성인식률이 떨어지는 경우에도 정확한 제어가 가능한 효과가 있다.

Description

동작 인식을 이용한 음성 제어 장치 및 그 방법{SPEECH CONTROL APPARATUS USING MOTION RECOGNITION AND METHOD THEREOF}
본 발명은 동작 인식을 이용한 음성 제어 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 사용자의 음성과 동작을 통해 사용자의 의도를 정확하게 판단하는 동작 인식을 이용한 음성 제어 장치 및 그 방법에 관한 것이다.
음성 인식은 사람의 음성 언어를 컴퓨터가 문자데이터로 전환하여 처리하는 것을 말한다. 이를 활용한 음성 인식 소프트웨어는 인터페이스 입력을 음성으로 대신하여 사용자 편의성을 제공하는 반면, 주변 환경의 소음 정도에 따라 음성인식률이 떨어지고, 부정확한 음성이나 다소 격렬한 운동량을 요하는 게임 도중에도 음성인식률이 떨어짐에 따라 사용자의 의도와 무관하게 제어가 이루어지는 문제점이 있다.
이러한 점을 보완하기 위해 사용자의 음성뿐만 아니라 사용자의 동작을 함께 인지하여 사용자의 의도를 정확하게 판단할 수 있도록 하는 장치의 개발이 필요하다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2010-0119250호(2010. 11. 09. 공개)에 개시되어 있다.
본 발명은 상기와 같은 필요성에 의해 창출된 것으로, 본 발명의 목적은 사용자의 음성과 동작을 통해 사용자의 의도를 정확하게 판단하는 동작 인식을 이용한 음성 제어 장치 및 그 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치는, 사용자의 동작에 대한 다수의 동작후보군과, 각각의 동작에 대응되는 사용자의 음성에 대한 다수의 음성후보군을 저장하는 데이터베이스부; 동작 인식 센서로부터 인식된 사용자의 동작을 분석하고 상기 동작후보군을 이용하여 상기 분석된 동작과 매칭되는 동작을 추출하는 동작 인식부; 음성 인식 센서로부터 인식된 사용자의 음성을 분석하고 상기 음성후보군을 이용하여 상기 분석된 음성과 매칭되는 음성을 추출하는 음성 인식부; 및 상기 사용자의 동작이 인식되면, 상기 동작 인식부로부터 추출된 동작에 대응되는 음성후보군 내에 상기 인식된 사용자의 음성이 포함되어 있는지 판단하고, 판단 결과에 따라 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성하는 제어부를 포함한다.
또한 상기 제어부는, 상기 음성후보군 내에 상기 인식된 사용자의 음성이 포함되어 있는 것으로 판단되면, 상기 추출된 음성에 대응되는 제어 신호를 생성하고, 상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 상기 데이터베이스부에 저장된 상기 다수의 음성후보군을 모두 검색하여 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다.
또한 상기 제어부는, 상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 동작 인식 알고리즘 또는 유클리디안(Euclidean) 알고리즘에 따라 동작의 유사도를 분석하여 기 설정된 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다.
또한 상기 제어부는, 상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 사용자의 각 동작 별로 기 설정된 유사 동작 또는 좌우 대칭 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다.
또한 상기 제어부는, 상기 해당 동작에 대응되는 음성후보군의 검색을 시도하는 횟수가 설정횟수를 초과하거나, 상기 검색을 시도하는 시간이 설정시간을 경과하면 인식된 음성이 없음을 나타내는 신호를 생성할 수도 있다.
또한, 상기 생성된 제어 신호를 네트워크 연결된 다른 사용자 단말기로 전달하는 통신부를 더 포함할 수도 있다.
또한, 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치에 의해 수행되는 음성 제어 방법은, 사용자의 동작에 대한 다수의 동작후보군과, 각각의 동작에 대응되는 사용자의 음성에 대한 다수의 음성후보군을 저장하는 단계; 동작 인식 센서로부터 인식된 사용자의 동작을 분석하고 상기 동작후보군을 이용하여 상기 분석된 동작과 매칭되는 동작을 추출하는 단계; 음성 인식 센서로부터 인식된 사용자의 음성을 분석하고 상기 음성후보군을 이용하여 상기 분석된 음성과 매칭되는 음성을 추출하는 단계; 상기 사용자의 동작이 인식되면, 상기 추출된 동작에 대응되는 음성후보군 내에 상기 인식된 사용자의 음성이 포함되어 있는지 판단하는 단계; 및 상기 판단 결과에 따라 상기 추출된 음성에 대응되는 제어 신호를 생성하는 단계를 포함한다.
본 발명에 따른 동작 인식을 이용한 음성 제어 장치 및 그 방법은 사용자의 음성과 동작을 통해 사용자의 의도를 정확하게 판단함으로써, 이를 모션 인식 기반의 게임 또는 어플리케이션에 적용하였을 때, 사람의 음성이 부정확하거나 주변 소음이 심하여 음성인식률이 떨어지는 경우에도 정확한 제어가 가능한 효과가 있다.
또한, 본 발명에 따르면 사용자의 동작을 먼저 인식하고, 인식된 사용자의 동작과 연관되는 음성후보군을 추출하여, 추출된 음성후보군 내에서 사용자의 음성을 추출하기 때문에 사용자의 음성을 인식하는 속도가 빨라져 사용자 만족감을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 방법의 동작 흐름을 도시한 순서도이다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1을 통해 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치를 나타낸 블록구성도이다.
도 1에서와 같이 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치(100)는, 데이터베이스부(110), 동작 인식부(120), 음성 인식부(130), 제어부(140) 및 통신부(150)를 포함한다.
먼저, 데이터베이스부(110)는 사용자의 동작에 대한 다수의 동작후보군과, 각각의 동작에 대응되는 사용자의 음성에 대한 다수의 음성후보군을 저장한다.
즉, 데이터베이스부(110)에는 사용자가 취할 수 있는 다수의 동작이 나열된 동작후보군과, 각각의 동작을 통해 전달되는 의미에 대응되는 다수의 음성이 각각 나열된 음성후보군이 기 저장되어 있을 수 있다.
다음으로, 동작 인식부(120)는 동작 인식 센서(121)로부터 인식된 사용자의 동작을 분석하고 데이터베이스부(110)에 저장된 동작후보군을 이용하여 분석된 동작과 매칭되는 동작을 추출한다.
음성 인식부(130)는 음성 인식 센서(131)로부터 인식된 사용자의 음성을 분석하고 데이터베이스부(110)에 저장된 음성후보군을 이용하여 분석된 음성과 매칭되는 음성을 추출한다.
이때, 도 1에서는 동작 인식 센서(121) 및 음성 인식 센서(131)가 제어 장치(100) 내에 포함되지 않는 것으로 도시하였지만, 장치 구성에 따라 동작 인식 센서(121) 및 음성 인식 센서(131)가 제어 장치(100) 내에 포함되어 있을 수도 있다.
제어부(140)는 동작 인식 센서(121)를 통해 사용자의 동작이 인식되면, 동작 인식부(120)로부터 추출된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있는지 판단한다.
판단 결과, 동작 인식 센서(121)를 통해 인식된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있는 것으로 판단되면, 제어부(140)는 음성 인식부(130)에서 추출된 음성에 대응하는 제어 신호를 생성한다.
즉, 제어부(140)가 데이터베이스부(110)에 저장된 다수의 동작후보군 및 음성후보군 중에서 동작 인식 센서(121)를 통해 인식된 사용자의 동작과 연관되는 음성후보군을 추출한 후, 추출된 음성후보군 내에서 음성 인식 센서(131)를 통해 인식된 사용자의 음성을 추출하기 때문에 사용자의 의도를 인식하는 속도가 빨라진다.
만약, 동작 인식 센서(121)를 통해 인식된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 제어부(140)는 데이터베이스부(110)에 저장된 다수의 음성후보군을 모두 검색하여 음성 인식부(130)로부터 추출된 음성에 대응되는 제어 신호를 생성한다.
또는, 동작 인식 센서(121)를 통해 인식된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 제어부(140)는 동작 인식 알고리즘 또는 유클리디안(Euclidean) 알고리즘에 따라 동작의 유사도를 분석하여 기 설정된 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 음성 인식부(130)로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다.
여기서, 동작 인식 알고리즘은 기 공지된 기술이므로 이에 대한 자세한 설명은 생략하기로 한다.
또는, 사용자의 각 동작 별로 기 설정된 유사 동작 또는 좌우 대칭 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 음성 인식부(130)로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다.
이때, 유사 동작 또는 좌우 대칭되는 차순위 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 그 다음 순위 동작에 대응되는 음성후보군을 검색한다.
만약, 검색을 시도하는 횟수가 설정횟수를 초과하거나, 검색을 시도하는 시간이 설정시간을 경과하면 제어부(140)는 인식된 음성이 없음을 나타내는 신호를 생성할 수도 있다.
아래의 표 1은 데이터베이스부(110)에 저장된 동작후보군과 음성후보군을 표로 정리한 것이다.
이는 단순히 설명의 이해를 돕기 위한 예시에 불과할 뿐, 실제 동작후보군과 음성후보군의 종류는 제어 장치(100)의 용도에 따라 기 설정되어 있거나 사용자에 의해 설정되도록 할 수도 있다.
동작후보군 음성후보군
오른팔 드는 동작 우측으로 이동
위를 보라
점프
왼팔 드는 동작 좌측으로 이동
아래를 보라
엎드려
주먹 쥐는 동작 공격 중지
대기
손을 앞으로 뻗는 동작 공격 개시
전진
표 1을 예시로 다시 한번 설명하자면, 제어부(140)는 사용자가 오른팔을 들고 '점프'라고 말했을 때, 동작 인식 센서(121)를 통해 추출된 '오른팔 드는 동작' 에 대응하는 음성후보군 내에 '점프' 가 포함되어 있는 경우, '점프'에 대응하는 제어 신호를 생성한다.
하지만, 사용자가 오른팔을 들고 '엎드려'라고 말했을 때는, 동작 인식 센서(121)를 통해 추출된 '오른팔 드는 동작'에 대응하는 음성후보군 내에 '엎드려'가 포함되어 있지 않으므로, 제어부(140)는 '오른팔 드는 동작'의 차순위 동작으로 설정된 '왼팔 드는 동작'에 대응하는 음성후보군 내에 '엎드려'가 포함되어 있는지 판단하고, 포함된 것으로 판단되면 '엎드려'에 대응하는 제어 신호를 생성할 수도 있다.
통신부(150)는 제어부(140)에서 생성된 제어 신호를 네트워크 연결된 다른 사용자 단말기(200)로 전달한다.
이때, 사용자 단말기(200)는 네트워크 연결이 가능한 모션 인식 기반의 게임 기기, 컴퓨터 및 스마트 폰 등이 적용될 수도 있다.
이하에서는 도 2를 통해 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 방법에 대하여 설명한다.
도 2는 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 방법의 동작 흐름을 도시한 순서도로서, 이를 참조하여 본 발명의 구체적인 동작을 설명한다.
본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 방법에 따르면, 먼저, 제어 장치(100)는 사용자의 다수의 동작에 대한 동작후보군과, 각각의 사용자 동작에 대응되는 다수의 음성에 대한 음성후보군을 데이터베이스부(110)에 저장한다(S210).
즉, 데이터베이스부(110)에는 사용자가 취할 수 있는 다수의 동작이 나열된 동작후보군과, 각각의 동작을 통해 전달되는 의미에 대응되는 다수의 음성이 각각 나열된 음성후보군이 기 저장되어 있을 수 있다.
그 다음, 동작 인식부(120)는 동작 인식 센서(121)로부터 인식된 사용자의 동작을 분석하고 데이터베이스부(110)에 저장된 동작후보군을 이용하여 분석된 동작과 매칭되는 동작을 추출한다(S220).
그 다음, 음성 인식부(130)는 음성 인식 센서(131)로부터 인식된 사용자의 음성을 분석하고 데이터베이스부(110)에 저장된 음성후보군을 이용하여 분석된 음성과 매칭되는 음성을 추출한다(S230).
그 다음, 제어부(140)는 동작 인식 센서(121)를 통해 사용자의 동작이 인식되면, S220 단계에서 추출된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있는지 판단한다(S240).
자세히는, 제어부(140)는 동작 인식 센서(121) 및 음성 인식 센서(131)를 통해 사용자의 동작 및 음성이 인식되면, 데이터베이스부(110)에 저장된 다수의 음성후보군 중에서 동작 인식부(120)를 통해 추출된 동작에 대응하는 음성후보군을 추출해내고, 추출된 음성후보군 내에 음성 인식부(130)를 통해 추출된 음성이 존재하는지 판단한다.
S240 단계의 판단 결과, 동작 인식 센서(121)를 통해 인식된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있는 것으로 판단되면, 제어부(140)는 S230 단계에서 추출된 음성에 대응하는 제어 신호를 생성한다(S250).
즉, 제어부(140)가 데이터베이스부(110)에 저장된 다수의 동작후보군 및 음성후보군 중에서 동작 인식 센서(121)를 통해 인식된 사용자의 동작과 연관되는 음성후보군을 추출한 후, 추출된 음성후보군 내에서 음성 인식 센서(131)를 통해 인식된 사용자의 음성을 추출하기 때문에 사용자의 의도를 인식하는 속도가 빨라진다.
만약, S240 단계의 판단 결과, 동작 인식 센서(121)를 통해 인식된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 제어부(140)는 데이터베이스부(110)에 저장된 다수의 음성후보군을 모두 검색하여 음성 인식부(130)로부터 추출된 음성에 대응되는 제어 신호를 생성한다(S260).
또는, 동작 인식 센서(121)를 통해 인식된 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 제어부(140)는 동작 인식 알고리즘 또는 유클리디안(Euclidean) 알고리즘에 따라 동작의 유사도를 분석하여 기 설정된 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 음성 인식부(130)로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다
또는, 사용자의 각 동작 별로 기 설정된 유사 동작 또는 좌우 대칭 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 음성 인식부(130)로부터 추출된 음성에 대응되는 제어 신호를 생성할 수도 있다.
이때, 유사 동작 또는 좌우대칭되는 차순위 동작에 대응되는 음성후보군 내에 음성 인식 센서(131)를 통해 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 그 다음 순위 동작에 대응되는 음성후보군을 검색한다.
만약, 검색을 시도하는 횟수가 설정횟수를 초과하거나, 검색을 시도하는 시간이 설정시간을 경과하면 제어부(140)는 인식된 음성이 없음을 나타내는 신호를 생성할 수도 있다.
이때, S260 단계에서 생성된 제어 신호는 통신부(150)를 통해 네트워크 연결된 다른 사용자 단말기(200)로 전달될 수 있다.
또한, 사용자 단말기(200)는 네트워크 연결이 가능한 모션 인식 기반의 게임 기기, 컴퓨터 및 스마트 폰 등이 적용될 수도 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 동작 인식을 이용한 음성 제어 장치 및 그 방법은 사용자의 음성과 동작을 통해 사용자의 의도를 정확하게 판단함으로써, 이를 모션 인식 기반의 게임 또는 어플리케이션에 적용하였을 때, 사람의 음성이 부정확 하거나 주변 소음이 심하여 음성인식률이 떨어지는 경우에도 정확한 제어가 가능한 효과가 있다.
또한, 사용자의 동작을 먼저 인식하고, 인식된 사용자의 동작과 연관되는 음성후보군을 추출하여, 추출된 음성후보군 내에서 사용자의 음성을 추출하기 때문에 사용자의 음성을 인식하는 속도가 빨라져 사용자 만족감을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.
100 : 제어 장치 110 : 데이터베이스부
120 : 동작 인식부 121 : 동작 인식 센서
130 : 음성 인식부 131 : 음성 인식 센서
140 : 제어부 150 : 통신부
200 : 사용자 단말기

Claims (12)

  1. 사용자의 동작에 대한 다수의 동작후보군과, 각각의 동작에 대응되는 사용자의 음성에 대한 다수의 음성후보군을 저장하는 데이터베이스부;
    동작 인식 센서로부터 인식된 사용자의 동작을 분석하고 상기 동작후보군을 이용하여 상기 분석된 동작과 매칭되는 동작을 추출하는 동작 인식부;
    음성 인식 센서로부터 인식된 사용자의 음성을 분석하고 상기 음성후보군을 이용하여 상기 분석된 음성과 매칭되는 음성을 추출하는 음성 인식부; 및
    상기 사용자의 동작이 인식되면, 상기 동작 인식부로부터 추출된 동작에 대응되는 음성후보군 내에 상기 인식된 사용자의 음성이 포함되어 있는지 판단하여, 상기 사용자의 음성이 포함되어 있는 것으로 판단하면, 상기 추출된 음성에 대응되는 제어 신호를 생성하고, 상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단하면, 상기 데이터베이스부에 저장된 상기 다수의 음성후보군을 모두 검색하여 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성하거나, 사용자의 각 동작 별로 기 설정된 유사 동작 또는 좌우 대칭 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성하되, 상기 해당 동작에 대응되는 음성후보군의 검색을 시도하는 횟수가 설정횟수를 초과하거나, 상기 검색을 시도하는 시간이 설정시간을 경과하면 인식된 음성이 없음을 나타내는 신호를 생성하는 제어부를 포함하는 동작 인식을 이용한 음성 제어 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제어부는,
    상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 동작 인식 알고리즘 또는 유클리디안(Euclidean) 알고리즘에 따라 동작의 유사도를 분석하여 기 설정된 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 상기 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성하는 동작 인식을 이용한 음성 제어 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 생성된 제어 신호를 네트워크 연결된 다른 사용자 단말기로 전달하는 통신부를 더 포함하는 동작 인식을 이용한 음성 제어 장치.
  7. 동작 인식을 이용한 음성 제어 장치에 의해 수행되는 음성 제어 방법에 있어서,
    사용자의 동작에 대한 다수의 동작후보군과, 각각의 동작에 대응되는 사용자의 음성에 대한 다수의 음성후보군을 저장하는 단계;
    동작 인식 센서로부터 인식된 사용자의 동작을 분석하고 상기 동작후보군을 이용하여 상기 분석된 동작과 매칭되는 동작을 추출하는 단계;
    음성 인식 센서로부터 인식된 사용자의 음성을 분석하고 상기 음성후보군을 이용하여 상기 분석된 음성과 매칭되는 음성을 추출하는 단계;
    상기 사용자의 동작이 인식되면, 상기 추출된 동작에 대응되는 음성후보군 내에 상기 인식된 사용자의 음성이 포함되어 있는지 판단하는 단계; 및
    상기 판단 결과에 따라 상기 추출된 음성에 대응되는 제어 신호를 생성하는 단계를 포함하고,
    상기 제어 신호를 생성하는 단계는,
    상기 음성후보군 내에 상기 인식된 사용자의 음성이 포함되어 있는 것으로 판단되면, 상기 추출된 음성에 대응되는 제어 신호를 생성하고,
    상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 상기 저장된 상기 다수의 음성후보군을 모두 검색하여 상기 추출된 음성에 대응되는 제어 신호를 생성하거나, 사용자의 각 동작 별로 기 설정된 유사 동작 또는 좌우 대칭 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 상기 추출된 음성에 대응되는 제어 신호를 생성하되, 상기 해당 동작에 대응되는 음성후보군의 검색을 시도하는 횟수가 설정횟수를 초과하거나, 상기 검색을 시도하는 시간이 설정시간을 경과하면 인식된 음성이 없음을 나타내는 신호를 생성하는 동작 인식을 이용한 음성 제어 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 제어 신호를 생성하는 단계는,
    상기 인식된 사용자의 음성이 포함되어 있지 않은 것으로 판단되면, 동작 인식 알고리즘 또는 유클리디안(Euclidean) 알고리즘에 따라 동작의 유사도를 분석하여 기 설정된 동작 순으로 해당 동작에 대응되는 음성후보군을 검색하여 음성 인식부로부터 추출된 음성에 대응되는 제어 신호를 생성하는 동작 인식을 이용한 음성 제어 방법.
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 생성된 제어 신호를 네트워크 연결된 다른 사용자 단말기로 전달하는 단계를 더 포함하는 동작 인식을 이용한 음성 제어 방법.
KR1020150171915A 2015-12-04 2015-12-04 동작 인식을 이용한 음성 제어 장치 및 그 방법 KR101753997B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150171915A KR101753997B1 (ko) 2015-12-04 2015-12-04 동작 인식을 이용한 음성 제어 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150171915A KR101753997B1 (ko) 2015-12-04 2015-12-04 동작 인식을 이용한 음성 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20170065763A KR20170065763A (ko) 2017-06-14
KR101753997B1 true KR101753997B1 (ko) 2017-07-19

Family

ID=59217982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150171915A KR101753997B1 (ko) 2015-12-04 2015-12-04 동작 인식을 이용한 음성 제어 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101753997B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200071841A (ko) 2018-12-03 2020-06-22 현대자동차주식회사 차량용 음성명령어 처리 장치 및 그 방법

Also Published As

Publication number Publication date
KR20170065763A (ko) 2017-06-14

Similar Documents

Publication Publication Date Title
US9230541B2 (en) Keyword detection for speech recognition
CN106250474B (zh) 一种语音控制的处理方法及系统
JP7000268B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10304441B2 (en) System for grasping keyword extraction based speech content on recorded voice data, indexing method using the system, and method for grasping speech content
KR102281178B1 (ko) 멀티-레벨 음성 인식 방법 및 장치
EP3039531B1 (en) Display apparatus and controlling method thereof
US9424839B2 (en) Speech recognition system that selects a probable recognition resulting candidate
US9601107B2 (en) Speech recognition system, recognition dictionary registration system, and acoustic model identifier series generation apparatus
KR20160079929A (ko) 병렬 인식 태스크에 따른 음성 인식
CN104462105B (zh) 中文分词方法、装置和服务器
JP2008287210A5 (ko)
JP2011128766A5 (ko)
US10431236B2 (en) Dynamic pitch adjustment of inbound audio to improve speech recognition
CN102027534B (zh) 语言模型得分前瞻值赋值方法及设备
KR20180056723A (ko) 음성 쿼리들의 검색 결과 프리페치
KR101753997B1 (ko) 동작 인식을 이용한 음성 제어 장치 및 그 방법
CN105469801A (zh) 一种修复输入语音的方法及其装置
US10629197B2 (en) Voice processing system and voice processing method for predicting and executing an ask-again request corresponding to a received request
CN109871128B (zh) 一种题型识别方法及装置
KR20170048008A (ko) 질의의도를 분석하기 위한 장치 및 방법
KR100764247B1 (ko) 2단계 탐색을 이용한 음성인식 장치 및 그 방법
CN110415689B (zh) 语音识别装置及方法
US9953652B1 (en) Selective generalization of search queries
JP5844375B2 (ja) 物体検索システムおよび物体検索方法
CN112189232A (zh) 音频处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right