KR20170131789A

KR20170131789A - 음성인식을 이용한 스마트 완구의 제어방법

Info

Publication number: KR20170131789A
Application number: KR1020160062201A
Authority: KR
Inventors: 김수연
Original assignee: (주)모빌랩
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2017-11-30

Abstract

Toy Platform(400)이 내장된 스마트 완구를 사용함에 있어서 내부 센서 및 물리 운동 장치를 제어하기 위해서 음성인식 명령을 통한 수행 명령을 처리할 경우 스마트폰에서 음성명령의 경우는 안드로이드에서 지원하는 음성인식 기능을 이용하여 음성인식을 한 후 인식된 결과 값을 무선 Wi-Fi로 Toy Platform(400)으로 넘기고, PC의 Toy Designer(200)를 통한 유선으로 동작을 설정할 경우는 Toy Connector(300) 장치 내부의 Wi-Fi를 통한 음성인식 서버에 접속하여 처리하는 방법에 대한 내용을 담고 있다.

Description

음성인식을 이용한 스마트 완구의 제어방법{Control method based on voice recognition}

본 발명은 안드로이드 운영체제로 동작하는 Toy Platform(400)이 내장되어 있는 스마트 완구를 음성으로 제어하기 위한 방법을 제시하고 있다. 스마트 완구에 연결되어 있는 클라이언트 제어 장치가 스마트폰인 경우와 PC 원도우 운영체제 응용프로그램인 경우를 구분하여 음성인식으로 동작할 수 있도록 장치 구성을 하는 방법에 대한 것이다. 스마트폰의 경우는 외부와 연결 가능한 3G, LTE, Wi-Fi 등 네트워크 통신을 통해서 별도로 운용되는 안드로이드 음성인식 서버에 접근하여 음성인식 처리한 결과 값을 받고 장난감 플랫폼(Toy Platform) 장치에 무선으로 수행 명령을 전달하도록 구성한다. 그러나 PC 윈도우즈 기반의 응용프로그램의 경우 음성인식 서버를 제공하여 주지 않기 때문에 수행동작 명령어에 대한 정의를 구성하기 위한 명령어 구성 정보를 연결된 USB 케이블을 통하여 Toy Platform(400) 장치에 먼저 전달하고, 케이블을 분리 후에 나머지는 Toy Platform(400) 장치에 내장되어 있는 Wi-Fi를 이용하여 외부 네트워크에 연결을 해서 음성 인식서버에 접근하여 처리 결과를 전달받아서 출력하고자 하는 장치의 기능을 수행하도록 하는 내용이다.

Toy Platform(400)에는 장난감에 장착된 각종 센서 및 동작신호를 처리하는 프로세서와 Wi-Fi와 같은 통신기능 모듈이 포함되어 있고, 또한 모터 드라이버와 같은 동작 모듈로서 모터를 구동시키기 위한 처리 칩이 포함되어 있는 메인 장치이다. 또한, 안드로이드 기반의 운영체제가 포함되어 있어서 독자적인 운영이 가능하며, 메인 메모리의 확장을 통해서 운영체제 업그레이드를 지원하는 감성 및 물리현상 인식 모듈을 처리하는 기능도 포함되어 있다.

Toy Connector(300)는 Toy Platform(400)에 내장되어 있는 운용 프로그램의 일부로서 안드로이드 운영체제의 특정 기능을 실행하여 각 모듈을 제어하고자 하는 기능과 외부 연결을 처리하는 역할을 담당하고 있다. 예를 들어 스마트폰 앱 Toy Drive(100)에서 모터 회전을 요청하면 Toy Platform(400)의 운영프로그램인 Toy Connector(300)가 네트워크에서 해당 정보를 받아서 모터 구동을 위한 처리 모듈에 전달하는 역할을 한다. 이런 전달 구조를 가지는 이유는 내부 프로토콜에서 임의로 지정된 동작뿐만 아니라 기능의 확장과 기능의 조합을 가능하게 하는 XML구조의 패턴을 전달하기 위해서 정보를 파싱하고 재조립하는 구성이 필요하기 때문이다.

클라이언트 스마트폰에 내장된 Toy Drive(100)는 Toy Designer(200)와 비슷한 기능을 가지고 있으나 장난감 플랫폼의 움직임을 목적으로 특화된 스마트폰 응용 앱으로 모터, LED, 다수의 센서 제어와 자체 음성인식 서버를 이용한 음성인식의 동작 명령을 담당하고 있다. Toy Drive(100)의 주 기능은 움직임을 위한 방향 제어 부분과 LED 제어, 음성 인식기능을 위한 버튼으로 구성되어 있다.

Toy Designer(200)는 PC 윈도우 프로그램으로 PC와 연결된 Toy Connect(300)에게 명령을 내리는 프로그램으로 구성된다. 이 프로그램은 장난감에 포함될 센서들의 구성을 화면상에 배치하고 연결을 자유롭게 하기 위해서 입력에는 지자기 센서, 가속도 센서, 자이로 센서, 온도센서, 압력센서, 조도센서, 근접센서, 마이크, 정전용량터치 센서가 배치되어 있고, 출력에는 카메라. 스피커, LED, DC모터가 배치되어 있다. 이러한 입출력들의 동작을 규정할 콘텐츠 개발을 위한 통합 저작 환경 툴이다. 해당 입력과 출력의 모듈을 화면상에 배치하여 입출력 구성과 속성을 지정하고, 지정된 속성을 Toy Connect(300)에 전달하게 된다. Toy Platform(400)은 시작과 동시에 해당 사용자가 설정한 동작과 패턴으로 입력 신호가 발생하면 출력으로 연결된 장치에 신호를 전달하게 된다. 음성인식은 자체 인식처리를 위한 프로그램이 윈도우 운영체제에 존재하지 않으므로 Toy Connect(300)의 안드로이드 음성처리 기능을 이용하고 있다. 이렇게 외부 서버나 유·무료 서비스 API를 이용하여 사용할 경우 지원해주는 기기가 안드로이드 지원 휴대기기라면 쉽게 자체적으로 서버 연결을 할 수 있지만 윈도우 프로그램 같은 경우에는 자체적 음성인식 처리기능이 불가하다..

해당 발명이 되는 배경 기술에는 스마트폰이 음성 인식 결과를 수행해야 하는 스테이션 역할을 하여 음성인식 수행 명령을 자체적으로 수행하여 무선으로 Toy Connect(300)에게 값을 전달해 주는 방법 한가지와 PC와 같이 휴대하지 않고 가정이나 사무실에서 사용하는 컴퓨터의 경우는 Toy Platform(400)과 명령을 주고받기 위해서 한쪽이 무선을 사용할 수 없어서 USB 연결로 데이터 명령을 전달해 주어야 하는데 USB 케이블을 연결하여 Toy Connect(300)에게 설정 값을 전달하고 Toy Connect(300)는 넘겨받은 XML 정보를 이용하여 음성을 사용하겠다는 설정 정보인 Toy Platform(400)의 사용자 버튼을 클릭하여 입력 시작을 누르면 음성 인식을 입력받도록 하는 방법이 사용된다. 이때 Toy Platform(400)에는 Wi-Fi가 존재하여 외부 네트워크에 접속하여 음성 인식 정보를 전달하고 결과를 돌려받아서 파싱이 가능한 부분이 Toy Connect(300)에서 제공하고 있기 때문에 연결 설정을 변경하지 않는다면 지속적으로 사용이 가능한 장점이 있다.

한국공개실용신안 제 20-2011-0010865 (2011.11.22.공개)

본 발명은 스마트 완구와 그것을 음성인식 동작을 규정하는 두 종류의 클라이언트(PC, 스마트폰)에서 무선 모듈을 동시에 내장하고 있지 않기 때문에 종래의 지능형 다기능 장난감이 가지고 있는 문제인 유선과 무선 제어 명령을 스마트폰에서는 연결이 되지만 PC에서는 연결하여 처리할 수 없는 경우가 발생하는 문제를 해결하고자 한다. 따라서 스마트 완구에 Wi-Fi 기능을 내장함으로써 설정 후 근거리 통신망의 범위에서는 스마트폰으로 명령 전달 기능이 가능하고, 무선이 되지 않는 PC에서는 USB로 전달한 명령어를 이용하여 지속적으로 최초 세팅된 정보만큼 스마트 완구 제어가 가능하다. 스마트 완구 플랫폼 내부의 무선 네트워크 모듈인 Wi-Fi를 포함하여 네트워크가 유지되어 있는 상태라면 지속적으로 음성인식을 이용하여 음성 명령을 처리할 수 있다는 장점이 있다.

상기의 목적을 달성하기 위해서 본 발명에서는 기존의 스마트 완구인 Toy Platform(400)기반의 Robot 타입(600), Ball 타입(700)을 운용하기 위하여 각 Toy Platform(400)의 제어 명령을 유선과 무선의 형태로 스마트폰과 PC에서도 동시에 사용가능하도록 하였다. Toy Platform(400)에 탑재되어 생산된 최초 설정만을 가지고 장시간 사용할 경우 동일한 동작과 행동 패턴으로 아이들은 쉽게 싫증내거나 새로운 기능의 장난감에 호기심을 갖게 된다. 이를 해결하기 위해서 Toy Platform(400)과 함께 제공되는 Toy Designer(200)가 다양한 후속 제어 기능을 제공하고 있다. 하지만 Toy Designer(200)의 경우는 PC에서 운영되는 응용프로그램으로 USB(20) 케이블을 해당 장치에 연결하여 명령을 전달하는데 사용하며, 이후 설정한 장치 구성에 따라서만 동작한다. 그래서 무선 네트워크를 사용한 명령 정보를 실행할 수 있는 Toy Drive(100)를 제공하여 Wi-Fi 영역에서 음성신호를 디바이스 장치에서 습득할 수 있도록 하였다 또한 클라이언트 스마트폰에서 음성인식을 하고 해당 결과 값의 동작 정보를 Toy Platform(400)으로 넘겨주는 방법으로 무선의 환경에서 외부 음성인식용 서버에 접근하여 처리 결과 값을 가져 올 수 있도록 하였다. 스마트폰으로 제어를 할 경우 스마트폰의 내부 통신네트워크를 이용하여 음성인식을 스마트 폰에서 처리하고 결과를 Toy Platform(400)으로 넘기고, 무선연결이 없는 Toy Designer(200)의 경우는 최초 1회 설정에서 무선 연결만 세팅되어 있다면 이후 음성인식 처리 부분은 Toy Platform(400) 내부에서 사용자 Key가 눌러질 때만 호출하여 음성인식을 결과를 Wi-Fi(50)를 통해서 음성 인식서버에 접근하여 받은 결과로 해당 수행 동작을 실행하게 된다.

본 발명에 의하면 스마트 완구는 누구나 완구를 제어하기 위한 복잡한 프로그램에서 동작의 속성을 이용하여 조건을 변경하여도 자유롭게 장난감의 동작 제어를 조건에 따라 표현할 수 있다. 설정된 동작에 따라 장치를 제어하기 위해서 스마트폰의 앱 프로그램인 Toy Drive(100)에서는 Wi-Fi망을 이용하여 무선으로 연결 제어를 할 수 있을 뿐만 아니라 음성으로 제출된 제어 명령을 음성인식 서버를 이용하여 인식하고 명령 수행을 처리하게 된다. 또한 스마트 폰에서 인식 처리된 결과 값을 바로 Toy Platform(400)에 넘겨주는 방법을 택하고 있어 스마트 완구의 빠른 동작을 유도할 수 있다. 그러나 유선 연결을 해야 하는 Toy Designer(200)에서 스마트 토이와의 최초 연결 설정은 무선 연결에 대한 정보를 입력하고 이러한 값을 전송하고 이후 USB 분리를 하여야 한다. 설정 구성된 값과 무선의 연결 세팅정보를 이용하여 Toy Platform Robot 타입(600)은 음성인식을 내부 안드로이드 OS에서 처리한 후 스마트 완구의 움직임을 수행할 수 있게 된다.

도 1은 PC의 Toy Designer(200) 윈도우 프로그램에서 스마트 완구를 운용하기 위한 방법으로 사용될 플랫폼 구성을 나타내고 있다. Toy Designer(200) 윈도우 프로그램에서 Toy Connector(300)에 내장된 센서와 모터 등을 선택하여 원하는 형태로 배치한다. 이러한 Toy Connector(300)는 스마트 완구의 내부에 존재하고 USB OTG(20)로 PC와 연결되어 있어서 명령을 전달받게 된다. 이후 설정된 구성으로 추가적인 명령 없이도 해당 장치들의 운용이 가능하여 USB OTG(20)를 분리하여 사용 가능하다. 그러므로 이미 설정된 값을 기준으로 Toy Connector(300)의 Wi-Fi를 활성화한다면, 음성인식을 통한 명령을 통해서 Toy Platform Robot Type(600)은 움직임이 스스로 가능하다. Toy Platform Robot Type(600)의 초기화나 음성인식의 시작을 위해서 사용자 키를 이용하여 시작하게 된다.
도 2는 스마트폰 앱 Toy Drive(100)를 이용해서 Toy Platform(400)을 내장한 스마트 완구를 운용하기 위한 내용으로 구성된다. Toy Drive(100)는 Wi-FI를 이용하여 스마트 완구 장치 Toy Platform Ball Type(700) 및 Toy Platform Robot Type(600)의 주행 및 음성인식과 일부 센서를 원격으로 조정할 수 있다. 스마트폰에서 기본적으로 터치 패드를 이용한 방향 조정이 가능하고 음성인식을 통한 움직임 제어도 가능하여 연결된 장치의 종류에 따라 제어가 가능하다. Toy Platform(400) 제품의 경우는 각각의 Wi-Fi 연결에 따라 제어가 가능함으로 무선 혼선에 의한 조정 역시 발생하지 않으며, Wi-Fi의 출력 범위에 따라 조정거리도 확장이 가능하다.

본 발명은 스마트 완구의 Toy Platform(400) 시스템을 운영함에 있어서 스마트폰과 PC에서 유·무선 네트워크에 상관없이 스마트 완구의 음성제어 명령을 자유롭게 수행하는 방법에 대한 내용을 담고 있다. 도 1에서는 Toy Designer(200)를 통하여 스마트 완구를 제어하기 위한 구성을 표시하고 있는데 USB 케이블을 연결하여 스마트 완구를 제어하기 위한 최적화된 입출력 센서의 구성 조합을 Toy Connect(300)에게 전달한다. 이때 Toy Connect(300)는 해당 구성 설정에 Wi-FI가 설정되어 있다면 Wi-Fi를 통해서 음성인식 서버(500)에 접근하고 사용자 버튼의 명령에 따라 지속적인 음성 명령을 수행하게 된다. 도 2의 경우는 Toy Drive(100) 앱으로 스마트 완구의 움직임을 위한 모터 제어와 LED 제어기능이 기본적으로 포함되어 있고, 음성 명령을 통한 움직임 제어가 포함되어 있다. 왼쪽, 오른쪽, 전지, 후진, 정지의 음성 인식이 가능하며, 해당 도2는 도 1과 다르게 스마트폰 앱인 Toy Drive(100)에서 음성 인식 서버에 접근후 처리 결과를 Wi-Fi망(400)을 통해서 장난감으로 넘겨주는 기능을 함으로써 스마트폰의 음성인식 기능을 이용하여 Toy Platform Robot Type(600)과 Toy Platform Ball Type(700)의 조정이 가능하다. Wi-Fi 설정의 경우는 Toy Designer(200)와 연결될 때 부여 받는 Wi-Fi 정보를 이용하여 스마트폰에서 조정이 가능하여 동일한 장치의 혼선이 일어나지 않게 하였다.

본 발명에 따른 음성인식 구동방법은 스마트폰 앱과 윈도우 프로그램을 이용하여 스마트 완구의 음성인식을 통한 제어방법에 이용될 수 있다.

10 : 안드로이드 OS의 음성인식 명령을 사용
20 : Toy Connector(300)와 Toy Designer(200)사이의 OTG USB를 통한 명령어 전송기능
30 : Toy Platform(400)의 외부 입력을 위한 사용자 버튼
40 : 입출력 구성에 따라 터치, 9축센서, 조도센서, 근접센서, 온도센서, 압력센서, 모터, LED, 스피커의 각각의 데이터를 전달
50 : 근거리 통신 Wi-Fi망
100 : 장난감 드라이브(Toy Drive)는 스마트폰의 응용 어플리케이션으로 장난감 플랫폼의 움직임 및 음성을 제어
200 : 장난감 디자이너(Toy Designer)는 입력/출력의 모듈을 이용하여 화면상의 모듈을 배치 편집이 가능한 작업 화면 응용 프로그램
300 : 장난감 커넥터(Toy Connector)는 스마트 완구의 장치, 센서 및 외부 통신용 시스템
400 : 장난감 플랫폼(Toy Platform)은 데이터 처리 프로세서와 Wi-Fi 및 모터 드라이브와 같은 모듈이 포함되어 센서 및 통신정보를 해석 및 처리함
500 : 음성데이터를 단어형태로 전달시 처리하여 리턴해 주는 외부 음성인식 서버
600 : 장난감 플랫폼 로봇타입(Toy Platform Robot Type)은 로봇형태로 주행이 가능하며 센서가 내부적으로 부착된 형태
700 : 장난감 플랫폼 볼 타입(Toy Platform Ball Type) 센서의 총개수는 3개로 제한되고, 근거리 통신망을 이용한 주행을 전문으로 하는 볼 타입

Claims

Toy Connector(300)와 Toy Designer(200) 그리고 Toy Drive(100) 사이의 음성인식 서버에 접근하여 스마트 완구를 제어하는 방법에 있어서,
상기 Toy Connector(300)는 스마트폰으로 무선으로 연결될 경우 스마트폰에서 음성인식 서버에 접근 후 처리된 결과 값을 무선으로 상기 Toy Connector(300)에서 받아서 스마트 완구의 동작을 규정하고, 상기 Toy Designer(200)와 유선으로 연결될 경우 PC에서 음성인식 처리를 하지 않고 상기 Toy Connector(300)가 포함된 Toy Platform(400)에서 음성인식 서버에 접근하여 음성 인식 명령을 처리하여 스마트 완구를 제어하는 방법