KR102184300B1 - 음성 인식 기반 제어 시스템 - Google Patents

음성 인식 기반 제어 시스템 Download PDF

Info

Publication number
KR102184300B1
KR102184300B1 KR1020180112999A KR20180112999A KR102184300B1 KR 102184300 B1 KR102184300 B1 KR 102184300B1 KR 1020180112999 A KR1020180112999 A KR 1020180112999A KR 20180112999 A KR20180112999 A KR 20180112999A KR 102184300 B1 KR102184300 B1 KR 102184300B1
Authority
KR
South Korea
Prior art keywords
voice
control device
server
user
command
Prior art date
Application number
KR1020180112999A
Other languages
English (en)
Other versions
KR20200034059A (ko
Inventor
문구봉
신민호
심윤수
정재구
남민현
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020180112999A priority Critical patent/KR102184300B1/ko
Publication of KR20200034059A publication Critical patent/KR20200034059A/ko
Application granted granted Critical
Publication of KR102184300B1 publication Critical patent/KR102184300B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23386—Voice, vocal command or message
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예는, 사용자로부터 지문 및 음성을 감지하고, 상기 감지된 지문에 기반한 지문 신호 및 상기 감지된 음성에 기반한 음성 신호를 생성하고, 상위 페이지와 상기 상위 페이지에 대해 형성되고 작업 항목을 포함하는 하위 페이지를 순차적으로 표시하는 제어 장치; 및 상기 제어 장치와 연결되고, 상기 상위 페이지와 상기 하위 페이지를 포함하는 프로그램이 저장되고, 상기 지문 신호를 수신하여 상기 지문 신호를 기반으로 상기 사용자가 권한을 가지는지 여부를 판단하는 서버; 상기 서버는, 상기 사용자가 권한을 가진다고 판단한 경우, 상기 제어 장치로부터 상기 음성 신호를 수신하고, 상기 음성 신호로부터 상기 작업 항목에 대응하는 작업 명령을 추출하고, 상기 상위 페이지 및 상기 작업 항목을 포함하는 하위 페이지를 순차적으로 독출하여 상기 제어 장치로 송신하며, 상기 작업 명령에 따라 서비스를 실행하는 시스템을 제공한다.

Description

음성 인식 기반 제어 시스템{CONTROL SYSTEM BASED ON SPEECH RECOGNITION}
본 실시예는 음성 인식에 기반한 제어 기술에 관한 것이다.
프로그램을 실행하거나 기계를 조작하기 위해서는, 키보드를 통한 텍스트 입력 또는 터치 입력과 같은 사용자의 직접적인 접촉이 요구된다. 그러나 사용자가 직접 명령을 내리는 것이 항상 용이한 것은 아니다. 기계나 프로그램을 실행하기 위한 제어장치가 사용자의 접근성이 떨어지는 곳에 위치하는 경우가 많기 때문이다. 예를 들어, 대규모 생산 시스템을 갖춘 공장에는, 생산설비가 클 뿐만 아니라 작업자의 위치보다 높은 곳에 위치한다. 상기 생산설비는 사용자가 접근하기 위험한 곳에 위치할 수 있다. 이 경우, 사용자가 직접적인 접촉으로 상기 생산설비를 조작하는 것은 어렵다.
또한 사용자가 상기 생산설비로부터 떨어져서 일할 수 있다. 이 경우, 상기 생산설비에 대한 조작이 필요할 때마다 사용자는 상당한 거리를 이동해야만 한다. 사용자가 빈번하게 조작해야 하는 상황에 있다면, 이는 매우 번거로운 일이 될 것이다.
한편 프로그램이나 기계를 제어하기 위하여, 사용자는 적외선 리모콘과 같은 원격 조종기를 사용할 수도 있다. 사용자는 시작이나 종료, 소리의 조절과 같은 단순한 요청을 원격 조종기를 통해서 용이하게 처리할 수 있다. 그러나 이 경우에도 번거로운 상황은 존재한다. 가령, 사용자가 프로그램이나 기계에 어떤 명령을 가하려면 상위 메뉴에서 하위 메뉴까지 순차적으로 선택한 뒤에 원하는 작업을 요청한다고 해보자. 예를 들면, 사용자가 IP-TV를 통해 최근 나온 A라는 제목의 영화를 시청하고자 할 때, 사용자는 원격 조종기를 통해서 ‘영화->최근 나온 VOD’목록을 하나하나 선택한 뒤여만 비로소 A를 선택한다. 사용자는 특정 작업을 요청할 때마다 반복하여 상위 목록을 모두 거쳐야 한다. 이것 역시 번거롭다.
이와 관련하여, 사용자의 직접적인 접촉을 수반하지 않으면서, 기계를 조작하거나 프로그램을 실행하도록 제어하는 기술이 요구된다.
이러한 배경에서, 본 실시예의 목적은, 사용자의 음성 명령을 통해 프로그램을 실행하고 기계를 조작하는 기술을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 실시예는, 사용자로부터 지문 및 음성을 감지하고, 상기 감지된 지문에 기반한 지문 신호 및 상기 감지된 음성에 기반한 음성 신호를 생성하고, 상위 페이지와 상기 상위 페이지에 대해 형성되고 작업 항목을 포함하는 하위 페이지를 순차적으로 표시하는 제어 장치; 및 상기 제어 장치와 연결되고, 상기 상위 페이지와 상기 하위 페이지를 포함하는 프로그램이 저장되고, 상기 지문 신호를 수신하여 상기 지문 신호를 기반으로 상기 사용자가 권한을 가지는지 여부를 판단하는 서버; 상기 서버는, 상기 사용자가 권한을 가진다고 판단한 경우, 상기 제어 장치로부터 상기 음성 신호를 수신하고, 상기 음성 신호로부터 상기 작업 항목에 대응하는 작업 명령을 추출하고, 상기 상위 페이지 및 상기 작업 항목을 포함하는 하위 페이지를 순차적으로 독출하여 상기 제어 장치로 송신하며, 상기 작업 명령에 따라 서비스를 실행하는 시스템을 제공한다.
상기 시스템에서, 상기 서비스는, 음성의 제공을 포함하고, 상기 제어 장치는, 상기 서비스에 따라 제공된 음성을 출력할 수 있다.
상기 시스템에서, 상기 서버와 연결되고, 상기 서비스에 따라 동작하는 생산설비를 포함할 수 있다.
상기 시스템에서, 상기 서비스는, 음성의 제공을 포함하고, 상기 서버와 연결되고, 상기 서비스에 따라 제공된 음성을 출력하는 스피커를 포함할 수 있다.
상기 시스템에서, 상기 작업 명령은, 대상 명령 및 동작 명령을 포함하고, 상기 서버는, 상기 상위 페이지와 상기 대상 명령이 지정한 작업 항목을 포함하는 하위 페이지를 순차적으로 독출하여 상기 제어 장치로 송신하고, 상기 동작 명령이 지정한 서비스를 실행할 수 있다.
상기 시스템에서, 상기 작업 명령은, 상위 페이지 호출 명령, 하위 페이지 호출 명령 및 동작 명령을 포함하고, 상기 서버는, 상기 상위 페이지 호출 명령에 대응하는 상위 페이지와 상기 하위 페이지 호출 명령에 대응하는 하위 페이지를 순차로 독출하여 상기 제어 장치로 송신하고, 상기 동작 명령이 지정한 서비스를 실행할 수 있다.
상기 시스템에서, 상기 제어 장치는, 다른 서비스 실행에 대한 작업 명령을 포함하는 다른 음성 신호를 획득하고, 상기 서버는, 상기 음성 신호로부터 제1 음성 특성을 추출하고, 상기 제어 장치로부터 상기 다른 음성 신호를 수신하고, 상기 다른 음성 신호로부터 제2 음성 특성을 추출하고, 상기 제1 음성 특성과 상기 제2 음성 특성을 비교하고, 상기 제1 음성 특성과 상기 제2 음성 특성이 유사한 경우, 상기 다른 서비스를 실행할 수 있다.
상기 시스템에서, 상기 제어 장치는, 다른 서비스 실행에 대한 작업 명령을 포함하는 다른 음성 신호를 획득하고, 상기 서버는, 상기 음성 신호로부터 제1 음성 특성을 추출하고, 상기 제어 장치로부터 상기 다른 음성 신호를 수신하고, 상기 다른 음성 신호로부터 제2 음성 특성을 추출하고, 상기 제1 음성 특성과 상기 제2 음성 특성을 비교하고, 상기 제1 음성 특성과 상기 제2 음성 특성이 유사하지 않은 경우, 상기 서비스를 유지할 수 있다.
상기 시스템에서, 상기 제어 장치는, 상기 서비스 중지에 대한 작업 명령을 포함하는 다른 음성 신호를 획득하고, 상기 서버는, 상기 음성 신호로부터 제1 음성 특성을 추출하고, 상기 제어 장치로부터 상기 다른 음성 신호를 수신하고, 상기 다른 음성 신호로부터 제2 음성 특성을 추출하고, 상기 제1 음성 특성과 상기 제2 음성 특성을 비교하고, 상기 제1 음성 특성과 상기 제2 음성 특성이 유사한 경우, 상기 서비스를 중지할 수 있다.
상기 시스템에서, 상기 제어 장치는, 상기 서비스 중지에 대한 작업 명령을 포함하는 다른 음성 신호를 획득하고, 상기 서버는, 상기 음성 신호로부터 제1 음성 특성을 추출하고, 상기 제어 장치로부터 상기 다른 음성 신호를 수신하고, 상기 다른 음성 신호로부터 제2 음성 특성을 추출하고, 상기 제1 음성 특성과 상기 제2 음성 특성을 비교하고, 상기 제1 음성 특성과 상기 제2 음성 특성이 유사하지 않은 경우, 상기 서비스를 유지할 수 있다.
상기 시스템에서, 상기 서버는, 상기 사용자가 권한을 가지지 않는다고 판단한 경우, 상기 실행된 서비스를 중지할 수 있다.
상기 시스템에서, 상기 서버와 연결된 스피커를 포함하고, 상기 서버는, 상기 사용자가 권한을 가지지 않는다고 판단한 경우, 경고 음성 및 경고 메시지 중 적어도 하나를 생성하고, 상기 적어도 하나의 경고 음성 및 경고 메시지를 상기 제어장치 또는 상기 스피커로 송신하며, 상기 제어장치 또는 상기 스피커는, 상기 적어도 하나의 경고 음성 및 경고 메시지를 출력할 수 있다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 음성 명령으로 프로그램 및 시스템을 통제할 수 있다. 이를 통해, 키보드, 마우스 또는 터치와 같은 기존의 시스템 통제 수단 이외에 다른 통제 수단을 구비할 수 있다.
또한 본 실시예에 의하면, 음성 명령으로 프로그램 및 시스템을 통제할 수 있다. 이를 통해, 사용자의 접근이 어려운 시스템이나 번거로운 실행 과정을 가진 프로그램을 제어할 수 있다.
또한 본 실시예에 의하면, 사용 권한을 가진 사용자만이 음성 명령을 기반으로 프로그램 및 시스템을 통제할 수 있다. 이를 통해, 허락되지 않은 타인의 개입을 사전에 차단함으로써, 보안성을 높일 수 있다.
도 1은 일 실시예에 따른 제어 시스템이 공장의 생산설비를 제어하는 모습을 나타내는 예시도이다.
도 2는 일 실시예에 따른 제어 시스템을 나타내는 블록도이다.
도 3은 일 실시예에 따른 제어장치의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 서버의 구성을 나타내는 블록도이다.
도 5는 일 실시예에 따른 프로그램 페이지를 나타내는 예시도이다.
도 6은 일 실시예에 따른 프로그램 페이지의 구성을 나타내는 예시도이다.
도 7은 일 실시예에 따른 서버가 사용자 음성에 따라 서비스를 실행하는 경우에 페이지를 출력하는 제어장치의 출력부를 나타내는 예시도이다.
도 8은 일 실시예에 따른 사용자의 음성 명령에 대한 여러 형태를 나타내는 도면이다.
도 9는 일 실시예에 따른 제어 시스템의 동작에 대한 흐름도이다.
도 10은 다른 실시예에 따른 제어 시스템의 동작에 대한 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 일 실시예에 따른 제어 시스템이 공장의 생산설비를 제어하는 모습을 나타내는 예시도이다.
도 1을 참조하면, 사용자(1)가 제어 시스템(200)을 통해 공장(F)을 원격 제어하는 것과 공장(F)에서 일어나는 일련의 상황들이 도시되어 있다.
사용자(1)는 제어 시스템(200)을 통해 공장(F)에 설치된 생산설비(230)를 원격으로 제어할 수 있다. 사용자(1)는 공장(F) 내부 또는 외부의 제어실에서 생산설비(230)를 통제 및 관리할 수 있다.
사용자(1)는 생산설비(230)의 동작을 제어할 수 있다. 생산설비(230)는 컨베이어 밸트(2)나 로봇 크레인(3) 등을 포함할 수 있다. 상품(4)이 컨베이어 밸트(2)를 따라 이동하면, 로봇 크레인(3)은 각 상품(4)을 지정된 위치로 운반할 수 있다. 스피커(240)는 공장(F)의 작업자들에게 정보를 알려주거나 사운드를 제공할 수 있다. 조명(250)은 공장(F) 내부를 비출 수 있다.
사용자(1)는 컨베이어 밸트(2)나 로봇 크레인(3)의 시작 및 종료, 속도 및 방향 등을 제어장치(210)를 통해 조작할 수 있다. 또한 사용자(1)는 스피커(240)의 볼륨이나 조명(250)의 밝기 등을 제어장치(210)를 통해 조작할 수 있다. 사용자(1)는 제어장치(210)에게 음성 명령을 내릴 수 있다. 사용자(1)가 자신의 음성(1a)을 제어장치(210)로 발화하면, 컨베이어 밸트(2), 로봇 크레인(3), 스피커(240) 및 조명(250)이 음성(1a)에 포함된 명령에 의해 동작할 수 있다.
제어장치(210)는 컨베이어 밸트(2), 로봇 크레인(3), 스피커(240) 및 조명(250)과 유무선 네트워크로 연결될 수 있다. 제어장치(210)는 컨베이어 밸트(2), 로봇 크레인(3), 스피커(240) 및 조명(250)과 직접적으로 연결되거나 또는 서버(220)를 통해 간접적으로 연결될 수 있다.
도 2는 일 실시예에 따른 제어 시스템을 나타내는 블록도이다.
도 2를 참조하면, 제어 시스템(200)은 제어장치(210) 및 서버(220)를 포함할 수 있다. 제어 시스템(200)은 서버(220)와 연결된 생산설비(230), 스피커(240) 및 조명(250) 등을 추가로 포함할 수 있다.
제어장치(210)는 사용자로부터 지문 및 음성을 감지할 수 있다. 제어장치(210)는 상기 지문을 지문 신호로 변환하고, 상기 음성을 음성 신호로 변환할 수 있다. 제어장치(210)는 서버(220)와 연결되어 상기 지문 신호 및 음성 신호를 서버(220)로 송신할 수 있다.
제어장치(210)는 프로그램에 포함된 페이지들을 표시할 수 있다. 제어장치(210)는 서버(220)로부터 복수의 페이지를 수신하고 사용자에게 이를 알려줄 수 있다. 예를 들어, 제어장치(210)는 수신한 페이지를 제어장치(210)의 화면에 디스플레이할 수 있다.
제어장치(210)는 사용자 인증의 결과를 표시할 수 있다. 제어장치(210)는 서버(220)로부터 인증 결과를 수신하고 사용자에게 이를 알려줄 수 있다. 예를 들어, 서버(220)는 상기 지문 신호로부터 사용자가 권한을 가졌는지 판단하고, 그 결과를 제어장치(210)에게 송신할 수 있다. 제어장치(210)는 상기 인증 결과를 제어장치(210)의 화면에 디스플레이할 수 있다.
제어장치(210)는 다른 지문 신호 및 음성 신호를 지속적으로 서버(220)로 송신할 수 있다. 생산설비(230)를 조작하기 위해서, 사용자(1)는 다른 음성을 제어장치(210)로 입력할 수 있다. 서버(220)는 음성 특성을 비교하고, 상기 다른 음성이 기존 사용자의 것과 일치하면 상기 다른 음성의 명령에 대한 서비스를 제공할 수 있다. 상기 다른 음성이 기존 사용자의 것과 일치하지 않으면 서버(220)는 접근을 무시할 수 있다.
또한 다른 사용자가 제어장치(210)를 사용하기 위하여 지문을 입력할 수 있다. 제어장치(210)는 상기 수집된 음성과 지문을 신호로 변환하여 서버(220)로 송신할 수 있다. 서버(220)는 사용자를 인증하고, 사용자가 권한을 가진다면 상기 다른 음성의 명령에 대한 서비스를 제공할 수 있다. 사용자가 권한을 가지지 않는다면, 서버(220)는 접근을 무시할 수 있다.
서버(220)는 상기 지문 신호 및 음성 신호를 수신하여 사용자 인증을 수행할 수 있다. 상기 지문 신호는 지문 입력 정보와 지문 인증 정보를 포함할 수 있다. 상기 지문 입력 정보는 사용자가 입력부(211)에 입력한 지문에 대한 정보를 포함할 수 있다. 예를 들어, 상기 지문 입력 정보는 사용자 지문의 넓이, 모양과 같이 지문을 특정하는 요소일 수 있다. 상기 지문 인증 정보는 사용자가 권한을 가지는지 판단하는데 필요한 정보를 포함할 수 있다. 예를 들어, 상기 지문 인증 정보는 전자서명 또는 공개키를 포함할 수 있다.
사용자 인증에 있어서, 서버(220)는 상기 지문 신호의 지문 입력 정보 또는 지문 인증 정보가 등록된 것과 일치하는지 판단할 수 있다. 서버(220)의 인증은 FIDO(fast identity online) 방식으로 수행될 수 있다. 따라서 서버(220)는 공개키를 미리 등록하고, 상기 지문 인증 정보로부터 개인키를 추출하여 공개키와 비교할 수 있다.
서버(220)는 사용자가 권한을 가지는 것으로 결정하면, 상기 음성 신호에 따라 프로그램을 실행할 수 있다. 예를 들어, 서버(220)는 상기 지문 인증 정보의 개인키와 미리 등록된 공개키가 일치하면 사용자가 권한을 가지는 것으로 판단할 수 있다. 서버(220)는 상기 음성 신호에서 명령을 식별하고 상기 식별된 명령에 따른 작업을 수행하기 위하여 프로그램을 실행할 수 있다.
서버(220)는 프로그램을 실행하고, 상기 프로그램에 포함된 페이지들을 제어장치(210)로 송신할 수 있다. 제어장치(210)는 상기 페이지들을 사용자(1)에게 출력하고, 서버(220)는 상기 식별된 명령에 따른 서비스를 실행할 수 있다. 예를 들어, 제어장치(210)가 컨베이어 밸트(2) 속도의 증가를 명령하는 음성 신호를 보낸다고 가정하자. 서버(220)는 컨베이어 밸트(2)를 제어하는 프로그램을 실행하고, 제어장치(210)로 상기 제어하는 프로그램의 메인 페이지와 그 하부에 위치한 속도 제어 페이지를 송신하고, 컨베이어 밸트(2)의 속도를 증가시키는 서비스를 실행할 수 있다. 여기서, 사용자(1)는 제어장치(210)의 화면을 통해 상기 메인 페이지와 상기 속도 제어 페이지를 볼 수 있다.
서버(220)는 제어장치(210)로부터 다른 음성 신호를 지속적으로 수신하여, 권한을 가진 기존의 사용자의 다른 명령에 따라 동작할 수 있다. 생산설비(230)를 조작하기 위해서, 사용자(1)는 다른 음성을 제어장치(210)로 입력할 수 있다. 서버(220)는 기존 음성 신호의 음성 특성과 상기 다른 음성 신호의 음성 특성을 분석하고, 서로 유사하다고 판단하고, 상기 다른 음성 신호에 의한 명령을 수행할 수 있다.
또한 서버(220)는 제어장치(210)로부터 다른 음성 신호를 지속적으로 수신하여, 권한을 가지지 않는 다른 사용자가 명령을 내리는지 여부를 검사할 수 있다. 생산설비(230)를 무단으로 조작하기 위해서, 익명의 사용자는 다른 음성을 제어장치(210)로 입력할 수 있다. 서버(220)는 기존 음성 신호의 음성 특성과 상기 다른 음성 신호의 음성 특성을 분석하고, 서로 유사하지 않다고 판단하고, 상기 다른 음성 신호에 의한 명령을 수행하지 않을 수 있다.
또한 서버(220)는 제어장치(210)로부터 다른 지문 신호를 지속적으로 수신하여, 권한을 가지지 않는 다른 사용자가 인증하려고 시도하는지 여부를 검사할 수 있다. 생산설비(230)를 무단으로 조작하기 위해서, 익명의 사용자는 다른 지문을 제어장치(210)로 입력할 수 있다. 서버(220)는 기존 지문 신호와 상기 다른 지문 신호를 분석하고, 서로 유사하지 않다고 판단하고, 상기 다른 지문 신호에 대한 접근을 거부할 수 있다. 즉, 서버(220)는 권한을 가지지 않는 익명의 사용자가 인증 시도를 차단할 수 있다.
생산설비(230)는 서버(220)와 연결되어 서버(220)로부터 서비스를 제공받을 수 있다. 상기 서비스는 생산설비(230)를 동작시키는 것을 포함하고, 생산설비(230)는 상기 서비스에 따라 동작할 수 있다. 생산설비(230)가 상기 서비스에 동작을 수행할 때, 서버(220)는 프로그램을 실행하고 페이지를 제어장치(210)로 송신하고, 사용자(1)는 상기 페이지를 제어장치(210)를 통해 확인할 수 있다.
생산설비(230)이외에, 스피커(240), 조명(250) 또는 전자장치(260)가 서버(220)와 유무선 네트워크로 연결될 수 있다. 스피커(240), 조명(250) 또는 전자장치(260)도 서버(220)로부터 서비스를 제공받고, 상기 제공된 서비스에 따라 동작할 수 있다. 전자장치(260)는 PC(personal computer) 및 무선 측정 장치를 포함할 수 있다. 서버(220)는 전자장치(260)의 전원이 온오프(on-off)하거나 전자장치(260)가 특정 동작을 수행하도록 서비스를 제공할 수 있다.
도 3은 일 실시예에 따른 제어장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 제어장치(210)의 구성이 도시되어 있다. 제어장치(210)는 입력부(211), 인증부(212), 제어부(213), 통신부(214) 및 출력부(215)를 포함할 수 있다.
입력부(211)는 사용자(1)의 지문을 감지함으로써, 지문을 인식할 수 있다. 입력부(211)는 사용자(1)의 음성을 감지함으로써, 음성을 녹음할 수 있다. 입력부(211)는 사용자(1)의 지문과 음성을 제어부(213)로 송신할 수 있다.
인증부(212)는 서버(220)가 사용자가 권한을 가지는지 확인하는데 필요한 지문 인증 정보를 생성할 수 있다. 인증부(212)는 사용자(1)의 지문으로부터 공개키와 개인키를 생성하고, 상기 개인키로부터 전자서명을 생성할 수 있다. 인증부(212)는 상기 지문 인증 정보를 제어부(213)로 송신할 수 있다.
제어부(213)는 지문 신호를 생성할 수 있다. 상기 지문 신호는 사용자(1)의 지문 자체의 특성을 나타내는 지문 입력 정보와 상기 지문 인증 정보를 포함할 수 있다. 제어부(213)는 입력부(211)로부터 수신한 사용자(1)의 지문으로부터 상기 지문 입력 정보를 생성할 수 있다. 제어부(213)는 인증부(212)로부터 상기 지문 인증 정보를 수신할 수 있다.
제어부(213)는 음성 신호를 생성할 수 있다. 상기 음성 신호는 사용자(1)의 목소리 특성을 나타내는 음성 특성 정보와 음성 명령 정보를 포함할 수 있다. 제어부(213)는 사용자(1)의 음성을 아날로그 또는 디지털 형태의 신호로 변환할 수 있다. 제어부(213)는 상기 변환된 신호를 통신부(214)를 거쳐 서버(220)로 송신할 수 있다.
제어장치(210)의 통신부(214)는 서버(220)의 통신부(221)와 연결되어 데이터를 주고받을 수 있다. 통신부(214)는 지문 신호 및 음성 신호를 서버(220)로 송신할 수 있다. 통신부(214)는 서버(220)로부터 상기 음성 신호에 따라 실행된 프로그램의 페이지에 대한 데이터를 수신할 수 있다.
제어부(213)는 상기 음성 신호에 따라 실행된 프로그램의 페이지에 대한 데이터를 출력부(215)로 송신할 수 있다. 출력부(215)는 상기 페이지를 사용자(1)에게 출력할 수 있다. 예를 들어, 출력부(215)는 이미지 형태로 상기 페이지를 보여주거나 사운드 형태로 상기 페이지를 내보낼 수 있다.
도 4는 일 실시예에 따른 서버의 구성을 나타내는 블록도이다.
도 4를 참조하면, 서버(220)의 구성이 도시되어 있다. 서버(220)는 통신부(221), 인증처리부(222), 음성처리부(223), 제어부(224) 및 저장부(225)를 포함할 수 있다.
서버(220)의 통신부(221)는 제어장치(210)의 통신부(214)와 연결되어 데이터를 주고받을 수 있다. 통신부(221)는 지문 신호 및 음성 신호를 제어장치(210)로부터 수신할 수 있다. 통신부(221)는 상기 음성 신호의 명령에 대한 서비스의 데이터를 생산설비(230), 조명(250) 또는 스피커(240)로 송신할 수 있다.
인증처리부(222)는 사용자가 권한을 가지는지에 대한 인증할 수 있다. 인증처리부(222)는 제어장치(210)으로부터 수신한 지문 신호를 기반으로 인증할 수 있다. 인증처리부(222)는 상기 지문 신호의 지문 입력 정보와 지문 인증 정보로부터 사용자의 권한을 확인할 수 있다. 예를 들어, 인증처리부(222)는 미리 등록된 공개키와 전자서명의 개인키가 대응하는지를 판단할 수 있다. 서로 대응한다면, 인증처리부(222)는 사용자(1)가 권한을 가지는 것으로 결정할 수 있다. 서로 대응하지 않는다면, 인증처리부(222)는 사용자(1)가 권한을 가지지 않는 것으로 결정할 수 있다.
음성처리부(223)는 사용자(1)의 음성을 분석하고, 사용자(1)가 요청하는 작업에 대한 명령과 사용자(1) 목소리의 특성에 대한 정보를 추출할 수 있다. 상기 음성 명령 정보는 사용자(1)가 요청하는 작업에 대한 명령을 포함할 수 있다. 상기 음성 특성 정보는 사용자(1) 목소리의 특성에 대한 정보를 포함할 수 있다.
저장부(225)에는 프로그램 및 상기 프로그램이 실행될 때 나타나는 복수의 페이지가 저장될 수 있다.
제어부(224)는, 사용자(1)가 요청하는 작업을 수행할 수 있다. 인증처리부(222)가 사용자(1)가 권한을 가지는 것으로 확인한 경우, 제어부(224)는 상기 추출된 명령이 지시하는 작업에 필요한 프로그램을 실행할 수 있다. 제어부(224)는 상기 프로그램을 실행하는 동안 상기 프로그램에 포함된 복수의 페이지를 저장부(225)에서 독출할 수 있다. 제어부(224)는 상기 독출된 복수의 페이지를 통신부(221)를 거쳐 제어장치(210)로 송신할 수 있다.
제어부(224)는 제어장치(210)로부터 다른 음성 신호를 지속적으로 수신하여, 권한을 가진 기존의 사용자의 다른 명령에 따라 동작할 수 있다. 생산설비(230)를 조작하기 위해서, 사용자(1)는 다른 음성을 제어장치(210)로 입력할 수 있다. 음성처리부(223)는 기존 음성 신호의 음성 특성과 상기 다른 음성 신호의 음성 특성을 추출할 수 있다. 제어부(213)는 기존 음성 신호의 음성 특성과 상기 다른 음성 신호의 음성 특성이 유사하다고 결정할 수 있다. 제어부(213)는 상기 다른 음성 신호의 명령에 따른 서비스를 새롭게 실행할 수 있다.
또한 제어부(224)는 제어장치(210)로부터 다른 음성 신호를 지속적으로 수신하여, 권한을 가지지 않는 다른 사용자가 명령을 내리는지 여부를 검사할 수 있다. 생산설비(230)를 무단으로 조작하기 위해서, 익명의 사용자는 다른 음성을 제어장치(210)로 입력할 수 있다. 음성처리부(223)는 기존 음성 신호의 음성 특성과 상기 다른 음성 신호의 음성 특성을 추출할 수 있다. 제어부(213)는 기존 음성 신호의 음성 특성과 상기 다른 음성 신호의 음성 특성이 유사하지 않다고 결정할 수 있다. 제어부(213)는 기존 음성 신호의 명령에 따른 서비스를 그대로 유지할 수 있다.
또한 인증처리부(222)는 제어장치(210)로부터 다른 지문 신호를 지속적으로 수신하여, 권한을 가지지 않는 다른 사용자가 인증하려고 시도하는지 여부를 검사할 수 있다. 인증처리부(222)는 기존 지문 신호와 상기 다른 지문 신호를 분석하고, 서로 유사하지 않다고 판단할 수 있다. 제어부(224)는 기존 음성 신호의 명령에 따른 서비스를 그대로 유지할 수 있다. 또한 제어부(224)는 경고 음성 및/또는 경고 메시지를 생성하고 상기 경고 음성 및/또는 경고 메시지를 제어장치(210) 및/또는 스피커(240)로 송신할 수 있다. 상기 경고 음성 및 경고 메시지는 사용자가 권한이 없다거나 지문이 인식되지 않는다는 정보를 포함할 수 있다. 제어장치(210)의 출력부(215) 및/또는 스피커(240)는 상기 경고 음성 및/또는 경고 메시지를 사용자(1)에게 출력할 수 있다. 동시에, 제어부(224)는 기존 음성 신호의 명령에 따른 서비스를 중지할 수 있다.
도 5는 일 실시예에 따른 프로그램 페이지를 나타내는 예시도이다.
도 5를 참조하면, 제어장치(210)가 사용자에게 출력하는 프로그램의 페이지가 도시되어 있다.
서버(220)가 사용자가 권한을 가지고 있다고 확인하면, 상기 사용자 음성에서 추출된 명령에 따른 서비스를 실행하기 위하여 프로그램을 실행할 수 있다. 동시에 서버(220)는 상기 서비스를 주변장치에 대해 실행할 수 있다. 여기서, 제어장치(210)을 통해서, 사용자(1)는 프로그램이 실행될 때 나타나는 페이지를 볼 수 있다.
페이지는 상위 페이지와 그에 대한 하위 페이지들로 구분될 수 있다. 가령, 어느 한 메인 페이지가 상위 페이지라고 하자. 사용자(1)가 상기 메인 페이지 중 일부를 선택할 때 나오는 페이지가 상기 메인 페이지에 대한 하위 페이지일 수 있다.
상기 하위 페이지는 복수일 수 있다. 상술한 예에서, 복수의 하위 페이지가 상기 메인 페이지에 대하여 형성될 수 있다
본 도면의 경우, 서버(220)는 ‘그룹웨어’라는 프로그램을 실행할 수 있다. 상기 프로그램이 실행되면, 제어장치(210)는 사용자(1)한테 제일 먼저 보이는 상위 페이지(500)를 출력할 수 있다. 상위 페이지(500)는 그에 대한 복수개의 하위 페이지(510)들로 구성되고 하위 페이지(510)는 작업 항목(501)으로 특정될 수 있다. 작업 항목(501)은 하위 페이지(510)의 내용에 관한 정보를 나타낼 수 있다. 예를 들어, 작업 항목(501)은 하위 페이지(510)의 주제나 기능을 간략하게 나타낸 것으로, 본 도면의 ‘검색, 그룹뉴스, 이달의 인물, 공지사항, 업무시스템, 메일, 최근게시글’이 작업 항목(501)에 해당할 수 있다.
도 6은 일 실시예에 따른 프로그램 페이지의 구성을 나타내는 예시도이다.
상기 하위 페이지는 복수일 수 있다. 복수의 하위 페이지가 상기 메인 페이지에 대하여 형성되면, 다른 하위 페이지가 상기 복수의 하위 페이지에 대하여 다시 형성될 수 있다.
도 6을 참조하면, 상위 페이지, 상기 상위 페이지에 대한 하위 페이지(제1 하위 페이지(510)) 및 상기 하위 페이지에 대해 형성된 다른 하위 페이지(제1-1 하위 페이지(511))가 도시되어 있다.
본 도면에서, 제어장치(210)는 상위 페이지(500)를 출력한 상태이다. 다음에, 사용자(1)가 ‘메일을 실행해줘’라고 말하면, 제어장치(210)는 제1 하위 페이지(510)를 출력할 수 있다. 나아가 사용자(1)가 ‘김영희 과장의 것을 읽어줘’라고 말하면, 제어장치(210)는 제1-1 하위 페이지(511)를 출력할 수 있다. 동시에, 서버(220)는 ‘김영희 과장의 메일’을 읽는 서비스를 실행할 수 있다. 구체적으로, 서버(220)는 ‘김영희 과장의 메일’의 텍스트를 음성으로 변환하고, 변환된 음성을 제어장치(210)의 출력부(215) 또는 스피커(240)를 통해 사용자(1)에게 알려줄 수 있다.
도 7은 일 실시예에 따른 서버가 사용자 음성에 따라 서비스를 실행하는 경우에 페이지를 출력하는 제어장치의 출력부를 나타내는 예시도이다.
도 7을 참조하면, 서버(220)가 사용자의 음성 신호에 포함된 명령에 따라 서비스를 실행하는 경우, 제어장치(210)의 출력부(215)에 표시되는 페이지들이 도시된다. 여기서 출력부(215)는 디스플레이 기능을 제공하는 이미지 장치일 수 있다. 도 7a에는 상위 페이지(500)가, 도 7b에는 제1 하위 페이지(510)가, 도 7c에는 제1-1 하위 페이지(511)가 각각 출력부(215)에 표시된다.
먼저 사용자(1)는 지문을 입력하고 권한있는 사용자인지 인증을 거칠 수 있다. 서버(220)가 권한있는 사용자라고 판단하면, 사용자(1)는 음성으로 명령을 내릴 수 있다. 여기서 사용자(1)는 다양한 방식으로 명령을 내릴 수 있다.
사용자(1)는 상위 페이지를 불러오는 명령, 하위 페이지를 불러오는 명령 및 작업을 요청하는 명령을 순차적으로 내릴 수 있다. 상술한 예에서, 사용자(1)가 ‘그룹웨어를 실행해줘’라고 말하면, 서버(220)는 ‘그룹웨어’라는 프로그램을 실행할 수 있다. 서버(220)는 상위 페이지(500)를 제어장치(210)으로 송신하고 제어장치(210)는 상위 페이지(500)를 출력부(215)에 표시할 수 있다(도 7a). 그 다음, 사용자(1)가 ‘메일을 실행해줘’라고 말하면, 서버(220)는 ‘메일’이라는 하위 페이지(510)을 실행할 수 있다. 서버(220)는 제1 하위 페이지(510)를 제어장치(210)으로 송신하고 제어장치(210)는 제1 하위 페이지(510)를 출력부(215)에 표시할 수 있다(도 7b). 마지막으로, 사용자(1)가 ‘김영희 과장의 것을 읽어줘’라고 말하면, 서버(220)는 ‘김영희 과장’이라는 제1-1 하위 페이지(511)을 실행할 수 있다. 서버(220)는 제1-1 하위 페이지(511)를 제어장치(210)으로 송신하고 제어장치(210)는 제1-1 하위 페이지(511)를 출력부(215)에 표시할 수 있다(도 7c). 동시에, 서버(220)는 ‘김영희 과장의 메일’의 텍스트를 음성으로 변환하여 출력하는 서비스를 실행할 수 있다. 사용자(1)는 명령을 내릴 때마다, 도 7a 내지 도 7c와 같은 화면을 보게 될 것이다.
사용자(1)는 작업을 요청하는 명령만을 순차적으로 내릴 수 있다. 상술한 예에서, ‘김영희 과장의 메일을 읽어줘’라고 한 번 말하면, 서버(220)는 ‘그룹웨어’라는 프로그램을 실행할 수 있다. 서버(220)는 상위 페이지(500), 제1 하위 페이지(510) 및 제1-1 하위 페이지(511)를 제어장치(210)로 차례로 송신할 수 있다. 제어장치(210)는 상위 페이지(500), 제1 하위 페이지(510) 및 제1-1 하위 페이지(511)를 출력부(215)에 차례로 표시할 수 있다(도 7a 내지 도 7c). 동시에, 서버(220)는 ‘김영희 과장의 메일’의 텍스트를 음성으로 변환하여 출력하는 서비스를 실행할 수 있다. 사용자(1)는 한 번에 명령을 내리더라도, 서버(220)는 ‘그룹웨어’라는 프로그램의 상위 페이지(500), ‘메일’이라는 작업 항목을 포함하는 제1 하위 페이지(510) 및‘김영희 과장’이라는 작업 항목을 포함하는 제1-1 하위 페이지(511) 모두를 순차적으로 제공하고, 제어장치(210)를 통해 사용자(1)는 모든 페이지들을 볼 수 있다.
도 8은 일 실시예에 따른 사용자의 음성 명령에 대한 여러 형태를 나타내는 도면이다.
사용자(1)는 일정한 형식에 따라 명령을 내릴 수 있다. 사용자(1)의 음성은 상기 형식에 따라 다른 구조를 가질 수 있다. 상기 음성 명령 정보는 상기 구조에 대한 내용을 포함할 수 있다. 여기서 사용자(1)가 한 번에 음성으로 내리는 명령 전부를 작업 명령(800)으로 명명한다.
도 8a를 참조하면, 작업 명령(800)은 상위 페이지 호출 명령(811), 하위 페이지 호출 명령(812) 및 동작 명령(820)으로 구성될 수 있다. 여기서, 상위 페이지 호출 명령(811) 및 하위 페이지 호출 명령(812)을 내리는 것은 프로그램의 이름 또는 작업 항목(501)을 말하는 것과 동일할 수 있다. 동작 명령(820)은 서비스의 내용 즉, 서버(220)가 수행하는 구체적인 동작을 말하는 것과 동일할 수 있다. 예를 들어, 사용자(1)가 ‘그룹웨어를 실행하고, 메일을 불러오고, 김영희 과장의 메일을 읽어줘’라고 말하면, 상위 페이지 호출 명령(811)은 ‘그룹웨어’를, 하위 페이지 호출 명령(812)은 ‘메일’과 ‘김영희 과장’을, 동작 명령(820)은 ‘실행’, ‘불러오기’ 및 ‘읽어줘’를 의미할 수 있다. 이 경우, 사용자(1)는 한 번의 명령을 내림으로써, 도 7a 내지 도 7c의 출력부(215)의 표시를 연속적으로 경험할 수 있다. 사용자(1)는 명령을 여러 번 내릴 필요가 없다.
도 8b를 참조하면, 작업 명령(800)은 대상 명령(830) 및 동작 명령(820)으로 구성될 수 있다. 여기서, 대상 명령(830)을 내리는 것은 프로그램의 이름 또는 작업 항목(501)을 말하는 것과 동일할 수 있다. 동작 명령(820)은 서비스의 내용 즉, 서버(220)가 수행하는 구체적인 동작을 말하는 것과 동일할 수 있다. 예를 들어, 사용자(1)가 ‘김영희 과장의 메일을 읽어줘’라고 말하면, 대상 명령(830)은 ‘김영희 과장의 메일’을, 동작 명령(820)은 ‘읽어줘’를 의미할 수 있다. 이 경우, 사용자(1)는 한 번의 명령을 내림으로써, 도 7a 내지 도 7c의 출력부(215)의 표시를 연속적으로 경험할 수 있다. 사용자(1)는 명령을 여러 번 내릴 필요가 없다.
도 9는 일 실시예에 따른 제어 시스템의 동작에 대한 흐름도이다.
도 9를 참조하면, 사용자(1)가 지문을 입력부(211)에 입력하고 입력부(211)를 향해 발화하면, 제어장치(210)는 지문 및 음성을 감지할 수 있다(S902).
제어장치(210)는 상기 감지된 지문을 기반으로 지문 신호를 생성하고, 상기 감지된 음성을 기반으로 음성 신호를 생성할 수 있다(S904). 제어장치(210)는 상기 생성된 지문 신호와 음성 신호를 서버(220)로 송신할 수 있다(S906).
서버(220)는 상기 지문 신호에 포함된 지문 입력 정보 및 지문 인증 정보를 기반으로, 사용자(1)가 권한을 가지는지 판단할 수 있다(S908).
서버(220)가 사용자가 권한을 가지지 않는다고 결정하면, 서버(220)는 상기 음성 신호로부터 사용자(1)가 요청하는 작업에 대한 명령을 추출하지 않고, 다른 지문 신호를 수신할 수 있다. 또한 서버(220)는 경고 음성 및/또는 경고 메시지를 생성하고, 상기 경고 음성 및/또는 경고 메시지를 제어장치(210) 및/또는 스피커(240)로 송신할 수 있다. 제어장치(210) 및/또는 스피커(240)는 상기 경고 음성 및/또는 경고 메시지를 사용자(1)에게 출력할 수 있다.
서버(220)가 사용자가 권한을 가지지 않는다는 판단을 특정 횟수 이상으로 하는 경우, 서버(220)는 사용자의 접근을 차단할 수 있다. 예를 들어, 서버(220)는 인증을 하지 않거나 상기 다른 지문 신호를 무시할 수 있다.
서버(220)가 사용자가 권한을 가진다고 결정하면, 서버(220)는 상기 음성 신호로부터 사용자(1) 요청하는 작업에 대한 명령을 추출할 수 있다(S910). 서버(220)는 상기 음성 신호에 포함된 음성 명령 정보로부터 사용자(1)가 요청하는 작업이 무엇인지를 도출할 수 있다.
서버(220)는 상기 추출된 명령에 따른 프로그램을 실행할 수 있다(S912). 예를 들어, 메일 확인은‘그룹웨어’라는 프로그램에서 가능할 수 있다. 사용자(1)의 음성 명령 즉, 작업 명령(800)이 ‘김영희 과장의 메일을 보여줘’라고 할 때, 서버(220)는 메일 확인이 가능한 ‘그룹웨어’라는 프로그램을 실행할 수 있다.
다른 예로서, 작업 명령(800)이 ‘컨베이어 밸트(2)의 속도를 올려줘’라고 할 때, 서버(220)는 컨베이어 밸트(2) 제어 프로그램을 실행할 수 있다.
서버(220)는 상기 프로그램에 포함된 상위 페이지 및 하위 페이지를 제어장치(210)로 송신할 수 있다(S914). 제어장치(210)는 상기 수신한 상위 페이지 및 하위 페이지를 사용자(1)에게 출력할 수 있다.
서버(220)는 상기 추출된 명령에 따른 서비스를 실행할 수 있다(S916). 예를 들어, 작업 명령(800)이 ‘김영희 과장의 메일을 보여줘’라고 할 때, 서버(220)는 ‘김영희 과장의 메일’을 제어장치(210)로 송신하고 제어장치(210)는 출력부(215)에 ‘김영희 과장의 메일’을 표시할 수 있다.
다른 예로서, 작업 명령(800)이 ‘컨베이어 밸트(2)의 속도를 올려줘’라고 할 때, 서버(220)는 컨베이어 밸트(2)의 속도를 증가시킬 수 있다.
생산설비(230)는 상기 서비스에 따라 동작할 수 있다(S918). 예를 들어, 서버(220)가 실행하는 서비스가 컨베이어 밸트(2)의 속도를 증가시키는 것이면, 컨베이어 밸트(2)는 더 빠르게 동작할 수 있다.
도 10은 다른 실시예에 따른 제어 시스템의 동작에 대한 흐름도이다.
도 10을 참조하면, 사용자(1)가 음성으로 다른 명령을 내리는 경우 또는 다른 사용자가 음성으로 명령을 내리는 경우에, 제어 시스템(200)이 동작하는 과정이 도시된다.
생산설비(230)는 사용자(1)가 내린 기존의 명령에 의하여 제1 서비스 동작을 수행할 수 있다(S1002).
서버(220)는 제1 서비스 동작을 지시한 기존의 음성 신호로부터 음성 특성을 추출할 수 있다(S1004). 서버(220)는 음성 신호의 음성 특성 정보로부터 음성 특성을 추출할 수 있다. 상기 기존의 음성 신호로부터 추출한 음성 특성은 제1 음성 특성으로 명명될 수 있다.
제어장치(210)는 기존의 사용자(1) 또는 다른 사용자로부터 획득한 다른 음성 신호를 송신할 수 있다(S1006). 서버(220)는 상기 다른 음성 신호로부터 음성 특성을 추출할 수 있다(S1008). 상기 다른 음성 신호로부터 추출한 음성 특성은 제2 음성 특성으로 명명될 수 있다.
서버(220)는 제1 음성 특성과 제2 음성 특성이 유사한지 판단할 수 있다(S1010). 서로 유사하면, 서버(220)는 상기 다른 음성 신호로부터 명령을 추출할 수 있다(S1012). 상기 다른 음성 신호로부터 추출된 명령은 제2 작업 명령으로 명명될 수 있다. 제2 작업 명령은 도 8a 또는 도 8b과 같은 형식으로 구성될 수 있다.
상기 제1 음성 특성과 제2 음성 특성이 서로 유사하지 않으면, 서버(220)는 상기 다른 음성 신호로부터 작업 명령을 추출하지 않고, 다음의 음성 신호를 수신할 수 있다. 또한 서버(220)는 경고 음성 및/또는 경고 메시지를 생성하고 상기 경고 음성 및/또는 경고 메시지를 제어장치(210) 및/또는 스피커(240)로 송신할 수 있다. 상기 경고 음성 및 경고 메시지는 사용자가 권한이 없다거나 음성이 인식되지 않는다는 정보를 포함할 수 있다. 제어장치(210) 및/또는 스피커(240)는 상기 경고 음성 및/또는 경고 메시지를 사용자(1)에게 출력할 수 있다. 동시에, 제어부(224)는 상기 제1 서비스를 중지할 수 있다.
서버(220)가 상기 제1 음성 특성과 제2 음성 특성이 서로 유사하지 않다는 판단을 특정 횟수 이상으로 하는 경우, 서버(220)는 사용자의 접근을 차단할 수 있다. 예를 들어, 서버(220)는 상기 제1 음성 특성과 제2 음성 특성에 대한 유사 판단을 하지 않거나 상기 다른 음성 신호를 무시할 수 있다.
서버(220)는 상기 제2 작업 명령에 따른 프로그램을 실행할 수 있다(S1014). 예를 들어, 서버(220)가 ‘컨베이어 밸트(2)의 속도를 올려줘’라는 제2 작업 명령을 추출했다고 가정하자. 서버(220)가 ‘김영의 과장의 메일 읽어주기’라는 제1 서비스를 ‘그룹웨어’라는 프로그램에서 수행할 때, 동시에 서버(220)는 컨베이어 밸트(2) 제어 프로그램을 실행할 수 있다. 만약, 제2 작업 명령이 ‘이철수 부장의 메일을 읽어줘’라면, 동일한 프로그램이 사용되므로 서버(220)는 별도의 프로그램을 실행할 필요가 없다.
서버(220)는 상기 제2 작업 명령에 의해 실행된 프로그램에 포함된 상위 페이지 및 하위 페이지를 제어장치(210)로 송신할 수 있다(S1016).
서버(220)는 상기 제2 작업 명령에 따른 서비스를 실행할 수 있다(S1018). 예를 들어, 서버(220)가 ‘컨베이어 밸트(2)의 속도를 올려줘’라는 제2 작업 명령을 추출했다고 가정하자. 서버(220)가 ‘김영희 과장의 메일 읽어주기’라는 제1 서비스를 수행할 때, 동시에 서버(220)는 속도를 증가하는 제2 서비스를 컨베이어 밸트(2)에 실행할 수 있다. 만약, 제2 작업 명령이 ‘이철수 부장의 메일을 읽어줘’라면, 서버(220)는 ‘이철수 부장의 메일’을 음성으로 변환하여 제어장치(210)를 통해 출력할 수 있다.
다른 예로서, 서버(220)가 ‘김영희 과장의 메일 읽기 중지’라는 제2 작업 명령을 추출했다고 가정하자. 서버(220)가 ‘김영희 과장의 메일 읽어주기’라는 제1 서비스를 수행할 때, 서버(220)는 ‘김영희 과장의 메일 읽기’를 중지할 수 있다. 서버(220)는 ‘김영희 과장의 메일 읽기’의 음성 변환을 중지할 수 있다.
생산설비(230)는 상기 서비스에 따라 동작할 수 있다(S1020). 예를 들어, 상기 제2 서비스가 컨베이어 밸트(2)의 속도를 증가시키는 것이면, 컨베이어 밸트(2)는 더 빠르게 동작할 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 사용자로부터 지문 및 음성을 감지하고, 상기 감지된 지문에 기반한 지문 신호 및 상기 감지된 음성에 기반한 음성 신호를 생성하고, 상위 페이지와, 상기 상위 페이지를 구성하고 작업 항목으로 특정되는 하위 페이지를 순차적으로 표시하는 제어 장치; 및
    상기 제어 장치와 통신 네트워크로 연결되고, 상기 상위 페이지와 상기 하위 페이지를 포함하는 프로그램이 저장되고, 상기 지문 신호를 수신하여 상기 지문 신호를 기반으로 상기 사용자가 권한을 가지는지 여부를 판단하는 서버를 포함하고,
    상기 서버는, 상기 사용자가 권한을 가진다고 판단한 경우, 상기 제어 장치로부터 상기 음성 신호를 수신 하고, 상기 음성 신호 중에서 상기 작업 항목에 대응하는 작업 명령을 추출하고, 상기 작업 명령에 따라 상기 상위 페이지를 독출하여 상기 제어 장치로 송신하거나, 상기 작업 명령에 따라 상기 상위 페이지 및 상기 하위 페이지를 모두 독출하여 상기 제어 장치로 송신하며, 상기 작업 명령에 따라 생산설비에 대한 서비스를 실행하며,
    상기 서버는, 상기 제어 장치로부터 다른 음성 신호를 수신하고, 상기 음성 신호로부터 제1 음성 특성을 추출하고, 상기 다른 음성 신호로부터 제2 음성 특성을 추출하고, 상기 제1 음성 특성과 상기 제2 음성 특성을 비교하고, 상기 제1 음성 특성과 상기 제2 음성 특성이 유사한 경우, 상기 다른 음성 신호에 포함되는 다른 작업 명령을 수행하며,
    상기 음성 신호 및 상기 다른 음성 신호는 일정한 형식을 가지는 시스템.
  2. 제1항에 있어서,
    상기 서비스는, 음성의 제공을 포함하고,
    상기 제어 장치는, 상기 서비스에 따라 제공된 음성을 출력하는 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 서비스는, 음성의 제공을 포함하고,
    상기 서버와 연결되고, 상기 서비스에 따라 제공된 음성을 출력하는 스피커를 포함하는 시스템.
  5. 제1항에 있어서,
    상기 작업 명령은, 대상 명령 및 동작 명령을 포함하고,
    상기 서버는, 상기 상위 페이지와 상기 대상 명령이 지정한 작업 항목을 포함하는 하위 페이지를 순차적으로 독출하여 상기 제어 장치로 송신하고, 상기 동작 명령이 지정한 서비스를 실행하는 시스템.
  6. 제1항에 있어서,
    상기 작업 명령은, 상위 페이지 호출 명령, 하위 페이지 호출 명령 및 동작 명령을 포함하고,
    상기 서버는, 상기 상위 페이지 호출 명령에 대응하는 상위 페이지와 상기 하위 페이지 호출 명령에 대응하는 하위 페이지를 순차로 독출하여 상기 제어 장치로 송신하고, 상기 동작 명령이 지정한 서비스를 실행하는 시스템.
  7. 제1항에 있어서,
    상기 제어 장치는, 다른 서비스 실행에 대한 상기 다른 작업 명령을 포함하는 상기 다른 음성 신호를 획득하고,
    상기 제1 음성 특성과 상기 제2 음성 특성이 유사한 경우, 상기 다른 서비스를 실행하는 시스템.
  8. 제1항에 있어서,
    상기 제어 장치는, 다른 서비스 실행에 대한 상기 다른 작업 명령을 포함하는 상기 다른 음성 신호를 획득하고,
    상기 제1 음성 특성과 상기 제2 음성 특성이 유사하지 않은 경우, 상기 서비스를 유지하는 시스템.
  9. 제1항에 있어서,
    상기 제어 장치는, 상기 서비스의 중지에 대한 상기 다른 작업 명령을 포함하는 상기 다른 음성 신호를 획득하고,
    상기 제1 음성 특성과 상기 제2 음성 특성이 유사한 경우, 상기 서비스를 중지하는 시스템.
  10. 제1항에 있어서,
    상기 제어 장치는, 상기 서비스의 중지에 대한 상기 다른 작업 명령을 포함하는 상기 다른 음성 신호를 획득하고,
    상기 제1 음성 특성과 상기 제2 음성 특성이 유사하지 않은 경우, 상기 서비스를 유지하는 시스템.
  11. 제1항에 있어서,
    상기 서버는, 상기 사용자가 권한을 가지지 않는다고 판단한 경우, 상기 실행된 서비스를 중지하는 시스템.
  12. 제1항에 있어서,
    상기 서버와 연결된 스피커를 포함하고,
    상기 서버는, 상기 사용자가 권한을 가지지 않는다고 판단한 경우, 경고 음성 및 경고 메시지 중 적어도 하나를 생성하고, 상기 적어도 하나의 경고 음성 및 경고 메시지를 상기 제어장치 또는 상기 스피커로 송신하며, 상기 제어장치 또는 상기 스피커는, 상기 적어도 하나의 경고 음성 및 경고 메시지를 출력하는 시스템.
KR1020180112999A 2018-09-20 2018-09-20 음성 인식 기반 제어 시스템 KR102184300B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180112999A KR102184300B1 (ko) 2018-09-20 2018-09-20 음성 인식 기반 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112999A KR102184300B1 (ko) 2018-09-20 2018-09-20 음성 인식 기반 제어 시스템

Publications (2)

Publication Number Publication Date
KR20200034059A KR20200034059A (ko) 2020-03-31
KR102184300B1 true KR102184300B1 (ko) 2020-12-01

Family

ID=70002051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112999A KR102184300B1 (ko) 2018-09-20 2018-09-20 음성 인식 기반 제어 시스템

Country Status (1)

Country Link
KR (1) KR102184300B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585346B1 (ko) * 2014-10-27 2016-01-13 대성전기공업 주식회사 음성 인식 및 지문 인식을 이용하여 차량을 제어하기 위한 장치, 방법 및 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9343068B2 (en) * 2013-09-16 2016-05-17 Qualcomm Incorporated Method and apparatus for controlling access to applications having different security levels

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585346B1 (ko) * 2014-10-27 2016-01-13 대성전기공업 주식회사 음성 인식 및 지문 인식을 이용하여 차량을 제어하기 위한 장치, 방법 및 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20200034059A (ko) 2020-03-31

Similar Documents

Publication Publication Date Title
KR101926052B1 (ko) 출입 관리 시스템 및 방법
US20140181962A1 (en) Application executing method using fingerprint recognition, device therefor, and computer readable recording medium therefor
KR101280050B1 (ko) 휴대용 전자 디바이스를 위한 위치 기반 보안 시스템
CN108038393B (zh) 一种应用程序隐私保护方法、移动终端
US10235121B2 (en) Wirelessly communicating configuration data for interactive display devices
CN104375666B (zh) 跨设备的输入方法、处理装置、输入设备及智能显示设备
CN103686274A (zh) 带指纹识别功能的安卓智能电视遥控器及其遥控处理方法
US9207850B2 (en) Application executing method using fingerprint recognition, device therefor, and computer readable recording medium therefor
KR102009316B1 (ko) 대화형 서버, 디스플레이 장치 및 그 제어 방법
CN103886237A (zh) 具有指纹传感器和触摸屏的电子设备的控制方法及系统
CN105528099A (zh) 结合指纹辨识功能于触控屏幕的电子装置及其控制方法
JP2016066241A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
SE528570C2 (sv) Metod, anordning och system för att upprätta en trådlös förbindelse mellan en bärbar datoranordning med en första applikation till andra anordningar med hjälp av en andra applikation
EP3089157A1 (en) Voice recognition processing device, voice recognition processing method, and display device
KR101698679B1 (ko) 가시광 통신을 이용한 출입 제어 장치 및 방법
US10601842B1 (en) Method and system for user credential security
US20200152189A1 (en) Human recognition method based on data fusion
CN105246807A (zh) 手写输入及安全性
CN105278828A (zh) 电子装置的身份验证模式触发方法
CN106372479A (zh) 移动终端及其控制方法
CN106105251A (zh) 用户终端设备、电子设备、系统及其控制方法
KR101920540B1 (ko) 홍채인식을 이용한 감성도어락 제어방법
KR102184300B1 (ko) 음성 인식 기반 제어 시스템
US10613641B2 (en) Character string input system
US20190012074A1 (en) System and method for authenticating with user specified grid and capturing and comparing the pattern start and end including repeats

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant