KR102446676B1 - AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법 - Google Patents

AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법 Download PDF

Info

Publication number
KR102446676B1
KR102446676B1 KR1020220054221A KR20220054221A KR102446676B1 KR 102446676 B1 KR102446676 B1 KR 102446676B1 KR 1020220054221 A KR1020220054221 A KR 1020220054221A KR 20220054221 A KR20220054221 A KR 20220054221A KR 102446676 B1 KR102446676 B1 KR 102446676B1
Authority
KR
South Korea
Prior art keywords
voice
user
control command
touch
users
Prior art date
Application number
KR1020220054221A
Other languages
English (en)
Inventor
구기도
Original Assignee
(주) 아하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 아하 filed Critical (주) 아하
Priority to KR1020220054221A priority Critical patent/KR102446676B1/ko
Priority to KR1020220115909A priority patent/KR102460576B1/ko
Application granted granted Critical
Publication of KR102446676B1 publication Critical patent/KR102446676B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B21/00—Tables or desks for office equipment, e.g. typewriters, keyboards
    • A47B21/007—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B21/00—Tables or desks for office equipment, e.g. typewriters, keyboards
    • A47B21/007—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk
    • A47B2021/0076—Tables or desks for office equipment, e.g. typewriters, keyboards with under-desk displays, e.g. displays being viewable through a transparent working surface of the table or desk the screen being incorporated in the desk top

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명의 다양한 실시 예에 따르면, 제1 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하는 단계; 상기 식별된 복수의 사용자의 권한 및 우선순위를 확인하는 단계; 제2 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제2 음성 및 상기 디스플레이를 통하여 입력되는 제2 터치 중 적어도 일부를 통하여 상기 식별된 복수의 사용자 적어도 일부의 제어명령을 확인하는 단계; 및 상기 식별된 복수의 사용자 적어도 일부 중 제1 순위 우선순위를 가지는 식별된 사용자의 상기 제2 음성 및 제2 터치에 포함된 적어도 일부 제어명령을 처리하는 단계;를 포함하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 방법 및 그 스마트테이블을 개시한다.

Description

AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법{SMART TABLE FOR PROCESSING VOICE RECOGNITION AND REMOTE CONTROL BASED ON AI AND IOT AND OPERATING METHOD THEREFOR}
본 발명은 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법에 관한 것으로서, 보다 상세하게는, 마이크 또는 터치 디스플레이를 통하여 입력되는 다양한 제어명령을 수행함에 있어서, AI에 기반하여 제어명령을 입력한 사용자의 역할 및 권한을 판단하고 제어명령의 처리 여부를 결정하며 스마트테이블의 동작 또는 IoT를 이용한 연결된 다른 장치의 동작을 처리하는 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법에 관한 것이다.
근래 들어 강의실 또는 회의실에서 디지털 환경으로의 변화에 따라 여러 가지 강의 또는 회의 도구들이 디지털 장비로 대체되고 그에 따라 의사소통 방식도 양방향 디지털 소통으로 변화하게 되었다.
종래에는 교실에서 교사가 칠판에 판서하며 강의하는 것이 일반적이었으나, 최근 교육장비의 개발과 멀티미디어 시스템의 발전에 실내 기자재를 이용하여 강의를 지원하는 스마트테이블이 보급되고 있는 추세이며, 스마트테이블은 강의실 내부의 기자재들을 이용하여 강의자에게 보다 원활한 강의 환경을 제공한다.
뿐만 아니라, 공유 오피스의 개념이 확대되면서, 동일한 공간에서 다양한 일정 및 상황이 수행되며, 이에 기반하여 다양한 일정과 상황에서 입력되는 음성이나 특징을 가지는 터치를 통하여 사용자를 식별하고, 해당하는 명령을 처리하는 다양한 상황에 대한 대응 능력을 가지는 장치가 요구되며, 지능화 개인화 사물정보화 시대의 발전에 따라 IoT 및 AI 기능이 융합된 스마트테이블을 구현할 필요성이 제기되고 있다.
이와 관련하여, 인공지능(AI)의 장비와 프로세스의 발달은 조명, 음향, 냉/난방기, 스크린, 빔 프로젝터의 작동 등을 자연스럽게 조작하는 잔치와 환경을 제공하고, 전통적인 입력 장치(예를 들어, 키보드 또는 마우스 등)가 아닌 사용자의 오디오 음성 인식이나 무선 인터넷을 이용한 입력(예를 들어 스마트폰, 태블릿)에 의해 다양한 디바이스에 특정한 명령어를 전달하고 컨트롤하는 기술이 등장하고 있다.
대한민국 공개특허공보 제10-2021-0154565호에 따르면, 전자 교탁에서 사용자의 음성 명령 정보와 인공지능(AI)에 기반하여 클라우드 검색이나, 주변 기기의 제어를 수행하는 것을 개기하고 있지만, 이는 장치를 제어하기 위한 음성 명령을 입력하는 주체를 신분증 등의 태그를 통하여 확인함으로써, 권한을 가진 주체인지 여부 등을 정확하게 구분하지 못하고 명령을 처리하는 문제가 존재한다.
KR 10-2021-0154565
본 발명은, 마이크를 통한 음성이나 터치 디스플레이를 통하여 입력되는 터치로부터 복수의 사용자를 식별하는 방법 및 그 장치를 제공하는데 목적이 있다.
본 발명은, 저장된 스케줄 정보에 기반하여 각각의 상황에 등록된 사용자를 식별하고 상황에 지정된 역할을 설정하며, 역할에 따라 제어명령의 처리 우선순위를 결정하는데 목적이 있다.
본 발명의 다양한 실시 예를 통하여 해결하려는 과제들은 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따르면, 제1 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하는 단계; 상기 식별된 복수의 사용자의 권한 및 우선순위를 확인하는 단계; 제2 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제2 음성 및 상기 디스플레이를 통하여 입력되는 제2 터치 중 적어도 일부를 통하여 상기 식별된 복수의 사용자 적어도 일부의 제어명령을 확인하는 단계; 및 상기 식별된 복수의 사용자 적어도 일부 중 제1 순위 우선순위를 가지는 식별된 사용자의 상기 제2 음성 및 제2 터치에 포함된 적어도 일부 제어명령을 처리하는 단계;를 포함하는, AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블의 동작방법을 개시한다.
여기서, 상기 제1 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하는 단계는, 상기 적어도 하나의 마이크를 통하여 입력되는 상기 복수의 사용자 각각에 지정된 적어도 하나의 단어를 포함하는 음성 및 상기 디스플레이를 통하여 입력되는 상기 복수의 사용자 각각에 지정된 터치 중 적어도 일부에 기반하여 매칭되는 사용자를 식별하는 단계;를 포함할 수 있다.
여기서, 상기 제1 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하는 단계는, 제1 마이크를 통해서 입력된 음성과 매칭되는 제1 사용자를 식별하고, 제2 마이크를 통해서 입력된 음성과 매칭되는 제2 사용자를 식별하는 단계;를 포함하고, 상기 식별된 복수의 사용자의 권한 및 우선순위를 확인하는 단계는, 설정 정보에 기반하여 상기 제1 마이크를 통하여 입력된 음성으로부터 식별되고 강사의 권한을 가지는 제1 사용자를 상기 제1 순위 우선순위를 가지는 식별된 사용자로 결정하는 단계;를 포함할 수 있다.
여기서, AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블의 동작방법은, 상기 제1 순위 우선순위를 가지는 식별된 사용자의 제어명령을 처리한 결과에 대한 텍스트 및 이미지 중 적어도 일부를 지정된 디스플레이에 표시하는 단계; 상기 표시된 텍스트 및 이미지 중 적어도 일부와 관련하여 제3 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제3 음성 및 상기 디스플레이를 통하여 입력되는 제3 터치 중 적어도 일부로부터 상기 식별된 복수의 사용자 적어도 일부의 제어명령을 확인하는 단계; 및 상기 식별된 복수의 사용자 중 상기 제1 순위 우선순위를 가지는 식별된 사용자의 후순위인 제2 순위 우선순위를 가지는 식별된 사용자의 상기 제3 음성 및 상기 제3 터치에 포함된 적어도 일부 제어명령을 처리하는 단계;를 더 포함할 수 있다.
여기서, 상기 표시된 텍스트 및 이미지 중 적어도 일부와 관련하여 제3 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제3 음성 및 상기 디스플레이를 통하여 입력되는 제3 터치 중 적어도 일부로부터 상기 식별된 복수의 사용자 적어도 일부의 제어명령을 확인하는 단계는, 상기 식별된 복수의 사용자 적어도 일부 각각의 상기 제3 음성에 포함된 음성 제어명령 및 상기 제3 터치에 포함된 터치 제어명령 각각에 대하여 상기 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도를 결정하는 단계;를 더 포함하며, 상기 관련도는, 상기 표시된 텍스트 및 이미지 중 적어도 일부와 상기 식별된 복수의 사용자 적어도 일부 각각의 상기 제3 음성에 포함된 단어와의 매칭도, 상기 식별된 복수의 사용자 적어도 일부 각각의 상기 제3 음성에 포함된 음성 제어명령이 상기 표시된 텍스트 및 이미지 중 적어도 일부를 제어할 수 있는 음성 제어명령인지 여부, 상기 식별된 복수의 사용자 적어도 일부 각각의 상기 제3 터치가 상기 표시된 텍스트 및 이미지 중 적어도 일부와 접촉하는지 여부, 상기 식별된 복수의 사용자 적어도 일부 각각의 상기 제3 터치에 포함된 터치 제어명령이 상기 표시된 텍스트 및 이미지 중 적어도 일부를 제어할 수 있는 터치 제어명령인지 여부 중 적어도 일부에 기반하여 결정할 수 있다.
여기서, 상기 식별된 복수의 사용자 중 상기 제1 순위 우선순위를 가지는 식별된 사용자의 후순위인 제2 순위 우선순위를 가지는 식별된 사용자의 상기 제3 음성 및 상기 제3 터치에 포함된 적어도 일부 제어명령을 처리하는 단계는, 상기 제2 순위 우선순위를 가지는 식별된 사용자의 상기 제3 음성에 포함된 음성 제어명령 및 상기 제3 터치에 포함된 터치 제어명령이 상기 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도에 기반하여 제어명령을 처리할 수 있다.
여기서, 상기 제1 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하는 단계는, 상기 적어도 하나의 마이크의 위치, 상기 제1 음성에 포함된 복수의 음성들 각각의 크기와 주파수 파형, 상기 제1 터치에 포함된 복수의 터치들 각각의 위치 중 적어도 일부에 기반하여 상기 복수의 사용자 각각을 식별하고 상기 식별된 복수의 사용자 적어도 일부의 위치를 판단할 수 있다.
본 발명의 다양한 실시 예에 따르면, 음성을 수신하는 적어도 하나의 마이크; 및 제1 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하고, 상기 식별된 복수의 사용자의 권한 및 우선순위를 확인하며, 제2 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제2 음성 및 상기 디스플레이를 통하여 입력되는 제2 터치 중 적어도 일부를 통하여 상기 식별된 복수의 사용자 적어도 일부의 제어명령을 확인하고, 상기 식별된 복수의 사용자 적어도 일부 중 제1 순위 우선순위를 가지는 식별된 사용자의 상기 제2 음성 및 제2 터치에 포함된 적어도 일부 제어명령을 처리하도록 처리하는 처리부;를 포함하는, AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블을 개시한다.
본 발명의 다양한 실시 예에 따르면, 마이크를 통한 음성이나 터치 디스플레이를 통하여 입력되는 터치로부터 복수의 사용자를 식별하는 방법 및 그 장치를 제공함으로써 동일한 공간에서 전자장치(100)에 동시 다발적으로 입력되는 음성 및/또는 터치로부터 정확하게 사용자를 식별하고, 처리해야할 제어명령의 우선순위를 결정함으로써 업무 효율을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 마이크와 디스플레이를 통하여 입력되는 음성 및 터치에 기반하여 사용자의 위치 및 자리배치 상황을 판단함으로써, 관리자의 업무처리 효율을 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 전자장치에서 음성 및 터치에 기반하는 제어명령을 처리하는 동작의 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 전자장치에서 음성 및 터치에 기반하는 제어명령을 처리하는 동작의 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 마이크를 통한 음성입력 및 디스플레이를 통한 터치 입력을 처리하는 스마트테이블로서 구현된 전자장치를 도시한다.
이하에서, 첨부된 도면을 참조하여 실시 예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 실시 예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시 예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
전자장치에서 처리되는 '데이터'는 '정보'의 용어로 표현할 수 있다. 여기서, 정보는 데이터를 포함하는 개념으로 사용될 수 있다.
본 발명은, 마이크를 통해서 입력되는 음성 및/또는 터치 디스플레이(이하, 디스플레이)를 통하여 입력되는 터치에 기반하여 사용자를 식별하고, 복수의 음성에 대한 사용자의 우선순위를 결정하고, 우선순위에 기반하여 음성 또는 터치의 제어명령을 처리하는 스마트테이블을 개시한다.
또한, 사물인터넷(internet of things, IoT) 기술을 이용하여 스마트테이블과 연결된 다양한 장치들을 음성 및/또는 터치를 통하여 제어함으로써 강사와 학생들의 집중도를 향상시킬 수 있도록 환경을 조성하는 스마트테이블에 대하여 설명한다.
본 발명의 다양한 실시 예에 따르면, 스마트테이블은 마이크를 포함하는 전자장치로 구성되며, 지정된 적어도 하나의 마이크를 통하여 입력되는 음성 및/또는 스마트테이블의 디스플레이를 통하여 입력되는 터치에 기반하여 사용자를 식별하고, 사용자 우선순위에 기반하여 입력된 제어명령을 처리하는 방법을 제시할 수 있다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시 예들을 설명하며, 본 명세서에 첨부되는 도면들은 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시 예에 따른 전자장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 전자장치(100)는 처리부(110), 저장부(120), 통신부(130), 및 입출력부(140)를 포함할 수 있다. 본 발명의 다양한 실시 예에 따르면, 입출력부(140) 중 입력부는 오디오 신호를 입력하는 적어도 하나의 마이크를 포함하여 구성되며, 출력부는 오디오 신호를 출력하는 스피커, 데이터 처리 결과를 텍스트 및/또는 이미지로 출력하는 디스플레이 등이 포함될 수 있다.
참고로, 터치 조작이 가능한 상기 디스플레이의 경우 전자장치(100) 내부 디스플레이로 구성될 수 있지만, 외부에 존재(ex 전자칠판, 빔프로젝터 등)하여 상기 전자장치(100)와 연결될 수도 있다.
전자장치(100)는 입출력부(140)를 통해서 입력되는 제어명령을 처리할 수 있다. 일 실시 예에 따르면, 전자장치(100)는 입출력부(140)의 디스플레이 및/또는 마이크를 통하여 제어명령을 수신하고, 제어명령 및 제어명령과 관련된 데이터를 처리하며, 입출력부(140)의 디스플레이를 통하여 처리 결과를 출력할 수 있다.
여기서, 전자장치(100)가 입출력부(140)를 통해서 수신하는 제어명령은, 마이크를 통해서 입력되는 음성으로부터 음성 제어명령을 추출하고, 디스플레이를 통해서 입력되는 터치로부터 터치 제어명령을 추출함으로써 확인하는 것일 수 있다.
예를 들면, 제어명령은 디스플레이에 표시된 객체의 적어도 일부를 선택하고, 지정된 기능을 수행하기 위한 터치입력, 드래그 입력, 및/또는 입력부를 통한 터치 입력으로부터 추출될 수 있고, 마이크를 통하여 입력되는 음성으로부터 특정 객체에 대한 제어명령을 추출될 수 있다.
마이크를 통해 입력되는 음성 제어명령의 경우 디스플레이에 표시된 포인터 등을 조작하고, 객체에 대한 명령을 처리할 수도 있다.
참고로, 전자장치(100)의 처리부(110)는 인공지능(artificial intelligence, AI) 기술(ex STT(speak to text), 자연어 처리 기술 등)을 통해 사용자의 음성을 인식할 수 있다.
또한, 전자장치(100)는 인공지능 기술 등을 통해 인식한 사용자의 음성을 기반으로 전자장치(100)의 주변 기기(ex 조명, 빔프로젝터, 스피커 등)를 제어하는 사물인터넷(Internet of Things, IoT) 기술이 적용될 수도 있다. 예를 들어, 사용자로부터 조명 on/off 음성 제어명령을 인식한 경우, 전자장치(100)는 IoT를 기반으로 연결된 조명을 on/off 시킬 수 있는 것이다.
처리부(110)는 터치 및/또는 음성 등에 기반하는 제어명령 처리를 위한 프로그램(앱, 어플, 툴, 플러그인 등, 이하 제어명령 처리 프로그램)을 통하여 사용자 장치와 데이터 처리를 공유할 수 있고, 처리부(110)는 설치된 제어명령 처리 프로그램을 통하여 전자장치(100)의 동작을 설정 및/또는 제어할 수 있다.
이하, 다양한 실시 예들에서, 전자장치(100)가 제어명령과 관련된 이벤트를 수행하거나 제공하는 것은, 전자장치(100)의 적어도 하나의 제어명령 처리 관련 프로그램을 통하여 지정된 이벤트들을 제공하는 것으로 이해될 수 있다.
여기서, 제어명령 처리는 전자장치(100)에 설치된 제어명령 처리 프로그램을 통해서 제공되는 것으로 설명하고 있지만, 이에 한정하지 않고, 기 설치된 다른 프로그램 또는 임시 설치 프로그램을 통하여 제공될 수도 있다.
일 실시 예에 따르면, 제어명령 처리는 전자장치(100) 외부 장치에서 무료 또는 유로로 제공되는 데이터베이스의 적어도 일부를 통하여 수행될 수 있다.
전자장치(100)의 동작은 처리부(110)의 데이터 처리 및 장치 제어에 기반하여 수행되며, 처리부(110)는 마이크의 음성 입력 또는 디스플레이의 터치 입력으로부터 확인되는 제어명령에 기반하여 사용자를 식별할 수 있다.
처리부(100)는 마이크를 통해서 입력되는 음성을 처리하고 사용자를 식별함에 있어서, 음성의 주파수로부터 파형, 진동수, 톤, 패턴, 억양, 발음 등의 음성 특징을 확인하고, 이와 매칭되는 사용자를 결정함으로써 복수의 사용자로부터 내어지는 음성들을 구분할 수 있다.
더하여, 처리부(110)는 식별된 사용자의 음성으로부터 추출한 음성 제어명령을 처리함에 있어서, 사용자를 식별하는 시점의 상황에 기반하여 지정된 정보를 출력할 수 있다. 사용자를 식별하는 상황은, 예를 들면, 강의, 놀이, 식사, 다과 등 둘 이상의 사용자가 모임으로써 이루어질 수 있는 다양한 활동으로 구성될 수 있다.
처리부(110)는 인공지능 기술을 기반으로 상술한 바와 같이 마이크를 통해서 입력되는 음성들의 적어도 일부를 식별하고, 지정된 사용자의 음성을 확인하며, 전자장치(100)를 제어할 수 있는 권한을 가진 사용자의 음성을 구분할 수 있다.
결국, 처리부(110)는 마이크를 통해서 입력되는 음성들 중 저장부(120)에 저장된 사용자의 음성을 식별할 수 있고, 식별된 사용자의 권한 및 우선순위에 기반하여 입력된 복수의 음성을 처리할 수 있다.
또한, 처리부(110)는 디스플레이를 통해서 입력되는 터치에 기반하는 터치 제어명령을 처리함에 있어서, 식별된 사용자에 기반하여 지정된 우선순위에 따라 처리할 수 있다.
예를 들면, 처리부(110)는 디스플레이를 통하여 멀티터치(multi-touch) 입력을 확인할 수 있다. 일 실시 예에 따르면, 처리부(110)는 디스플레이를 통하여 입력되는 터치들의 위치 및 마이크를 통해서 입력되는 음성에 기반하여 터치를 입력하는 사용자를 판단하고, 식별된 사용자의 우선순위에 기반하여 입력된 터치를 처리할 수 있다.
처리부(110)는 마이크를 통해서 입력되는 음성 및/또는 디스플레이를 통해서 입력되는 터치의 사용자를 식별함에 있어서, 적어도 하나의 인공지능 알고리즘에 기반하여 수행할 수 있다. 이때, 처리부(100)는 저장부(120)의 음성 처리 및/또는 터치 처리를 위한 학습된 알고리즘을 이용하여 회귀분석을 수행할 수도 있다.
저장부(120)는 전자장치(100)의 적어도 하나의 구성요소(예: 처리부(110) 또는 통신부(130)에 의해 처리되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 제어명령 처리를 위한 프로그램(또는 소프트웨어), 데이터, 데이터에 기반하여 생성된 다양한 카테고리, 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
저장부(120)는 제어명령 처리를 제공하기 위한 인공신경망 알고리즘, 블록체인 알고리즘, 딥러닝 알고리즘, 회귀분석 알고리즘, 및 이와 관련된 메커니즘, 연산자, 언어모델, 빅데이터 중 적어도 일부를 포함하는 인공지능 알고리즘을 포함할 수 있다.
예를 들면, 저장부(120)는 마이크 및/또는 디스플레이를 통하여 입력되는 음성과 터치에 기반하여 사용자를 식별하기 위한 알고리즘, 및/또는 이와 관련하여 지정된 동작을 수행하기 위한 알고리즘을 포함할 수 있다.
저장부(120)는 제어명령 처리와 관련된 다양한 정보를 저장할 수 있다. 예를 들면, 저장부(120)는 음성인식 알고리즘, 화자인식 알고리즘, 자연어처리 알고리즘 등 마이크를 통해서 입력되는 오디오에로부터 음성을 처리하기 위한 적어도 하나의 알고리즘을 포함할 수 있다.
또한, 저장부(110)는 터치 패턴인식 알고리즘, 음성 연계 알고리즘, 터치 사용자 구분 알고리즘 등, 디스플레이를 통해서 입력되는 터치를 처리하기 위한 적어도 하나의 알고리즘을 포함할 수 있다.
저장부(120)는 입출력부(140)에 포함된 각각의 장치들을 통해 수신하는 신호를 통하여 지정된 제어 및 동작을 확인하고 처리하기 위한 데이터를 포함할 수 있다.
저장부(120)를 통하여 설명한 동작들은 처리부(110)에 의하여 처리되며, 관련된 동작들을 처리하기 위한 데이터, 처리 중인 데이터, 처리된 데이터, 기 설정된 데이터 등은 데이터베이스로서 저장부(120)에 저장될 수 있다.
저장부(120)에 저장된 데이터는 전자장치(100)의 관리자 입력 또는 사용자 장치의 사용자 입력에 기반하여 처리부(110)를 통하여 변경, 수정, 삭제, 또는 생성될 수 있다.
저장부(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함하여 구성될 수 있다.
통신부(130)는 전자장치(100)와 적어도 하나의 다른 전자장치(예: 사용자 장치, 또는 서버)의 유선 통신 채널의 수립, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
통신부(130)는 처리부(110)에 종속적 또는 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다.
통신부(130)는 블루투스, BLE(Bluetooth Low Energy), WiFi, WiFi direct, IrDA(infrared data association), ZigBee, UWB, RF(Radio Frequency) 같은 근거리 통신 네트워크 및/또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다.
통신부(130)를 구성하는 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다.
입출력부(140)는 마이크 및 터치 입력 가능한 디스플레이를 포함할 수 있다. 더하여 입출력부(140)는 키보드, 마우스, 스타일러스(펜) 등 데이터를 입력하는 입력부(미도시)와 디스플레이, 스피커, 구동부 등 데이터를 출력하는 출력부(미도시) 중 적어도 일부를 더 포함할 수 있다.
마이크는 외부의 음향신호를 전기적인 음성 데이터로 변환할 수 있다. 변환된 음향신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가질 수 있다. 이를 위하여, 마이크는 음향을 디지털로 변환하는 A/D변환부를 포함할 수 있다. 변환된 오디오 데이터는 처리부(110)에서 수행 중인 기능(예: 차트관리 서비스)에 따라 다양하게 활용될 수 있다.
또한, 입출력부(140)는 디스플레이에 표시된 객체를 대상으로 제어명령이 가능한 터치 디스플레이를 포함할 수 있다. 디스플레이는, 손가락, 손바닥 등 사용자의 신체 일부 또는 터치를 위한 수단(예: 스타일러스) 등을 통하여 입력되는 터치를 센싱할 수 있다. 이때, 디스플레이는 동시에 둘 이상의 터치를 센싱하는 멀티 터치 기능을 구비할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자장치(100) 또는 사용자 장치는 이동통신단말기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 internet protocol(IP) 단말기 등을 비롯한 모든 정보통신기기의 범위의 기능 적어도 일부를 포함할 수 있다.
전자장치(100)는 제어명령 처리를 위한 장치로서 워크스테이션(workstation), 또는 대용량의 데이터베이스(database) 중 적어도 일부 기능을 포함하거나 또는 통신을 통하여 연결되도록 구성될 수 있다.
전자장치(100)와 연결되는 사용자 장치는 휴대폰, 피씨(personal computer, PC), 피엠피(portable multimedia player, PMP), 엠아이디(mobile internet device, MID), 스마트폰(smartphone), 태블릿 PC, 패블릿 PC, 노트북(notebook) 등을 예시할 수 있다. 본 발명의 다양한 실시 예에 따르면, 사용자 장치는 전자장치(100)의 제어명령 처리를 관리하는 장치로 설명할 수 있다.
여기서, 서버는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 서버는 전자장치(100)의 처리에 기반하여 사용자 장치에 다양한 컨텐츠를 사용자 장치에 제공할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자 장치는 강사 및/또는 학생의 휴대폰을 포함할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 전자장치에서 음성 및 터치에 기반하는 제어명령을 처리하는 동작의 흐름도이다.
전자장치(100)는 음성 및 터치를 통해서 확인되는 제어명령에 기반하여 사용자를 식별하고, 특정 사용자의 제어명령을 처리할 수 있다.
201 단계에서, 전자장치(100)는 제1 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별한다.
여기서, 시간 범위라 하면, 마이크를 통하여 음성이 입력되는 시점으로 정의할 수 있다. 보다 상세하게는, 적어도 하나의 사용자의 음성이 입력되는 시점, 복수의 사용자 음성이 동시에 입력되는 시점 등 마이크를 통하여 사용자의 음성이 입력되는 시점 및/또는 해당 시점을 포함하는 지정된 시간 범위로 결정될 수 있다.
또한, 시간 범위는 설정 정보에 저장된 초 단위의 시간으로 결정될 수 있다. 예를 들면, 마이크를 통하여 음성이 입력되는 시점부터, 3초, 5초, 10초 등 설정 정보에 저장된 시간 범위일 수 있다. 더하여, 시간 범위는 마이크를 통하여 입력되는 음성에 대하여 입력이 시작된 시점부터 끝나는 시점 까지의 시간일 수 있다.
처리부(110)는 상술한 바에 따라서 제1 시간 범위 동안 입력되는 제1 음성으로부터 적어도 하나의 사용자 음성을 구분하고, 제1 터치로부터 적어도 하나의 사용자 터치를 구분할 수 있다.
예를 들면, 처리부(110)는 마이크를 통하여 입력된 음성들을 주파수에 기반하여 구분하고, 구분된 음성들로부터 파형, 진동수, 톤, 패턴, 억양, 발음 등의 음성 특징을 추출하여 데이터베이스에 저장된 사용자들의 음성 특징들과 비교함으로써 매칭되는 사용자를 식별할 수 있다.
여기서, 하나의 음성에 대하여 둘 이상의 사용자가 매칭된 경우, 예를 들면, 음성에 기반하여 사용자를 식별함에 있어서 지정된 오차 범위 내에 적어도 하나의 다른 사용자가 확인되는 경우, 처리부(110)는 인공지능 알고리즘을 통하여 음성에 더 근접한 사용자를 해당 음성의 사용자로 식별할 수 있다.
처리부(110)는 음성에 기반하여 사용자를 식별함에 있어서, 사용자 정보에 기 등록된 특정 단어에 대한 음성을 통하여 사용자를 식별할 수 있다. 예를 들면, 처리부(110)는 마이크를 통하여 입력되는 음성들 중 데이터베이스에서 사용자를 식별하기 위하여 설정된 특정 단어를 확인할 수 있다.
처리부(110)는 해당 특정 단어가 설정된 사용자 리스트를 확인하고, 입력된 음성의 음성 특징을 리스트에 포함된 사용자의 기 등록된 음성 특징과 비교함으로써 사용자를 식별할 수 있다.
음성을 입력하는 마이크가 복수개인 경우, 처리부(110)는 적어도 하나의 마이크를 통하여 입력되는 음성을 이용하여 음성 각각의 사용자를 식별할 수 있다. 예를 들면, 처리부(110)는 전자장치(100)와 연결된 제1 마이크 및 제2 마이크 등으로부터 입력되는 음성들에 기반하여 사용자들을 식별하며, 이때, 처리부(110)는 복수의 마이크를 통해서 입력되는 한 사용자의 음성을 식별할 수 있다.
일 실시 예에 따르면, 처리부(110)는 제1 마이크 및 제2 마이크를 통하여 입력되는 제1 사용자의 음성을 확인하고 제1 사용자를 식별할 수 있다. 이때, 처리부(110)는 사용자를 식별한 마이크가 무엇인지(예: 주 사용 마이크가 무엇인지)에 대한 결정이 필요한 경우, 볼륨이 더 큰 마이크(예: 제1 마이크)를 통하여 입력되는 음성에 기반하여 제1 사용자를 식별한 것으로 결정할 수 있다.
처리부(110)는 마이크를 통하여 입력된 음성 뿐만 아니라 디스플레이에 입력되는 터치를 이용하여 사용자를 식별할 수 있다. 예를 들면, 처리부(110)는 디스플레이에 입력되는 사용자의 지정된 터치, 드래그, 및/또는 이들에 기반하는 패턴의 터치 입력을 확인하고, 매칭되는 사용자를 결정할 수 있다.
여기서, 디스플레이를 통하여 입력되는 패턴은 점, 선, 면 중 적어도 하나의 조합으로 구성될 수 있고, 또는 지정된 언어의 구성 요소들(예: 알파벳(alphabet, 또는 한글의 자음과 모음 등)을 선택하거나 그려지는 터치 입력으로 구성될 수 있다.
처리부(110)는 입력된 터치에 기반하여 매칭되는 사용자를 식별하거나 또는 마이크를 통하여 입력된 음성을 함께 이용하여 사용자를 식별할 수 있다.
상술한 바와 같이, 처리부(110)는 적어도 하나의 마이크를 통해서 동시에 입력되는 복수의 사용자 음성, 디스플레이를 통해서 통시에 입력되는 터치에 기반하여 적어도 둘 이상의 사용자를 식별할 수 있다.
더하여, 처리부(110)는 마이크를 통하여 입력되는 음성의 특징과 디스플레이를 통하여 입력되는 터치에 기반하여 적어도 하나의 식별된 사용자의 위치를 판단할 수 있다.
예를 들면, 전자장치(100)는 둘 이상의 마이크와 연결되고, 연결된 복수의 마이크는 전자장치(100) 내부에 위치하거나 또는 적어도 하나의 마이크가 전자장치(100) 외부에 위치할 수 있다.
저장부(120)에는 전자장치(100)와 연결된 마이크의 위치, 전자장치(100)가 설치된 공간과 관련된 정보들이 저장될 수 있고, 처리부(110)는 저장부(120)에 저장된 정보에 기반하여 음성이 입력된 마이크, 마이크에 입력된 음성에 기반하여 식별된 사용자, 디스플레이에 입력된 터치에 기반하여 식별된 사용자의 위치를 결정할 수 있다.
일 실시 예에 따르면, 처리부(110)는 전자장치(100)의 외부에 위치한 제1 마이크를 통하여 입력된 음성에 기반하여 해당 사용자를 해당 시점 클래스의 강사로 결정할 수 있고, 제1 마이크를 통하여 입력되는 강사 음성의 크기에 기반하여 강사가 마이크로부터 떨어진 거리를 결정할 수 있다.
더하여, 제1 마이크가 방향 지향성을 가지는 마이크이거나, 또는 둘 이상의 마이크(예: 제2 마이크 및/또는 제3 마이크 등)를 통하여 강사의 음성이 입력되는 경우, 처리부(110)는 마이크 각각의 위치와 마이크 각각을 통해서 입력되는 강사의 음성의 크기, 저장부(120)에 저장된 해당 공간의 정보에 기반하여 강사의 위치를 결정할 수 있다.
더하여, 처리부(110)는 디스플레이를 통해서 입력되는 터치를 더 고려하여, 전자장치(100)의 주변의 사용자 위치를 결정할 수 있다. 처리부(110)는 디스플레이의 기준 위치(또는 기준점)을 설정하고, 디스플레이에 입력된 터치의 위치(또는 영역)을 확인하며, 기준점으로부터 터치 위치 방향으로 해당 터치에 대하여 전자장치(100)의 외측 식별된 사용자의 위치를 결정할 수 있다.
이때, 처리부(110)는 디스플레이에 입력되는 터치의 패턴, 터치 간격 중 적어도 일부 정보에 기반하여 복수의 사용자에 의하여 동시에 입력되는 복수의 터치 중 식별된 사용자의 각각의 터치 입력을 구분할 수 있다.
더하여, 처리부(110)는 터치 입력에 기반하여 전자장치(100)를 중심으로 하는 식별된 사용자의 위치를 결정함에 있어서, 적어도 하나의 마이크를 통하여 입력되는 사용자들의 음성에 기반하여 식별된 사용자의 위치 정확도를 향상시킬 수 있다.
203 단계에서, 처리부(110)는 식별된 복수의 사용자의 권한 및 우선순위를 확인한다.
처리부(110)는 현재 상황과 상황에 설정된 둘 이상의 역할에 기반하여 식별된 사용자의 역할을 결정하고, 식별된 사용자의 역할에 기반하여 전자장치(100)의 동작에 대한 권한 및/또는 제어명령의 처리 우선순위를 결정할 수 있다.
여기서, 저장부(120)는 전자장치(100)가 위치한 공간과 관련하여 지정된 상황 정보를 저장할 수 있다. 이때, 지정된 상황은 하나의 공간에서 둘 이상으로 결정될 수 있다. 예를 들면, 저장부(120)는 전자장치(100)가 위치한 공간 또는 전자장치(100)와 관련하여 스케줄 정보를 저장할 수 있다.
예를 들면, 스케줄 정보는 시, 일, 주, 월, 년 중 적어도 일부 시간 범위(또는 시점)에 대하여 해당 공간에서 수행되는 활동에 대한 정보를 포함할 수 있다. 예를 들면, 스케줄 정보는 강의, 놀이, 식사, 다과 등 둘 이상의 사용자가 모임으로써 이루어질 수 있는 다양한 활동에 대한 일정 정보를 포함하며, 각각의 일정이 수행되는 상황에 대하여 참여하는 사용자에 역할이 설정될 수 있다.
일 실시 예에 따르면, 일정이 수행되는 상황이 강의 클래스인 경우, 해당 강의 클래스의 사용자 역할은 강사와 학생을 포함하여 구성될 수 있다. 이때, 클래스 정보는 저장부(120)에 등록된 사용자들 중 적어도 한 명의 사용자(또는 사용자 정보)에 대하여 강사 역할이 설정될 수 있고, 적어도 한 명의 사용자에 대하여 학생의 역할이 설정될 수 있다.
이때, 적어도 한 명의 사용자는 상황에 따라서 다른 역할이 설정될 수 있다. 예를 들면, 매주 제1 요일 제1 시각에 시작하는 제1 클래스에서 제1 사용자는 강사의 역할이 설정되고, 매주 제1 요일 제2 시각에 시작하는 제2 클래스에서 제1 사용자는 학생의 역할이 설정될 수 있다.
또한, 각각의 역할은 전자장치(100)를 제어하기 위한 차별화된 권한이 설정될 수 있다. 예를 들면, 강사 역할의 경우, 전자장치(100)가 오프(off) 상태이거나 또는 대기 상태인 경우, 전원을 온(on)하거나 또는 대기 상태를 해제할 수 있는 권한, 해당 클래스와 관련된 프로그램을 실행하거나 종료할 수 있는 권한을 가지도록 설정되며, 학생 역할의 경우 전자장치(100)의 전원과 관련된 동작의 제어를 제한하거나, 해당 클래스와 관련된 프로그램의 제어를 제한하도록 설정될 수 있다.
더하여, 클래스에서 지정된 학생 역할이라 하더라도 관리자(또는 진행자, 강사 등)의 설정에 따라서 적어도 일부 권한을 차등적으로 설정할 수 있다. 예를 들면, 특정 클래스의 학생 역할이 설정된 사용자들 중 특정 사용자에 대하여 관리 학생의 역할을 설정하고, 전자장치(100)의 전원과 관련된 동작의 제어, 및 해당 클래스와 관련된 프로그램의 제어 중 적어도 일부 제어가 가능하도록 설정할 수 있다.
저장부(120)는 일정에 따른 상황 및/또는 사용자의 역할에 따른 우선순위를 저장할 수 있다. 예를 들면, 해당 상황이 강의 클래스인 경우, 강사로 설정된 사용자의 제어명령의 처리가 제1 우선순위로 설정될 수 있다.
더하여, 학생의 역할이 설정된 사용자의 경우, 학생 역할들 사이에서는 제어명령을 처리하는 우선순위가 설정되지 않을 수 있지만, 관리자(또는 강사)의 설정에 따라서 우선순위를 변경할 수 있다. 또한, 전자장치(100)의 관리자 또는 주 사용자로 등록된 사용자의 경우 강사보다 높은 제어명령 처리 우선순위가 설정될 수도 있다.
더하여, 처리부(110)는 특정 마이크를 통하여 입력된 음성에 더 높은 우선순위를 설정할 수 있다. 예를 들면, 전자장치(100)가 위치하는 공간에서, 강사가 착용 및 사용하는 제1 마이크 및 전자장치(100)와 연결된 제2 마이크 등을 통하여 입력되는 음성 중 제1 마이크가 다른 마이크보다 높은 우선순위로 설정될 수 있다.
이때, 처리부(110)는 제1 마이크를 통하여 입력되는 제어명령을 포함하는 제1 학생의 음성과 제2 마이크를 통하여 입력되는 제어명령을 포함하는 제2 항생의 음성을 확인하는 경우, 해당 제1 마이크 및 제2 마이크를 통하여 입력된 음성 중 제1 학생의 음성을 제2 학생의 음성보다 더 높은 우선순위로 설정할 수 있다.
상술한 바에 따르면, 처리부(110)는 해당 클래스에 등록된 사용자들에 대하여 강사 및 학생들에 대한 역할이 설정된 상태에서, 우선 순위가 높은 제1 마이크를 통하여 입력된 음성에 기반하여 강사로 식별된 사용자를 가장 높은 우선순위를 가진 사용자로 결정할 수 있을 것이다.
처리부(110)는 상술한 다양한 실시 예들과 같이, 일정이 진행되는 시점 및 스케줄 정보에 기반하여 식별된 사용자의 역할을 확인하고, 상술한 다양한 조건들에 기반하여 권한 및 우선순위를 결정할 수 있다.
205 단계에서, 처리부(110)는 제2 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제2 음성 및 디스플레이를 통하여 입력되는 제2 터치 중 적어도 일부를 통하여 식별된 복수의 사용자 적어도 일부의 제어명령을 확인한다.
처리부(110)는 제2 시간 범위 내에 입력되는 복수의 사용자의 음성 및/또는 터치로부터 전자장치(100)의 동작 및/또는 전자장치(100)와 연결된 다른 장치의 동작을 제어하기 위하여 설정된 제어명령을 확인할 수 있다.
여기서, 음성 제어명령은 단어를 포함하여 설정될 수 있고, 예를 들면, 제어 대상을 지정하는 제어명령으로 설정된 단어 및 동작을 결정하는 제어명령으로 설정된 단어 등을 포함하며, 이들의 조합으로 설정될 수 있다. 또한, 제어명령의 적어도 일부는 특정 식별된 사용자에 대하여 설정될 수도 있다.
또한, 제어 대상을 지정하는 제어명령으로 설정된 단어 및 동작을 결정하는 제어명령으로 설정된 단어가 각각 설정되는 것에 한정하지 않고, 제어 대상을 지정하고 그 대상에 대한 동작을 결정하는 제어명령에 대하여 하나의 단어로 설정할 수도 있을 것이다. 또한, 하나의 제어명령은 다양한 언어의 단어에 대응하도록 설정될 수 있다.
처리부(110)는 각각의 식별된 사용자들에 대하여 제어명령을 처리하기 위하여 설정된 언어를 확인할 수 있다. 일 실시 예에 따르면, 제1 사용자에 대하여 설정된 언어가 한국어이고, 한국어를 통해서 제어명령을 설정한 상태일 수 있다. 이때, 제1 사용자가 다른 언어(예: 영어)를 통하여 과거 제1 사용자가 한국어를 이용하여 기 설정한 제어명령에 대응하는 단어 및/또는 이를 포함하는 음성을 입력하는 경우, 처리부(110)는 제1 사용자에 대하여 설정된 한국어가 아닌 다른 언어를 처리하지 않거나 또는 다른 언어에 대한 제어명령을 확인(또는 추출)하지 않을 수 있다
반면, 제1 사용자의 언어를 한국어 및 영어로 설정하고 한국어를 통해서 제어명령을 설정한 상태에서 한국어로 설정한 제어명령에 대응하는 단어 및/또는 이를 포함하는 음성을 입력하는 경우, 처리부(110)는 제1 사용자의 영어 음성으로부터 제어명령을 추출할 수 있다.
더하여, 처리부(110)는 디스플레이를 통하여 입력되는 터치로부터 제어명령을 추출할 수 있다.
여기서, 터치 제어명령은 디스플레이에서 확인되는 터치, 드래그 등의 터치 입력을 포함하여 설정될 수 있고, 예를 들면, 제어 대상을 지정하는 포인팅(pointing)과 함께 동작을 결정하는 제어명령으로 설정된 터치 등을 포함하며, 이들의 조합으로 설정될 수 있다.
또한, 음성 입력을 통하여 제어 대상을 지정하고 터치 입력을 통하여 동작을 결정하는 제어명령을 입력하도록 설정될 수 있다. 더하여, 터치 입력을 통하여 제어 대상을 지정하고 음성 입력을 통하여 동작을 결정하는 제어명령을 입력하도록 설정될 수도 있다.
상술한 바와 같이, 처리부(110)는 입력된 음성 및/또는 터치로부터 제어명령을 추출 및 확인할 수 있다.
207 단계에서, 처리부(110)는 식별된 복수의 사용자 적어도 일부 중 제1 순위 우선순위를 가지는 식별된 사용자의 제2 음성 및 제2 터치에 포함된 적어도 일부 제어명령을 처리한다.
처리부(110)는 적어도 하나의 마이크를 통해서 입력되는 음성과 디스플레이를 통해서 입력되는 터치로부터 식별된 사용자의 제어명령을 추출하고, 제1 순위 우선순위를 가지는 식별된 사용자의 음성 제어명령 및/또는 터치 제어명령을 처리할 수 있다.
이때, 처리부(110)는 음성 및/또는 터치의 사용자가 식별되기 전에 확인된 제어명령, 예를 들면, 제1 시간 범위 내에 입력된 음성 및/또는 터치에 포함된 제어명령의 경우 207 단계에서 함께 처리할 수 있다.
여기서, 전자장치(100)의 동작 처리 순서에 따라서 제1 시간 범위 내에 입력된 음성 및/또는 터치에 포함된 제어명령(예: 제1 제어명령)이 제2 시간 범위 내에 입력된 음성 및/또는 터치에 포함된 제어명령(예: 제2 제어명령)보다 먼저 처리되어야 하는 경우, 처리부(110)는 지정된 처리 순서에 따라서 제어명령을 처리할 수 있다.
일 실시 예에 따르면, 제1 사용자의 사용자 식별 전 확인된 제1 제어명령이 특정 프로그램을 실행하는 제어명령이고, 제1 사용자의 사용자 식별 후 확인된 제2 제어명령이 특정 프로그램의 특정 데이터를 호출하는 제어명령인 경우, 처리부(110)는 제1 제어명령을 처리하여 특정 프로그램을 실행한 후 제2 제어명령을 처리하여 특정 데이터를 호출할 수 있다.
처리부(100)는 207 단계의 동작을 수행한 경우, 도 2에 따른 전자장치(100)의 동작을 종료할 수 있다.
다양한 실시 예에 따르면, 처리부(110)는 도 2를 통하여 설명한 단계들 중 특정 시점에 새로운 사용자의 음성이 입력되는 것을 확인하는 경우, 새로움 음성의 사용자를 식별하고, 새로운 사용자의 권한 및 우선순위를 결정하며, 결정된 새로운 사용자의 권한 및 우선순위에 따라서 이후 입력되는 음성 및/또는 터치의 제어명령을 처리할 수 있다.
더하여, 처리부(110)는 음성 및/또는 터치에 기반하여 전자장치(100)와 연결된 다른 장치들을 제어하는 제어명령을 확인하는 경우, 권한을 가지는 사용자(예: 강사)의 제어명령인 경우 제어명령에 대응하는 동작을 처리하고, 그 외의 사용자에 의하여 입력된 제어명령인 경우 처리하지 않을 수 있다.
일 실시 예에 따르면, 특정 사용자의 음성 및/또는 터치에 포함된 제어명령이 전자장치(100)와 연결된 외부 스피커를 통해서 컨텐츠를 출력하도록 처리하는 제어명령인 경우, 처리부(100)는 특정 사용자가 외부 스피커를 제어할 수 있는 권한을 가진 사용자인지 확인하고, 권한을 가진 사용자로 식별한 경우 지정된 컨텐츠를 외부 스피커를 통해서 출력하도록 처리할 수 있다.
다양한 실시 예에 따르면, 특정 사용자의 음성 및/또는 터치에 포함된 제어명령이 전자장치(100)의 디스플레이에 표시된 컨텐츠 일부를 전자장치(100)와 연결된 외부 디스플레이를 통하여 출력하도록 처리하는 제어명령인 경우, 처리부(100)는 특정 음성 및/또는 터치를 입력한 마이크가 컨텐츠의 외부 출력을 제어하도록 권한이 설정된 마이크인지 확인하고, 특정 사용자가 컨텐츠를 전자장치(100)의 외부로 전송할 수 있는 권한을 가진 사용자인지 확인한 후, 상술한 조건을 만족하는 경우 컨텐츠 일부를 지정된 외부 디스플레이를 통하여 출력하도록 처리할 수 있다.
상술한 바에 따르면, 처리부(110)는 마이크 및/또는 디스플레이를 통해서 입력된 컨텐츠를 외부 스피커 또는 디스플레이를 통하여 출력하는 것으로 설명하였지만, 이에 한정하지 않고, 외부 스피커의 볼륨 제어, 지정된 조명의 밝기 제어, 통신 제어, 등 전자장치(100)와 연결된 다양한 장치를 제어하도록 설정된 제어명령을 통하여 다양한 장치들을 제어할 수 있음은 자명하다.
도 3은 본 발명의 일 실시 예에 따른 전자장치에서 음성 및 터치에 기반하는 제어명령을 처리하는 동작의 흐름도이다.
일 예에 따르면, 도 3의 단계들을 통하여 설명하는 실시 예는 도 2의 207 단계를 수행한 후에 처리되는 것으로 설명할 수 있다. 하지만, 이에 한정하지 않고, 처리부(110)는 도 3의 단계들을 도 2의 단계들과 독립적으로 수행할 수 있음은 자명하다.
301 단계에서, 처리부(110)는 제1 순위 우선순위를 가지는 식별된 사용자의 제어명령을 처리한 결과에 대한 텍스트 및 이미지 중 적어도 일부를 지정된 디스플레이에 표시할 수 있다.
예를 들면, 처리부(110)는 음성 및/또는 터치로부터 확인되는 제1 순위 우선순위를 가지는 식별된 사용자의 제어명령에 따라서 특정 프로그램을 실행하거나, 특정 프로그램에서 특정 데이터를 호출하거나, 및/또는 호출된 데이터에 기반하여 특정 동작을 수행하며, 처리 결과를 디스플레이를 통하여 표시할 수 있다.
이때, 처리부(110)는 제어명령의 처리 결과를 표시함에 있어서, 텍스트 및/또는 이미지를 포함하여 구성된 컨텐츠를 출력할 수 있고, 컨텐츠는, 제어명령에 기반하여 처리된 특정 프로그램을 통하여 표시하거나, 또는 별도의 창(window, 또는 box)를 통하여 표시할 수 있다.
더하여, 상술한 바에 따르면, 처리부(110)는 제1 순위 우선순위를 가지는 식별된 사용자의 음성 및/또는 터치로부터 확인되는 제어명령의 적어도 일부(예: 최후 확인된 제어명령)는, 제어명령에 대하여 지정된 동작의 처리 및 처리 결과를 디스플레이에 표시한 것을 설명하였지만, 이에 한정하지 않고, 해당 클래스의 다른 사용자들(또는 학생 등의 특정 역할의 사용자들)의 반응을 기다리도록 설정된 제어명령일 수도 있다.
303 단계에서, 처리부(110)는 표시된 텍스트 및 이미지 중 적어도 일부와 관련하여 제3 시간 범위 내에 적어도 하나의 마이크를 통하여 입력되는 제3 음성 및 디스플레이를 통하여 입력되는 제3 터치 중 적어도 일부로부터 식별된 복수의 사용자 적어도 일부의 제어명령을 확인할 수 있다.
처리부(110)는 디스플레이에 표시된 텍스트 및 이미지 중 적어도 일부 및/또는 제1 순위 우선순위를 가지는 식별된 사용자의 최후 제어명령에 반응하여 마이크 또는 디스플레이를 통하여 입력된 음성 및/또는 터치로부터 적어도 한 사용자의 제어명령을 추출할 수 있다.
다양한 실시 예에 따르면, 처리부(110)는 식별된 복수의 사용자 적어도 일부 각각으로부터 입력된 제3 음성에 포함된 음성 제어명령 및/또는 제3 터치에 포함된 터치 제어명령 각각에 대하여 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도를 결정할 수 있다.
여기서, 처리부(110)는 표시된 텍스트 및 이미지 중 적어도 일부와 식별된 복수의 사용자 적어도 일부 각각으로부터 입력된 제3 음성에 포함된 단어와의 매칭도, 식별된 복수의 사용자 적어도 일부 각각으로부터 입력된 제3 음성에 포함된 음성 제어명령이 표시된 텍스트 및 이미지 중 적어도 일부를 제어할 수 있는 음성 제어명령인지 여부, 식별된 복수의 사용자 적어도 일부 각각으로부터 입력된 제3 터치가 표시된 텍스트 및 이미지 중 적어도 일부와 접촉하는지 여부, 식별된 복수의 사용자 적어도 일부 각각으로부터 입력된 제3 터치에 포함된 터치 제어명령이 표시된 텍스트 및 이미지 중 적어도 일부를 제어할 수 있는 터치 제어명령인지 여부 중 적어도 일부에 기반하여 디스플레이에 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도를 결정할 수 있다.
처리부(110)는 제3 음성 및/또는 제3 터치로부터 추출한 제어명령과 디스플레이에 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도는 수치(또는 값)이나 퍼센트(%)로 결정할 수 있다.
305 단계에서, 처리부(110)는 식별된 복수의 사용자 중 제1 순위 우선순위를 가지는 식별된 사용자의 후순위인 제2 순위 우선순위를 가지는 식별된 사용자의 제3 음성 및 상기 제3 터치에 포함된 적어도 일부 제어명령을 처리할 수 있다.
예를 들면, 처리부(110)는 입력된 음성 및/또는 터치로부터 추출한 제어명령을 처리함에 있어서, 제1 순위 우선순위를 가지는 식별된 사용자(예: 강사)가 아닌 후순위 사용자(예: 학생)의 음성 및/또는 터치 및 이들로부터 추출된 제어명령을 확인하며, 이러한 후순위 사용자들 중 2순위 우선순위를 가지는 식별된 사용자를 결정할 수 있다.
일 실시 예에 따르면, 처리부(110)는 설정 정보에 기반하여 제1 순위 우선순위를 가지는 식별된 사용자의 다음 우선순위를 가지는 식별된 사용자를 제2 순위 우선순위를 가지는 식별된 사용자로 결정할 수 있다.
다른 실시 예에 따르면, 처리부(110)는 303 단계에서 확인된 관련도에 기반하여 가장 높은 관련도를 가지는 사용자를 제2 순위 우선순위를 가지는 식별된 사용자로 결정할 수 있다.
처리부(110)는 제2 순위 우선순위를 가지는 식별된 사용자의 음성 및/또는 터치로부터 추출한 제어명령에 따라서 디스플레이에 표시된 텍스트 및 이미지 중 적어도 일부와 관련된 제어명령의 처리를 수행할 수 있다.
다양한 실시 예에 따르면, 제2 순위 우선순위를 가지는 식별된 사용자의 음성 및/또는 터치에 포함된 제어명령 복수인 경우, 디스플레이에 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도에 기반하여 높은 관련도를 가지는 제어명령을 처리할 수 있다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 마이크를 통한 음성입력 및 디스플레이를 통한 터치 입력을 처리하는 스마트테이블로서 구현된 전자장치를 도시한다.
도 4를 참고하면, 전자장치(100)는 기둥부와 상부를 포함하여 구성될 수 있다. 일 실시 예에 따르면, 기둥부 일부에는 전자장치(100)의 구성 요소들, 예를 들면, 처리부(110), 저장부(120), 통신부(130) 중 적어도 일부 구성 요소 및 부품들이 구비될 수 있다. 또한,
도 4에는 표시되지 않지만, 전자장치(100)의 상부에서 상면에는 디스플레이(140)가 구비되며, 컨텐츠를 출력하지 않는 상태에서 디스플레이가 없는 것처럼 구비될 수도 있다.
더하여, 전자장치(100) 상부의 상면 및/또는 측면 일부에는 무선 충전 패드, USD 단자 등의 구성 요소들을 더 포함할 수 있다.
도 4 및 도 5를 참고하면, 스마트테이블로서 구현된 전자장치(100)는 테이블의 상면 일부가 펼쳐지도록 구성될 수 있다. 예를 들면, 전자장치(100)의 상부는 도 5에 도시된 바와 같이, 상부패널(501) 및 하부패널(511)로 구분되어 구성될 수 있고, 상부패널(501) 및 하부패널(511)은 슬라이딩 가능하도록 구성될 수 있다.
도 5를 참고하면, 전자장치(100)는 복수의 디스플레이를 포함하여 구성될 수 있다. 예를 들면, 전자장치(100)는 상술한 바와 같이 상부패널(501)의 상면에 제1 디스플레이가 구비될 수 있고, 하부패널(511)의 상면에 제2 디스플레이가 구비될 수 있다.
처리부(110)는 하부패널(511)에 구비된 제2 디스플레이가 상부패널(501)을 통해서 덮여 있는 경우 전원이 오프(Off)된 상태로 처리할 수 있고, 상부패널(501)이 슬리이딩 되어 하부패널(511)의 제2 디스플레이가 노출되면 전원이 온(on)되도록 처리할 수 있다.
처리부(100)는 상부패널(501) 및 하부패널(511)의 지정된 위치에 설치된 버튼, 스위치, 전극 등이 연결되는 것을 확인하면, 상부패널(501)이 슬라이딩 되어 제2 디스플레이가 노출된 것으로 결정할 수 있다.
처리부(110)는 제2 디스플레이를 온으로 처리한 경우, 제어명령에 기반하여 지정된 컨텐츠를 표시하거나, 및/또는 제1 디스플레이에 표시된 컨텐츠 적어도 일부를 제2 디스플레이로 이동 또는 복사하여 표시할 수 있다.
처리부(110)는 상부패널(501)이 하부패널(511)로부터 슬라이딩 되어 상면의 면적이 확장된 경우, 처리부(110)는 제1 디스플레이 및 제2 디스플레이를 각각 독립된 디스플레이로 동작하도록 처리할 수 있지만, 제1 디스플레이 및 제2 디스플레이를 연결하여 하나의 디스플레이로 동작하도록 처리할 수 있다.
상술한 본 발명의 실시 예에 따르면, 전자장치(100)는 탁자, 책상과 같은 스마트테이블로서 설명하고 있지만, 이에 한정하지 않고, 전자교탁, 전자칠판, 회의제어기 등 다양한 장치에 적용될 수 있다.
본 발명의 다양한 실시 예에 따르면, 마이크를 통한 음성이나 터치 디스플레이를 통하여 입력되는 터치로부터 복수의 사용자를 식별하는 방법 및 그 장치를 제공함으로써 동일한 공간에서 전자장치(100)에 동시 다발적으로 입력되는 음성 및/또는 터치로부터 정확하게 사용자를 식별하고, 처리해야할 제어명령의 우선순위를 결정함으로써 업무 효율을 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 마이크와 디스플레이를 통하여 입력되는 음성 및 터치에 기반하여 사용자의 출석 여부, 자리배치 상황 등을 판단함으로써, 관리자의 업무처리 효율을 향상시킬 수 있다.
본 발명의 다양한 실시 에에 따르면, 저장된 스케줄 정보에 기반하여 각각의 상황에 등록된 사용자를 식별하고 상황에 지정된 역할을 설정하며, 역할에 따라 제어명령의 처리 우선순위를 결정함으로써, 관리자의 의도에 따라서 일정이 진행되도록 데이터를 처리하고, 따라서 사용자들의 일정에 대한 만족감을 향상시킬 수 있다.
본 발명의 상세한 설명에 따르면, 전자장치(100)가 수행하는 것으로 설명하는 다양한 실시 예의 기능들은 전자장치(100)의 처리부(110)를 통하여 처리되는 동작으로 전자장치(100)의 구성요소들과 유기적으로 연결되어 수행될 수 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.
예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다 해야 할 것이다.
100: 전자장치
110: 처리부
120: 저장부
130: 통신부
140: 입출력부

Claims (8)

  1. AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법에 있어서,
    (a) 제1 시간 범위 내에 제1 마이크 및 제2 마이크를 포함하는 복수의 마이크 중 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하는 단계;
    (b) 상기 식별된 복수의 사용자의 권한 및 우선순위를 확인하는 단계;
    (c) 제2 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제2 음성 및 상기 디스플레이를 통하여 입력되는 제2 터치 중 적어도 일부를 통하여 상기 식별된 복수의 사용자 중에서 적어도 일부 사용자의 제어명령을 확인하는 단계; 및
    (d) 상기 적어도 일부 사용자 중 제1 순위 우선순위를 가지는 식별된 사용자의 상기 제2 음성 및 제2 터치에 포함된 적어도 일부 제어명령을 처리하는 단계;를 포함하되,
    적어도 한 명의 사용자에게는 상기 스마트테이블에 저장된 스케줄 정보의 참여하는 일정에 따라서 다른 역할이 설정되고, 상기 다른 역할에 따른 우선순위가 설정된 상태이며,
    상기 (b) 단계에서는, 상기 스케줄 정보 중 수행되는 일정에 대하여 상기 식별된 복수의 사용자 각각에게 설정된 역할의 우선순위에 기반하여, 상기 제1 순위 우선순위를 가지는 식별된 사용자를 결정하고,
    동일한 역할이 설정된 두 명의 사용자의 경우, 상기 제1 마이크를 통하여 입력되는 음성의 사용자를 더 높은 우선순위를 가지는 사용자로 결정하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  2. 제1항에 있어서,
    상기 (a) 단계는,
    상기 적어도 하나의 마이크를 통하여 입력되는 상기 복수의 사용자 각각에 지정된 적어도 하나의 단어를 포함하는 음성 및 상기 디스플레이를 통하여 입력되는 상기 복수의 사용자 각각에 지정된 터치 중 적어도 일부에 기반하여 매칭되는 사용자를 식별하는 단계를 포함하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  3. 제1항에 있어서,
    상기 식별된 복수의 사용자 중에서 식별된 제1 사용자가 제어명령을 처리하기 위하여 제1 언어 및 제2 언어를 이용하도록 설정되고, 상기 제1 언어만을 이용하여 제1 제어명령이 설정된 상태에서,
    상기 (c) 단계는, 상기 제2 언어의 단어 또는 상기 단어를 포함하여 입력된 상기 제1 사용자의 음성으로부터 상기 단어에 대응하는 상기 설정된 제어명령을 확인하는 것을 특징으로 하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  4. 제1항에 있어서,
    (e) 상기 제1 순위 우선순위를 가지는 식별된 사용자의 제어명령을 처리한 결과에 대한 텍스트 및 이미지 중 적어도 일부를 지정된 디스플레이에 표시하는 단계;
    (f) 상기 표시된 텍스트 및 이미지 중 적어도 일부와 관련하여 제3 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제3 음성 및 상기 디스플레이를 통하여 입력되는 제3 터치 중 적어도 일부로부터 상기 적어도 일부 사용자의 제어명령을 확인하는 단계; 및
    (g) 상기 식별된 복수의 사용자 중 상기 제1 순위 우선순위를 가지는 식별된 사용자의 후순위인 제2 순위 우선순위를 가지는 식별된 사용자의 상기 제3 음성 및 상기 제3 터치에 포함된 적어도 일부 제어명령을 처리하는 단계;를 더 포함하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  5. 제4항에 있어서,
    상기 (f) 단계는,
    상기 적어도 일부 사용자 각각의 상기 제3 음성에 포함된 음성 제어명령 및 상기 제3 터치에 포함된 터치 제어명령 각각에 대하여 상기 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도를 결정하는 단계;를 더 포함하며,
    상기 관련도는, 상기 표시된 텍스트 및 이미지 중 적어도 일부와 상기 적어도 일부 사용자 각각의 상기 제3 음성에 포함된 단어와의 매칭도, 상기 적어도 일부 사용자 각각의 상기 제3 음성에 포함된 음성 제어명령이 상기 표시된 텍스트 및 이미지 중 적어도 일부를 제어할 수 있는 음성 제어명령인지 여부, 상기 적어도 일부 사용자 각각의 상기 제3 터치가 상기 표시된 텍스트 및 이미지 중 적어도 일부와 접촉하는지 여부, 상기 적어도 일부 사용자 각각의 상기 제3 터치에 포함된 터치 제어명령이 상기 표시된 텍스트 및 이미지 중 적어도 일부를 제어할 수 있는 터치 제어명령인지 여부 중 적어도 일부에 기반하여 결정하는 것을 특징으로 하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  6. 제4항에 있어서,
    상기 (g) 단계는,
    상기 제3 음성에 포함된 음성 제어명령 및 상기 제3 터치에 포함된 터치 제어명령 중에서, 상기 표시된 텍스트 및 이미지 중 적어도 일부와의 관련도가 가장 높은 제어명령을 입력한 식별된 사용자를 상기 제2 순위 우선순위를 가지는 식별된 사용자로 결정하는 것을 특징으로 하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  7. 제1항에 있어서,
    상기 (a) 단계는,
    상기 적어도 하나의 마이크의 위치, 상기 제1 음성에 포함된 복수의 음성들 각각의 크기와 주파수 파형, 상기 제1 터치에 포함된 복수의 터치들 각각의 위치 중 적어도 일부에 기반하여 상기 복수의 사용자 각각을 식별하고 상기 적어도 일부 사용자의 위치를 판단하는 것을 특징으로 하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블의 동작방법.
  8. AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블에 있어서,
    음성을 수신하는 제1 마이크 및 제2 마이크를 포함하는 복수의 마이크;
    수신한 음성을 저장하는 저장부; 및
    제1 시간 범위 내에 상기 복수의 마이크 중 적어도 하나의 마이크를 통하여 입력되는 제1 음성 및 디스플레이를 통하여 입력되는 제1 터치 중 적어도 일부에 기반하여 복수의 사용자를 식별하고, 상기 식별된 복수의 사용자의 권한 및 우선순위를 확인하며, 제2 시간 범위 내에 상기 적어도 하나의 마이크를 통하여 입력되는 제2 음성 및 상기 디스플레이를 통하여 입력되는 제2 터치 중 적어도 일부를 통하여 상기 식별된 복수의 사용자 중에서 적어도 일부 사용자의 제어명령을 확인하고, 상기 적어도 일부 사용자 중 제1 순위 우선순위를 가지는 식별된 사용자의 상기 제2 음성 및 제2 터치에 포함된 적어도 일부 제어명령을 처리하도록 처리하는 처리부;를 포함하되,
    저장된 스케줄 정보의 참여하는 일정에 따라서 적어도 한 명의 사용자에게는 다른 역할이 설정되고, 상기 다른 역할에 따른 우선순위가 설정되어 상기 저장부에 저장되며,
    상기 처리부는, 상기 스케줄 정보 중 수행되는 일정에 대하여 상기 식별된 복수의 사용자 각각에게 설정된 역할의 우선순위에 기반하여, 상기 제1 순위 우선순위를 가지는 식별된 사용자를 결정하고,
    동일한 역할이 설정된 두 명의 사용자의 경우, 상기 제1 마이크를 통하여 입력되는 음성의 사용자를 더 높은 우선순위를 가지는 사용자로 결정하는, AI와 IoT 기능을 융합하여 음성인식을 처리하는 스마트테이블.
KR1020220054221A 2022-05-02 2022-05-02 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법 KR102446676B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220054221A KR102446676B1 (ko) 2022-05-02 2022-05-02 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
KR1020220115909A KR102460576B1 (ko) 2022-05-02 2022-09-14 AI와 IoT 기능을 융합한 음성인식에 기반하여 사용자의 권한을 설정하고 원격제어를 처리하는 스마트테이블 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220054221A KR102446676B1 (ko) 2022-05-02 2022-05-02 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220115909A Division KR102460576B1 (ko) 2022-05-02 2022-09-14 AI와 IoT 기능을 융합한 음성인식에 기반하여 사용자의 권한을 설정하고 원격제어를 처리하는 스마트테이블 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR102446676B1 true KR102446676B1 (ko) 2022-09-26

Family

ID=83452636

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220054221A KR102446676B1 (ko) 2022-05-02 2022-05-02 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
KR1020220115909A KR102460576B1 (ko) 2022-05-02 2022-09-14 AI와 IoT 기능을 융합한 음성인식에 기반하여 사용자의 권한을 설정하고 원격제어를 처리하는 스마트테이블 및 그 동작방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220115909A KR102460576B1 (ko) 2022-05-02 2022-09-14 AI와 IoT 기능을 융합한 음성인식에 기반하여 사용자의 권한을 설정하고 원격제어를 처리하는 스마트테이블 및 그 동작방법

Country Status (1)

Country Link
KR (2) KR102446676B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054556A (ja) * 2004-08-10 2006-02-23 Fujitsu Ltd 電子音声会議における話者権についての情報処理方法及びプログラム、並びに無線通信携帯端末
KR20130031784A (ko) * 2011-09-21 2013-03-29 소니 주식회사 다중 사용자 인터엑티브 테이블 상의 사용자 특정 창의 설정 방법 및 장치
KR20160102411A (ko) * 2013-12-27 2016-08-30 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 프로그램
JP2018087838A (ja) * 2016-11-28 2018-06-07 三菱電機株式会社 音声認識装置
KR20190133100A (ko) * 2018-05-22 2019-12-02 삼성전자주식회사 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
JP2020034597A (ja) * 2018-08-27 2020-03-05 日本電信電話株式会社 音声入力装置、その方法、およびプログラム
JP2021064110A (ja) * 2019-10-11 2021-04-22 グローリー株式会社 音声認証装置、音声認証システム、および音声認証方法
KR20210154565A (ko) 2020-06-12 2021-12-21 주식회사 아하정보통신 사물인터넷 기능이 장착된 전자 교탁

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006054556A (ja) * 2004-08-10 2006-02-23 Fujitsu Ltd 電子音声会議における話者権についての情報処理方法及びプログラム、並びに無線通信携帯端末
KR20130031784A (ko) * 2011-09-21 2013-03-29 소니 주식회사 다중 사용자 인터엑티브 테이블 상의 사용자 특정 창의 설정 방법 및 장치
KR20160102411A (ko) * 2013-12-27 2016-08-30 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 프로그램
JP2018087838A (ja) * 2016-11-28 2018-06-07 三菱電機株式会社 音声認識装置
KR20190133100A (ko) * 2018-05-22 2019-12-02 삼성전자주식회사 어플리케이션을 이용하여 음성 입력에 대한 응답을 출력하는 전자 장치 및 그 동작 방법
JP2020034597A (ja) * 2018-08-27 2020-03-05 日本電信電話株式会社 音声入力装置、その方法、およびプログラム
JP2021064110A (ja) * 2019-10-11 2021-04-22 グローリー株式会社 音声認証装置、音声認証システム、および音声認証方法
KR20210154565A (ko) 2020-06-12 2021-12-21 주식회사 아하정보통신 사물인터넷 기능이 장착된 전자 교탁

Also Published As

Publication number Publication date
KR102460576B1 (ko) 2022-10-28

Similar Documents

Publication Publication Date Title
CN108416454B (zh) 一种智能校园的控制方法及系统
WO2018036149A1 (zh) 一种多媒体交互教学系统及方法
KR101819458B1 (ko) 음성 인식 장치 및 시스템
KR102178176B1 (ko) 사용자 단말, 화상 통화 장치, 화상 통화 시스템 및 그 제어방법
KR102534774B1 (ko) 디지털 교재의 진도 정보에 따라 능동적으로 온오프를 제어하는 전자칠판 및 그것의 온오프 제어방법
CN108538284A (zh) 同声翻译结果的展现方法及装置、同声翻译方法及装置
KR102446683B1 (ko) 인공지능 기반의 음성인식으로 참여자를 특정하고 회의록을 자동으로 작성하는 방법 및 그 전자칠판
JP6925469B2 (ja) スマートマイク制御サーバー及びシステム
KR20120044646A (ko) 통합 어학 학습 운용 시스템, 통합 어학 학습 단말기 및 통합 어학 학습 운용 방법
KR102446676B1 (ko) AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
Manssor et al. Controlling home devices for handicapped people via voice command techniques
CN106444472A (zh) 一种语音数码控制中间件装置及系统
WO2020087552A1 (zh) 一种点读验证装置以及点读答题验证评分方法
KR20210031141A (ko) 음성 인식을 통하여 인공지능 제어기술을 수행하는 전자 칠판
CN109285545A (zh) 信息处理方法及装置
KR102424139B1 (ko) 인공지능 기능 및 사물인터넷 기능을 융합한 보안성이 향상된 디지털 전자교탁 및 그 동작방법
KR102178175B1 (ko) 사용자 단말 및 그 제어방법
KR102468096B1 (ko) Usb 단자부를 포함하는 전자칠판 및 그 동작방법
KR20210154565A (ko) 사물인터넷 기능이 장착된 전자 교탁
KR102036279B1 (ko) 사용자의 발표 패턴을 이용한 프리젠테이션 제어 시스템 및 방법
Nair et al. PHOENIX-THE BLIND LEARNING APPLICATION
DE102019007797B4 (de) Abgleichen von Stimmbefehlen während des Testens von stimmunterstützten App-Prototypen für Sprachen mit nichtphonetischen Alphabeten
CN112927570A (zh) 交互方法、装置、计算机设备及计算机可读存储介质
CN109830239A (zh) 语音处理装置、语音识别输入系统及语音识别输入方法
KR101373206B1 (ko) 음성인식과 영상인식을 이용한 휴대단말기에서의 문서작성방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant