KR102112931B1 - Tv 제어 시스템 - Google Patents

Tv 제어 시스템 Download PDF

Info

Publication number
KR102112931B1
KR102112931B1 KR1020180140676A KR20180140676A KR102112931B1 KR 102112931 B1 KR102112931 B1 KR 102112931B1 KR 1020180140676 A KR1020180140676 A KR 1020180140676A KR 20180140676 A KR20180140676 A KR 20180140676A KR 102112931 B1 KR102112931 B1 KR 102112931B1
Authority
KR
South Korea
Prior art keywords
electronic pen
artificial intelligence
speaker
channel
command
Prior art date
Application number
KR1020180140676A
Other languages
English (en)
Inventor
김철회
Original Assignee
김철회
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김철회 filed Critical 김철회
Priority to KR1020180140676A priority Critical patent/KR102112931B1/ko
Application granted granted Critical
Publication of KR102112931B1 publication Critical patent/KR102112931B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00973—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예는, TV; TV제어요청신호에 따라 상기 TV의 채널을 변경하는 인공지능스피커; 및 인쇄물에 표시된 채널항목을 인식하여 상기 TV제어요청신호를 생성하고, 상기 TV제어요청신호를 상기 인공지능스피커로 송신하는 전자펜; 상기 인공지능스피커는, 호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 상기 전자펜을 호출하는 음성을 상기 제1 음성데이터로 변환하여 인공지능서버로 송신하고, 상기 전자펜을 호출하는 명령에 대응하는 제1 명령데이터를 상기 인공지능서버로부터 수신하고, 상기 제1 명령데이터를 수신하면 상기 전자펜을 탐색하여 무선으로 연결하며, 상기 전자펜은, 상기 채널항목에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응하는 코드를 생성하며, 상기 코드로부터 상기 TV제어요청신호를 생성하는 인쇄된 객체 인식 기반의 TV 제어 시스템을 제공한다.

Description

TV 제어 시스템{SYSTEM FOR TV CONTROL}
본 실시예는 TV 제어 기술에 관한 것이다.
사용자는 TV의 기능을 실행할 때, 흔히 리모콘(remote control)이라고 불리는 원격 제어 장치를 사용하여 TV에 직접적으로 신호를 보낸다. 그러나 최근에는 지상파·케이블·인터넷 방송이 보급되고 셋톱박스(STP, set top box)가 가정에서 흔하게 사용됨에 따라, 사용자는 셋톱박스를 거쳐서 TV의 기능을 제어한다. 사용자는 원격 제어 장치를 통해 셋톱박스로 제어신호를 보냄으로써 TV의 기능을 간접적으로 제어할 수 있다.
한편 지상파·케이블·인터넷 방송이 증가하면서 사용자가 시청할 수 있는 채널의 폭이 넓어졌다. 그 채널의 폭은 수 백개에 이를 것이다. 또한 셋톱박스가 VOD 시청이나 인터넷 접속을 가능하게 함에 따라 원격 제어 장치는 다양한 조작을 하여야만 한다. 따라서 원격 제어 장치 사용에 있어서 사용자의 편의성이 증대되어야 한다. 예를 들어, 원격 제어 장치는 수 많은 채널 중에서 사용자가 원하는 채널을 신속하게 찾을 수 있도록 조작되어야 한다. 또한 원격 제어 장치는 수 많은 프로그램 중에서 사용자가 원하는 프로그램을 신속하게 실행할 수 있도록 조작되어야 한다.
그러나 현재의 원격 제어 장치의 구성은 TV 기능의 신속한 실행을 어렵게 한다. 현재의 원격 제어 장치는 숫자 버튼 및 상하좌우이동 버튼처럼 원초적인 기능만을 수행하는 버튼들로 구성되어 있기 때문이다. 사용자는 채널의 숫자를 하나씩 눌러야 하고, VOD 재생 프로그램을 실행하기 위하여 상하좌우이동 버튼을 일일이 누름으로써 일련의 단계를 거쳐야만 한다.
게다가 사용자는 TV 채널의 상세한 내용을 모른다. 사용자가 채널 번호와 그 채널의 컨텐츠를 모두 숙지하는 것은 쉬운 일이 아니다. 그러므로 사용자는 익숙한 채널만 시청하는 경향을 가진다. 또한 사용자는 셋톱박스가 제공하는 프로그램이나 그 프로그램의 상세한 내용도 알지 못한다. 셋톱박스가 다양한 기능을 제공함에도, 사용자는 익숙한 프로그램만 사용하거나 애초에 사용하지 않는 경향을 가진다.
이와 관련하여, 사용자가 채널의 변경과 같은 TV 제어나 셋톱박스의 프로그램 실행을 더욱 용이하게 해줄 수 있는 기술의 개발이 요구된다.
이러한 배경에서, 본 실시예의 목적은, 전자펜 형태의 원격 제어 장치 및 채널안내책자 형태의 인쇄물 사이의 상호작용을 통하여 TV 원격 제어 기술을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 일 실시예는, TV; TV제어요청신호에 따라 상기 TV의 채널을 변경하는 인공지능스피커; 및 인쇄물에 표시된 채널항목을 인식하여 상기 TV제어요청신호를 생성하고, 상기 TV제어요청신호를 상기 인공지능스피커로 송신하는 전자펜; 상기 인공지능스피커는, 호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 상기 전자펜을 호출하는 음성을 상기 제1 음성데이터로 변환하여 인공지능서버로 송신하고, 상기 전자펜을 호출하는 명령에 대응하는 제1 명령데이터를 상기 인공지능서버로부터 수신하고, 상기 제1 명령데이터를 수신하면 상기 전자펜을 탐색하여 무선으로 연결하며, 상기 전자펜은, 상기 채널항목에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응하는 코드를 생성하며, 상기 코드로부터 상기 TV제어요청신호를 생성하는 인쇄된 객체 인식 기반의 TV 제어 시스템을 제공한다.
상기 시스템에서, 상기 인공지능스피커는, 상기 TV제어요청신호에 대응하는 음성을 출력할 수 있다.
상기 시스템에서, 상기 전자펜은, 상기 인쇄물에 표시된 제1 객체를 인식하여, 제1 조작을 실행하기 위한 TV제어요청신호를 상기 인공지능스피커에 송신하고, 상기 인공지능스피커는, 상기 TV제어요청신호에 따라 상기 제1 조작을 상기 TV를 통해 실행하며, 상기 TV는, 상기 제1 조작을 출력할 수 있다.
상기 시스템에서, 상기 전자펜은, 상기 인쇄물에 표시된 제2 객체를 인식하여, 프로그램을 실행하기 위한 TV제어요청신호를 상기 인공지능스피커에 송신하고, 상기 인공지능스피커는, 상기 TV제어요청신호에 따라 상기 프로그램을 상기 TV를 통해 실행하며, 상기 TV는, 상기 프로그램을 출력할 수 있다.
상기 시스템에서, 좌표코드를 수신하고, 상기 좌표코드를 조합하여 텍스트를 생성하며, 상기 텍스트에 대응하는 채널로 변경하는 명령에 대한 제2 명령데이터를 송신하는 텍스트서버를 포함하고, 상기 전자펜은, 상기 좌표코드를 상기 인공지능스피커를 경유하여 상기 텍스트서버로 송신하고, 상기 인공지능스피커는, 상기 좌표코드를 상기 텍스트서버로 송신하고, 상기 텍스트서버로부터 상기 제2 명령데이터를 수신하고, 상기 제2 명령데이터에 따라 상기 TV의 채널을 상기 텍스트에 대응하는 채널로 변경하며, 상기 텍스트는, 상기 채널항목에 대응할 수 있다.
상기 시스템에서, 상기 텍스트는, 제1 조작을 실행하기 위한 제1 객체에 대응하 고, 상기 텍스트서버는, 상기 제1 조작을 실행하는 명령에 대한 제1 조작명령데이터를 생성하여 상기 인공지능스피커로 송신하고, 상기 인공지능스피커는, 상기 제1 조작명령데이터에 따라 상기 TV를 통해 상기 제1 조작을 실행하고, 상기 TV는, 상기 제1 조작을 출력할 수 있다.
상기 시스템에서, 상기 텍스트는, 프로그램을 실행하기 위한 제2 객체에 대응하고, 상기 텍스트서버는, 상기 프로그램을 실행하는 명령에 대한 제1 프로그램명령데이터를 생성하여 상기 인공지능스피커로 송신하고, 상기 인공지능스피커는, 상기 제1 프로그램명령데이터에 따라 상기 TV를 통해 상기 프로그램을 실행하고, 상기 TV는, 상기 프로그램을 출력할 수 있다.
다른 실시예는, 셋톱박스에 연결된 TV 제어 장치에 있어서, 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하는 이미지센서; 상기 패턴이미지에 대응하는 코드를 생성하고 상기 코드로부터 상기 TV의 채널의 변경을 요청하는 TV제어요청신호를 생성하는 프로세서; 및 상기 셋톱박스로 상기 TV제어요청신호를 송신하는 원격통신부;를 포함하고, 상기 패턴이미지는, 상기 인쇄물에 표시된 채널항목에 대응하도록 인쇄되는 인쇄된 객체 인식 기반의 TV 제어 장치를 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 전자펜 형태의 원격 제어 장치가 채널안내책자 형태의 인쇄물에 위치함으로써 채널을 변경할 수 있다. 이를 통해, TV의 채널을 신속하게 변경함으로써, 사용자에게 편의성을 제공할 수 있다.
또한 본 실시예에 의하면, 전자펜 형태의 원격 제어 장치가 채널안내책자 형태의 인쇄물에 위치함으로써 TV에 대한 특정 기능 또는 특정 프로그램이 실행될 수 있다. 이를 통해, 사용자에게 편의성을 제공할 수 있다.
또한 본 실시예에 의하면, 사용자가 전자펜 형태의 원격 제어 장치를 통해 채널안내책자 형태의 인쇄물에 글씨 또는 그림을 입력함으로써 채널의 변경, TV에 대한 특정 기능의 실행 또는 특정 프로그램의 실행이 가능할 수 있다. 이를 통해, 사용자에게 편의성을 제공할 수 있다.
도 1은 기존에 TV가 원격으로 제어되는 상황을 나타내는 예시도이다.
도 2는 일 실시예에 따른 TV가 원격으로 제어되는 상황을 나타내는 예시도이다.
도 3은 일 실시예에 따른 TV 원격 제어 시스템의 구성을 나타내는 도면이다.
도 4는 일 실시예에 따른 인쇄물의 예시도이다.
도 5는 일 실시예에 따른 인쇄물의 예시도이다.
도 6은 일 실시예에 따른 TV 원격 제어 시스템의 동작에 대한 흐름도이다.
도 7은 다른 실시예에 따른 TV 원격 제어 시스템의 구성을 나타내는 도면이다.
도 8은 다른 실시예에 따른 TV 원격 제어 시스템에 적용될 수 있는 인쇄물의 예시도이다.
도 9는 다른 실시예에 따른 인쇄물의 예시도이다.
도 10은 다른 실시예에 따른 TV 원격 제어 시스템의 동작에 대한 흐름도이다.
도 11은 또 다른 실시예에 따른 TV 원격 제어 시스템의 구성을 나타내는 도면이다.
도 12는 일 실시예에 따른 인공지능스피커의 구성도이다.
도 13은 일 실시예에 따른 전자펜의 구성도이다.
도 14는 일 실시예에 따른 TV 원격 제어 시스템에서 컨텐츠를 출력하는 방법의 흐름도이다.
도 15는 또 다른 실시예에 따른 TV 원격 제어 시스템의 동작에 대한 흐름도이다.
도 16은 일 실시예에 따른 전자펜의 조작부를 나타내는 도면이다.
도 17은 또 다른 실시예에 따른 TV 원격 제어 시스템에서 프로그램을 실행시키는 것을 나타내는 도면이다.
도 18은 또 다른 실시예에 따른 TV 원격 제어 시스템에서 회화평가가 이루어지는 과정을 나타내는 도면이다.
도 19는 또 다른 실시예에 따른 원격 제어 장치의 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 기존에 TV가 원격으로 제어되는 상황을 나타내는 예시도이다.
도 1을 참조하면, 사용자(10)는 셋톱박스(50)를 통해 TV(television)(40)를 원격으로 제어할 수 있다.
사용자(10)는 원격 제어 장치(160)를 통해 셋톱박스(50)에 신호를 송신함으로써 셋톱박스(50)를 제어할 수 있다. 구체적으로, 셋톱박스(50)가 제1 기능을 수행하도록 하기 위하여, 사용자(10)는 상기 제1 기능에 대응하는 원격 제어 장치(160)상의 제1 버튼을 누를 수 있다. 원격 제어 장치(160)는 셋톱박스(50)가 상기 제1 기능을 수행하는 것을 요청하는 신호를 셋톱박스(50)로 송신할 수 있다.
셋톱박스(50)는 상기 송신된 신호에 대응한 기능을 TV(40)를 통해 수행할 수 있다. 구체적으로, 셋톱박스(50)는 상기 제1 기능을 실행할 수 있다. 셋톱박스(50)는 상기 제1 기능을 실행하고 상기 제1 기능이 TV(40)를 통해 출력되도록 제1 TV출력신호를 생성할 수 있다. 셋톱박스(50)는 상기 제1 TV출력신호를 TV(40)로 송신할 수 있다. 셋톱박스(50)가 상기 제1 TV출력신호를 TV(40)로 송신하면, TV(40)는 상기 제1 기능을 출력할 수 있다.
TV(40)가 셋톱박스(50)로부터 TV출력신호를 수신하면 상기 TV출력신호에 따라 셋톱박스(50)가 실행한 기능의 결과를 출력할 수 있다. 구체적으로, TV(40)는 셋톱박스(50)로부터 상기 제1 TV출력신호를 수신하고 상기 제1 TV출력신호에 대응하여 상기 제1 기능의 결과를 출력할 수 있다. 예를 들어, 사용자(10)가 TV(40)의 음량을 조절하거나 채널을 변경하기를 원한다면, 상기 제1 기능, 상기 제1 버튼 및 상기 제1 TV출력신호는 음량을 조절하거나 채널을 변경하는 것일 수 있다. 이에 따라 셋톱박스(50)는 음량을 조절하거나 채널을 변경하고, TV(40)는 조절된 음량을 출력하거나 변경된 채널을 표시할 수 있다.
도 2는 일 실시예에 따른 TV가 원격으로 제어되는 상황을 나타내는 예시도이다.
도 2를 참조하면, 사용자(10)는 전자펜(120)을 통해 TV(40)를 원격으로 제어할 수 있다. 도 1과 달리, 사용자(10)는 원격 제어 장치(160)가 아닌 전자펜(120)을 통해 TV(40)를 원격으로 제어할 수 있고, TV(40)에 보내는 TV출력신호는 셋톱박스(50)가 아닌 인공지능스피커(110)에 의하여 생성되고 송신될 수 있다. 여기서 인공지능스피커(110)는 셋톱박스(50)의 기능을 포함할 수 있다.
사용자(10)는 전자펜(120)을 통해 인공지능스피커(110)에 신호를 송신함으로써 인공지능스피커(110)를 제어할 수 있다. 구체적으로, 인공지능스피커(110)가 제1 기능을 수행하도록 하기 위하여, 사용자(10)는 전자펜(120)을 인쇄물(20)의 제1 지점에 가져다 놓을 수 있다. 여기서 인쇄물(20)은 채널안내책자(21)일 수 있다. 전자펜(120)은 인공지능스피커(110)가 상기 제1 기능을 수행하는 것을 요청하는 신호를 인공지능스피커(110)로 송신할 수 있다.
인공지능스피커(110)는 상기 송신된 신호에 대응하는 기능을 TV(40)를 통해 수행할 수 있다. 구체적으로, 인공지능스피커(110)는 상기 제1 기능을 실행할 수 있다. 인공지능스피커(110)는 상기 제1 기능을 실행하고 상기 제1 기능이 TV(40)를 통해 출력되도록 제1 TV출력신호를 생성할 수 있다. 인공지능스피커(110)는 상기 제1 TV출력신호를 TV(40)로 송신할 수 있다. 인공지능스피커(110)가 상기 제1 TV출력신호를 TV(40)로 송신하면, TV(40)는 상기 실행된 제1 기능을 출력할 수 있다.
TV(40)가 인공지능스피커(110)로부터 TV출력신호를 수신하면 상기 TV출력신호에 따라 인공지능스피커(110)가 실행한 기능의 결과를 출력할 수 있다. 구체적으로, TV(40)는 인공지능스피커(110)로부터 상기 제1 TV출력신호를 수신하고 상기 제1 TV출력신호에 대응하는 상기 제1 기능을 출력할 수 있다. 예를 들어, 사용자(10)가 TV(40)의 음량을 조절하거나 채널을 변경하기를 원한다면, 상기 제1 지점은 음량을 조절하거나 채널을 변경하기 위한 채널안내책자의 특정 위치이고, 상기 제1 기능 및 상기 제1 TV출력신호는 음량을 조절하거나 채널을 변경하는 것일 수 있다. 이에 따라 인공지능스피커(110)는 음량을 조절하거나 채널을 변경하고, TV(40)는 조절된 음량을 출력하거나 변경된 채널을 표시할 수 있다.
도 3은 일 실시예에 따른 TV 원격 제어 시스템의 구성을 나타내는 도면이다.
도 3을 참조하면, TV 원격 제어 시스템(100)은 인공지능스피커(110), 전자펜(120), 인공지능서버(130) 및 TV(40) 등을 포함할 수 있다.
인공지능스피커(110)는 사용자(10)의 음성을 음성데이터로 변환하여 인공지능서버(130)로 송신할 수 있다. 그리고, 인공지능서버(130)는 음성데이터에 포함된 음성내용을 인식하고, 음성내용에 대응되는 기능을 수행할 수 있다.
예를 들어, 인공지능서버(130)는 음성데이터에 포함된 음성명령을 인식하고, 음성명령에 대응하는 기능을 수행할 수 있다. 사용자(10)가 "라디오를 연결해 줘"라는 음성을 인공지능스피커(110)로 발화하면, 인공지능스피커(110)는 "라디오를 연결해 줘"라는 음성을 음성데이터-음성데이터는 아날로그신호인 음성을 디지털신호로 변환한 것임-로 변환하고, 상기 변환된 음성데이터를 인공지능서버(130)로 송신할 수 있다. 인공지능서버(130)는 음성데이터에서 음성명령을 추출 혹은 분석하는 기능을 포함할 수 있다. 인공지능서버(130)는 학습된 신경지능망-예를 들어, 뉴럴네트워크 등-을 포함하고 있으면서, 신경지능망에 음성데이터를 입력하고 그 출력으로서 음성명령을 획득할 수 있다. 혹은 인공지능서버(130)는 음성데이터를 텍스트로 변환하는 기능을 포함하고 있고, 텍스트를 룰(rule)기반의 분류 프로그램에 대입시켜 텍스트가 지시하는 음성명령을 확인할 수 있다. 그리고, 인공지능서버(130)는 확인된 음성명령에 대응하는 기능-예를 들어, 라디오 서버에서 출력되는 음성데이터를 스트리밍형태로 인공지능스피커(110)로 송신하는 기능-을 수행할 수 있다.
사용자(10)의 음성에 대응되는 음성데이터에서 사용자(10)가 발화한 음성의 음성내용-예를 들어, 음성명령-을 인식하기 위해서는 고용량의 저장장치 및 고성능의 계산장치가 필요하다. 이에 따라, 소형 크기를 가지는 인공지능스피커(110)가 사용자(10)의 음성에서 바로 음성내용을 인식하는 기능을 내장하기는 어렵다. 이러한 난제에 따라, 일반적으로, 인공지능스피커(110)는 사용자(10)의 음성을 음성데이터로 변환하는 기능을 수행하고, 음성데이터로부터 음성내용을 인식하는 기능은 인공지능서버(130)에 의해 수행될 수 있다.
한편, 인공지능스피커(110)는 사용자(10)가 발화한 음성을 상시적으로 음성데이터로 변환하여 인공지능서버(130)로 송신하지는 않고 특정 상태에서만 사용자(10)의 음성에 대응되는 음성데이터를 인공지능서버(130)로 송신할 수 있다. 그렇지 않은 경우, 인공지능서버(130)가 사용자(10)의 일반적인 대화 내용에 반응하는 문제가 발생할 수 있다.
인공지능스피커(110)는 호출대기상태를 유지하고 있다가 호출음성이 인식되면 명령대기상태로 진입할 수 있다. 호출대기상태에서 사용자(10)의 음성에 대응되는 음성데이터를 인공지능서버(130)로 송신하지 않기 때문에 인공지능스피커(110)는 사용자(10)의 음성에 대응되는 음성데이터가 호출음성에 대응되는지 자체적으로 판단할 수 있다. 후술하는 내용과 같이 인공지능스피커(110)는 내부에 트리거링모듈(triggering module)을 포함하고 있으면서 트리거링모듈을 통해 사용자(10)의 호출음성을 인식하고, 호출음성이 인식될 때, 명령대기상태로 진입할 수 있다.
인공지능스피커(110)는 명령대기상태에서 인식되는 음성을 음성데이터로 변환하여 인공지능서버(130)로 송신할 수 있다. 명령대기상태에서 인식되는 음성을 이하에서는 제1 음성데이터로 명명한다.
인공지능서버(130)는 제1 음성데이터를 분석하여 제1 음성데이터에 포함된 음성명령을 인식할 수 있다. 인공지능서버(130)는 STT(speach to text)엔진을 포함하고 있으면서, 제1 음성데이터를 텍스트로 변환하고 텍스트를 신경지능망 등의 분석모듈에 입력하여 그 출력으로서 음성명령을 인식할 수 있다. 그리고, 인공지능서버(130)는 음성명령에 대응되는 명령데이터를 명령수행장치로 송신할 수 있다. 예를 들어, 인공지능서버(130)는 "전등 꺼 줘"라는 음성명령을 인식하고 전등을 턴오프하는 명령데이터를 전등제어장치로 송신할 수 있다.
인공지능서버(130)는 제1 음성데이터에 포함된 음성명령 중 전자펜(120)을 호출하는 전자펜호출명령을 인식하면 전자펜호출명령에 대응하는 제1 명령데이터를 인공지능스피커(110)로 송신할 수 있다. 예를 들어, 사용자(10)가 "세이펜 연결해 줘"라는 음성명령을 발화하면, 인공지능스피커(110)는 상기 음성명령에 대응하는 제1 음성데이터를 인공지능서버(130)로 송신하고, 인공지능서버(130)는 상기 제1 음성데이터에서 상기 전자펜호출명령을 인식하고 상기 전자펜호출명령에 대응하는 제1 명령데이터를 인공지능스피커(110)로 송신할 수 있다.
인공지능스피커(110)는 제1 명령데이터를 수신하면 무선연결신호를 탐색하여 전자펜(120)과 무선으로 연결할 수 있다. 예를 들어, 인공지능스피커(110)와 전자펜(120)은 블루투스, 와이파이 등의 무선통신모듈을 포함하고 있으면서, 상기 무선통신모듈을 통해 무선연결될 수 있다.
인공지능스피커(110)는 제1 명령데이터를 통해 전자펜(120)과 무선연결되면 전자펜서비스상태로 진입할 수 있다.
인공지능스피커(110)에서 전자펜서비스상태는 전자펜(120)으로부터 수신되는 각종 코드를 처리할 수 있는 상태로서, 인공지능스피커(110)의 음성을 통한 사용자 입력기능에 더해 전자펜(120)을 통한 사용자 입력기능이 부가된 상태로 이해될 수 있다.
전자펜(120)은 OID(object identifier) 모듈을 포함하고 있으면서, OID모듈을 통해 패턴이미지를 촬영할 수 있다. 상기 패턴이미지는 인쇄물(20)에 시각적으로 인식되지 않는 크기로 인쇄된 이미지로서 OID모듈이 인식할 수 있는 패턴으로 구성된다. 인쇄물(20)에는 시각적으로 인식될 수 있는 크기의 시각이미지가 인쇄될 수 있다. 시각이미지로서 예를 들어, 글자, 도형, 사진 등이 인쇄물(20)에 인쇄될 수 있다. 이에 반해, 패턴이미지는 시각적으로 인식되지 않는 크기로 시각이미지와 중첩되도록 인쇄될 수 있다. 따라서, 사용자(10)는 인쇄물(20)에 인쇄된 시각이미지는 인식할 수 있으나 패턴이미지는 인식할 수 없게 된다. 반대로, 전자펜(120)은 촬영영역이 미세하기 때문에, 패턴이미지를 촬영하여 그에 대응하는 코드를 인식할 수 있으나, 넓은 영역에 인쇄되어 있는 시각이미지는 인식하지 못할 수 있다.
전자펜(120)은 OID모듈을 통해 패턴이미지를 촬영하고, 상기 패턴이미지에 대응하는 코드를 생성할 수 있다. 서로 다른 패턴을 가지는 복수의 패턴이미지들이 미리 정의될 수 있고, 전자펜(120)은 각각의 패턴이미지에 대응하는 코드들을 저장하고 있을 수 있다. 그리고, 전자펜(120)은 특정 패턴이미지가 촬영되면 해당 패턴이미지에 대응하는 코드를 생성할 수 있다.
전자펜(120)은 상기 생성된 코드를 변환하여 TV(40) 제어를 요청하는 신호를 생성할 수 있다. 상기 TV제어요청신호는 상기 코드마다 상이할 수 있다. 전자펜(120)이 각각의 패턴이미지에 대응하는 코드를 생성하면 상기 코드에 대응하는 TV제어요청신호를 생성할 수 있다.
예를 들어, 전자펜(120)은 제1 패턴이미지를 인식하고 상기 제1 패턴이미지에 대응하는 제1 코드를 생성할 수 있다. 그리고 전자펜(120)은 상기 제1 코드에 대응하는 제1 TV제어요청신호를 생성할 수 있다. 사용자(10)는 전자펜(120)이 패턴이미지를 인식하게 함으로써, 원하는 TV제어요청신호를 전자펜(120)을 통해서 생성할 수 있다. 사용자(10)가 TV(40)의 채널을 변경하고자 한다면, 사용자(10)는 채널 변경을 나타내는 제1 패턴이미지에 전자펜(120)을 위치시키고 전자펜(120)은 상기 제1 패턴이미지에 대응하는 제1 코드를 생성하며 인공지능스피커(110)가 TV(40)의 채널을 변경하도록 하는 제1 TV제어요청신호를 생성할 수 있다.
전자펜(120)은 TV제어요청신호를 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)가 상기 TV제어요청신호를 수신하면 상기 TV제어요청신호에 따라 요청된 기능을 실행하고 TV(40)를 통해 그 결과를 출력할 수 있다. 인공지능스피커(110)는 실행된 기능의 결과를 포함하는 TV출력신호를 생성하여 TV(40)로 송신할 수 있다. 예를 들어, 상기 제1 TV제어요청신호가 채널의 변경을 요청하는 것이라면, 인공지능스피커(110)는 상기 제1 TV제어요청신호에 따라 TV(40)의 채널을 변경하고 TV(40)가 변경된 채널을 표시하도록 하는 TV출력신호를 생성하여 TV(40)로 송신할 수 있다.
인공지능스피커(110)와 전자펜(120)은 무선통신을 통해 연결될 수 있다. 인공지능스피커(110)와 TV(40)는 유선통신 또는 무선통신을 통해 연결될 수 있다. 인공지능스피커(110)와 인공지능서버(130)는 네트워크(30)를 통해 연결될 수 있다. 인공지능스피커(110) 및 인공지능서버(130)는 IP(internet protocol)주소와 같은 네트워크식별아이디를 가지고 있으면서 네트워크식별아이디를 통해 네트워크(30)에 접속되어 있을 수 있다. 인공지능스피커(110) 및 인공지능서버(130)는 네트워크(30)를 통해 복수의 장치들과 연결되어 있을 수 있다. 예를 들어, 인공지능스피커(110)는 네트워크(30)를 통해 인공지능서버(130)와 정보를 주고받을 수 있다. 이에 반해, 전자펜(120)은 근접지에 위치하는 하나의 장치와 무선연결될 수 있다. 예를 들어, 전자펜(120)은 블루투스를 통해 인공지능스피커(110)와 연결될 수 있다.
인공지능스피커(110)는 TV제어요청신호 및/또는 TV출력신호에 대응하는 음성을 출력할 수 있다. 인공지능스피커(110)는 각각의 TV제어요청신호 및/또는 TV출력신호에 대응하는 TV제어음성을 미리 저장하고 특정한 TV제어요청신호 및/또는 특정한 TV출력신호를 생성할 때마다 상기 TV제어음성을 독출하여 내장스피커를 통해 출력할 수 있다. 예를 들어, TV제어요청신호 및 TV출력신호가 TV(40)의 채널을 9번에서 11번으로 변경하는 것이면, 인공지능스피커(110)는 변경되어야 할 최종 채널 번호인 ‘11’을 내장스피커를 통해 음성으로 출력할 수 있다.
TV(40)는 인공지능스피커(110)의 제어에 따라 동작할 수 있다. 구체적으로, TV(40)는 인공지능스피커(110)가 실행한 기능의 결과를 출력할 수 있다. 인공지능스피커(110)가 TV(40)로 TV출력신호를 송신하면, TV(40)는 상기 TV출력신호에 따라 특정 기능의 결과를 출력할 수 있다. 예를 들어, 상기 TV출력신호가 변경된 채널을 표시하는 것에 대한 것이라면, TV(40)는 상기 TV출력신호에 따라 기존의 채널 대신에 다른 채널을 표시할 수 있다.
도 4는 일 실시예에 따른 인쇄물의 예시도이다.
도 4를 참조하면, 인쇄물(20)의 내용 및 전자펜(120)과 인쇄물(20)의 상호작용이 도시된다.
인쇄물(20)은 채널안내책자(21)를 포함할 수 있다. 인쇄물(20)은 그 내용 즉, 콘텐츠에 따라 다양하게 명명될 수 있다. 본 발명에서 인쇄물(20)은 채널이 표시되는 채널항목(21a, 21b, 21c), TV(40)의 기능을 조절하는 TV기능항목(21d, 21e) 및/또는 채널이 전자펜(120)에 의하여 직접 입력되는 영역인 입력항목(21f)을 포함할 수 있다. 채널항목(21a, 21b, 21c)은 채널장르(21a), 채널번호(21b), 및 채널명(21c)을 포함할 수 있다. TV기능항목(21d, 21e)은 TV기능도구(21d) 및 TV기능명(21e)을 포함할 수 있다. 따라서 인쇄물(20)은 채널안내책자(21)로 명명될 수 있다.
인쇄물(20)의 다른 형태인 채널안내책자(21)는 인쇄물(20)과 동일한 특성을 가질 수 있다. 채널안내책자(21)는 시각적으로 인식될 수 있는 크기의 시각이미지가 인쇄될 수 있다. 시각이미지로서 예를 들어, 글자, 도형, 사진 등이 채널안내책자(21)에 인쇄될 수 있다. 채널안내책자(21)의 시각이미지는 채널항목(21a, 21b, 21c), TV기능항목(21d, 21e) 및 입력항목(21f)을 포함할 수 있다. 구체적으로 채널안내책자(21)의 시각이미지는 채널장르(21a), 채널번호(21b), 채널명(21c), TV기능도구(21d), TV기능명(21e) 및 입력항목(21f)을 포함할 수 있다.
이에 반해, 패턴이미지는 시각적으로 인식되지 않는 크기로 시각이미지와 중첩되도록 인쇄될 수 있다. 따라서 사용자(10)는 채널안내책자(21)에 인쇄된 시각이미지를 인식할 수 있으나 패턴이미지를 인식할 수 없게 된다. 반대로, 전자펜(120)은 촬영영역이 미세하기 때문에, 패턴이미지를 촬영하여 그에 대응되는 코드를 인식할 수 있으나, 넓은 영역에 인쇄되어 있는 시각이미지는 인식하지 못할 수 있다.
예를 들어 패턴이미지는 채널항목(21a, 21b, 21c), TV기능항목(21d, 21e) 및 입력항목(21f)에 중첩되어 인쇄될 수 있다. 전자펜(120)은 채널항목(21a, 21b, 21c), TV기능항목(21d, 21e) 및 입력항목(21f) 중 어느 하나에 중첩되어 인쇄된 패턴이미지를 촬영하고 상기 촬영된 패턴이미지에 대응하는 코드를 인식할 수 있다. 따라서 사용자(10)는 전자펜(120)을 각 항목에 위치시키는 것만으로 각 항목에 대응하는 TV(40)의 기능을 요청할 수 있다.
전자펜(120)과 인쇄물(20)은 다음과 같이 상호작용할 수 있다. 사용자(10)는 TV(40)의 채널을 변경하고 싶을 때, 채널안내책자(21)의 채널항목(21a, 21b, 21c)에 전자펜(120)을 위치시킬 수 있다. 채널항목(21a, 21b, 21c)은 중첩적으로 패턴이미지를 포함하고 상기 패턴이미지는 대응하는 특정 코드를 포함할 수 있다. 사용자(10)는 전자펜(120)을 채널장르(21a), 채널번호(21b) 및 채널명(21c) 중 어느 하나에 위치시킬 수 있다. 전자펜(120)이 채널번호(21b)에 위치하면 채널번호(21b)에 중첩되어 인쇄된 패턴이미지를 촬영하고 상기 패턴이미지에 대응하는 코드를 생성하며, 상기 코드로부터 채널의 변경을 요청하는 TV제어요청신호를 생성할 수 있다. 전자펜(120)은 TV제어요청신호를 인공지능스피커(110)로 송신할 수 있다.
예를 들어, 사용자(10)가 지상파 중 KBS1의 방송을 시청한다고 가정하자. 사용자(10)는 전자펜(120)을 ‘9’로 표시된 채널번호(21b) 또는 ‘KBS1’로 표시된 채널명(21c)에 위치시킬 수 있다. 만약 사용자(10)가 전자펜(120)을 ‘KBS1’로 표시된 채널명(21c)에 위치시킨다면, 전자펜(120)은 ‘KBS1’로 표시된 채널명(21c)에 중첩된 패턴이미지를 인식하고, 코드를 생성하며, 상기 코드로부터 ‘KBS1’방송을 보여주는 채널로의 변경을 요청하는 TV제어요청신호를 생성할 수 있다.
또한 전자펜(120)이 채널장르(21a)에 위치한다면, 채널장르(21a)에 포함된 여러 채널 중 가장 상위에 표시된 채널로 변경을 요청하는 TV제어요청신호를 생성할 수 있다. 예를 들어, 사용자(10)가 전자펜(120)을 ‘지상파’라는 채널장르(21a)에 위치시킨다면, 전자펜(120)은 ‘지상파’라는 채널장르(21a)에 중첩된 패턴이미지를 인식하고, 이에 따른 코드 및 TV제어요청신호를 생성할 수 있다. 여기서 상기 코드 및 TV제어요청신호는 ‘지상파’라는 채널장르(21a) 중에서 가장 상위에 위치한 채널항목인‘KBS1’방송을 보여주는 채널로의 변경에 대한 것일 수 있다.
도 5는 일 실시예에 따른 인쇄물의 예시도이다.
도 5를 참조하면, 도 4와 달리, 전자펜(120)은 인쇄물(20)과 다음과 같이 상호작용할 수 있다. 사용자(10)는 TV(40)의 기능을 변경하고 싶을 때, 채널안내책자(21)의 TV기능항목(21d, 21e)에 전자펜(120)을 위치시킬 수 있다. TV기능항목(21d, 21e)은 중첩적으로 패턴이미지를 포함하고 상기 패턴이미지는 대응하는 특정 코드를 포함할 수 있다. 사용자(10)는 전자펜(120)을 TV기능도구(21d) 및 TV기능명(21e) 중 어느 하나에 위치시킬 수 있다. 전자펜(120)이 TV기능도구(21d)에 위치하면 TV기능도구(21d)에 중첩되어 인쇄된 패턴이미지를 촬영하고 상기 패턴이미지에 대응하는 코드를 생성하며, 상기 코드로부터 TV기능도구(21d)에 대응하는 기능의 실행을 요청하는 TV제어요청신호를 생성할 수 있다. 전자펜(120)은 TV제어요청신호를 인공지능스피커(110)로 송신할 수 있다.
예를 들어, 사용자(10)가 TV(40)의 채널을 변경한다고 가정하자. 사용자(10)는 전자펜(120)을 ‘+’로 표시된 TV기능도구(21d) 또는 ‘-’로 표시된 TV기능도구(21d)에 위치시킬 수 있다. 만약 사용자(10)가 전자펜(120)을 ‘+’로 표시된 TV기능도구(21d)에 위치시킨다면, 전자펜(120)은 ‘+’로 표시된 TV기능도구(21d)에 중첩된 패턴이미지를 인식하고, 코드를 생성하며, 상기 코드로부터 증가된 채널로 변경을 요청하는 TV제어요청신호를 생성할 수 있다. 가령, 현재 채널이 9번이라면 11번으로 변경될 수 있다.
또한 전자펜(120)이 TV기능명(21e)에 위치한다면, TV기능명(21e)에 대응하는 TV기능도구(21d)의 기능을 요청하는 TV제어요청신호를 생성할 수 있다. 예를 들어, 사용자(10)가 전자펜(120)을 ‘채널업’으로 표시된 TV기능명(21e)에 위치시킨다면, 전자펜(120)은 ‘채널업’으로 표시된 TV기능명(21e)에 중첩된 패턴이미지를 인식하고, 코드를 생성하며, 상기 코드로부터 증가된 채널로 변경을 요청하는 TV제어요청신호를 생성할 수 있다. 가령, 현재 채널이 9번이라면 11번으로 변경될 수 있다. 여기서 ‘채널업’으로 표시된 TV기능명(21e)은 ‘+’로 표시된 TV기능도구(21d)와 동일한 패턴이미지를 포함할 수 있다. 전자펜(120)이 생성하는 양 자의 코드도 동일할 수 있다. 사용자(10)는 전자펜(120)을 ‘+’로 표시된 TV기능도구(21d) 또는‘채널업’으로 표시된 TV기능명(21e)에 위치함으로써, 채널의 증가를 인공지능스피커(110)에 요청할 수 있다.
상술한 바와 같이, 전자펜(120)은 인쇄물(20)에 표시된 제1 객체를 인식하여 제1 조작을 실행하기 위한 TV제어요청신호를 생성하여 인공지능스피커(110)로 송신할 수 있다. 상기 제1 객체는 TV기능도구(21d) 및/또는 TV기능명(21e)을 포함할 수 있다. 인공지능스피커(110)는 상기 제1 조작을 실행하고 상기 제1 조작의 실행 결과를 출력하는 TV출력신호를 TV(40)로 송신할 수 있다. TV(40)는 상기 제1 조작 즉, 상기 제1 조작의 실행 결과를 출력할 수 있다.
예를 들어, 전자펜(120)이 ‘+’로 표시된 TV기능도구(21d) 또는 ‘채널업’으로 표시된 TV기능명(21e)을 상기 제1 객체로서 인식한다면, 상기 TV제어요청신호 및 상기 제1 조작은 채널을 증가시키는 것일 수 있다.
한편 사용자(10)는 전자펜(120)으로 채널안내책자(21)의 특정 지점을 선택함으로써 프로그램을 실행시킬 수 있다. 구체적으로, 전자펜(120)은 프로그램을 실행시키는 제2 객체를 인식하고, 상기 프로그램의 실행을 요청하는 TV제어요청신호를 생성하여 인공지능스피커(110)로 송신할 수 있다. 상기 제2 객체는 프로그램도구(도면 미도시) 및/또는 프로그램명(도면 미도시)을 포함할 수 있다. 인공지능스피커(110)는 상기 프로그램을 실행하고 상기 프로그램의 실행 결과를 출력하는 TV출력신호를 TV(40)로 송신할 수 있다. TV(40)는 상기 프로그램의 실행 결과를 출력할 수 있다.
도 6은 일 실시예에 따른 TV 원격 제어 시스템의 동작에 대한 흐름도이다.
도 6을 참조하면, 사용자(10)가 전자펜(120)을 통하여 TV(40)를 제어하는 동작이 도시된다.
인공지능스피커(110)는 내장된 트리거링모듈을 이용하여 자체적으로 호출음성을 인식하고 트리거링될 수 있다(S602).
그리고, 인공지능스피커(110)는 사용자의 발화에 따른 음성명령을 입력받고(S604), 음성명령을 음성데이터로 변환한 후 인공지능서버(130)로 송신할 수 있다(S606).
인공지능서버(130)는 음성데이터를 분석하여 음성명령을 인식하고 음성명령에 대응하는 명령데이터를 명령수행장치로 송신할 수 있는데, 음성명령이 전자펜호출명령임을 인식하게 되면, 전자펜호출명령에 대응하는 제1 명령데이터를 인공지능스피커(110)로 송신할 수 있다(S608).
인공지능스피커(110)가 전자펜호출명령에 대응되는 제1 명령데이터를 수신하면, 인공지능스피커(110)가 명령수행장치로서 기능하게 되는데, 인공지능스피커(110)는 명령수행장치로서 무선연결신호를 탐색하여 전자펜(120)과의 무선연결을 시도할 수 있다(S610).
무선연결신호를 통해 인공지능스피커(110)와 하나의 전자펜(120)이 무선연결될 수 있다(S612). 그리고, 전자펜(120)은 채널안내책자(21)에 인쇄된 채널항목(21a, 21b, 21c)의 패턴이미지를 촬영하고(S614), 상기 패턴이미지에 대한 코드를 생성하며, 상기 코드에 대한 TV제어요청신호를 생성할 수 있다(S616). 전자펜(120)은 채널항목(21a, 21b, 21c)의 패턴이미지 대신에 TV기능항목(21d, 21e)의 패턴이미지를 촬영하고, 상기 패턴이미지에 대한 코드를 생성하며, 상기 코드에 대한 TV제어요청신호를 생성할 수 있다.
전자펜(120)은 인공지능스피커(110)로 상기 TV제어요청신호를 송신할 수 있다(S618).
인공지능스피커(110)는 TV제어요청신호에 따라서 기능을 실행하고, 그 결과를 TV(40)를 통해 출력할 수 있다. TV제어요청신호가 채널을 변경하는 것이라면, 인공지능스피커(110)는 TV(40)의 채널을 변경할 수 있다(S620).
인공지능스피커(110)는 TV출력신호를 생성하고 TV(40)로 송신함으로써, TV제어요청신호에 따라서 기능을 실행한 결과를 TV(40)에 출력할 수 있다. TV제어요청신호가 채널을 변경하는 것이라면, 인공지능스피커(110)는 변경된 채널을 출력하라는 TV출력신호를 생성하여 TV(40)로 송신할 수 있다(S622).
전자펜(120)이 채널항목(21a, 21b, 21c)의 패턴이미지 대신에 TV기능항목(21d, 21e)의 패턴이미지를 촬영하였다면, 그에 따른 TV제어요청신호는 채널을 증가하는 방향으로 변경하는 것일 수 있다. 인공지능스피커(110)는 증가된 채널을 출력하라는 TV출력신호를 생성하여 TV(40)로 송신할 수 있다.
TV(40)는 TV출력신호에 따라서 상기 변경된 채널을 출력할 수 있다(S624). 경우에 따라 TV(40)는 TV출력신호에 따라서 증가된 채널을 출력할 수 있다.
도 7은 다른 실시예에 따른 TV 원격 제어 시스템의 구성을 나타내는 도면이다.
도 7을 참조하면, TV 원격 제어 시스템(100)은 인공지능스피커(110), 전자펜(120), 및 인공지능서버(130)외에 텍스트서버(140) 등을 더 포함할 수 있다.
인쇄물(20)에는 사용자가 시각적으로 인식할 수 없는 크기로 인쇄된 패턴이미지가 포함될 수 있는데, 전자펜(120)은 상기 패턴이미지를 촬영하고 상기 패턴이미지에 대응되는 코드를 생성할 수 있다.
다른 실시예에서 인쇄물(20)에 인쇄된 패턴이미지는 좌표코드에 대응되는 패턴이미지일 수 있다. 전자펜(120)은 이러한 패턴이미지를 촬영하고 좌표코드를 생성하여 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)는 상기 좌표코드를 텍스트서버(140)로 송신할 수 있다. 인쇄물(20)의 다른 형태인 채널안내책자(21)도 상기 좌표코드에 대응하는 패턴이미지를 포함할 수 있다.
도 3을 참조하여 설명한 것과 같이, 호출음성이 인식되면, 인공지능스피커(110)는 명령대기상태로 진입하고, 명령대기상태에서 인식되는 음성을 제1 음성데이터로 변환하여 인공지능서버(130)로 송신할 수 있다.
인공지능서버(130)는 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는데, 음성명령 중에서 전자펜을 호출하는 전자펜호출명령을 인식하면 이에 대응되는 제1 명령데이터를 인공지능스피커(110)로 송신할 수 있다. 이 때 상기 명령수행장치는 인공지능스피커(110)일 수 있다.
인공지능스피커(110)는 제1 명령데이터를 수신하면 무선연결신호를 탐색하여 전자펜(120)과 무선연결하고 전자펜서비스상태로 진입할 수 있다.
인공지능스피커(110)는 상기 전자펜서비스상태에서 전자펜(120)으로부터 좌표코드를 수신하고 좌표코드를 텍스트서버(140)로 송신할 수 있다.
전자펜(120)는 복수의 좌표코드를 연속하여 인공지능스피커(110)로 송신할 수 있고, 인공지능스피커(110)는 상기 복수의 좌표코드를 텍스트서버(140)로 송신할 수 있다.
텍스트서버(140)는 상기 복수의 좌표코드를 수신하고, 상기 복수의 좌표코드를 조합하여 텍스트를 생성할 수 있다. 텍스트서버(140)는 상기 텍스트를 변환한 음성데이터 및/또는 상기 텍스트에 대응되는 영상데이터를 인공지능스피커(110)로 송신하고, 인공지능스피커(110)는 내장스피커를 이용하여 음성데이터를 출력할 수 있고, 상기 텍스트를 미리 선택된 다른 서버로 송신할 수 있다.
여기서, 다른 서버는 날짜 혹은 시간별로 메모를 기록하고, 전자펜(120) 혹은 인공지능스피커(110)의 고유번호에 대응되는 저장공간에 텍스트를 날짜 혹은 시간별로 저장할 수 있다.
또한 텍스트서버(140)는 상기 복수의 좌표코드로부터 조합된 상기 텍스트를 TV(40) 제어를 위한 명령으로 변환할 수 있다. 상기 TV(40) 제어를 위한 명령은 제2 명령데이터로 명명될 수 있다. 상기 제2 명령데이터는 특정 채널로의 변경, 채널의 증감 또는 소리의 증감 등을 포함할 수 있다.
텍스트서버(140)는 인공지능스피커(110)로 상기 제2 명령데이터를 송신할 수 있다. 인공지능스피커(110)가 상기 제2 명령데이터를 수신하면, 인공지능스피커(110)는 상기 제2 명령데이터에 따라서 명령을 수행할 수 있다. 예를 들어 상기 제2 명령데이터가 특정 채널로의 변경에 대한 것이라면, 인공지능스피커(110)는 상기 제2 명령데이터에 따라서 TV(40)의 채널을 변경할 수 있다.
도 8은 다른 실시예에 따른 TV 원격 제어 시스템에 적용될 수 있는 인쇄물의 예시도이다.
도 8을 참조하면, 인쇄물(20)에는 시각적으로 인식될 수 있는 크기의 격자들이 인쇄되고, 시각적으로 인식될 수 없는 크기의 패턴이미지가 위치별로 서로 다른 패턴으로 인쇄될 수 있다.
전자펜(120)에는 잉크와 같은 쓰기 수단이 포함되어 있고, 사용자(10)가 전자펜(120)을 인쇄물(20)에 접촉할 때, 인쇄물(20)에 잉크와 같은 쓰기 수단이 뭍어 나올 수 있다.
사용자(10)는 전자펜(120)의 쓰기 수단을 이용하여 인쇄물(20)에 글씨 혹은 그림을 그릴 수 있다. 전자펜(120)은 인쇄물(20)에 잉크와 같은 쓰기 수단을 뭍이면서 동시에 같은 위치를 OID모듈을 이용하여 촬영할 수 있다. 전자펜(120)은 그 촬영된 패턴이미지에 대응되는 좌표코드를 인공지능스피커(110)를 경유하여 텍스트서버(140)로 송신할 수 있다. 그러면, 텍스트서버(140)는 인쇄물(20)에 그려진 글씨 혹은 그림에 대응되는 좌표코드들을 수신할 수 있고, 사용자(10)가 의도한 글씨를 텍스트로 변환할 수 있다.
인쇄물(20)은 별도의 고유번호를 포함하는데, 상기 다른 서버는 상기 고유번호에 대응하는 저장공간에 인쇄물(20)에 그려진 글씨 혹은 그림을 저장할 수 있다.
인쇄물(20)이 채널안내책자(21)인 경우, 사용자(10)는 채널안내책자(21)의 입력항목(21f)에 쓰기 수단을 이용하여 글씨 혹은 그림을 그릴 수 있다. 전자펜(120)은 입력항목(21f)에 잉크와 같은 쓰기 수단을 뭍이면서 동시에 같은 위치를 OID 모듈을 이용하여 촬영할 수 있다. 전자펜(120)은 그 촬영된 패턴이미지에 대응되는 좌표코드를 인공지능스피커(110)를 경유하여 텍스트서버(140)로 송신할 수 있다. 그러면, 텍스트서버(140)는 채널안내책자(21)에 그려진 글씨 혹은 그림에 대응하는 좌표코드들을 수신할 수 있고, 사용자(10)가 의도한 글씨 혹은 그림을 텍스트로 변환할 수 있다.
도 9는 다른 실시예에 따른 인쇄물의 예시도이다.
도 9를 참조하면, 도 4 및 도 5와 달리, 전자펜(120)은 인쇄물(20)과 다음과 같이 상호작용할 수 있다. 사용자(10)는 TV(40)의 기능을 변경하고 싶을 때, 전자펜(120)을 통해 채널안내책자(21)의 입력항목(21f)에 글씨 혹은 그림을 그릴 수 있다. 입력항목(21f)의 각 지점은 중첩적으로 패턴이미지를 포함하고 상기 패턴이미지는 대응하는 특정 좌표코드를 포함할 수 있다. 글씨 혹은 그림에 따라서 전자펜(120)이 입력항목(21f) 위에서 이동하면 입력항목(21f)에 중첩되어 인쇄된 패턴이미지를 촬영하고 상기 패턴이미지에 대응하는 좌표코드를 생성할 수 있다. 전자펜(120)은 인공지능스피커(110)로 상기 좌표코드를 송신할 수 있다. 인공지능스피커(110)는 상기 좌표코드를 텍스트서버(140)로 송신할 수 있다.
텍스트서버(140)는 인공지능스피커(110)를 통하여 전자펜(120)으로부터 수신된 좌표코드를 텍스트로 변환하고, 상기 변환된 텍스트에 대응하는 제2 명령데이터를 생성할 수 있다. 상기 제2 명령데이터는 사용자(10)가 입력항목(21f)에 그린 글씨 혹은 그림에 대응할 수 있다. 예를 들어 사용자(10)가 제1 글씨를 입력항목(21f)에 그리면, 상기 제1 글씨가 제1 텍스트를 거쳐 제2-1 명령데이터로 이어질 수 있다. 사용자(10)가 제2 글씨를 입력항목(21f)에 그리면, 상기 제2 글씨가 제2 텍스트를 거쳐 제2-2 명령데이터로 이어질 수 있다. 혹은 사용자(10)가 제1 그림을 입력항목(21f)에 그리면, 상기 제1 그림이 제1 텍스트를 거쳐 제2-1 명령데이터로 이어질 수 있다. 사용자(10)가 제2 그림을 입력항목(21f)에 그리면, 상기 제2 그림이 제2 텍스트를 거쳐 제2-2 명령데이터로 이어질 수 있다.
사용자(10)는 원하는 TV(40) 제어에 대한 글씨 또는 그림을 입력항목(21f)에 그림으로써, TV(40) 제어를 요청할 수 있다. 사용자(10)는 TV(40)의 특정 채널을 의미하는 글씨 또는 그림을 그릴 수 있다.
예를 들어 사용자(10)는 전자펜(120)을 이용하여 입력항목(21f)에 채널번호(21b)를 입력할 수 있다. 본 도면에서는, 사용자(10)가 전자펜(120)을 이용하여 ‘11’의 채널번호(21b)를 입력할 수 있다. 전자펜(120)이 이동하면서 동시에 ‘11’의 채널번호(21b)가 입력된 지점의 패턴이미지를 촬영하고, 상기 패턴이미지의 좌표코드를 생성할 수 있다. 전자펜(120)은 ‘11’의 채널번호(21b)에 대한 좌표코드를 인공지능스피커(110)를 통해 텍스트서버(140)로 송신할 수 있다. 텍스트서버(140)는 상기 수신된 좌표코드를 ‘11’이라는 텍스트로 변환하고 현재의 TV(40) 채널을 ‘11’채널번호(21b)를 가지는 채널로 변경하는 제2 명령데이터를 생성하여 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)는 상기 제2 명령데이터에 따라서 TV(40)의 채널을 ‘11’ 채널번호(21b)를 가지는 채널로 변경할 수 있다. TV(40)는 변경된 채널의 영상 및 음향을 출력할 수 있다.
또한 사용자(10)는 TV(40)의 특정 기능을 의미하는 글씨 또는 그림을 그릴 수 있다. 구체적으로, 사용자(10)는 제1 조작을 실행하기 위한 제1 객체에 대한 텍스트를 입력할 수 있다.
예를 들어 사용자(10)는 전자펜(120)을 이용하여 입력항목(21f)에 사용자(10)가 실행하고자 하는 제1 조작에 대한 텍스트를 입력할 수 있다. 상기 입력된 텍스트는 제1 객체를 의미하고, 상기 제1 객체를 나타내는 기호, 약자 등을 포함할 수 있다. 상기 입력된 텍스트는 텍스트서버(140)에 의하여 식별될 수 있다.
만약 사용자(10)가 전자펜(120)을 이용하여 채널의 증가를 의미하는‘+’의 텍스트를 입력한다면, 인공지능스피커(110)는 채널을 증가시킬 수 있다. 전자펜(120)이 이동하면서 동시에 ‘+’가 입력된 지점의 패턴이미지를 촬영하고, 상기 패턴이미지의 좌표코드를 생성할 수 있다. 전자펜(120)은 ‘+’에 대한 좌표코드를 인공지능스피커(110)를 통해 텍스트서버(140)로 송신할 수 있다. 텍스트서버(140)는 상기 수신된 좌표코드를 ‘+’라는 텍스트로 변환하고 채널을 증가시키는 제1 조작명령데이터를 생성하여 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)는 상기 제1 조작명령데이터에 따라서 채널을 증가시킬 수 있다. TV(40)는 상기 제1 조작명령데이터에 따라서 변경된 채널을 출력할 수 있다.
또한 사용자(10)는 TV(40)의 특정 프로그램의 실행을 의미하는 글씨 또는 그림을 그릴 수 있다.
예를 들어 사용자(10)는 전자펜(120)을 이용하여 입력항목(21f)에 사용자(10)가 실행하고자 하는 프로그램에 대한 텍스트를 입력할 수 있다. 상기 입력된 텍스트는 기호, 약자 등을 포함할 수 있다. 상기 입력된 텍스트는 텍스트서버(140)에 의하여 식별될 수 있다.
만약 사용자(10)가 전자펜(120)을 이용하여 영화재생기(movie player)를 의미하는‘mp’의 텍스트를 입력한다면, 인공지능스피커(110)는 상기 영화재생기라는 프로그램을 실행할 수 있다. 전자펜(120)이 이동하면서 동시에 ‘mp’가 입력된 지점의 패턴이미지를 촬영하고, 상기 패턴이미지의 좌표코드를 생성할 수 있다. 전자펜(120)은 ‘mp’에 대한 좌표코드를 인공지능스피커(110)를 통해 텍스트서버(140)로 송신할 수 있다. 텍스트서버(140)는 상기 수신된 좌표코드를 ‘mp’라는 텍스트로 변환하고 상기 영화재생기를 실행하는 제1 프로그램명령데이터를 생성하여 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)는 상기 제1 프로그램명령데이터에 따라서 상기 영화재생기를 실행할 수 있다. TV(40)는 상기 영화재생기에 대한 실행 결과를 출력할 수 있다.
도 10은 다른 실시예에 따른 TV 원격 제어 시스템의 동작에 대한 흐름도이다.
도 10을 참조하면, 전자펜(120)을 통하여 TV(40)를 제어하는 다른 동작이 도시된다. S1002 단계 내지 S1012 단계는 S602 단계 내지 S612 단계와 동일할 수 있다.
전자펜(120)은 채널안내책자(21)의 입력항목(21f)에 그려진 글씨 혹은 그림에 따라 이동하면서, 이동하는 지점의 패턴이미지를 촬영하고(S1014), 상기 패턴이미지에 대한 좌표코드를 생성할 수 있다(S1016). 전자펜(120)은 채널번호(21b) 또는 채널명(21c)을 그리는 대신에 TV기능도구(21d) 또는 TV기능명(21e)을 그릴 수 있고, 이에 대응하는 좌표코드를 생성할 수 있다.
전자펜(120)은 인공지능스피커(110)로 상기 좌표코드를 송신할 수 있다(S1018). 인공지능스피커(110)는 상기 좌표코드를 텍스트서버(140)로 송신할 수 있다(S1020).
텍스트서버(140)는 상기 좌표코드를 텍스트로 변환하고 상기 텍스트에 대응하는 TV(40) 제어 명령을 위한 제2 명령데이터를 생성할 수 있다(S1022). 텍스트서버(140)는 상기 제2 명령데이터를 인공지능스피커(110)로 송신할 수 있다(S1024).
인공지능스피커(110)는 상기 제2 명령데이터에 따라서 기능을 수행할 수 있다. 상기 제2 명령데이터가 채널을 변경하는 것이라면, 인공지능스피커(110)는 TV(40)의 채널을 변경할 수 있다(S1026).
인공지능스피커(110)는 TV출력신호를 생성하고 TV(40)로 송신함으로써, 상기 제2 명령데이터에 따라서 실행한 기능의 결과를 TV(40)에 출력할 수 있다(S1028). 상기 제2 명령데이터가 채널을 변경하는 것이라면, 인공지능스피커(110)는 변경된 채널을 출력하라는 TV출력신호를 생성하여 TV(40)로 송신할 수 있다.
전자펜(120)이 채널번호(21b) 또는 채널명(21c)을 그리는 대신에 TV기능도구(21d) 및 TV기능명(21e) 중 어느 하나를 그린다면, 그에 따른 제2 명령데이터는 채널을 증가하는 방향으로 변경하는 것일 수 있다. 인공지능스피커(110)는 증가된 채널을 출력하라는 TV출력신호를 생성하여 TV(40)로 송신할 수 있다.
TV(40)는 TV출력신호에 따라서 상기 변경된 채널을 출력할 수 있다(S1030). 경우에 따라 TV(40)는 TV출력신호에 따라서 증가된 채널을 출력할 수 있다.
도 11은 또 다른 실시예에 따른 TV 원격 제어 시스템의 구성을 나타내는 도면이다.
도 11을 참조하면, 또 다른 형태의 TV 원격 제어 시스템(100)이 도시된다. 도 3과 달리, TV 원격 제어 시스템(100)은 컨텐츠서버(150)를 더 포함할 수 있다.
전자펜(120)은 생성되는 코드들을 인공지능스피커(110)로 송신할 수 있다. 그리고, 인공지능스피커(110)는 수신되는 코드 중 컨텐츠코드를 컨텐츠서버(150)로 송신할 수 있다.
인공지능스피커(110)와 전자펜(120)은 무선통신을 통해 연결되고, 인공지능스피커(110)와 인공지능서버(130) 및 컨텐츠서버(150)는 네트워크(30)를 통해 연결될 수 있다. 인공지능스피커(110), 인공지능서버(130) 및 컨텐츠서버(150)는 IP(internet protocol)주소와 같은 네트워크식별아이디를 가지고 있으면서 네트워크식별아이디를 통해 네트워크(30)에 접속되어 있을 수 있다. 인공지능스피커(110), 인공지능서버(130) 및 컨텐츠서버(150)는 네트워크(30)를 통해 복수의 장치들과 연결되어 있을 수 있다. 예를 들어, 인공지능스피커(110)는 네트워크(30)를 통해 인공지능서버(130)와 정보를 주고받을 수 있고, 컨텐츠서버(150)와 정보를 주고 받을 수 있다.
이에 반해, 전자펜(120)은 근접지에 위치하는 하나의 장치와 무선연결될 수 있다. 예를 들어, 전자펜(120)은 블루투스를 통해 인공지능스피커(110)와 연결될 수 있다.
전자펜(120)은 인공지능서버(130)와 컨텐츠서버(150)와 정보를 주고 받기 위해 인공지능스피커(110)를 이용할 수 있다. 예를 들어, 전자펜(120)은 인공지능스피커(110)를 통해 컨텐츠코드를 컨텐츠서버(150)로 송신할 수 있고, 인공지능스피커(110)를 통해 컨텐츠서버(150)로부터 정보를 수신할 수 있다.
전자펜(120)은 코드 중 컨텐츠코드를 인공지능스피커(110)를 경유하여 컨텐츠서버(150)로 송신할 수 있다. 컨텐츠서버(150)는 상기 컨텐츠코드를 수신하고, 상기 컨텐츠코드에 대응되는 컨텐츠데이터를 컨텐츠출력장치로 송신할 수 있다. 예를 들어, 전자펜(120)이 책의 특정 페이지에 해당하는 컨텐츠코드를 컨텐츠서버(150)로 송신하면, 컨텐츠서버(150)는 해당 페이지의 내용을 음성으로 녹음한 음성컨텐츠데이터 및 해당 페이지의 내용을 영상으로 각색한 영상컨텐츠데이터를 인공지능스피커(110)로 송신할 수 있다.
인공지능스피커(110)는 컨텐츠서버(150)로부터 수신되는 컨텐츠데이터 중 음성컨텐츠데이터를 내장스피커를 통해 출력할 수 있다. 그리고, 인공지능스피커(110)는 컨텐츠서버(150)로부터 수신되는 컨텐츠데이터 중 영상컨텐츠데이터를 별도의 영상출력장치를 통해 표시할 수 있다.
별도의 영상출력장치는 일 예로서, TV(40)일 수 있다. 인공지능스피커(110)는 TV서비스상태에서 TV데이터를 수신하고 TV데이터를 TV(40)를 통해 출력할 수 있다. TV데이터를 출력하기 위해, 인공지능스피커(110) 내에 셋톱박스가 내장될 수 있다. 실시예에 따라서는 TV(40)에 셋톱박스가 부착되거나 셋톱박스가 내장될 수 있다.
인공지능스피커(110)는 전자펜서비스상태에서 컨텐츠데이터 중 영상컨텐츠데이터를 TV(40)를 통해 출력할 수 있다.
전자펜(120)은 독자적인 기능 수행을 위해 스피커(펜스피커)를 내장할 수 있다. 실시예에 따라서, 음성컨텐츠데이터가 인공지능스피커(110)에서 출력될 수 있고 전자펜(120)에서 출력될 수 있다. 인공지능스피커(110)에서 음성컨텐츠데이터가 출력되거나 인공지능스피커(110)와 전자펜(120)이 무선연결되는 경우, 펜스피커의 기능은 턴오프될 수 있다.
한편, TV 원격 제어 시스템(100)은 복수의 전자펜(120)을 포함할 수 있고, 인공지능스피커(110)는 무선연결신호를 통해 복수의 전자펜(120)에 대한 제품식별데이터를 수신하고, 각 제품식별데이터에 대응되는 전자펜(120)의 외관이미지를 별도의 영상출력장치-예를 들어, TV(40)-를 통해 표시할 수 있다. 사용자(10)가 복수의 외관이미지 중 하나를 선택하면 인공지능스피커(110)는 상기 선택된 전자펜(120)과 무선연결되고 상기 선택된 전자펜(120)으로부터 수신된 제품식별데이터에 대응하는 전자펜(120)의 외관이미지를 영상출력장치를 통해 표시할 수 있다. 복수의 외관이미지 중 하나를 선택하는 것은 사용자(10)의 음성명령에 의해 이루어질 수 있다.
도 12는 일 실시예에 따른 인공지능스피커의 구성도이다.
도 12를 참조하면, 인공지능스피커(110)는 음성입력부(111), 음성데이터변환부(112), 트리거링부(113), 제어부(114), 통신부(115), 저장부(116), 음성출력부(117) 등을 포함할 수 있다.
음성입력부(111)는 마이크로폰을 포함하고 있으면서, 사용자가 발화한 음성을 아날로그전기신호로 변환할 수 있다. 음성입력부(111)는 필요에 따라 필터를 더 포함하고 있으면서 사용자 주변의 노이즈를 제거하거나 기타 다른 소스에 의해 발생되는 노이즈를 제거할 수 있다.
음성입력부(111)에서 변환된 아날로그전기신호는 음성데이터변환부(112)로 전달되고, 음성데이터변환부(112)는 아날로그전기신호를 디지털신호인 음성데이터로 변환할 수 있다.
트리거링부(113)는 트리거링모듈을 포함하고 있으면서 음성데이터를 미리 설정된 호출음성데이터와 비교하고, 음성데이터가 호출음성데이터와 유사한 경우, 사용자가 호출음성을 발화한 것으로 판단할 수 있다. 트리거링부(113)가 호출음성을 인식하면, 플래그 등을 통해 호출음성이 인식되었음을 제어부(114)로 알릴 수 있다.
제어부(114)는 호출대기상태에 있다가 트리거링부(113)로부터 호출음성이 인식되었다는 신호를 전달받으면 명령대기상태로 진입할 수 있다. 제어부(114)는 명령대기상태에 진입했음을 사용자에게 알리기 위해 명령대기상태음성을 음성출력부(117)를 통해 출력할 수 있다.
사용자 행위의 관점에서 설명하면, 사용자가 호출음성-예를 들어, "헤이, 스피커"-을 발화하면, 트리거링부(113)가 호출음성을 인식하고, 이에 대응하여, 제어부(114)가 명령대기상태음성-예를 들어, "네, 말씀하세요"-을 음성출력부(117)를 통해 출력할 수 있다.
제어부(114)는 전자펜(120)으로부터 수신된 TV제어요청신호에 따른 기능을 실행할 수 있다. 상기 TV제어요청신호는 채널의 변경, 채널의 증감 또는 음량의 증감을 요청하는 것을 포함할 수 있다. TV제어요청신호가 특정 채널로 변경하는 것이라면, 제어부(114)는 상기 특정 채널로 변경하는 기능을 실행할 수 있다.
제어부(114)는 전자펜(120)으로부터 수신된 TV제어요청신호에 따른 다른 기능을 실행할 수 있다. 상기 TV제어요청신호는 인쇄물(20)에 표시된 제1 객체를 인식하여 제1 조작의 실행을 요청하는 것일 수 있다. 상기 TV제어요청신호가 채널을 증가시키는 것이라면, 제어부(114)는 채널을 하나씩 증가시킬 수 있다.
제어부(114)는 전자펜(120)으로부터 수신된 TV제어요청신호에 따른 또 다른 기능을 실행할 수 있다. 상기 TV제어요청신호는 특정 프로그램의 실행을 요청하는 것일 수 있다. 제어부(114)는 상기 TV제어요청신호에 따라 상기 특정 프로그램을 실행할 수 있다. 상기 TV제어요청신호가 영화재생기(movie player)를 실행시키는 것이라면, 제어부(114)는 상기 영화재생기를 실행할 수 있다.
제어부(114)는 제2 명령데이터에 따라 TV(40)의 채널을 변경할 수 있다. 상기 제2 명령데이터는 특정 텍스트에 대응하는 채널로 변경하는 명령에 대한 것일 수 있다. 텍스트서버(140)는 전자펜(120)에 의하여 수집된 좌표코드로부터 상기 특정 텍스트를 생성하고 상기 특정 텍스트로부터 상기 제2 명령데이터를 생성할 수 있다.
제어부(114)는 제1 조작명령데이터에 따라 제1 조작을 실행할 수 있다. 텍스트서버(140)는 전자펜(120)에 의하여 수집된 좌표코드로부터 제1 객체에 대응하는 특정 텍스트를 생성하고 상기 특정 텍스트로부터 상기 제1 조작명령데이터를 생성할 수 있다.
제어부(114)는 제1 프로그램명령데이터에 따라 프로그램을 실행할 수 있다. 텍스트서버(140)는 전자펜(120)에 의하여 수집된 좌표코드로부터 제2 객체에 대응하는 특정 텍스트를 생성하고 상기 특정 텍스트로부터 상기 제1 프로그램명령데이터를 생성할 수 있다.
음성출력부(117)는 스피커 및 DAC(digital-to-analog converter)를 포함하고 있으면서, 디지털신호인 음성데이터를 아날로그전기신호를 변환하고 아날로그전기신호를 음파로 변환하여 출력할 수 있다.
명령대기상태에서 음성입력부(111)를 통해 입력되는 음성은 음성데이터변환부(112)를 통해 제1 음성데이터로 변환된 후 통신부(115)를 통해 인공지능서버로 송신될 수 있다. 통신부(115)는 네트워크를 통해 인공지능서버(130), 텍스트서버(140) 혹은 컨텐츠서버(150)와 정보를 주고받을 수 있다. 통신부(115)는 네트워크를 통해 다른 서버와도 정보를 송수신할 수 있는데, 예를 들어, 통신부(115)는 TV데이터서버를 통해 TV데이터를 수신할 수 있고, 스마트홈서버와 연결되면서 가정 내 전기기기를 제어하는 신호/데이터를 송수신할 수 있다.
인공지능서버(130)는 통신부(115)를 통해 수신되는 제1 음성데이터를 통해 전자펜호출명령을 인식할 수 있다. 인공지능서버(130)는 전자펜호출명령에 대응되는 제1 명령데이터를 인공지능스피커(110)-예를 들어, 통신부(115)-로 송신할 수 있다.
인공지능스피커(110)-예를 들어, 제어부(114)-는 상기 제1 명령데이터를 수신한 후 통신부(115)를 통해 무선연결신호를 탐색하여 전자펜(120)과 무선연결할 수 있다. 이때, 통신부(115)와 전자펜(120)이 무선연결될 수 있다.
통신부(115)와 전자펜(120)이 무선연결되면 제어부(114)는 전자펜서비스상태로 진입할 수 있다. 전자펜서비스상태에서, 통신부(115)는 전자펜(120)으로부터 각종 코드를 수신할 수 있는데, 이러한 코드 중 컨텐츠코드는 통신부(115)를 통해 컨텐츠서버(150)로 송신될 수 있다. 그리고, 컨텐츠서버(150)로부터 수신되는 컨텐츠데이터 중 음성컨텐츠데이터는 음성출력부(117)를 통해 출력될 수 있다.
통신부(115)는 전자펜(120)으로부터 TV제어요청신호를 수신할 수 있다. 통신부(115)는 상기 TV제어요청신호를 제어부(114)로 전달하고 제어부(114)는 상기 TV제어요청신호에 따른 기능을 실행할 수 있다.
통신부(115)는 전자펜(120)으로부터 제1 조작의 실행을 위한 TV제어요청신호를 수신할 수 있다. 통신부(115)는 상기 TV제어요청신호를 제어부(114)로 전달하고 제어부(114)는 상기 TV제어요청신호에 따라 제1 조작을 실행할 수 있다.
통신부(115)는 전자펜(120)으로부터 프로그램의 실행을 위한 TV제어요청신호를 수신할 수 있다. 통신부(115)는 상기 TV제어요청신호를 제어부(114)로 전달하고 제어부(114)는 상기 TV제어요청신호에 따라 특정 프로그램을 실행할 수 있다.
통신부(115)는 텍스트서버(140)로부터 제2 명령데이터를 수신할 수 있다. 통신부(115)는 상기 제2 명령데이터를 제어부(114)로 전달하고 제어부(114)는 상기 제2 명령데이터에 따라 특정 텍스트에 대응하는 채널로 변경할 수 있다.
통신부(115)는 텍스트서버(140)로부터 제1 조작명령데이터를 수신할 수 있다. 통신부(115)는 상기 제1 조작명령데이터를 제어부(114)로 전달하고 제어부(114)는 상기 제1 조작명령데이터에 따라 제1 조작을 실행할 수 있다.
통신부(115)는 텍스트서버(140)로부터 제1 프로그램명령데이터를 수신할 수 있다. 통신부(115)는 상기 제1 프로그램명령데이터를 제어부(114)로 전달하고 제어부(114)는 상기 제1 프로그램명령데이터에 따라 특정 프로그램을 실행할 수 있다.
저장부(116)에는 TV제어요청신호 및/또는 TV출력신호에 대응하는 음성이 저장될 수 있다. 인공지능스피커(110)의 제어부(114)는 원격 제어 장치(160)로부터 TV제어요청신호를 수신하면, TV제어요청신호에 대응하는 기능을 실행하는 동시에 실행된 기능을 알리는 음성을 출력할 수 있다. 구체적으로, 제어부(114)는 일련의 음성들 중 TV제어요청신호에 대응하는 음성을 저장부(116)에서 독출하여 음성출력부(117)를 통해 출력할 수 있다. 예를 들어, TV제어요청신호가 TV(40)의 채널을 9번에서 11번으로 변경하고 TV출력신호가 변경된 11번 채널을 출력하는 것이라면, 인공지능스피커(110)는 변경되어야 할 최종 채널 번호인 ‘11’을 음성출력부(117)를 통해 음성으로 출력할 수 있다.
도 13은 일 실시예에 따른 전자펜의 구성도이다.
도 13을 참조하면, 전자펜(120)은 이미지센서(121), 프로세서(122), 펜통신부(123), 펜스피커(124), 마이크로폰(125) 및 조작부(126)를 포함할 수 있다.
이미지센서(121)는 광을 전기신호로 변환하는 광전소자를 포함하고 있으면서 광전소자를 이용하여 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영할 수 있다. 이미지센서(121)는 일종의 카메라로서, 국소영역을 정밀하게 촬영할 수 있는 고해상도/고정밀 카메라로 볼 수 있으며, OID(object identifier)모듈이라고 호칭되기도 한다.
프로세서(122)는 코드변환부(122a) 및 펜제어부(122b)를 포함할 수 있다.
코드변환부(122a)는 이미지센서(121)에서 촬영된 패턴이미지의 패턴을 분석하고 해당 패턴에 대응되는 코드를 생성할 수 있다. 패턴은 예를 들어, 가상의 격자에서 점들이 배치되는 위치에 대한 것으로서, 코드변환부(122a)는 촬영된 패턴이미지에서 인식되는 점들의 위치를 이용하여 코드를 생성할 수 있다.
펜제어부(122b)는 전자펜(120)의 제반 기능을 제어할 수 있는데, 특히, 코드변환부(122a)로부터 수신되는 코드를 확인하고 각각의 코드에 대응되는 기능을 제어할 수 있다.
코드는 여러 가지로 세분될 수 있는데, 예를 들어, 코드는 컨텐츠코드, 명령코드 등으로 세분될 수 있다. 컨텐츠코드는 컨텐츠와 매칭되어 있는 코드로서, 펜제어부(122b)는 컨텐츠코드가 확인되면 해당 컨텐츠코드에 대응하는 컨텐츠가 사용자에게 표시될 수 있도록 전자펜(120) 혹은 그 주변 기기를 제어할 수 있다. 명령코드는 특정 기능과 매칭되어 있는 코드로서, 펜제어부(122b)는 명령코드를 확인하면 해당 명령코드에 대응하는 기능이 수행되도록 전자펜(120) 혹은 그 주변 기기를 제어할 수 있다. 명령코드는 예를 들어, 볼륨업, 볼륨다운, 음소거, 녹음, 이전트랙재생, 이후트랙재생, 일시멈춤, 재생 등의 기능과 매칭될 수 있다.
펜제어부(122b)는 인쇄물에 표시된 채널항목(21a, 21b, 21c)을 인식하여 TV제어요청신호를 생성할 수 있다. 펜제어부(122b)는, 코드변환부(122a)로부터, 채널항목(21a, 21b, 21c)에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지에 대한 코드를 수신하고 상기 코드에 대응하는 TV제어요청신호를 생성할 수 있다. 여기서 상기 TV제어요청신호는 특정 채널로의 변경에 대한 것일 수 있다.
펜제어부(122b)는 인쇄물에 표시된 TV기능항목(21d, 21e)을 인식하여 TV제어요청신호를 생성할 수 있다. 상기 TV제어요청신호는 TV기능항목(21d, 21e)에 해당하는 제1 객체를 인식함으로써 TV기능항목(21d, 21e)이 나타내는 제1 조작을 실행하기 위한 것일 수 있다. 여기서 상기 TV제어요청신호는 채널의 증가에 대한 것일 수 있다.
펜제어부(122b)는 인쇄물에 표시된 프로그램도구(도면 미도시) 및/또는 프로그램명(도면 미도시)을 인식하여 TV제어요청신호를 생성할 수 있다. 상기 TV제어요청신호는 프로그램도구(도면 미도시) 및 프로그램명(도면 미도시) 중 어느 하나에 해당하는 제2 객체를 인식함으로써 프로그램도구(도면 미도시) 및 프로그램명(도면 미도시) 중 상기 어느 하나가 나타내는 프로그램을 실행하기 위한 것일 수 있다. 여기서 상기 TV제어요청신호는 영화 프로그램의 실행에 대한 것일 수 있다.
펜통신부(123)는 주변 기기와 무선통신을 수행하는 모듈로서, 인공지능스피커 혹은 일반 스피커와 블루투스 등의 무선통신을 통해 연결될 수 있다.
펜통신부(123)는 인공지능스피커(110)로 TV제어요청신호를 송신할 수 있다. 상기 TV제어요청신호는 채널의 변경, 특정 조작의 실행 또는 특정 프로그램의 실행에 관한 것일 수 있다.
펜스피커(124)는 음성을 출력하는 장치로서, 컨텐츠코드에 대응되는 컨텐츠데이터 중 음성컨텐츠데이터가 출력될 수 있고, 펜제어부(324)의 제어에 따라 미리 설정된 음성이 출력될 수 있다.
마이크로폰(125)은 ADC(analog-to-digital converter)를 포함하고 있으면서, 입력되는 음성을 디지털신호인 음성데이터로 변환하는 모듈이다. 마이크로폰(125)으로 입력되는 음성은 음성데이터로 변환된 후 펜스피커(124)를 통해 출력될 수 있다. 실시예에 따라서는, 프로세서(122)에 오디오믹서가 포함되어 있을 수 있고, 마이크로폰(125)에서 생성되는 음성데이터는 오디오믹서에서 음성컨텐츠데이터와 믹싱된 후 펜스피커(124)를 통해 출력될 수 있다.
펜통신부(123)가 블루투스 등의 무선통신을 통해 외부 스피커 혹은 인공지능스피커(110)와 무선연결되어 있는 경우, 펜스피커(124)의 기능은 턴오프될 수 있다. 이때, 펜스피커(124)로 전달되는 음성데이터는 무선연결된 외부 스피커 혹은 인공지능스피커(110)로 전달되어 출력될 수 있다. 오디오믹서에 의해 믹싱된 음성데이터도 마찬가지로 외부 스피커 혹은 인공지능스피커(110)로 전달되어 출력될 수 있다.
조작부(126)는 사용자의 수조작을 인식할 수 있는 모듈이다. 조작부(126)는 복수의 조작버튼을 포함하고 있으면서, 각각의 조작버튼이 눌려졌을 때, 서로 다른 명령코드를 생성하여 펜제어부(122b)로 전달할 수 있다. 예를 들어, 조작부(126)는 볼률업버튼, 볼륨다운버튼, 음소거버튼, 녹음버튼, 이적트랙재생버튼, 이후트랙재생버튼, 일시멈춤버튼, 재생버튼 등을 포함하고 있으면서, 각 버튼의 눌림에 따라 서로 다른 명령코드를 생성할 수 있다.
도 14는 일 실시예에 따른 TV 원격 제어 시스템에서 컨텐츠를 출력하는 방법의 흐름도이다.
도 14를 참조하면, 인공지능스피커(110)가 먼저 트리거링될 수 있다(S1402). 인공지능스피커(110)는 트리거링모듈을 이용하여 호출음성을 인식하면서 트리거링될 수 있다. 인공지능스피커(110)는 트리거링된 후에 명령대기상태로 진입하여 사용자의 음성명령이 이루어질 때까지 대기할 수 있다.
명령대기상태로 진입한 후에 인공지능스피커(110)는 전자펜(120)을 호출하는 전자펜호출명령을 수신하고, 전자펜호출명령을 제1 음성데이터로 변환하여 인공지능서버(130)로 전송할 수 있다. 그리고, 인공지능서버(120)는 상기 제1 음성데이터에 대한 분석을 통해 전자펜호출명령을 인식할 수 있다(S1404).
전자펜호출명령이 인식되면, 인공지능서버(120)는 전자펜호출명령에 대응하는 제1 명령데이터를 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)는 상기 제1 명령데이터를 수신한 후에, 무선연결신호를 탐색하여 전자펜(120)과의 통신연결을 시도할 수 있다(S1406). 인공지능스피커(110)는 무선연결가능상태에 있는 하나의 전자펜(120)과 무선연결될 수 있다(S1408).
인공지능스피커(110)는 전자펜서비스상태로 진입하고, 전자펜서비스상태에서 전자펜(120)으로부터 코드를 수신할 수 있다(S1410).
인공지능스피커(110)는 상기 코드 중에서 컨텐츠코드를 수신하면, 컨텐츠코드를 컨텐츠서버(150)로 송신하고, 컨텐츠서버(150)로부터 컨텐츠데이터를 수신할 수 있다(S1412).
컨텐츠데이터는 영상컨텐츠데이터와 음성컨텐츠데이터를 포함할 수 있는데, 인공지능스피커(110)는 영상컨텐츠데이터를 TV(40) 등 별도의 영상출력장치를 이용하여 출력하고, 음성컨텐츠데이터를 내장스피커 등을 이용하여 출력할 수 있다(S1414).
도 15는 또 다른 실시예에 따른 TV 원격 제어 시스템의 동작에 대한 흐름도이다.
도 15를 참조하면, 전자펜(120)을 통하여 TV(40)를 제어하는 또 다른 동작이 도시된다. S1502 단계 내지 S1514 단계는 S602 단계 내지 S614 단계와 동일할 수 있다.
전자펜(120)은 패턴이미지에 대한 코드를 생성하여 인공지능스피커(110)로 송신할 수 있다(S1516).
인공지능스피커(110)는 상기 코드 중 컨텐츠코드를 컨텐츠서버(150)로 송신하고(S1518), 컨텐츠서버(150)로부터 컨텐츠데이터를 수신할 수 있다(S1520).
인공지능스피커(110)는 컨텐츠데이터 중 음성컨텐츠데이터를 내장스피커 등을 이용하여 출력하고(S1522), 영상컨텐츠데이터를 TV(40) 등 별도의 영상출력장치를 이용하여 출력할 수 있다(S1524).
도 16은 일 실시예에 따른 전자펜의 조작부를 나타내는 도면이다.
도 16을 참조하면, 전자펜(120)은 복수의 조작버튼(1621 ~ 1625)으로 구성되는 조작부(1620)를 포함할 수 있다. 그리고, 전자펜(120)은 조작버튼에 대응하는 명령코드를 생성하여 인공지능스피커(110)로 송신할 수 있다. 그리고, 인공지능스피커(110)는 명령코드에 대응하는 기능을 수행하여 음성의 출력이나 영상의 출력을 변경할 수 있다. 예를 들어, 일 예로, 전자펜(120)은 제2조작버튼(1622)이 눌려질 때, 제2 명령코드를 생성하여 인공지능스피커(110)로 송신할 수 있고, 인공지능스피커(110)는 상기 제2 명령코드에 대응하여 음성 혹은 영상의 출력을 일시멈춤할 수 있다. 다른 예로, 제1 조작버튼(1621)이 눌려질 때, 인공지능스피커(110)는 음성 혹은 영상의 출력을 다시 시작할 수 있고, 제3 조작버튼(1623)이 눌려질 때, 인공지능스피커(110)는 음성 혹은 영상의 출력을 중단할 수 있다. 또 다른 예로, 제4 조작버튼(1624)이 눌려질 때, 인공지능스피커(110)는 이전트랙-혹은 이전에 재생된 컨텐츠-을 재생할 수 있고, 제5 조작버튼(1625)이 눌려질 때, 인공지능스피커(110)는 이후트랙-혹은 다음에 재생될 컨텐츠-을 재생할 수 있다.
한편, 인공지능스피커(110)는 프로그램을 실행할 수 있는데, 상기 프로그램이 인공지능스피커(110)에서 실행될 때, 조작부(1620)에 의해 생성되는 명령코드는 프로그램의 기능을 조작하는 것에 사용될 수 있다.
도 17은 또 다른 실시예에 따른 TV 원격 제어 시스템에서 프로그램을 실행시키는 것을 나타내는 도면이다.
도 17을 참조하면, TV 원격 제어 시스템에서의 프로그램 실행이 도시된다. 본 도면에서 설명되는 프로그램은 도 5 및 도 9에서 설명된 프로그램과 상이할 수 있다.
도 5 및 도 9의 프로그램은 전자펜(120)을 채널안내책자(21)의 특정 지점에 위치시킴으로써 실행된다. 그러나 도 17의 프로그램은 전자펜(120)을 교육용 인쇄물(20)의 특정 지점에 위치시킴으로써 실행되고 컨텐츠서버(150)에 의하여 실행될 수 있다. 또한 내용면에서, 전자는 영화재생기처럼 TV(40)의 채널 관련 프로그램을 포함하지만 후자는 아이들 교육용 교재의 시각적 및 청각적 효과를 내주는 프로그램을 포함할 수 있다.
인공지능스피커(110)는 전자펜(120)으로부터 인터랙티브(interactive)코드를 수신할 수 있다. 그리고, 인공지능스피커(110)는 인터랙티브코드를 컨텐츠서버(150)로 송신할 수 있는데, 컨텐츠서버(150)는 인터랙티브코드에 대응하는 프로그램을 실행시킬 수 있다. 프로그램은 인공지능스피커(110)에 다운로드된 후 인공지능스피커(110)에서 실행될 수도 있고, 컨텐츠서버(150)에서 실행되면서 실행의 결과로서의 영상출력데이터 및 음성출력데이터만 인공지능스피커(110)로 송신될 수 있다. 그리고, 인공지능스피커(110)는 영상출력데이터를 TV(40) 등의 별도의 영상출력장치를 통해 출력할 수 있고, 음성출력데이터를 내장스피커 등을 통해 출력할 수 있다.
한편, 프로그램에 대한 조작은 전자펜(120)에서 생성되는 명령코드에 의해 이루어질 수 있다. 전자펜(120)은 조작부에 배치되는 조작버튼의 눌림을 인식하고, 각 조작버튼에 대응되는 명령코드를 생성하여 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)에서 프로그램이 실행되는 경우, 인공지능스피커(110)는 조작버튼에 대응되는 명령코드를 인식하여 프로그램의 기능을 조작할 수 있다. 그리고, 컨텐츠서버(150)에서 프로그램이 실행되는 경우, 인공지능스피커(110)는 조작버튼에 대응되는 명령코드를 컨텐츠서버(150)로 송신하고, 컨텐츠서버(150)는 명령코드를 인식하여 프로그램의 기능을 조작할 수 있다.
도 18은 또 다른 실시예에 따른 TV 원격 제어 시스템에서 회화평가가 이루어지는 과정을 나타내는 도면이다.
도 18을 참조하면, 전자펜(120)은 마이크로폰을 통해 생성되는 제2 음성데이터를 인공지능스피커(110)를 경유하여 인공지능서버(130)로 송신할 수 있다. 인공지능서버(130)는 상기 제2 음성데이터를 텍스트데이터로 변환(STT: speech-to-text)하여 컨텐츠서버(150)로 송신할 수 있다. 그리고, 컨텐츠서버(150)는 텍스트데이터의 적합도를 판단하고, 판단결과를 인공지능스피커(110)를 통해 출력할 수 있다.
전자펜(120)은 상기 제2 음성데이터를 송신하기 전에 컨텐츠서버(150)로 제1 회화문에 대응하는 일 컨텐츠코드를 컨텐츠서버(150)로 송신하고, 컨텐츠서버(150)는 상기 제1 회화문의 대답으로서 미리 설정된 제2 회화문과 STT를 통해 변환된 텍스트데이터의 유사도를 판단하여 전술한 판단결과를 생성할 수 있다.
인쇄물(20)에는 상기 제1 회화문이 시각적으로 인식될 수 있는 크기로 인쇄되어 있고, 상기 제1 회화문에 대응하는 패턴이미지가 시각적으로 인식되지 않는 크기로 인쇄되어 있을 수 있다. 인쇄물(20)에는 상기 제1 회화문에 대응되는 대답부분이 빈칸으로 형성되어 있을 수 있다.
사용자(10)는 상기 제1 회화문을 확인하고 전자펜(120)으로 상기 제1 회화문을 지시할 수 있는데, 이때, 상기 제1 회화문에 대응하는 음성컨텐츠 및/혹은 영상컨텐츠가 인공지능스피커(110)를 통해 출력될 수 있다. 그리고, 사용자(10)는 상기 제1 회화문에 대한 대답으로서 특정 음성을 발화할 수 있는데, 이러한 음성은 인공지능스피커(110)에서 상기 제2 음성데이터로 변환된 후에 인공지능서버(130)로 송신될 수 있다.
인공지능서버(130)는 상기 제2 음성데이터를 STT엔진을 이용하여 텍스트데이터로 변환하고, 상기 텍스트데이터를 컨텐츠서버(150)로 송신할 수 있다. 이때, 인공지능서버(130)는 텍스트데이터를 인공지능스피커(110)를 경유하여 송신할 수 있는데, 인공지능서버(130)는 텍스트데이터를 인공지능스피커(110)로 송신하고, 인공지능스피커(110)는 텍스트데이터를 컨텐츠서버(150)로 송신할 수 있다.
컨텐츠서버(150)는 사용자(10)의 대답이 적절한지를 판단하기 위해 수신되는 텍스트데이터와 미리 설정된 제2 회화문의 유사도를 판단하고 판단결과를 인공지능스피커(110)로 송신할 수 있다. 이때, 상기 제2 회화문은 복수 개로 설정될 수 있고, 컨텐츠서버(150)는 복수의 제2 회화문 각각과 텍스테이터의 유사도를 판단하고 유사도가 가장 높게 나온 것으로 판단결과를 생성할 수 있다.
도 19는 또 다른 실시예에 따른 원격 제어 장치의 구성도이다.
도 19를 참조하면, 채널안내책자(21)의 패턴이미지를 인식하고 TV제어요청신호를 송신함으로써 TV(40)를 원격으로 제어하는 원격 제어 장치(160)의 구성이 도시된다. 원격 제어 장치(160)는 이미지센서(1910), 프로세서(1920) 및 통신부(1930)를 포함할 수 있다.
원격 제어 장치(160)는 전자펜(120)과 동일한 구성 및 동일한 구조를 가질 수 있다. 그러나 필요한 기능에 따라 전자펜(120)의 구성 중 일부가 포함되지 않거나 다른 구성으로 대체될 수 있다.
이미지센서(1910)는 광을 전기신호로 변환하는 광전소자를 포함하고 있으면서 광전소자를 이용하여 채널안내책자(21)에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영할 수 있다. 이미지센서(121)는 일종의 카메라로서, 국소영역을 정밀하게 촬영할 수 있는 고해상도/고정밀 카메라로 볼 수 있으며, OID 모듈이라고 호칭되기도 한다.
프로세서(1920)는 코드변환부(1921) 및 제어부(1922)를 포함할 수 있다.
코드변환부(1921)는 이미지센서(1910)에서 촬영된 패턴이미지의 패턴을 분석하고 해당 패턴에 대응하는 코드를 생성할 수 있다. 패턴은 예를 들어, 가상의 격자에서 점들이 배치되는 위치에 대한 것으로서, 코드변환부(1921)는 촬영된 패턴이미지에서 인식되는 점들의 위치를 이용하여 코드를 생성할 수 있다.
상기 패턴이미지가 채널항목(21a, 21b, 21c)에 중첩하여 인쇄된 것이면 상기 코드는 TV(40)의 채널을 다른 특정 채널로 변경하는 것일 수 있다. 상기 패턴이미지가 TV기능항목(21d, 21e)에 중첩하여 인쇄된 것이면 상기 코드는 TV(40)의 채널을 증감하거나 음량을 조절하는 것일 수 있다.
제어부(1922)는 원격 제어 장치(160)의 제반 기능을 제어할 뿐만 아니라, 상기 코드로부터 TV(40)의 제어를 요청하는 TV제어요청신호를 생성할 수 있다. 제어부(1922)는 코드변환부(1921)로부터 수신되는 코드를 확인하고, TV(40)에 대하여 각각의 코드에 대응하는 기능을 수행할 수 있다. 상기 코드가 채널항목(21a, 21b, 21c)으로부터 비롯한다면, TV제어요청신호는 인공지능스피커(110)가 TV(40)의 채널을 다른 특정 채널로 변경하는 것을 요청하는 신호를 포함할 수 있다. 상기 코드가 TV기능항목(21d, 21e)으로부터 비롯한다면, TV제어요청신호는 인공지능스피커(110)가 TV(40)의 채널의 증감 또는 음량의 조절을 요청하는 신호를 포함할 수 있다.
통신부(1930)는 제어부(1922)로부터 TV제어요청신호를 수신하고, 상기 TV제어요청신호를 인공지능스피커(110)로 송신할 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. TV;
    TV제어요청신호에 따라 상기 TV의 채널을 변경하는 인공지능스피커; 및
    인쇄물에 표시된 채널항목을 인식하여 상기 TV제어요청신호를 생성하고, 상기 TV제어요청신호를 상기 인공지능스피커로 송신하는 전자펜;
    상기 인공지능스피커는,
    호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 상기 전자펜을 호출하는 음성을 제1 음성데이터로 변환하여 인공지능서버로 송신하고, 상기 전자펜을 호출하는 명령에 대응하는 제1 명령데이터를 상기 인공지능서버로부터 수신하고, 상기 제1 명령데이터를 수신하면 상기 전자펜을 탐색하여 무선으로 연결하며,
    상기 전자펜은, 상기 채널항목에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응하는 코드를 생성하며, 상기 코드로부터 상기 TV제어요청신호를 생성하고,
    좌표코드를 수신하고, 상기 좌표코드를 조합하여 텍스트를 생성하며, 상기 텍스트에 대응하는 채널로 변경하는 명령에 대한 제2 명령데이터를 송신하는 텍스트서버를 더 포함하고,
    상기 전자펜은, 상기 좌표코드를 상기 인공지능스피커를 경유하여 상기 텍스트서버로 송신하고,
    상기 인공지능스피커는, 상기 좌표코드를 상기 텍스트서버로 송신하고, 상기 텍스트서버로부터 상기 제2 명령데이터를 수신하고, 상기 제2 명령데이터에 따라 상기 TV의 채널을 상기 텍스트에 대응하는 채널로 변경하며,
    상기 텍스트는, 상기 채널항목에 대응하는 인쇄된 객체 인식 기반의 TV 제어 시스템.
  2. 제1항에 있어서,
    상기 인공지능스피커는, 상기 TV제어요청신호에 대응하는 음성을 출력하는 인쇄된 객체 인식 기반의 TV 제어 시스템.
  3. 제1항에 있어서,
    상기 전자펜은, 상기 인쇄물에 표시된 제1 객체를 인식하여, 제1 조작을 실행하기 위한 TV제어요청신호를 상기 인공지능스피커에 송신하고,
    상기 인공지능스피커는, 상기 TV제어요청신호에 따라 상기 제1 조작을 상기 TV를 통해 실행하며,
    상기 TV는, 상기 제1 조작을 출력하는 인쇄된 객체 인식 기반의 TV 제어 시스템.
  4. 제1항에 있어서,
    상기 전자펜은, 상기 인쇄물에 표시된 제2 객체를 인식하여, 프로그램을 실행하기 위한 TV제어요청신호를 상기 인공지능스피커에 송신하고,
    상기 인공지능스피커는, 상기 TV제어요청신호에 따라 상기 프로그램을 상기 TV를 통해 실행하며,
    상기 TV는, 상기 프로그램을 출력하는 인쇄된 객체 인식 기반의 TV 제어 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 텍스트는, 제1 조작을 실행하기 위한 제1 객체에 대응하고,
    상기 텍스트서버는, 상기 제1 조작을 실행하는 명령에 대한 제1 조작명령데이터를 생성하여 상기 인공지능스피커로 송신하고,
    상기 인공지능스피커는, 상기 제1 조작명령데이터에 따라 상기 TV를 통해 상기 제1 조작을 실행하고,
    상기 TV는, 상기 제1 조작을 출력하는 인쇄된 객체 인식 기반의 TV 제어 시스템.
  7. 제1항에 있어서,
    상기 텍스트는, 프로그램을 실행하기 위한 제2 객체에 대응하고,
    상기 텍스트서버는, 상기 프로그램을 실행하는 명령에 대한 제1 프로그램명령데이터를 생성하여 상기 인공지능스피커로 송신하고,
    상기 인공지능스피커는, 상기 제1 프로그램명령데이터에 따라 상기 TV를 통해 상기 프로그램을 실행하고,
    상기 TV는, 상기 프로그램을 출력하는 인쇄된 객체 인식 기반의 TV 제어 시스템.
  8. 삭제
KR1020180140676A 2018-11-15 2018-11-15 Tv 제어 시스템 KR102112931B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180140676A KR102112931B1 (ko) 2018-11-15 2018-11-15 Tv 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140676A KR102112931B1 (ko) 2018-11-15 2018-11-15 Tv 제어 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055764A Division KR20200056962A (ko) 2020-05-11 2020-05-11 인공지능스피커와 연동하여 tv를 제어하는 전자펜 시스템

Publications (1)

Publication Number Publication Date
KR102112931B1 true KR102112931B1 (ko) 2020-05-19

Family

ID=70913486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140676A KR102112931B1 (ko) 2018-11-15 2018-11-15 Tv 제어 시스템

Country Status (1)

Country Link
KR (1) KR102112931B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110086782A (ko) * 2007-12-21 2011-08-01 켄지 요시다 매체 및 디스플레이상에 형성된 도트 패턴을 판독하는 것이 가능한 리모트 컨트롤 장치
KR20150082083A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20180109496A (ko) * 2017-03-28 2018-10-08 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110086782A (ko) * 2007-12-21 2011-08-01 켄지 요시다 매체 및 디스플레이상에 형성된 도트 패턴을 판독하는 것이 가능한 리모트 컨트롤 장치
KR20150082083A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20180109496A (ko) * 2017-03-28 2018-10-08 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법

Similar Documents

Publication Publication Date Title
EP3754997B1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US8873722B2 (en) Cradle for mobile telephone, videophone system, karaoke system, car navigation system, and emergency information notification system
CN108847214B (zh) 语音处理方法、客户端、装置、终端、服务器和存储介质
CN103187054B (zh) 电子装置和控制电子装置的方法
US20150373393A1 (en) Display device and operating method thereof
EP2986015A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP2555535A1 (en) Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
EP2590424A2 (en) Electronic apparatus and method for controlling thereof
KR102147329B1 (ko) 영상 표시 기기 및 그의 동작 방법
CN104620593A (zh) 显示装置及用于控制该显示装置的方法
US20130300934A1 (en) Display apparatus, server, and controlling method thereof
CN103188541A (zh) 电子设备和控制电子设备的方法
KR20160039830A (ko) 멀티미디어 장치 및 그의 음성 가이드 제공방법
CN109937576A (zh) 显示装置
KR102576388B1 (ko) 디스플레이 장치 및 그의 동작 방법
US7940338B2 (en) Voice-controlled TV set
CN106060641A (zh) 用于搜索的显示装置及其控制方法
KR20210051319A (ko) 인공 지능 장치
KR20200056962A (ko) 인공지능스피커와 연동하여 tv를 제어하는 전자펜 시스템
CN103197862A (zh) 电子设备及其控制方法
KR102156055B1 (ko) 인공지능스피커와 연동하여 인터랙티브 프로그램을 제어하는 전자펜 시스템
KR102112931B1 (ko) Tv 제어 시스템
KR102164773B1 (ko) 마이크로폰으로 인공지능스피커와 연동되는 전자펜 시스템
KR102164774B1 (ko) 인공지능스피커의 기능을 조작하는 전자펜 시스템
KR102156054B1 (ko) 인공지능스피커와 연동되는 전자펜 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant