KR102156055B1 - Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker - Google Patents

Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker Download PDF

Info

Publication number
KR102156055B1
KR102156055B1 KR1020200055761A KR20200055761A KR102156055B1 KR 102156055 B1 KR102156055 B1 KR 102156055B1 KR 1020200055761 A KR1020200055761 A KR 1020200055761A KR 20200055761 A KR20200055761 A KR 20200055761A KR 102156055 B1 KR102156055 B1 KR 102156055B1
Authority
KR
South Korea
Prior art keywords
artificial intelligence
electronic pen
voice
command
data
Prior art date
Application number
KR1020200055761A
Other languages
Korean (ko)
Other versions
KR20200054152A (en
Inventor
김철회
Original Assignee
김철회
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김철회 filed Critical 김철회
Priority to KR1020200055761A priority Critical patent/KR102156055B1/en
Publication of KR20200054152A publication Critical patent/KR20200054152A/en
Application granted granted Critical
Publication of KR102156055B1 publication Critical patent/KR102156055B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Abstract

일 실시예는, 제1음성데이터를 분석하여 상기 제1음성데이터에 포함된 음성명령을 인식하고, 상기 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는 인공지능서버; 호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 인식되는 음성을 상기 제1음성데이터로 변환하여 상기 인공지능서버로 송신하는 인공지능스피커; 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응되는 코드를 생성하고, 상기 코드 중 인터랙티브(interactive)코드를 상기 인공지능스피커로 송신하는 전자펜; 상기 인공지능스피커로부터 상기 인터랙티브코드를 수신하고, 상기 인터랙티브코드에 대응되는 프로그램을 실행시키며, 상기 프로그램의 실행에 따른 영상출력데이터 및 음성출력데이터를 상기 인공지능스피커로 송신하는 서버; 상기 인공지능서버는, 상기 음성명령 중 상기 전자펜을 호출하는 전자펜호출명령에 대응되는 제1명령데이터를 상기 인공지능스피커로 송신하고, 상기 인공지능스피커는, 상기 제1명령데이터를 수신하면 무선연결신호를 탐색하여 상기 전자펜과 무선연결하고 전자펜서비스상태로 진입하며, 상기 전자펜서비스상태에서 상기 인터랙티브코드를 상기 서버로 송신하고 상기 서버로부터 수신되는 상기 음성출력데이터를 스피커를 통해 출력하는 전자펜 시스템을 제공한다.In one embodiment, an artificial intelligence server that analyzes first voice data to recognize a voice command included in the first voice data, and transmits command data corresponding to the voice command to a command execution device; An artificial intelligence speaker that enters a command waiting state when a call voice is recognized, converts the voice recognized in the command waiting state to the first voice data, and transmits the converted voice to the artificial intelligence server; An electronic pen that photographs a pattern image printed in a size that is not visually recognized on a printed matter, generates a code corresponding to the pattern image, and transmits an interactive code among the codes to the artificial intelligence speaker; A server for receiving the interactive code from the artificial intelligence speaker, executing a program corresponding to the interactive code, and transmitting image output data and audio output data according to execution of the program to the artificial intelligence speaker; The artificial intelligence server transmits, to the artificial intelligence speaker, first command data corresponding to an electronic pen call command for calling the electronic pen among the voice commands, and the artificial intelligence speaker receives the first command data. Searching for a wireless connection signal, wirelessly connecting with the electronic pen, entering the electronic pen service state, transmitting the interactive code to the server in the electronic pen service state, and outputting the voice output data received from the server through a speaker It provides an electronic pen system.

Description

인공지능스피커와 연동하여 인터랙티브 프로그램을 제어하는 전자펜 시스템{ELECTRONIC PEN SYSTEM FOR CONTROLLING INTERACTIVE PROGRAM IN CONJUNCTION WITH ARTIFICIAL INTELLIGENT SPEAKER}Electronic pen system that controls interactive programs in conjunction with artificial intelligence speakers {ELECTRONIC PEN SYSTEM FOR CONTROLLING INTERACTIVE PROGRAM IN CONJUNCTION WITH ARTIFICIAL INTELLIGENT SPEAKER}

본 실시예는 인공지능스피커와 연동하여 인터랙티브 프로그램을 제어하는 전자펜에 관한 것이다. The present embodiment relates to an electronic pen that controls an interactive program in conjunction with an artificial intelligence speaker.

매체에 인쇄된 표식을 인식하고 표식과 관련된 데이터를 출력하는 장치들이 있다.There are devices that recognize marks printed on media and output data related to the marks.

바코드 리더가 대표적인 장치인데, 바코드 리더는 매체에 인쇄된 바코드들을 읽어들인 후 대응되는 데이터를 디스플레이 장치 등에 출력한다.A barcode reader is a typical device. The barcode reader reads barcodes printed on a medium and outputs corresponding data to a display device.

최근에는 책과 같은 매체에 인쇄된 특정 코드를 인식하고 인식된 코드에 대응되는 음성을 출력하는 전자펜이 다수 개발되고 있다.Recently, a number of electronic pens have been developed that recognize a specific code printed on a medium such as a book and output a voice corresponding to the recognized code.

이러한 전자펜은 코드 리더 장치를 포함하고 있으면서 책과 같은 매체에 인쇄된 특정 코드를 읽어들인 후 해당 코드에 대응되는 음성을 스피커 등을 통해 출력한다.Such an electronic pen includes a code reader device and reads a specific code printed on a medium such as a book, and then outputs a voice corresponding to the code through a speaker or the like.

통상적으로 책과 같은 인쇄매체에는 텍스트만 표시되기 때문에 독자에게 활자 정보만 제공하게 되는데, 이러한 전자펜을 이용하면 활자 정보 이외에 음성 정보도 함께 제공할 수 있기 때문에 독자의 사용자 경험이 강화되는 효과가 있다.Normally, only text is displayed on print media such as books, so only print information is provided to readers. Using such an electronic pen can provide audio information in addition to print information, thereby enhancing the reader's user experience. .

일반적으로 알려진 사용자 입력장치-키보드, 마우스 등-는 매체와 독립적으로 구성되어 있어서, 사용자가 매체와 입력장치를 별도로 인식해야 하는 단점이 있는데 반해, 전자펜을 이용한 사용자 입력은 매체를 통해 이루어지기 때문에 매체와 입력장치가 통합적으로 인식되고 직관적인 조작이 가능하다는 장점이 있다.Generally known user input devices-keyboard, mouse, etc.-are configured independently of the medium, so the user has to recognize the medium and the input device separately, whereas user input using an electronic pen is made through the medium. There is an advantage that the media and the input device are recognized in an integrated manner and intuitive operation is possible.

한편, 일반적으로 알려진 사용자 입력장치-키보드, 마우스 등-보다 사용자 편의성을 더 갖춘 입력장치로서 인공지능스피커(일명, AI(artificial intelligent)스피커)가 개발되고 있다. 인공지능스피커는 사용자의 음성을 인식하고, 음성에 따른 기능을 수행하거나 음성에 대한 대답을 출력하는 장치로서, 사용자의 수작업 없이 사용자의 음성만으로 명령을 입력할 수 있다는 측면에서 종래의 입력장치보다 더 사용자 편의성을 가지고 있는 것으로 평가된다.Meanwhile, artificial intelligence speakers (aka AI (artificial intelligent) speakers) are being developed as input devices with more user convenience than generally known user input devices such as keyboards and mice. An artificial intelligence speaker is a device that recognizes a user's voice, performs a function according to the voice, or outputs a response to the voice. It is evaluated as having user convenience.

하지만, 아직까지 인공지능스피커의 음성인식수준이나 음성이해수준이 높지 않아, 기능이 제한되어 있고 기능 수행에 있어서도 보다 많은 사용자 음성입력을 요구하고 있어서 인공지능스피커가 종래의 입력장치를 완벽하게 대체하지 못하고 있다.However, the artificial intelligence speaker's voice recognition level or voice understanding level is still not high, so its functions are limited and it requires more user voice input in function performance, so the artificial intelligence speaker does not completely replace the conventional input device. I can't.

이러한 배경에서, 본 실시예의 목적은, 인공지능스피커와 연동되는 전자펜을 통해 개선된 사용자 입력장치 기술을 제공하는 것이다.Against this background, it is an object of the present embodiment to provide an improved technology for a user input device through an electronic pen interlocked with an artificial intelligence speaker.

전술한 목적을 달성하기 위하여, 일 실시예는, 제1음성데이터를 분석하여 상기 제1음성데이터에 포함된 음성명령을 인식하고, 상기 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는 인공지능서버; 컨텐츠코드를 수신하고, 상기 컨텐츠코드에 대응되는 컨텐츠데이터를 컨텐츠출력장치로 송신하는 컨텐츠서버; 호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 인식되는 음성을 상기 제1음성데이터로 변환하여 상기 인공지능서버로 송신하는 인공지능스피커; 및 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응되는 코드를 생성하며, 상기 코드 중 상기 컨텐츠코드를 상기 인공지능스피커를 경유하여 상기 컨텐츠서버로 송신하는 전자펜을 포함하고, 상기 인공지능서버는, 상기 음성명령 중 상기 전자펜을 호출하는 전자펜호출명령에 대응되는 제1명령데이터를 상기 인공지능스피커로 송신하고, 상기 인공지능스피커는, 상기 제1명령데이터를 수신하면 무선연결신호를 탐색하여 상기 전자펜과 무선연결하고 전자펜서비스상태로 진입하며, 상기 전자펜서비스상태에서 상기 컨텐츠코드를 상기 컨텐츠서버로 송신하고 상기 컨텐츠서버로부터 수신되는 상기 컨텐츠데이터 중 음성컨텐츠데이터를 내장스피커를 통해 출력하는 전자펜 시스템을 제공한다. In order to achieve the above object, an embodiment is an artificial method that analyzes the first voice data to recognize a voice command included in the first voice data, and transmits command data corresponding to the voice command to a command execution device. Intelligent server; A content server receiving a content code and transmitting content data corresponding to the content code to a content output device; An artificial intelligence speaker that enters a command waiting state when a call voice is recognized, converts the voice recognized in the command waiting state to the first voice data, and transmits the converted voice to the artificial intelligence server; And photographing a pattern image printed in a size that is not visually recognized on a printed matter, generating a code corresponding to the pattern image, and transmitting the content code among the codes to the content server via the artificial intelligence speaker. A pen, and the artificial intelligence server transmits first command data corresponding to an electronic pen call command for calling the electronic pen among the voice commands to the artificial intelligence speaker, and the artificial intelligence speaker includes the first Upon receiving the command data, it searches for a wireless connection signal to wirelessly connect with the electronic pen, enters the electronic pen service state, and transmits the content code to the content server in the electronic pen service state, and the content received from the content server It provides an electronic pen system that outputs voice content data among data through a built-in speaker.

상기 전자펜 시스템에서, 상기 인공지능스피커는, TV(television)서비스상태에서 TV데이터를 수신하고 상기 TV데이터를 TV장치를 통해 출력하며, 상기 전자펜서비스상태에서 상기 컨텐츠데이터 중 영상컨텐츠데이터를 상기 TV장치를 통해 출력할 수 있다.In the electronic pen system, the artificial intelligence speaker receives TV data in a TV (television) service state, outputs the TV data through a TV device, and outputs the image content data among the content data in the electronic pen service state. It can be output through a TV device.

상기 전자펜 시스템에서, 상기 인공지능스피커는, 무선연결된 상기 전자펜으로부터 제품식별데이터를 수신하고 상기 제품식별데이터에 대응되는 상기 전자펜의 외관이미지를 별도의 영상출력장치를 통해 표시In the electronic pen system, the artificial intelligence speaker receives product identification data from the electronic pen connected wirelessly and displays an external image of the electronic pen corresponding to the product identification data through a separate image output device.

상기 전자펜 시스템에서, 상기 전자펜은, 펜스피커를 내장하고, 상기 인공지능스피커와 무선연결되면 상기 펜스피커의 기능을 턴오프할 수 있다.In the electronic pen system, the electronic pen has a built-in pen speaker, and when wirelessly connected to the artificial intelligence speaker, the function of the pen speaker may be turned off.

상기 전자펜 시스템에서, 상기 전자펜은, 복수의 조작버튼으로 구성되는 조작부를 포함하고, 상기 조작버튼에 대응되는 명령코드를 생성하여 상기 인공지능스피커로 송신하며, 상기 인공지능스피커는, 상기 명령코드에 대응되는 기능을 수행하여 음성의 출력이나 영상의 출력을 변경할 수 있다.In the electronic pen system, the electronic pen includes an operation unit consisting of a plurality of operation buttons, generates a command code corresponding to the operation button, and transmits it to the artificial intelligence speaker, wherein the artificial intelligence speaker includes the command By performing a function corresponding to the code, the output of audio or video can be changed.

상기 전자펜 시스템에서, 상기 컨텐츠서버는, 상기 인공지능스피커를 경유하여 상기 전자펜으로부터 수신되는 인터랙티브(interactive)코드에 대응되는 프로그램을 실행시키고, 상기 프로그램의 실행에 따른 영상출력데이터 및 음성출력데이터를 상기 인공지능스피커로 송신하며, 상기 전자펜으로부터 인공지능스피커를 경유하여 상기 전자펜으로부터 명령코드를 수신하여 상기 프로그램의 기능을 조작할 수 있다.In the electronic pen system, the content server executes a program corresponding to an interactive code received from the electronic pen via the artificial intelligence speaker, and image output data and audio output data according to execution of the program Is transmitted to the artificial intelligence speaker, and a command code is received from the electronic pen through the artificial intelligence speaker from the electronic pen to manipulate the function of the program.

상기 전자펜 시스템에서, 상기 전자펜은, 마이크로폰을 더 포함하고 상기 마이크로폰을 통해 생성되는 제2음성데이터를 상기 인공지능스피커를 경유하여 상기 인공지능서버로 송신하고, 상기 인공지능서버는, 상기 제2음성데이터를 텍스트데이터로 변환하여 상기 컨텐츠서버로 송신하고, 상기 컨텐츠서버는, 상기 텍스트데이터의 적합도를 판단하고 판단결과를 상기 인공지능스피커를 통해 출력할 수 있다.In the electronic pen system, the electronic pen further includes a microphone and transmits second voice data generated through the microphone to the artificial intelligence server via the artificial intelligence speaker, and the artificial intelligence server 2 The voice data is converted into text data and transmitted to the content server, and the content server may determine the suitability of the text data and output the determination result through the artificial intelligence speaker.

그리고, 상기 전자펜은, 상기 제2음성데이터를 송신하기 전에 상기 컨텐츠서버로 제1회화문에 대응되는 일 컨텐츠코드를 상기 컨텐츠서버로 송신하고, 상기 컨텐츠서버는, 상기 제1회화문의 대답으로서 미리 설정된 제2회화문과 상기 텍스트데이터의 유사도를 판단하여 상기 판단결과를 생성할 수 있다.And, before transmitting the second voice data, the electronic pen transmits a content code corresponding to the first conversation to the content server to the content server, and the content server, as an answer to the first conversation, The determination result may be generated by determining a similarity between the set second conversational sentence and the text data.

다른 실시예는, 제1음성데이터를 분석하여 상기 제1음성데이터에 포함된 음성명령을 인식하고, 상기 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는 인공지능서버; 복수의 좌표코드를 수신하고, 상기 복수의 좌표코드를 조합하여 텍스트를 생성하고 상기 텍스트, 상기 텍스트를 변환한 음성데이터 및 상기 텍스트에 대응되는 영상데이터 중 적어도 하나를 송신하는 텍스트서버; 호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 인식되는 음성을 상기 제1음성데이터로 변환하여 상기 인공지능서버로 송신하는 인공지능스피커; 및 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응되는 코드를 생성하며, 상기 코드 중 상기 좌표코드를 상기 인공지능스피커를 경유하여 상기 텍스트서버로 송신하는 전자펜을 포함하고, 상기 인공지능서버는, 상기 음성명령 중 상기 전자펜을 호출하는 전자펜호출명령에 대응되는 제1명령데이터를 상기 인공지능스피커로 송신하고, 상기 인공지능스피커는, 상기 제1명령데이터를 수신하면 무선연결신호를 탐색하여 상기 전자펜과 무선연결하고 전자펜서비스상태로 진입하며, 상기 전자펜서비스상태에서 상기 좌표코드를 상기 텍스트서버로 송신하고 상기 텍스트를 변환한 음성데이터를 내장스피커를 통해 출력하거나 상기 텍스트를 미리 선택된 다른 서버로 송신하는 전자펜 시스템을 제공한다. In another embodiment, an artificial intelligence server that analyzes first voice data to recognize a voice command included in the first voice data, and transmits command data corresponding to the voice command to a command execution device; A text server receiving a plurality of coordinate codes, generating text by combining the plurality of coordinate codes, and transmitting at least one of the text, voice data converted from the text, and image data corresponding to the text; An artificial intelligence speaker that enters a command waiting state when a call voice is recognized, converts the voice recognized in the command waiting state to the first voice data, and transmits the converted voice to the artificial intelligence server; And photographing a pattern image printed in a size that is not visually recognized on the printed matter, generating a code corresponding to the pattern image, and transmitting the coordinate code among the codes to the text server via the artificial intelligence speaker. A pen, and the artificial intelligence server transmits first command data corresponding to an electronic pen call command for calling the electronic pen among the voice commands to the artificial intelligence speaker, and the artificial intelligence speaker includes the first Upon receiving the command data, it searches for a wireless connection signal to wirelessly connect with the electronic pen and enters the electronic pen service state. In the electronic pen service state, the coordinate code is transmitted to the text server and the voice data converted from the text is transmitted. It provides an electronic pen system that outputs through a built-in speaker or transmits the text to another preselected server.

상기 다른 서버는, 날짜별로 메모를 기록하고, 상기 전자펜의 고유번호에 대응되는 저장공간에 상기 텍스트를 날짜별로 저장할 수 있다.The other server may record a memo by date, and store the text by date in a storage space corresponding to a unique number of the electronic pen.

또 다른 실시예는, 제1음성데이터를 분석하여 상기 제1음성데이터에 포함된 음성명령을 인식하고, 상기 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는 인공지능서버; 호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 인식되는 음성을 상기 제1음성데이터로 변환하여 상기 인공지능서버로 송신하는 인공지능스피커; 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응되는 코드를 생성하고, 상기 코드 중 인터랙티브(interactive)코드를 상기 인공지능스피커로 송신하는 전자펜; 상기 인공지능스피커로부터 상기 인터랙티브코드를 수신하고, 상기 인터랙티브코드에 대응되는 프로그램을 실행시키며, 상기 프로그램의 실행에 따른 영상출력데이터 및 음성출력데이터를 상기 인공지능스피커로 송신하는 서버; 상기 인공지능서버는, 상기 음성명령 중 상기 전자펜을 호출하는 전자펜호출명령에 대응되는 제1명령데이터를 상기 인공지능스피커로 송신하고, 상기 인공지능스피커는, 상기 제1명령데이터를 수신하면 무선연결신호를 탐색하여 상기 전자펜과 무선연결하고 전자펜서비스상태로 진입하며, 상기 전자펜서비스상태에서 상기 인터랙티브코드를 상기 서버로 송신하고 상기 서버로부터 수신되는 상기 음성출력데이터를 스피커를 통해 출력하는 전자펜 시스템을 제공한다.In yet another embodiment, an artificial intelligence server that analyzes first voice data to recognize a voice command included in the first voice data, and transmits command data corresponding to the voice command to a command execution device; An artificial intelligence speaker that enters a command waiting state when a call voice is recognized, converts the voice recognized in the command waiting state to the first voice data, and transmits the converted voice to the artificial intelligence server; An electronic pen that photographs a pattern image printed in a size that is not visually recognized on a printed matter, generates a code corresponding to the pattern image, and transmits an interactive code among the codes to the artificial intelligence speaker; A server for receiving the interactive code from the artificial intelligence speaker, executing a program corresponding to the interactive code, and transmitting image output data and audio output data according to execution of the program to the artificial intelligence speaker; The artificial intelligence server transmits, to the artificial intelligence speaker, first command data corresponding to an electronic pen call command for calling the electronic pen among the voice commands, and the artificial intelligence speaker receives the first command data. Searching for a wireless connection signal, wirelessly connecting with the electronic pen, entering the electronic pen service state, transmitting the interactive code to the server in the electronic pen service state, and outputting the voice output data received from the server through a speaker It provides an electronic pen system.

상기 전자펜은, 복수의 조작버튼으로 구성되는 조작부를 포함하고, 상기 조작버튼에 대응되는 명령코드를 생성하여 상기 인공지능스피커로 송신하며, 상기 인공지능스피커는, 상기 명령코드에 대응되는 기능을 수행하여 상기 프로그램의 기능을 조작할 수 있다.The electronic pen includes an operation unit composed of a plurality of operation buttons, generates a command code corresponding to the operation button and transmits it to the artificial intelligence speaker, and the artificial intelligence speaker performs a function corresponding to the command code. To manipulate the functions of the program.

이상에서 설명한 바와 같이 본 실시예에 의하면, 인공지능스피커와 전자펜이 연동됨으로써, 종래에 비해 획기적으로 개선된 사용자 편의성을 가지는 입력장치를 제공할 수 있다.As described above, according to the present embodiment, since the artificial intelligence speaker and the electronic pen are interlocked, it is possible to provide an input device having significantly improved user convenience compared to the prior art.

도 1은 일 실시예에 따른 전자펜 시스템의 구성을 나타내는 도면이다.
도 2는 일 실시예에 따른 인공지능스피커의 구성도이다.
도 3은 일 실시예에 따른 전자펜(120)의 구성도이다.
도 4는 일 실시예에 따른 전자펜 시스템에서 컨텐츠를 출력하는 방법의 흐름도이다.
도 5는 일 실시예에 따른 전자펜 시스템에서 각 구성 사이의 신호 흐름을 나타내는 도면이다.
도 6은 일 실시예에 따른 전자펜의 조작부를 나타내는 도면이다.
도 7은 일 실시예에 따른 전자펜 시스템에서 프로그램을 실행시키는 것을 나타내는 도면이다.
도 8은 일 실시예에 따른 전자펜 시스템에서 회화평가가 이루어지는 과정을 나타내는 도면이다.
도 9는 다른 실시예에 따른 전자펜 시스템의 구성을 나타내는 도면이다.
도 10은 다른 실시예에 따른 전자펜 시스템에 적용될 수 있는 인쇄물을 나타내는 도면이다.1 is a diagram illustrating a configuration of an electronic pen system according to an exemplary embodiment.
2 is a block diagram of an artificial intelligence speaker according to an embodiment.
3 is a block diagram of an electronic pen 120 according to an exemplary embodiment.
4 is a flowchart of a method of outputting content in an electronic pen system according to an exemplary embodiment.
5 is a diagram illustrating a signal flow between components in an electronic pen system according to an exemplary embodiment.
6 is a diagram illustrating an operation unit of an electronic pen according to an exemplary embodiment.
7 is a diagram illustrating executing a program in an electronic pen system according to an exemplary embodiment.
8 is a diagram illustrating a process in which conversation evaluation is performed in the electronic pen system according to an exemplary embodiment.
9 is a diagram illustrating a configuration of an electronic pen system according to another embodiment.
10 is a diagram illustrating a printed matter applicable to an electronic pen system according to another exemplary embodiment.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to elements of each drawing, it should be noted that the same elements are assigned the same numerals as possible even if they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the constituent elements of the present invention, terms such as first, second, A, B, (a), (b) may be used. These terms are only used to distinguish the component from other components, and the nature, order, or order of the component is not limited by the term. When a component is described as being "connected", "coupled" or "connected" to another component, the component may be directly connected or connected to that other component, but another component between each component It should be understood that elements may be “connected”, “coupled” or “connected”.

도 1은 일 실시예에 따른 전자펜 시스템의 구성을 나타내는 도면이다.1 is a diagram illustrating a configuration of an electronic pen system according to an exemplary embodiment.

도 1을 참조하면, 전자펜 시스템(100)은 인공지능스피커(110), 전자펜(120), 인공지능서버(130), 컨텐츠서버(140) 등을 포함할 수 있다.Referring to FIG. 1, the electronic pen system 100 may include an artificial intelligence speaker 110, an electronic pen 120, an artificial intelligence server 130, a content server 140, and the like.

인공지능스피커(110)는 사용자(10)의 음성을 음성데이터로 변환하여 인공지능서버(130)로 송신할 수 있다. 그리고, 인공지능서버(130)는 음성데이터에 포함된 음성내용을 인식하고, 음성내용에 대응되는 기능을 수행할 수 있다.The artificial intelligence speaker 110 may convert the voice of the user 10 into voice data and transmit it to the artificial intelligence server 130. In addition, the artificial intelligence server 130 may recognize the voice content included in the voice data and perform a function corresponding to the voice content.

예를 들어, 인공지능서버(130)는 음성데이터에 포함된 음성명령을 인식하고, 음성명령에 대응되는 기능을 수행할 수 있다. 사용자(10)가 "라디오를 연결해 줘"라는 음성을 인공지능스피커(110)로 발화하면, 인공지능스피커(110)는 "라디오를 연결해 줘"라는 음성을 음성데이터-음성데이터는 아날로그신호은 음성을 디지털신호로 변환한 것임-로 변환하고, 변환된 음성데이터를 인공지능서버(130)로 송신할 수 있다. 인공지능서버(130)는 음성데이터에서 음성명령을 추출 혹은 분석하는 기능을 포함할 수 있다. 인공지능서버(130)는 학습된 신경지능망-예를 들어, 뉴럴네트워크 등-을 포함하고 있으면서, 신경지능망에 음성데이터를 입력하고 그 출력으로서 음성명령을 획득할 수 있다. 혹은 인공지능서버(130)는 음성데이터를 텍스트로 변환하는 기능을 포함하고 있고, 텍스트를 룰(rule)기반의 분류 프로그램에 대입시켜 텍스트가 지시하는 음성명령을 확인할 수 있다. 그리고, 인공지능서버(130)는 확인된 음성명령에 대응되는 기능-예를 들어, 라디오 서버에서 출력되는 음성데이터를 스트리밍형태로 인공지능스피커(110)로 송신하는 기능-을 수행할 수 있다.For example, the artificial intelligence server 130 may recognize a voice command included in the voice data and perform a function corresponding to the voice command. When the user 10 utters a voice saying “Connect the radio” to the artificial intelligence speaker 110, the artificial intelligence speaker 110 makes a voice saying “Connect the radio”. Voice data-Voice data is an analog signal. It is converted into a digital signal-and the converted voice data can be transmitted to the artificial intelligence server 130. The artificial intelligence server 130 may include a function of extracting or analyzing a voice command from voice data. The artificial intelligence server 130 may input voice data to the neural intelligent network and obtain a voice command as an output thereof while including the learned neural intelligence network-for example, a neural network. Alternatively, the artificial intelligence server 130 includes a function of converting voice data into text, and by substituting the text into a rule-based classification program, the voice command indicated by the text can be confirmed. Further, the artificial intelligence server 130 may perform a function corresponding to the confirmed voice command-for example, a function of transmitting voice data output from the radio server to the artificial intelligence speaker 110 in a streaming format.

사용자(10)의 음성에 대응되는 음성데이터에서 사용자(10)가 발화한 음성의 음성내용-예를 들어, 음성명령-을 인식하기 위해서는 고용량의 저장장치 및 고성능의 계산장치를 포함할 필요가 있다. 이에 따라, 소형 크기를 가지는 인공지능스피커(110)가 사용자(10)의 음성에서 바로 음성내용을 인식하는 기능을 내장하기는 어렵다. 이러한 난제에 따라, 일반적으로, 인공지능스피커(110)는 사용자(10)의 음성을 음성데이터로 변환하는 기능을 수행하고, 음성데이터로부터 음성내용을 인식하는 기능은 인공지능서버(130)에 의해 수행될 수 있다.It is necessary to include a high-capacity storage device and a high-performance computing device in order to recognize the voice content of the voice uttered by the user 10 in the voice data corresponding to the voice of the user 10-for example, a voice command. . Accordingly, it is difficult for the artificial intelligence speaker 110 having a small size to embed a function of directly recognizing voice content from the voice of the user 10. In accordance with these difficulties, in general, the artificial intelligence speaker 110 performs a function of converting the user's voice to voice data, and the function of recognizing voice contents from the voice data is performed by the artificial intelligence server 130. Can be done.

한편, 인공지능스피커(110)는 사용자(10)가 발화한 음성을 상시적으로 음성데이터로 변환하여 인공지능서버(130)로 송신하지는 않고 특정 상태에서만 사용자(10)의 음성에 대응되는 음성데이터를 인공지능서버(130)로 송신할 수 있다. 그렇지 않은 경우, 인공지능서버(130)가 사용자(10)의 일반적인 대화 내용에 반응하는 문제가 발생할 수 있다.On the other hand, the artificial intelligence speaker 110 converts the voice uttered by the user 10 into voice data at all times and does not transmit it to the artificial intelligence server 130, but only in a specific state, the voice data corresponding to the voice of the user 10 Can be transmitted to the artificial intelligence server 130. Otherwise, a problem in which the artificial intelligence server 130 responds to the general conversation contents of the user 10 may occur.

인공지능스피커(110)는 호출대기상태를 유지하고 있다가 호출음성이 인식되면 명령대기상태로 진입할 수 있다. 호출대기상태에서 사용자(10)의 음성에 대응되는 음성데이터를 인공지능서버(130)로 송신하지 않기 때문에 인공지능스피커(110)는 사용자(10)의 음성에 대응되는 음성데이터가 호출음성에 대응되는지 자체적으로 판단할 수 있다. 후술하는 내용과 같이 인공지능스피커(110)는 내부에 트리거링모듈(triggering module)을 포함하고 있으면서 트리거링모듈을 통해 사용자(10)의 호출음성을 인식하고, 호출음성이 인식될 때, 명령대기상태로 진입할 수 있다.The artificial intelligence speaker 110 may maintain the call waiting state and enter the command waiting state when the call voice is recognized. Since voice data corresponding to the voice of the user 10 is not transmitted to the AI server 130 in the call waiting state, the voice data corresponding to the voice of the user 10 corresponds to the call voice. It can be judged for itself. As described later, the artificial intelligence speaker 110 includes a triggering module inside and recognizes the call voice of the user 10 through the triggering module, and when the call voice is recognized, it enters a command waiting state. You can enter.

인공지능스피커(110)는 명령대기상태에서 인식되는 음성을 음성데이터로 변환하여 인공지능서버(130)로 송신할 수 있다. 명령대기상태에서 인식되는 음성을 이하에서는 제1음성데이터로 명명한다.The artificial intelligence speaker 110 may convert a voice recognized in a command waiting state into voice data and transmit it to the artificial intelligence server 130. The voice recognized in the command waiting state is hereinafter referred to as first voice data.

인공지능서버(130)는 제1음성데이터를 분석하여 제1음성데이터에 포함된 음성명령을 인식할 수 있다. 인공지능서버(130)는 STT(speach to text)엔진을 포함하고 있으면서, 제1음성데이터를 텍스트로 변환하고 텍스트를 신경지능망 등의 분석모듈에 입력하여 그 출력으로서 음성명령을 인식할 수 있다. 그리고, 인공지능서버(130)는 음성명령에 대응되는 명령데이터를 명령수행장치로 송신할 수 있다. 예를 들어, 인공지능서버(130)는 "전등 꺼 줘"라는 음성명령을 인식하고 전등을 턴오프하는 명령데이터를 전등제어장치로 송신할 수 있다.The artificial intelligence server 130 may analyze the first voice data to recognize a voice command included in the first voice data. While the artificial intelligence server 130 includes a speach to text (STT) engine, it converts the first voice data into text and inputs the text into an analysis module such as a neural intelligence network, and recognizes a voice command as an output thereof. In addition, the artificial intelligence server 130 may transmit command data corresponding to the voice command to the command execution device. For example, the artificial intelligence server 130 may recognize a voice command "Turn off the light" and transmit command data for turning off the light to the light control device.

인공지능서버(130)는 제1음성데이터에 포함된 음성명령 중 전자펜(120)을 호출하는 전자펜호출명령을 인식하면 전자펜호출명령에 대응되는 제1명령데이터를 인공지능스피커(110)로 송신할 수 있다. 예를 들어, 사용자(10)가 "세이펜 연결해 줘"라는 음성명령을 발화하면, 인공지능스피커(110)는 이에 대응되는 제1음성데이터를 인공지능서버(130)로 송신하고, 인공지능서버(130)는 제1음성데이터에서 전자펜호출명령을 인식하고 전자펜호출명령에 대응되는 제1명령데이터를 인공지능스피커(110)로 송신할 수 있다.When the artificial intelligence server 130 recognizes the electronic pen call command for calling the electronic pen 120 among the voice commands included in the first voice data, the artificial intelligence speaker 110 transmits the first command data corresponding to the electronic pen call command. Can be sent to. For example, when the user 10 utters a voice command such as "Connect to Seifen", the artificial intelligence speaker 110 transmits the corresponding first audio data to the artificial intelligence server 130, and the artificial intelligence server 130 may recognize the electronic pen call command from the first voice data and transmit first command data corresponding to the electronic pen call command to the artificial intelligence speaker 110.

인공지능스피커(110)는 제1명령데이터를 수신하면 무선연결신호를 탐색하여 전자펜(120)과 무선연결할 수 있다. 예를 들어, 인공지능스피커(110)와 전자펜(120)는 블루투스, 와이파이 등의 무선통신모듈을 포함하고 있으면서, 이러한 무선통신모듈을 통해 무선연결될 수 있다.Upon receiving the first command data, the artificial intelligence speaker 110 may search for a wireless connection signal and wirelessly connect with the electronic pen 120. For example, the artificial intelligence speaker 110 and the electronic pen 120 may include wireless communication modules such as Bluetooth and Wi-Fi, and may be wirelessly connected through these wireless communication modules.

인공지능스피커(110)는 제1명령데이터를 통해 전자펜(120)과 무선연결되면 전자펜서비스상태로 진입할 수 있다.When the artificial intelligence speaker 110 is wirelessly connected to the electronic pen 120 through the first command data, the artificial intelligence speaker 110 may enter the electronic pen service state.

인공지능스피커(110)에서 전자펜서비스상태는 전자펜(120)으로부터 수신되는 각종 코드를 처리할 수 있는 상태로서, 인공지능스피커(110)의 음성을 통한 사용자 입력기능에 더해 전자펜(120)을 통한 사용자 입력기능이 부가된 상태로 이해될 수 있다.The electronic pen service state in the artificial intelligence speaker 110 is a state capable of processing various codes received from the electronic pen 120, and in addition to the user input function through the voice of the artificial intelligence speaker 110, the electronic pen 120 It can be understood as a state in which the user input function through is added.

전자펜(120)은 OID(object identifier)모듈을 포함하고 있으면서, OID모듈을 통해 패턴이미지를 촬영할 수 있다. 패턴이미지는 인쇄물(20)에 시각적으로 인식되지 않는 크기로 인쇄된 이미지로서 OID모듈이 인식할 수 있는 패턴으로 구성된다. 인쇄물(20)에는 시각적으로 인식될 수 있는 크기의 시각이미지가 인쇄될 수 있다. 시각이미지로서 예를 들어, 글자, 도형, 사진 등이 인쇄물(20)에 인쇄될 수 있다. 이에 반해, 패턴이미지는 시각적으로 인식되지 않는 크기로 시각이미지와 중첩되도록 인쇄될 수 있다. 따라서, 사용자(10)는 인쇄물(20)에 인쇄된 시각이미지는 인식할 수 있으나 패턴이미지는 인식할 수 없게 된다. 반대로, 전자펜(120)은 촬영영역이 미세하기 때문에, 패턴이미지를 촬영하여 그에 대응되는 코드를 인식할 수 있으나, 넓은 영역에 인쇄되어 있는 시각이미지는 인식하지 못할 수 있다.The electronic pen 120 includes an object identifier (OID) module and may capture a pattern image through the OID module. The pattern image is an image printed in a size that is not visually recognized on the printed material 20 and is composed of a pattern that can be recognized by the OID module. A visual image of a size that can be visually recognized may be printed on the printed matter 20. As a visual image, for example, characters, figures, photos, etc. may be printed on the printed material 20. On the other hand, the pattern image may be printed to overlap the visual image in a size that is not visually recognized. Accordingly, the user 10 can recognize the visual image printed on the printed material 20 but cannot recognize the pattern image. Conversely, since the electronic pen 120 has a fine photographing area, it may capture a pattern image and recognize a code corresponding thereto, but may not recognize a visual image printed on a large area.

전자펜(120)는 OID모듈을 통해 패턴이미지를 촬영하고, 패턴이미지에 대응되는 코드를 생성할 수 있다. 서로 다른 패턴을 가지는 복수의 패턴이미지들이 미리 정의될 수 있고, 전자펜(120)은 각각의 패턴이미지에 대응되는 코드들을 저장하고 있을 수 있다. 그리고, 전자펜(120)은 특정 패턴이미지가 촬영되면 해당 패턴이미지에 대응되는 코드를 생성할 수 있다.The electronic pen 120 may take a pattern image through the OID module and generate a code corresponding to the pattern image. A plurality of pattern images having different patterns may be predefined, and the electronic pen 120 may store codes corresponding to each pattern image. In addition, when a specific pattern image is captured, the electronic pen 120 may generate a code corresponding to the pattern image.

전자펜(120)는 생성되는 코드들을 인공지능스피커(110)로 송신할 수 있다. 그리고, 인공지능스피커(110)는 수신되는 코드 중 컨텐츠코드를 컨텐츠서버(140)로 송신할 수 있다.The electronic pen 120 may transmit the generated codes to the artificial intelligence speaker 110. In addition, the artificial intelligence speaker 110 may transmit a content code among received codes to the content server 140.

인공지능스피커(110)와 전자펜(120)은 무선통신을 통해 연결되고, 인공지능스피커(110)와 인공지능서버(130) 및 컨텐츠서버(140)는 네트워크(30)를 통해 연결될 수 있다. 인공지능스피커(110), 인공지능서버(130) 및 컨텐츠서버(140)는 IP(internet protocol)주소와 같은 네트워크식별아이디를 가지고 있으면서 네트워크식별아이디를 통해 네트워크(30)에 접속되어 있을 수 있다. 인공지능스피커(110), 인공지능서버(130) 및 컨텐츠서버(140)는 네트워크(30)를 통해 복수의 장치들과 연결되어 있을 수 있다. 예를 들어, 인공지능스피커(110)는 네트워크(30)를 통해 인공지능서버(130)와 정보를 주고 받을 수 있고, 컨텐츠서버(140)와 정보를 주고 받을 수 있다. 이에 반해, 전자펜(120)은 근접지에 위치하는 하나의 장치와 무선연결될 수 있다. 예를 들어, 전자펜(120)은 블루투스를 통해 인공지능스피커(110)와 연결될 수 있다. 전자펜(120)은 인공지능서버(130)와 컨텐츠서버(140)와 정보를 주고 받기 위해 인공지능스피커(110)를 이용할 수 있다. 예를 들어, 전자펜(120)은 인공지능스피커(110)를 통해 컨텐츠코드를 컨텐츠서버(140)로 송신할 수 있고, 인공지능스피커(110)를 통해 컨텐츠서버(140)로부터 정보를 수신할 수 있다.The artificial intelligence speaker 110 and the electronic pen 120 are connected through wireless communication, and the artificial intelligence speaker 110 and the artificial intelligence server 130 and the content server 140 may be connected through a network 30. The artificial intelligence speaker 110, the artificial intelligence server 130, and the content server 140 may be connected to the network 30 through a network identification ID while having a network identification ID such as an IP (internet protocol) address. The artificial intelligence speaker 110, the artificial intelligence server 130 and the content server 140 may be connected to a plurality of devices through the network 30. For example, the artificial intelligence speaker 110 may exchange information with the artificial intelligence server 130 through the network 30 and may exchange information with the content server 140. On the other hand, the electronic pen 120 may be wirelessly connected to a device located in a nearby location. For example, the electronic pen 120 may be connected to the artificial intelligence speaker 110 through Bluetooth. The electronic pen 120 may use the artificial intelligence speaker 110 to exchange information with the artificial intelligence server 130 and the content server 140. For example, the electronic pen 120 may transmit a content code to the content server 140 through the artificial intelligence speaker 110, and receive information from the content server 140 through the artificial intelligence speaker 110. I can.

전자펜(120)는 코드 중 컨텐츠코드를 인공지능스피커(110)를 경유하여 컨텐츠서버(140)로 송신할 수 있다. 그리고, 컨텐츠서버(140)는 컨텐츠코드를 수신하고, 컨텐츠코드에 대응되는 컨텐츠데이터를 컨텐츠출력장치로 송신할 수 있다. 예를 들어, 전자페(120)이 특정 책의 1페이지에 해당되는 컨텐츠코드를 컨텐츠서버(140)로 송신하면, 컨텐츠서버(140)는 해당 페이지의 내용을 음성으로 녹음한 음성컨텐츠데이터 및 해당 페이지의 내용을 영상으로 각색한 영상컨텐츠데이터를 인공지능스피커(110)로 송신할 수 있다.The electronic pen 120 may transmit a content code among the codes to the content server 140 via the artificial intelligence speaker 110. Further, the content server 140 may receive a content code and transmit content data corresponding to the content code to the content output device. For example, when the electronic page 120 transmits a content code corresponding to one page of a specific book to the content server 140, the content server 140 records the content of the page by voice and the corresponding voice content data. The image content data of the page content as an image may be transmitted to the artificial intelligence speaker 110.

인공지능스피커(110)는 컨텐츠서버(140)로부터 수신되는 컨텐츠데이터 중 음성컨텐츠데이터를 내장스피커를 통해 출력할 수 있다. 그리고, 인공지능스피커(110)는 컨텐츠서버(140)로부터 수신되는 컨텐츠데이터 중 영상컨텐츠데이터를 별도의 영상출력장치를 통해 표시할 수 있다.The artificial intelligence speaker 110 may output voice content data among content data received from the content server 140 through the built-in speaker. In addition, the artificial intelligence speaker 110 may display image content data among the content data received from the content server 140 through a separate image output device.

별도의 영상출력장치는 일 예로서, TV(television)장치(40)일 수 있다. 인공지능스피커(110)는 TV서비스상태에서 TV데이터를 수신하고 TV데이터를 TV장치(40)를 통해 출력할 수 있다. TV데이터를 출력하기 위해, 인공지능스피커(110) 내에 셋톱박스가 내장될 수 있다. 실시예에 따라서는 TV장치(40)에 셋톱박스가 부착되거나 셋톱박스가 내장될 수 있다.A separate image output device may be, for example, a television (television) device 40. The artificial intelligence speaker 110 may receive TV data in a TV service state and output TV data through the TV device 40. In order to output TV data, a set-top box may be built into the artificial intelligence speaker 110. Depending on the embodiment, a set-top box may be attached to the TV device 40 or a set-top box may be built-in.

인공지능스피커(110)는 전자펜서비스상태에서 컨텐츠데이터 중 영상컨텐츠데이터를 TV장치(40)를 통해 출력할 수 있다.The artificial intelligence speaker 110 may output image content data of the content data through the TV device 40 in the electronic pen service state.

전자펜(120)은 독자적인 기능 수행을 위해 스피커(펜스피커)를 내장할 수 있다. 그리고, 실시예에 따라서는, 음성컨텐츠데이터가 인공지능스피커(110)에서 출력될 수 있고, 전자펜(120)에서 출력될 수 있다. 인공지능스피커(110)에서 음성컨텐츠데이터가 출력되는 경우, 인공지능스피커(110)와 전자펜(120)이 무선연결되는 경우, 펜스피커의 기능은 턴오프될 수 있다.The electronic pen 120 may have a built-in speaker (pen speaker) to perform its own function. In addition, according to an embodiment, voice content data may be output from the artificial intelligence speaker 110 or may be output from the electronic pen 120. When voice content data is output from the artificial intelligence speaker 110, when the artificial intelligence speaker 110 and the electronic pen 120 are wirelessly connected, the function of the pen speaker may be turned off.

한편, 전자펜 시스템(100)에는 복수의 전자펜(120)이 포함될 수 있고, 인공지능스피커(110)는 무선연결신호를 통해 복수의 전자펜(120)에 대한 제품식별데이터를 수신하고, 각 제품식별데이터에 대응되는 전자펜(120)의 외관이미지를 별도의 영상출력장치-예를 들어, TV장치(40)-를 통해 표시할 수 있다. 그리고, 복수의 외관이미지 중 하나가 사용자(10)에 의해 선택되면 인공지능스피커(110)는 선택된 전자펜(120)과 무선연결되고 해당 전자펜(120)으로부터 수신된 제품식별데이터에 대응되는 전자펜(120)의 외관이미지를 영상출력장치를 통해 표시할 수 있다. 복수의 외관이미지 중 하나를 선택하는 것은 사용자(10)의 음성명령에 의해 이루어질 수 있다.Meanwhile, the electronic pen system 100 may include a plurality of electronic pens 120, and the artificial intelligence speaker 110 receives product identification data for the plurality of electronic pens 120 through a wireless connection signal, and The external image of the electronic pen 120 corresponding to the product identification data may be displayed through a separate image output device-for example, the TV device 40 -. In addition, when one of the plurality of external images is selected by the user 10, the artificial intelligence speaker 110 is wirelessly connected to the selected electronic pen 120, and the electronic device corresponding to the product identification data received from the electronic pen 120 The external image of the pen 120 may be displayed through an image output device. Selecting one of the plurality of exterior images may be performed by a voice command of the user 10.

도 2는 일 실시예에 따른 인공지능스피커의 구성도이다.2 is a block diagram of an artificial intelligence speaker according to an embodiment.

도 2를 참조하면, 인공지능스피커(110)는 음성입력부(210), 음성데이터변환부(220), 트리거링부(230), 제어부(240), 서버통신부(250), 전자펜통신부(260), 음성출력부(270) 등을 포함할 수 있다.Referring to FIG. 2, the artificial intelligence speaker 110 includes a voice input unit 210, a voice data conversion unit 220, a triggering unit 230, a control unit 240, a server communication unit 250, and an electronic pen communication unit 260. , An audio output unit 270, and the like.

음성입력부(210)는 마이크로폰을 포함하고 있으면서, 사용자가 발화한 음성을 아날로그전기신호로 변환할 수 있다. 음성입력부(210)는 필요에 따라 필터를 더 포함하고 있으면서 사용자 주변의 노이즈를 제거하거나 기타 다른 소스에 의해 발생되는 노이즈를 제거할 수 있다.The voice input unit 210 includes a microphone and may convert a voice uttered by a user into an analog electrical signal. The voice input unit 210 may further include a filter if necessary, and may remove noise around the user or noise generated by other sources.

음성입력부(210)에서 변환된 아날로그전기신호는 음성데이터변환부(220)로 전달되고, 음성데이터변환부(220)는 아날로그전기신호를 디지털신호인 음성데이터로 변환할 수 있다.The analog electric signal converted by the voice input unit 210 is transmitted to the voice data conversion unit 220, and the voice data conversion unit 220 may convert the analog electric signal into voice data, which is a digital signal.

트리거링부(230)는 트리거링모듈을 포함하고 있으면서 음성데이터를 미리 설정된 호출음성데이터와 비교하고, 음성데이터가 호출음성데이터와 유사한 경우, 사용자가 호출음성을 발화한 것으로 판단할 수 있다. 트리거링부(230)가 호출음성을 인식하면, 플래그 등을 통해 호출음성이 인식되었음을 제어부(240)로 알릴 수 있다.The triggering unit 230 includes a triggering module and compares the voice data with the preset call voice data, and if the voice data is similar to the call voice data, it may be determined that the user has uttered the call voice. When the triggering unit 230 recognizes the call voice, it may notify the control unit 240 that the call voice has been recognized through a flag or the like.

제어부(240)는 호출대기상태에 있다가 트리거링부(230)로부터 호출음성이 인식되었다는 신호를 전달받으면 명령대기상태로 진입할 수 있다. 제어부(240)는 명령대기상태에 진입했음을 사용자에게 알리기 위해 명령대기상태음성을 음성출력부(270)를 통해 출력할 수 있다.The control unit 240 may enter a command waiting state when a signal indicating that a call voice has been recognized from the triggering unit 230 is transmitted after being in the call waiting state. The control unit 240 may output a command waiting state voice through the voice output unit 270 to inform the user that the command waiting state has entered.

사용자 행위의 관점에서 설명하면, 사용자가 호출음성-예를 들어, "헤이, 스피커"-을 발화하면, 트리거링부(230)가 호출음성을 인식하고, 이에 대응하여, 제어부(240)가 명령대기상태음성-예를 들어, "네, 말씀하세요"-을 음성출력부(270)를 통해 출력할 수 있다.In terms of user behavior, when the user utters a call voice-for example, "hey, speaker"-the triggering unit 230 recognizes the call voice, and in response, the control unit 240 waits for a command. Status voice-for example, "Yes, please speak"-may be output through the voice output unit 270.

음성출력부(270)는 스피커 및 DAC(digital-to-analog converter)를 포함하고 있으면서, 디지털신호인 음성데이터를 아날로그전기신호를 변환하고 아날로그전기신호를 음파로 변환하여 출력할 수 있다.The audio output unit 270 includes a speaker and a digital-to-analog converter (DAC), and converts audio data, which is a digital signal, into an analog electrical signal, and converts the analog electrical signal into sound waves and outputs it.

명령대기상태에서 음성입력부(210)를 통해 입력되는 음성은 음성데이터변환부(220)를 통해 제1음성데이터로 변환된 후 서버통신부(250)를 통해 인공지능서버로 송신될 수 있다. 서버통신부(250)는 도 1을 참조하여 설명한 네트워크와 연결될 수 있으며, 네트워크르 통해 인공지능서버 혹은 컨텐츠서버와 정보를 주고 받을 수 있다. 그리고, 서버통신부(250)는 네트워크를 통해 다른 서버와도 정보를 송수신할 수 있는데, 예를 들어, 서버통신부(250)는 TV데이터서버를 통해 TV데이터를 수신할 수 있고, 스마트홈서버와 연결되면서 가정 내 전기기기를 제어하는 신호/데이터를 송수신할 수 있다.The voice input through the voice input unit 210 in the command waiting state may be converted into first voice data through the voice data conversion unit 220 and then transmitted to the artificial intelligence server through the server communication unit 250. The server communication unit 250 may be connected to the network described with reference to FIG. 1, and may exchange information with an artificial intelligence server or a content server through a network. In addition, the server communication unit 250 may transmit and receive information to and from other servers through a network. For example, the server communication unit 250 may receive TV data through a TV data server, and connect with a smart home server. As a result, it is possible to transmit and receive signals/data that control electric devices in the home.

인공지능서버는 서버통신부(250)를 통해 수신되는 제1음성데이터를 통해 전자펜호출명령을 인식할 수 있다. 그리고, 인공지능서버는 전자펜호출명령에 대응되는 제1명령데이터를 인공지능스피커-예를 들어, 서버통신부(250)-로 송신할 수 있다.The artificial intelligence server may recognize the electronic pen call command through the first voice data received through the server communication unit 250. In addition, the artificial intelligence server may transmit the first command data corresponding to the electronic pen call command to the artificial intelligence speaker-for example, the server communication unit 250 -.

인공지능스피커-예를 들어, 제어부(240)-는 제1명령데이터를 수신한 후 전자페통신부(260)를 통해 무선연결신호를 탐색하여 전자펜과 무선연결할 수 있다. 이때, 전자펜통신부(260)와 전자펜이 무선연결될 수 있다.After receiving the first command data, the artificial intelligence speaker-for example, the control unit 240-may search for a wireless connection signal through the electronic phone communication unit 260 to wirelessly connect the electronic pen. In this case, the electronic pen communication unit 260 and the electronic pen may be wirelessly connected.

전자펜통신부(260)와 전자펜이 무선연결되면 제어부(240)는 전자펜서비스상태로 진입할 수 있다. 그리고, 전자펜서비스상태에서, 전자펜통신부(260)는 전자펜으로부터 각종 코드르 수신할 수 있는데, 이러한 코드 중 컨텐츠코드는 서버통신부(250)를 통해 컨텐츠서버로 송신될 수 있다. 그리고, 컨텐츠서버로부터 수신되는 컨텐츠데이터 중 음성컨텐츠데이터는 음성출력부(270)를 통해 출력될 수 있다.When the electronic pen communication unit 260 and the electronic pen are wirelessly connected, the control unit 240 may enter the electronic pen service state. In the electronic pen service state, the electronic pen communication unit 260 may receive various codes from the electronic pen. Among these codes, the content code may be transmitted to the content server through the server communication unit 250. In addition, the voice content data among the content data received from the content server may be output through the voice output unit 270.

도 3은 일 실시예에 따른 전자펜(120)의 구성도이다.3 is a block diagram of an electronic pen 120 according to an exemplary embodiment.

도 3을 참조하면, 전자펜(120)은 이미지센서(310), 프로세서(320), 통신부(330), 펜스피커(340), 마이크로폰(350) 및 조작부(360)를 포함할 수 있다.Referring to FIG. 3, the electronic pen 120 may include an image sensor 310, a processor 320, a communication unit 330, a pen speaker 340, a microphone 350, and an operation unit 360.

이미지센서(310)는 광을 전기신호로 변환하는 광전소자를 포함하고 있으면서 광전소자를 이용하여 인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영할 수 있다. 이미지센서(310)는 일종의 카메라로서, 국소영역을 정밀하게 촬영할 수 있는 고해상도/고정밀 카메라로 볼 수 있으며, OID(object identifier)모듈이라고 호칭되기도 한다.The image sensor 310 includes a photoelectric device that converts light into an electrical signal, and may capture a pattern image printed on a printed matter in a size that is not visually recognized using the photoelectric device. The image sensor 310 is a type of camera, and can be viewed as a high-resolution/high-precision camera capable of accurately photographing a local area, and is also referred to as an object identifier (OID) module.

프로세서(320)는 코드변환부(322) 및 펜제어부(324)를 포함할 수 있다.The processor 320 may include a code conversion unit 322 and a pen control unit 324.

코드변환부(322)는 이미지센서(310)에서 촬영된 패턴이미지의 패턴을 분석하고 해당 패턴에 대응되는 코드를 생성할 수 있다. 패턴은 예를 들어, 가상의 격자에서 점들이 배치되는 위치에 대한 것으로서, 코드변환부(322)는 촬영된 패턴이미지에서 인식되는 점들의 위치를 이용하여 코드를 생성할 수 있다.The code conversion unit 322 may analyze the pattern of the pattern image photographed by the image sensor 310 and generate a code corresponding to the pattern. The pattern is, for example, for a location where dots are arranged in a virtual grid, and the code conversion unit 322 may generate a code by using the location of the dots recognized in the captured pattern image.

펜제어부(324)는 전자펜(120)의 제반 기능을 제어할 수 있는데, 특히, 코드변환부(322)로부터 수신되는 코드를 확인하고 각각의 코드에 대응되는 기능을 제어할 수 있다.The pen control unit 324 may control all functions of the electronic pen 120. In particular, the pen control unit 324 may check codes received from the code conversion unit 322 and control functions corresponding to each code.

코드는 여러 가지로 세분될 수 있는데, 예를 들어, 코드는 컨텐츠코드, 명령코드 등으로 세분될 수 있다. 컨텐츠코드는 컨텐츠와 매칭되어 있는 코드로서, 펜제어부(324)는 컨텐츠코드가 확인되면 해당 컨텐츠코드에 대응되는 컨텐츠가 사용자에게 표시될 수 있도록 전자펜(120) 혹은 그 주변 기기를 제어할 수 있다. 명령코드는 특정 기능과 매칭되어 있는 코드로서, 펜제어부(324)는 명령코드가 확인되면 해당 명령코드에 대응되는 기능이 수행되도록 전자펜(120) 혹은 그 주변 기기를 제어할 수 있다. 명령코드는 예를 들어, 볼륨업, 볼륨다운, 음소거, 녹음, 이전트랙재생, 이후트랙재생, 일시멈춤, 재생 등의 기능과 매칭될 수 있다.The code may be subdivided into various types, for example, the code may be subdivided into a content code, an instruction code, and the like. The content code is a code that matches the content, and when the content code is confirmed, the pen control unit 324 may control the electronic pen 120 or a peripheral device thereof so that the content corresponding to the content code is displayed to the user. . The command code is a code that matches a specific function, and when the command code is confirmed, the pen control unit 324 may control the electronic pen 120 or a peripheral device thereof so that a function corresponding to the command code is performed. The command code may be matched with functions such as volume up, volume down, mute, recording, previous track playback, subsequent track playback, pause, and playback, for example.

통신부(330)는 주변 기기와 무선통신을 수행하는 모듈로서, 인공지능스피커 혹은 일반 스피커와 블루투스 등의 무선통신을 통해 연결될 수 있다.The communication unit 330 is a module that performs wireless communication with a peripheral device, and may be connected to an artificial intelligence speaker or a general speaker through wireless communication such as Bluetooth.

펜스피커(340)는 음성을 출력하는 장치로서, 컨텐츠코드에 대응되는 컨텐츠데이터 중 음성컨텐츠데이터가 출력될 수 있고, 펜제어부(324)의 제어에 따라 미리 설정된 음성이 출력될 수 있다.The pen speaker 340 is a device that outputs audio, and may output audio content data among content data corresponding to a content code, and may output a preset audio according to the control of the pen controller 324.

마이크로폰(350)은 ADC(analog-to-digital converter)를 포함하고 있으면서, 입력되는 음성을 디지털신호인 음성데이터로 변환하는 모듈이다. 마이크로폰(350)으로 입력되는 음성은 음성데이터로 변환된 후 펜스피커(340)를 통해 출력될 수 있다. 실시예에 따라서는, 프로세서(320)에 오디오믹서가 포함되어 있을 수 있고, 마이크로폰(350)에서 생성되는 음성데이터는 오디오믹서에서 음성컨텐츠데이터와 믹싱된 후 펜스피커(340)를 통해 출력될 수 있다.The microphone 350 is a module that includes an analog-to-digital converter (ADC) and converts an input voice into voice data, which is a digital signal. The voice input through the microphone 350 may be converted into voice data and then output through the pen speaker 340. Depending on the embodiment, an audio mixer may be included in the processor 320, and the voice data generated by the microphone 350 may be mixed with the voice content data in the audio mixer and then output through the pen speaker 340. have.

통신부(330)가 블루투스 등의 무선통신을 통해 외부 스피커 혹은 인공지능스피커와 무선연결되어 있는 경우, 펜스피커의 기능은 턴오프될 수 있다. 이때, 펜스피커(340)로 전달되는 음성데이터는 무선연결된 외부 스피커 혹은 인공지능스피커로 전달되어 출력될 수 있다. 오디오믹서에 의해 믹싱된 음성데이터도 마찬가지로 외부 스피커 혹은 인공지능스피커로 전달되어 출력될 수 있다.When the communication unit 330 is wirelessly connected to an external speaker or an artificial intelligence speaker through wireless communication such as Bluetooth, the function of the pen speaker may be turned off. At this time, the voice data transmitted to the pen speaker 340 may be transmitted to and output to an external speaker or artificial intelligence speaker connected wirelessly. The voice data mixed by the audio mixer can also be transmitted and output to an external speaker or an artificial intelligence speaker.

조작부(360)는 사용자의 수조작을 인식할 수 있는 모듈이다. 조작부(360)는 복수의 조작버튼을 포함하고 있으면서, 각각의 조작버튼이 눌려졌을 때, 서로 다른 명령코드를 생성하여 펜제어부(324)로 전달할 수 있다. 예를 들어, 조작부(360)는 볼률업버튼, 볼륨다운버튼, 음소거버튼, 녹음버튼, 이적트랙재생버튼, 이후트랙재생버튼, 일시멈춤버튼, 재생버튼 등을 포함하고 있으면서, 각 버튼의 눌림에 따라 서로 다른 명령코드를 생성할 수 있다.The operation unit 360 is a module capable of recognizing a user's manual operation. The operation unit 360 includes a plurality of operation buttons, and when each operation button is pressed, different command codes may be generated and transmitted to the pen control unit 324. For example, the control unit 360 includes a volume up button, a volume down button, a mute button, a record button, a transfer track playback button, a subsequent track playback button, a pause button, a playback button, etc. Different command codes can be generated accordingly.

도 4는 일 실시예에 따른 전자펜 시스템에서 컨텐츠를 출력하는 방법의 흐름도이다.4 is a flowchart of a method of outputting content in an electronic pen system according to an exemplary embodiment.

도 4를 참조하면, 인공지능스피커가 먼저 트리거링될 수 있다(S400). 인공지능스피커는 트리거링모듈을 이용하여 호출음성을 인식하면서 트리거링될 수 있다. 인공지능스피커는 트리거링된 후에 명령대기상태로 진입하여 사용자의 음성명령이 이루어질 때까지 대기할 수 있다.Referring to FIG. 4, the artificial intelligence speaker may be triggered first (S400). The artificial intelligence speaker can be triggered while recognizing the call voice using a triggering module. After triggering, the artificial intelligence speaker enters the command waiting state and can wait until the user's voice command is performed.

명령대기상태로 진입한 후에 인공지능스피커는 전자펜을 호출하는 전자펜호출명령을 수신하고, 전자펜호출명령을 제1음성데이터로 변환하여 인공지능서버로 전송할 수 있다. 그리고, 인공지능서버는 수신되는 제1음성데이터에 대한 분석을 통해 전자펜호출명령을 인식할 수 있다(S402).After entering the command waiting state, the artificial intelligence speaker may receive an electronic pen call command for calling the electronic pen, convert the electronic pen call command to first voice data, and transmit it to the artificial intelligence server. Then, the artificial intelligence server may recognize the electronic pen call command through analysis of the received first voice data (S402).

전자펜호출명령이 인식되면, 인공지능서버는 전자펜호출명령에 대응되는 제1명령데이터를 인공지능스피커로 송신할 수 있다. 그리고, 인공지능스피커는 제1명령데이터를 수신한 후에, 무선연결신호를 탐색하여 전자펜과의 통신연결을 시도할 수 있다(S404). 그리고, 인공지능스피커는 무선연결가능상태에 있는 하나의 전자펜과 무선연결될 수 있다(S406).When the electronic pen call command is recognized, the artificial intelligence server may transmit the first command data corresponding to the electronic pen call command to the artificial intelligence speaker. Then, after receiving the first command data, the artificial intelligence speaker may search for a wireless connection signal and attempt a communication connection with the electronic pen (S404). In addition, the artificial intelligence speaker may be wirelessly connected to one electronic pen in a wireless connection enabled state (S406).

그리고, 인공지능스피커는 전자펜서비스상태로 진입하고, 전자펜서비스상태에서 전자펜으로부터 코드를 수신할 수 있다(S408).Then, the artificial intelligence speaker enters the electronic pen service state, and may receive a code from the electronic pen in the electronic pen service state (S408).

인공지능스피커는 코드 중에서 컨텐츠코드가 수신되면, 컨텐츠코드를 컨텐츠서버로 송신하고, 컨텐츠서버로부터 컨텐츠데이터를 수신할 수 있다(S410).When the content code is received from among the codes, the artificial intelligence speaker may transmit the content code to the content server and receive content data from the content server (S410).

컨텐츠데이터에는 영상컨텐츠데이터와 음성컨텐츠데이터가 포함될 수 있는데, 인공지능스피커는 영상컨텐츠데이터를 TV장치 등 별도의 영상출력장치를 이용하여 출력하고, 음성컨텐츠데이터를 내장스피커 등을 이용하여 출력할 수 있다(S412).The content data may include video content data and audio content data, and the artificial intelligence speaker outputs the video content data using a separate video output device such as a TV device, and outputs the audio content data using a built-in speaker. Yes (S412).

도 5는 일 실시예에 따른 전자펜 시스템에서 각 구성 사이의 신호 흐름을 나타내는 도면이다.5 is a diagram illustrating a signal flow between components in an electronic pen system according to an exemplary embodiment.

도 5를 참조하면, 인공지능스피커(110)는 내장된 트리거링모듈을 이용하여 자체적으로 호출음성을 인식하고 트리거링될 수 있다(S400).Referring to FIG. 5, the artificial intelligence speaker 110 may recognize and trigger a call voice by itself using a built-in triggering module (S400).

그리고, 인공지능스피커(110)는 사용자의 발화에 따른 음성명령을 입력받고(S502), 음성명령을 음성데이터로 변환한 후 인공지능서버(130)로 송신할 수 있다(S504).Then, the artificial intelligence speaker 110 may receive a voice command according to the user's utterance (S502), convert the voice command into voice data, and transmit it to the artificial intelligence server 130 (S504).

인공지능서버(130)는 음성데이터를 분석하여 음성명령을 인식하고 음성명령에 대응되는 명령데이터를 명령수행장치로 송신할 수 있는데, 음성명령이 전자펜호출명령임을 인식하게 되면, 전자펜호출명령에 대응되는 제1명령데이터를 인공지능스피커(110)로 송신할 수 있다(S506).The artificial intelligence server 130 can analyze the voice data to recognize the voice command and transmit the command data corresponding to the voice command to the command execution device. When it recognizes that the voice command is an electronic pen call command, the electronic pen call command The first command data corresponding to may be transmitted to the artificial intelligence speaker 110 (S506).

전자펜호출명령에 대응되는 제1명령데이터를 수신하면, 인공지능스피커(110)가 명령수행장치로서 기능하게 되는데, 인공지능스피커(110)는 명령수행장치로서 무선연결신호를 탐색하여 전자펜(120)과의 무선연결을 시도할 수 있다(S404).Upon receiving the first command data corresponding to the electronic pen call command, the artificial intelligence speaker 110 functions as a command execution device, and the artificial intelligence speaker 110 searches for a wireless connection signal as a command execution device and detects the electronic pen ( 120) can be attempted wireless connection (S404).

무선연결신호를 통해 인공지능스피커(110)와 하나의 전자펜(120)이 무선연결될 수 있다(S406). 그리고, 전자펜(120)은 패턴이미지를 촬영하고(S508), 패턴이미지에 대한 코드를 생성하여 인공지능스피커(110)로 송신할 수 있다(S408).The artificial intelligence speaker 110 and one electronic pen 120 may be wirelessly connected through a wireless connection signal (S406). In addition, the electronic pen 120 may take a pattern image (S508), generate a code for the pattern image, and transmit it to the artificial intelligence speaker 110 (S408).

그리고, 인공지능스피커(110)는 코드 중 컨텐츠코드를 컨텐츠서버(140)로 송신하고(S510), 컨텐츠서버(140)로부터 컨텐츠데이터를 수신할 수 있다(S512).In addition, the artificial intelligence speaker 110 may transmit a content code among the codes to the content server 140 (S510), and receive content data from the content server 140 (S512).

그리고, 인공지능스피커(110)는 컨텐츠데이터 중 음성컨텐츠데이터를 내장스피커 등을 이용하여 출력하고(S514), 영상컨텐츠데이터를 TV장치(40) 등 별도의 영상출력장치를 이용하여 출력할 수 있다(S516).In addition, the artificial intelligence speaker 110 may output audio content data among the content data using a built-in speaker, etc. (S514), and output image content data using a separate image output device such as a TV device 40. (S516).

도 6은 일 실시예에 따른 전자펜의 조작부를 나타내는 도면이다.6 is a diagram illustrating an operation unit of an electronic pen according to an exemplary embodiment.

도 6을 참조하면, 전자펜(120)은 복수의 조작버튼(621 ~ 625)으로 구성되는 조작부(620)를 포함할 수 있다. 그리고, 전자펜(120)은 조작버튼에 대응되는 명령코드를 생성하여 인공지능스피커로 송신할 수 있다. 그리고, 인공지능스피커는 명령코드에 대응되는 기능을 수행하여 음성의 출력이나 영상의 출력을 변경할 수 있다. 예를 들어, 일 예로, 전자펜(120)은 제2조작버튼(622)이 눌려질 때, 제2명령코드를 생성하여 인공지능스피커로 송신할 수 있고, 인공지능스피커는 제2명령코드에 대응하여 음성 혹은 영상의 출력을 일시멈춤할 수 있다. 다른 예로, 제1조작버튼(621)이 눌려질 때, 인공지능스피커는 음성 혹은 영상의 출력을 다시 시작할 수 있고, 제3조작버튼(623)이 눌려질 때, 인공지능스피커는 음성 혹은 영상의 출력을 중단할 수 있다. 또 다른 예로, 제4조작버튼(624)이 눌려질 때, 인공지능스피커는 이전트랙-혹은 이전에 재생된 컨텐츠-을 재생할 수 있고, 제5조작버튼(625)이 눌려질 때, 인공지능스피커는 이후트랙-혹은 다음에 재생될 컨텐츠-을 재생할 수 있다.Referring to FIG. 6, the electronic pen 120 may include an operation unit 620 including a plurality of operation buttons 621 to 625. In addition, the electronic pen 120 may generate a command code corresponding to the operation button and transmit it to the artificial intelligence speaker. In addition, the artificial intelligence speaker may change the output of audio or video by performing a function corresponding to the command code. For example, as an example, when the second operation button 622 is pressed, the electronic pen 120 may generate a second command code and transmit it to the artificial intelligence speaker, and the artificial intelligence speaker may be transmitted to the second command code. Correspondingly, the output of audio or video can be paused. As another example, when the first operation button 621 is pressed, the artificial intelligence speaker may resume outputting audio or video, and when the third operation button 623 is pressed, the artificial intelligence speaker Output can be stopped. As another example, when the fourth operation button 624 is pressed, the artificial intelligence speaker can play the previous track-or the previously played content, and when the fifth operation button 625 is pressed, the artificial intelligence speaker Can play a later track-or content to be played next.

한편, 인공지능스피커에서는 프로그램이 실행될 수 있는데, 이러한 프로그램이 인공지능스피커에서 실행될 때, 조작부에 의해 생성되는 명령코드는 프로그램의 기능을 조작하는 것에 사용될 수 있다.Meanwhile, a program can be executed on the artificial intelligence speaker. When such a program is executed on the artificial intelligence speaker, the command code generated by the operation unit can be used to manipulate the function of the program.

도 7은 일 실시예에 따른 전자펜 시스템에서 프로그램을 실행시키는 것을 나타내는 도면이다.7 is a diagram illustrating executing a program in an electronic pen system according to an exemplary embodiment.

도 7을 참조하면, 인공지능스피커(110)는 전자펜(120)으로부터 인터랙티브(interactive)코드를 수신할 수 있다. 그리고, 인공지능스피커(110)는 인터랙티브코드를 컨텐츠서버(140)로 송신할 수 있는데, 컨텐츠서버(140)는 인터랙티브코드에 대응되는 프로그램을 실행시킬 수 있다. 프로그램은 인공지능스피커(110)에 다운로드된 후 인공지능스피커(110)에서 실행될 수도 있고, 컨텐츠서버(140)에서 실행되면서 실행의 결과로서의 영상출력데이터 및 음성출력데이터만 인공지능스피커(110)로 송신될 수 있다. 그리고, 인공지능스피커(110)는 영상출력데이터를 TV장치(40) 등의 별도의 영상출력장치를 통해 출력할 수 있고, 음성출력데이터를 내장스피커 등을 통해 출력할 수 있다.Referring to FIG. 7, the artificial intelligence speaker 110 may receive an interactive code from the electronic pen 120. In addition, the artificial intelligence speaker 110 may transmit the interactive code to the content server 140, and the content server 140 may execute a program corresponding to the interactive code. The program may be downloaded to the artificial intelligence speaker 110 and then executed on the artificial intelligence speaker 110, or executed on the content server 140 and only the image output data and audio output data as a result of execution are transferred to the artificial intelligence speaker 110. Can be sent. Further, the artificial intelligence speaker 110 may output image output data through a separate image output device such as the TV device 40, and may output audio output data through a built-in speaker.

한편, 프로그램에 대한 조작은 전자펜(120)에서 생성되는 명령코드에 의해 이루어질 수 있다. 전자펜(120)은 조작부에 배치되는 조작버튼의 눌림을 인식하고, 각 조작버튼에 대응되는 명령코드를 생성하여 인공지능스피커(110)로 송신할 수 있다. 인공지능스피커(110)에서 프로그램이 실행되는 경우, 인공지능스피커(110)는 조작버튼에 대응되는 명령코드를 인식하여 프로그램의 기능을 조작할 수 있다. 그리고, 컨텐츠서버(140)에서 프로그램이 실행되는 경우, 인공지능스피커(110)는 조작버튼에 대응되는 명령코드를 컨텐츠서버(140)로 송신하고, 컨텐츠서버(140)는 명령코드를 인식하여 프로그램의 기능을 조작할 수 있다.Meanwhile, the manipulation of the program may be performed by a command code generated by the electronic pen 120. The electronic pen 120 recognizes a press of an operation button disposed on the operation unit, generates a command code corresponding to each operation button, and transmits it to the artificial intelligence speaker 110. When a program is executed on the artificial intelligence speaker 110, the artificial intelligence speaker 110 may recognize a command code corresponding to an operation button to manipulate a function of the program. And, when the program is executed in the content server 140, the artificial intelligence speaker 110 transmits a command code corresponding to the operation button to the content server 140, and the content server 140 recognizes the command code and You can manipulate the functions of

도 8은 일 실시예에 따른 전자펜 시스템에서 회화평가가 이루어지는 과정을 나타내는 도면이다.8 is a diagram illustrating a process in which conversation evaluation is performed in the electronic pen system according to an exemplary embodiment.

도 8을 참조하면, 전자펜(120)은 마이크로폰을 통해 생성되는 제2음성데이터를 인공지능스피커(110)를 경유하여 인공지능서버(130)로 송신할 수 있다. 그리고, 인공지능서버(130)는 제2음성데이터를 텍스트데이터로 변환(STT: speech-to-text)하여 컨텐츠서버(140)로 송신할 수 있다. 그리고, 컨텐츠서버(140)는 텍스트데이터의 적합도를 판단하고, 판단결과를 인공지능스피커(110)를 통해 출력할 수 있다.Referring to FIG. 8, the electronic pen 120 may transmit second voice data generated through a microphone to the artificial intelligence server 130 via the artificial intelligence speaker 110. In addition, the artificial intelligence server 130 may convert the second voice data into text data (speech-to-text) and transmit it to the content server 140. In addition, the content server 140 may determine the suitability of the text data and output the determination result through the artificial intelligence speaker 110.

전자펜(120)은 제2음성데이터를 송신하기 전에 컨텐츠서버(140)로 제1회화문에 대응되는 일 컨텐츠코드를 컨텐츠서버(140)로 송신하고, 컨텐츠서버(140)는 제1회화문의 대답으로서 미리 설정된 제2회화문과 STT를 통해 변환된 텍스트데이터의 유사도를 판단하여 전술한 판단결과를 생성할 수 있다.Before transmitting the second voice data, the electronic pen 120 transmits a content code corresponding to the first conversation to the content server 140 to the content server 140, and the content server 140 answers the first conversation. As a result, the above-described determination result may be generated by determining the similarity between the second conversational sentence and the text data converted through STT.

인쇄물(20)에는 제1회화문이 시각적으로 인식될 수 있는 크기로 인쇄되어 있고, 제1회화문에 대응되는 패턴이미지가 시각적으로 인식되지 않는 크기로 인쇄되어 있을 수 있다. 그리고, 인쇄물(20)에는 제1회화문에 대응되는 대답부분이 빈칸으로 형성되어 있을 수 있다.On the printed matter 20, the first conversational sentence may be printed in a size that can be visually recognized, and a pattern image corresponding to the first conversational sentence may be printed in a size that is not visually recognized. In addition, an answer portion corresponding to the first conversation sentence may be formed in a blank on the printed matter 20.

사용자는 제1회화문을 확인하고 전자펜(120)으로 제1회화문을 지시할 수 있는데, 이때, 제1회화문에 대응되는 음성컨텐츠 및/혹은 영상컨텐츠가 인공지능스피커를 통해 출력될 수 있다. 그리고, 사용자는 제1회화문에 대한 대답으로서 특정 음성을 발화할 수 있는데, 이러한 음성은 인공지능스피커(110)에서 제2음성데이터로 변환된 후에 인공지능서버(130)로 송신될 수 있다.The user may check the first conversation sentence and instruct the first conversation sentence with the electronic pen 120. At this time, voice content and/or video content corresponding to the first conversation sentence may be output through the artificial intelligence speaker. In addition, the user may utter a specific voice as an answer to the first conversation, and this voice may be converted into second voice data in the artificial intelligence speaker 110 and then transmitted to the artificial intelligence server 130.

인공지능서버(130)는 제2음성데이터를 STT엔진을 이용하여 텍스트데이터로 변환하고, 텍스트데이터를 컨텐츠서버(140)로 송신할 수 있다. 이때, 인공지능서버(130)는 텍스트데이터를 인공지능스피커(110)를 경유하여 송신할 수 있는데, 인공지능서버(110)는 텍스트데이터를 인공지능스피커(110)로 송신하고, 인공지능스피커(110)는 텍스트데이터를 컨텐츠서버(140)로 송신할 수 있다.The artificial intelligence server 130 may convert the second voice data into text data using the STT engine and transmit the text data to the content server 140. At this time, the artificial intelligence server 130 may transmit text data through the artificial intelligence speaker 110, the artificial intelligence server 110 transmits the text data to the artificial intelligence speaker 110, and the artificial intelligence speaker ( 110) may transmit text data to the content server 140.

그리고, 컨텐츠서버(140)는 사용자의 대답이 적절한지를 판단하기 위해 수신되는 텍스트데이터와 미리 설정된 제2회화문의 유사도를 판단하고 판단결과를 인공지능스피커(110)로 송신할 수 있다. 이때, 제2회화문은 복수 개로 설정될 수 있고, 컨텐츠서버(140)는 복수의 제2회화문 각각과 텍스테이터의 유사도를 판단하고 유사도가 가장 높게 나온 것으로 판단결과를 생성할 수 있다.In addition, the content server 140 may determine a similarity between the received text data and a preset second conversational sentence in order to determine whether the user's answer is appropriate, and transmit the determination result to the artificial intelligence speaker 110. In this case, a plurality of second conversational sentences may be set, and the content server 140 may determine a similarity between each of the plurality of second conversational sentences and a text stator, and generate a determination result as having the highest similarity.

도 9는 다른 실시예에 따른 전자펜 시스템의 구성을 나타내는 도면이다.9 is a diagram illustrating a configuration of an electronic pen system according to another embodiment.

도 9를 참조하면, 전자펜 시스템(900)은 인공지능스피커(110), 전자펜(120), 인공지능서버(130) 및 텍스트서버(940) 등을 포함할 수 있다.Referring to FIG. 9, the electronic pen system 900 may include an artificial intelligence speaker 110, an electronic pen 120, an artificial intelligence server 130, a text server 940, and the like.

인쇄물(920)에는 사용자가 시각적으로 인식할 수 없는 크기로 인쇄된 패턴이미지가 포함될 수 있는데, 전자펜(120)은 이러한 패턴이미지를 촬영하고 패턴이미지에 대응되는 코드를 생성할 수 있다.The printed material 920 may include a pattern image printed in a size that is not visually recognized by the user, and the electronic pen 120 may photograph the pattern image and generate a code corresponding to the pattern image.

다른 실시예에서 인쇄물(920)에 인쇄된 패턴이미지는 좌표코드에 대응되는 패턴이미지일 수 있다. 전자펜(120)은 이러한 패턴이미지를 촬영하고 좌표코드를 생성하여 인공지능스피커(110)로 송신할 수 있다. 그리고, 인공지능스피커(110)는 좌표코드를 텍스트서버(940)로 송신할 수 있다.In another embodiment, the pattern image printed on the printed matter 920 may be a pattern image corresponding to a coordinate code. The electronic pen 120 may photograph such a pattern image, generate a coordinate code, and transmit it to the artificial intelligence speaker 110. In addition, the artificial intelligence speaker 110 may transmit the coordinate code to the text server 940.

도 1을 참조하여 설명한 것과 같이, 호출음성이 인식되면, 인공지능스피커(110)는 명령대기상태로 진입하고, 명령대기상태에서 인식되는 음성을 제1음성데이터로 변환하여 인공지능서버(130)로 송신할 수 있다.As described with reference to FIG. 1, when the call voice is recognized, the artificial intelligence speaker 110 enters the command waiting state, converts the voice recognized in the command waiting state into first voice data, and the artificial intelligence server 130 Can be sent to.

그리고, 인공지능서버(130)는 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는데, 음성명령 중에서 전자펜을 호출하는 전자펜호출명령을 인식하면 이에 대응되는 제1명령데이터를 인공지능스피커(110)로 송신할 수 있다.In addition, the artificial intelligence server 130 transmits command data corresponding to the voice command to the command execution device. If the electronic pen call command for calling the electronic pen among the voice commands is recognized, the first command data corresponding thereto is transmitted to the artificial intelligence speaker. It can be sent to (110).

인공지능스피커(110)는 제1명령데이터를 수신하면 무선연결신호를 탐색하여 전자펜(120)과 무선연결하고 전자펜서비스상태로 진입할 수 있다.Upon receiving the first command data, the artificial intelligence speaker 110 may search for a wireless connection signal to wirelessly connect with the electronic pen 120 and enter the electronic pen service state.

그리고, 인공지능스피커(110)는 전자펜서비스상태에서 전자펜(120)으로부터 좌표코드를 수신하고 좌표코드를 텍스트서버(940)로 송신할 수 있다.In addition, the artificial intelligence speaker 110 may receive a coordinate code from the electronic pen 120 in the electronic pen service state and transmit the coordinate code to the text server 940.

전자펜(120)는 다수의 좌표코드를 연속하여 인공지능스피커(110)로 송신할 수 있고, 인공지능스피커(110)는 다수의 좌표코드를 텍스트서버(940)로 송신할 수 있다.The electronic pen 120 may continuously transmit a plurality of coordinate codes to the artificial intelligence speaker 110, and the artificial intelligence speaker 110 may transmit a plurality of coordinate codes to the text server 940.

텍스트서버(940)는 복수의 좌표코드를 수신하고, 복수의 좌표코드를 조합하여 텍스트를 생성할 수 있다. 그리고, 텍스트서버(940)는 텍스트를 변환한 음성데이터 및/또는 텍스트에 대응되는 영상데이터를 인공지능스피커(110)로 송신하고, 인공지능스피커(110)는 내장스피커를 이용하여 음성데이터를 출력할 수 있고, 텍스트를 미리 선택된 다른 서버로 송신할 수 있다.The text server 940 may receive a plurality of coordinate codes and generate text by combining a plurality of coordinate codes. And, the text server 940 transmits the text-converted voice data and/or the image data corresponding to the text to the artificial intelligence speaker 110, and the artificial intelligence speaker 110 outputs the audio data using the built-in speaker. You can, and you can send the text to another preselected server.

여기서, 다른 서버는 날짜 혹은 시간별로 메모를 기록하고, 전자펜(120) 혹은 인공지능스피커(110)의 고유번호에 대응되는 저장공간에 텍스트를 날짜 혹은 시간별로 저장할 수 있다.Here, the other server may record a memo by date or time, and store the text by date or time in a storage space corresponding to a unique number of the electronic pen 120 or the artificial intelligence speaker 110.

도 10은 다른 실시예에 따른 전자펜 시스템에 적용될 수 있는 인쇄물을 나타내는 도면이다.10 is a diagram illustrating a printed matter applicable to an electronic pen system according to another exemplary embodiment.

도 10을 참조하면, 인쇄물에는 시각적으로 인식될 수 있는 크기의 격자들이 인쇄되고, 시각적으로 인식될 수 없는 크기의 패턴이미지가 위치별로 서로 다른 패턴으로 인쇄될 수 있다.Referring to FIG. 10, grids having a size that can be visually recognized may be printed on a printed matter, and pattern images having a size that cannot be recognized visually may be printed in different patterns for each location.

전자펜(120)에는 잉크와 같은 쓰기 수단이 포함되어 있고, 사용자가 전자펜(120)을 인쇄물(920)에 접촉할 때, 인쇄물(920)에 잉크와 같은 쓰기 수단이 뭍어 나올 수 있다.The electronic pen 120 includes a writing means such as ink, and when a user contacts the electronic pen 120 with the printed material 920, a writing means such as ink may be deposited on the printed material 920.

사용자는 이러한 전자펜(120)의 쓰기 수단을 이용하여 인쇄물(920)에 글씨 혹은 그림을 그릴 수 있다. 전자펜(120)은 인쇄물(920)에 잉크와 같은 쓰기 수단을 뭍이면서 동시에 같은 위치를 OID모듈을 이용하여 촬영할 수 있다. 그리고, 전자펜(120)은 그 촬영된 패턴이미지에 대응되는 좌표코드를 인공지능스피커를 경유하여 텍스트서버로 송신할 수 있다. 그러면, 텍스트서버는 인쇄물(920)에 그려진 글씨 혹은 그림에 대응되는 좌표코드들을 수신할 수 있고, 사용자가 의도한 글씨를 텍스트로 변환할 수 있다.The user may draw letters or pictures on the printed matter 920 using the writing means of the electronic pen 120. The electronic pen 120 may place a writing means such as ink on the printed material 920 and simultaneously photograph the same location using the OID module. In addition, the electronic pen 120 may transmit a coordinate code corresponding to the captured pattern image to the text server via an artificial intelligence speaker. Then, the text server may receive coordinate codes corresponding to the text or picture drawn on the printed material 920, and may convert the text intended by the user into text.

인쇄물(920)에는 별도의 고유번호가 있는데, 전술한 다른 서버는 이러한 고유번호에 대응되는 저장공간에 인식된 글씨 혹은 그림을 저장할 수 있다.The printed material 920 has a separate identification number, and the other server described above may store the recognized text or picture in a storage space corresponding to the identification number.

이상에서 설명한 바와 같이 본 실시예에 의하면, 인공지능스피커와 전자펜이 연동됨으로써, 종래에 비해 획기적으로 개선된 사용자 편의성을 가지는 입력장치를 제공할 수 있다.As described above, according to the present embodiment, since the artificial intelligence speaker and the electronic pen are interlocked, it is possible to provide an input device having significantly improved user convenience compared to the prior art.

이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as "include", "consist of", or "have" described above, unless otherwise stated, mean that the corresponding component may be included, and thus other components are not excluded. It should be interpreted as being able to further include other components. All terms, including technical or scientific terms, unless otherwise defined, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms generally used, such as terms defined in the dictionary, should be interpreted as being consistent with the meaning in the context of the related technology, and are not interpreted as ideal or excessively formal meanings unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

Claims (5)

제1음성데이터를 분석하여 상기 제1음성데이터에 포함된 음성명령을 인식하고, 상기 음성명령에 대응되는 명령데이터를 명령수행장치로 송신하는 인공지능서버;
호출음성이 인식되면 명령대기상태로 진입하고, 상기 명령대기상태에서 인식되는 음성을 상기 제1음성데이터로 변환하여 상기 인공지능서버로 송신하는 인공지능스피커;
인쇄물에 시각적으로 인식되지 않는 크기로 인쇄된 패턴이미지를 촬영하고, 상기 패턴이미지에 대응되는 코드를 생성하고, 상기 코드 중 인터랙티브(interactive)코드를 상기 인공지능스피커로 송신하는 전자펜;
상기 인공지능스피커로부터 상기 인터랙티브코드를 수신하고, 상기 인터랙티브코드에 대응되는 프로그램을 실행시키며, 상기 프로그램의 실행에 따른 영상출력데이터 및 음성출력데이터를 상기 인공지능스피커로 송신하는 서버;
상기 인공지능서버는,
상기 음성명령 중 상기 전자펜을 호출하는 전자펜호출명령에 대응되는 제1명령데이터를 상기 인공지능스피커로 송신하고,
상기 인공지능스피커는,
상기 제1명령데이터를 수신하면 무선연결신호를 탐색하여 상기 전자펜과 무선연결하고 전자펜서비스상태로 진입하며, 상기 전자펜서비스상태에서 상기 인터랙티브코드를 상기 서버로 송신하고 상기 서버로부터 수신되는 상기 음성출력데이터를 스피커를 통해 출력하는 전자펜 시스템.An artificial intelligence server that analyzes the first voice data to recognize a voice command included in the first voice data, and transmits command data corresponding to the voice command to a command execution device;
An artificial intelligence speaker that enters a command waiting state when a call voice is recognized, converts the voice recognized in the command waiting state to the first voice data, and transmits the converted voice to the artificial intelligence server;
An electronic pen that photographs a pattern image printed in a size that is not visually recognized on a print, generates a code corresponding to the pattern image, and transmits an interactive code of the codes to the artificial intelligence speaker;
A server for receiving the interactive code from the artificial intelligence speaker, executing a program corresponding to the interactive code, and transmitting image output data and audio output data according to execution of the program to the artificial intelligence speaker;
The artificial intelligence server,
Among the voice commands, first command data corresponding to an electronic pen call command for calling the electronic pen is transmitted to the artificial intelligence speaker,
The artificial intelligence speaker,
Upon receiving the first command data, a wireless connection signal is searched, wirelessly connected to the electronic pen, and the electronic pen service state is entered. In the electronic pen service state, the interactive code is transmitted to the server and received from the server. Electronic pen system that outputs voice output data through a speaker. 제1항에 있어서,
상기 인공지능스피커는,
TV(television)서비스상태에서 TV데이터를 수신하고 상기 TV데이터를 TV장치를 통해 출력하며, 상기 전자펜서비스상태에서 상기 영상출력데이터를 상기 TV장치를 통해 출력하는 전자펜 시스템.The method of claim 1,
The artificial intelligence speaker,
An electronic pen system for receiving TV data in a TV (television) service state, outputting the TV data through a TV device, and outputting the image output data through the TV device in the electronic pen service state. 제1항에 있어서,
상기 인공지능스피커는,
무선연결된 상기 전자펜으로부터 제품식별데이터를 수신하고 상기 제품식별데이터에 대응되는 상기 전자펜의 외관이미지를 별도의 영상출력장치를 통해 표시하는 전자펜 시스템.The method of claim 1,
The artificial intelligence speaker,
An electronic pen system for receiving product identification data from the wirelessly connected electronic pen and displaying an external image of the electronic pen corresponding to the product identification data through a separate image output device. 제1항에 있어서,
상기 전자펜은,
펜스피커를 내장하고, 상기 인공지능스피커와 무선연결되면 상기 펜스피커의 기능을 턴오프하는 전자펜 시스템.The method of claim 1,
The electronic pen,
An electronic pen system that includes a pen speaker and turns off the function of the pen speaker when wirelessly connected to the artificial intelligence speaker. 제1항에 있어서,
상기 전자펜은,
복수의 조작버튼으로 구성되는 조작부를 포함하고, 상기 조작버튼에 대응되는 명령코드를 생성하여 상기 인공지능스피커로 송신하며,
상기 인공지능스피커는,
상기 명령코드에 대응되는 기능을 수행하여 상기 프로그램의 기능을 조작하는 전자펜 시스템.The method of claim 1,
The electronic pen,
It includes an operation unit composed of a plurality of operation buttons, generates a command code corresponding to the operation button and transmits it to the artificial intelligence speaker,
The artificial intelligence speaker,
An electronic pen system that operates a function of the program by performing a function corresponding to the command code.
KR1020200055761A 2020-05-11 2020-05-11 Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker KR102156055B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200055761A KR102156055B1 (en) 2020-05-11 2020-05-11 Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200055761A KR102156055B1 (en) 2020-05-11 2020-05-11 Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180108804A Division KR102156054B1 (en) 2018-09-12 2018-09-12 Electronic pen system interlocked with artificial intelligent speaker

Publications (2)

Publication Number Publication Date
KR20200054152A KR20200054152A (en) 2020-05-19
KR102156055B1 true KR102156055B1 (en) 2020-09-15

Family

ID=70913305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200055761A KR102156055B1 (en) 2020-05-11 2020-05-11 Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker

Country Status (1)

Country Link
KR (1) KR102156055B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220149832A (en) 2021-04-30 2022-11-09 주식회사 다비다 English learning platform system and service providing method using smart pen and artificial intelligence speaker based on IoT star network

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130133629A (en) * 2012-05-29 2013-12-09 삼성전자주식회사 Method and apparatus for executing voice command in electronic device
KR101879273B1 (en) * 2016-07-15 2018-07-17 김철회 Electronic pen for electronic data streaming service, system and method for electronic data streaming output using the electronic pen
KR102554551B1 (en) * 2016-08-10 2023-07-11 김철회 Electronic pen and user authentication method of the electronic pen
KR20170129045A (en) * 2017-03-31 2017-11-24 김철회 Electronic pen for contents streaming service, system and method for providing contents streaming service using the electronic pen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220149832A (en) 2021-04-30 2022-11-09 주식회사 다비다 English learning platform system and service providing method using smart pen and artificial intelligence speaker based on IoT star network

Also Published As

Publication number Publication date
KR20200054152A (en) 2020-05-19

Similar Documents

Publication Publication Date Title
US11574115B2 (en) Method of processing analog data and electronic device thereof
US8873722B2 (en) Cradle for mobile telephone, videophone system, karaoke system, car navigation system, and emergency information notification system
US20100268929A1 (en) Electronic device and setting method thereof
CN101480039A (en) Voice remote control
CN101799975A (en) Study type remote controller and press key template establishment method thereof
CN113572889B (en) Simplifying user interface generation
CN111522524B (en) Presentation control method and device based on conference robot, storage medium and terminal
KR102156055B1 (en) Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker
KR102164773B1 (en) Electronic pen system interlocked with artificial intelligent speaker with microphone
KR102164774B1 (en) Electronic pen system for controlling function of artificial intelligent speaker
JP4268667B2 (en) Audio information recording device
KR102156054B1 (en) Electronic pen system interlocked with artificial intelligent speaker
CN107277368A (en) A kind of image pickup method and filming apparatus for smart machine
CN114489331A (en) Method, apparatus, device and medium for interaction of separated gestures distinguished from button clicks
KR20200056962A (en) Electronic pen system for controlling tv in conjunction with artificial intelligence speaker
CN111723653A (en) Drawing book reading method and device based on artificial intelligence
US20220114367A1 (en) Communication system, display apparatus, and display control method
CN202798910U (en) Scanner capable of being controlled by speeches
KR102112931B1 (en) System for tv control
CN106453981B (en) Electronic equipment method for processing voice messages and device
CN112040326A (en) Bullet screen control method and system, television and storage medium
CN210402846U (en) Sign language translation terminal and sign language translation server
US20220284894A1 (en) Electronic device for processing user utterance and operation method therefor
CN116880698A (en) Intelligent interaction system for digital middle platform
WO2019023869A1 (en) Speech outputting method and speech outputting system based on intelligent terminal

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant