KR102356789B1 - Communication system and control method that can control device based on voice - Google Patents

Communication system and control method that can control device based on voice Download PDF

Info

Publication number
KR102356789B1
KR102356789B1 KR1020190160645A KR20190160645A KR102356789B1 KR 102356789 B1 KR102356789 B1 KR 102356789B1 KR 1020190160645 A KR1020190160645 A KR 1020190160645A KR 20190160645 A KR20190160645 A KR 20190160645A KR 102356789 B1 KR102356789 B1 KR 102356789B1
Authority
KR
South Korea
Prior art keywords
screen
virtual
real
control command
client device
Prior art date
Application number
KR1020190160645A
Other languages
Korean (ko)
Other versions
KR20210070645A (en
Inventor
정영섭
김다혜
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to KR1020190160645A priority Critical patent/KR102356789B1/en
Publication of KR20210070645A publication Critical patent/KR20210070645A/en
Application granted granted Critical
Publication of KR102356789B1 publication Critical patent/KR102356789B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법을 개시한다. 본 발명의 일 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 클라이언트 디바이스; 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며, 상기 클라이언트 디바이스는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킨다.Disclosed are a conversation system and a control method capable of controlling a device based on voice. According to an aspect of the present invention, there is provided a dialogue system capable of controlling a device based on voice, comprising: a client device that displays a real-time image received from a virtual conversation agent on a screen, and receives and transmits a control command from a user; a virtual conversation agent that captures a real-time screen using a camera and receives and transmits a control command from the client device; and one or more IoT electronic devices that receive a control command from the virtual dialog agent and perform a corresponding operation, wherein the client device synthesizes an artificial intelligence character in virtual reality so that the virtual dialog agent controls the IoT electronic device operation is implemented as an image to be displayed on the screen, and based on the virtual reality-based image including the artificial intelligence character and the captured real-time screen, virtual reality and augmented reality are mutually linked.

Description

음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법{Communication system and control method that can control device based on voice}Communication system and control method that can control device based on voice

본 발명은 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법에 관한 것으로, 더욱 상세하게는 증강현실과 가상현실을 혼합한 혼합현실 환경에서 음성을 이용하여 현실세계에 존재하는 기기의 제어가 가능한 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법에 관한 것이다.The present invention relates to a dialogue system and a control method capable of controlling a device based on voice, and more particularly, to control a device existing in the real world using voice in a mixed reality environment in which augmented reality and virtual reality are mixed. It relates to a conversation system and a control method capable of controlling a device based on a possible voice.

사용자와 컴퓨터 간의 의사소통 방법에 점차 음성의 중요성이 대두되고 있으며, 이러한 대화시스템을 통해 사용자가 컴퓨터 및 전자기기 등을 제어하는 것이 가능해지고 있다. 예컨대, 사용자는 스마트홈으로 구성된 전자기기들을 네트워크로 연결된 스마트폰(제어 어플리케이션이 포함된 스마트폰)을 이용하여 음성을 통한 제어 명령으로 전자기기들을 제어할 수 있다. The importance of voice is gradually emerging in a communication method between a user and a computer, and it is becoming possible for a user to control a computer and electronic devices through such a conversation system. For example, a user may control the electronic devices configured as a smart home by using a control command through voice using a smart phone (smartphone including a control application) connected through a network.

하지만, 상술한 바와 같은 현재의 대화시스템은 단순히 사용자가 음성을 통해 제어 명령을 전달하고 전자기기는 그에 대응하는 동작을 수행할 뿐, 사용자 입장에서는 제어가 올바르게 수행되고 있는지 직접적으로 확인을 할 수 없어 현실성이 떨어진다는 문제점이 있다. However, in the current conversation system as described above, the user simply transmits a control command through voice and the electronic device performs a corresponding operation, and the user cannot directly check whether the control is being performed correctly. There is a problem with the lack of realism.

한국등록특허 제10-1788248호(2017.10.20 공고)Korean Patent Registration No. 10-1788248 (2017.10.20 Announcement)

본 발명은 상기와 같은 문제점을 해결하기 위해 제안된 것으로서, 가상현실에 인공지능 캐릭터를 합성하여 음성 기반의 제어 명령에 따른 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시켜 디스플레이 할 수 있는 음성을 기반으로 기기의 제어가 가능한 대화시스템 및 제어 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and by synthesizing an artificial intelligence character in virtual reality, the operation according to the voice-based control command is realized as an image and displayed on the screen, and virtual reality including the artificial intelligence character An object of the present invention is to provide a dialogue system and a control method capable of controlling a device based on a voice that can be displayed by interworking virtual reality and augmented reality based on a base image and a captured real-time screen.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 일 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention may be understood by the following description, and will be more clearly understood by an embodiment of the present invention. Further, it will be readily apparent that the objects and advantages of the present invention can be realized by the means and combinations thereof indicated in the claims.

상기와 같은 목적을 달성하기 위한 본 발명의 일 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 클라이언트 디바이스; 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며, 상기 클라이언트 디바이스는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킨다.According to an aspect of the present invention for achieving the above object, a dialogue system capable of controlling a device based on voice displays a real-time image received from a virtual conversation agent on a screen, and receives and transmits a control command from a user a client device that does; a virtual conversation agent that captures a real-time screen using a camera and receives and transmits a control command from the client device; and one or more IoT electronic devices that receive a control command from the virtual dialog agent and perform a corresponding operation, wherein the client device synthesizes an artificial intelligence character in virtual reality so that the virtual dialog agent controls the IoT electronic device operation is implemented as an image to be displayed on the screen, and based on the virtual reality-based image including the artificial intelligence character and the captured real-time screen, virtual reality and augmented reality are mutually linked.

상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 한다. The IoT electronic device is characterized in that it is connected by an IoT network.

삭제delete

상기 클라이언트 디바이스는, 화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며, 상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 것을 특징으로 한다. The client device may divide the screen into a frame of a main area and an auxiliary area, and display a real-time screen captured by a virtual conversation agent using a camera in the main area, and a list of controllable IoT electronic devices in the auxiliary area It is characterized in that it is listed and displayed.

상기 클라이언트 디바이스는, 가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 것을 특징으로 한다. When the client device receives a control command input by a user from the virtual conversation agent, the image displayed on the main area and the image displayed on the auxiliary area are switched and displayed.

상기와 같은 목적을 달성하기 위한 본 발명의 다른 측면에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템에서의 제어 방법은, 음성을 기반으로 기기의 제어가 가능한 대화시스템에서의 제어 방법에 있어서, 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계; 가상 대화 에이전트가, 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 단계; 및 IoT 전자기기가, 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 단계;를 포함하며, 상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시키는 단계를 포함한다. According to another aspect of the present invention for achieving the above object, there is provided a control method in a conversation system capable of controlling a device based on voice, the control method in a conversation system capable of controlling a device based on voice, displaying, by a client device, a real-time image received from a virtual conversation agent on a screen, and receiving and transmitting a control command from a user; A step of the virtual conversation agent capturing a real-time screen using a camera, receiving and transmitting a control command from the client device; and receiving, by the IoT electronic device, a control command from the virtual conversation agent and performing a corresponding operation; including, by the client device, displaying a real-time image received from the virtual conversation agent on a screen and controlling the user The step of receiving and transmitting the command comprises synthesizing an artificial intelligence character in virtual reality, realizing the operation of the virtual conversation agent controlling the IoT electronic device as an image and displaying it on the screen, and virtual reality-based including the artificial intelligence character and interworking virtual reality and augmented reality based on the image and the captured real-time screen.

상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 한다. The IoT electronic device is characterized in that it is connected by an IoT network.

삭제delete

상기 클라이언트 디바이스는, 화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며, 상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는, 상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계를 포함하는 것을 특징으로 한다. The client device may divide the screen into a frame of a main area and an auxiliary area, and the step of displaying, by the client device, a real-time image received from a virtual conversation agent on a screen, and receiving and transmitting a control command from a user, and displaying a real-time screen captured by the virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area.

상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계는, 가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 단계를 포함하는 것을 특징으로 한다. The step of displaying a real-time screen captured by the virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area includes receiving a control command input by the user from the virtual conversation agent When receiving, switching between the image displayed on the main area and the image displayed on the auxiliary area is characterized in that it comprises the step of displaying the displayed image.

본 발명의 일 측면에 따르면, 가상현실에 인공지능 캐릭터를 합성하여 음성 기반의 제어 명령에 따른 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시켜 디스플레이 함으로써, 보다 실감나는 상호작용을 연출하여 사용자에게 실감나는 대화시스템 서비스를 제공할 수 있는 효과가 있다.According to one aspect of the present invention, an artificial intelligence character is synthesized in virtual reality, an operation according to a voice-based control command is implemented as an image, and displayed on the screen, and a virtual reality-based image including an artificial intelligence character and a real-time screen shot By interworking and displaying virtual reality and augmented reality based on

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. .

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명을 실시하기 위한 구체적인 내용들과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시예에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템의 개략적인 구성도,
도 2는 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 일 예,
도 3은 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 다른 예,
도 4는 본 발명의 일 실시예에 따른 대화시스템의 제어 방법의 개략적인 흐름도이다. The following drawings attached to this specification illustrate preferred embodiments of the present invention, and serve to further understand the technical spirit of the present invention together with specific contents for carrying out the invention, so the present invention is in such drawings It should not be construed as being limited only to the stated matters.
1 is a schematic configuration diagram of a dialogue system capable of controlling a device based on voice according to an embodiment of the present invention;
2 is an example of a screen of a client device according to an embodiment of the present invention;
3 is another example of a screen of a client device according to an embodiment of the present invention;
4 is a schematic flowchart of a method for controlling a conversation system according to an embodiment of the present invention.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent through the following detailed description in relation to the accompanying drawings, and accordingly, those of ordinary skill in the art to which the present invention pertains can easily implement the technical idea of the present invention. There will be. In addition, in the description of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, a preferred embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “…부” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, the “… The term “unit” means a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템의 개략적인 구성도, 도 2는 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 일 예, 도 3은 본 발명의 일 실시예에 따른 클라이언트 디바이스 화면의 다른 예이다. 1 is a schematic configuration diagram of a conversation system capable of controlling a device based on voice according to an embodiment of the present invention, FIG. 2 is an example of a screen of a client device according to an embodiment of the present invention, and FIG. 3 is a view Another example of a screen of a client device according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 음성을 기반으로 기기의 제어가 가능한 대화시스템은 클라이언트 디바이스(100), 가상 대화 에이전트(200) 및 IoT 전자기기(300)를 포함한다. Referring to FIG. 1 , a conversation system capable of controlling a device based on voice according to the present embodiment includes a client device 100 , a virtual conversation agent 200 , and an IoT electronic device 300 .

클라이언트 디바이스(100)는 가상 대화 에이전트(200)로부터 실시간 영상을 수신하여 화면에 디스플레이 할 수 있다. 클라이언트 디바이스(100)는 사용자로부터 제어 명령을 수신하여 가상 대화 에이전트(200)로 전달할 수 있다. 이때, 클라이언트 디바이스(100)는 영상을 표시할 수 있는 화면을 구비하고, 통신이 가능한 휴대성이 있는 휴대용 단말일 수 있다. 예컨대, 클라이언트 디바이스(100)는 스마트폰, PDA 등과 같은 휴대용 단말일 수 있다. The client device 100 may receive a real-time image from the virtual conversation agent 200 and display it on the screen. The client device 100 may receive a control command from the user and transmit it to the virtual conversation agent 200 . In this case, the client device 100 may be a portable terminal having a screen capable of displaying an image and capable of communication. For example, the client device 100 may be a portable terminal such as a smart phone or a PDA.

클라이언트 디바이스(100)는 가상 대화 에이전트(200)로부터 실시간 영상을 수신하여 화면에 디스플레이 하되, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트(200)가 IoT 전자기기(300)를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킬 수 있다. 이처럼, 클라이언트 디바이스(100)의 화면에 가상현실에 인공지능 캐릭터를 합성하여 음성 기반의 제어 명령에 따른 동작을 영상으로 구현하여 화면에 디스플레이 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시켜 디스플레이 함으로써, 보다 실감나는 상호작용을 연출하여 사용자에게 실감나는 대화시스템 서비스를 제공할 수 있는 효과가 있다. The client device 100 receives a real-time image from the virtual dialog agent 200 and displays it on the screen, but the virtual dialog agent 200 controls the IoT electronic device 300 by synthesizing an artificial intelligence character in virtual reality. It is implemented as an image and displayed on the screen, and virtual reality and augmented reality can be interconnected based on a virtual reality-based image including an artificial intelligence character and a captured real-time screen. In this way, by synthesizing an artificial intelligence character in virtual reality on the screen of the client device 100, the operation according to the voice-based control command is implemented as an image and displayed on the screen, and the virtual reality-based image including the artificial intelligence character is captured By interworking and displaying virtual reality and augmented reality based on a real-time screen, it is possible to produce a more realistic interaction and provide a realistic dialogue system service to the user.

한편, 도 2 내지 도 3에 도시된 바와 같이, 클라이언트 디바이스(100)는 화면을 메인 영역(M)과 보조 영역(S)의 프레임으로 나누어 서로 다른 영상을 출력할 수 있다. 이때, 메인 영역(M)의 화면은 보조 영역(S)의 화면보다 상대적으로 큰 화면일 수 있다. 예컨대, 도 2에 도시된 바와 같이 메인 영역(M)에는 가상 대화 에이전트(200)가 카메라를 이용하여 촬영한 실시간 화면을 표시할 수 있으며, 보조 영역(S)에는 제어 가능한 IoT 전자기기(300)의 목록을 나열하여 표시할 수 있다. 이때, 메인 영역(M)에 표시된 실시간 화면에서 제어 가능한 IoT 전자기기(300)는 증강 현실이 적용되어 팝업 형식으로 불룩하게 표시됨으로써 사용자에게 입체감을 제공할 수도 있다. 한편, 사용자는 클라이언트 디바이스(100)의 화면에서 전등의 제어를 위해 음성으로 제어 명령을 제공할 수 있으며, 이러한 제어 명령은 가상 대화 에이전트(200)를 거쳐 해당하는 IoT 전자기기(300)로 전달되어 제어 명령이 수행될 수 있다. 예컨대, 사용자는 전등을 끄고 싶은 경우, “전등 꺼”와 같은 제어 명령을 음성을 통해 입력할 수 있으며, 해당 제어 명령은 가상 대화 에이전트(200)를 거쳐 해당하는 IoT 전자기기(300)로 전달되어 제어 명령이 수행될 수 있다. 이때, 클라이언트 디바이스(100)의 화면은 도 3에 도시된 바와 같이 전환될 수 있다. 즉, 클라이언트 디바이스(100)의 메인 영역(M)에는 전등의 제어와 연관된 수행 동작의 영상을 표시할 수 있으며, 보조 영역(S)에는 가상 대화 에이전트(200)가 카메라를 이용하여 촬영한 실시간 화면이 표시될 수 있다. 다시 말해, 클라이언트 디바이스(100)는, 가상 대화 에이전트(200)로부터 사용자가 입력한 제어 명령을 수신하는 경우, 메인 영역(M)에 표시된 영상과 상기 보조 영역(S)에 표시된 영상을 서로 전환하여 표시함으로써, 제어 명령의 입력에 따른 IoT 전자기기(300) 제어의 수행 동작을 보다 시각적으로 사용자에게 제공하여 실감나는 대화시스템 서비스를 제공할 수 있는 효과가 있다.Meanwhile, as shown in FIGS. 2 to 3 , the client device 100 may divide the screen into frames of the main area M and the auxiliary area S to output different images. In this case, the screen of the main area M may be a relatively larger screen than the screen of the auxiliary area S. For example, as shown in FIG. 2 , a real-time screen captured by the virtual conversation agent 200 using a camera may be displayed in the main area M in the main area M, and a controllable IoT electronic device 300 in the auxiliary area S. It can be displayed by listing a list of In this case, the IoT electronic device 300 controllable on the real-time screen displayed in the main area M may provide a three-dimensional effect to the user by being bulged in a pop-up form by applying augmented reality. On the other hand, the user may provide a control command by voice to control the light on the screen of the client device 100 , and this control command is transmitted to the corresponding IoT electronic device 300 through the virtual conversation agent 200 . A control command may be performed. For example, if the user wants to turn off the light, he or she can input a control command such as “turn off the light” through voice, and the control command is transmitted to the corresponding IoT electronic device 300 through the virtual conversation agent 200. A control command may be performed. In this case, the screen of the client device 100 may be switched as shown in FIG. 3 . That is, in the main area (M) of the client device 100, an image of an operation to be performed related to control of a light may be displayed, and in the auxiliary area (S), a real-time screen captured by the virtual conversation agent 200 using a camera. can be displayed. In other words, when the client device 100 receives a control command input by the user from the virtual conversation agent 200, the image displayed in the main area M and the image displayed in the auxiliary area S are switched to each other. By displaying, the operation of controlling the IoT electronic device 300 according to the input of the control command is more visually provided to the user, thereby providing a realistic dialogue system service.

가상 대화 에이전트(200)는 카메라를 이용하여 실시간 화면을 촬영할 수 있다. 가상 대화 에이전트(200)는 클라이언트 디바이스(100)로부터 제어 명령을 수신하여 IoT 전자기기(300)로 전달할 수 있다. 이때, 가상 대화 에이전트(200)는 실시간 화면의 촬영이 가능한 카메라를 구비하는 것으로, 일정한 장소에 고정형으로 구비될 수도 있고, 이동형으로 구비될 수도 있다. 이때, 가상 대화 에이전트(200)는 이동형으로 구비되는 경우 로봇 형태일 수 있다. 본 실시예를 설명함에 있어서, 가상 대화 에이전트(200)는 이동형으로 구비되는 경우, 다양한 장소를 이동하면서 IoT 네트워크로 연결된 IoT 전자기기(300)를 보다 효과적으로 제어할 수 있다. 이때, 가상 대화 에이전트(200)가 제어가 가능한 IoT 전자기기(300)와 통신이 가능한 일정 거리 내에 위치하는 경우, 제어 가능한 IoT 전자기기(300)의 목록이 클라이언트 디바이스(100)의 화면에 디스플레이 될 수 있다. The virtual conversation agent 200 may capture a real-time screen using a camera. The virtual conversation agent 200 may receive a control command from the client device 100 and transmit it to the IoT electronic device 300 . In this case, the virtual conversation agent 200 is provided with a camera capable of capturing a real-time screen, and may be provided in a fixed type at a certain place or may be provided as a mobile type. In this case, the virtual conversation agent 200 may be in the form of a robot when provided as a mobile type. In the description of the present embodiment, when the virtual conversation agent 200 is provided as a mobile device, it can more effectively control the IoT electronic device 300 connected to the IoT network while moving in various places. At this time, when the virtual conversation agent 200 is located within a predetermined distance capable of communicating with the controllable IoT electronic device 300 , the list of the controllable IoT electronic device 300 will be displayed on the screen of the client device 100 . can

IoT 전자기기(300)는 가상 대화 에이전트(200)로부터 제어 명령을 수신하여 대응하는 동작을 수행할 수 있다. 이때, IoT 전자기기(300)는 복수 개일 수 있으며, IoT 네트워크에 의해 연결될 수 있다. The IoT electronic device 300 may receive a control command from the virtual conversation agent 200 and perform a corresponding operation. In this case, there may be a plurality of IoT electronic devices 300 and may be connected by an IoT network.

IoT 네트워크에 대해 설명하면 다음과 같다. The IoT network will be described as follows.

사물인터넷 기기들이 기하급수적으로 증가함에 따라 각기 사용되는 방법보다 여러 기기들을 연동하여 서로 데이터를 주고받고 상호작용하는 방식의 기술들이 많이 나오고 있다. 특히, IoT 네트워크 기술로는 컴퓨팅과 무선 통신을 갖춘 IoT기기를 다양한 응용 환경에 적용하여 자율적인 네트워크를 구성하고 기기들로부터 획득한 정보들을 무선으로 수집하여 감시 및 제어 등의 용도로 활용하는 기술이다. 이러한 네트워크에서 서로 통신을 할 때는 RF기술을 이용한 단거리 통신부터 3G, LTE, 4G 등의 기술을 이용한 장거리 통신망을 형성하여 구현되고 있으며 WiFi, RFID, Bluetooth, NFC, ZigBee, 3G, LTE, LoRa 등을 이용하여 통신을 주고받고 있다. IoT 네트워크는 다양한 방법을 통해 구현이 가능하다. 즉, 이동통신 네트워크를 활용할 수도 있고, 다양한 근거리 통신 기법을 통해 애드혹 네트워크 형태로 구현될 수도 있다. 네트워크는 유선 또는 무선으로 특정 장치와 장치 사이에 데이터를 주고받을 수 있는 물리적 환경 내지 장치를 의미한다.As the number of IoT devices increases exponentially, there are a lot of technologies that link multiple devices to exchange data and interact with each other rather than using each method. In particular, as IoT network technology, IoT devices equipped with computing and wireless communication are applied to various application environments to form an autonomous network, and information obtained from devices is wirelessly collected and utilized for monitoring and control purposes. . When communicating with each other in these networks, it is implemented by forming a long-distance communication network using technologies such as 3G, LTE, and 4G from short-distance communication using RF technology. are used to communicate. The IoT network can be implemented through various methods. That is, a mobile communication network may be utilized or may be implemented in the form of an ad hoc network through various short-distance communication techniques. The network refers to a physical environment or device capable of exchanging data between a specific device and the device in a wired or wireless manner.

본 발명에 따르면, 현실 세계의 각종 IoT 전자기기(300)들은 IoT 네트워크를 통해 연결될 수 있으며, 가상 대화 에이전트(200)를 통해 사용자의 제어 명령을 수신하여 수신한 제어 명령에 대응하는 IoT 전자기기(300)를 동작 시킬 수 있다. According to the present invention, various IoT electronic devices 300 in the real world may be connected through an IoT network, and an IoT electronic device ( 300) can be operated.

도 4는 본 발명의 일 실시예에 따른 대화시스템의 제어 방법의 개략적인 흐름도이다. 4 is a schematic flowchart of a method for controlling a conversation system according to an embodiment of the present invention.

도 4를 참조하면, 먼저, 클라이언트 디바이스(100)는, 가상 대화 에이전트(200)로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달한다(S410). 클라이언트 디바이스(100)는, 가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트(200)가 IoT 전자기기(300)를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시킬 수 있다. 클라이언트 디바이스(100)는, 화면을 메인 영역(M)과 보조 영역(S)의 프레임으로 나눌 수 있으며, 메인 영역(M)에는 가상 대화 에이전트(200)가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 보조 영역(S)에는 제어 가능한 IoT 전자기기(300)의 목록을 나열하여 표시할 수 있다. 한편, 클라이언트 디바이스(100)는, 가상 대화 에이전트(200)로부터 사용자가 입력한 제어 명령을 수신하는 경우, 메인 영역(M)에 표시된 영상과 상기 보조 영역(S)에 표시된 영상을 서로 전환하여 표시할 수 있다. Referring to FIG. 4 , first, the client device 100 displays a real-time image received from the virtual conversation agent 200 on the screen, and receives and transmits a control command from the user (S410). The client device 100 synthesizes an artificial intelligence character in virtual reality so that the virtual conversation agent 200 controls the IoT electronic device 300 as an image to be displayed on the screen, and an artificial intelligence character is included. Based on the virtual reality-based image and the captured real-time screen, virtual reality and augmented reality may be interconnected. The client device 100 may divide the screen into frames of a main area (M) and an auxiliary area (S), and in the main area (M), a real-time screen captured by the virtual conversation agent 200 using a camera is displayed. In the auxiliary area S, a list of controllable IoT electronic devices 300 may be listed and displayed. On the other hand, when the client device 100 receives the control command input by the user from the virtual conversation agent 200, the image displayed in the main area (M) and the image displayed in the auxiliary area (S) are switched and displayed can do.

다음으로, 가상 대화 에이전트(200)는, 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스(100)로부터 제어 명령을 수신하여 전달한다(S420). 이때, 가상 대화 에이전트(200)는 실시간 화면의 촬영이 가능한 카메라를 구비하는 것으로, 일정한 장소에 고정형으로 구비될 수도 있고, 이동형으로 구비될 수도 있다. 이때, 가상 대화 에이전트(200)는 이동형으로 구비되는 경우 로봇 형태일 수 있다.Next, the virtual conversation agent 200 captures a real-time screen using a camera, and receives and transmits a control command from the client device 100 ( S420 ). In this case, the virtual conversation agent 200 is provided with a camera capable of capturing a real-time screen, and may be provided in a fixed type at a certain place or may be provided as a mobile type. In this case, the virtual conversation agent 200 may be in the form of a robot when provided as a mobile type.

다음으로, IoT 전자기기는, 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행한다(S430). 이때, IoT 전자기기는 하나 이상일 수 있으며, IoT 네트워크에 의해 연결될 수 있다. Next, the IoT electronic device receives a control command from the virtual conversation agent and performs a corresponding operation (S430). In this case, there may be one or more IoT electronic devices, and may be connected by an IoT network.

본 발명의 실시예에 따른 방법들은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는, 본 발명을 위한 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Methods according to an embodiment of the present invention may be implemented as an application or implemented in the form of program instructions that may be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium are specially designed and constructed for the present invention, and may be known and used by those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media) and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.

본 명세서는 많은 특징을 포함하는 반면, 그러한 특징은 본 발명의 범위 또는 특허청구범위를 제한하는 것으로 해석되어서는 아니 된다. 또한, 본 명세서의 개별적인 실시예에서 설명된 특징들은 단일 실시예에서 결합되어 구현될 수 있다. 반대로, 본 명세서의 단일 실시예에서 설명된 다양한 특징들은 개별적으로 다양한 실시예에서 구현되거나, 적절히 결합되어 구현될 수 있다.While this specification contains many features, such features should not be construed as limiting the scope of the invention or the claims. Also, features described in individual embodiments herein may be implemented in combination in a single embodiment. Conversely, various features described in a single embodiment herein may be implemented in various embodiments individually, or may be implemented in appropriate combination.

도면에서 동작들이 특정한 순서로 설명되었으나, 그러한 동작들이 도시된 바와 같은 특정한 순서로 수행되는 것으로 또는 일련의 연속된 순서, 또는 원하는 결과를 얻기 위해 모든 설명된 동작이 수행되는 것으로 이해되어서는 안 된다. 특정 환경에서 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 아울러, 상술한 실시예에서 다양한 시스템 구성요소의 구분은 모든 실시예에서 그러한 구분을 요구하지 않는 것으로 이해되어야 한다. 상술한 앱 구성요소 및 시스템은 일반적으로 단일 소프트웨어 제품 또는 멀티플 소프트웨어 제품에 패키지로 구현될 수 있다.Although the operations have been described in a specific order in the drawings, it should not be understood that the operations are performed in the specific order as illustrated, or that all of the described operations are performed in a continuous order, or to obtain a desired result. Multitasking and parallel processing can be advantageous in certain circumstances. In addition, it should be understood that the division of various system components in the above-described embodiments does not require such division in all embodiments. The aforementioned app components and systems may generally be implemented as a package in a single software product or multiple software products.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니다.The present invention described above, for those of ordinary skill in the art to which the present invention pertains, various substitutions, modifications and changes are possible within the scope without departing from the technical spirit of the present invention. It is not limited by the drawings.

100 : 클라이언트 디바이스
200 : 가상 대화 에이전트
300 : IoT 전자기기
M : 메인 영역
S : 보조 영역100: client device
200: virtual conversation agent
300: IoT electronic device
M: main area
S: Secondary area

Claims (10)

가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 클라이언트 디바이스;
카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 가상 대화 에이전트; 및
상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 하나 이상의 IoT 전자기기;를 포함하며,
상기 클라이언트 디바이스는,
가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고,
상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시키는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.a client device that displays a real-time image received from a virtual conversation agent on a screen, and receives and transmits a control command from a user;
a virtual conversation agent that captures a real-time screen using a camera and receives and transmits a control command from the client device; and
one or more IoT electronic devices that receive a control command from the virtual conversation agent and perform a corresponding operation;
The client device is
By synthesizing artificial intelligence characters in virtual reality, the virtual dialog agent controls the IoT electronic device as an image to be displayed on the screen,
A dialogue system capable of controlling a device based on a voice, characterized in that the virtual reality-based image including the artificial intelligence character and the virtual reality and augmented reality are interlocked based on the captured real-time screen. 제 1 항에 있어서,
상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.The method of claim 1,
The IoT electronic device is a dialogue system capable of controlling the device based on voice, characterized in that it is connected by an IoT network. 삭제delete 제 1 항에 있어서,
상기 클라이언트 디바이스는,
화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며,
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고,
상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.The method of claim 1,
The client device is
The screen can be divided into frames in the main area and sub area,
In the main area, a real-time screen captured by a virtual conversation agent using a camera is displayed,
A dialogue system capable of controlling a device based on a voice, characterized in that the list of controllable IoT electronic devices is listed and displayed in the auxiliary area. 제 4 항에 있어서,
상기 클라이언트 디바이스는,
가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 것을 특징으로 하는 음성을 기반으로 기기의 제어가 가능한 대화시스템.5. The method of claim 4,
The client device is
A dialogue system capable of controlling a device based on voice, characterized in that when a control command input by a user is received from a virtual conversation agent, the image displayed in the main area and the image displayed in the auxiliary area are switched and displayed. 음성을 기반으로 기기의 제어가 가능한 대화시스템에서의 제어 방법에 있어서,
클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계;
가상 대화 에이전트가, 카메라를 이용하여 실시간 화면을 촬영하고, 상기 클라이언트 디바이스로부터 제어 명령을 수신하여 전달하는 단계; 및
IoT 전자기기가, 상기 가상 대화 에이전트로부터 제어 명령을 수신하여 대응하는 동작을 수행하는 단계;를 포함하며,
상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는,
가상현실에 인공지능 캐릭터를 합성하여 가상 대화 에이전트가 IoT 전자기기를 제어하는 동작을 영상으로 구현하여 화면에 디스플레이 되도록 하고, 상기 인공지능 캐릭터가 포함된 가상현실 기반 영상과 상기 촬영된 실시간 화면을 기초로 가상 현실과 증강 현실을 상호 연동시키는 단계를 포함하는 것을 특징으로 하는 제어 방법.In a control method in a conversation system capable of controlling a device based on voice,
displaying, by a client device, a real-time image received from a virtual conversation agent on a screen, and receiving and transmitting a control command from a user;
A method comprising: a virtual conversation agent capturing a real-time screen using a camera, and receiving and transmitting a control command from the client device; and
Including, by the IoT electronic device, receiving a control command from the virtual conversation agent and performing a corresponding operation;
The step of displaying, by the client device, the real-time image received from the virtual conversation agent on a screen, and receiving and transmitting a control command from the user,
By synthesizing an artificial intelligence character in virtual reality, the virtual conversation agent controls the IoT electronic device as an image to be displayed on the screen, and based on the virtual reality-based image including the artificial intelligence character and the captured real-time screen Control method comprising the step of mutually interworking virtual reality and augmented reality. 제 6 항에 있어서,
상기 IoT 전자기기는 IoT 네트워크에 의해 연결되는 것을 특징으로 하는 제어 방법.7. The method of claim 6,
The IoT electronic device is a control method, characterized in that connected by an IoT network. 삭제delete 제 6 항에 있어서,
상기 클라이언트 디바이스는,
화면을 메인 영역과 보조 영역의 프레임으로 나눌 수 있으며,
상기 클라이언트 디바이스가, 가상 대화 에이전트로부터 수신한 실시간 영상을 화면에 디스플레이 하고, 사용자로부터 제어 명령을 수신하여 전달하는 단계는,
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계를 포함하는 것을 특징으로 하는 제어 방법.7. The method of claim 6,
The client device is
The screen can be divided into frames in the main area and sub area,
The step of displaying, by the client device, the real-time image received from the virtual conversation agent on a screen, and receiving and transmitting a control command from the user,
and displaying a real-time screen captured by a virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area. 제 9 항에 있어서,
상기 메인 영역에는 가상 대화 에이전트가 카메라를 이용하여 촬영한 실시간 화면을 표시하고, 상기 보조 영역에는 제어 가능한 IoT 전자기기의 목록을 나열하여 표시하는 단계는,
가상 대화 에이전트로부터 사용자가 입력한 제어 명령을 수신하는 경우, 상기 메인 영역에 표시된 영상과 상기 보조 영역에 표시된 영상을 서로 전환하여 표시하는 단계를 포함하는 것을 특징으로 하는 제어 방법.

10. The method of claim 9,
Displaying a real-time screen captured by a virtual conversation agent using a camera in the main area, and listing and displaying a list of controllable IoT electronic devices in the auxiliary area,
and displaying the image displayed on the main area and the image displayed on the auxiliary area by switching each other when receiving a control command input by the user from the virtual conversation agent.
KR1020190160645A 2019-12-05 2019-12-05 Communication system and control method that can control device based on voice KR102356789B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190160645A KR102356789B1 (en) 2019-12-05 2019-12-05 Communication system and control method that can control device based on voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190160645A KR102356789B1 (en) 2019-12-05 2019-12-05 Communication system and control method that can control device based on voice

Publications (2)

Publication Number Publication Date
KR20210070645A KR20210070645A (en) 2021-06-15
KR102356789B1 true KR102356789B1 (en) 2022-01-28

Family

ID=76412013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190160645A KR102356789B1 (en) 2019-12-05 2019-12-05 Communication system and control method that can control device based on voice

Country Status (1)

Country Link
KR (1) KR102356789B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113783771A (en) * 2021-09-17 2021-12-10 杭州一知智能科技有限公司 AI virtual human interaction method and system based on WeChat
KR102409281B1 (en) 2021-11-25 2022-06-15 (주)펜타유니버스 Home appliance interactive system based on artificial intelligence
WO2024071661A1 (en) * 2022-09-30 2024-04-04 삼성전자 주식회사 Electronic device and operation method thereof
KR20240076607A (en) 2022-11-22 2024-05-30 (주)펜타유니버스 System and method to support AI-based interactive services for home appliances

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180076188A (en) * 2016-12-27 2018-07-05 엔티지(주) Method for embodiment of augmented reality using marker and Voice Recognition
KR101788248B1 (en) 2017-03-02 2017-10-20 주식회사 미래엔 On-line learning system and method using virtual reality and augmented reality
KR101942798B1 (en) * 2017-05-18 2019-01-29 주식회사 오퍼스원 Method, apparatus and server for providing security service using idle user devices

Also Published As

Publication number Publication date
KR20210070645A (en) 2021-06-15

Similar Documents

Publication Publication Date Title
KR102356789B1 (en) Communication system and control method that can control device based on voice
US10271013B2 (en) Display control method and apparatus
US20200301725A1 (en) Intelligent Service On-Demand Robot Virtualization
CN105472546B (en) Near field communication method and mobile terminal
CN109937393B (en) Supporting augmented reality software applications
JP2013507874A (en) Control method of portable device, control method of display device, and control method of image system
CN102419900A (en) Remote control realizing method and device of electrical equipment
CN109271125A (en) Screen display control method, device and the storage medium of split type terminal device
CN104391581B (en) The projecting method of the operation interface of mobile terminal and its application program
KR102134744B1 (en) Apparatus and method for providing virtual fairs through virtual reality
JP6089828B2 (en) Information processing system and information processing method
CN105252533A (en) Robot interactive system, cloud computing platform, user terminal and robot
WO2018040566A1 (en) Wireless communication method, unmanned aerial vehicle, unmanned aerial vehicle control device, and system
CN106550487A (en) WI FI direct-connected method and system
KR20170048677A (en) Control module of game execution of mobile communication terminal and method for providing game image of split screen and the program stored in medium for executing the method
CN107913519B (en) Rendering method of 2D game and mobile terminal
CN102572104A (en) Method and device for realizing remote control over electrical equipment
KR102190388B1 (en) Method, system and non-transitory computer-readable recording medium for providing contents including augmented reality object using multi-devices
KR101659066B1 (en) Method, system and computer-readable recording medium for creating message containing virtual space and virtual object
KR20180128637A (en) Drone group control method and drone group control system having the method
US10834561B2 (en) Smart hardware operation method and apparatus
KR20170133869A (en) Terminal, POS terminal, beacon management server, beacon signal transmitter, troupe management server for confirming troupe using beacon, system comprising the same, control method thereof and computer readable medium having computer program recorded thereon
Zepernick Toward immersive mobile multimedia: From mobile video to mobile extended reality
CN111752562A (en) Cross-platform client interface development method, device, terminal equipment and medium
KR101337041B1 (en) Control system for KIOSK

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant