KR102427761B1

KR102427761B1 - Did device, did system, and control method for a did device

Info

Publication number: KR102427761B1
Application number: KR1020220009955A
Authority: KR
Inventors: 이윤복; 김병훈
Original assignee: 주식회사 이든랩; 이윤복; 김병훈; 주식회사 미니소프트
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2022-08-03

Abstract

A DID device, a DID system, and a control method of the DID device are disclosed. The DID device according to one aspect of the present invention may include: a face recognition unit connected to an external server and configured to determine whether a user's face is detected in image information acquired through a face recognition camera and to determine a height of the user's face; a voice command recognition unit configured to acquire voice information through a voice recognition microphone; a transceiving unit configured to transmit the voice information to the external server and to receive text information corresponding to the voice information from the external server; and a command processing unit configured to generate screen output information and audio output information based on response information generated in response to the text information, transmit the screen output information to a display device, and deliver the audio output information to a speaker. The command processing unit may determine a screen division type of the display device according to the type of the response information. The present invention can effectively deliver information to users.

Description

DID device, DID system, and control method of DID device {DID DEVICE, DID SYSTEM, AND CONTROL METHOD FOR A DID DEVICE}

본 발명은 DID 장치에 관한 것으로서, 구체적으로는 사용자에게 효과적으로 정보를 전달할 수 있는 DID 장치, DID 시스템 및 DID 장치의 제어방법에 관한 것이다.The present invention relates to a DID device, and more particularly, to a DID device capable of effectively delivering information to a user, a DID system, and a method for controlling the DID device.

DID(Digital Information Display) 장치는 안내 및 홍보의 기능을 하도록 개발된 것으로서 근래에는 관공서, 공항, 지하철역, 병원 등 다양한 장소에서 사용되고 있다. DID 장치가 특정 시설에 설치된 경우, DID 장치는 해당 시설의 주변에 무엇이 있는지, 환경이 어떠한지를 사용자에게 안내해 주어 사용자가 해당 시설을 더 편리하게 이용할 수 있게 해준다.A DID (Digital Information Display) device was developed to serve as a guide and publicity, and has recently been used in various places such as government offices, airports, subway stations, and hospitals. When the DID device is installed in a specific facility, the DID device guides the user about what is around the facility and what the environment is, so that the user can use the facility more conveniently.

DID 장치가 사용자 편의 증대에 있어 높은 잠재력을 가지지만, 종래의 DID 장치는 제공하는 정보가 한정되어 있고 사용하는 방법이 직관적이지 않아 사용자들이 이를 이용하는 빈도가 높지 않다. 결국, 현재 사용되고 있는 DID 장치의 다수는 대부분의 시간 동안에는 단지 광고 화면만을 제공하는 광고판의 역할만을 하고 있는 실정이다.Although the DID device has high potential for user convenience, the conventional DID device provides limited information and is not intuitive to use, so users do not use it frequently. As a result, many of the currently used DID devices only serve as billboards providing only an advertisement screen for most of the time.

따라서 본 발명은 상술한 문제점을 해결하기 위해 도출된 것으로서, 본 발명의 일측면은 사용자에게 효과적으로 정보를 전달할 수 있는 DID 장치, DID 시스템 및 DID 장치의 제어방법을 제공하려는 것이다.Accordingly, the present invention has been derived to solve the above problems, and one aspect of the present invention is to provide a DID device, a DID system, and a method for controlling the DID device that can effectively deliver information to a user.

본 발명의 다른 목적들은 이하에 서술되는 실시예를 통하여 더욱 명확해질 것이다.Other objects of the present invention will become clearer through the examples described below.

본 발명의 일측면은 DID 장치를 제공한다. 본 발명의 일측면에 따른 DID 장치는 외부 서버와 연결된 것으로서, 얼굴인식 카메라를 통해 얻어진 영상정보에 사용자의 얼굴이 검출되는지 여부를 판단하고 상기 사용자의 얼굴 높이를 판단하도록 구성된 얼굴인식부; 음성인식 마이크를 통해 음성정보를 획득하도록 구성된 음성명령 인식부; 상기 음성정보를 상기 외부 서버에 전달하고 상기 외부 서버로부터 상기 음성정보에 대응하는 텍스트정보를 수신하도록 구성된 송수신부; 및 상기 텍스트정보에 대응하여 생성된 응대정보에 기초하여 화면출력정보 및 음성출력정보를 생성하며 상기 화면출력정보를 디스플레이 장치에 전송하고 상기 음성출력정보를 스피커에 전달하도록 구성된 명령 처리부를 포함할 수 있고, 상기 명령 처리부는 상기 응대정보의 유형에 따라 상기 디스플레이 장치의 화면 분할 형태를 결정할 수 있다.One aspect of the present invention provides a DID device. A DID device according to an aspect of the present invention is connected to an external server, and includes: a face recognition unit configured to determine whether a user's face is detected in image information obtained through a face recognition camera and to determine the height of the user's face; a voice command recognition unit configured to acquire voice information through a voice recognition microphone; a transceiver configured to transmit the voice information to the external server and receive text information corresponding to the voice information from the external server; and a command processing unit configured to generate screen output information and audio output information based on the response information generated in response to the text information, transmit the screen output information to a display device, and transmit the audio output information to a speaker and the command processing unit may determine a screen division type of the display device according to the type of the response information.

본 발명에 따른 DID 장치는 다음과 같은 실시예들을 하나 또는 그 이상 구비할 수 있다. 예를 들면, 상기 명령 처리부는 상기 송수신부를 통해 상기 텍스트정보를 상기 외부 서버에 전송하고 상기 송수신부를 통해 상기 응대정보를 상기 외부 서버로부터 획득할 수 있다. 또한, 상기 명령 처리부는 상기 영상정보에 상기 사용자의 얼굴이 검출된 상태를 유지하는 시간에 대응하는 얼굴인식시간을 기준값과 비교하여 상기 얼굴인식시간이 상기 기준값을 초과하면 사전설정된 안내정보를 상기 스피커에 전송할 수 있다.The DID device according to the present invention may have one or more of the following embodiments. For example, the command processing unit may transmit the text information to the external server through the transceiver and obtain the response information from the external server through the transceiver. In addition, the command processing unit compares a face recognition time corresponding to a time for maintaining the state in which the user's face is detected in the image information with a reference value, and when the face recognition time exceeds the reference value, preset guide information is provided to the speaker can be sent to

본 발명의 다른 일측면은 DID 시스템을 제공한다. 본 발명의 일측면에 따른 DID 시스템은 외부 서버에 연결된 그룹 서버; 및 상기 그룹 서버와 연결되고 하나의 시설의 서로 다른 구역에 설치된 복수의 DID 장치를 포함할 수 있는데, 상기 복수의 DID 장치는 각각 센서를 포함할 수 있고, 상기 복수의 DID 장치 중 적어도 하나는, 얼굴인식 카메라를 통해 얻어진 영상정보에 사용자의 얼굴이 검출되는지 여부를 판단하고 상기 사용자의 얼굴 높이를 판단하도록 구성된 얼굴인식부; 음성인식 마이크를 통해 음성정보를 획득하도록 구성된 음성명령 인식부; 상기 음성정보를 상기 그룹 서버에 전달하고 상기 그룹 서버로부터 상기 음성정보에 대응하는 텍스트정보를 수신하며 상기 텍스트정보에 대응하는 응대정보 요청을 상기 그룹 서버에 전송하고 상기 그룹 서버로부터 상기 응대정보 요청에 대응하는 응대정보를 수신하도록 구성된 송수신부; 및 상기 텍스트정보에 기초하여 상기 응대정보 요청신호를 생성하고 상기 응대 정보에 기초하여 화면출력 정보 및 음성출력 정보를 생성하며 상기 화면출력 정보를 디스플레이 장치에 전송하고 상기 음성출력 정보를 스피커에 전송하도록 구성된 명령 처리부를 포함할 수 있으며, 상기 응대정보는 상기 복수의 DID 장치 중 적어도 하나의 DID 장치의 센서에서 검출한 정보를 포함할 수 있고, 상기 명령 처리부는 상기 응대 정보의 유형에 따라 상기 디스플레이 장치의 화면 분할 형태를 결정할 수 있다.Another aspect of the present invention provides a DID system. A DID system according to an aspect of the present invention includes a group server connected to an external server; and a plurality of DID devices connected to the group server and installed in different areas of one facility, wherein each of the plurality of DID devices may include a sensor, and at least one of the plurality of DID devices comprises: a face recognition unit configured to determine whether a user's face is detected in the image information obtained through the face recognition camera and to determine the height of the user's face; a voice command recognition unit configured to acquire voice information through a voice recognition microphone; transmits the voice information to the group server, receives text information corresponding to the voice information from the group server, transmits a response information request corresponding to the text information to the group server, and responds to the response information request from the group server a transceiver configured to receive corresponding response information; and generating the response information request signal based on the text information, generating screen output information and audio output information based on the response information, transmitting the screen output information to a display device, and transmitting the audio output information to a speaker and a configured command processing unit, wherein the response information may include information detected by a sensor of at least one DID device among the plurality of DID devices, and the command processing unit may include the display device according to the type of response information. You can determine the screen division type of .

본 발명의 또 다른 일측면은 DID 장치의 제어방법을 제공한다. 본 발명의 일측면에 따른 DID 장치 제어방법은 외부 서버와 연결된 DID 장치를 제어하는 방법으로서, 얼굴인식 카메라로부터 영상정보를 수신하는 단계; 상기 영상정보에 사용자의 얼굴이 검출되는지 여부를 판단하는 단계; 상기 영상정보에 상기 사용자의 얼굴이 검출된 상태를 유지하는 시간에 대응하는 얼굴인식시간을 기준값과 비교하여 상기 얼굴인식시간이 상기 기준값을 초과하면 상기 사용자가 대기 중인 것으로 판단하는 단계; 상기 사용자가 대기 중인 것으로 판단되면 음성정보를 수신하는 단계; 상기 음성정보를 상기 외부 서버에 전달하는 단계; 상기 음성정보에 대응하는 텍스트정보를 수신하는 단계; 상기 텍스트정보에 대응하여 생성된 응대정보에 기초하여 화면출력정보 및 음성출력정보를 생성하는 단계를 포함할 수 있는데, 상기 화면출력정보는 상기 디스플레이 장치의 화면 분할 형태를 지정할 수 있고, 상기 화면 분할 형태는 상기 응대정보의 유형에 따라 결정될 수 있다.Another aspect of the present invention provides a method for controlling a DID device. A DID device control method according to an aspect of the present invention is a method for controlling a DID device connected to an external server, comprising: receiving image information from a face recognition camera; determining whether a user's face is detected in the image information; comparing a face recognition time corresponding to a time in which the user's face is maintained in the image information with a reference value and determining that the user is on standby when the face recognition time exceeds the reference value; receiving voice information when it is determined that the user is waiting; transmitting the voice information to the external server; receiving text information corresponding to the voice information; and generating screen output information and voice output information based on the response information generated in response to the text information, wherein the screen output information may designate a screen division form of the display device, and the screen division The form may be determined according to the type of the response information.

이상에서 살펴본 바와 같은 본 발명의 과제 해결 수단에 의하면 다음과 같은 사항을 포함하는 다양한 효과를 기대할 수 있다. 다만, 본 발명은 아래의 효과를 모두 발휘해야 성립되는 것은 아니다. According to the problem solving means of the present invention as described above, various effects including the following items can be expected. However, the present invention is not established only when all of the following effects are exhibited.

본 발명의 일실시예에 따르면, 다양한 종류의 정보를 신속하게 제공할 수 있고 직관적인 방법으로 사용될 수 있어 사용자의 이용을 유도할 수 있는 DID 장치, DID 시스템 및 DID 장치의 제어방법이 제공된다.According to an embodiment of the present invention, there is provided a DID device, a DID system, and a method for controlling a DID device that can provide various types of information quickly and can be used in an intuitive way to induce a user to use it.

도 1은 본 발명의 일실시예에 따른 DID 시스템을 예시하는 블록도이다.
도 2는 본 발명의 일실시예에 따른 DID 시스템의 제1 구성예를 예시하는 개념도이다.
도 3은 본 발명의 일실시예에 따른 DID 시스템의 제2 구성예를 예시하는 개념도이다.
도 4는 본 발명의 일실시예에 따른 DID 인터페이스가 출력할 수 있는 화면을 예시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 DID 시스템의 동작을 예시하는 흐름도이다.
도 6은 본 발명의 일실시예에 따른 DID 시스템의 동작을 예시하는 흐름도이다.
도 7은 본 발명의 일실시예에 따른 DID 시스템의 동작을 예시하는 흐름도이다.
도 8은 본 발명의 일실시예에 따른 DID 장치의 제어방법을 예시하는 흐름도이다.
도 9는 본 발명의 일실시예에 따른 DID 장치의 제어방법을 예시하는 흐름도이다.1 is a block diagram illustrating a DID system according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a first configuration example of a DID system according to an embodiment of the present invention.
3 is a conceptual diagram illustrating a second configuration example of a DID system according to an embodiment of the present invention.
4 is a diagram illustrating a screen that can be output by the DID interface according to an embodiment of the present invention.
5 is a flowchart illustrating the operation of a DID system according to an embodiment of the present invention.
6 is a flowchart illustrating the operation of a DID system according to an embodiment of the present invention.
7 is a flowchart illustrating the operation of a DID system according to an embodiment of the present invention.
8 is a flowchart illustrating a method of controlling a DID device according to an embodiment of the present invention.
9 is a flowchart illustrating a method of controlling a DID device according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It is to be understood that this does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are given the same reference numbers regardless of the reference numerals, and duplicates thereof A description will be omitted.

도 1은 본 발명의 일실시예에 따른 DID 시스템(1000)을 예시하는 블록도이다. 도 2는 본 발명의 일실시예에 따른 DID 시스템(1000)의 제1 구성예를 예시하는 개념도이고, 도 3은 본 발명의 일실시예에 따른 DID 시스템(1000)의 제2 구성예를 예시하는 개념도이다. 도 4는 본 발명의 일실시예에 따른 DID 인터페이스(100)가 출력할 수 있는 화면(152)을 예시하는 도면이다.1 is a block diagram illustrating a DID system 1000 according to an embodiment of the present invention. 2 is a conceptual diagram illustrating a first configuration example of the DID system 1000 according to an embodiment of the present invention, and FIG. 3 illustrates a second configuration example of the DID system 1000 according to an embodiment of the present invention. It is a conceptual diagram that 4 is a diagram illustrating a screen 152 that can be output by the DID interface 100 according to an embodiment of the present invention.

본 발명의 일실시예에 따른 DID 시스템(1000)은 크게 DID 인터페이스(100), DID 장치(200), 그룹 서버(300), 외부 서버(400, 500) 및 DID 관리 서버(600)를 포함할 수 있다. The DID system 1000 according to an embodiment of the present invention may largely include a DID interface 100 , a DID device 200 , a group server 300 , external servers 400 and 500 , and a DID management server 600 . can

도면에는 DID 인터페이스(100)와 DID 장치(200)가 별개의 구성요소로 묘사되어 있지만, DID 인터페이스(100)와 DID 장치(200)는 하나로 통합되어 사용될 수 있다. 또한, DID 시스템(1000)에는 DID 인터페이스(100)와 DID 장치(200)가 여러 개 포함될 수 있다. 예를 들어, DID 시스템(1000)이 하나의 관공서에 적용되는 경우, 각 층의 로비, 엘리베이터 홀 등 주요 위치에 각각 DID 인터페이스(100)와 DID 장치(200)가 설치될 수 있다.Although the DID interface 100 and the DID device 200 are depicted as separate components in the drawing, the DID interface 100 and the DID device 200 may be integrated into one. Also, the DID system 1000 may include a plurality of the DID interface 100 and the DID device 200 . For example, when the DID system 1000 is applied to one public office, the DID interface 100 and the DID device 200 may be installed in main locations such as a lobby and an elevator hall of each floor, respectively.

DID 인터페이스(100)는 얼굴인식 카메라(110), 음성인식 마이크(120), 모션 센서(130), 터치 스크린(140), 디스플레이 장치(150) 및 스피커(160)를 포함할 수 있다. 전술한 바와 같이, DID 인터페이스(100)는 DID 장치(200)와 통합된 형태로 구현될 수도 있다. DID 인터페이스(100)는 예를 들어 DID 시스템(1000)이 적용된 시설의 특정 구역에 설치된 패널 또는 키오스크의 형태로 구현될 수 있다.The DID interface 100 may include a face recognition camera 110 , a voice recognition microphone 120 , a motion sensor 130 , a touch screen 140 , a display device 150 , and a speaker 160 . As described above, the DID interface 100 may be implemented in an integrated form with the DID device 200 . The DID interface 100 may be implemented, for example, in the form of a panel or a kiosk installed in a specific area of a facility to which the DID system 1000 is applied.

얼굴인식 카메라(110)는 DID 인터페이스(100)의 전방을 향해 설치되어 영상정보를 획득하도록 구성될 수 있다. 얼굴인식 카메라(110) 자체가 얼굴을 인식하는 기능을 포함할 수도 있지만 일반 카메라의 형태로 구현될 수도 있다.The face recognition camera 110 may be installed toward the front of the DID interface 100 and configured to acquire image information. Although the face recognition camera 110 itself may include a function for recognizing a face, it may be implemented in the form of a general camera.

음성인식 마이크(120)는 DID 인터페이스(100)의 전방을 향해 설치되어 음성정보를 획득하도록 구성될 수 있다. 음성인식 마이크(120)는 항시 음성정보를 획득하도록 설정될 수도 있고, DID 장치(200)의 제어에 의해 DID 인터페이스(100)가 음성입력 대기모드로 전환될 때에만 음성정보를 획득하도록 설정될 수도 있다.The voice recognition microphone 120 may be installed toward the front of the DID interface 100 to obtain voice information. The voice recognition microphone 120 may be set to always acquire voice information, or it may be set to acquire voice information only when the DID interface 100 is switched to the voice input standby mode under the control of the DID device 200 . have.

모션 센서(130)는 DID 인터페이스(100) 전방의 소정 영역 내에서 이루어지는 사용자의 동작을 감지하도록 구성될 수 있다. 모션 센서(130)는 예를 들어 DID 인터페이스(100)의 상부 또는 하부에서 소정 각도로 복수의 적외선 광선을 방사하여 그 반사되는 광선의 입력을 감지할 수 있다. The motion sensor 130 may be configured to detect a user's motion within a predetermined area in front of the DID interface 100 . The motion sensor 130 may, for example, emit a plurality of infrared rays from the upper or lower portion of the DID interface 100 at a predetermined angle to detect an input of the reflected rays.

터치 스크린(140)은 사용자의 접촉에 의해 사용자 입력을 수신하도록 구성될 수 있다. 터치 스크린(140)은 디스플레이 장치(150)와 통합된 형태로 구현될 수도 있다. 일부 실시예에 따른 DID 인터페이스(100)는 모션 센서(130)와 터치 스크린(140) 중 어느 하나만을 포함할 수도 있다.The touch screen 140 may be configured to receive a user input by a user's contact. The touch screen 140 may be implemented in an integrated form with the display device 150 . The DID interface 100 according to some embodiments may include only one of the motion sensor 130 and the touch screen 140 .

디스플레이 장치(150)는 사용자에게 보여지는 화면을 출력하는 것으로서, 사용자에게 시각적으로 정보를 제공하도록 구성될 수 있다. 디스플레이 장치(150)는 후술하는 DID 장치(200)의 명령 처리부(240)가 제공하는 화면출력정보를 화면(152; 도 4 참조)에 출력할 수 있다.The display device 150 outputs a screen shown to the user, and may be configured to visually provide information to the user. The display device 150 may output screen output information provided by the command processing unit 240 of the DID device 200 to be described later on the screen 152 (refer to FIG. 4 ).

스피커(160)는 사용자에게 음성 및/또는 음향 신호를 출력하는 것으로서, 사용자에게 청각적으로 정보를 제공하도록 구성될 수 있다. 스피커(160)는 후술하는 DID 장치(200)의 명령 처리부(240)가 제공하는 음성출력정보를 출력할 수 있다.The speaker 160 outputs a voice and/or sound signal to the user, and may be configured to provide information aurally to the user. The speaker 160 may output audio output information provided by the command processing unit 240 of the DID device 200 to be described later.

DID 장치(200)는 얼굴인식부(210), 음성명령인식부(220), 동작인식부(230), 명령 처리부(240), 송수신부(250), 센서(260) 및 데이터베이스(270)를 포함할 수 있다. 전술한 바와 같이, DID 장치(200)는 DID 인터페이스(100)와 통합된 형태로 구현될 수 있는데, 필요에 따라 하나의 DID 장치(200)가 복수 개의 DID 인터페이스(100)와 연결될 수도 있다. The DID device 200 includes a face recognition unit 210 , a voice command recognition unit 220 , a motion recognition unit 230 , a command processing unit 240 , a transceiver 250 , a sensor 260 and a database 270 . may include As described above, the DID device 200 may be implemented in an integrated form with the DID interface 100 , and if necessary, one DID device 200 may be connected to a plurality of DID interfaces 100 .

얼굴인식부(210)는 얼굴인식 카메라(110)를 통해 얻어진 영상정보에 사용자의 얼굴이 검출되는지 여부를 판단할 수 있다. 얼굴인식부(210)는 예를 들어 영상정보에서 사람의 얼굴에 대응하는 것으로 볼 수 있는 형상이 존재하고 해당 형상이 소정 크기 조건을 만족하는지 여부를 판단할 수 있다. 사람의 얼굴에 대응하는 형상이 소정 범위 이내의 크기로 검출되고 이와 같이 검출된 상태가 기준값을 초과하여 유지되는 경우, 얼굴인식부(210)는 DID 인터페이스(100) 앞에 사용자가 대기하고 있는 것으로 판단할 수 있다. 얼굴인식부(210)는 획득한 영상정보 내에서의 사용자 얼굴의 높이 및/또는 크기를 추출할 수도 있다. The face recognition unit 210 may determine whether the user's face is detected in the image information obtained through the face recognition camera 110 . The face recognition unit 210 may determine whether, for example, a shape that can be seen as corresponding to a human face in the image information exists and the shape satisfies a predetermined size condition. When the shape corresponding to the human face is detected to have a size within a predetermined range and the detected state is maintained in excess of the reference value, the face recognition unit 210 determines that the user is waiting in front of the DID interface 100 can do. The face recognition unit 210 may extract the height and/or size of the user's face in the acquired image information.

음성명령 인식부(220)는 음성인식 마이크(120)를 통해 음성정보를 획득하도록 구성될 수 있다. 음성명령 인식부(220)는 예를 들어 음성인식 마이크(120)를 통해 항시 수신되는 음성정보 중 명령 처리부(240)에서 지정하는 기간 중의 음성정보를 추출할 수도 있고, 명령 처리부(240)에서 제어신호가 수신될 때에만 음성정보가 음성인식 마이크(120)를 통해 획득되도록 설정할 수도 있다.The voice command recognition unit 220 may be configured to acquire voice information through the voice recognition microphone 120 . The voice command recognition unit 220 may extract, for example, voice information during a period designated by the command processing unit 240 from among the voice information always received through the voice recognition microphone 120 , and is controlled by the command processing unit 240 . It may be set so that voice information is acquired through the voice recognition microphone 120 only when a signal is received.

동작인식부(230)는 모션 센서(130) 및/또는 터치 스크린(140)의 감지 신호를 바탕으로 사용자의 입력을 인식하도록 구성될 수 있다. 예를 들어, 모션 센서(130)가 구비된 DID 인터페이스(100)의 경우, 동작인식부(230)는 모션 센서(130)의 감지 신호를 바탕으로 사용자의 손동작을 인식할 수 있으며, 이러한 손동작에 대응하는 입력이 디스플레이 장치(150)에 표현되도록 구성될 수 있다. 또한, 터치 스크린(140)이 구비된 DID 인터페이스(100)의 경우, 동작인식부(230)는 터치 스크린(140)을 통해 제공되는 사용자 입력을 인식할 수 있다.The motion recognition unit 230 may be configured to recognize a user's input based on a detection signal of the motion sensor 130 and/or the touch screen 140 . For example, in the case of the DID interface 100 provided with the motion sensor 130 , the motion recognition unit 230 may recognize the user's hand motion based on the detection signal of the motion sensor 130 , and A corresponding input may be configured to be presented on the display device 150 . In addition, in the case of the DID interface 100 provided with the touch screen 140 , the motion recognition unit 230 may recognize a user input provided through the touch screen 140 .

명령 처리부(240)는 DID 장치(200)의 전반적인 제어를 수행하는 부분에 해당할 수 있다. 특히, 명령 처리부(240)는 음성명령 인식부(220) 및 동작인식부(230)로부터 얻어지는 사용자 입력으로부터 사용자의 의도를 파악하고 사용자가 요구하는 정보를 제공하는 역할을 할 수 있다. 명령 처리부(240)는 사용자가 요구하는 정보를 화면출력정보 및 음성출력정보의 형태로 생성할 수 있으며, 이들을 각각 디스플레이 장치(150) 및 스피커(160)에 전송할 수 있다.The command processing unit 240 may correspond to a part that performs overall control of the DID device 200 . In particular, the command processing unit 240 may serve to identify the user's intention from the user input obtained from the voice command recognition unit 220 and the motion recognition unit 230 and provide information requested by the user. The command processing unit 240 may generate information requested by the user in the form of screen output information and audio output information, and may transmit them to the display device 150 and the speaker 160, respectively.

DID 장치(200)의 데이터베이스(270)에는 DID 장치(200)와 연관된 DID 인터페이스(100)의 디스플레이 장치(150)의 화면 구성에 관한 설정정보가 저장될 수 있다. 여기서, 화면 구성에 관한 설정정보에는 디스플레이 장치(150)의 화면(152)이 취할 수 있는 다양한 화면 분할 형태에 관한 정보가 포함될 수 있다. 즉, 화면 구성에 관한 설정정보에는 화면(152)이 복수의 분할 구역으로 나뉘어질 수 있는 다양한 배치 형태가 저장될 수 있다. 명령 처리부(240)는 화면출력정보를 생성할 때 특정 화면 분할 형태를 지정할 수 있으며, 각각의 분할 구역에 어떠한 내용을 출력할지를 지정할 수 있다. In the database 270 of the DID device 200 , setting information regarding a screen configuration of the display device 150 of the DID interface 100 associated with the DID device 200 may be stored. Here, the setting information on the screen configuration may include information on various screen division forms that the screen 152 of the display device 150 can take. That is, various arrangements in which the screen 152 can be divided into a plurality of division areas may be stored in the setting information regarding the screen configuration. The command processing unit 240 may designate a specific screen division type when generating screen output information, and may designate what content to output in each division area.

일부 실시예에서는 얼굴인식부(210) 또는 명령 처리부(240)가 얼굴인식 카메라(110)를 통해 얻어진 영상정보 내의 사용자의 얼굴로부터 사용자 얼굴의 높이 및/또는 크기를 추출할 수 있다. 명령 처리부(240)는 더 나아가 DID 장치(200)를 사용하고 있는 사용자의 키 및/또는 나이를 추정할 수 있으며, 이를 화면출력정보에 반영할 수 있다. In some embodiments, the face recognition unit 210 or the command processing unit 240 may extract the height and/or size of the user's face from the user's face in the image information obtained through the face recognition camera 110 . The command processing unit 240 may further estimate the height and/or age of the user who is using the DID device 200 , and may reflect this to the screen output information.

명령 처리부(240)는 사용자의 키를 반영하여 화면출력정보를 생성할 수 있다. 예를 들어, 명령 처리부(240)는 사용자가 요구한 정보를 제공함에 있어 화면(152)이 도 4에 도시된 것과 같이 상하 방향으로 3개의 분할 구역(154, 156, 158)으로 나뉘어지는 화면 분할 형태를 선택할 수 있다. 이 경우, 명령 처리부(240)는 사용자의 키에서(사용자의 얼굴의 높이에서) 가시성이 가장 좋은 중간 분할 구역(156)에 사용자가 요구한 정보가 출력되고, 이와 관련된 정보 및/또는 기타 정보가 나머지 분할 구역(154, 158)에 출력되도록 화면출력정보를 생성할 수 있다.The command processing unit 240 may generate screen output information by reflecting the user's key. For example, in providing the information requested by the user, the command processing unit 240 divides the screen 152 into three division zones 154 , 156 , and 158 in the vertical direction as shown in FIG. 4 . You can choose the shape. In this case, the command processing unit 240 outputs the information requested by the user to the middle partition 156 with the best visibility at the height of the user (at the height of the user's face), and related information and/or other information Screen output information may be generated to be output to the remaining divided areas 154 and 158 .

또한, 명령 처리부(240)는 얼굴인식부(210)에서 인식한 사용자의 얼굴로부터 사용자의 나이 및/또는 성별을 추정할 수 있다. 이 경우, 명령 처리부(240)는 화면(152)의 분할 구역(154, 156, 158) 중 하나 이상에 해당 연령대 또는 성별의 사용자가 관심을 가질 만한 내용이 출력되도록 화면출력정보를 생성할 수 있다.Also, the command processing unit 240 may estimate the age and/or gender of the user from the user's face recognized by the face recognition unit 210 . In this case, the command processing unit 240 may generate screen output information so that content that may be of interest to a user of the corresponding age group or gender is output to one or more of the divided areas 154, 156, and 158 of the screen 152. .

송수신부(250)는 명령 처리부(240)의 제어에 따라 그룹 서버(300) 및/또는 외부 서버(400, 500)를 대상으로 정보를 송수신할 수 있다. 즉, DID 장치(200)는 송수신부(250)에 의해 그룹 서버(300) 및/또는 외부 서버(400, 500)와 연결될 수 있다. 여기서, DID 장치(200)가 그룹 서버(300) 및/또는 외부 서버(400, 500)와 연결된다 함은 다양한 유선 및/또는 무선 네트워크에 의해 정보 교환이 가능하도록 연결되는 것을 의미한다.The transceiver 250 may transmit/receive information to and from the group server 300 and/or the external servers 400 and 500 under the control of the command processing unit 240 . That is, the DID device 200 may be connected to the group server 300 and/or the external servers 400 and 500 by the transceiver 250 . Here, when the DID device 200 is connected with the group server 300 and/or the external servers 400 and 500, it means that the DID device 200 is connected to enable information exchange through various wired and/or wireless networks.

센서(260)는 DID 장치(200) 또는 DID 인터페이스(100)가 설치된 위치에서 특정 환경정보를 측정하도록 구성될 수 있다. 센서(260)가 측정하는 환경정보에는 예를 들어 DID 장치(200) 또는 DID 인터페이스(100)가 설치된 실내 공간 또는 해당 시설물 주위의 실외 공간의 온도, 습도, 미세먼지 농도 등이 포함될 수도 있고, DID 장치(200) 또는 DID 인터페이스(100)가 설치된 실내 공간에 출입한 인원 수 등이 포함될 수도 있다.The sensor 260 may be configured to measure specific environmental information at a location where the DID device 200 or the DID interface 100 is installed. The environmental information measured by the sensor 260 may include, for example, the temperature, humidity, fine dust concentration, etc. of an indoor space in which the DID device 200 or the DID interface 100 is installed or an outdoor space around the corresponding facility, and the DID The number of people entering and exiting the indoor space in which the device 200 or the DID interface 100 is installed may be included.

데이터베이스(270)는 DID 장치(200)의 다양한 구성요소들이 필요로 하는 정보 및 센서(260)에서 측정한 정보를 저장할 수 있다.The database 270 may store information required by various components of the DID device 200 and information measured by the sensor 260 .

그룹 서버(300)는 센서 관제센터(310), 제어부(320) 및 데이터베이스(330)를 포함할 수 있다. 그룹 서버(300)는 다수의 DID 장치(200)를 관제하는 역할을 할 수 있다. 일부 실시예에서는 복수의 DID 장치(200) 중 하나가 그룹 서버(300)의 역할을 겸할 수도 있고, 일부 실시예에서는 그룹 서버(300)가 생략될 수도 있다. 또한, 일부 실시예에서는 그룹 서버(300)가 후술하는 DID 관리 서버(600)와 통합될 수도 있다.The group server 300 may include a sensor control center 310 , a controller 320 , and a database 330 . The group server 300 may serve to control a plurality of DID devices 200 . In some embodiments, one of the plurality of DID devices 200 may also serve as the group server 300 , and in some embodiments, the group server 300 may be omitted. In addition, in some embodiments, the group server 300 may be integrated with the DID management server 600 to be described later.

센서 관제센터(310)는 다수의 DID 장치(200)의 센서(260)를 관리할 수 있으며, 각 센서(260)에서 수집한 측정값을 데이터베이스(330)에 저장할 수 있다. DID 장치(200)들이 하나의 시설의 서로 다른 구역에 설치된 경우, 복수의 DID 장치(200) 중 어느 하나의 센서(260)의 값이 나머지 DID 장치(200)의 센서(260)에 비해 과도한 차이를 나타내는 경우 센서 관제센터(310)는 이를 관리자에게 알릴 수 있다.The sensor control center 310 may manage the sensors 260 of the plurality of DID devices 200 , and store measurement values collected by each sensor 260 in the database 330 . When the DID devices 200 are installed in different areas of one facility, the value of one sensor 260 among the plurality of DID devices 200 is excessively different from the sensor 260 of the other DID devices 200 . In the case of indicating the sensor control center 310 may notify this to the manager.

제어부(320)는 그룹 서버(300)의 전반적인 작동을 제어할 수 있다. DID 장치(200)가 그룹 서버(300)에 정보를 요청하면 제어부(320)는 센서 관제센터(310) 및/또는 데이터베이스(330)로부터 해당 정보를 DID 장치(200)에 제공할 수 있다.The controller 320 may control the overall operation of the group server 300 . When the DID device 200 requests information from the group server 300 , the controller 320 may provide the corresponding information to the DID device 200 from the sensor control center 310 and/or the database 330 .

데이터베이스(330)는 센서 관제센터(310) 및 제어부(320)의 작동과 관련된 다양한 데이터를 저장할 수 있다.The database 330 may store various data related to the operation of the sensor control center 310 and the control unit 320 .

본 발명의 일실시예에 따른 DID 시스템(1000)에서 DID 장치(200)는 하나 이상의 외부 서버(400, 500)와 연결될 수 있다.In the DID system 1000 according to an embodiment of the present invention, the DID device 200 may be connected to one or more external servers 400 and 500 .

DID 장치(200)가 연결될 수 있는 한 종류의 외부서버(400)는 음성 인식 모듈(410), 챗봇 모듈(420) 및 음성 합성 모듈(430)을 포함할 수 있다. 외부서버(400)는 예를 들어 네이버의 CLOVA 서비스 등의 IVA(Intelligent Virtual Assistant)와 유사한 서비스를 제공하는 서버일 수 있다. 외부서버(400)는 클라우드 플랫폼에 구현될 수도 있다.One type of external server 400 to which the DID device 200 can be connected may include a voice recognition module 410 , a chatbot module 420 , and a voice synthesis module 430 . The external server 400 may be, for example, a server that provides a service similar to an Intelligent Virtual Assistant (IVA) such as Naver's CLOVA service. The external server 400 may be implemented in a cloud platform.

음성 인식 모듈(410)은 음성 인식 기능을 수행하도록 구성될 수 있다. 예를 들어, 명령 처리부(240)가 음성명령인식부(220)에서 획득한 음성정보를 송수신부(250)를 통해 음성 인식 모듈(410)로 전송하면, 음성 인식 모듈(410)은 STT(Speech to Text) 변환을 수행하여 텍스트정보를 생성할 수 있다. 음성 인식 모듈(410)은 이와 같이 생성된 텍스트정보를 다시 DID 장치(200)로 전송할 수 있고, 명령 처리부(240)는 사용자의 의도를 파악하는 데 텍스트정보를 이용할 수 있다.The voice recognition module 410 may be configured to perform a voice recognition function. For example, when the command processing unit 240 transmits the voice information obtained from the voice command recognition unit 220 to the voice recognition module 410 through the transceiver 250 , the voice recognition module 410 is STT (Speech) to Text) conversion to create text information. The voice recognition module 410 may transmit the generated text information back to the DID device 200 , and the command processing unit 240 may use the text information to determine the user's intention.

챗봇 모듈(420)은 챗봇 기능을 수행하는 모듈일 수 있는데, 사용자가 예를 들어 사전설정된 호출 어구를 발음하면 DID 장치(200)는 챗봇 모듈(420)을 호출하여 사용자의 음성 질의가 챗봇 모듈(420)에 입력되게 할 수 있다. 챗봇 모듈(420)에서 제공하는 답변은 음성 인식 모듈(410)에서 텍스트정보의 형태로 제공될 수도 있다.The chatbot module 420 may be a module that performs a chatbot function. When the user pronounces, for example, a preset call phrase, the DID device 200 calls the chatbot module 420 so that the user's voice query is sent to the chatbot module ( 420) can be entered. The answer provided by the chatbot module 420 may be provided in the form of text information by the voice recognition module 410 .

음성 합성 모듈(430)은 음성 합성 기능을 수행하도록 구성될 수 있다. 예를 들어, 명령 처리부(240)가 사용자에게 제공할 응대정보를 송수신부(250)를 통해 음성 합성 모듈(430)로 전송하면, 음성 합성 모듈(430)은 TTS(Text to Speech) 변환을 수행하여 음성출력정보를 생성할 수 있다. 음성 합성 모듈(430)은 이와 같이 생성된 음성출력정보를 다시 DID 장치(200)로 전송할 수 있고, 명령 처리부(240)는 음성출력정보를 스피커(160)로 전송할 수 있다.The speech synthesis module 430 may be configured to perform a speech synthesis function. For example, when the command processing unit 240 transmits response information to be provided to the user to the voice synthesis module 430 through the transceiver 250 , the voice synthesis module 430 performs Text to Speech (TTS) conversion. Thus, it is possible to generate audio output information. The voice synthesis module 430 may transmit the generated voice output information to the DID device 200 again, and the command processing unit 240 may transmit the voice output information to the speaker 160 .

한편, DID 장치(200)가 연결될 수 있는 다른 한 종류의 외부서버(500)는 다양한 정보를 제공하는 서버일 수 있다. 외부서버(500)는 예를 들어, 날씨 예보, 미세먼지 현황, 최신 뉴스 등을 제공할 수 있으며, DID 장치(200)의 명령 처리부(240)는 파악된 사용자의 의도에 따라 필요한 정보를 제공하는 외부서버(500)를 선택하여 접속할 수 있다. 명령 처리부(240)는 접속한 외부서버(500)로부터 필요한 정보를 수신하여 응대정보를 작성할 수 있다.Meanwhile, another type of external server 500 to which the DID device 200 can be connected may be a server that provides various information. The external server 500 may provide, for example, weather forecast, fine dust status, latest news, etc., and the command processing unit 240 of the DID device 200 provides necessary information according to the identified user's intention. You can connect to the external server 500 by selecting it. The command processing unit 240 may receive necessary information from the connected external server 500 to create response information.

본 발명의 일실시예에 따른 DID 시스템(1000)의 DID 관리 서버(600)는 복수의 DID 장치(200) 및/또는 하나 이상의 그룹 서버(300)와 연결될 수 있다. DID 관리 서버(600)는 키오스크 관리부(610), 컨텐츠 관리부(620) 및 데이터베이스(630)를 포함할 수 있다.The DID management server 600 of the DID system 1000 according to an embodiment of the present invention may be connected to a plurality of DID devices 200 and/or one or more group servers 300 . The DID management server 600 may include a kiosk management unit 610 , a content management unit 620 , and a database 630 .

키오스크 관리부(610)는 복수의 DID 장치(200)를 관리하는 데 사용될 수 있다. 키오스크 관리부(610)는 데이터베이스(630)에 각 DID 장치(200)에 관한 정보를 저장할 수도 있다.The kiosk management unit 610 may be used to manage the plurality of DID devices 200 . The kiosk manager 610 may store information about each DID device 200 in the database 630 .

컨텐츠 관리부(620)는 DID 장치(200)에 연관된 DID 인터페이스(100)의 디스플레이 장치(150)에서 출력하는 데 사용할 수 있는 컨텐츠를 DID 장치(200) 및/또는 그룹 서버(300)에 전송할 수 있다. 필요에 따라 컨텐츠 관리부(620)는 각 DID 장치(200)에 연관된 디스플레이 장치(150)의 화면 크기 및 가능한 화면 분할 형태를 데이터베이스(630)에 저장할 수 있으며, 각각의 화면 크기 및 화면 분할 형태에서 컨텐츠를 출력하기 위한 설정을 저장할 수 있다.The content manager 620 may transmit content that can be used to be output on the display device 150 of the DID interface 100 associated with the DID device 200 to the DID device 200 and/or the group server 300 . . If necessary, the content management unit 620 may store the screen size and possible screen division form of the display device 150 associated with each DID device 200 in the database 630, and the content in each screen size and screen division form You can save the settings for outputting .

도 2에 도시된 바와 같이, DID 관리 서버(600)는 외부망에 인터페이스 서버를 두어 DID 장치(200) 및/또는 그룹 서버(300)를 포함하는 내부망과 인터넷 영역 간에 https 프로토콜 등으로 연결함으로 구현될 수 있다. 전술한 바와 같이, 일부 실시예에서는 그룹 서버(300)가 DID 관리 서버(600)와 통합될 수도 있으며, 그룹 서버(300)가 사용되지 않는 경우 DID 장치(200) 중 하나가 DID 관리 서버(600)와 통합될 수도 있다. As shown in FIG. 2 , the DID management server 600 has an interface server on the external network to connect between the internal network including the DID device 200 and/or the group server 300 and the Internet area using the https protocol, etc. can be implemented. As described above, in some embodiments, the group server 300 may be integrated with the DID management server 600 , and when the group server 300 is not used, one of the DID devices 200 is the DID management server 600 . ) can also be combined.

한편, 도 3에 도시된 바와 같이, 클라우드 영역에 인터페이스 서버를 두어 DID 관리 서버(600)를 구현할 수도 있다. 이 경우 DID 관리 서버(600)를 외부 서버(400)와 동일한 클라우드 서비스에 구현하는 것도 가능하다. 이 경우 역시 DID 관리 서버(600)를 위한 인터페이스 서버는 https 프로토콜 등으로 DID 장치(200) 및/또는 그룹 서버(300)를 포함하는 내부망에 연결될 수 있다. 필요에 따라 관리자는 DID 관리 서버(600)를 휴대폰(650)으로 접속할 수 있다. Meanwhile, as shown in FIG. 3 , the DID management server 600 may be implemented by placing an interface server in the cloud area. In this case, it is also possible to implement the DID management server 600 in the same cloud service as the external server 400 . In this case, too, the interface server for the DID management server 600 may be connected to the internal network including the DID device 200 and/or the group server 300 using https protocol or the like. If necessary, the administrator may connect the DID management server 600 to the mobile phone 650 .

이하, 도 5 내지 도 7을 참조하여 본 발명의 일실시예에 따른 DID 시스템(1000)의 동작을 더 자세히 설명하기로 한다. 도 5 내지 도 7은 본 발명의 일실시예에 따른 DID 시스템의 동작을 예시하는 흐름도이다.Hereinafter, the operation of the DID system 1000 according to an embodiment of the present invention will be described in more detail with reference to FIGS. 5 to 7 . 5 to 7 are flowcharts illustrating the operation of the DID system according to an embodiment of the present invention.

도 5를 참조하면, DID 인터페이스(100)는 먼저 영상정보를 DID 장치(200)에 제공할 수 있다(S710). DID 인터페이스(100)는 얼굴인식 카메라(110)를 항시 구동하여 영상정보를 획득할 수 있고, 이는 DID 장치(200)에 제공될 수 있다. DID 인터페이스(100)가 어느 시설의 특정 구역에 설치된 경우를 가정하면, DID 인터페이스(100)의 얼굴인식 카메라(110)는 계속적으로 해당 구역을 지나는 보행자들을 촬영할 수 있다. DID 인터페이스(100)는 평소에는 디스플레이 장치(150) 및/또는 스피커(160)를 통해 사용자의 DID 인터페이스(100) 이용을 유도하는 안내 및 설명을 출력할 수 있다.Referring to FIG. 5 , the DID interface 100 may first provide image information to the DID device 200 ( S710 ). The DID interface 100 may obtain image information by constantly driving the face recognition camera 110 , which may be provided to the DID device 200 . Assuming that the DID interface 100 is installed in a specific area of a certain facility, the face recognition camera 110 of the DID interface 100 may continuously photograph pedestrians passing through the corresponding area. The DID interface 100 may normally output a guide and explanation for inducing the user to use the DID interface 100 through the display device 150 and/or the speaker 160 .

DID 장치(200)는 제공받은 영상정보를 분석하여 사용자가 대기하고 있는지 여부를 판단할 수 있다(S720). 예를 들어 영상정보에 사람의 얼굴에 대응하는 것으로 볼 수 있는 형상이 존재하고 해당 형상이 소정 크기 조건을 만족하는 경우, DID 장치(200)의 얼굴인식부(210)는 사용자의 얼굴이 검출되는 것으로 판단할 수 있다. 사람의 얼굴에 대응하는 형상이 소정 범위 이내의 크기로 검출되고 이와 같이 검출된 상태가 기준값을 초과하여 유지되는 경우, DID 장치(200)의 얼굴인식부(210)는 DID 인터페이스(100) 앞에 사용자가 대기하고 있는 것으로 판단할 수 있다. The DID device 200 may analyze the provided image information to determine whether the user is waiting (S720). For example, when a shape that can be seen as corresponding to a human face exists in the image information and the shape satisfies a predetermined size condition, the face recognition unit 210 of the DID device 200 detects the user's face. can be judged as When a shape corresponding to a person's face is detected with a size within a predetermined range and the detected state is maintained in excess of the reference value, the face recognition unit 210 of the DID device 200 displays the user in front of the DID interface 100 . can be considered to be waiting.

즉, DID 인터페이스(100)가 설치된 위치에서 수많은 보행자들이 DID 인터페이스(100) 앞을 지날 수 있고, 일부 보행자들은 DID 인터페이스(100)를 바라볼 수 있지만, 이들이 모두 DID 인터페이스(100)를 이용하려는 것은 아닐 것이다. 따라서 사용자의 얼굴이 소정 범위 이내의 크기로 검출되어 DID 인터페이스(100)로부터 소정 거리 이내에 위치하는 동시에 사용자의 얼굴이 검출되는 시간이 사전설정된 기준값(예컨대 3초)을 초과하여 DID 인터페이스(100)를 지나가는 보행자가 아닌 것으로 판단될 때 DID 장치(200)는 사용자가 대기하고 있는 것으로 판단할 수 있다.That is, at the location where the DID interface 100 is installed, many pedestrians may pass in front of the DID interface 100 , and some pedestrians may look at the DID interface 100 , but they all want to use the DID interface 100 . It won't be. Therefore, the user's face is detected with a size within a predetermined range and is located within a predetermined distance from the DID interface 100, and at the same time, the time at which the user's face is detected exceeds a preset reference value (for example, 3 seconds), and the DID interface 100 is activated. When it is determined that the pedestrian is not passing, the DID device 200 may determine that the user is waiting.

물론, DID 인터페이스(100)는 다양한 방법으로 사용자 입력을 수신할 수 있으므로, DID 장치(200)가 사용자가 대기 여부를 판단하는 단계(S720)는 위의 방법으로 한정되는 것은 아니다. 예를 들어, 사용자가 음성인식 마이크(120)를 통해 호출 어구를 기준치 이상의 음량으로 발음하거나, 모션 센서(130) 또는 터치 스크린(140)을 통해 화면(152)에 입력을 가하는 경우, DID 장치(200)는 DID 인터페이스(100) 앞에 사용자가 대기하고 있는 것으로 판단할 수 있다.Of course, since the DID interface 100 may receive a user input in various ways, the step S720 of the DID device 200 determining whether the user is waiting is not limited to the above method. For example, when the user pronounces a call phrase at a volume higher than the reference value through the voice recognition microphone 120 or applies an input to the screen 152 through the motion sensor 130 or the touch screen 140, the DID device ( 200 ) may determine that the user is waiting in front of the DID interface 100 .

한편, DID 장치(200)의 얼굴인식부(210)는 제공받은 영상정보로부터 사용자의 얼굴이 위치하는 높이 및/또는 크기를 추출할 수 있다. 얼굴인식부(210)는 영상 분석에 의해 얼굴 높이 및/또는 크기를 추정할 수도 있고, DID 인터페이스(100)에 구비된 별도의 적외선 센서(미도시) 등을 이용할 수도 있다. DID 장치(200)의 명령 처리부(240)는 추출된 사용자 얼굴의 높이 및/또는 크기로부터 사용자의 나이 및/또는 성별을 추정하여 추후 화면출력정보를 생성할 때 사용할 수 있다.Meanwhile, the face recognition unit 210 of the DID device 200 may extract the height and/or size at which the user's face is located from the provided image information. The face recognition unit 210 may estimate the height and/or size of the face by image analysis, or may use a separate infrared sensor (not shown) provided in the DID interface 100 . The command processing unit 240 of the DID device 200 may estimate the user's age and/or gender from the extracted height and/or size of the user's face, and may be used to generate screen output information later.

DID 장치(200)의 얼굴인식부(210)가 DID 인터페이스(100) 앞에 사용자가 대기하고 있는 것으로 판단하면, DID 장치(200)의 명령 처리부(240)는 DID 인터페이스(100)에 사용자 대기 상태를 통지할 수 있다(S730). 이는 DID 인터페이스(100)에 특정 제어신호를 전송하는 방법으로 이루어질 수 있다.When the face recognition unit 210 of the DID device 200 determines that the user is waiting in front of the DID interface 100 , the command processing unit 240 of the DID device 200 sends a user standby state to the DID interface 100 . A notification may be made (S730). This may be accomplished by transmitting a specific control signal to the DID interface 100 .

사용자 대기 상태를 통지받으면, DID 인터페이스(100)는 음성입력 대기모드로 설정될 수 있다(S740). 음성입력 대기모드에서 DID 인터페이스(100)는 음성인식 마이크(120)를 통해 사용자의 음성정보를 수신할 수 있다. 물론, 음성입력 대기모드로 설정되면, DID 인터페이스(100)는 먼저 디스플레이 장치(150) 및/또는 스피커(160)를 통해 안내메시지를 출력할 수 있다. 안내메시지에는 사용자를 환영하는 인사 및 해당 DID 인터페이스(100)를 사용하는 방법에 대한 설명 등이 포함될 수 있다.Upon receiving the notification of the user standby state, the DID interface 100 may be set to the voice input standby mode (S740). In the voice input standby mode, the DID interface 100 may receive the user's voice information through the voice recognition microphone 120 . Of course, when the voice input standby mode is set, the DID interface 100 may first output a guide message through the display device 150 and/or the speaker 160 . The guide message may include a greeting to welcome the user and a description of how to use the corresponding DID interface 100 .

사용자는 다양한 방법으로 정보를 요청할 수 있는데, 전술한 바와 같이 모션 센서(130) 또는 터치스크린(140)을 이용하여 디스플레이 장치(150)의 화면(152)에 출력된 인터페이스를 사용하여 필요한 정보를 요청할 수도 있다. The user may request information in various ways. As described above, the user may request necessary information using the interface output on the screen 152 of the display device 150 using the motion sensor 130 or the touch screen 140 . may be

사용자가 음성으로 명령을 입력하거나 정보를 요청하면, DID 인터페이스(100)는 수신된 음성정보를 DID 장치(200)에 제공할 수 있다(S750). DID 장치(200)의 음성명령인식부(220)는 제공받은 데이터에서 음성정보를 추출하고 잡음 제거 등의 처리를 할 수 있고, DID 장치(200)의 명령 처리부(240)는 송수신부(250)를 통해 음성정보를 외부 서버(400)로 전달할 수 있다(S760). When the user inputs a command by voice or requests information, the DID interface 100 may provide the received voice information to the DID device 200 (S750). The voice command recognition unit 220 of the DID device 200 may extract voice information from the received data and process such as noise removal, and the command processing unit 240 of the DID device 200 includes the transceiver 250 . Voice information may be transmitted to the external server 400 through (S760).

외부 서버(400)의 음성 인식 모듈(410)은 수신한 음성정보를 텍스트로 변환할 수 있고(S770), 이로써 생성된 텍스트정보를 다시 DID 장치(200)에 제공할 수 있다(S780). The voice recognition module 410 of the external server 400 may convert the received voice information into text (S770), and may provide the generated text information to the DID device 200 again (S780).

음성정보에 대응하는 텍스트정보를 수신한 DID 장치(200)의 명령 처리부(240)는 텍스트정보에 기초하여 사용자의 의도를 판단할 수 있다(S790). DID 장치(200)의 명령 처리부(240)는 사용자의 의도를 판단하기 위해 주요 키워드를 추출할 수 있고, 사용자가 요구하는 정보를 얻기 위해 어디를 참조해야 할지를 결정할 수 있다. 예를 들어, 사용자가 요구하는 정보 중 일부 유형은 DID 장치(200)의 데이터베이스(270)에 저장된 것일 수 있고(예컨대, DID 인터페이스(100)가 설치된 시설의 구역에 대한 소개, 화면(152)에 표시된 메뉴의 다음 페이지 등), DID 장치(200)와 연관된 그룹 서버(300)에 요청해야 하는 것일 수 있고(예컨대, DID 인터페이스(100)가 설치된 시설의 다른 구역의 공기품질 등), 외부 서버(400, 500)에 요청해야 하는 것일 수도 있다(예컨대, 최신 뉴스 등).Upon receiving the text information corresponding to the voice information, the command processing unit 240 of the DID device 200 may determine the user's intention based on the text information (S790). The command processing unit 240 of the DID device 200 may extract a main keyword to determine the user's intention, and may determine where to refer to to obtain information requested by the user. For example, some types of information requested by the user may be stored in the database 270 of the DID device 200 (eg, an introduction to the area of the facility where the DID interface 100 is installed, and the screen 152 ). The next page of the displayed menu, etc.), may be requested to the group server 300 associated with the DID device 200 (eg, air quality in other areas of the facility where the DID interface 100 is installed, etc.), and an external server ( 400, 500) (eg, latest news, etc.).

도 6에는 DID 장치(200)의 명령 처리부(240)가 사용자가 요구하는 정보를 얻기 위해 외부 서버(400)에 문의하는 경우의 흐름도가 도시되어 있다.6 is a flowchart illustrating a case in which the command processing unit 240 of the DID device 200 inquires the external server 400 to obtain information requested by the user.

사용자의 의도를 판단(S790)한 결과 사용자가 요구하는 정보를 외부 서버(400)에서 획득해야 할 것으로 판단한 경우, DID 장치(200)의 명령 처리부(240)는 요구되는 응대정보 요청을 외부 서버(400)에 전송할 수 있다(S800). 외부 서버(400)는 응대정보를 생성하여(S810) 해당 응대정보를 다시 DID 장치(200)에 제공할 수 있다(S820).As a result of determining the user's intention (S790), if it is determined that the information requested by the user should be obtained from the external server 400, the command processing unit 240 of the DID device 200 transmits the requested response information request to the external server ( 400) (S800). The external server 400 may generate response information (S810) and provide the corresponding response information to the DID device 200 again (S820).

물론, 사용자의 의도를 판단(S790)한 결과 사용자가 요구하는 정보를 DID 장치(200)의 데이터베이스(270)에서 획득할 수 있는 것으로 판단한 경우, 응대정보를 요청하는 단계(S800)가 생략될 수 있고, 따라서 외부 서버(400)에서 응대정보를 생성하는 단계(S810)와 응대정보를 제공하는 단계(S820)도 생략될 수 있다.Of course, if the user's intention is determined (S790) and it is determined that the information requested by the user can be obtained from the database 270 of the DID device 200, the step of requesting the corresponding information (S800) may be omitted. Therefore, the step of generating the response information in the external server 400 (S810) and the step of providing the response information (S820) can also be omitted.

한편, 사용자의 의도를 판단하는 단계(S790)에서, 사용자가 챗봇을 호출하기 위한 어구를 발음한 것으로 판단되는 경우, 응대정보를 요청하는 단계(S800), 응대정보를 생성하는 단계(S810) 및 응대정보를 제공하는 단계(S820)는 DID 장치(200)가 외부 서버(400)의 챗봇 모듈(420)을 호출하여 사용자와 챗봇 모듈(420) 사이의 대화를 매개하는 과정에 대응할 수 있다.On the other hand, in the step of determining the user's intention (S790), if it is determined that the user pronounces a phrase for calling the chatbot, the step of requesting response information (S800), the step of generating the response information (S810), and The step of providing response information ( S820 ) may correspond to a process in which the DID device 200 calls the chatbot module 420 of the external server 400 to mediate a conversation between the user and the chatbot module 420 .

DID 장치(200)의 명령 처리부(240)는 외부 서버(400)로부터 수신한 또는 데이터베이스(270)에서 독출한 응대정보를 바탕으로 출력정보를 생성하고 화면 출력 배치를 결정하는 단계(S830)를 수행할 수 있다. 여기서 출력정보에는 화면출력정보와 음성출력정보가 포함될 수 있는데, 화면출력정보는 DID 인터페이스(100)의 디스플레이 장치(150)가 화면(152)에 출력할 내용에 대응하는 것이고, 음성출력정보는 DID 인터페이스(100)의 스피커(160)가 음성 및/또는 음향의 형태로 출력할 내용에 대응하는 것이다.The command processing unit 240 of the DID device 200 generates output information based on the response information received from the external server 400 or read from the database 270 and determines the screen output arrangement (S830). can do. Here, the output information may include screen output information and audio output information. The screen output information corresponds to the content to be output by the display device 150 of the DID interface 100 on the screen 152 , and the audio output information is the DID It corresponds to the content to be output by the speaker 160 of the interface 100 in the form of voice and/or sound.

DID 장치(200)의 데이터베이스(270)에는 DID 인터페이스(100)의 디스플레이 장치(150)의 화면(152)에서 사용가능한 하나 이상의 화면 분할 형태 및 각 화면 분할 형태와 연관된 설정값들이 저장될 수 있다. 예를 들어 도 4에는 화면(152)이 상하 방향을 따라 3개의 분할 구역(154, 156, 158)으로 나뉘어진 화면 분할 형태가 도시되어 있다. 물론, 화면(152)은 상하 방향뿐만 아니라 좌우 방향으로도 나뉘어질 수 있고 3개보다 더 적거나 많은 수의 분할 구역으로 나뉘어질 수도 있다.One or more screen division types usable on the screen 152 of the display device 150 of the DID interface 100 and setting values associated with each screen division type may be stored in the database 270 of the DID device 200 . For example, FIG. 4 shows a screen division form in which the screen 152 is divided into three division areas 154 , 156 , and 158 along the vertical direction. Of course, the screen 152 may be divided not only in the vertical direction but also in the left and right directions, and may be divided into fewer or more than three division areas.

DID 장치(200)의 명령 처리부(240)는 해당 응대정보에 가장 적합한 화면 분할 형태를 선택할 수 있으며, 특히 앞서 추정한 사용자의 키 및/또는 나이를 바탕으로 화면 분할 형태를 선택할 수 있다. 명령 처리부(240)는 사용자가 요구한 주요 정보가 사용자의 얼굴 높이에 대응하는 분할 구역에 표시되고 다른 분할 구역에는 이차적으로 연관되는 정보 또는 광고 등이 표시되도록 화면출력정보를 작성할 수 있다.The command processing unit 240 of the DID device 200 may select a screen division form most suitable for the corresponding response information, and in particular, may select a screen division type based on the previously estimated height and/or age of the user. The command processing unit 240 may write the screen output information such that the main information requested by the user is displayed in a division corresponding to the height of the user's face and secondary related information or advertisements are displayed in the other division area.

도 4의 화면(152)을 예로 들면, 사용자가 공기 품질에 관한 정보를 요청한 경우, 명령 처리부(240)는 사용자의 요구에 대응하는 응대정보 및 사용자의 얼굴 높이에 기초하여 도시된 것과 같이 상하로 3개의 분할 구역을 포함하는 화면 분할 형태를 선택할 수 있고, 추정된 사용자의 얼굴 높이에서 가시성이 가장 좋은 가운데 분할 구역(156)에는 응대정보 중 가장 주요한 부분이 표시되고, 다른 분할 구역(154)에는 공기 품질 측정과 관련된 제품의 광고가 표시되고, 또 다른 분할 구역(158)에는 공기 품질과 관련된 또는 일반적인 뉴스 및 공지사항이 표시되도록 화면출력정보를 작성할 수 있다.Taking the screen 152 of FIG. 4 as an example, when the user requests information about air quality, the command processing unit 240 moves up and down as shown based on the response information corresponding to the user's request and the height of the user's face. A screen division form including three divisions can be selected, and the most important part of the response information is displayed in the middle division 156 with the best visibility from the estimated user's face height, and in the other divisions 154 An advertisement of a product related to air quality measurement may be displayed, and screen output information may be written so that news and announcements related to air quality or general news and announcements are displayed in another partition area 158 .

DID 장치(200)의 명령 처리부(240)가 화면출력정보 및 음성출력정보를 생성하면, DID 장치(200)는 이들 출력정보를 DID 인터페이스(100)에 제공할 수 있다(S840). DID 인터페이스(100)는 이들을 수신하여 디스플레이 장치(150) 및 스피커(160)를 통해 화면 및 음성으로 출력할 수 있다(S850). When the command processing unit 240 of the DID device 200 generates screen output information and audio output information, the DID device 200 may provide these output information to the DID interface 100 ( S840 ). The DID interface 100 may receive them and output them as a screen and a voice through the display device 150 and the speaker 160 (S850).

도 7에는 DID 장치(200)의 명령 처리부(240)가 사용자가 요구하는 정보를 얻기 위해 그룹 서버(300)에 문의하는 경우의 흐름도가 도시되어 있다.7 is a flowchart illustrating a case in which the command processing unit 240 of the DID device 200 inquires the group server 300 to obtain information requested by the user.

사용자의 의도를 판단(S790)한 결과 사용자가 요구하는 정보를 그룹 서버(300)에서 획득해야 할 것으로 판단한 경우, DID 장치(200)의 명령 처리부(240)는 요구되는 응대정보 요청을 그룹 서버(300)에 전송할 수 있다(S860). 그룹 서버(300)는 데이터베이스(330)로부터 응대정보를 독출하여 해당 응대정보를 다시 DID 장치(200)에 제공할 수 있다(S820). As a result of determining the user's intention (S790), if it is determined that the information requested by the user should be obtained from the group server 300, the command processing unit 240 of the DID device 200 transmits the requested response information request to the group server ( 300) (S860). The group server 300 may read the response information from the database 330 and provide the corresponding response information to the DID device 200 again (S820).

DID 장치(200)가 응대정보에 기초하여 출력정보를 생성하고 화면 출력 배치를 결정하고(S830) 화면출력정보 및 음성출력정보를 DID 인터페이스(100)에 제공하는 단계(S840) 및 DID 인터페이스(100)가 화면출력정보 및 음성출력정보를 출력하는 단계(S850)는 위에 설명된 것과 동일할 수 있으며, 중복되는 설명은 생략하기로 한다.The DID device 200 generates output information based on the response information, determines the screen output arrangement (S830), and provides the screen output information and the audio output information to the DID interface 100 (S840) and the DID interface 100 ) of outputting the screen output information and the audio output information (S850) may be the same as described above, and the overlapping description will be omitted.

이하, 도 8 및 도 9를 참조하여 본 발명의 일실시예에 따른 DID 장치(200)의 제어방법을 설명하기로 한다. 도 8 및 도 9는 본 발명의 일실시예에 따른 DID 장치(200)의 제어방법을 예시하는 흐름도이다. 참고로, 도 8 및 도 9에서는 DID 인터페이스(100)와 DID 장치(200)가 통합된 형태를 가정하지만, 전술한 바와 같이 DID 인터페이스(100)와 DID 장치(200)는 별개로 구성될 수도 있고 하나의 DID 장치(200)에 복수 개의 DID 인터페이스(100)가 연결될 수도 있다.Hereinafter, a method of controlling the DID device 200 according to an embodiment of the present invention will be described with reference to FIGS. 8 and 9 . 8 and 9 are flowcharts illustrating a control method of the DID device 200 according to an embodiment of the present invention. For reference, although it is assumed in FIGS. 8 and 9 that the DID interface 100 and the DID device 200 are integrated, the DID interface 100 and the DID device 200 may be configured separately as described above. A plurality of DID interfaces 100 may be connected to one DID device 200 .

도 8은 사용자가 음성으로 정보를 요청하는 경우에 대한 흐름도를 나타낸다. 먼저, DID 장치(200)는 영상정보를 수신할 수 있다(S910). 예를 들어, DID 인터페이스(100)는 얼굴인식 카메라(110)를 구동하여 영상정보를 획득하여 이를 DID 장치(200)에 제공될 수 있다. 이 단계에서, DID 장치(200)는 디스플레이 장치(150) 및/또는 스피커(160)를 통해 사용자의 DID 인터페이스(100) 이용을 유도하는 안내 및 설명이 출력되도록 DID 인터페이스(100)를 제어할 수도 있다.8 is a flowchart illustrating a case in which a user requests information by voice. First, the DID device 200 may receive image information (S910). For example, the DID interface 100 may drive the face recognition camera 110 to obtain image information and provide it to the DID device 200 . In this step, the DID device 200 may control the DID interface 100 to output a guide and explanation for inducing the user to use the DID interface 100 through the display device 150 and/or the speaker 160 . have.

DID 장치(200)는 수신한 영상정보에 대하여 얼굴인식시간이 기준값을 초과하는지 여부를 판단할 수 있다(S920). 여기서, 얼굴인식시간이란 사람의 얼굴에 대응하는 형상이 소정 범위 이내의 크기로 검출되고 이와 같이 검출된 상태가 유지되는 시간을 지칭하는 것이다. 영상정보에 사람의 얼굴에 대응하는 것으로 볼 수 있는 형상이 존재하고 해당 형상이 소정 크기 조건을 만족하는 경우, 사람이 DID 인터페이스(100) 앞에 있는 것으로 판단할 수 있다. 또한, 이와 같이 검출된 상태가 기준값을 초과하는 시간 동안 지속되는 경우, 해당 사람이 DID 인터페이스(100)를 사용하고자 하는 것으로 추정할 수 있다.The DID device 200 may determine whether the face recognition time exceeds a reference value with respect to the received image information (S920). Here, the face recognition time refers to a time during which a shape corresponding to a person's face is detected with a size within a predetermined range and the detected state is maintained. When a shape that can be seen as corresponding to a human face exists in the image information and the shape satisfies a predetermined size condition, it may be determined that the person is in front of the DID interface 100 . Also, when the detected state continues for a time exceeding the reference value, it may be estimated that the person intends to use the DID interface 100 .

얼굴인식시간이 기준값을 초과하지 않는 경우, DID 장치(200)는 별다른 작업을 수행하지 않고 영상정보를 수신하는 단계(S910)를 계속할 수 있다. If the face recognition time does not exceed the reference value, the DID device 200 may continue to receive the image information without performing a special operation (S910).

만약 얼굴인식시간이 기준값을 초과하면, DID 장치(200)는 사용자의 특징을 추정할 수 있다(S925). 예를 들어, DID 장치(200)는 사용자의 얼굴의 높이 및/또는 크기를 추출할 수 있고, 이로부터 사용자의 키를 추정할 수 있다. 일부 실시예에서는 DID 장치(200)가 사용자의 나이 및/또는 성별을 추정할 수도 있다.If the face recognition time exceeds the reference value, the DID apparatus 200 may estimate the user's characteristics (S925). For example, the DID device 200 may extract the height and/or size of the user's face, and may estimate the height of the user therefrom. In some embodiments, the DID device 200 may estimate the age and/or gender of the user.

이어서, DID 장치(200)는 DID 인터페이스(100)의 디스플레이 장치(150) 및/또는 스피커(160)가 출력할 수 있는 안내메시지를 DID 인터페이스(100)에 전송할 수 있다. 안내메시지에는 사용자를 환영하는 인사 및 해당 DID 인터페이스(100)를 사용하는 방법에 대한 설명 등이 포함될 수 있으며, 화면 및/또는 음성으로 출력될 수 있다. 일부 실시예에서는 안내메시지가 사용자의 추정된 나이 및/또는 성별에 근거하여 선택될 수도 있다. DID 장치(200)의 데이터베이스(270)에는 하나 이상의 안내메시지가 저장될 수 있으며, 이들 중 하나가 임의로 또는 특정 알고리즘에 의하여 선택될 수 있다.Subsequently, the DID device 200 may transmit a guide message that can be output by the display device 150 and/or the speaker 160 of the DID interface 100 to the DID interface 100 . The guide message may include a greeting to welcome the user and a description of how to use the corresponding DID interface 100 , and may be output on a screen and/or voice. In some embodiments, the announcement message may be selected based on the user's estimated age and/or gender. One or more guide messages may be stored in the database 270 of the DID device 200, and one of them may be selected arbitrarily or by a specific algorithm.

동시에, DID 장치(200)는 DID 인터페이스(100)를 음성입력 대기모드로 설정할 수 있다. 음성입력 대기모드에서 DID 인터페이스(100)는 음성명령인식부(220)를 통해 사용자의 음성정보를 수신할 수 있다. At the same time, the DID device 200 may set the DID interface 100 to a voice input standby mode. In the voice input standby mode, the DID interface 100 may receive the user's voice information through the voice command recognition unit 220 .

DID 장치(200)는 DID 인터페이스(100)로부터 수신한 음성정보를 분석하여 사용자의 의도를 판단할 수 있다(S950). 여기에는 도 5와 관련하여 설명된 바와 같이 DID 인터페이스(100)의 음성인식 마이크(120)를 통해 입력된 데이터에서 음성정보를 추출하는 단계, 음성정보를 외부 서버(400)에 전달하는 단계(S760) 및 외부 서버(400)로부터 음성정보에 대응하는 텍스트정보를 제공받는 단계(S780)가 포함될 수 있다.The DID device 200 may analyze the voice information received from the DID interface 100 to determine the user's intention (S950). This includes the steps of extracting voice information from data input through the voice recognition microphone 120 of the DID interface 100 and transmitting the voice information to the external server 400 as described in relation to FIG. 5 (S760). ) and receiving text information corresponding to the voice information from the external server 400 ( S780 ) may be included.

DID 장치(200)는 파악한 사용자 의도에 따라 요청 처리 방식을 결정할 수 있다(S960). 예를 들어, 사용자가 호출 어구를 발음한 경우라면, 사용자를 외부 서버(400)의 챗봇 모듈(420)과 소통하도록 DID 인터페이스(100)와 외부 서버(400) 사이에 음성 정보를 송수신할 수 있다. 또한, 사용자가 요청한 정보를 어디에서 얻을 수 있는지에 따라 응대정보를 데이터베이스(270)에서 독출하거나, 그룹 서버(300) 또는 외부 서버(400, 500)에 요청할 수 있다. The DID device 200 may determine a request processing method according to the identified user intention (S960). For example, if the user pronounces a calling phrase, voice information may be transmitted/received between the DID interface 100 and the external server 400 so that the user communicates with the chatbot module 420 of the external server 400 . . In addition, the response information may be read from the database 270 or requested from the group server 300 or the external servers 400 and 500 depending on where the user can obtain the requested information.

응대정보가 획득되면, DID 장치(200)는 응대정보에 기초하여 출력정보를 생성하고 화면 출력 배치를 결정할 수 있다(S970). 출력정보에는 화면출력정보와 음성출력정보가 포함될 수 있는데, 화면출력정보는 DID 인터페이스(100)의 디스플레이 장치(150)가 화면(152)에 출력할 내용에 대응하는 것이고, 음성출력정보는 DID 인터페이스(100)의 스피커(160)가 음성 및/또는 음향의 형태로 출력할 내용에 대응하는 것이다.When the response information is obtained, the DID device 200 may generate output information based on the response information and determine the screen output arrangement ( S970 ). The output information may include screen output information and audio output information. The screen output information corresponds to the content to be output by the display device 150 of the DID interface 100 on the screen 152 , and the audio output information is the DID interface It corresponds to the content to be output by the speaker 160 of (100) in the form of voice and/or sound.

전술한 바와 같이, DID 장치(200)의 데이터베이스(270)에는 DID 인터페이스(100)의 디스플레이 장치(150)의 화면(152)에서 사용가능한 하나 이상의 화면 분할 형태 및 각 화면 분할 형태와 연관된 설정값들이 저장될 수 있는데, DID 장치(200)는 해당 응대정보에 가장 적합한 화면 분할 형태를 선택할 수 있으며, 사용자의 키 및/또는 나이를 바탕으로 화면 분할 형태 및 각 분할 구역에 표시된 컨텐츠를 선택할 수 있다.As described above, in the database 270 of the DID device 200, one or more screen division types usable on the screen 152 of the display device 150 of the DID interface 100 and setting values associated with each screen division type are stored. may be stored, the DID device 200 may select a screen division form most suitable for the corresponding response information, and may select a screen division form and content displayed in each division based on the user's height and/or age.

한편, 음성출력정보는 화면출력정보 중 응대정보의 가장 주요한 부분으로서 사용자의 키에서 가시성이 가장 좋은 분할 구역에 표시되는 컨텐츠에 대응하는 내용을 포함할 수 있다. 필요한 경우, DID 장치(200)는 응대정보를 텍스트 형식으로 작성하고 이를 외부 서버(400)의 음성 합성 모듈(430)로 전송할 수 있고, 음성 합성 모듈(430)에서 이를 바탕으로 음성출력정보를 생성하여 DID 장치(200)로 전송할 수 있다.On the other hand, the voice output information is the most important part of the response information among the screen output information, and may include contents corresponding to the content displayed in the partition having the best visibility from the user's key. If necessary, the DID device 200 may write response information in text format and transmit it to the voice synthesis module 430 of the external server 400 , and the voice synthesis module 430 generates voice output information based on this. to transmit to the DID device 200 .

위와 같이 화면출력정보와 음성출력정보가 작성되면, DID 장치(200)는 DID 인터페이스(100)의 디스플레이 장치(150) 및 스피커(160)를 통해 화면을 출력하고 음성을 출력할 수 있다(S980). 그 결과, 사용자는 DID 인터페이스(100)의 디스플레이 장치(150) 및 스피커(160)를 통해 요청한 정보를 시각적으로 및 청각적으로 제공받을 수 있다. When the screen output information and the audio output information are written as described above, the DID device 200 may output a screen and output a voice through the display device 150 and the speaker 160 of the DID interface 100 (S980). . As a result, the user can receive the requested information visually and audibly through the display device 150 and the speaker 160 of the DID interface 100 .

도 9는 사용자가 손동작 또는 터치스크린 입력으로 정보를 요청하는 경우에 대한 흐름도를 나타낸다. 도 8에 도시된 경우와 유사하게, DID 장치(200)는 영상정보를 수신할 수 있다(S910). 이는 예를 들어 DID 인터페이스(100)의 얼굴인식 카메라(110)를 통해 이루어질 수 있다. 9 is a flowchart illustrating a case in which a user requests information through a hand gesture or a touch screen input. Similar to the case illustrated in FIG. 8 , the DID device 200 may receive image information ( S910 ). This may be done, for example, through the face recognition camera 110 of the DID interface 100 .

사용자는 DID 인터페이스(100)를 이용하기 위해 손동작을 취하거나 터치스크린(140)에 접촉을 가할 수 있다. DID 인터페이스(100)의 모션 센서(130) 또는 터치스크린(140)에서 입력을 감지하면, DID 장치(200)는 해당 동작 정보를 수신할 수 있다(S915). The user may make a hand gesture or apply a contact to the touch screen 140 to use the DID interface 100 . When an input is sensed from the motion sensor 130 or the touch screen 140 of the DID interface 100, the DID device 200 may receive corresponding operation information (S915).

사용자의 동작 정보가 수신되어 사용자가 DID 인터페이스(100)를 이용하고자 대기중인 것으로 판단되면, DID 장치(200)는 사용자의 특징을 추정할 수 있다(S925). 예를 들어, DID 장치(200)는 영상정보를 분석하여 사용자의 얼굴의 높이 및/또는 크기를 추출할 수 있고, 이로부터 사용자의 키를 추정할 수 있다. 일부 실시예에서는 DID 장치(200)가 사용자의 나이 및/또는 성별을 추정할 수도 있다.When the user's motion information is received and it is determined that the user is waiting to use the DID interface 100, the DID apparatus 200 may estimate the user's characteristics (S925). For example, the DID device 200 may extract the height and/or size of the user's face by analyzing the image information, and may estimate the user's height from this. In some embodiments, the DID device 200 may estimate the age and/or gender of the user.

DID 장치(200)는 사용자의 입력에 따라 요청 처리 방식을 결정할 수 있다(S960). 예를 들어, 사용자가 요청한 정보를 어디에서 얻을 수 있는지에 따라 응대정보를 데이터베이스(270)에서 독출하거나, 그룹 서버(300) 또는 외부 서버(400, 500)에 요청할 수 있다.The DID device 200 may determine a request processing method according to a user's input (S960). For example, response information may be read from the database 270 or may be requested from the group server 300 or the external servers 400 and 500 depending on where the user can obtain the requested information.

이어서 DID 장치(200)가 응대정보에 기초하여 출력정보를 생성하고 화면 출력 배치를 결정하는 단계(S970) 및 DID 인터페이스(100)의 디스플레이 장치(150)와 스피커(160)를 통해 화면출력정보 및 음성출력정보를 출력하는 단계(S980)는 위에 설명된 것과 동일할 수 있으며, 중복되는 설명은 생략하기로 한다.Subsequently, the DID device 200 generates output information based on the response information and determines the screen output arrangement (S970) and the screen output information and the screen output information through the display device 150 and the speaker 160 of the DID interface 100 The step of outputting the audio output information (S980) may be the same as described above, and a redundant description will be omitted.

본 발명의 일실시예에 따른 DID 장치(200), DID 시스템(1000) 및 DID 장치 제어방법은, 사용자가 DID 인터페이스(100)를 이용하도록 유도하는 안내 및 설명을 출력함으로써 DID 인터페이스(100)의 이용도를 증가시킬 수 있다. The DID device 200 , the DID system 1000 and the DID device control method according to an embodiment of the present invention output a guide and a description guiding a user to use the DID interface 100 by outputting a guide and a description of the DID interface 100 . usability can be increased.

사용자는 음성, 손동작 등을 포함하여 다양한 종류의 입력을 이용하여 정보를 요청할 수 있고, DID 장치(200)는 사용자가 요청한 정보를 DID 인터페이스(100)에 의해 시각적 및 청각적으로 출력할 수 있다. 이는 사용자가 DID 인터페이스(100)를 더욱 직관적으로 이용할 수 있게 하여 DID 인터페이스(100)의 이용도를 증가시킬 수 있다.The user may request information using various types of inputs including voice and hand gestures, and the DID device 200 may visually and aurally output the information requested by the user through the DID interface 100 . This allows the user to use the DID interface 100 more intuitively, thereby increasing the usability of the DID interface 100 .

사용자가 DID 인터페이스(100)를 이용할 때, DID 장치(200)는 사용자의 얼굴의 높이 및 크기를 검출하여 사용자의 키를 포함한 일부 특징을 추정할 수 있으며, 사용자가 요구하는 정보를 제공할 때 사용자의 특징을 고려하여 가장 효과적인 화면 분할 형태 및 화면 배치를 결정할 수 있고, 디스플레이 장치(150)가 이를 근거로 화면(152)을 제공하게 함으로써 사용자에게 더 효과적으로 정보를 전달할 수 있다.When the user uses the DID interface 100 , the DID device 200 detects the height and size of the user's face to estimate some features including the user's height, and when providing information requested by the user, the user The most effective screen division form and screen arrangement can be determined in consideration of the characteristics of , and information can be more effectively delivered to the user by allowing the display device 150 to provide the screen 152 based on this.

특히, 본 발명의 일실시예에 따른 DID 장치(200), DID 시스템(1000) 및 DID 장치 제어방법은 일부 기능을 외부 서버(400)에서 처리하도록 함으로써 DID 장치(200) 자체의 시스템 요구사항을 상대적으로 낮게 유지하면서도 매우 광범위한 분야의 정보를 신속하게 제공할 수 있다.In particular, the DID device 200, the DID system 1000, and the DID device control method according to an embodiment of the present invention satisfy the system requirements of the DID device 200 itself by allowing some functions to be processed by the external server 400. While keeping it relatively low, it can quickly provide information in a very wide range of fields.

상기에서는 본 발명의 일 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to one embodiment of the present invention, those of ordinary skill in the art can variously change the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. It will be appreciated that modifications and variations are possible.

1000: DID 시스템
100: DID 인터페이스 200: DID 장치
300: 그룹 서버 400, 500: 외부 서버1000: DID system
100: DID interface 200: DID device
300: group server 400, 500: external server

Claims

A DID device connected with a group server, a DID management server and an external server,
In the image information obtained through the face recognition camera, a shape corresponding to a human face is detected to a size within a predetermined range, and by determining whether the detection time exceeds a preset reference value, it is determined whether a user's face is detected, and the a face recognition unit configured to determine the height of the user's face;
a voice command recognition unit configured to acquire voice information through a voice recognition microphone;
a transceiver configured to transmit the voice information to the external server and receive text information corresponding to the voice information from the external server; and
The height, age, and gender of the user are estimated from the user's face detected by the face recognition unit, and a guide message is selected based on the estimated age and gender of the user, and then the guide message is transmitted through a display device and a speaker. output, extracting main keywords from the text information to determine the user's intention, and generate response information from the database or sensor of the DID device according to the identified user's intention, or through the transceiver, the group server and the Receive response information from one or more of external servers, generate screen output information and audio output information based on the generated or received response information, transmit the screen output information to the display device, and transmit the audio output information to the display device a command processing unit configured to transmit to the speaker;
The database stores possible screen division types received from the DID management server,
The command processing unit determines the screen division type of the display device by selecting one of the possible screen division types stored in the database according to the type of the response information, and displays the display device according to the estimated height, age and gender of the user. Generates output to one or more of the divisions of the device's screen,
The response information includes information obtained from the database or the sensor, information obtained from at least one other DID device connected to the group server, or information obtained from the external server. DID device.

delete

group servers connected to external servers;
a DID management server connected to the group server; and
A plurality of DID devices connected to the group server and the DID management server and installed in different areas of one facility,
Each of the plurality of DID devices includes a sensor,
At least one of the plurality of DID devices,
In the image information obtained through the face recognition camera, a shape corresponding to a human face is detected to a size within a predetermined range, and by determining whether the detection time exceeds a preset reference value, it is determined whether a user's face is detected, and the a face recognition unit configured to determine the height of the user's face;
a voice command recognition unit configured to acquire voice information through a voice recognition microphone;
a transceiver configured to transmit the voice information to the group server and receive text information corresponding to the voice information from the group server; and
The height, age, and gender of the user are estimated from the user's face detected by the face recognition unit, and a guide message is selected based on the estimated age and gender of the user, and then the guide message is transmitted through a display device and a speaker. output, extract a main keyword from the text information to determine the user's intention, generate response information from the sensor according to the identified user's intention, or at least one of the group server and the external server through the transceiver configured to receive response information from, generate screen output information and audio output information based on the generated or received response information, transmit the screen output information to the display device, and transmit the audio output information to the speaker a command processing unit;
When the response information is received from the group server, it includes information detected by a sensor of at least one DID device among the plurality of DID devices,
The DID management server stores the screen size and possible screen division form of the display device,
The command processing unit determines the screen division type of the display device by selecting one of the possible screen division types stored in the DID management server according to the type of the response information, and according to the estimated height, age and gender of the user DID system, characterized in that for generating the content to be output to at least one of the divided areas of the screen of the display device.

A method for controlling a DID device connected to a group server, a DID management server, and an external server, the method comprising:
Receiving image information from a face recognition camera;
determining whether a user's face is detected in the image information;
comparing a face recognition time corresponding to a time for which the user's face is maintained in the image information with a reference value and determining that the user is on standby when the face recognition time exceeds the reference value;
estimating the height, age and gender of the user from the face of the user when it is determined that the user is waiting;
selecting a guide message based on the user's age and gender and outputting the guide message through a display device and a speaker;
receiving voice information;
transmitting the voice information to the external server;
receiving text information corresponding to the voice information;
extracting main keywords from the text information to understand the intention of the user;
generating response information according to the identified intention of the user or receiving response information from at least one of the group server and the external server;
determining a screen division type of the display device by selecting one of the possible screen division types stored in the DID management server according to the type of the generated or received response information;
Content that is output to at least one of the divided areas of the screen of the display device based on the estimated height, age, and gender of the user, but generates screen output information and audio output information based on the generated or received response information and generating the screen output information and the audio output information so that
The response information includes information acquired from a database or sensor of the DID device, information acquired from at least one other DID device connected to the group server, or information acquired from the external server DID device control method.