WO2018047932A1 - Interactive device, robot, processing method, program - Google Patents

Interactive device, robot, processing method, program Download PDF

Info

Publication number
WO2018047932A1
WO2018047932A1 PCT/JP2017/032410 JP2017032410W WO2018047932A1 WO 2018047932 A1 WO2018047932 A1 WO 2018047932A1 JP 2017032410 W JP2017032410 W JP 2017032410W WO 2018047932 A1 WO2018047932 A1 WO 2018047932A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
dialogue
user
processing unit
dialog
Prior art date
Application number
PCT/JP2017/032410
Other languages
French (fr)
Japanese (ja)
Inventor
久美子 高塚
山賀　宏之
伊藤　真由美
康一 森川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2018047932A1 publication Critical patent/WO2018047932A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An interactive device equipped with: an interaction start condition determination unit for determining whether or not acquired first acquisition information matches an interaction start condition; an analysis unit for performing an analysis related to detection of a user on the basis of the first acquisition information or on the basis of information obtained from a sensor device when the first acquisition information matches the interaction start condition; and an interaction processing unit for outputting first interaction information related to interaction with the user when the user is detected on the basis of the user detection analysis result of the analysis.

Description

対話装置、ロボット、処理方法、プログラムDialogue device, robot, processing method, program
　本発明は、対話装置、ロボット、処理方法、プログラムに関する。 The present invention relates to a dialogue apparatus, a robot, a processing method, and a program.
　ＩＣＴ（Information and Communications Technology）機器の利用に不慣れな高齢者などをターゲットに機能やＧＵＩ（Graphical User Interface）を簡素化し、表示情報を大きいサイズで表示するタブレット端末などの携帯端末が存在する。このような装置ではキャラクタを用いた対話型のＵＩ（User Interface）を用いてユーザビリティの改善やユーザに親しみを持たせる工夫がされている。これらに関連する技術として特許文献１，２が開示されている。 There are portable terminals such as tablet terminals that simplify functions and GUI (Graphical User Interface) targeting elderly people who are unfamiliar with the use of ICT (Information and Communications Technology) devices and display display information in a large size. In such an apparatus, the user-friendly interface is improved by using an interactive UI (User Interface) using a character. Patent Documents 1 and 2 are disclosed as techniques related to these.
特開２００６－１１９９２０号公報JP 2006-119920 A 特開平１１－２５９４４６号公報JP-A-11-259446
　ところで上述のような技術の場合、機能やＧＵＩの簡素化や、表示情報を大きいサイズで表示することを行っている。しかしながら、そもそもＩＣＴ機器の操作に不慣れな場合には、そのような工夫を行っても、中々ＩＣＴ機器を自由に利用することができないという問題があった。よって、ＩＣＴ機器を利用することに不慣れで、使用における心理的負担が大きい人を補助する装置が求められている。 By the way, in the case of the technology as described above, functions and GUIs are simplified, and display information is displayed in a large size. However, in the first place, when the user is unaccustomed to the operation of the ICT device, there is a problem that the ICT device cannot be freely used even if such a device is used. Therefore, there is a need for an apparatus that assists people who are unaccustomed to using ICT equipment and have a large psychological burden in use.
　そこでこの発明は、上述の課題を解決する対話装置、ロボット、処理方法、プログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide an interactive device, a robot, a processing method, and a program that solve the above-described problems.
　本発明の第１の態様によれば、対話装置は、取得した第一取得情報が対話開始条件に一致したか否かを判定する対話開始条件判定部と、前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行う解析部と、前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力を行う対話処理部と、を備える。 According to the first aspect of the present invention, the dialog device includes a dialog start condition determining unit that determines whether the acquired first acquisition information matches the dialog start condition, and the first acquisition information is the dialog start. When the conditions are matched, an analysis unit that performs analysis related to user detection based on the first acquired information or information obtained from the sensor device, and the user is detected based on a user detection analysis result of the analysis A dialogue processing unit for outputting first dialogue information related to the dialogue with the user.
　本発明の第２の態様によれば、処理方法は、取得した第一取得情報が対話開始条件に一致したか否かを判定し、前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行い、前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力を行う。 According to the second aspect of the present invention, the processing method determines whether the acquired first acquisition information matches the dialog start condition, and when the first acquisition information matches the dialog start condition. , Performing analysis related to user detection based on the first acquired information or information obtained from the sensor device, and first regarding dialogue with the user when the user is detected based on the user detection analysis result of the analysis Output dialog information.
　本発明の第３の態様によれば、プログラムは、コンピュータに、取得した第一取得情報が対話開始条件に一致したか否かを判定し、前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行い、前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力処理を行う、処理を実行させる。 According to the third aspect of the present invention, the program determines whether or not the acquired first acquisition information matches the dialog start condition, and the first acquisition information matches the dialog start condition. The user's detection based on the first acquisition information or the information obtained from the sensor device, and when the user is detected based on the user detection analysis result of the analysis, The first dialog information output process is executed.
　本発明によれば、ＩＣＴ機器を利用することに不慣れで、使用における心理的負担が大きい人を補助することができる。 According to the present invention, it is possible to assist a person who is unaccustomed to using an ICT device and has a large psychological burden in use.
第一実施形態による対話装置とその画像表示例を示す第一の図である。It is a 1st figure which shows the dialogue apparatus by 1st embodiment, and its image display example. 第一実施形態による対話装置のハードウェア構成図である。It is a hardware block diagram of the dialogue apparatus by 1st embodiment. 第一実施形態による対話装置の機能ブロック図である。It is a functional block diagram of the dialogue apparatus by 1st embodiment. 第一実施形態による対話装置とその画像表示例を示す第二の図である。It is a 2nd figure which shows the dialogue apparatus by 1st embodiment, and its image display example. 第一実施形態による対話装置の処理フローを示す図である。It is a figure which shows the processing flow of the dialogue apparatus by 1st embodiment. 第一実施形態による対話装置とその画像表示例を示す第三の図である。It is a 3rd figure which shows the dialogue apparatus by 1st embodiment, and its image display example. 第二実施形態による対話装置の処理フローを示す図である。It is a figure which shows the processing flow of the dialogue apparatus by 2nd embodiment. 第三実施形態による対話装置の処理フローを示す図である。It is a figure which shows the processing flow of the dialogue apparatus by 3rd embodiment. 第四実施形態による対話装置の機能ブロック図である。It is a functional block diagram of the dialogue apparatus by 4th embodiment. 第四実施形態による対話装置の処理フローを示す図である。It is a figure which shows the processing flow of the dialogue apparatus by 4th embodiment. 対話装置の機能を備えたロボットを示す図である。It is a figure which shows the robot provided with the function of the dialogue apparatus. 対話装置の最小構成を示す図である。It is a figure which shows the minimum structure of an interactive apparatus.
（第一実施形態）
　以下、本発明の第一実施形態による対話装置を図面を参照して説明する。
　図１は第一実施形態による対話装置とその画像表示例を示す第一の図である。
　この図で示すように対話装置１は表示画面１６を有している。対話装置１は例えばタブレット端末である。タブレット端末はＩＣＴ機器の一態様である。対話装置１は、表示画面１６にキャラクタ画像１００や補助画像１０１を表示し、高齢者などのＩＣＴ機器に不慣れなユーザでも容易に操作できるように簡略化した操作ボタンを表示画面１６の操作ボタン表示領域１１０に表示する。本実施形態においては３つの操作ボタンのアイコン画像のみを操作ボタン表示領域１１０に表示している例を示している。対話装置１はカメラ１８を備える。 (First embodiment)
Hereinafter, an interactive apparatus according to a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a first diagram illustrating an interactive apparatus and an image display example according to the first embodiment.
As shown in this figure, the interactive apparatus 1 has a display screen 16. The interactive device 1 is a tablet terminal, for example. A tablet terminal is an embodiment of an ICT device. The interactive apparatus 1 displays the character image 100 and the auxiliary image 101 on the display screen 16 and displays operation buttons on the display screen 16 that are simplified so that even a user unaccustomed to ICT devices such as elderly people can easily operate the screen. Display in area 110. In the present embodiment, an example in which only icon images of three operation buttons are displayed in the operation button display area 110 is shown. The dialogue apparatus 1 includes a camera 18.
　図２は第一実施形態による対話装置のハードウェア構成図である。
　対話装置１はＣＰＵ（Central Processing Unit）１１，ＲＡＭ（Random Access Memory）１２、ＲＯＭ(Read Only Memory)１３、ＳＳＤ（Solid State Drive）１４、通信モジュール１５、表示画面１６、ＩＦ（インタフェース）１７、カメラ１８などを備えている。表示画面１６は液晶モニタやタッチパネル等によって構成され、表示機能の他、ユーザがタッチパネルにタッチすることで操作を入力するための入力機能を有してよい。 FIG. 2 is a hardware configuration diagram of the interactive apparatus according to the first embodiment.
The interactive apparatus 1 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, an SSD (Solid State Drive) 14, a communication module 15, a display screen 16, an IF (interface) 17, A camera 18 and the like are provided. The display screen 16 is configured by a liquid crystal monitor, a touch panel, or the like, and may have an input function for a user to input an operation by touching the touch panel in addition to a display function.
　図３は第一実施形態による対話装置の機能ブロック図である。
　対話装置１のＣＰＵ１１（図２）は電源が投入されるとＲＯＭ１３（図２）やＳＳＤ１４（図２）に記録されている対話処理プログラムを起動する。これにより、対話装置１のＣＰＵ１１は、制御部１１１、対話開始条件判定部１１２、解析部１１３、対話処理部１１４、送信処理部１１５、返答情報通知部１１６の各機能を備える。また対話装置１のＣＰＵ１１は、通信アプリケーションプログラムを起動することにより、通信アプリケーション処理部１１７の機能を備える。 FIG. 3 is a functional block diagram of the interactive apparatus according to the first embodiment.
When the power is turned on, the CPU 11 (FIG. 2) of the dialogue apparatus 1 starts a dialogue processing program recorded in the ROM 13 (FIG. 2) or the SSD 14 (FIG. 2). As a result, the CPU 11 of the dialogue apparatus 1 includes the functions of the control unit 111, the dialogue start condition determination unit 112, the analysis unit 113, the dialogue processing unit 114, the transmission processing unit 115, and the response information notification unit 116. In addition, the CPU 11 of the interactive apparatus 1 has the function of the communication application processing unit 117 by starting the communication application program.
　制御部１１１は他の機能部を制御する。
　対話開始条件判定部１１２は対話装置１の取得した取得情報が対話開始条件に一致したか否かを判定する。
　解析部１１３は、取得情報が対話開始条件に一致した場合に、カメラ１８や表示画面１６を構成するタッチパネルなどのセンサ装置から得た情報または取得情報を解析する。解析部１１３は、情報に基づいてユーザの検知に関する解析を行う。
　対話処理部１１４は、解析部１１３によるユーザ検知解析結果に基づいて、ユーザが検知された場合にはユーザとの対話に関する対話情報の出力処理を行う。対話情報は、例えば、音声情報または文字情報を含む。 The control unit 111 controls other functional units.
The dialog start condition determination unit 112 determines whether the acquired information acquired by the dialog device 1 matches the dialog start condition.
The analysis unit 113 analyzes information obtained from a sensor device such as a touch panel constituting the camera 18 or the display screen 16 or obtained information when the obtained information matches the dialog start condition. The analysis unit 113 performs analysis related to user detection based on the information.
When the user is detected based on the user detection analysis result by the analysis unit 113, the dialogue processing unit 114 performs an output process of dialogue information regarding the dialogue with the user. The dialogue information includes, for example, voice information or character information.
　送信処理部１１５は、対話情報の出力の後などにユーザ動作に基づいて取得された取得情報を解析した取得情報解析結果を送信する。
　返答情報通知部１１６は、取得情報を取得した場合に、所定の送信先に返答情報の有無を通知する。返答情報は、対話情報に対するユーザによる返答内容を示す情報である。
　通信アプリケーション処理部１１７は、例えばメール機能、メッセージ処理機能、ＳＮＳ（Social Networking Service）機能などうちの何れかの処理を行う。 The transmission processing unit 115 transmits the acquired information analysis result obtained by analyzing the acquired information acquired based on the user action, for example, after outputting the dialogue information.
The response information notification unit 116 notifies the predetermined transmission destination of the presence or absence of the response information when acquiring the acquired information. The response information is information indicating the content of the response by the user to the dialogue information.
The communication application processing unit 117 performs any one of processes such as a mail function, a message processing function, and an SNS (Social Networking Service) function.
　図４は第一実施形態による対話装置とその画像表示例を示す第二の図である。
　図４で示すように対話装置１は電源が投入された後、キャラクタ画像１００を表示し、また複数の操作ボタンを画面領域における所定の操作ボタン表示領域１１０に表示する。対話装置１は原則として操作ボタン表示領域１１０の位置を変更しない。これによりＩＣＴ機器に不慣れなユーザに多くの操作の間で迷わせることなく、操作してもらうことを可能にする。対話装置１はキャラクタ画像１００に動作を与えて、キャラクタ画像１００が画面上で歩くような仕草や会話を行う仕草などの表示をするようにしてよい。また、対話装置１は、図１に示すようにキャラクタ画像１００の感情などを表す補助画像１０１を表示するようにしてもよい。図１では補助画像１０１としてハートマークが表示されている。図４で示すキャラクタ画像１００は左右に歩くような動きを示しており、キャラクタ画像１００ａとキャラクタ画像１００ｂとの間でキャラクタが歩くような表示が行われる。 FIG. 4 is a second diagram illustrating the interactive apparatus and its image display example according to the first embodiment.
As shown in FIG. 4, after the power is turned on, the interactive apparatus 1 displays the character image 100 and displays a plurality of operation buttons in a predetermined operation button display area 110 in the screen area. The dialogue apparatus 1 does not change the position of the operation button display area 110 in principle. This makes it possible for a user unfamiliar with the ICT device to operate the user without hesitation between many operations. The dialogue apparatus 1 may give an action to the character image 100 to display a gesture such as the character image 100 walking on the screen or a gesture for performing a conversation. Further, the interactive apparatus 1 may display an auxiliary image 101 representing the emotion of the character image 100 as shown in FIG. In FIG. 1, a heart mark is displayed as the auxiliary image 101. The character image 100 shown in FIG. 4 shows a movement that walks to the left and right, and a display in which the character walks between the character image 100a and the character image 100b is performed.
　図５は第一実施形態による対話装置の処理フローを示す図である。
　次に対話装置１の処理フローを、順を追って説明する。
　対話装置１の対話処理部１１４は起動後にキャラクタ画像１００や補助画像１０１や操作ボタンを表示する（ステップＳ５０１）。対話処理部１１４はキャラクタ画像１００や補助画像１０１の種類（表示種類）や動きを制御する。例えば対話処理部１１４はキャラクタ画像１００が示すキャラクタを画面上で動きまわらせる、キャラクタの首を振るなど、ユーザが興味を引くような画像を表示する。また対話処理部１１４は補助画像１０１の色を変化させたり、動かしたりしてもよい。 FIG. 5 is a diagram showing a processing flow of the interactive apparatus according to the first embodiment.
Next, the processing flow of the interactive apparatus 1 will be described in order.
The dialogue processing unit 114 of the dialogue apparatus 1 displays the character image 100, the auxiliary image 101, and operation buttons after activation (step S501). The dialogue processing unit 114 controls the type (display type) and movement of the character image 100 and the auxiliary image 101. For example, the dialogue processing unit 114 displays an image that attracts the user's interest, such as moving the character indicated by the character image 100 on the screen or shaking the character's head. The dialogue processing unit 114 may change or move the color of the auxiliary image 101.
　また対話開始条件判定部１１２は通信アプリケーション処理部１１７が通信情報を受信した場合に受信情報（第一取得情報）を取得するよう設定されている。通信アプリケーション処理部１１７は通信情報を受信すると、その通信情報に基づいて受信情報を対話開始条件判定部１１２へ出力する。
　通信アプリケーション処理部１１７がメール送受信に関するアプリケーション処理を行う機能部であるとする。この場合、受信情報には送信元アドレスや送信元ユーザ名などの送信元識別子、送信元ユーザの顔画像、メール本文、添付データなどの情報が含まれてよい。通信アプリケーション処理部１１７はこれらの情報を受信情報として検出する。
　通信アプリケーション処理部１１７がＳＮＳに関するアプリケーション処理やメッセージ送受信に関するアプリケーションを行う機能部である場合、受信情報には、送信元ユーザ名などの送信元識別子、送信元ユーザの顔画像、メッセージ本文、添付データなどの情報が含まれてよい。
　通信アプリケーション処理部１１７が通話に関するアプリケーション処理を行う機能部である場合、受信情報には、発信元ユーザ名、発呼指示などのなどの情報が含まれてよい。 The dialog start condition determination unit 112 is set to acquire the reception information (first acquisition information) when the communication application processing unit 117 receives the communication information. When receiving the communication information, the communication application processing unit 117 outputs the received information to the dialog start condition determining unit 112 based on the communication information.
It is assumed that the communication application processing unit 117 is a functional unit that performs application processing related to mail transmission / reception. In this case, the received information may include information such as a transmission source identifier such as a transmission source address or a transmission source user name, a face image of the transmission source user, a mail text, and attached data. The communication application processing unit 117 detects these pieces of information as received information.
When the communication application processing unit 117 is a functional unit that performs application processing related to SNS and application related to message transmission / reception, the received information includes a transmission source identifier such as a transmission source user name, a face image of the transmission source user, a message body, and attached data. Such information may be included.
When the communication application processing unit 117 is a functional unit that performs application processing related to a call, the received information may include information such as a caller user name and a call instruction.
　対話開始条件判定部１１２は受信情報を取得する（ステップＳ５０２）。受信情報の取得は対話装置１に備わるサービス機能（通信アプリケーション機能）がイベントを取得することの一態様である。受信情報を取得すると対話開始条件判定部１１２は対話を開始すると判定し、対話処理部１１４へ対話の開始を指示する（ステップＳ５０３）。対話処理部１１４は音声による呼びかけの声を出力する（ステップＳ５０４）。また対話処理部１１４は画面上にイベントを取得したことを通知する情報を表示する（ステップＳ５０５）。このイベントを取得したことを通知する情報は、キャラクタ画像１００の動きや補助画像１０１の態様を示す情報であってよい。対話装置１の制御部１１１は受信情報の取得を検知してカメラ１８を起動する（ステップＳ５０６）。 The dialog start condition determining unit 112 acquires the received information (step S502). Acquisition of received information is an aspect in which a service function (communication application function) provided in the dialogue apparatus 1 acquires an event. When the received information is acquired, the dialog start condition determining unit 112 determines to start the dialog, and instructs the dialog processing unit 114 to start the dialog (step S503). The dialogue processing unit 114 outputs a voice call (step S504). Further, the dialogue processing unit 114 displays information notifying that the event has been acquired on the screen (step S505). Information notifying that this event has been acquired may be information indicating the movement of the character image 100 and the mode of the auxiliary image 101. The control unit 111 of the interactive apparatus 1 detects the reception information acquisition and activates the camera 18 (step S506).
　カメラ１８は例えば動画撮影モードで起動される。対話装置１は、例えば普段は棚や机に置かれた状態である。この状態で上記のように対話装置１が通信アプリケーション処理部１１７で通信情報を受信したことを通知すると、対話装置１のユーザが対話装置１を把持して持ち上げて顔を表示画面１６に近づけるか、対話装置１の傍に近づいて顔を表示画面１６に近づけることなどが想定される。これによりカメラ１８はユーザの顔を撮影する。カメラ１８は動画像に含まれる撮影画像（各フレーム）を解析部１１３へ出力する。 The camera 18 is activated, for example, in a video shooting mode. The dialogue apparatus 1 is usually placed on a shelf or a desk, for example. In this state, when the dialog device 1 notifies that the communication information is received by the communication application processing unit 117 as described above, the user of the dialog device 1 holds the dialog device 1 and lifts the face close to the display screen 16. It is assumed that the face approaches the display screen 16 by approaching the interactive device 1. As a result, the camera 18 captures the user's face. The camera 18 outputs the captured image (each frame) included in the moving image to the analysis unit 113.
　解析部１１３は撮影画像から顔画像（第二取得情報）を検出できるか否かを判定する（ステップＳ５０７）。解析部１１３は顔画像を検出した場合には、その顔画像を予めユーザの顔を撮影して得られた記憶している顔画像と比較し、一致するか否かの判定を顔認証の処理と同様に行う。解析部１１３は顔画像の認証が成功したか否かを判定する（ステップＳ５０８）。顔画像が予めユーザの顔を撮影して得られた顔画像に一致する場合には解析部１１３は認証成功を示す対話開始指示を対話処理部１１４へ出力する。なお解析部１１３は顔認証を行わずに、撮影画像から顔画像が検出できた場合に、対話処理部１１４に対話開始指示を出力してもよい。このように、対話処理部１１４は、顔画像（第二取得情報）の検出情報に基づいて対話情報の出力を行うか否かを判定する。 The analysis unit 113 determines whether or not a face image (second acquisition information) can be detected from the captured image (step S507). When the analysis unit 113 detects a face image, the analysis unit 113 compares the face image with a stored face image obtained by photographing a user's face in advance, and determines whether or not the face image matches. Do the same. The analysis unit 113 determines whether the authentication of the face image is successful (step S508). When the face image matches the face image obtained by photographing the user's face in advance, the analysis unit 113 outputs a dialogue start instruction indicating successful authentication to the dialogue processing unit 114. Note that the analysis unit 113 may output a dialogue start instruction to the dialogue processing unit 114 when a face image can be detected from the captured image without performing face authentication. As described above, the dialogue processing unit 114 determines whether or not to output the dialogue information based on the detection information of the face image (second acquisition information).
　対話装置１はユーザの顔画像の代わりにまたは顔画像と共に声紋情報を用いて認証処理を行うようにしてもよい。声紋情報を用いて認証処理を行う場合には、対話装置１にマイクが備わっており、そのマイクから取得した音声情報を解析部１１３が解析して声紋情報を生成し、予め記憶するユーザの声紋情報と一致するかどうかの認証を行う。または対話装置１はユーザの指紋情報を用いて認証処理を行うようにしてもよい。指紋情報を用いて認証処理を行う場合には、対話装置１に指紋センサが備わっており、その指紋センサから取得した指紋情報を解析部１１３が解析して、予め記憶するユーザの指紋情報と一致するかどうかの認証を行う。認証が成功した場合には上記と同様に解析部１１３は認証成功を対話処理部１１４へ出力する。対話装置１は虹彩の情報に基づいて認証処理を行ってもよい。 The interactive apparatus 1 may perform authentication processing using voiceprint information instead of the user's face image or together with the face image. When performing authentication processing using voiceprint information, the dialogue apparatus 1 is equipped with a microphone, and the voice information acquired from the microphone is analyzed by the analysis unit 113 to generate voiceprint information, which is stored in advance. Authenticates whether the information matches. Alternatively, the interactive apparatus 1 may perform an authentication process using the user's fingerprint information. When authentication processing is performed using fingerprint information, the interactive device 1 is provided with a fingerprint sensor, and the analysis unit 113 analyzes the fingerprint information acquired from the fingerprint sensor and matches the user's fingerprint information stored in advance. Authenticate whether or not to do. When the authentication is successful, the analysis unit 113 outputs the authentication success to the dialogue processing unit 114 as described above. The interactive device 1 may perform authentication processing based on iris information.
　対話処理部１１４は認証成功を検知すると（ステップＳ５０８のＹＥＳ）、対話処理を行う（ステップＳ５０９）。対話処理部１１４はこの対話処理において、キャラクタ画像１００や補助画像１０１に所定の動作を加えた表示を行う。 When the dialogue processing unit 114 detects a successful authentication (YES in step S508), the dialogue processing unit 114 performs a dialogue process (step S509). In this dialogue process, the dialogue processing unit 114 performs display by adding a predetermined action to the character image 100 and the auxiliary image 101.
　なお上述の処理フローでは、通信アプリケーション処理部１１７がステップＳ５０２で受信情報を取得したことに基づいて、対話開始条件判定部１１２が対話処理部１１４へ対話の開始を指示する。そして、その後ステップＳ５０４で対話処理部１１４が対話処理を行っている。しかしながら、これらの処理に代えて、次のように処理が行われてもよい。対話装置１の制御部１１１がタイマに基づいて所定時刻を検出し、対話開始条件判定部１１２がその検出を示す情報を取得する。そして、対話開始条件判定部１１２は所定時刻を検出したことに応じて対話処理部１１４へ対話の開始を指示し、対話処理部１１４は対話処理を行う。この場合、ステップＳ５０２の処理が、タイマにより設定された所定時刻を検出したかどうかの判定に置き換わる。所定の時刻が検出された場合、ステップＳ５０３以降の処理が開始される。またこの場合、対話装置１はステップＳ５０３～ステップＳ５０９の処理を行う。ステップＳ５１０の以降の処理は受信情報を取得していない為省略される。この例における、対話開始条件判定部１１２が所定時刻を検出したことを示す情報（第一取得情報）を取得する処理が、第一取得情報が対話開始条件に一致したことの一態様に相当する。 In the above processing flow, based on the fact that the communication application processing unit 117 has acquired the received information in step S502, the dialog start condition determining unit 112 instructs the dialog processing unit 114 to start a dialog. Then, in step S504, the dialogue processing unit 114 performs dialogue processing. However, instead of these processes, the following process may be performed. The control unit 111 of the dialogue apparatus 1 detects a predetermined time based on a timer, and the dialogue start condition determination unit 112 acquires information indicating the detection. Then, the dialog start condition determination unit 112 instructs the dialog processing unit 114 to start the dialog in response to detecting the predetermined time, and the dialog processing unit 114 performs the dialog processing. In this case, the process in step S502 is replaced with a determination as to whether a predetermined time set by the timer has been detected. When the predetermined time is detected, the processing after step S503 is started. Further, in this case, the dialogue apparatus 1 performs the processes of steps S503 to S509. The processing after step S510 is omitted because the reception information is not acquired. In this example, the process of acquiring information (first acquisition information) indicating that the dialog start condition determination unit 112 has detected a predetermined time corresponds to one mode in which the first acquisition information matches the dialog start condition. .
　図６は第一実施形態による対話装置とその画像表示例を示す第三の図である。
　ステップＳ５０９の対話処理において対話処理部１１４はキャラクタ画像１００の視線を画面正面に向けたり、キャラクタ画像１００の目の瞬き動作や口を動かす動作を加えた表示を行うようにしてよい。例えば対話処理部１１４はユーザの発話に基づいて、発話の途切れを検出する。そして、対話処理部１１４は、その発話の途切れにおいてキャラクタ画像１００がうなずく動作を加えた表示を行ったり、目を合わせたり瞬きを行う動作を加えた表示を行う。このように、対話処理部１１４は、ユーザとの対話情報に基づく対話を補助するキャラクタ画像１００を表示画面１６に出力する。対話処理部１１４はこの対話処理において、受信情報に含まれる送信元ユーザ名、送信元ユーザの顔画像１０２、メール本文１０３、メッセージ本文１０３などの表示内容を表示する（ステップＳ５１０）。表示内容の表示の態様はどのようなものであってもよい。 FIG. 6 is a third diagram illustrating the interactive apparatus according to the first embodiment and an image display example thereof.
In the dialogue processing in step S509, the dialogue processing unit 114 may perform display with the line of sight of the character image 100 directed to the front of the screen, the blinking operation of the character image 100, or the movement of the mouth. For example, the dialogue processing unit 114 detects the interruption of the utterance based on the user's utterance. Then, the dialogue processing unit 114 performs a display in which the character image 100 adds a motion of nodding in the interruption of the utterance, or performs a display in which a motion of blinking eyes or blinking is added. Thus, the dialogue processing unit 114 outputs the character image 100 that assists the dialogue based on the dialogue information with the user to the display screen 16. In this dialogue process, the dialogue processing unit 114 displays the display contents such as the transmission source user name, the transmission source user's face image 102, the mail text 103, the message text 103, and the like included in the received information (step S510). The display content may be displayed in any manner.
　対話処理部１１４はステップＳ５１０の表示内容の表示の後に、ユーザが操作することなく会話のみで通信アプリケーション処理部１１７による通信情報の受信に対応する返信の処理が完了するよう、ユーザとの対話を行ってよい。対話処理部１１４は、ユーザの音声を検出し、音声を解析して文字変換処理を行う（ステップＳ５１１）。この場合、対話処理部１１４は音声を解析して得た文字情報を通信アプリケーション処理部１１７へ通知する。すると通信アプリケーション処理部１１７は文字情報を本文に記載したメールやメッセージを生成する。そして、通信アプリケーション処理部１１７は、送信元識別子に基づく受信情報の送信元のユーザに、または送信先として予め決められた送信先のユーザに、生成したメールやメッセージなどの通信情報を送信するようにしてもよい（ステップＳ５１２）。このように、第二取得情報は音声情報を含み、通信アプリケーション処理部１１７は、音声情報が解析され取得された文字情報を第一取得情報の送信元へ送信する。 After displaying the display content in step S510, the dialog processing unit 114 performs a dialog with the user so that the reply processing corresponding to the reception of the communication information by the communication application processing unit 117 is completed by only the conversation without the user's operation. You can go. The dialogue processing unit 114 detects the user's voice, analyzes the voice, and performs a character conversion process (step S511). In this case, the dialogue processing unit 114 notifies the communication application processing unit 117 of character information obtained by analyzing the voice. Then, the communication application processing unit 117 generates a mail or message in which text information is written in the text. Then, the communication application processing unit 117 transmits the generated communication information such as a mail or a message to the user who is the transmission source of the reception information based on the transmission source identifier or the user whose transmission destination is predetermined as the transmission destination. Alternatively, step S512 may be used. As described above, the second acquisition information includes voice information, and the communication application processing unit 117 transmits the character information obtained by analyzing the voice information to the transmission source of the first acquisition information.
　以上の処理により、ユーザは対話装置１の通信アプリケーション処理部１１７が通信情報（受信情報）を受信したことを画面表示や音によりユーザに即時に通知することができる。また対話装置１は通信アプリケーション処理部１１７が受信した受信情報に基づいて、所定の送信元からの受信情報である場合に、その受信を画面表示や音などによりユーザに即時に通知することができる。そして対話装置１のユーザがＩＣＴ機器に不慣れな者であっても、顔を近づけるだけで受信情報の内容や送信元の送信者の顔画像などの情報を閲覧することができ、操作を殆どすることなく対話装置１に備わるメール、ＳＮＳアプリケーション、メッセージアプリケーションなどの通信アプリケーションの機能を利用することができる。また対話装置１がキャラクタ画像を表示し、動作させることにより、キャラクタ画像が対話しているような錯覚をユーザに与えることができる。これによりユーザのＩＣＴ機器を操作する心理的障壁を緩和することができる。 Through the above processing, the user can immediately notify the user that the communication application processing unit 117 of the dialogue apparatus 1 has received the communication information (reception information) by means of a screen display or sound. In addition, based on the reception information received by the communication application processing unit 117, the dialogue apparatus 1 can immediately notify the reception to the user by screen display or sound when the reception information is from a predetermined transmission source. . Even if the user of the interactive device 1 is not familiar with the ICT device, the user can browse the information such as the contents of the received information and the face image of the sender of the transmission source only by bringing his face close to the user, and the operation is mostly performed. The functions of communication applications such as mail, SNS application, and message application provided in the dialog device 1 can be used without any problem. Further, the interactive device 1 displays and operates the character image, so that an illusion that the character image is interacting can be given to the user. Thereby, the psychological barrier which operates a user's ICT apparatus can be eased.
（第二実施形態）
　図７は第二実施形態による対話装置の処理フローを示す図である。
　次に対話装置１の処理フローを、順を追って説明する。
　対話装置１の対話処理部１１４は起動後にキャラクタ画像１００や補助画像１０１や操作ボタンを表示する（ステップＳ７０１）。対話処理部１１４はキャラクタ画像１００や補助画像１０１の種類（表示種類）や動きを制御する。例えば対話処理部１１４はキャラクタ画像１００が示すキャラクタを画面上で動きまわらせる、キャラクタの首を振るなど、ユーザが興味を引くような画像を表示する。また対話処理部１１４は補助画像１０１の色を変化させたり、動かしたりしてもよい。 (Second embodiment)
FIG. 7 is a diagram showing a processing flow of the interactive apparatus according to the second embodiment.
Next, the processing flow of the interactive apparatus 1 will be described in order.
The dialogue processing unit 114 of the dialogue apparatus 1 displays the character image 100, the auxiliary image 101, and operation buttons after activation (step S701). The dialogue processing unit 114 controls the type (display type) and movement of the character image 100 and the auxiliary image 101. For example, the dialogue processing unit 114 displays an image that attracts the user's interest, such as moving the character indicated by the character image 100 on the screen or shaking the character's head. The dialogue processing unit 114 may change or move the color of the auxiliary image 101.
　また対話開始条件判定部１１２は通信アプリケーション処理部１１７が通信情報を受信した場合に受信情報（第一取得情報）を取得するよう設定されている。通信アプリケーション処理部１１７は通信情報を受信すると、その通信情報に基づいて受信情報を対話開始条件判定部１１２へ出力する。
　通信アプリケーション処理部１１７がメール送受信に関するアプリケーション処理を行う機能部であるとする。この場合、受信情報には送信元アドレスや送信元ユーザ名などの送信元識別子、送信元ユーザの顔画像、メール本文、添付データなどの情報が含まれてよい。通信アプリケーション処理部１１７はこれらの情報を受信情報として検出する。
　通信アプリケーション処理部１１７がＳＮＳに関するアプリケーション処理やメッセージ送受信に関するアプリケーションを行う機能部である場合、受信情報には、送信元ユーザ名などの送信元識別子、送信元ユーザの顔画像、メッセージ本文、添付データなどの情報が含まれてよい。
　通信アプリケーション処理部１１７が通話に関するアプリケーション処理を行う機能部である場合、受信情報には、発信元ユーザ名、発呼指示などのなどの情報が含まれてよい。 The dialog start condition determination unit 112 is set to acquire the reception information (first acquisition information) when the communication application processing unit 117 receives the communication information. When receiving the communication information, the communication application processing unit 117 outputs the received information to the dialog start condition determining unit 112 based on the communication information.
It is assumed that the communication application processing unit 117 is a functional unit that performs application processing related to mail transmission / reception. In this case, the received information may include information such as a transmission source identifier such as a transmission source address or a transmission source user name, a face image of the transmission source user, a mail text, and attached data. The communication application processing unit 117 detects these pieces of information as received information.
When the communication application processing unit 117 is a functional unit that performs application processing related to SNS and application related to message transmission / reception, the received information includes a transmission source identifier such as a transmission source user name, a face image of the transmission source user, a message body, and attached data. Such information may be included.
When the communication application processing unit 117 is a functional unit that performs application processing related to a call, the received information may include information such as a caller user name and a call instruction.
　対話開始条件判定部１１２は受信情報を取得する（ステップＳ７０２）。すると対話開始条件判定部１１２はその受信情報が対話開始条件に一致したかを判定する（ステップＳ７０３）。具体的には対話開始条件判定部１１２は単に受信情報を取得した場合に、対話開始条件に一致したと判定してよい。
　対話開始条件判定部１１２は受信情報に含まれる所定の情報を抽出し、その情報が開始条件で示される情報と一致すると判定できた場合に対話開始条件に一致したと判定してもよい。例えば、対話開始条件判定部１１２は、受信情報に含まれる送信元アドレス、送信元ユーザ名などが、予め記憶する所定の送信元アドレスや送信元ユーザ名に一致すると判定できた場合に対話開始条件に一致したと判定してよい。 The dialog start condition determination unit 112 acquires the received information (step S702). Then, the dialog start condition determination unit 112 determines whether the received information matches the dialog start condition (step S703). Specifically, the dialog start condition determination unit 112 may determine that the dialog start condition is met when the reception information is simply acquired.
The dialog start condition determining unit 112 may extract predetermined information included in the received information and determine that the information matches the dialog start condition when it can be determined that the information matches the information indicated by the start condition. For example, the dialogue start condition determination unit 112 determines that the transmission start address and the transmission source user name included in the reception information match a predetermined transmission source address and transmission source user name stored in advance. It may be determined that
　または対話開始条件判定部１１２は、ＩＦ１７やカメラ１８から取得したセンシング情報を取得した場合に、対話開始条件に一致したと判定してよい。対話開始条件判定部１１２はセンシング情報が、予め記憶する所定のセンシング情報と一致すると判定できた場合に対話開始条件に一致したと判定してもよい。例えば、センシング情報が表示画面１６にタッチしたことを検知した情報である場合、対話開始条件判定部１１２はタッチしたことを検知した場合に対話開始条件に一致したと判定してもよい。センシング情報がカメラ１８で撮影した顔画像である場合、対話開始条件判定部１１２は顔画像が所定のユーザの顔画像であるかを判定し、所定のユーザの顔画像である場合に対話開始条件に一致したと判定してもよい。センシング情報がＩＦ１７に入力された音声情報である場合、対話開始条件判定部１１２は音声情報に基づく声紋情報が所定のユーザの声紋情報と一致するかを判定し、所定のユーザの声紋情報である場合に対話開始条件に一致したと判定してもよい。
　対話開始条件判定部１１２は受信情報や取得情報（第一取得情報）が対話開始条件に一致したと判定した場合、対話処理部１１４に受信情報または取得情報を出力する。取得情報は、センシング情報や、検知情報、画像情報、声紋情報等である。 Alternatively, the dialog start condition determination unit 112 may determine that the dialog start condition is met when the sensing information acquired from the IF 17 or the camera 18 is acquired. The dialog start condition determination unit 112 may determine that the sensing information matches the dialog start condition when it can be determined that the sensing information matches the predetermined sensing information stored in advance. For example, when the sensing information is information that has detected that the display screen 16 has been touched, the dialog start condition determination unit 112 may determine that the touch condition has been met when it has detected that the touch has been made. When the sensing information is a face image captured by the camera 18, the dialog start condition determination unit 112 determines whether the face image is a face image of a predetermined user. It may be determined that it matches. When the sensing information is voice information input to the IF 17, the dialogue start condition determination unit 112 determines whether the voice print information based on the voice information matches the voice print information of the predetermined user, and is the voice print information of the predetermined user. In this case, it may be determined that the dialog start condition is met.
When the dialog start condition determining unit 112 determines that the received information or the acquired information (first acquired information) matches the dialog start condition, the dialog start condition determining unit 112 outputs the received information or the acquired information to the dialog processing unit 114. The acquired information is sensing information, detection information, image information, voiceprint information, and the like.
　対話処理部１１４は受信情報や取得情報に基づいて対話処理を行う。具体的には対話処理部１１４は通信アプリケーション処理部１１７からの受信情報に基づいて、その通信アプリケーション処理部１１７が受信情報を受信したことをユーザに通知する（ステップＳ７０４）。
　対話処理部１１４はこの通知においてキャラクタ画像１００の動きを変化させて、通信アプリケーション処理部１１７が受信情報を受信したことを知らせる。または対話処理部１１４はスピーカから、所定の音や、受信したことを知らせるキャラクタの声や、その他の音を出力して、通信アプリケーション処理部１１７が受信情報を受信したことを知らせてもよい。つまりこれら通信アプリケーション処理部１１７が受信情報を受信したことを通知するための動作は対話処理の一態様とする。通信アプリケーション処理部１１７が受信情報を受信したことを知らせるためのキャラクタ画像１００や音は対話促進情報の一態様である。対話促進情報は、ユーザに対話を促す情報である。 The dialogue processing unit 114 performs dialogue processing based on the received information and acquired information. Specifically, the dialogue processing unit 114 notifies the user that the communication application processing unit 117 has received the reception information based on the reception information from the communication application processing unit 117 (step S704).
In this notification, the dialogue processing unit 114 changes the movement of the character image 100 to notify that the communication application processing unit 117 has received the reception information. Alternatively, the dialog processing unit 114 may output a predetermined sound, a voice of a character notifying that it has been received, or other sound from a speaker to notify that the communication application processing unit 117 has received the reception information. That is, the operation for notifying that the communication application processing unit 117 has received the reception information is an aspect of the dialogue processing. The character image 100 and the sound for notifying that the communication application processing unit 117 has received the reception information are one aspect of the dialogue promotion information. The dialogue promotion information is information that prompts the user to interact.
　対話装置１の制御部１１１は受信情報や取得情報が対話処理部１１４で取得されたことを検知してカメラ１８を起動する（ステップ７０５）。カメラ１８は例えば動画撮影モードで起動される。対話装置１は、例えば普段は棚や机に置かれた状態である。この状態で上記のように対話装置１が通信アプリケーション処理部１１７で受信情報が受信されたことを通知すると、対話装置１のユーザが対話装置１を把持して持ち上げて顔を表示画面１６に近づけるか、対話装置１の傍に近づいて顔を表示画面１６に近づけることが想定される。これによりカメラ１８はユーザの顔を撮影する。カメラ１８は動画像に含まれる撮影画像（各フレーム）を解析部１１３へ出力する。 The control unit 111 of the interactive apparatus 1 detects that the received information or the acquired information has been acquired by the interactive processing unit 114 and activates the camera 18 (step 705). The camera 18 is activated in, for example, a moving image shooting mode. The dialogue apparatus 1 is usually placed on a shelf or a desk, for example. In this state, when the dialog device 1 notifies that the received information is received by the communication application processing unit 117 as described above, the user of the dialog device 1 holds the dialog device 1 and lifts it to bring the face closer to the display screen 16. Alternatively, it is assumed that the face approaches the display screen 16 by approaching the interactive device 1. As a result, the camera 18 captures the user's face. The camera 18 outputs the captured image (each frame) included in the moving image to the analysis unit 113.
　解析部１１３は撮影画像から顔画像（第二取得情報）を検出できるか否かを判定する。解析部１１３は顔画像を検出した場合には、その顔画像が予めユーザの顔を撮影して得られた顔画像に一致するか否かを顔認証の処理と同様に判定する。解析部１１３は顔画像の認証が成功したか否かを判定する（ステップＳ７０６）。顔画像が予めユーザの顔を撮影して得られた顔画像に一致する場合には解析部１１３は認証成功を示す対話開始指示を対話処理部１１４に出力する。なお解析部１１３は顔認証を行わずに、撮影画像から顔画像が検出できた場合に、対話処理部１１４に対話開始指示を出力してもよい。 The analysis unit 113 determines whether or not a face image (second acquisition information) can be detected from the captured image. When the face image is detected, the analysis unit 113 determines whether or not the face image matches the face image obtained by photographing the user's face in advance, as in the face authentication process. The analysis unit 113 determines whether or not the face image has been successfully authenticated (step S706). When the face image matches the face image obtained by photographing the user's face in advance, the analysis unit 113 outputs a dialogue start instruction indicating successful authentication to the dialogue processing unit 114. Note that the analysis unit 113 may output a dialogue start instruction to the dialogue processing unit 114 when a face image can be detected from the captured image without performing face authentication.
　対話装置１はユーザの声紋情報を用いて認証処理を行うようにしてもよい。声紋情報を用いて認証処理を行う場合には、対話装置１にマイクが備わっており、そのマイクから取得した音声情報（第二取得情報）を解析部１１３が解析して声紋情報を生成して、予め記憶するユーザの声紋情報と一致するかどうかの認証を行う。または対話装置１はユーザの指紋情報を用いて認証処理を行うようにしてもよい。指紋情報を用いて認証処理を行う場合には、対話装置１に指紋センサが備わっており、その指紋センサから取得した指紋情報を解析部１１３が解析して、予め記憶するユーザの指紋情報と一致するかどうかの認証を行う。認証が成功した場合には上記と同様に解析部１１３は認証成功を対話処理部１１４へ出力する。または対話装置１はユーザの虹彩情報を用いて認証処理を行うようにしてもよい。 The interactive device 1 may perform authentication processing using the user's voiceprint information. When performing authentication processing using voiceprint information, the dialogue apparatus 1 is equipped with a microphone, and the voice information (second acquisition information) acquired from the microphone is analyzed by the analysis unit 113 to generate voiceprint information. Then, authentication is performed as to whether or not it matches the voice print information of the user stored in advance. Alternatively, the interactive apparatus 1 may perform an authentication process using the user's fingerprint information. When authentication processing is performed using fingerprint information, the interactive device 1 is provided with a fingerprint sensor, and the analysis unit 113 analyzes the fingerprint information acquired from the fingerprint sensor and matches the user's fingerprint information stored in advance. Authenticate whether or not to do. When the authentication is successful, the analysis unit 113 outputs the authentication success to the dialogue processing unit 114 as described above. Alternatively, the dialogue apparatus 1 may perform authentication processing using the user's iris information.
　対話処理部１１４は認証成功を検知すると（ステップＳ７０６のＹＥＳ）、対話処理を行う（ステップＳ７０７）。対話処理部１１４はこの対話処理において、キャラクタ画像１００や補助画像１０１に所定の動作を加えた表示を行う。 When the dialogue processing unit 114 detects a successful authentication (YES in step S706), the dialogue processing unit 114 performs a dialogue process (step S707). In this dialogue process, the dialogue processing unit 114 performs display by adding a predetermined action to the character image 100 and the auxiliary image 101.
　図６で示したように、ステップＳ７０７の対話処理において対話処理部１１４はキャラクタ画像１００の視線を画面正面に向けたり、キャラクタ画像１００の目の瞬き動作や口を動かす動作を加えた表示を行うようにしてよい。例えば対話処理部１１４はユーザの発話に基づいて、発話の途切れを検出する。そして、対話処理部１１４は、その発話の途切れにおいてキャラクタ画像１００がうなずく動作を加えた表示を行ったり、目を合わせたり瞬きを行う動作を加えた表示を行う。対話処理部１１４はこの対話処理において、受信情報に含まれる送信元ユーザ名、送信元ユーザの顔画像１０２、メール本文１０３、メッセージ本文１０３などの表示内容を表示する。表示内容の表示の態様はどのようなものであってもよい。このように、対話情報は文字情報１０３を含み、対話処理部１１４は、受信情報（第一取得情報）の送信元ユーザの顔画像１０２と共に文字情報１０３を出力する。 As shown in FIG. 6, in the dialogue processing in step S707, the dialogue processing unit 114 performs display with the line of sight of the character image 100 directed to the front of the screen, the blinking operation of the character image 100, and the movement of the mouth. You may do it. For example, the dialogue processing unit 114 detects the interruption of the utterance based on the user's utterance. Then, the dialogue processing unit 114 performs a display in which the character image 100 adds a motion of nodding in the interruption of the utterance, or performs a display in which a motion of blinking eyes or blinking is added. In this dialogue processing, the dialogue processing unit 114 displays the display contents such as the transmission source user name, the transmission source user's face image 102, the mail text 103, and the message text 103 included in the received information. The display content may be displayed in any manner. As described above, the dialogue information includes the character information 103, and the dialogue processing unit 114 outputs the character information 103 together with the face image 102 of the transmission source user of the reception information (first acquisition information).
　以上の処理により、ユーザは対話装置１の通信アプリケーション処理部１１７が通信情報（受信情報）を受信したことを画面表示や音によりユーザに即時に通知することができる。また対話装置１は通信アプリケーション処理部１１７が受信した受信情報に基づいて、所定の送信元からの受信情報である場合に、その受信を画面表示や音などによりユーザに即時に通知することができる。そして対話装置１のユーザがＩＣＴ機器に不慣れな者であっても、顔を近づけるだけで受信情報の内容や送信元の送信者の顔画像などの情報を閲覧することができ、操作を殆どすることなく対話装置１に備わるメール、ＳＮＳアプリケーション、メッセージアプリケーションなどの通信アプリケーションの機能を利用することができる。また対話装置１がキャラクタ画像１００を表示し、動作させることにより、キャラクタ画像１００が対話しているような錯覚をユーザに与えることができる。これによりユーザのＩＣＴ機器を操作する心理的障壁を緩和することができる。 Through the above processing, the user can immediately notify the user that the communication application processing unit 117 of the dialogue apparatus 1 has received the communication information (reception information) by means of a screen display or sound. In addition, based on the reception information received by the communication application processing unit 117, the dialogue apparatus 1 can immediately notify the reception to the user by screen display or sound when the reception information is from a predetermined transmission source. . Even if the user of the interactive device 1 is not familiar with the ICT device, the user can browse the information such as the contents of the received information and the face image of the sender of the transmission source only by bringing his face close to the user, and the operation is mostly performed. The functions of communication applications such as mail, SNS application, and message application provided in the dialog device 1 can be used without any problem. Further, when the interactive device 1 displays and operates the character image 100, an illusion that the character image 100 is interacting can be given to the user. Thereby, the psychological barrier which operates a user's ICT apparatus can be eased.
　上述の処理フローのステップＳ７０６の処理において認証成功と判定した場合、受信情報の送信元のユーザに対して、対話装置１のユーザが対話したことを示す情報が送信されてもよい。この場合、解析部１１３は認証成功を送信処理部１１５へ出力する。送信処理部１１５は受信情報を取得する。受信情報には送信元メールアドレスや送信元ユーザ名、送信元ユーザＩＤなどの送信元識別子が含まれている。送信処理部１１５はこの送信元識別子を用いて通信アプリケーション処理部１１７に認証成功や対話したことを示す情報を送信するよう指示する。これにより通信アプリケーション処理部１１７に認証成功や対話したこと、または対話できなかったことを示す情報を、送信元識別子を用いて送信元へ送信する。なおこの処理は、送信処理部１１５が対話情報の出力の後に前記ユーザ動作に基づいて取得される第二取得情報を解析した取得情報解析結果を送信制御することの一態様である。またこの処理は第二取得情報を取得した場合に、所定の送信先に返答情報の有無を通知することとの一態様である。なお送信先へ送信する対話したことを示す情報の中に対話装置１のユーザの顔画像を格納してもよい。 When it is determined that the authentication is successful in the process of step S706 of the above-described process flow, information indicating that the user of the dialog device 1 has interacted may be transmitted to the user who has transmitted the reception information. In this case, the analysis unit 113 outputs authentication success to the transmission processing unit 115. The transmission processing unit 115 acquires reception information. The received information includes a sender identifier such as a sender mail address, a sender user name, and a sender user ID. The transmission processing unit 115 uses this transmission source identifier to instruct the communication application processing unit 117 to transmit information indicating that the authentication has been successful or that a dialogue has occurred. As a result, the communication application processing unit 117 is transmitted to the transmission source using the transmission source identifier, indicating that the authentication has succeeded, has interacted, or has failed to interact. This process is an aspect in which the transmission processing unit 115 performs transmission control on the acquired information analysis result obtained by analyzing the second acquired information acquired based on the user action after the output of the dialog information. Moreover, this process is one mode of notifying the presence or absence of reply information to a predetermined transmission destination when the second acquisition information is acquired. Note that the face image of the user of the dialog device 1 may be stored in the information indicating that the dialog is transmitted to the transmission destination.
　このような処理により、送信元に、対話装置１のユーザが対話を行ったこと（対話や返答情報の有無）を当該ユーザの操作無しに通知することができる。これにより対話装置１のユーザが高齢者などであれば、その高齢者の子供などの他のユーザに高齢者の様子を通知することができる。 By such processing, it is possible to notify the transmission source that the user of the dialogue apparatus 1 has conducted a dialogue (whether there is dialogue or response information) without the user's operation. Thereby, if the user of the dialogue apparatus 1 is an elderly person or the like, the state of the elderly person can be notified to other users such as children of the elderly person.
　また上述の処理フローのステップＳ７０３の処理において受信情報が対話開始条件に一致したかを判定している。しかし、次のように、取得情報が対話開始条件に一致したと判定されてもよい。例えば、上述しているがユーザが表示画面１６をタッチしたことが検知された場合、カメラ１８に写った顔画像が所定のユーザの顔画像であると判定された場合、マイクで検出したユーザの声に基づいて所定のユーザの声紋情報であると判定された場合などである。この場合、取得情報が対話開始条件に一致したことに基づいて、所定の送信先の他のユーザに対して、対話装置１のユーザが対話したことを示す情報を送信するようにしてもよい。この処理では、同様に、対話開始条件判定部１１２が、取得情報が対話開始条件に一致したことを送信処理部１１５へ出力する。送信処理部１１５は対話開始条件の一致を検出すると、ＳＳＤ１４などの記憶部から所定の送信先の送信元メールアドレスや送信元ユーザ名、送信元ユーザＩＤなどの送信元識別子を取得する。送信処理部１１５はこの送信元識別子を用いて通信アプリケーション処理部１１７に対話装置１のユーザと対話したことを示す情報を送信するよう指示する。これにより通信アプリケーション処理部１１７は対話装置１のユーザと対話したことを示す情報を、送信元識別子を用いて所定の送信先へ送信する。 Further, it is determined whether or not the received information matches the dialog start condition in the process of step S703 of the above-described process flow. However, it may be determined that the acquired information matches the dialog start condition as follows. For example, as described above, when it is detected that the user touches the display screen 16, when it is determined that the face image captured by the camera 18 is a face image of a predetermined user, the user's detected by the microphone For example, it is determined that the voiceprint information of a predetermined user is based on the voice. In this case, based on the fact that the acquired information matches the dialog start condition, information indicating that the user of the dialog device 1 has interacted may be transmitted to another user at a predetermined transmission destination. In this process, similarly, the dialog start condition determination unit 112 outputs to the transmission processing unit 115 that the acquired information matches the dialog start condition. When the transmission processing unit 115 detects matching of the dialog start conditions, the transmission processing unit 115 acquires a transmission source identifier such as a transmission source mail address, a transmission source user name, and a transmission source user ID of a predetermined transmission destination from a storage unit such as the SSD 14. Using this transmission source identifier, the transmission processing unit 115 instructs the communication application processing unit 117 to transmit information indicating that the user of the interactive apparatus 1 has interacted. As a result, the communication application processing unit 117 transmits information indicating that the user interacts with the user of the interactive apparatus 1 to a predetermined transmission destination using the transmission source identifier.
　このような処理により、対話装置１のユーザの操作無しに、そのユーザが対話装置１の対話に反応したことを所定の送信先に通知することができる。これにより対話装置１のユーザが高齢者などであれば、その高齢者の子供などの他のユーザに高齢者の様子を通知することができる。 By such processing, it is possible to notify a predetermined transmission destination that the user has reacted to the dialog of the dialog device 1 without an operation of the user of the dialog device 1. Thereby, if the user of the dialogue apparatus 1 is an elderly person or the like, the state of the elderly person can be notified to other users such as children of the elderly person.
　上述のステップＳ７０６においては顔画像が所定のユーザの顔画像と一致したかどうかの認証が行われているが、前記第二取得情報である顔画像の他の検出情報に基づいて対話情報の出力を行うか否かが判定されてもよい。例えば解析部１１３は、顔画像の撮影画像内の大きさを検出し、その大きさが所定の大きさ以上である場合にユーザが対話装置１に近づいているため対話処理部１１４は認証成功と判定するとともに対話処理の開始を指示する。顔画像の大きさは、撮影画像内の顔と認識した画像範囲の画素数などによって判定されてよい。または解析部１１３は、顔画像に基づいて顔の向きや、顔の向きと画面平面に垂直な線との成す角度などを検出して、表示画面１６に正対しているか否かを判定してもよい。顔が表示画面１６に正対していると判定した場合に、解析部１１３はユーザが対話装置１を見つめている状態と判定し、対話処理部１１４は認証成功とともに対話処理の開始を指示する。または解析部１１３は、顔画像の移動の速さによって所定の速さよりも遅い場合には、ユーザが対話装置１を利用しようとしている状態であると判定して、対話処理部１１４は認証成功とともに対話処理の開始を指示してもよい。 In step S706 described above, authentication is performed as to whether or not the face image matches the face image of the predetermined user, but the dialogue information is output based on other detection information of the face image that is the second acquisition information. It may be determined whether or not to perform. For example, the analysis unit 113 detects the size of the captured image of the face image, and when the size is equal to or larger than a predetermined size, the dialogue processing unit 114 determines that the authentication is successful because the user is approaching the dialogue device 1. Determine and instruct the start of dialogue processing. The size of the face image may be determined by the number of pixels in the image range recognized as the face in the captured image. Alternatively, the analysis unit 113 detects a face orientation, an angle formed by the face orientation and a line perpendicular to the screen plane, based on the face image, and determines whether or not the display screen 16 is directly facing. Also good. When it is determined that the face is directly facing the display screen 16, the analysis unit 113 determines that the user is looking at the dialog device 1, and the dialog processing unit 114 instructs the start of the dialog processing along with successful authentication. Alternatively, the analysis unit 113 determines that the user is about to use the interactive device 1 when the facial image is slower than a predetermined speed due to the speed of the movement of the face image, and the interactive processing unit 114 determines that the authentication is successful. You may instruct | indicate the start of a dialogue process.
　解析部１１３はこれら顔画像の解析結果を対話処理部１１４に出力してもよい。この場合、対話処理部１１４は顔の大きさ、向き、角度、移動の速さなどの解析結果に応じてキャラクタ画像１００の動きや補助画像１０１の動きや種類の変更などを行うようにしてもよい。具体的には解析部１１３が解析結果に基づいてユーザが対話装置１を利用しようとしている状態であると判定した場合には、対話処理部１１４はその解析結果の情報を取得する。そして対話処理部１１４は、ユーザに対して話がしたいと要求するような仕草（動作）のキャラクタ画像１００を表示する。 The analysis unit 113 may output the analysis result of these face images to the dialogue processing unit 114. In this case, the dialogue processing unit 114 may change the movement of the character image 100 and the movement and type of the auxiliary image 101 according to the analysis result such as the size, orientation, angle, and movement speed of the face. Good. Specifically, when the analysis unit 113 determines that the user is about to use the dialogue apparatus 1 based on the analysis result, the dialogue processing unit 114 acquires information on the analysis result. Then, the dialogue processing unit 114 displays a character image 100 of a gesture (action) that requests the user to speak.
　解析部１１３は顔画像において検出した顔の大きさから対話装置１と対話装置１の前にいる人との距離を算出し、距離が閾値以下である場合に、そのユーザが対話装置１を利用しようとしている状態であると判定してもよい。距離は例えば顔画像が撮影画像中に占める領域の大きさによって算出されてもよい。
　解析部１１３は、顔画像に基づいて、ユーザの目、鼻、口を検出し、それらの顔全体での位置を推定したり、顔全体における目鼻口の位置から対話装置１に対する顔の角度を推測するようにしてもよい。
　対話処理部１１４は、閾値以上の大きさの顔を検出した場合でも、顔の移動が速いと判定された場合には、キャラクタ画像１００による声掛けなどを模擬した音声情報の出力を行わないようにしてもよい。 The analysis unit 113 calculates the distance between the interactive device 1 and the person in front of the interactive device 1 from the size of the face detected in the face image, and the user uses the interactive device 1 when the distance is equal to or less than the threshold value. It may be determined that the state is about to be attempted. The distance may be calculated by, for example, the size of the area occupied by the face image in the captured image.
The analysis unit 113 detects the user's eyes, nose, and mouth based on the face image, estimates the position of the entire face, and determines the angle of the face with respect to the dialogue apparatus 1 from the position of the eye nose and mouth in the entire face. You may make it guess.
Even when the dialogue processing unit 114 detects a face having a size greater than or equal to the threshold value, if the face movement is determined to be fast, the dialogue processing unit 114 does not output voice information simulating voice call by the character image 100 or the like. It may be.
　解析部１１３は、顔画像の解析において、同居家族の複数人の顔画像を予め記憶しておく。解析部１１３は取得した顔画像と記憶している顔画像との比較に基づいて、取得した顔画像が同居家族の中の誰であるかを判別する。そして、解析部１１３は、特定のユーザであると判定した場合にのみ、そのユーザが対話装置１を利用しようとしている状態であると判定してもよい。
　解析部１１３は、来訪者（顔の画像情報を登録していない人）を検知した場合は、キャラクタ画像１００を対話しないように制御してもよい。この場合、解析部１１３は記憶している顔画像と一致しない顔画像を検出した場合に来訪者を検知したと判定してよい。
　また撮影画像から検出した顔画像が複数あり、その内の一つの顔画像が対話装置１を所有する所定のユーザの顔画像であると判定した場合を例示する。この場合、解析部１１３は、他の認証できない（一致しない）顔画像が検出された場合には、来訪者がいる状況であると判定してユーザが対話装置１を利用しようとしていない状態であると判定してもよい。この場合は、対話処理部１１４は対話処理を行わないようにしてよい。対話処理部１１４が、音声解析に基づいてユーザ以外の来訪者がいる状況であると判定し、対話処理を行わないようにしてもよい。 The analysis unit 113 stores face images of a plurality of family members in advance in the analysis of the face image. Based on the comparison between the acquired face image and the stored face image, the analysis unit 113 determines who the acquired face image is in the family living together. The analysis unit 113 may determine that the user is about to use the interactive device 1 only when it is determined that the user is a specific user.
The analysis unit 113 may control the character image 100 not to interact when a visitor (a person who has not registered facial image information) is detected. In this case, the analysis unit 113 may determine that a visitor has been detected when a face image that does not match the stored face image is detected.
Further, there will be exemplified a case where there are a plurality of face images detected from the photographed image, and one of the face images is determined to be a face image of a predetermined user who owns the dialogue apparatus 1. In this case, when another face image that cannot be authenticated (not matched) is detected, the analysis unit 113 determines that there is a visitor, and the user is not trying to use the interactive device 1. May be determined. In this case, the dialogue processing unit 114 may not perform the dialogue processing. The dialogue processing unit 114 may determine that there is a visitor other than the user based on the voice analysis, and may not perform the dialogue processing.
　解析部１１３が顔画像以外の第二取得情報（指紋情報、音声情報、表示画面１６に対する指によるタッチ検知など）に基づいて解析処理を行ってユーザが対話装置１を利用しようとしている状態であると判定した場合においても、解析部１１３は同様にその解析結果を対話処理部１１４に出力してよい。対話処理部１１４はその解析結果に基づいて、ユーザに対して話がしたいと要求するような仕草（動作）のキャラクタ画像１００を表示するようにしてもよい。 The analysis unit 113 performs analysis processing based on second acquired information other than the face image (fingerprint information, voice information, touch detection with a finger on the display screen 16, etc.) and the user is about to use the interactive device 1. The analysis unit 113 may output the analysis result to the dialogue processing unit 114 in the same manner. The dialogue processing unit 114 may display a character image 100 of a gesture (action) that requests a user to speak based on the analysis result.
　対話処理部１１４はステップＳ７０７の対話処理において、ユーザが操作することなく会話のみで通信アプリケーション処理部１１７の受信に対応する返信の処理が完了するよう、ユーザとの対話を行ってよい。上記のステップＳ７０７の対話処理においては受信情報の内容を表示する具体例を示したが、さらにユーザの音声を検出し、音声を解析して文字変換処理を行うように制御されてもよい。この場合、対話処理部１１４は音声を解析して得た文字情報を通信アプリケーション処理部１１７へ通知する。すると通信アプリケーション処理部１１７は文字情報を本文に記載したメールやメッセージを生成する。そして、通信アプリケーション処理部１１７は、送信元識別子に基づく受信情報の送信元のユーザに、または送信先として予め決められた送信先のユーザに、生成したメールやメッセージなどの通信情報を送信するようにしてもよい。 In the dialog processing in step S707, the dialog processing unit 114 may perform a dialog with the user so that the reply processing corresponding to reception of the communication application processing unit 117 is completed only by the conversation without the user's operation. Although the specific example of displaying the contents of the received information is shown in the dialog processing in step S707 above, control may be performed such that the voice of the user is further detected, the voice is analyzed, and the character conversion processing is performed. In this case, the dialogue processing unit 114 notifies the communication application processing unit 117 of character information obtained by analyzing the voice. Then, the communication application processing unit 117 generates a mail or message in which text information is written in the text. Then, the communication application processing unit 117 transmits the generated communication information such as a mail or a message to the user who is the transmission source of the reception information based on the transmission source identifier or the user whose transmission destination is predetermined as the transmission destination. It may be.
　対話処理部１１４はステップＳ７０７の対話処理において、カメラ１８から得られた撮影画像から文字情報を検出し、その文字情報を通信アプリケーション処理部１１７へ送信してもよい。例えば対話装置１のユーザは声を発する代わりに、対話処理の際に用紙に文章を記入してカメラ１８の前に翳す。カメラ１８は用紙を撮影して生成した画像情報を対話処理部１１４へ出力する。対話処理部１１４は画像情報を解析して文字情報を抽出し、その文字情報を通信アプリケーション処理部１１７へ通知する。すると通信アプリケーション処理部１１７は文字情報を本文に記載したメールやメッセージを生成する。通信アプリケーション処理部１１７は、送信元識別子に基づく受信情報の送信元のユーザに、または送信先として予め決められた送信先のユーザに、生成したメールやメッセージなどの通信情報を送信するようにしてもよい。画像情報はメールやメッセージに添付されて送信先に送信されてもよい。 The dialogue processing unit 114 may detect character information from the photographed image obtained from the camera 18 and transmit the character information to the communication application processing unit 117 in the dialogue processing in step S707. For example, instead of producing a voice, the user of the dialogue apparatus 1 writes a sentence on a sheet during the dialogue processing and puts it in front of the camera 18. The camera 18 outputs image information generated by photographing a sheet to the dialogue processing unit 114. The dialogue processing unit 114 analyzes the image information, extracts character information, and notifies the communication application processing unit 117 of the character information. Then, the communication application processing unit 117 generates a mail or message in which text information is written in the text. The communication application processing unit 117 transmits the generated communication information such as a mail or a message to the user who is the transmission source of the reception information based on the transmission source identifier or to the user whose transmission destination is predetermined as the transmission destination. Also good. The image information may be attached to an email or a message and transmitted to the transmission destination.
　図６で示すように対話装置１の表示画面１６においてキャラクタ画像１００が表示される領域と、対話情報が表示される領域１２０と、文字情報が表示される領域１２０とは固定されることが望ましい。 As shown in FIG. 6, it is desirable that the area where the character image 100 is displayed, the area 120 where the dialog information is displayed, and the area 120 where the character information is displayed are fixed on the display screen 16 of the dialog apparatus 1. .
　対話装置１の対話処理部１１４その他の通信アプリケーション処理部１１７は、キャラクタ画像１００が発話するような内容のテキストを表示し、また補助的な操作ボタンなどを表示する。ただし、操作方法の習得が必要ないように、表示する位置や大きさなどは操作ステップが推移しても変化されない。対話装置１が、表示する情報の種類に応じて表示する領域を固定することにより、ユーザはＩＣＴ機器に不慣れであってもイレギュラーな表示により操作に戸惑うことが少なくなり、対話装置１に慣れ親しんで操作を容易に行うことができる。 The dialogue processing unit 114 and other communication application processing unit 117 of the dialogue device 1 display text having contents that the character image 100 speaks, and display auxiliary operation buttons and the like. However, the position and size to be displayed are not changed even if the operation steps are changed so that the operation method is not required to be learned. The interactive device 1 fixes the display area according to the type of information to be displayed, so that even if the user is unfamiliar with the ICT device, the user is less confused by the irregular display and becomes familiar with the interactive device 1. Can be easily operated.
　対話装置１の対話処理部１１４は、読みやすさや内容を理解しやすくするため、画面横方向に大きく表示範囲を設定して文字情報などを表示する（なるべく一つの文節が、改行せずに画面内に収まるように工夫して表示する）。
　また対話装置１の対話処理部１１４は、操作ボタンは数を３つ程度など少ない数に絞って表示する。これにより高齢者などのユーザが操作に迷わないよう配慮することができる。また数を絞ることで、ボタンの大きさと間隔を大きくとれるため、押し間違いなども抑制することができる。 The dialogue processing unit 114 of the dialogue device 1 displays character information and the like by setting a large display range in the horizontal direction of the screen in order to make it easy to understand and understand the contents (one phrase is preferably displayed on the screen without line breaks). Devised to fit within the display).
Further, the dialogue processing unit 114 of the dialogue apparatus 1 displays the operation buttons with a small number such as about three. Thereby, it can be considered that a user such as an elderly person does not get lost in the operation. Also, by reducing the number, the size and spacing of the buttons can be increased, so that pressing mistakes can be suppressed.
（第三実施形態）
　図８は第三実施形態による対話装置の処理フローを示す図である。
　次に第三実施形態による対話装置１の処理フローを、順を追って説明する。
　対話装置１の対話処理部１１４は起動後にキャラクタ画像１００や補助画像１０１や操作ボタンを表示する（ステップＳ８０１）。対話処理部１１４はキャラクタ画像１００や補助画像１０１の表示種類や動きを制御する。例えば対話処理部１１４はキャラクタ画像１００が示すキャラクタを画面上で動きまわらせる、キャラクタの首を振るなど、ユーザが興味を引くような画像を表示する。また対話処理部１１４は補助画像１０１の色を変化させたり、動かしたりしてもよい。 (Third embodiment)
FIG. 8 is a diagram showing a processing flow of the interactive apparatus according to the third embodiment.
Next, the processing flow of the interactive apparatus 1 according to the third embodiment will be described in order.
The dialogue processing unit 114 of the dialogue apparatus 1 displays the character image 100, the auxiliary image 101, and operation buttons after activation (step S801). The dialogue processing unit 114 controls the display type and movement of the character image 100 and the auxiliary image 101. For example, the dialogue processing unit 114 displays an image that attracts the user's interest, such as moving the character indicated by the character image 100 on the screen or shaking the character's head. The dialogue processing unit 114 may change or move the color of the auxiliary image 101.
　また対話開始条件判定部１１２は通信アプリケーション処理部１１７が通信情報を受信した場合に受信情報（第一取得情報）を取得するよう設定されている。通信アプリケーション処理部１１７は通信情報を受信すると、その通信情報に基づいて受信情報を対話開始条件判定部１１２へ出力する。
　通信アプリケーション処理部１１７がメール送受信に関するアプリケーション処理を行う機能部であるとする。この場合、受信情報には送信元アドレスや送信元ユーザ名などの送信元識別子、送信元ユーザの顔画像、メール本文、添付データなどの情報が含まれてよい。通信アプリケーション処理部１１７はこれらの情報を受信情報として検出する。
　通信アプリケーション処理部１１７がＳＮＳに関するアプリケーション処理やメッセージ送受信に関するアプリケーションを行う機能部である場合、受信情報には、送信元ユーザ名などの送信元識別子、送信元ユーザの顔画像、メッセージ本文、添付データなどの情報が含まれてよい。
　通信アプリケーション処理部１１７が通話に関するアプリケーション処理を行う機能部である場合、受信情報には、発信元ユーザ名、発呼指示などのなどの情報が含まれてよい。 The dialog start condition determination unit 112 is set to acquire the reception information (first acquisition information) when the communication application processing unit 117 receives the communication information. When receiving the communication information, the communication application processing unit 117 outputs the received information to the dialog start condition determining unit 112 based on the communication information.
It is assumed that the communication application processing unit 117 is a functional unit that performs application processing related to mail transmission / reception. In this case, the received information may include information such as a transmission source identifier such as a transmission source address or a transmission source user name, a face image of the transmission source user, a mail text, and attached data. The communication application processing unit 117 detects these pieces of information as received information.
When the communication application processing unit 117 is a functional unit that performs application processing related to SNS and application related to message transmission / reception, the received information includes a transmission source identifier such as a transmission source user name, a face image of the transmission source user, a message body, and attached data. Such information may be included.
When the communication application processing unit 117 is a functional unit that performs application processing related to a call, the received information may include information such as a caller user name and a call instruction.
　対話開始条件判定部１１２は受信情報を取得したか否かを判定する（ステップＳ８０２）。受信情報を取得したかどうかの判定は、サービス機能（通信アプリケーション機能）のイベントを取得したかどうかの判定の一態様である。受信情報を取得した場合には（Ｓ８０２のＹＥＳ）、対話開始条件判定部１１２は第一の対話の処理を開始すると判定し対話処理部１１４へ第一の対話の開始を指示する（ステップＳ８０３）。以降のステップＳ８０４～ステップＳ８１２の処理は第一実施形態によるステップＳ５０４～ステップＳ５１２の処理と同様である。 The dialog start condition determining unit 112 determines whether or not the received information has been acquired (step S802). The determination of whether or not the reception information has been acquired is an aspect of determination of whether or not an event of a service function (communication application function) has been acquired. When the received information is acquired (YES in S802), the dialog start condition determining unit 112 determines to start the process of the first dialog and instructs the dialog processing unit 114 to start the first dialog (Step S803). . The subsequent steps S804 to S812 are the same as the steps S504 to S512 according to the first embodiment.
　ステップＳ８０２において受信情報を取得していなくとも（Ｓ８０２のＮＯ）、対話開始条件判定部１１２は第二の対話の処理を開始すると判定し、対話処理部１１４へ第二の対話の開始を指示する（ステップＳ８１３）。対話装置１の制御部１１１は第二の対話の開始を検知してカメラ１８を起動する（ステップＳ８１４）。 Even if the received information is not acquired in step S802 (NO in S802), the dialog start condition determining unit 112 determines to start the second dialog processing, and instructs the dialog processing unit 114 to start the second dialog. (Step S813). The control unit 111 of the dialogue apparatus 1 detects the start of the second dialogue and activates the camera 18 (step S814).
　カメラ１８は例えば動画撮影モードで起動される。カメラ１８はユーザの顔を撮影する。カメラ１８は動画像に含まれる撮影画像（各フレーム）を解析部１１３へ出力する。 The camera 18 is activated, for example, in a video shooting mode. The camera 18 photographs the user's face. The camera 18 outputs the captured image (each frame) included in the moving image to the analysis unit 113.
　解析部１１３は撮影画像から顔画像を検出できるか否かを判定する（ステップＳ８１５）。解析部１１３は顔画像を検出した場合には、その顔画像が予めユーザの顔を撮影して得られた顔画像に一致するか否かを顔認証の処理と同様に判定する。解析部１１３は顔画像の認証が成功したか否かを判定する（ステップＳ８１６）。顔画像が予めユーザの顔を撮影して得られた顔画像に一致する場合には解析部１１３は認証成功を示す対話開始指示を対話処理部１１４に出力する。なお解析部１１３は顔認証を行わずに、撮影画像から顔画像が検出できた場合に、対話処理部１１４に対話開始指示を出力してもよい。 The analysis unit 113 determines whether or not a face image can be detected from the captured image (step S815). When the face image is detected, the analysis unit 113 determines whether or not the face image matches the face image obtained by photographing the user's face in advance, as in the face authentication process. The analysis unit 113 determines whether or not the face image has been successfully authenticated (step S816). When the face image matches the face image obtained by photographing the user's face in advance, the analysis unit 113 outputs a dialogue start instruction indicating successful authentication to the dialogue processing unit 114. Note that the analysis unit 113 may output a dialogue start instruction to the dialogue processing unit 114 when a face image can be detected from the captured image without performing face authentication.
　対話処理部１１４は認証成功を検知すると第二の対話処理を行う（ステップＳ８１７）。対話処理部１１４はこの対話処理において、キャラクタ画像１００や補助画像１０１に所定の動作を加えた表示を行う。この第二の対話処理は対話装置１とユーザとの間で直接対話する処理である。対話処理部１１４はユーザの音声を検出したか否かを判定する。ユーザの音声を検出した場合、対話処理部１１４はキャラクタがうなずく動作を示すキャラクタ画像１００を出力する。 When the dialogue processing unit 114 detects the authentication success, the dialogue processing unit 114 performs the second dialogue processing (step S817). In this dialogue process, the dialogue processing unit 114 performs display by adding a predetermined action to the character image 100 and the auxiliary image 101. This second interactive process is a process of directly interacting between the interactive apparatus 1 and the user. The dialogue processing unit 114 determines whether or not the user's voice is detected. When the user's voice is detected, the dialogue processing unit 114 outputs a character image 100 showing a motion of the character nodding.
　以上の処理により、対話装置１の通信アプリケーション処理部１１７などのサービス機能においてイベントを取得していない場合であっても、対話装置１とユーザとの間の対話処理を行う。これにより、ＩＣＴ機器に不慣れな高齢者などのユーザとのコミュニケーションを対話装置１に行わせることができる。 Through the above processing, even when the event is not acquired in the service function such as the communication application processing unit 117 of the dialog device 1, the dialog processing between the dialog device 1 and the user is performed. Thereby, the dialog apparatus 1 can be made to communicate with users, such as an elderly person unfamiliar with an ICT apparatus.
（第四実施形態）
　図９は第四実施形態による対話装置の機能ブロック図である。
　図９で示すように対話装置１は通信アプリケーション処理部１１７の代わりに撮影アプリケーション処理部１１８の機能を有するものであってもよい。図３と同様に、対話装置１のＣＰＵ１１は電源が投入されるとＲＯＭ１３やＳＳＤ１４に記録されている対話処理プログラムを起動する。これにより、対話装置１のＣＰＵ１１は、制御部１１１、対話開始条件判定部１１２、解析部１１３、対話処理部１１４、送信処理部１１５、返答情報通知部１１６の各機能を備える。また対話装置１のＣＰＵ１１は、通信アプリケーションプログラムを起動することにより、通信アプリケーション処理部１１７の機能を備える。また対話装置１のＣＰＵ１１は、撮影アプリケーションプログラムを起動することにより、さらに撮影アプリケーション処理部１１８の機能を備える。 (Fourth embodiment)
FIG. 9 is a functional block diagram of the interactive apparatus according to the fourth embodiment.
As shown in FIG. 9, the dialogue apparatus 1 may have a function of the photographing application processing unit 118 instead of the communication application processing unit 117. Similar to FIG. 3, the CPU 11 of the dialogue apparatus 1 starts the dialogue processing program recorded in the ROM 13 or the SSD 14 when the power is turned on. As a result, the CPU 11 of the dialogue apparatus 1 includes the functions of the control unit 111, the dialogue start condition determination unit 112, the analysis unit 113, the dialogue processing unit 114, the transmission processing unit 115, and the response information notification unit 116. In addition, the CPU 11 of the interactive apparatus 1 has the function of the communication application processing unit 117 by starting the communication application program. Further, the CPU 11 of the interactive apparatus 1 further includes the function of the photographing application processing unit 118 by starting the photographing application program.
　図１０は第四実施形態による対話装置の処理フローを示す図である。
　第一実施形態の処理の他、対話装置１は以降で説明する処理を行うものであってもよい。第一実施形態と同様、対話装置１の対話処理部１１４は起動後にキャラクタ画像１００や補助画像１０１や操作ボタンを表示する（ステップＳ１００１）。対話処理部１１４はキャラクタ画像１００や補助画像１０１の表示種類や動きを制御する。例えば対話処理部１１４はキャラクタ画像１００が示すキャラクタを画面上で動きまわらせる、キャラクタの首を振るなど、ユーザが興味を引くような画像を表示する。また対話処理部１１４は補助画像１０１の色を変化させたり、動かしたりしてもよい。キャラクタ画像１００や補助画像１０１の表示は対話促進情報の出力の一態様である。 FIG. 10 is a diagram showing a processing flow of the interactive apparatus according to the fourth embodiment.
In addition to the processing of the first embodiment, the interactive device 1 may perform processing described below. As in the first embodiment, the dialogue processing unit 114 of the dialogue device 1 displays the character image 100, the auxiliary image 101, and operation buttons after activation (step S1001). The dialogue processing unit 114 controls the display type and movement of the character image 100 and the auxiliary image 101. For example, the dialogue processing unit 114 displays an image that attracts the user's interest, such as moving the character indicated by the character image 100 on the screen or shaking the character's head. The dialogue processing unit 114 may change or move the color of the auxiliary image 101. The display of the character image 100 and the auxiliary image 101 is an aspect of outputting dialogue promotion information.
　対話装置１の制御部１１１は対話装置１が動作している間はカメラ１８を起動する（ステップＳ１００２）。カメラ１８は例えば動画撮影モードで起動される。対話装置１は、例えば普段は棚や机に置かれた状態である。この状態で上記のように対話装置１が対話促進情報を出力したことに応じて、対話装置１のユーザが対話装置１を把持して持ち上げて顔を表示画面１６に近づけるか、対話装置１の傍に近づいて顔を表示画面１６に近づけることが想定される。これによりカメラ１８はユーザの顔を撮影する。カメラ１８は動画像に含まれる撮影画像（各フレーム）を解析部１１３へ出力する。 The control unit 111 of the interactive device 1 activates the camera 18 while the interactive device 1 is operating (step S1002). The camera 18 is activated in, for example, a moving image shooting mode. The dialogue apparatus 1 is usually placed on a shelf or a desk, for example. In this state, in response to the dialogue device 1 outputting the dialogue promotion information as described above, the user of the dialogue device 1 holds the dialogue device 1 and lifts it up to bring the face closer to the display screen 16 or the dialogue device 1 It is assumed that the face approaches the display screen 16 by approaching the side. As a result, the camera 18 captures the user's face. The camera 18 outputs the captured image (each frame) included in the moving image to the analysis unit 113.
　また対話開始条件判定部１１２は、撮影アプリケーション処理部１１８が解析部１１３から人の顔画像の検知を通知された場合に顔検知情報（第一取得情報）を取得するよう設定されている。解析部１１３は撮影画像から顔画像（第一取得情報）を検出できるか否かを常に判定する。顔画像が検出された場合、解析部１１３は、第一取得情報が対話開始条件に一致したと判定する。解析部１１３は顔画像を検出した場合には、その顔画像が予めユーザの顔を撮影して記憶している顔画像に一致するか否かを顔認証の処理と同様に判定する。解析部１１３は顔画像の認証が成功したか否かを判定する（ステップＳ１００３）。顔画像が予めユーザの顔を撮影して記憶している顔画像に一致する場合には解析部１１３は認証成功を示す対話開始指示を対話処理部１１４へ出力する。このように、対話処理部１１４は、顔画像が所定のユーザであることが検知された場合に対話情報を出力する。なお解析部１１３は顔認証を行わずに、撮影画像から顔画像が検出できた場合に、対話処理部１１４に対話開始指示を出力してもよい。 Also, the dialogue start condition determination unit 112 is set to acquire face detection information (first acquisition information) when the photographing application processing unit 118 is notified of detection of a human face image from the analysis unit 113. The analysis unit 113 always determines whether or not a face image (first acquisition information) can be detected from the captured image. When a face image is detected, the analysis unit 113 determines that the first acquisition information matches the conversation start condition. When the face image is detected, the analysis unit 113 determines whether or not the face image matches a face image that has been captured and stored in advance as in the face authentication process. The analysis unit 113 determines whether or not the face image has been successfully authenticated (step S1003). When the face image matches the face image that has been captured and stored in advance by the user, the analysis unit 113 outputs a dialogue start instruction indicating a successful authentication to the dialogue processing unit 114. As described above, the dialogue processing unit 114 outputs the dialogue information when it is detected that the face image is a predetermined user. Note that the analysis unit 113 may output a dialogue start instruction to the dialogue processing unit 114 when a face image can be detected from the captured image without performing face authentication.
　対話処理部１１４は認証成功を検知すると対話処理を行う（ステップＳ１００４）。対話処理部１１４はこの対話処理において、キャラクタ画像１００や補助画像１０１に所定の動作を加えた表示を行う。対話処理は他の実施形態で説明したとおりである。 When the dialogue processing unit 114 detects the authentication success, the dialogue processing unit 114 performs dialogue processing (step S1004). In this dialogue process, the dialogue processing unit 114 performs display by adding a predetermined action to the character image 100 and the auxiliary image 101. The dialogue processing is as described in the other embodiments.
　以上の処理によりユーザが近づいて顔が認証できた場合に、対話装置１のキャラクタとコミュニケーションを図ることができる。 When the user approaches and the face can be authenticated through the above processing, communication with the character of the interactive device 1 can be achieved.
　図１１は対話装置の機能を備えたロボットを示す図である。
　上述の対話装置１の機能をロボット５００が備えていてもよい。この場合、例えばロボット５００が対話装置１で示した表示画面１６を前面に備えていてよい。またロボット５００に備わる対話装置１は、キャラクタ画像１００を表示する代わりに、キャラクタ画像１００の動作をロボット５００に行わせるように、ロボット５００を制御してもよい。この場合、対話装置１はロボット５００に備わる機械的な目の動き、口の動き、足の動きなどを制御してよい。 FIG. 11 is a diagram showing a robot having the function of an interactive device.
The robot 500 may have the function of the above-described dialogue apparatus 1. In this case, for example, the robot 500 may be provided with the display screen 16 shown by the interactive apparatus 1 on the front surface. Further, the interactive apparatus 1 provided in the robot 500 may control the robot 500 so that the robot 500 performs the operation of the character image 100 instead of displaying the character image 100. In this case, the dialogue apparatus 1 may control mechanical eye movements, mouth movements, foot movements, and the like included in the robot 500.
　図１２は対話装置の最小構成を示す図である。
　この図が示すように対話装置１は少なくとも、対話開始条件判定部１１２と、解析部１１３と、対話処理部１１４との機能を備える。対話開始条件判定部１１２は、取得した第一取得情報が対話開始条件に一致したか否かを判定する。解析部１１３は、第一取得情報が対話開始条件に一致した場合にセンサ装置（カメラなど）から得た情報を解析する。対話処理部１１４は、センサ装置から得た情報を用いたユーザ検知解析結果に基づいてユーザを検知した場合にユーザとの対話に関する対話情報の出力処理を行う。 FIG. 12 is a diagram showing the minimum configuration of the interactive apparatus.
As shown in this figure, the dialogue apparatus 1 includes at least functions of a dialogue start condition determination unit 112, an analysis unit 113, and a dialogue processing unit 114. The dialog start condition determination unit 112 determines whether or not the acquired first acquisition information matches the dialog start condition. The analysis unit 113 analyzes the information obtained from the sensor device (such as a camera) when the first acquisition information matches the conversation start condition. When the dialogue processing unit 114 detects a user based on a user detection analysis result using information obtained from the sensor device, the dialogue processing unit 114 performs an output process of dialogue information related to the dialogue with the user.
　なお、対話装置１は、対話情報の出力に応じてユーザから返答情報を取得し、その返答情報を解析する対話処理部１１４と、返答情報の解析結果に応じて所定のアプリケーションの操作を説明する操作説明情報を対話処理部１１４へ出力するアプリケーション操作部と、を備えるものであってもよい。この場合、対話処理部１１４は、操作説明情報を用いた対話情報と、その対話情報に基づく対話を補助するキャラクタ画像とを出力する。 The dialog device 1 obtains response information from the user according to the output of the dialog information, and explains the operation of a predetermined application according to the dialog processing unit 114 that analyzes the response information and the response information analysis result. An application operation unit that outputs the operation explanation information to the dialogue processing unit 114. In this case, the dialogue processing unit 114 outputs dialogue information using the operation explanation information and a character image for assisting dialogue based on the dialogue information.
　なお上述の対話装置１は内部に、コンピュータシステムを有している。そして、対話装置１に上述した各処理を行わせるためのプログラムは、当該対話装置１のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを対話装置１のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 Note that the above-described dialogue apparatus 1 has a computer system inside. A program for causing the interactive device 1 to perform each of the above-described processes is stored in a computer-readable recording medium of the interactive device 1, and the computer of the interactive device 1 reads and executes the program. The above processing is performed. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
　上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The above program may be for realizing a part of the functions of each processing unit described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　取得した第一取得情報が対話開始条件に一致したか否かを判定する対話開始条件判定部と、
　前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行う解析部と、
　前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力を行う対話処理部と、
　を備える対話装置。 A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
(Appendix 1)
A dialog start condition determining unit that determines whether or not the acquired first acquisition information matches the dialog start condition;
When the first acquisition information matches the dialog start condition, an analysis unit that performs analysis related to user detection based on the first acquisition information or information obtained from the sensor device;
A dialogue processing unit for outputting first dialogue information related to dialogue with the user when the user is detected based on a user detection analysis result of the analysis;
A dialogue apparatus comprising:
（付記２）
　前記対話処理部は画面に前記ユーザとの前記第一対話情報に基づく前記対話を補助するキャラクタ画像を出力する
　付記１に記載の対話装置。 (Appendix 2)
The dialogue apparatus according to claim 1, wherein the dialogue processing unit outputs a character image for assisting the dialogue based on the first dialogue information with the user on a screen.
（付記３）
　前記第一対話情報の前記出力の後に前記ユーザの動作に基づいて取得される第二取得情報を解析した取得情報解析結果を送信する送信処理部と、
　を備える付記１または付記２に記載の対話装置。 (Appendix 3)
A transmission processing unit that transmits an acquisition information analysis result obtained by analyzing second acquisition information acquired based on the user's operation after the output of the first dialogue information;
The interactive apparatus according to Supplementary Note 1 or Supplementary Note 2, comprising:
（付記４）
　前記第二取得情報は音声情報を含み、
　前記送信処理部は前記音声情報が解析され取得された文字情報を前記第一取得情報の送信元へ送信する
　付記３に記載の対話装置。 (Appendix 4)
The second acquisition information includes audio information,
The dialogue apparatus according to claim 3, wherein the transmission processing unit transmits the character information obtained by analyzing the voice information to the transmission source of the first acquisition information.
（付記５）
　前記対話処理部は、前記ユーザ検知解析結果に基づいて、前記ユーザが検知されたか否かを判定する
　付記１から付記４の何れか一項に記載の対話装置。 (Appendix 5)
The dialogue apparatus according to any one of Supplementary Note 1 to Supplementary Note 4, wherein the dialogue processing unit determines whether or not the user has been detected based on the user detection analysis result.
（付記６）
　前記第二取得情報は顔画像を含み、
　前記対話処理部は、前記顔画像の検出情報に基づいて第二対話情報の出力を行うか否かを判定する
　付記３または付記４に記載の対話装置。 (Appendix 6)
The second acquisition information includes a face image,
The dialogue apparatus according to Supplementary Note 3 or Supplementary Note 4, wherein the dialogue processing unit determines whether to output second dialogue information based on the detection information of the face image.
（付記７）
　前記対話開始条件判定部は、前記ユーザに対話を促す対話促進情報を出力した後に顔画像を含む前記第一取得情報を取得した場合に、前記第一取得情報が前記対話開始条件に一致したと判定し、
　前記解析部は、前記第一取得情報に含まれる前記顔画像が所定のユーザであるか否かを解析し、
　前記対話処理部は、前記顔画像が前記所定のユーザであることが検知された場合に前記第一対話情報を出力する
　付記１から付記４の何れか一項に記載の対話装置。 (Appendix 7)
The dialog start condition determining unit obtains the first acquisition information that matches the dialog start condition when the first acquisition information including a face image is acquired after outputting the dialog promotion information that prompts the user to perform a dialog. Judgment,
The analysis unit analyzes whether the face image included in the first acquisition information is a predetermined user,
The dialogue apparatus according to any one of notes 1 to 4, wherein the dialogue processing unit outputs the first dialogue information when it is detected that the face image is the predetermined user.
（付記８）
　前記第一対話情報は音声情報または文字情報を含む付記１から付記７の何れか一項に記載の対話装置。 (Appendix 8)
The dialogue apparatus according to any one of notes 1 to 7, wherein the first dialogue information includes voice information or character information.
（付記９）
　前記対話処理部は、前記第二取得情報を取得した場合には、所定の送信先に、前記第一対話情報に対する前記ユーザによる返答情報の有無を通知する返答情報通知部と、
　を備える付記３、４、６の何れか一項に記載の対話装置。 (Appendix 9)
When the dialogue processing unit has acquired the second acquisition information, a response information notification unit that notifies the predetermined transmission destination of the presence or absence of response information by the user with respect to the first dialogue information;
The interactive apparatus according to any one of appendices 3, 4, and 6.
（付記１０）
　前記第一対話情報は文字情報を含み、
　前記対話処理部は、前記第一取得情報の送信元のユーザの顔画像と共に当該文字情報を出力する
　付記７に記載の対話装置。 (Appendix 10)
The first dialogue information includes character information,
The dialogue apparatus according to claim 7, wherein the dialogue processing unit outputs the character information together with the face image of the user who transmitted the first acquisition information.
（付記１１）
　付記１から付記１０の何れか一項に記載の対話装置を備えたロボット。 (Appendix 11)
A robot provided with the interactive device according to any one of appendix 1 to appendix 10.
（付記１２）
　取得した第一取得情報が対話開始条件に一致したか否かを判定し、
　前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行い、
　前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力を行う
　処理方法。 (Appendix 12)
Determine whether the acquired first acquisition information matches the dialog start condition,
When the first acquisition information matches the dialog start condition, perform analysis related to user detection based on the first acquisition information or information obtained from the sensor device,
A processing method for outputting first dialogue information relating to a dialogue with the user when the user is detected based on a user detection analysis result of the analysis.
（付記１３）
　コンピュータに、
　取得した第一取得情報が対話開始条件に一致したか否かを判定し、
　前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行い、
　前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力処理を行う、
　処理を実行させるプログラム。 (Appendix 13)
On the computer,
Determine whether the acquired first acquisition information matches the dialog start condition,
When the first acquisition information matches the dialog start condition, perform analysis related to user detection based on the first acquisition information or information obtained from the sensor device,
When the user is detected based on the analysis result of the user detection analysis of the analysis, the first dialogue information related to the dialogue with the user is output.
A program that executes processing.
（付記１４）
　ユーザとの対話に関する対話情報の出力に応じて前記ユーザから返答情報を取得し、前記返答情報を解析する対話処理部と、
　前記解析の結果に応じて所定のアプリケーションの操作を説明する操作説明情報を前記対話処理部へ出力するアプリケーション操作部と、を備え、
　前記対話処理部は、前記操作説明情報を用いた前記対話情報と、その対話情報に基づく前記対話を補助するキャラクタ画像とを出力する
　対話装置。 (Appendix 14)
A dialogue processing unit for obtaining response information from the user according to output of dialogue information related to dialogue with the user, and analyzing the response information;
An application operation unit that outputs operation explanation information that explains an operation of a predetermined application according to a result of the analysis to the dialog processing unit,
The dialogue processing unit outputs the dialogue information using the operation explanation information and a character image for assisting the dialogue based on the dialogue information.
　この出願は、２０１６年９月１２日に日本出願された特願２０１６－１７７２９６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority based on Japanese Patent Application No. 2016-177296 filed in Japan on September 12, 2016, the entire disclosure of which is incorporated herein.
　本発明によれば、ＩＣＴ機器を利用することに不慣れで、使用における心理的負担が大きい人を補助することができる。 According to the present invention, it is possible to assist a person who is unaccustomed to using an ICT device and has a large psychological burden in use.
１・・・対話装置
１００・・・キャラクタ画像
１０１・・・補助画像
１１・・・ＣＰＵ
１２・・・ＲＡＭ
１３・・・ＲＯＭ
１４・・・ＳＳＤ
１５・・・通信モジュール
１６・・・表示画面
１７・・・ＩＦ
１８・・・カメラ
１１１・・・制御部
１１２・・・対話開始条件判定部
１１３・・・解析部
１１４・・・対話処理部
１１５・・・送信処理部
１１６・・・返答情報通知部
１１７・・・通信アプリケーション処理部
１１８・・・撮影アプリケーション処理部 DESCRIPTION OF SYMBOLS 1 ... Dialog device 100 ... Character image 101 ... Auxiliary image 11 ... CPU
12 ... RAM
13 ... ROM
14 ... SSD
15 ... Communication module 16 ... Display screen 17 ... IF
18 ... Camera 111 ... Control unit 112 ... Dialogue start condition determination unit 113 ... Analysis unit 114 ... Dialogue processing unit 115 ... Transmission processing unit 116 ... Response information notification unit 117 ..Communication application processing unit 118 ... Shooting application processing unit

Claims (14)

  1. 　取得した第一取得情報が対話開始条件に一致したか否かを判定する対話開始条件判定部と、
    　前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行う解析部と、
    　前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力を行う対話処理部と、
    　を備える対話装置。     A dialog start condition determining unit that determines whether or not the acquired first acquisition information matches the dialog start condition;
    When the first acquisition information matches the dialog start condition, an analysis unit that performs analysis related to user detection based on the first acquisition information or information obtained from the sensor device;
    A dialogue processing unit for outputting first dialogue information related to dialogue with the user when the user is detected based on a user detection analysis result of the analysis;
    A dialogue apparatus comprising:
  2. 　前記対話処理部は画面に前記ユーザとの前記第一対話情報に基づく前記対話を補助するキャラクタ画像を出力する
    　請求項１に記載の対話装置。     The dialogue apparatus according to claim 1, wherein the dialogue processing unit outputs a character image for assisting the dialogue based on the first dialogue information with the user on a screen.
  3. 　前記第一対話情報の前記出力の後に前記ユーザの動作に基づいて取得される第二取得情報を解析した取得情報解析結果を送信する送信処理部と、
    　を備える請求項１または請求項２に記載の対話装置。     A transmission processing unit that transmits an acquisition information analysis result obtained by analyzing second acquisition information acquired based on the user's operation after the output of the first dialogue information;
    An interactive apparatus according to claim 1 or 2, further comprising:
  4. 　前記第二取得情報は音声情報を含み、
    　前記送信処理部は前記音声情報が解析され取得された文字情報を前記第一取得情報の送信元へ送信する
    　請求項３に記載の対話装置。     The second acquisition information includes audio information,
    The dialogue apparatus according to claim 3, wherein the transmission processing unit transmits character information obtained by analyzing the voice information to a transmission source of the first acquisition information.
  5. 　前記対話処理部は、前記ユーザ検知解析結果に基づいて、前記ユーザが検知されたか否かを判定する
    　請求項１から請求項４の何れか一項に記載の対話装置。     The dialogue apparatus according to any one of claims 1 to 4, wherein the dialogue processing unit determines whether or not the user is detected based on the user detection analysis result.
  6. 　前記第二取得情報は顔画像を含み、
    　前記対話処理部は、前記顔画像の検出情報に基づいて第二対話情報の出力を行うか否かを判定する
    　請求項３または請求項４に記載の対話装置。     The second acquisition information includes a face image,
    The dialogue apparatus according to claim 3, wherein the dialogue processing unit determines whether to output second dialogue information based on detection information of the face image.
  7. 　前記対話開始条件判定部は、前記ユーザに対話を促す対話促進情報を出力した後に顔画像を含む前記第一取得情報を取得した場合に、前記第一取得情報が前記対話開始条件に一致したと判定し、
    　前記解析部は、前記第一取得情報に含まれる前記顔画像が所定のユーザであるか否かを解析し、
    　前記対話処理部は、前記顔画像が前記所定のユーザであることが検知された場合に前記第一対話情報を出力する
    　請求項１から請求項４の何れか一項に記載の対話装置。     The dialog start condition determining unit obtains the first acquisition information that matches the dialog start condition when the first acquisition information including a face image is acquired after outputting the dialog promotion information that prompts the user to perform a dialog. Judgment,
    The analysis unit analyzes whether the face image included in the first acquisition information is a predetermined user,
    The dialogue apparatus according to any one of claims 1 to 4, wherein the dialogue processing unit outputs the first dialogue information when it is detected that the face image is the predetermined user.
  8. 　前記第一対話情報は音声情報または文字情報を含む請求項１から請求項７の何れか一項に記載の対話装置。 The dialogue apparatus according to any one of claims 1 to 7, wherein the first dialogue information includes voice information or character information.
  9. 　前記対話処理部は、前記第二取得情報を取得した場合には、所定の送信先に、前記第一対話情報に対する前記ユーザによる返答情報の有無を通知する返答情報通知部と、
    　を備える請求項３、４、６の何れか一項に記載の対話装置。     When the dialogue processing unit has acquired the second acquisition information, a response information notification unit that notifies the predetermined transmission destination of the presence or absence of response information by the user with respect to the first dialogue information;
    An interactive apparatus according to any one of claims 3, 4, and 6.
  10. 　前記第一対話情報は文字情報を含み、
    　前記対話処理部は、前記第一取得情報の送信元のユーザの顔画像と共に当該文字情報を出力する
    　請求項７に記載の対話装置。     The first dialogue information includes character information,
    The dialogue apparatus according to claim 7, wherein the dialogue processing unit outputs the character information together with a face image of a user who has transmitted the first acquisition information.
  11. 　請求項１から請求項１０の何れか一項に記載の対話装置を備えたロボット。 A robot provided with the interactive device according to any one of claims 1 to 10.
  12. 　取得した第一取得情報が対話開始条件に一致したか否かを判定し、
    　前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行い、
    　前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力を行う
    　処理方法。     Determine whether the acquired first acquisition information matches the dialog start condition,
    When the first acquisition information matches the dialog start condition, perform analysis related to user detection based on the first acquisition information or information obtained from the sensor device,
    A processing method for outputting first dialogue information relating to a dialogue with the user when the user is detected based on a user detection analysis result of the analysis.
  13. 　コンピュータに、
    　取得した第一取得情報が対話開始条件に一致したか否かを判定し、
    　前記第一取得情報が前記対話開始条件に一致した場合に、前記第一取得情報またはセンサ装置から得た情報に基づいてユーザの検知に関する解析を行い、
    　前記解析のユーザ検知解析結果に基づいて前記ユーザが検知された場合に前記ユーザとの対話に関する第一対話情報の出力処理を行う、
    　処理を実行させるプログラム。     On the computer,
    Determine whether the acquired first acquisition information matches the dialog start condition,
    When the first acquisition information matches the dialog start condition, perform analysis related to user detection based on the first acquisition information or information obtained from the sensor device,
    When the user is detected based on the analysis result of the user detection analysis of the analysis, the first dialogue information related to the dialogue with the user is output.
    A program that executes processing.
  14. 　ユーザとの対話に関する対話情報の出力に応じて前記ユーザから返答情報を取得し、前記返答情報を解析する対話処理部と、
    　前記解析の結果に応じて所定のアプリケーションの操作を説明する操作説明情報を前記対話処理部へ出力するアプリケーション操作部と、を備え、
    　前記対話処理部は、前記操作説明情報を用いた前記対話情報と、その対話情報に基づく前記対話を補助するキャラクタ画像とを出力する
    　対話装置。     A dialogue processing unit for obtaining response information from the user according to output of dialogue information related to dialogue with the user, and analyzing the response information;
    An application operation unit that outputs operation explanation information that explains an operation of a predetermined application according to a result of the analysis to the dialog processing unit,
    The dialogue processing unit outputs the dialogue information using the operation explanation information and a character image for assisting the dialogue based on the dialogue information.
PCT/JP2017/032410 2016-09-12 2017-09-08 Interactive device, robot, processing method, program WO2018047932A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-177296 2016-09-12
JP2016177296 2016-09-12

Publications (1)

Publication Number Publication Date
WO2018047932A1 true WO2018047932A1 (en) 2018-03-15

Family

ID=61561396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/032410 WO2018047932A1 (en) 2016-09-12 2017-09-08 Interactive device, robot, processing method, program

Country Status (1)

Country Link
WO (1) WO2018047932A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149271A (en) * 1996-11-19 1998-06-02 D M L:Kk User interface system
JP2005115896A (en) * 2003-10-10 2005-04-28 Nec Corp Communication apparatus and method
WO2015155977A1 (en) * 2014-04-07 2015-10-15 日本電気株式会社 Linking system, device, method, and recording medium
WO2016098589A1 (en) * 2014-12-15 2016-06-23 ソニー株式会社 Information processing device, information processing method, program, and information processing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149271A (en) * 1996-11-19 1998-06-02 D M L:Kk User interface system
JP2005115896A (en) * 2003-10-10 2005-04-28 Nec Corp Communication apparatus and method
WO2015155977A1 (en) * 2014-04-07 2015-10-15 日本電気株式会社 Linking system, device, method, and recording medium
WO2016098589A1 (en) * 2014-12-15 2016-06-23 ソニー株式会社 Information processing device, information processing method, program, and information processing system

Similar Documents

Publication Publication Date Title
EP3342160B1 (en) Display apparatus and control methods thereof
US10678897B2 (en) Identification, authentication, and/or guiding of a user using gaze information
JP5779641B2 (en) Information processing apparatus, method, and program
JP5012968B2 (en) Conference system
US9848166B2 (en) Communication unit
JP6551507B2 (en) Robot control device, robot, robot control method and program
US20190019512A1 (en) Information processing device, method of information processing, and program
JP2018072876A (en) Emotion estimation system and emotion estimation model generation system
KR102055677B1 (en) Mobile robot and method for controlling the same
US20130346085A1 (en) Mouth click sound based computer-human interaction method, system and apparatus
US9548012B1 (en) Adaptive ergonomic keyboard
KR20150128386A (en) display apparatus and method for performing videotelephony using the same
JP2009166184A (en) Guide robot
WO2016152200A1 (en) Information processing system and information processing method
Pandey et al. An Assistive Technology-based Approach towards Helping Visually Impaired People
JP2016189121A (en) Information processing device, information processing method, and program
WO2018047932A1 (en) Interactive device, robot, processing method, program
WO2018056169A1 (en) Interactive device, processing method, and program
KR20230043749A (en) Adaptive user enrollment for electronic devices
US10503278B2 (en) Information processing apparatus and information processing method that controls position of displayed object corresponding to a pointing object based on positional relationship between a user and a display region
Goetze et al. Multimodal human-machine interaction for service robots in home-care environments
KR101629758B1 (en) Method and program with the unlock system of wearable glass device
KR102083372B1 (en) System for alternative computer access using eye-tracking and voice recognition and operating method having the same
KR20160015704A (en) System and method for recognition acquaintance by wearable glass device
US9122312B2 (en) System and method for interacting with a computing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848870

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP