JP6387287B2 - Unknown matter resolution processing system - Google Patents
Unknown matter resolution processing system Download PDFInfo
- Publication number
- JP6387287B2 JP6387287B2 JP2014231790A JP2014231790A JP6387287B2 JP 6387287 B2 JP6387287 B2 JP 6387287B2 JP 2014231790 A JP2014231790 A JP 2014231790A JP 2014231790 A JP2014231790 A JP 2014231790A JP 6387287 B2 JP6387287 B2 JP 6387287B2
- Authority
- JP
- Japan
- Prior art keywords
- unknown
- determination
- subject
- driver
- unknown matter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Instructional Devices (AREA)
- Image Processing (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、不明事項解消処理システムに関し、更には不明事項解消処理装置、不明事項解消処理方法、及び不明事項解消処理プログラムに関する。 The present invention relates to an unknown matter elimination processing system, and further relates to an unknown matter elimination processing device, an unknown matter elimination processing method, and an unknown matter elimination processing program.
近年、携帯電話端末及び携帯情報端末の機能を併せ持つ携帯通信機器であるスマートフォンが爆発的に普及している。このスマートフォンの普及はオーディオ機能、ビジュアル機能、ナビゲーション機能、及び近距離通信機能を含む車載通信装置(車載機または車載用ナビゲーション装置と記載することもある)に多大な影響を与え、スマートフォンと車載機とが接続されて連携動作すること、つまりスマートフォン連携が主流になっている。 In recent years, smartphones, which are portable communication devices having both functions of a mobile phone terminal and a portable information terminal, have exploded in popularity. The spread of smartphones has a great influence on in-vehicle communication devices (sometimes referred to as in-vehicle devices or in-vehicle navigation devices) including audio functions, visual functions, navigation functions, and near field communication functions. Are connected to each other and work together, that is, smartphone cooperation has become the mainstream.
例えば、スマートフォンの利用者(ユーザ)が自動車などの車両においてスマートフォンを車載機に近距離無線接続すると、スマートフォン連携アプリ(中継アプリケーションソフトウェア)が動作し、普段使い慣れたスマートフォンにおいて見つけた場所(位置情報)を車載機に送信して簡単に目的地設定できる。これにより、スマートフォンのユーザは、車載機のディスプレイに表示された目的地を目指して直ちに出発できる。 For example, when a smartphone user (user) connects a smartphone to a vehicle-mounted device in a short-distance wireless connection in a vehicle such as an automobile, the smartphone-linked application (relay application software) operates, and the location (location information) found on a smartphone that is normally used You can easily set the destination by sending to the in-vehicle device. Thereby, the user of a smart phone can start immediately aiming at the destination displayed on the display of the vehicle equipment.
また、自律的対話能力及び仮想人格を有し、コミュニケーションを仲介するエージェント(擬人化エージェントまたはコミュニケーションエージェント)として機能するアプリケーションソフトウェアを実装(搭載)したスマートフォンなどの携帯通信機器が普及している。 In addition, mobile communication devices such as smartphones that have application software that has autonomous dialogue ability and virtual personality and that functions as an agent (anthropomorphic agent or communication agent) that mediates communication have become widespread.
エージェント搭載のスマートフォン及びこのようなスマートフォンと連携動作する車載機においては、ユーザが疑問に思った不明事項(不明点と記載することもある)をエージェントに問い合わせる(質問する)と、これを契機にエージェントから不明事項に関する情報提供がある。ユーザはこの提供された情報に基づいて不明事項を解消可能である。 In agent-equipped smartphones and in-vehicle devices that operate in cooperation with such smartphones, when an unknown question (sometimes referred to as an unknown point) that a user wonders is inquired (questioned), this is triggered. The agent provides information on unknown matters. The user can resolve the unknown matter based on the provided information.
しかし、上述した不明事項解消技術においては、ユーザは、不明事項をエージェントに積極的に質問しなければ、不明事項を明確にできない。 However, in the above-described unknown matter resolution technique, the user cannot clarify the unknown matter unless the agent actively asks the agent about the unknown matter.
例えば、ユーザが車両などの移動体を運転しているときは、生じた不明事項のメモを取ること、エージェントに対してアクセスすることなどの手操作を円滑に行えない、支障が生じることを免れない。 For example, when a user is driving a moving body such as a vehicle, manual operations such as taking notes on unknown matters and accessing agents are not performed smoothly, and it is possible to avoid problems. Absent.
第1の課題は、ユーザの手操作などのアクションを抑制しつつ、不明事項を解消可能にする技術を提供することにある。 A first problem is to provide a technique that can solve an unknown matter while suppressing an action such as a user's manual operation.
第2の課題は、ユーザが不明事項を積極的に質問しなくても、不明事項を解消可能にす
る技術を提供することにある。
The second problem is to provide a technology that enables an unknown matter to be resolved without the user actively asking questions about the unknown matter.
上記課題を解決するために、不明事項解消処理装置としての情報処理装置は、対象者を撮影した画像を認識する認識手段と;音を入力する入力手段と;前記認識手段による前記対象者の口の状態に基づいて発話状態と、前記認識手段による前記対象者の顔の状態に基づいて表情とを判定する第1判定手段と;前記第1判定手段の判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定手段と;前記第2判定手段により前記不明事項が発生したときの、前記入力手段により入力された音に基づいて、前記不明事項を特定する特定手段と;前記特定手段により特定された前記不明事項を解説する情報を出力する出力手段とを備える。 In order to solve the above-described problem, an information processing apparatus as an unknown matter elimination processing apparatus includes a recognition unit that recognizes an image of a subject, an input unit that inputs sound, and a mouth of the subject by the recognition unit. First determination means for determining an utterance state based on the state of the subject and a facial expression based on the state of the subject's face by the recognition means; and based on a determination result of the first determination means, Second determination means for determining that an unknown matter has occurred in the subject when it is determined that there is no utterance state and the facial expression of the subject is not clear; the unknown matter has been generated by the second determination means; And specifying means for specifying the unknown matter based on the sound input by the input means; and output means for outputting information explaining the unknown matter specified by the specifying means.
上述した不明事項解消処理装置は、不明事項解消処理方法及び不明事項解消処理プログラムとして実施することもできる。 The above-described unknown matter elimination processing device can also be implemented as an unknown matter elimination processing method and an unknown matter elimination processing program.
開示した不明事項解消処理装置によれば、ユーザの手操作などのアクションを抑制しつつ、不明事項を解消することができる。また、ユーザが不明事項を積極的に質問しなくても、不明事項を解消することができる。 According to the disclosed unknown matter elimination processing device, unknown matters can be eliminated while suppressing actions such as user's manual operation. Further, even if the user does not actively ask questions about unknown matters, the unknown matters can be resolved.
他の課題、特徴及び利点は、図面及び特許請求の範囲とともに取り上げられる際に、以下に記載される発明を実施するための形態を読むことにより明らかになるであろう。 Other objects, features and advantages will become apparent upon reading the detailed description set forth below when taken in conjunction with the drawings and the appended claims.
以下、添付図面を参照して、さらに詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。 Hereinafter, further detailed description will be given with reference to the accompanying drawings. The drawings show preferred embodiments. However, it can be implemented in many different forms and is not limited to the embodiments described herein.
[システム概要]
一実施の形態におけるシステムの概要を説明するための図1を参照すると、不明事項解消処理システム1は、自動車などの車両(移動体)の室内に設置された車載機(車載通信装置)2と、携帯電話端末及び携帯情報端末の機能を併せ持つスマートフォン(携帯通信機器)3と、サーバ(不明事項解消処理装置)4とを備えている。
[System Overview]
Referring to FIG. 1 for explaining an outline of a system in an embodiment, an unknown matter elimination processing system 1 includes an in-vehicle device (in-vehicle communication device) 2 installed in a room of a vehicle (moving body) such as an automobile. A smartphone (mobile communication device) 3 having both functions of a mobile phone terminal and a mobile information terminal, and a server (unknown matter resolution processing device) 4 are provided.
この不明事項解消処理システム1においては、スマートフォン3と車載機2とは近距離無線接続されて連携動作し、スマートフォン3とサーバ4とは無線通信ネットワーク(図示省略)を介して接続される。 In the unknown matter elimination processing system 1, the smartphone 3 and the vehicle-mounted device 2 are connected in a short-range wireless connection and operate in cooperation, and the smartphone 3 and the server 4 are connected via a wireless communication network (not shown).
後に詳述するように、車載機2はカメラ(車室内カメラ)及びマイク(車室内マイクロホン)をそれぞれ少なくとも1つ含む。Web(World Wide Web)クライアントとしての一面を有するスマートフォン3は、Webブラウザ(例えば、HTML(Hyper Text Markup Language)ブラウザ、VRML(Virtual Reality Modeling Language)ブラウザな
ど)を搭載し、エージェント機能、通信機能、情報入力機能、情報出力(可視表示・可聴表示)機能、情報指定機能、及び情報保持(記憶)機能を含む。
As will be described in detail later, the in-vehicle device 2 includes at least one camera (in-vehicle camera) and at least one microphone (in-vehicle microphone). A smartphone 3 having one aspect as a Web (World Wide Web) client is equipped with a Web browser (for example, an HTML (Hyper Text Markup Language) browser, a VRML (Virtual Reality Modeling Language) browser, etc.), an agent function, a communication function, An information input function, an information output (visible display / audible display) function, an information designation function, and an information holding (memory) function are included.
また、サーバ4は、車載機2及びスマートフォン3と協働して、不明事項解消処理を遂行する。つまり、図1及び図2を併せ参照すると、不明事項解消処理システム1においては、スマートフォン3の利用者(ユーザ)は、スマートフォン3と車載機2とを連携動作させるために、車両において両者を近距離無線接続する(図2中の21)。 In addition, the server 4 cooperates with the in-vehicle device 2 and the smartphone 3 to perform an unknown matter resolution process. That is, referring to FIG. 1 and FIG. 2 together, in the unknown matter elimination processing system 1, the user (user) of the smartphone 3 moves the smartphone 3 and the vehicle-mounted device 2 in a coordinated manner so Distance wireless connection is made (21 in FIG. 2).
そして、スマートフォン3のユーザは、自律的対話能力及び仮想人格を有し、コミュニケーションを仲介するエージェント(擬人化エージェントまたはコミュニケーションエージェント)として機能するエージェントアプリ(アプリケーションソフトウェア)をスマートフォン3において起動しておく(図2中の22)。 Then, the user of the smartphone 3 activates an agent application (application software) on the smartphone 3 that has an autonomous dialogue ability and a virtual personality and functions as an agent (personification agent or communication agent) that mediates communication ( 22 in FIG.
エージェント搭載のスマートフォン3と連携動作する車載機2においては、カメラ及びマイクを通して取得したドライバ(運転者)の画像信号及び音声信号などをスマートフォン3に送信する。 In the in-vehicle device 2 that operates in cooperation with the agent-equipped smartphone 3, the driver (driver) image signal and audio signal acquired through the camera and microphone are transmitted to the smartphone 3.
サーバ4においては、スマートフォン3から転送されたドライバの画像信号及び音声信号などに基づいて、ドライバが車室内の会話を理解できていないと判定すると、不明事項(不明点)を抽出する。そして、サーバ4においては、抽出した不明点を解説する情報をスマートフォン3に送信する(図2中の23)。 When the server 4 determines that the driver does not understand the conversation in the vehicle interior based on the driver's image signal and voice signal transferred from the smartphone 3, the server 4 extracts unknown matters (unknown points). And in the server 4, the information explaining the extracted unknown point is transmitted to the smart phone 3 (23 in FIG. 2).
スマートフォン3においては、サーバ4から送信された不明点解説情報をエージェントを介して車載機2に転送する。 In the smartphone 3, the unknown point explanation information transmitted from the server 4 is transferred to the in-vehicle device 2 via the agent.
これにより、車載機2のエージェントはドライバに不明点を解説するので、ドライバ、つまりユーザが不明点をエージェントに積極的に質問しなくても、不明点を解消することができる(図2中の24)。 As a result, the agent of the vehicle-mounted device 2 explains the unclear point to the driver, so that the unclear point can be resolved without the driver, that is, the user actively questioning the unclear point to the agent (see FIG. 2). 24).
[車載機の構成]
図3は、図1に示す不明事項解消処理システム1における車載機(車載通信装置)2のハードウェア構成の一例を示す。
[Configuration of in-vehicle device]
FIG. 3 shows an example of the hardware configuration of the in-vehicle device (in-vehicle communication device) 2 in the unknown matter elimination processing system 1 shown in FIG.
車載機2は、車両の現在地や目的地までの経路の案内などを行うカーナビゲーション機能、各種オーディオ/ビジュアル(AV)コンテンツの再生機能、放送波を受信する機能、及び近距離通信機能などを有している。車載機2は、車両の運転席や助手席の乗員の手が届きやすいダッシュボードの中央付近に設置された状態で使用されるものである。この車載機2は、例えば富士通テン株式会社のAVN(Audio Visual Navigation)(登録商
標)一体機の車載用ナビゲーション装置により実現可能である。
The in-vehicle device 2 has a car navigation function for guiding a route to the current location or destination of the vehicle, a playback function for various audio / visual (AV) contents, a function for receiving broadcast waves, and a short-range communication function. doing. The in-vehicle device 2 is used in a state where it is installed near the center of a dashboard that can be easily reached by a driver or passenger in the vehicle. The in-vehicle device 2 can be realized by, for example, an in-vehicle navigation device of an AVN (Audio Visual Navigation) (registered trademark) integrated device manufactured by Fujitsu Ten Limited.
車載機2は、具体的には、制御部100、メモリ101、着脱可能記録媒体再生部102、ラジオ及びテレビジョンの放送受信部103、ディスク再生部104、ナビゲーション部106、VICS(Vehicle Information and Communication System)情報受信部107、GPS(Global Positioning System)情報受信部108、分配部109、音声調
整部110、スピーカ111、画像調整部112、画像出力部113、表示部114、リモコン送受信部115、リモコン(遠隔操作部)116、及び操作部117を含む。
Specifically, the in-vehicle device 2 includes a control unit 100, a memory 101, a removable recording medium playback unit 102, a radio and television broadcast reception unit 103, a disk playback unit 104, a navigation unit 106, a VICS (Vehicle Information and Communication). System) information reception unit 107, GPS (Global Positioning System) information reception unit 108, distribution unit 109, audio adjustment unit 110, speaker 111, image adjustment unit 112, image output unit 113, display unit 114, remote control transmission / reception unit 115, remote control (Remote operation unit) 116 and operation unit 117 are included.
さらに、車載機2は、少なくとも1つのカメラ(車室内カメラ)118、少なくとも1つのマイク(車室内マイクロホン)119、映像/音声入力部120、及び近距離通信部121を含み、必要に応じて無線通信部122を含む。 Further, the in-vehicle device 2 includes at least one camera (in-vehicle camera) 118, at least one microphone (in-vehicle microphone) 119, a video / audio input unit 120, and a short-range communication unit 121, and wirelessly as necessary. A communication unit 122 is included.
この車載機2において、制御部100は、車載機2の各部または接続された外部機器からの信号に基づき、車載機2の各部または外部機器を統括的に制御する。制御部100は、例えばマイクロコンピュータ(マイコン)を備え、マイコンがメモリ101に記憶された各種プログラムを実行することによって、各機能を実現する。 In the in-vehicle device 2, the control unit 100 comprehensively controls each unit of the in-vehicle device 2 or an external device based on a signal from each part of the in-vehicle device 2 or a connected external device. The control unit 100 includes, for example, a microcomputer (microcomputer), and each function is realized by the microcomputer executing various programs stored in the memory 101.
メモリ101は、車載機2に実装された、各種データやプログラムを記憶する記憶部である。メモリ101は、例えばRAM(Random Access Memory)やフラッシュメモリなどを含む。 The memory 101 is a storage unit that is mounted on the in-vehicle device 2 and stores various data and programs. The memory 101 includes, for example, a RAM (Random Access Memory) and a flash memory.
着脱可能記録媒体再生部102は、接続された着脱可能記録媒体(図示省略)に記録されたデータを読み出して出力する。着脱可能記録媒体は、例えばSDカード、miniSDカード、microSDカード、その他のフラッシュメモリのメモリカードである。着脱可能記録媒体再生部102は、読取信号の復号回路などを備え、制御部100からの制御信号により、オン/オフ、読み込み位置などの各種動作が制御される。 The detachable recording medium playback unit 102 reads out and outputs data recorded on a connected detachable recording medium (not shown). The detachable recording medium is, for example, an SD card, a miniSD card, a microSD card, or another flash memory memory card. The detachable recording medium playback unit 102 includes a read signal decoding circuit and the like, and various operations such as on / off and reading position are controlled by a control signal from the control unit 100.
放送受信部(ラジオ受信部)103は、アンテナにより受信された各ラジオ放送局から発信されるAMまたはFMの放送波から、特定の周波数の放送波を選択して受信することにより、放送の音声信号などを出力する。また、放送受信部(テレビ受信部)103は、アンテナにより受信された各テレビ放送局から発信される放送波から、セレクタにより特定の周波数の放送波を受信し、受信した音声信号、映像信号及びデータ信号などを出力する。放送受信部103は、同調回路、復調及び復号回路などを備え、制御部100からの制御信号により、オン/オフ、受信周波数などの各種動作が制御される。 The broadcast receiving unit (radio receiving unit) 103 selects and receives a broadcast wave of a specific frequency from AM or FM broadcast waves transmitted from each radio broadcast station received by the antenna, thereby receiving broadcast audio. Output a signal. The broadcast receiving unit (television receiving unit) 103 receives a broadcast wave having a specific frequency from the broadcast wave transmitted from each television broadcast station received by the antenna, and receives the received audio signal, video signal, and Output data signals. The broadcast receiving unit 103 includes a tuning circuit, a demodulation and decoding circuit, and various operations such as on / off and reception frequency are controlled by a control signal from the control unit 100.
ディスク再生部104は、CD(Compact Disc)、MD(Mini Disc)、DVD(Digital Versatile Disc)、及びブルーレイディスクなどのディスクに記録されているデータ
をピックアップにより読込み、読み込んだデータに基づく、音声信号及び映像信号などを出力する。ディスク再生部104は、光学ピックアップ、ピックアップディスク駆動機構、ピックアップディスク駆動機構の制御回路、読取信号の復号回路などを備える。ディスク再生部104は、制御部100からの制御信号により、オン/オフ、読み込み位置などの各種動作が制御される。
The disc playback unit 104 reads data recorded on a disc such as a CD (Compact Disc), an MD (Mini Disc), a DVD (Digital Versatile Disc), and a Blu-ray disc by a pickup, and an audio signal based on the read data And video signals. The disk reproducing unit 104 includes an optical pickup, a pickup disk drive mechanism, a control circuit for the pickup disk drive mechanism, a read signal decoding circuit, and the like. The disc playback unit 104 is controlled in various operations such as on / off and reading position by a control signal from the control unit 100.
ナビゲーション部106は、地図上に自車位置や目的地までの経路を表示したり、交差点などで音声などにより右左折などの進行方向案内を行ったり、VICS情報受信部107から交通情報を受信して表示したり、GPS情報受信部108から自車位置情報を受信して表示したりして、目的地までの経路案内を行う。ナビゲーション部106は、ナビゲーションのために利用される地図情報を記録するハードディスク、各種演算処理を行うCPU(Central Processing Unit)、各種処理のためにデータを記憶するRAMなどのメ
モリを含む。ナビゲーション部106は、制御部100からの制御信号により、オン/オフなどの各種動作が制御される。
The navigation unit 106 displays the position of the host vehicle and the route to the destination on the map, provides direction guidance such as right and left turns by voice at an intersection, etc., and receives traffic information from the VICS information reception unit 107. Or receiving and displaying the vehicle position information from the GPS information receiving unit 108 to provide route guidance to the destination. The navigation unit 106 includes a hard disk that records map information used for navigation, a CPU (Central Processing Unit) that performs various arithmetic processes, and a memory such as a RAM that stores data for various processes. The navigation unit 106 controls various operations such as on / off in response to a control signal from the control unit 100.
VICS情報受信部107は、交通情報通信システム(VICS:登録商標)に係る交通情報を受信し、受信した交通情報を出力する。VICS情報受信部107は、交通情報通信システムからのデータを受信する受信機(FM受信機、電波ビーコン受信機、光ビーコン受信機)、受信したデータを復号する復号回路などを備える。 The VICS information receiving unit 107 receives traffic information related to a traffic information communication system (VICS: registered trademark), and outputs the received traffic information. The VICS information receiving unit 107 includes a receiver (FM receiver, radio beacon receiver, optical beacon receiver) that receives data from the traffic information communication system, a decoding circuit that decodes the received data, and the like.
GPS情報受信部108は、GPS衛星からのGPS信号に基づき自車位置を検出し、検出した現在位置情報を出力する。GPS情報受信部108は、GPS信号を受信する受信回路、受信したGPS信号に基づき自車位置を算出する演算部などを備える。 The GPS information receiving unit 108 detects the position of the vehicle based on the GPS signal from the GPS satellite, and outputs the detected current position information. The GPS information receiving unit 108 includes a receiving circuit that receives a GPS signal, a calculation unit that calculates the vehicle position based on the received GPS signal, and the like.
分配部109は、制御部100の制御信号により、出力することが指定された各種ソース、つまり着脱可能記録媒体再生部102、放送受信部103、ディスク再生部104、ナビゲーション部106、及び映像/音声入力部120などからの音声信号及び映像信号(画像信号と記載することもある)を音声調整部110、画像調整部112、及び制御部100に出力する。分配部109は、リレーまたはスイッチングトランジスタなどで構成されたスイッチ群を備える。 The distribution unit 109 is a variety of sources designated to be output by the control signal of the control unit 100, that is, the removable recording medium playback unit 102, the broadcast reception unit 103, the disc playback unit 104, the navigation unit 106, and the video / audio. Audio signals and video signals (also referred to as image signals) from the input unit 120 and the like are output to the audio adjustment unit 110, the image adjustment unit 112, and the control unit 100. The distribution unit 109 includes a switch group including relays or switching transistors.
ここで、分配部109は、映像/音声入力部120からの音声信号及び画像信号などについては制御部100に出力する。また、無線通信部122が設けられている場合、分配部109は、映像/音声入力部120からの音声信号及び画像信号などについては無線通信部122に出力し、無線通信部122からのデータ信号については制御部100に出力する。 Here, the distribution unit 109 outputs the audio signal and the image signal from the video / audio input unit 120 to the control unit 100. When the wireless communication unit 122 is provided, the distribution unit 109 outputs the audio signal and the image signal from the video / audio input unit 120 to the wireless communication unit 122 and the data signal from the wireless communication unit 122. Is output to the control unit 100.
音声調整部110は、制御部100の制御信号により、入力された音声信号に対し、音量及び音声を調整し、調整した音声信号を出力する。音声調整部110は、音声データを記憶するメモリと、音声データを演算処理するデジタルシグナルプロセッサなどの演算回路と、増幅または減衰回路と、共振回路などとを備える。スピーカ111は、音声調整部110からの音声信号を音声として出力する。 The sound adjustment unit 110 adjusts the volume and sound of the input sound signal according to the control signal of the control unit 100, and outputs the adjusted sound signal. The audio adjustment unit 110 includes a memory that stores audio data, an arithmetic circuit such as a digital signal processor that performs arithmetic processing on the audio data, an amplification or attenuation circuit, and a resonance circuit. The speaker 111 outputs the audio signal from the audio adjustment unit 110 as audio.
画像調整部112は、制御部100の制御信号により、入力された画像信号に対し、輝度や色調、コントラストなどを調整し、調整した各画像信号を出力する。画像調整部112は、画像データを記憶するメモリ、画像データを演算処理するデジタルシグナリングプロセッサなどの演算回路を含む。 The image adjustment unit 112 adjusts the brightness, color tone, contrast, and the like of the input image signal according to the control signal of the control unit 100, and outputs each adjusted image signal. The image adjustment unit 112 includes a calculation circuit such as a memory that stores image data and a digital signaling processor that performs calculation processing on the image data.
画像出力部113は、画像調整部112から入力された画像信号と、制御部100から表示部114に表示させる表示画像信号とを入力して画像合成などの処理を施し、当該処理を施した画像信号に基づき表示部114を駆動する。画像出力部113は、例えば演算処理により、画像処理を行う画像用に特化された演算処理回路である画像ASIC、画像処理及び出力用に画像データを記憶するビデオメモリ、画像出力用ビデオメモリに記憶された画像データに基づき表示部114を駆動する画像駆動回路などを備える。 The image output unit 113 inputs the image signal input from the image adjustment unit 112 and the display image signal to be displayed on the display unit 114 from the control unit 100 and performs processing such as image composition, and the image subjected to the processing The display unit 114 is driven based on the signal. The image output unit 113 includes, for example, an image ASIC that is an arithmetic processing circuit specialized for an image to be processed by arithmetic processing, a video memory that stores image data for image processing and output, and an image output video memory. An image driving circuit for driving the display unit 114 based on the stored image data is provided.
表示部114は、画像出力部113から入力された画像信号に基づき画像を表示する。表示部114は、例えば液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ、冷陰極フラットパネルディスプレイなどである。表示部114は、バックライト、液晶パネル、及びタッチパネルを含む。 The display unit 114 displays an image based on the image signal input from the image output unit 113. The display unit 114 is, for example, a liquid crystal display, an organic EL display, a plasma display, a cold cathode flat panel display, or the like. The display unit 114 includes a backlight, a liquid crystal panel, and a touch panel.
リモコン送受信部115、リモコン(遠隔操作部)116、及び操作部117については、容易に理解できるので詳細説明を省略する。 Since the remote control transmission / reception unit 115, the remote control (remote operation unit) 116, and the operation unit 117 can be easily understood, detailed description thereof will be omitted.
カメラ(車室内カメラ)118は、リアルタイムに撮影(撮像)したドライバの画像信号などを映像/音声入力部120に出力する。 The camera (in-vehicle camera) 118 outputs an image signal of a driver photographed (captured) in real time to the video / audio input unit 120.
マイク(車室内マイクロホン)119は、リアルタイムに収集(集音)したドライバの音声信号などを映像/音声入力部120に出力する。 The microphone (in-vehicle microphone) 119 outputs to the video / audio input unit 120 a driver's audio signal collected (sound collection) in real time.
近距離通信部121は、例えばDSRC(専用狭域通信:Dedicated Short Range Comm
unication)、赤外線通信、ブルートゥース(登録商標)などの近距離の無線通信のため
の通信インタフェースである。ここでは、近距離通信部121はスマートフォン3と近距離無線接続される。
The short-range communication unit 121 is, for example, a DSRC (Dedicated Short Range Comm
communication interface for short-range wireless communication such as unication, infrared communication, and Bluetooth (registered trademark). Here, the short-range communication unit 121 is short-range wirelessly connected to the smartphone 3.
無線通信部122は、送受信アンテナ、無線周波数(RF)信号処理部、ベースバンド(BB)信号処理部及び符号化・復号化部を含む。この無線通信部122を設けた場合は、車載機2とサーバ4とがスマートフォン3を介さずに通信できる。逆に、この無線通信部122を省いた場合は、車載機2とサーバ4とが通信する場合、スマートフォン3を介する必要がある。 The wireless communication unit 122 includes a transmission / reception antenna, a radio frequency (RF) signal processing unit, a baseband (BB) signal processing unit, and an encoding / decoding unit. When the wireless communication unit 122 is provided, the in-vehicle device 2 and the server 4 can communicate without passing through the smartphone 3. Conversely, when this wireless communication unit 122 is omitted, when the in-vehicle device 2 and the server 4 communicate, it is necessary to pass through the smartphone 3.
[サーバの構成]
図4は、図1に示す不明事項解消処理システム1におけるサーバ(不明事項解消処理装置)4のハードウェア構成の一例を示す。
[Server configuration]
FIG. 4 shows an example of the hardware configuration of the server (unknown matter elimination processing device) 4 in the unknown matter elimination processing system 1 shown in FIG.
サーバ4は、サーバコンピュータであり、CPU401と、メモリ402と、各種インタフェース(I/F)403,405,407,409,411,413と、これらのインタフェースを通じてCPU1に接続される周辺装置404,406,408,410,412,414とを含む。 The server 4 is a server computer, and includes a CPU 401, a memory 402, various interfaces (I / F) 403, 405, 407, 409, 411, and 413, and peripheral devices 404 and 406 connected to the CPU 1 through these interfaces. , 408, 410, 412, and 414.
ここでは、周辺装置の例として、ハードディスク駆動装置404、入力装置406、表示装置408、通信ネットワークインタフェース(I/F)410、着脱可能記憶媒体駆動装置412、及びメモリカード・リーダ・ライタ414が示されている。 Here, as examples of peripheral devices, a hard disk drive device 404, an input device 406, a display device 408, a communication network interface (I / F) 410, a removable storage medium drive device 412, and a memory card reader / writer 414 are shown. Has been.
CPU401は、メモリ402に展開されたアプリケーションプログラムを実行し、サーバ4の各種機能を提供する。メモリ402は、CPU401が実行可能な形式でプログラムを保持する。また、メモリ402は、CPU401が処理するデータを保持する。メモリ402は、DRAM(Dynamic Random Access Memory)、ROM(Read Only Memory)などである。ただし、メモリ402として、フラッシュメモリを用いてもよい。 The CPU 401 executes application programs developed in the memory 402 and provides various functions of the server 4. The memory 402 holds a program in a format that can be executed by the CPU 401. The memory 402 holds data processed by the CPU 401. The memory 402 is a DRAM (Dynamic Random Access Memory), a ROM (Read Only Memory), or the like. However, a flash memory may be used as the memory 402.
ハードディスク駆動装置404は、ハードディスクにアクセスし、CPU401が処理したデータ、CPU401で実行されるプログラムなどを記憶する。入力装置406は、キーボードなどの文字入力装置、マウスなどのポインティングデバイスなどである。表示装置408は、液晶ディスプレイ、エレクトロルミネッセンスパネルなどである。 The hard disk drive 404 accesses the hard disk and stores data processed by the CPU 401, programs executed by the CPU 401, and the like. The input device 406 is a character input device such as a keyboard or a pointing device such as a mouse. The display device 408 is a liquid crystal display, an electroluminescence panel, or the like.
着脱可能記憶媒体駆動装置412は、CD−ROM、DVD、フラッシュメモリカード(SDメモリカード、USBメモリカード)などの駆動装置である。 The removable storage medium driving device 412 is a driving device such as a CD-ROM, DVD, flash memory card (SD memory card, USB memory card).
CPU401で実行されるプログラムは、通常、通信ネットワークインタフェース410または着脱可能記憶媒体駆動装置412を通じて、ハードディスクに保存され、メモリ402に展開される。メモリカード・リーダ・ライタ414は、CPU401の指令に従い、装着されたメモリカードとCPU401との間で、データを入出力する。 The program executed by the CPU 401 is normally stored in the hard disk and expanded in the memory 402 through the communication network interface 410 or the removable storage medium driving device 412. The memory card reader / writer 414 inputs / outputs data between the loaded memory card and the CPU 401 in accordance with an instruction from the CPU 401.
サーバ4は、各種データベース、つまりユーザ管理データベース41及び用語データベース42をハードディスク及びメモリ402上の少なくとも一方に有する。 The server 4 has various databases, that is, a user management database 41 and a term database 42 in at least one of the hard disk and the memory 402.
後に詳述する不明事項解消処理機能を論理的に実現するには、サーバ4は、OS標準の各種ツールと連携する不明事項解消処理プログラムを備えている。 In order to logically realize the unknown matter resolution processing function described in detail later, the server 4 includes an unknown matter resolution processing program linked with various OS standard tools.
[不明事項解消処理]
図5は、サーバ4における不明事項解消処理の手順の一例を示している。ここでは、サ
ーバ4が、車載機2及びスマートフォン3と協働して、ドライバ及び同乗者による会話時の不明事項解消処理を遂行する場合について詳述するが、後に説明するような変形処理を採ることもできる。
[Unknown matter elimination processing]
FIG. 5 shows an example of the procedure of unknown matter elimination processing in the server 4. Here, the server 4 cooperates with the in-vehicle device 2 and the smartphone 3 to describe in detail the case where the driver and passengers perform the unknown matter resolution processing at the time of conversation, but the modification processing described later is adopted. You can also
図5及び関連図を併せ参照すると、不明事項解消処理システム1においては、不明事項解消対象者となるスマートフォン3のユーザ(つまり、ドライバ)は、スマートフォン3と車載機2とを連携動作させるために、車両において両者を近距離無線接続する(図2中の21)。 Referring to FIG. 5 and the related diagram together, in the unknown matter elimination processing system 1, the user (that is, the driver) of the smartphone 3 who is the subject of the unknown matter elimination target operates the smartphone 3 and the in-vehicle device 2 in cooperation with each other. In the vehicle, both are short-range wirelessly connected (21 in FIG. 2).
そして、スマートフォン3のユーザは、自律的対話能力及び仮想人格を有し、コミュニケーションを仲介するエージェントとして機能するエージェントアプリをスマートフォン3において起動しておく(図2中の22)。また、スマートフォン3のユーザは、スマートフォン3のエージェントとのコミュニケーションを仲介するエージェントとして機能するエージェントアプリを車載機2においても起動しておく。 And the user of the smart phone 3 has the autonomous dialogue capability and virtual personality, and starts the agent application which functions as an agent which mediates communication in the smart phone 3 (22 in FIG. 2). In addition, the user of the smartphone 3 activates the agent application functioning as an agent that mediates communication with the agent of the smartphone 3 also in the in-vehicle device 2.
エージェント搭載のスマートフォン3と連携動作する車載機2においては、制御部100は、映像/音声入力部120がカメラ(車室内カメラ)118及びマイク(車室内マイクロホン)119を通してリアルタイムに取得したドライバの画像信号及び音声信号などを近距離通信部121を介してスマートフォン3に送信する。なお、スマートフォン3に送信されるドライバの画像信号及び音声信号には、車室内で会話を行っている同乗者の画像信号及び音声信号が含まれている。ここで、カメラ118及びマイク119は、運転席の前部近傍、必要に応じて後席近傍などに配置される。 In the in-vehicle device 2 that operates in cooperation with the agent-equipped smartphone 3, the control unit 100 captures the driver image acquired in real time by the video / audio input unit 120 through the camera (in-vehicle camera) 118 and the microphone (in-vehicle microphone) 119. Signals, audio signals, and the like are transmitted to the smartphone 3 via the short-range communication unit 121. Note that the image signal and audio signal of the driver transmitted to the smartphone 3 include the image signal and audio signal of a passenger who is having a conversation in the passenger compartment. Here, the camera 118 and the microphone 119 are arranged in the vicinity of the front part of the driver's seat, if necessary, in the vicinity of the rear seat.
不明事項解消処理プログラムが常駐しているサーバ4においては、CPU401(厳密には、CPU401及び協働する他の構成要素)は、スマートフォン3からユーザID(利用者識別情報)とともに転送されたドライバの画像信号及び音声信号などに基づいて、ドライバが車室内での同乗者との会話を理解できていないと判定すると、不明点を抽出(特定)する。そして、サーバ4においては、CPU401は、抽出した不明点を解説する情報(不明点解説情報)をスマートフォン3に送信する(図2中の23)。なお、スマートフォン3から転送されたドライバの画像信号及び音声信号などは、画像データ及び音声データとしてユーザIDに対応付けて、メモリ402におけるユーザ管理データベース(DB)41(図6(A)参照)に格納される。 In the server 4 in which the unknown matter elimination processing program is resident, the CPU 401 (strictly speaking, the CPU 401 and other components cooperating) transmits the driver ID transferred from the smartphone 3 together with the user ID (user identification information). If it is determined that the driver does not understand the conversation with the passenger in the passenger compartment based on the image signal and the audio signal, an unknown point is extracted (specified). And in the server 4, CPU401 transmits the information (unknown point commentary information) explaining the extracted unknown point to the smart phone 3 (23 in FIG. 2). The driver's image signal and audio signal transferred from the smartphone 3 are associated with the user ID as image data and audio data in the user management database (DB) 41 (see FIG. 6A) in the memory 402. Stored.
更に詳述すると、サーバ4においては、CPU401は、スマートフォン3から受信したドライバの画像信号に基づいて、ドライバの発話状態(口の開閉度)を検知するために、ドライバの口が頻繁に開閉しているかを判定する(図5中のS51)。肯定判定(YES)のときは、ドライバの不明点なしと判定して終了する(S52)。否定判定(NO)のときは、処理S53に進む。なお、処理S51とともに、スマートフォン3から受信したドライバの音声信号などの常時録音、つまりユーザ管理データベース41への格納を開始する。 More specifically, in the server 4, the CPU 401 frequently opens and closes the driver's mouth to detect the driver's speech state (opening / closing degree) based on the driver's image signal received from the smartphone 3. (S51 in FIG. 5). If the determination is affirmative (YES), it is determined that there is no unknown point of the driver, and the process ends (S52). If the determination is negative (NO), the process proceeds to step S53. In addition, together with the processing S51, continuous recording of the driver's audio signal received from the smartphone 3, that is, storage in the user management database 41 is started.
処理S51において、ドライバの発話状態を検知するためには、顔画像から口の開閉度をリアルタイムに検知する既存の顔認識技術が適用できる。 In the process S51, in order to detect the utterance state of the driver, an existing face recognition technique that detects the opening / closing degree of the mouth in real time from the face image can be applied.
次に、CPU401は、受信したドライバの画像信号に基づいて、ドライバの不機嫌度を検知するために、ドライバの顔の表情がネガティブ(不機嫌状態)かを判定する(S53)。否定判定のときは、つまり顔の表情がポジティブ(機嫌状態)であるときは、ドライバの不明点なしと判定して終了する(S54)。肯定判定のときは、ドライバが同乗者との会話に入れていない、つまり会話不成立状態であることから、会話の内容に不明点があると仮定する(S55)。 Next, based on the received driver image signal, the CPU 401 determines whether the facial expression of the driver is negative (in a moody state) in order to detect the driver's moodiness (S53). If the determination is negative, that is, if the facial expression is positive (in a mood state), it is determined that there is no unknown point of the driver, and the process ends (S54). When the determination is affirmative, it is assumed that there is an unclear point in the content of the conversation because the driver has not entered the conversation with the passenger, that is, the conversation is not established (S55).
処理S53において、ドライバの顔の表情がネガティブ(不機嫌状態)かを判定するためには、顔画像から眉間の皺、視点のふらつき、瞳孔の大きさ、鼻の穴の動きなどの特徴を検知して、喜び、嫌悪、無表情などを含むいくつかの表情をリアルタイムで推定する既存の表情推定技術が適用できる。 In step S53, in order to determine whether the facial expression of the driver is negative (momentary state), features such as eyebrows between eyebrows, wobbling of the viewpoint, pupil size, and movement of the nostrils are detected from the face image. In addition, existing facial expression estimation technology that estimates several facial expressions including joy, disgust, and expressionless expression in real time can be applied.
なお、処理S51,S52と処理S53,S54とは、処理の順序が逆であってもよい。 Note that the processing order of the processing S51, S52 and the processing S53, S54 may be reversed.
次に、CPU401は、ユーザ管理データベース41にリアルタイムに格納していた画像データ及び音声データに基づいて、ネガティブ表情になったときの音声認識を行い、会話の内容が分からなかった箇所(不明点)を判定する(S56)。つまり、CPU401は、ユーザ管理データベース41にリアルタイムに格納していた画像データ及び音声データに基づいて、不明点の発生が肯定判定されたときに、会話の内容が分からなかった箇所(不明点)を判定する。この判定のために、声色が併せて考慮されてもよい。厳密には、CPU401は、ネガティブ表情になった直前(例えば、15sec前)の会話内容を理解できなかったと判定する。 Next, the CPU 401 performs voice recognition when a negative facial expression is made based on the image data and voice data stored in the user management database 41 in real time, and the part where the content of the conversation is not known (unclear point) Is determined (S56). That is, the CPU 401 determines a point (unknown point) where the content of the conversation was not known when the occurrence of an unclear point was affirmed based on the image data and the sound data stored in the user management database 41 in real time. judge. For this determination, voice color may be considered together. Strictly speaking, the CPU 401 determines that the conversation content immediately before the negative expression (for example, 15 seconds before) could not be understood.
次に、CPU401は、不明点対応の音声データをユーザ管理データベース41から読み出してテキスト化したときに、意味を理解できる単語があったかを用語データベース42(図6(B))を参照して判定する(S57)。つまり、CPU401は、不明点対応の音声データをユーザ管理データベース41から読み出してテキスト化した単語が用語データベース42に予め登録されているかを判定する。処理S57で否定判定のときは、ドライバの不明点を検出できないと判定して終了する(S58)。処理S57で肯定判定のときは、処理S59に進む。 Next, the CPU 401 refers to the term database 42 (FIG. 6B) to determine whether there is a word whose meaning can be understood when the voice data corresponding to the unknown point is read from the user management database 41 and converted into text. (S57). That is, the CPU 401 determines whether or not words that have been read out from the user management database 41 and converted into text are registered in the term database 42 in advance. If a negative determination is made in step S57, it is determined that an unknown point of the driver cannot be detected, and the process ends (S58). If the determination is affirmative in process S57, the process proceeds to process S59.
また、CPU401は、検知された会話内容がドライバにとって不明である可能性が高いかをユーザ管理データベース41を参照して判定する(S59)。例えば、ユーザ管理データベース41には、不明事項解消処理システム1への加入時に、ユーザが申告した属性情報として年齢、性別、趣味趣向が少なくとも登録されている。また、例えば、初期設定のため、趣味のジャンル、情報機器の取り扱いに関するアンケート、簡単な能力試験等を行うことにより、ユーザと、趣味のジャンル、情報機器の分野ごとにレベル分けしておいてもよい。例えば、ドライバを読書量に応じてレベル分けし、それぞれのレベルごとに、不明となる可能性のある用語の一覧をデータベースに保持すればよい。また、例えば、ドライバの情報機器に対する知識に応じてレベル分けし、それぞれのレベルごとに、不明となる可能性のある用語の一覧をデータベースに保持すればよい。処理S59で否定判定のときは、ドライバの不明点を検出できないと判定して終了する(S60)。処理S59で肯定判定のときは、検知された会話内容から不明点を抽出(特定)する(S61)。 Further, the CPU 401 determines with reference to the user management database 41 whether the detected conversation content is likely to be unknown to the driver (S59). For example, in the user management database 41, at least age, sex, and hobbies are registered as attribute information declared by the user when joining the unknown matter resolution processing system 1. In addition, for example, for initial setting, by performing a hobby genre, a questionnaire regarding the handling of information equipment, a simple ability test, etc., it is possible to divide the level by user, hobby genre, information equipment field Good. For example, drivers may be classified into levels according to the amount of reading, and a list of terms that may become unknown may be held in the database for each level. Further, for example, levels may be classified according to the driver's knowledge of information devices, and a list of terms that may be unknown may be held in the database for each level. If the determination in step S59 is negative, it is determined that the driver's unknown point cannot be detected, and the process ends (S60). If the determination in step S59 is affirmative, an unknown point is extracted (specified) from the detected conversation content (S61).
さらに、CPU401は、ドライバから予め要求がない限り、同乗者などのドライバ以外には分からない形態でドライバに不明点の解説を行うように、不明点解説情報をスマートフォン3に送信して処理を終了する(S62)。詳述すると、CPU401は、処理S61において、例えば不明点「カーナビ」が特定されると、用語データベース42を参照して「カーナビ」についての解説情報を読出す。そして、CPU401は、例えばテキスト形式の不明点解説情報「あなたが疑問に思った不明点・カーナビとは、・・・ことです。」を作成し、スマートフォン3に送信する。 Further, unless requested by the driver in advance, the CPU 401 transmits the unknown point comment information to the smartphone 3 so as to explain the unknown point to the driver in a form that only the passengers and other drivers know, and terminates the process. (S62). More specifically, for example, when an unknown point “car navigation” is identified in the process S61, the CPU 401 refers to the term database 42 and reads commentary information about “car navigation”. Then, the CPU 401 creates, for example, text-format unclear point explanation information “Unclear point / car navigation that you wondered is ...” and sends it to the smartphone 3.
スマートフォン3においては、CPU(図示省略)は、サーバ4から送信された少なくとも1つのテキスト形式の不明点解説情報を受信し、スマートフォン3のエージェントを介して車載機2に順次に転送する。 In the smartphone 3, the CPU (not shown) receives at least one text-format unknown point explanation information transmitted from the server 4 and sequentially transfers the information to the in-vehicle device 2 via the agent of the smartphone 3.
車載機2においては、制御部100の制御下で、スマートフォン3のエージェントからのテキスト形式の不明点解説情報を受信した車載機2のエージェントは、図示省略のヘッドアップディスプレイ(HUD)を通してドライバに不明点を解説(可視表示)するので、ドライバ、つまりユーザが不明点をエージェントに積極的に質問しなくても、不明点を解消することができる(図2中の24)。 In the vehicle-mounted device 2, the agent of the vehicle-mounted device 2 that has received the text unclear explanation information from the agent of the smartphone 3 under the control of the control unit 100 is unknown to the driver through a head-up display (HUD) (not shown). Since the points are explained (visually displayed), the driver, that is, the user, can resolve the unknown point without actively asking the agent about the unknown point (24 in FIG. 2).
また、同乗者との会話において不明点が生じた場合、ドライバに不明点の解説を行うことにより、同乗者とのコミュニケーションが円滑になる。 In addition, when an unclear point arises in a conversation with a passenger, the communication with the passenger is facilitated by explaining the unknown point to the driver.
[変形例1]
例えば、車載機2の放送受信部103において番組を受信している場合、車載機2からスマートフォン3に送信される車室内の音声信号には、車室内で会話を行っているドライバ及び同乗者の音声信号の他に番組のオーディオ信号(音声信号及び音信号)が含まれている。サーバ4においては、CPU401は、不明事項解消処理プログラムにより、オーディオ信号を判別して除去し、上述した一実施の形態と同様に、ドライバ及び同乗者による会話の内容を判断する。なお、車載機2がドライバ及び同乗者の音声信号からオーディオ信号を除去した後にサーバ4へ送信してもよい。
[Modification 1]
For example, when a program is received by the broadcast receiving unit 103 of the in-vehicle device 2, an audio signal in the vehicle interior transmitted from the in-vehicle device 2 to the smartphone 3 includes the driver and the passenger who are talking in the vehicle interior. In addition to audio signals, audio signals (audio signals and sound signals) of programs are included. In the server 4, the CPU 401 discriminates and removes the audio signal by the unknown matter elimination processing program, and judges the content of the conversation between the driver and the passenger as in the above-described embodiment. Note that the in-vehicle device 2 may remove the audio signal from the driver and passenger's audio signal and then transmit the audio signal to the server 4.
[変形例2]
例えば、ドライバが単独乗車し、車室内で会話が行われずに、車載機2の放送受信部103において番組を受信している場合、車載機2からスマートフォン3に送信される信号には、ドライバの画像信号の他に番組のオーディオ信号(音声信号及び音信号)が含まれている。サーバ4においては、CPU401は、ドライバの画像信号とともに受信された番組のオーディオ信号(音声信号)における対応箇所を不明事項として特定し、不明事項解消処理を遂行可能である。
[Modification 2]
For example, when the driver gets on the vehicle alone and the program is received by the broadcast receiving unit 103 of the in-vehicle device 2 without a conversation in the passenger compartment, the signal transmitted from the in-vehicle device 2 to the smartphone 3 includes In addition to the image signal, an audio signal (sound signal and sound signal) of the program is included. In the server 4, the CPU 401 can identify the corresponding part in the audio signal (sound signal) of the program received together with the image signal of the driver as an unknown matter, and can perform the unknown matter resolution processing.
また、サーバ4においては、CPU401は、ドライバの画像信号及び車両外部から室内に侵入する音信号(例えば、緊急車両のサイレン)に基づいて、不明事項解消処理を遂行可能である。この場合、例えば、ドライバあるいは同乗者の会話に、消防車のサイレンの示す表現が含まれている場合に、サーバ4は、どこで火事があったかを、火事とニュースとの紐付けにより、不明点として解説する。例えば、サーバは、インターネット上のニュースのウェブサイトを検索し、エージェントから取得したGPSで特定される車両の現在位置から、所定の範囲内の火事に関する情報を収集し、収集した情報を音声に変換して、エージェントに引き渡せばよい。 In the server 4, the CPU 401 can perform an unknown matter resolution process based on an image signal of the driver and a sound signal (for example, a siren of an emergency vehicle) that enters the room from the outside of the vehicle. In this case, for example, when the driver or passenger's conversation includes an expression indicated by a fire truck siren, the server 4 identifies where the fire occurred by associating the fire with the news. Explain. For example, the server searches news websites on the Internet, collects information on fires within a specified range from the current location of the vehicle specified by the GPS obtained from the agent, and converts the collected information into speech And then hand it over to the agent.
また、サーバ4においては、CPU401は、ドライバが車載機2の所定のハードスイッチを操作した場合、その時点の音声信号における対応箇所を不明点として付加的に特定してもよい。 In the server 4, when the driver operates a predetermined hard switch of the in-vehicle device 2, the CPU 401 may additionally specify the corresponding portion in the audio signal at that time as an unknown point.
[変形例3]
サーバ4における上述した処理S59,S61の不明点の抽出(特定)処理に関して、次に示す方法を付加的に適用可能である。
[Modification 3]
The following method can be additionally applied to the unknown point extraction (specification) processing of the above-described processing S59 and S61 in the server 4.
(1)ドライバが装着しているウェアラブル機器から取得される心拍数や発汗量などのデータに基づいて、不明点を特定する。例えば、サーバ4は、心拍数が通常値から変化した場合、あるいは発汗量が通常値より多くなった場合に、疑問点が発生したと判断すればよい。 (1) An unknown point is specified based on data such as a heart rate and a sweating amount acquired from a wearable device worn by the driver. For example, the server 4 may determine that a question has occurred when the heart rate changes from the normal value or when the amount of sweating exceeds the normal value.
(2)ドライバが装着しているウェアラブル機器を活用し、嘘発見器のように、動揺を
読み取って、不明点を特定する。
(2) The wearable device worn by the driver is used, and the uncertain point is identified by reading the shake like a lie detector.
(3)ドライバなど個人の語彙力を推定するためのデータ(過去の発話履歴、趣味趣向、年齢、性別など)を格納しているユーザ管理データベース41を参照して、不明点を特定する。例えば、50代男性で野球が好きな人であれば、野球に関する会話には詳しいと予測し、逆に芸能関係には疎いと予測する。また、このユーザ管理データベース41には、個人の苦手分野を登録しておき、サーバ4は、分野ごとの用語データベース42を保持しておき、その分野の用語データベース42の用語とマッチした場合は、不明点とすることも可能である。 (3) An unknown point is specified with reference to the user management database 41 storing data (such as past utterance history, hobbies and preferences, age, and sex) for estimating personal vocabulary such as a driver. For example, a man in his 50s who likes baseball is predicted to be familiar with baseball-related conversations, and conversely, is not familiar with entertainment relations. In addition, in the user management database 41, individual weak fields are registered, and the server 4 holds a term database 42 for each field, and when it matches a term in the term database 42 in that field, It is also possible to make it an unknown point.
(4)ドライバなど個人のスマートフォン3内の検索ワードと連携してユーザ管理データベース41を作成し、ユーザ管理データベース41を参照して不明点を特定する。この場合、サーバ4は、スマートフォン3内の検索ワードを取得し、ユーザ管理データベース41に反映しておく。 (4) A user management database 41 is created in cooperation with a search word in a personal smartphone 3 such as a driver, and an unknown point is specified with reference to the user management database 41. In this case, the server 4 acquires the search word in the smartphone 3 and reflects it in the user management database 41.
(5)最近はやりだした言葉(流行語)は、不明点率が高いと推測できるので、サーバ4においてデータベース化しておき、このデータベース(用語データベース42)を参照して不明点を特定する。 (5) Since it can be presumed that the recently started words (buzzwords) have a high unclear point rate, the server 4 creates a database and identifies the unclear points with reference to this database (term database 42).
(6)ドライバのジェスチャー(例えば、頭を3回かくなどの身振り)により、不明点を特定する。 (6) An unknown point is specified by a gesture of the driver (for example, gesture of stroking the head three times).
[変形例4]
サーバ4における上述した処理S62の不明点の解説処理に関して、次に示す方法を付加的に適用可能である。
[Modification 4]
The following method can be additionally applied to the explanation process of the unknown point of the process S62 in the server 4 described above.
(1)サーバ4においては、ドライバから予め要求がない限り、同乗者などのドライバ以外には分からないように、ドライバに不明点の解説を行うように不明点解説情報を送信することを基本にしている。 (1) The server 4 basically transmits unknown point commentary information to the driver so as to explain the unknown point so that only the passengers and other drivers can understand unless requested by the driver in advance. ing.
したがって、サーバ4においては、画像データに基づく乗員検知を行い、ドライバが単独乗車したときに、ドライバに不明点を解説する。また、ドライバの下車時にスマートフォン3に通知するか、ドライバのパーソナルコンピュータ(PC)に電子メールで通知する。ドライバはこれらの不明点解説方法のいずれかを予め指定する必要がある。 Therefore, the server 4 detects an occupant based on the image data, and explains the unknown point to the driver when the driver gets on alone. In addition, when the driver gets off, the smartphone 3 is notified, or the driver's personal computer (PC) is notified by e-mail. The driver needs to specify one of these unknown point explanation methods in advance.
(2)同乗者がいる場合でも、ドライバが許可すれば、リアルタイムで不明点を解説する。例えば、エージェントは、画像データから同乗者を検知した場合に、ドライバに解説の要否を問い合わせようにすればよい。 (2) Even if there are passengers, if the driver permits, explain the unclear points in real time. For example, when the agent detects a passenger from the image data, the agent may inquire the driver of necessity of explanation.
(3)不明点の解説をうんちく風に車内に説明する。これにより、ドライバにとっては不明点解説だが、他の人が聞くとうんちくになる。 (3) Explain unclear points in the car in an awkward manner. This makes it unclear for the driver, but it gets ridiculous when others hear it.
(4)不明点の解説は、ユーザからの随時の要求を契機とすることも可能とする。例えば、サーバ4は、ドライバが車載機2の所定のハードスイッチを操作したときを不明点の解説の契機とすることができる。 (4) The explanation of the unclear point can be triggered by an occasional request from the user. For example, the server 4 can use the time when the driver operates a predetermined hard switch of the in-vehicle device 2 as an opportunity to explain the unknown point.
(5)同乗者がいる場合でも、同乗者との関係(例えば、子供)により、サービス提供可能とする。 (5) Even when there is a passenger, the service can be provided depending on the relationship with the passenger (for example, a child).
(6)同乗者がいる場合でも、ヘッドアップディスプレイ(HUD)などのドライバだ
けが見ることのできるディスプレイにリアルタイムで不明点の解説を表示する。
(6) Even when there is a passenger, an explanation of unknown points is displayed in real time on a display that can be seen only by a driver such as a head-up display (HUD).
(7)ドライバの不明点を抽出できなかった場合は、エージェントが所定時間以内の会話で何が分からなかったかをドライバに音声出力で質問し、ドライバが音声で回答し、回答された音声から変換されたテキストに対して、上述した一実施の形態と同様の手順(図5中のS62)で不明点を解説する。 (7) If the driver's unknown point cannot be extracted, the agent asks the driver what he did not understand in the conversation within a predetermined time by voice output, the driver answers by voice, and the voice is converted. The unclear point is explained with respect to the written text by the same procedure (S62 in FIG. 5) as in the above-described embodiment.
(8)不明点が出た場合は二段階で解説を行う(事前設定で切り替え可能)。
1段:速報レベルの簡易版でスピード重視(HUDを活用するなど)。
2段:ドライバの単独乗車時に詳細の解説(補足説明)。
(8) If an unclear point comes out, explain in two steps (switchable in advance).
1st stage: A simple version of the bulletin level that emphasizes speed (using HUD, etc.).
Second stage: Detailed explanation (supplementary explanation) when the driver is riding alone.
(9)不明点のジャンルにより、解説時に内容の重みづけを行う。例えば、サーバ4は、ユーザ管理データベース41を参照し、50代男性で野球が好きな人であれば、野球に関する会話には詳しいと予測し、逆に芸能関係には疎いと予測できる。サーバ4は、この結果に応じて、用語データベース42から簡易解説または詳細解説を読出して、解説内容の重みづけを行う。 (9) The content is weighted at the time of explanation according to the genre of unknown points. For example, if the server 4 refers to the user management database 41 and is a man in his fifties who likes baseball, he can predict that he is familiar with baseball-related conversations and conversely he is not familiar with entertainment relations. In accordance with this result, the server 4 reads a simple explanation or detailed explanation from the term database 42 and weights the explanation contents.
[変形例5]
サーバ4における上述した処理S62の不明点の解説処理に関して、次に示す内容補足方法を適用可能である。
[Modification 5]
The following content supplement method can be applied to the explanation process of the unknown point of the process S62 in the server 4 described above.
不明点についての用語データベース42を作成し、個人が苦手な分野を理解し、苦手な分野についてはコンテンツ提供時に詳細まで解説をする。これは、不明点はあるけれども、会話には出てくるということは、興味があるとサーバ4において判断する。 A term database 42 for unknown points is created to understand the fields that individuals are not good at, and the fields they are not good at are explained in detail when content is provided. In this case, the server 4 determines that there is an unclear point but that it is interesting to come out in the conversation.
[変形例6]
サーバ4における上述した各処理に関して、次に示す方法を付加的に適用可能である。
[Modification 6]
The following method can be additionally applied to each process described above in the server 4.
(1)車載機2において不明点が解説されたときに、ユーザの反応によっては追加でコンテンツを提供する。サーバ4においては、ユーザの顔の表情(ポジティブ(機嫌状態))から、今回解説した不明点に更に興味がありそうと判断した場合、この付加サービスを提供する。 (1) When an unclear point is explained in the in-vehicle device 2, content is additionally provided depending on the reaction of the user. The server 4 provides this additional service when it is determined from the facial expression of the user (positive (motivated state)) that the unknown point explained this time is likely to be more interesting.
(2)ユーザ(ドライバ)は、車載機2において不明点が解説されたときに、特定の人(例えば、子供)との乗車時などには、会話のリマインド機能を利用することにより、不明点の解説を再度聞いて理解を深めることができる。サーバ4においては、CPU401は、ドライバが車載機2の所定のハードスイッチを操作した場合、その時点の音声信号における対応箇所をリマインド対象として特定し、不明点の解説を再度行う。 (2) When an unclear point is explained in the in-vehicle device 2, the user (driver) uses the conversation remind function to get unclear points when riding with a specific person (for example, a child). You can deepen your understanding by listening to the commentary again. In the server 4, when the driver operates a predetermined hard switch of the in-vehicle device 2, the CPU 401 specifies a corresponding portion in the audio signal at that time as a subject to be reminded and explains the unknown point again.
(3)サーバ4は、上述した(2)の会話のリマインド機能において、ユーザが会話の内容(例えば、子供と話した内容)を思い出すことを可能にし、更なる会話の発展の契機を提供する。 (3) The server 4 enables the user to remember the content of the conversation (for example, the content spoken with the child) in the conversation remind function of (2) described above, and provides an opportunity for further conversation development. .
(4)サーバ4は、上述した(2)の会話のリマインド機能において、ユーザ管理データベース41を参照し、ユーザの年齢や趣味趣向に応じて適切な不明点の解説を提供することもできる。 (4) The server 4 can also provide an explanation of an unclear point appropriate to the user's age and hobbies / references with reference to the user management database 41 in the conversation remind function of (2) described above.
(5)ユーザの趣味趣向に基づいて、分からなかった会話の内容を推定して、分からなかったことをユーザ管理データベース41に登録する。例えば、サーバ4は、ユーザ管理データベース41を参照し、50代男性で野球が好きな人であれば、野球に関する会話に
は詳しいと予測し、逆に芸能関係には疎いと予測できる。サーバ4は、この予測に応じて、分からなかった会話の内容を推定して、分からなかったことをユーザ管理データベース41に登録しておくことにより、次回の不明事項解消処理に活用する。
(5) Based on the user's hobbies and preferences, the content of the conversation that is not known is estimated, and the fact that it is not known is registered in the user management database 41. For example, if the server 4 refers to the user management database 41 and is a man in his fifties who likes baseball, he can predict that he is familiar with baseball-related conversations and conversely he is not familiar with entertainment relations. In accordance with this prediction, the server 4 estimates the content of the conversation that was not known, and registers the fact that it was not known in the user management database 41, so that it is utilized for the next unknown matter resolution processing.
(6)例えば、ラジオ放送曲で知らないことが予測できれば、情報提供する。サーバ4は、例えば、楽曲が流れたときに、画像データからドライバの表情を判断し、疑問点が生じていると判断した場合に、楽曲データごとの解説情報を提供すればよい。サーバ4は、楽曲データごとの旋律を特定する旋律データと、解説情報データベースを保持しておけばよい。そして、サーバ4は、楽曲の音声と旋律データとのマッチングを行い、楽曲と特定すればよい。そして、サーバ4は、特定した楽曲の解説情報を解説情報データベースから取得し、ドライバに提供すればよい。 (6) For example, if it can be predicted that the radio broadcast song is unknown, information is provided. For example, when the music flows, the server 4 determines the driver's facial expression from the image data, and if the server 4 determines that a question has occurred, the server 4 may provide commentary information for each music data. The server 4 may hold melody data for specifying the melody for each piece of music data and a comment information database. And the server 4 should just match with the audio | voice of music, and melody data, and may identify as a music. And the server 4 should just acquire the description information of the specified music from a description information database, and should provide it to a driver.
(7)エージェントは、不明点を解説した後、ユーザが解説された不明点を本当に知らなかったのかどうかを確認した後に、ユーザ管理データベース41に登録する。つまり、サーバ4は、ユーザが疑問に思った不明事項と判定したが、実際は不明事項ではなかった場合、この結果をユーザ管理データベース41に登録しておくことにより、次回の不明事項解消処理に活用する。 (7) After explaining the unknown, the agent confirms whether or not the user really did not know the unknown, and registers it in the user management database 41. In other words, the server 4 determines that the user is wondering about the unknown matter, but if it is not actually an unknown matter, the result is registered in the user management database 41 to be used for the next unknown matter resolution process. To do.
[変形例7]
サーバ4における上述した各処理に関して、次に示す方法を付加的に適用可能である。
[Modification 7]
The following method can be additionally applied to each process described above in the server 4.
ドライバは、運転席に着席し、かつ車載機2及びスマートフォン3のユーザであるので、サーバ4にユーザIDを登録して不明事項解消対象者になることができる。しかし、同乗者については、ドライバのように、サーバ4にユーザIDを直接的に登録することができない。 Since the driver is seated in the driver's seat and is a user of the in-vehicle device 2 and the smartphone 3, the driver can register the user ID in the server 4 and become an unknown matter cancellation target person. However, the passenger ID cannot be directly registered in the server 4 like the driver.
このため、同乗者が不明点の解説を受ける更なる不明事項解消対象者になるためには、ユーザIDを登録したドライバの同乗者としてサーバ4のユーザ管理データベース41への登録を受ければよい。サーバ4は、例えば、ドライバが車載機2において予め定められた指定操作を行ったことを検出したとき、同乗者を不明事項解消対象者に含めて同様に処理し、不明点の解説を行う。 For this reason, in order for the fellow passenger to become a target for further solving the unknown matter receiving the explanation of the unknown point, it is only necessary to receive registration in the user management database 41 of the server 4 as the fellow passenger of the driver who registered the user ID. For example, when the server 4 detects that the driver has performed a predetermined designation operation in the in-vehicle device 2, the server 4 includes the passengers in the unknown matter elimination target person and performs the same processing to explain the unknown points.
[変形例8]
上述した一実施の形態及び変形例1〜変形例7の不明事項解消処理システム1においては、サーバ4が、車載機2及びスマートフォン3と協働して、不明事項解消処理を遂行する場合について例示した。
[Modification 8]
In the above-described one embodiment and the unknown matter eliminating processing system 1 of the first to seventh modified examples, the server 4 performs an unknown matter eliminating process in cooperation with the in-vehicle device 2 and the smartphone 3. did.
しかし、車載機2がサーバ4と直接的に通信するための無線通信部122を備えているときは、スマートフォン3の介在を省略することが可能である。この場合、車載機2のユーザ(つまり、ドライバ)が不明事項解消対象者となる。 However, when the in-vehicle device 2 includes the wireless communication unit 122 for directly communicating with the server 4, the intervention of the smartphone 3 can be omitted. In this case, the user (that is, the driver) of the in-vehicle device 2 becomes the unknown matter elimination target person.
そして、車載機2のユーザは、サーバ4とのコミュニケーションを仲介するエージェントとして機能するエージェントアプリを車載機2において起動しておく。 Then, the user of the in-vehicle device 2 activates an agent application that functions as an agent that mediates communication with the server 4 in the in-vehicle device 2.
エージェント搭載の車載機2においては、制御部100は、映像/音声入力部120がカメラ(車室内カメラ)118及びマイク(車室内マイクロホン)119を通してリアルタイムに取得したドライバの画像信号及び音声信号などを近距離通信部121ではなく、無線通信部122を介してサーバ4に送信するように制御する。また、制御部100は、サーバ4から送信された不明点解説情報を無線通信部122を介して受信する。 In the vehicle-mounted device 2 equipped with the agent, the control unit 100 receives the image signal and audio signal of the driver acquired in real time by the video / audio input unit 120 through the camera (vehicle interior camera) 118 and the microphone (vehicle interior microphone) 119. Control is performed to transmit to the server 4 via the wireless communication unit 122 instead of the short-range communication unit 121. In addition, the control unit 100 receives the unknown point comment information transmitted from the server 4 via the wireless communication unit 122.
車載機2のエージェントはドライバに不明点を解説するので、ドライバ、つまりユーザが不明点をエージェントに積極的に質問しなくても、不明点を解消することができる。 Since the agent of the vehicle-mounted device 2 explains the unclear point to the driver, the unclear point can be resolved without the driver, that is, the user actively asking the agent about the unclear point.
不明事項解消処理プログラムが常駐しているサーバ4においては、CPU401は、車載機2からユーザID(利用者識別情報)とともに転送されたドライバの画像信号及び音声信号などに基づいて、ドライバが車室内の会話を理解できていないと判定すると、不明点を抽出(特定)する。そして、サーバ4においては、抽出した不明点解説情報を車載機2に送信する。 In the server 4 in which the unknown matter elimination processing program is resident, the CPU 401 determines whether the driver is in the vehicle interior based on the driver's image signal and audio signal transferred from the in-vehicle device 2 together with the user ID (user identification information). If it is determined that the conversation is not understood, unknown points are extracted (specified). Then, the server 4 transmits the extracted unknown point explanation information to the in-vehicle device 2.
なお、サーバ4における上述した処理S51〜S62を含む不明事項解消処理は、スマートフォン3の介在を除けば同一である。 The unknown matter elimination processing including the above-described processing S51 to S62 in the server 4 is the same except for the intervention of the smartphone 3.
[変形例9]
上述した一実施の形態及び変形例1〜変形例8の不明事項解消処理システム1においては、サーバ4が自動車などの車両(移動体)の室内に設置された車載機2と協働して、不明事項解消処理を遂行する場合について例示した。
[Modification 9]
In the unknown matter elimination processing system 1 of the above-described embodiment and Modifications 1 to 8, the server 4 cooperates with the vehicle-mounted device 2 installed in a vehicle (moving body) such as an automobile, The case of performing the unknown matter elimination processing is illustrated.
しかし、不明事項解消処理の対象室内は移動体に限定されず、不明事項解消対象者はドライバ及び同乗者に限定されない。また、コミュニケーションを仲介するエージェントは省略してもよい。 However, the target room for the unknown matter elimination process is not limited to the moving body, and the unknown matter elimination target person is not limited to the driver and the passenger. Further, an agent that mediates communication may be omitted.
[その他の変形例]
上述した一実施の形態及び各変形例における処理はコンピュータで実行可能なプログラムとして提供され、CD−ROMやフレキシブルディスクなどの非一時的コンピュータ可読記録媒体、さらには通信回線を経て提供可能である。
[Other variations]
The processing in the above-described embodiment and each modification is provided as a computer-executable program, and can be provided via a non-transitory computer-readable recording medium such as a CD-ROM or a flexible disk, and further via a communication line.
また、上述した一実施の形態及び各変形例における各処理はその任意の複数または全てを選択し組合せて実施することもできる。 In addition, each process in the above-described embodiment and each modification can be performed by selecting and combining any or all of the processes.
[その他]
上述した一実施の形態及び変形例に関し、更に以下の付記を開示する。
[Others]
The following additional remarks are disclosed with respect to the above-described embodiment and modifications.
(付記1)
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定する手段と;
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定する手段と;
前記不明事項解消対象者が前記発話状態になく、不機嫌状態を判定したとき、不明事項の発生を判定する手段と;
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定する手段と;
特定した前記不明事項を解説する情報を送信する手段と;
を備える不明事項解消処理装置。
(Appendix 1)
Means for receiving an image signal of an unknown matter elimination target person existing in a specific room and determining an utterance state based on an opening / closing degree of the mouth of the unknown matter elimination target person included in the received image signal;
Means for determining whether or not an unknown matter has occurred based on the facial expression of the person to be solved for the unknown matter contained in the received image signal;
Means for determining the occurrence of an unknown matter when the unknown matter elimination target person is not in the utterance state and determines a moody state;
Means for identifying a corresponding portion in any sound of the audio signal and the sound signal received together with the image signal as an unknown matter;
Means for transmitting information explaining the identified unknown matter;
An unknown matter elimination processing device comprising:
(付記2)
不明事項対応の音データを第1の記憶手段から読み出してテキスト化した単語が第2の記憶手段に予め登録されているかを判定する手段を更に備える、
付記1記載の不明事項解消処理装置。
(Appendix 2)
A means for determining whether or not a word obtained by reading out sound data corresponding to an unknown matter from the first storage means into a text is registered in the second storage means;
APPENDIX 1 Unknown matter elimination processing device.
(付記3)
検知された会話内容が前記不明事項解消対象者にとって不明事項となる可能性が高いかを第1の記憶手段を参照して判定する手段を更に備える、
付記2記載の不明事項解消処理装置。
(Appendix 3)
Further comprising means for referring to the first storage means to determine whether the detected conversation content is likely to be an unknown matter for the unknown matter elimination target person,
The unknown matter elimination processing device according to attachment 2.
(付記4)
前記特定の室内は車両を含む移動体の室内であり、前記不明事項解消対象者は運転者及び同乗者の少なくとも一方であり、前記画像信号及び前記音声信号は運転者及び同乗者の少なくとも一方に対応する、
付記1記載の不明事項解消処理装置。
(Appendix 4)
The specific room is a room of a moving body including a vehicle, the unknown matter elimination target person is at least one of a driver and a passenger, and the image signal and the audio signal are transmitted to at least one of the driver and the passenger. Corresponding,
APPENDIX 1 Unknown matter elimination processing device.
(付記5)
コンピュータが、
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定するステップと;
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定するステップと;
前記不明事項解消対象者が前記発話状態になく、前記不機嫌状態を判定したとき、不明事項の発生を判定するステップと;
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定するステップと;
特定した前記不明事項を解説する情報を送信するステップと;
を実行する不明事項解消処理方法。
(Appendix 5)
Computer
Receiving an image signal of an unknown matter elimination target person existing in a specific room, and determining an utterance state based on an open / closed degree of the mouth of the unknown matter elimination target person included in the received image signal;
Determining whether or not an unknown matter has occurred based on a facial expression of the person to be solved for the unknown matter included in the received image signal;
Determining the occurrence of an unknown matter when the unknown matter elimination target person is not in the utterance state and determines the moody state;
Identifying a corresponding location in any sound of the audio signal and the sound signal received together with the image signal as an unknown matter;
Sending information explaining the identified unknown matter;
Unknown matter resolution processing method to execute.
(付記6)
コンピュータに、
特定の室内に存在する不明事項解消対象者の画像信号を受信し、受信した前記画像信号に含まれる前記不明事項解消対象者の口の開閉度に基づいて発話状態を判定するステップと;
受信した前記画像信号に含まれる前記不明事項解消対象者の顔の表情に基づいて不明事項の発生の有無を判定するステップと;
前記不明事項解消対象者が前記発話状態になく、前記不機嫌状態を判定したとき、不明事項の発生を判定するステップと;
前記画像信号とともに受信された音声信号及び音信号のいずれかの音における対応箇所を不明事項として特定するステップと;
特定した前記不明事項を解説する情報を送信するステップと;
を実行させる不明事項解消処理プログラム。
(Appendix 6)
On the computer,
Receiving an image signal of an unknown matter elimination target person existing in a specific room, and determining an utterance state based on an open / closed degree of the mouth of the unknown matter elimination target person included in the received image signal;
Determining whether or not an unknown matter has occurred based on a facial expression of the person to be solved for the unknown matter included in the received image signal;
Determining the occurrence of an unknown matter when the unknown matter elimination target person is not in the utterance state and determines the moody state;
Identifying a corresponding location in any sound of the audio signal and the sound signal received together with the image signal as an unknown matter;
Sending information explaining the identified unknown matter;
An unknown matter elimination processing program that executes
1 不明事項解消処理システム
2 車載機(車載通信装置)
3 スマートフォン(携帯通信機器)
4 サーバ(不明事項解消処理装置)
1 Unknown matter resolution processing system 2 In-vehicle device (in-vehicle communication device)
3 Smartphone (mobile communication device)
4 server (unknown matter solution processing device)
Claims (4)
音を入力する入力手段と;
前記認識手段による前記対象者の口の状態に基づいて発話状態と、前記認識手段による前記対象者の顔の状態に基づいて表情とを判定する第1判定手段と;
前記第1判定手段の判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定手段と;
前記不明事項が発生したと判定された時に入力された前記音のデータをテキスト化した単語が記憶手段に予め登録されているかを判定する第3判定手段と;
前記単語が前記記憶手段に登録されている場合に、当該登録されている単語が前記対象者毎に設定された属性情報に応じて前記不明事項となる可能性が高いか否かを判定する第4判定手段と;
前記第4判定手段により前記不明事項となる可能性が高いと判定された前記単語を前記不明事項として特定する特定手段と;
前記特定手段により特定された前記不明事項を解説する情報を出力する出力手段と;
を備えることを特徴とする情報処理装置。 Recognition means for recognizing an image of the subject;
Input means for inputting sound;
First determination means for determining an utterance state based on the state of the subject's mouth by the recognition means and an expression based on the state of the face of the subject by the recognition means;
A second determination that an unknown matter has occurred in the subject when it is determined that there is no utterance state of the subject and the facial expression of the subject is not clear based on the judgment result of the first judging means; Determination means;
Third determination means for determining whether a word obtained by converting the sound data input when it is determined that the unknown matter has occurred is registered in the storage means;
In the case where the word is registered in the storage unit, a first determination is made as to whether or not the registered word is likely to be the unknown matter according to attribute information set for each target person. 4 determination means;
Specifying means for specifying, as the unknown matter , the word that is determined to be highly likely to be the unknown matter by the fourth determining means;
Output means for outputting information explaining the unknown matter specified by the specifying means;
An information processing apparatus comprising:
請求項1記載の情報処理装置。 The target person is at least one of a driver and a passenger existing in a room of a moving body including a vehicle, and the image and the sound correspond to at least one of the driver and the passenger.
The information processing apparatus according to claim 1.
対象者を撮影した画像を認識する認識ステップと;
音を入力する入力ステップと;
前記認識ステップによる前記対象者の口の状態に基づいて発話状態と、前記認識ステップによる前記対象者の顔の状態に基づいて表情とを判定する第1判定ステップと;
前記第1判定ステップの判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定ステップと;
前記不明事項が発生したと判定された時に入力された前記音のデータをテキスト化した単語が記憶手段に予め登録されているかを判定する第3判定ステップと;
前記単語が前記記憶手段に登録されている場合に、当該登録されている単語が前記対象者毎に設定された属性情報に応じて前記不明事項となる可能性が高いか否かを判定する第4判定ステップと;
前記第4判定ステップにより前記不明事項となる可能性が高いと判定された前記単語を前記不明事項として特定する特定ステップと;
前記特定ステップにより特定された前記不明事項を解説する情報を出力する出力ステップと;
を実行することを特徴とする処理方法。 Computer
A recognition step for recognizing an image of the subject;
An input step for inputting sound;
A first determination step of determining an utterance state based on the mouth state of the subject by the recognition step and a facial expression based on the face state of the subject by the recognition step;
A second determination that an unknown matter has occurred in the subject when it is determined that the subject does not speak and the facial expression of the subject is not clear based on the determination result of the first determination step. A determination step;
A third determination step of determining whether a word obtained by converting the sound data input when it is determined that the unknown matter has occurred is registered in a storage unit;
In the case where the word is registered in the storage unit, a first determination is made as to whether or not the registered word is likely to be the unknown matter according to attribute information set for each target person. 4 determination steps;
A specifying step of specifying, as the unknown item , the word that has been determined to be likely to be the unknown item in the fourth determining step;
An output step of outputting information explaining the unknown matter specified by the specifying step;
The processing method characterized by performing.
対象者を撮影した画像を認識する認識ステップと;
音を入力する入力ステップと;
前記認識ステップによる前記対象者の口の状態に基づいて発話状態と、前記認識ステップによる前記対象者の顔の状態に基づいて表情とを判定する第1判定ステップと;
前記第1判定ステップの判定結果に基づいて、前記対象者の発話状態が無く、かつ前記対象者の表情が冴えないと判定する場合に、前記対象者において不明事項が発生したと判定する第2判定ステップと;
前記不明事項が発生したと判定された時に入力された前記音のデータをテキスト化した単語が記憶手段に予め登録されているかを判定する第3判定ステップと;
前記単語が前記記憶手段に登録されている場合に、当該登録されている単語が前記対象者毎に設定された属性情報に応じて前記不明事項となる可能性が高いか否かを判定する第4判定ステップと;
前記第4判定ステップにより前記不明事項となる可能性が高いと判定された前記単語を前記不明事項として特定する特定ステップと;
前記特定ステップにより特定された前記不明事項を解説する情報を出力する出力ステップと;
を実行させることを特徴とする処理プログラム。 On the computer,
A recognition step for recognizing an image of the subject;
An input step for inputting sound;
A first determination step of determining an utterance state based on the mouth state of the subject by the recognition step and a facial expression based on the face state of the subject by the recognition step;
A second determination that an unknown matter has occurred in the subject when it is determined that the subject does not speak and the facial expression of the subject is not clear based on the determination result of the first determination step. A determination step;
A third determination step of determining whether a word obtained by converting the sound data input when it is determined that the unknown matter has occurred is registered in a storage unit;
In the case where the word is registered in the storage unit, a first determination is made as to whether or not the registered word is likely to be the unknown matter according to attribute information set for each target person. 4 determination steps;
A specifying step of specifying, as the unknown item , the word that has been determined to be likely to be the unknown item in the fourth determining step;
An output step of outputting information explaining the unknown matter specified by the specifying step;
A processing program characterized by causing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231790A JP6387287B2 (en) | 2014-11-14 | 2014-11-14 | Unknown matter resolution processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014231790A JP6387287B2 (en) | 2014-11-14 | 2014-11-14 | Unknown matter resolution processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016095705A JP2016095705A (en) | 2016-05-26 |
JP6387287B2 true JP6387287B2 (en) | 2018-09-05 |
Family
ID=56071125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014231790A Active JP6387287B2 (en) | 2014-11-14 | 2014-11-14 | Unknown matter resolution processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6387287B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020091777A (en) * | 2018-12-07 | 2020-06-11 | 株式会社デンソー | Information processing system |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7026449B2 (en) * | 2017-04-21 | 2022-02-28 | ソニーグループ株式会社 | Information processing device, receiving device, and information processing method |
JP6949646B2 (en) * | 2017-09-29 | 2021-10-13 | パイオニア株式会社 | Information providing device, information providing method and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3745619B2 (en) * | 1999-12-13 | 2006-02-15 | 新日本製鐵株式会社 | Molding method of waste plastic granulation for chemical raw materials |
EP2045798B1 (en) * | 2007-03-29 | 2014-12-03 | Panasonic Intellectual Property Corporation of America | Keyword extracting device |
JP2008257363A (en) * | 2007-04-02 | 2008-10-23 | Toyota Motor Corp | Operation support device |
-
2014
- 2014-11-14 JP JP2014231790A patent/JP6387287B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020091777A (en) * | 2018-12-07 | 2020-06-11 | 株式会社デンソー | Information processing system |
Also Published As
Publication number | Publication date |
---|---|
JP2016095705A (en) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6515764B2 (en) | Dialogue device and dialogue method | |
US20170235361A1 (en) | Interaction based on capturing user intent via eye gaze | |
CN106209138B (en) | Vehicle cautious emergency response system and method | |
JP7340940B2 (en) | Agent device, agent device control method, and program | |
JP6604151B2 (en) | Speech recognition control system | |
JPWO2018061491A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
CN103038818A (en) | Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system | |
US20200152203A1 (en) | Agent device, agent presentation method, and storage medium | |
JP6387287B2 (en) | Unknown matter resolution processing system | |
CN111667824A (en) | Agent device, control method for agent device, and storage medium | |
US9791925B2 (en) | Information acquisition method, information acquisition system, and non-transitory recording medium for user of motor vehicle | |
CN111731320B (en) | Intelligent body system, intelligent body server, control method thereof and storage medium | |
JP2020060861A (en) | Agent system, agent method, and program | |
JP6990461B2 (en) | Systems and programs | |
JP7274404B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD AND PROGRAM | |
JP2014065359A (en) | Display control device, display system and display control method | |
JP2019159559A (en) | Information providing apparatus | |
JP2020162003A (en) | Agent device, control method therefor and program | |
US11797261B2 (en) | On-vehicle device, method of controlling on-vehicle device, and storage medium | |
CN111661065B (en) | Agent device, method for controlling agent device, and storage medium | |
CN111667823B (en) | Agent device, method for controlling agent device, and storage medium | |
JP5160653B2 (en) | Information providing apparatus, communication terminal, information providing system, information providing method, information output method, information providing program, information output program, and recording medium | |
JP2019144831A (en) | Information processing device and information processing method | |
JP7245695B2 (en) | Server device, information providing system, and information providing method | |
CN111824174B (en) | Agent device, method for controlling agent device, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180813 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6387287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |