JP6171718B2 - Operator identification device - Google Patents

Operator identification device Download PDF

Info

Publication number
JP6171718B2
JP6171718B2 JP2013170341A JP2013170341A JP6171718B2 JP 6171718 B2 JP6171718 B2 JP 6171718B2 JP 2013170341 A JP2013170341 A JP 2013170341A JP 2013170341 A JP2013170341 A JP 2013170341A JP 6171718 B2 JP6171718 B2 JP 6171718B2
Authority
JP
Japan
Prior art keywords
information
occupant
movement
motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013170341A
Other languages
Japanese (ja)
Other versions
JP2015039904A (en
Inventor
智由 安江
智由 安江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2013170341A priority Critical patent/JP6171718B2/en
Publication of JP2015039904A publication Critical patent/JP2015039904A/en
Application granted granted Critical
Publication of JP6171718B2 publication Critical patent/JP6171718B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本明細書が開示する技術は、車載装置を操作した乗員を識別する操作者識別装置に関する。   The technology disclosed in this specification relates to an operator identification device that identifies an occupant who has operated an in-vehicle device.

車載装置を操作した乗員を識別する技術として、例えば、下記特許文献1に開示される技術がある。この技術では、カメラ、マイクロフォンやレーザセンサにより検出された画像情報や音声信号等に基づいて、操作対象となる装置(操作装置)に対する操作アクセスが運転者により行われるか他の乗員により行われるかを識別する。この識別に基づいて操作アクセスが運転者により行われている場合には、運転操作から注意を逸らせる可能性のある操作アクセスを抑制する。   As a technique for identifying an occupant who operates an in-vehicle device, for example, there is a technique disclosed in Patent Document 1 below. In this technology, whether an operation access to an operation target device (operation device) is performed by a driver or another occupant based on image information or audio signals detected by a camera, a microphone, or a laser sensor. Identify When the operation access is performed by the driver based on this identification, the operation access that may distract from the driving operation is suppressed.

特表2007−526840号公報Special table 2007-526840

上記特許文献1には、顔認識に関する技術は直接的には開示されていない。例えば、カメラによる画像情報から顔認識をする技術として、予め登録された上半身の画像パターンとカメラで撮った画像情報を比較するものがある。このような顔認識の場合、運転者や他の乗員が、普段着用していないマスクや眼鏡あるいはサングラスを顔に着けている場合には顔の認識が難しい。また、画像認識処理のアルゴリズムは一般的に複雑であり情報処理に時間を要する。これに対して、マイクロフォンの音声信号に基づく識別として、上記特許文献1には、マイクロフォンによる音声信号の伝搬時間差から運転者と他の乗員とを識別する技術が開示されている。この技術では、それぞれの音声を集音するマイクロフォンを2本以上設ける必要がある。また、運転者と他の乗員がほぼ同時期に声を発した場合には、音声信号が乱れることから、声の認識が難しい。本明細書は、簡素なアルゴリズムでありながら操作者の識別確度を向上する技術を提供する。   The above-mentioned Patent Document 1 does not directly disclose a technique related to face recognition. For example, as a technique for recognizing a face from image information obtained by a camera, there is a technique that compares a pre-registered upper body image pattern with image information taken by a camera. In the case of such face recognition, it is difficult to recognize a face when a driver or another occupant wears a mask, glasses, or sunglasses that are not usually worn on the face. Also, image recognition processing algorithms are generally complex and require time for information processing. On the other hand, as the identification based on the sound signal of the microphone, the above-mentioned Patent Document 1 discloses a technique for identifying the driver and other occupants from the difference in the propagation time of the sound signal by the microphone. In this technique, it is necessary to provide two or more microphones for collecting each sound. In addition, when the driver and other occupants utter voices at approximately the same time, it is difficult to recognize the voice because the voice signal is disturbed. The present specification provides a technique for improving the identification accuracy of an operator while being a simple algorithm.

本明細書が開示する操作者識別装置は、複数の乗員が操作し得る車載装置に対して操作した乗員を識別する操作者識別装置であり、動き検出部から出力される動き情報及び操作時点検出部から出力される操作時点情報に基づいて乗員の体が動いたタイミング(動作タイミング)と車載装置が操作されたタイミング(操作タイミング)とが同期しているか否かを識別判定部により判定して同期している場合、体が動いた乗員を識別する識別情報を車載装置に出力する。これにより、識別判定部は、動き検出部から出力される動作タイミングと操作時点検出部から出力される操作タイミングとを比較する簡素なアルゴリズムによって、体が動いた乗員が車載装置を操作したか否かを判定する。車載装置を操作するとき、操作をした乗員の体が動く。ここで、「体の動き」には、腕や頭の動きだけでなく、発話するときに口や胸部や頚部が動くこと、呼吸するときに胸の表面が変位すること、を含む。例えば、車載装置を手動により操作する場合には操作動作に伴い肩、腕や手が動く。また、車載装置を音声認識により操作した場合には発声や発話に伴い口や頚部や胸部が動く。したがって、車載装置が操作された操作タイミングに同期して体が動いた乗員が、車載装置を操作した乗員であるという判定をすることによって、簡素なアルゴリズムでありながら識別確度が向上する。   The operator identification device disclosed in this specification is an operator identification device that identifies an occupant who has operated an in-vehicle device that can be operated by a plurality of occupants, and includes motion information and operation time detection output from a motion detection unit. The identification determination unit determines whether the timing when the occupant's body moves (operation timing) and the timing when the vehicle-mounted device is operated (operation timing) are synchronized based on the operation time point information output from the unit When synchronized, identification information for identifying the occupant whose body has moved is output to the in-vehicle device. Thereby, the identification determination unit determines whether the occupant whose body has moved operates the in-vehicle device by a simple algorithm that compares the operation timing output from the motion detection unit and the operation timing output from the operation time point detection unit. Determine whether. When operating the vehicle-mounted device, the occupant's body that has been operated moves. Here, “body movement” includes not only the movement of the arm and head, but also the movement of the mouth, chest and neck when speaking, and the displacement of the chest surface when breathing. For example, when the on-vehicle device is operated manually, the shoulder, arm, and hand move with the operation. Further, when the in-vehicle device is operated by voice recognition, the mouth, the neck, and the chest move along with the utterance and utterance. Therefore, by determining that the occupant whose body moves in synchronization with the operation timing when the in-vehicle device is operated is the occupant who operates the in-vehicle device, the identification accuracy is improved while being a simple algorithm.

なお、動き検出部から出力される動き情報とは、動いた体部分を特定する情報やどのように動いたかを特定する情報(動いた部位の軌跡)などである。また、検出された体の動きが生じた位置に最も近い座席を特定する情報を含んでいてもよい。座席の情報により、体の動きを検知した対象の乗員が運転者であるか、助手席の乗員であるか、あるいは、後部座席の乗員であるかを特定することができる。   Note that the motion information output from the motion detection unit is information that identifies a body part that has moved, information that specifies how the body part has moved (trajectory of the moved part), and the like. Moreover, the information which specifies the seat nearest to the position where the detected body movement has occurred may be included. Based on the seat information, it is possible to specify whether the subject occupant whose body movement has been detected is the driver, the passenger in the passenger seat, or the occupant in the rear seat.

また、操作された対象(操作対象)に応じて、動きを着目する体の部位を選別(フィルタリング)することも好適である。例えば、音声入力装置が操作された場合には、動き検出部から出力される動き情報のうち、口と胸部の動きだけを抽出してそれらの動作タイミングを特定し、操作タイミングと比較する。また、スイッチが操作された場合には、動き検出部から出力される動き情報のうち、腕と肩の動きだけを抽出してそれらの動作タイミングを特定し、操作タイミングと比較する。操作対象に応じて動きを着目する体の部位を制限することで、操作者特定の精度を向上させることができる。   It is also preferable to select (filter) a body part that focuses on movement according to the operated object (operation object). For example, when the voice input device is operated, only the movements of the mouth and the chest are extracted from the motion information output from the motion detection unit, their operation timing is specified, and the operation timing is compared. When the switch is operated, only the movements of the arms and shoulders are extracted from the movement information output from the movement detection unit, their operation timings are specified, and compared with the operation timings. By limiting the body part that focuses on the movement according to the operation target, it is possible to improve the accuracy of operator identification.

本明細書が開示する技術の詳細、及び、さらなる改良は、発明の実施の形態で説明する。   Details of the technology disclosed in this specification and further improvements will be described in the embodiments of the present invention.

エージェントシステムの機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of an agent system. エージェントシステムが実装される車載装置の一例として、ナビゲーション装置のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of a navigation apparatus as an example of the vehicle-mounted apparatus with which an agent system is mounted. 図3(A)はタッチパネルの操作入力に対する体の動き変化例を示す特性図、図3(B)はマイクの音声入力に対する体の動きの変化例を示す特性図である。FIG. 3A is a characteristic diagram illustrating an example of a change in body movement in response to an operation input on the touch panel, and FIG. 3B is a characteristic diagram illustrating an example of a change in body movement in response to a voice input from a microphone. 情報提示処理のフローチャートである。It is a flowchart of an information presentation process. 図4に示すサブルーチン(利用者識別処理)のフローチャートである。5 is a flowchart of a subroutine (user identification process) shown in FIG.

図面を参照して操作者識別装置を説明する。この実施例は、操作者識別装置を、エージェントシステムが実装された車載装置に適用したものである。エージェントシステムとは、擬人化されたキャラクタの画像をディスプレィに表示させて車両の乗員とのコミュニケーションに資するシステムのことであり、乗員の性格、行動、趣味や嗜好等の多様な情報を学習して最適な情報を提供する。このような車載装置として、例えば、カーナビゲーション装置が挙げられる。なお、本明細書及び図面において、擬人化されたキャラクタの画像を単に「エージェント」と称する。   The operator identification device will be described with reference to the drawings. In this embodiment, the operator identification device is applied to an in-vehicle device on which an agent system is mounted. The agent system is a system that displays an anthropomorphic character image on the display and contributes to communication with the vehicle occupant. Provide the best information. An example of such an in-vehicle device is a car navigation device. In the present specification and drawings, an anthropomorphic character image is simply referred to as an “agent”.

まず、図1を参照してエージェントシステムの機能構成について説明する。図1に、当該システムの機能構成例を表すブロック図を示す。本実施例では、後に車載装置としてナビゲーション装置に適用した例を挙げて説明するが、まずは一般的な車載装置に対するエージェントシステムを説明する。   First, the functional configuration of the agent system will be described with reference to FIG. FIG. 1 is a block diagram illustrating an example of a functional configuration of the system. In this embodiment, an example in which the present invention is applied to a navigation device as an in-vehicle device will be described later. First, an agent system for a general in-vehicle device will be described.

エージェントシステム2は、操作入力部3、動き検出部4、利用者識別部5、エージェント特性制御部6、提示情報生成部7及び提示情報出力部8により構成されている。これらのうち、操作入力部3、動き検出部4及び利用者識別部5が、操作者識別装置に相当する。   The agent system 2 includes an operation input unit 3, a motion detection unit 4, a user identification unit 5, an agent characteristic control unit 6, a presentation information generation unit 7, and a presentation information output unit 8. Among these, the operation input unit 3, the motion detection unit 4, and the user identification unit 5 correspond to an operator identification device.

車載装置に指示を与えるための入力装置が操作入力部3を兼ねている。操作入力部3は、車載装置が操作されたタイミングを検出して操作情報(操作時点情報)を出力する機能を有するものである。例えば、乗員が指先で触れて操作するマンマシンインタフェースにおいては、タッチパネルを構成するタッチセンサがこれに相当する。また、音声入力により操作するマンマシンインタフェースにおいては、乗員の発話による音声を集音するマイクが操作入力部3に相当する。操作入力部3は、利用者識別部5、エージェント特性制御部6及び提示情報生成部7に接続されており、検出した操作情報をこれらに出力する。   An input device for giving an instruction to the in-vehicle device also serves as the operation input unit 3. The operation input unit 3 has a function of detecting operation timing of the in-vehicle device and outputting operation information (operation time point information). For example, in a man-machine interface operated by a passenger touching with a fingertip, a touch sensor constituting a touch panel corresponds to this. In a man-machine interface operated by voice input, a microphone that collects voice generated by the occupant's utterance corresponds to the operation input unit 3. The operation input unit 3 is connected to the user identification unit 5, the agent characteristic control unit 6, and the presentation information generation unit 7, and outputs the detected operation information to them.

動き検出部4は、乗員の体の動きを検出して動き情報を出力する機能を有するものである。後述するように、例えば、マイクロ波ドップラーセンサがこれに相当する。乗員の体の動きの例は、車載装置を手動により操作した場合における肩、腕や手の動きや、発話による胸部、頸部や口唇の動きである。動き検出部4も、利用者識別部5、エージェント特性制御部6及び提示情報生成部7に接続されており、検出した動き情報をこれらに出力する。動き検出部4は、上記したマイクロ波ドップラーセンサに代えて、あるいはマイクロ波ドップラーセンサに加えて、ほかのセンサ、例えば画像センサを装備してもよい。動き情報には、動いた体の部位を特定する情報や、動いた軌跡(動き開始の位置と動きが止まった位置の情報)が含まれる。画像情報から腕や肩や口の動きを検出するアルゴリズムは多数存在する。また、胸部や頚部の動きを検出するアルゴリズムは、前述の腕等の動きを検出するアルゴリズムをベースに実現することができる。それゆえ、動きを検出するアルゴリズムに関する説明は省略する。   The motion detection unit 4 has a function of detecting motion of the occupant's body and outputting motion information. As will be described later, for example, a microwave Doppler sensor corresponds to this. Examples of the movement of the occupant's body are movements of the shoulders, arms and hands when the vehicle-mounted device is manually operated, and movements of the chest, neck and lips due to speech. The motion detection unit 4 is also connected to the user identification unit 5, the agent characteristic control unit 6, and the presentation information generation unit 7, and outputs the detected motion information to these. The motion detection unit 4 may be equipped with another sensor, for example, an image sensor, instead of the microwave Doppler sensor or in addition to the microwave Doppler sensor. The motion information includes information for identifying a body part that has moved and a trajectory that has moved (information about the position where the motion started and the position where the motion stopped). There are many algorithms for detecting arm, shoulder and mouth movements from image information. The algorithm for detecting the movement of the chest or neck can be realized based on the algorithm for detecting the movement of the arm or the like. Therefore, a description of the algorithm for detecting motion is omitted.

動き検出部4は、動きが検出された位置から、車両内でその動きがどのシートに着座ししている乗員のものであるかを特定する情報(乗員の位置情報)も動き情報に付加して出力する。典型的には、腕の動きが検知された場合、助手席、運転席、後部右座席、後部左座席、後部中央座席のうち、動きが検知された腕の位置に最も近い座席を特定する情報を、乗員の位置情報として出力する。口の動きや胸部の動きが検知された場合も同様である。   The motion detection unit 4 also adds information (occupant position information) identifying the seat on which the passenger is seated in the vehicle from the position where the motion is detected to the motion information. Output. Typically, when arm movement is detected, information that identifies the seat closest to the position of the detected arm among the passenger seat, driver seat, rear right seat, rear left seat, and rear center seat Is output as occupant position information. The same applies when mouth movement or chest movement is detected.

利用者識別部5は、動き検出部4から入力される動き情報、及び、操作入力部3から入力される操作情報に基づいて、車載装置を操作した者が誰であるのかを識別する機能を有するものである。本実施例では、操作入力のタイミングと同期した体の動きの発生の有無を検出する第1段階と、動き情報から取得可能な1つ以上の生体信号に基づく個人の識別を行う第2段階と、の2段階に分けて乗員の識別を行う。このアルゴリズムについては後で詳述する。利用者識別部5は、エージェント特性制御部6及び提示情報生成部7に接続されており、これらに識別情報を出力する。   The user identification unit 5 has a function of identifying who the person who operated the in-vehicle device is based on the motion information input from the motion detection unit 4 and the operation information input from the operation input unit 3. It is what you have. In the present embodiment, a first stage for detecting the presence or absence of body movements synchronized with the operation input timing, and a second stage for identifying individuals based on one or more biological signals obtainable from the movement information; The passengers are identified in two stages. This algorithm will be described in detail later. The user identification unit 5 is connected to the agent characteristic control unit 6 and the presentation information generation unit 7 and outputs identification information to them.

エージェント特性制御部6は、利用者識別部5から出力される識別情報に基づいて定められる乗員(以下「利用者」と称する)に対応するエージェントを特定するとともに、特定したエージェントの特性を決定する値(エージェント特性制御値)を動き情報及び操作情報に基づいて更新する機能を有するものである。エージェント特性制御部6は、提示情報出力部8に接続されており、これに更新したエージェント特性制御値を出力する。エージェント特性制御値に応じて変化するエージェント特性の項目としては、例えば、エージェントの喋り方や声のトーン(高低)、あるいはエージェントの体型や髪の色の明るさ等があり、これらが動き情報や操作情報に基づいて変化する。   The agent characteristic control unit 6 specifies an agent corresponding to an occupant (hereinafter referred to as “user”) determined based on the identification information output from the user identification unit 5 and determines the characteristic of the specified agent. It has a function of updating a value (agent characteristic control value) based on motion information and operation information. The agent characteristic control unit 6 is connected to the presentation information output unit 8 and outputs the updated agent characteristic control value. The agent characteristic items that change according to the agent characteristic control value include, for example, how the agent speaks and the tone of the voice (high and low), or the body shape of the agent and the brightness of the hair color. Changes based on operation information.

例えば、車載装置がナビゲーション装置である場合、操作情報としては、利用者により入力される目的地情報やその周辺情報等がある。また、動き情報としては、利用者の腕や頭の動きのほか、心拍数や呼吸数等がある。操作情報としては、例えば、目的地の選択回数や周辺情報の検索回数等がある。これらの場合、特定の目的地(例えば、飲食店)を選択した回数が増えるほど、エージェントの口調がフレンドリーになり、また特定の周辺情報(例えば、コンビニエンスストア)を検索した回数が増えるほど、エージェントの声のトーンが高くなるようにエージェント特性制御値を更新する。また、心拍数の積算値が多くなるほどエージェントの体型が大型になるように、あるいは呼吸数の積算値が多くなるほどエージェントの髪の色が明るくなるように、エージェント特性制御値を更新する。   For example, when the in-vehicle device is a navigation device, the operation information includes destination information input by the user and surrounding information thereof. In addition to the movement of the user's arm and head, the movement information includes a heart rate and a respiratory rate. The operation information includes, for example, the number of times a destination is selected and the number of times surrounding information is searched. In these cases, the more times a particular destination (eg, restaurant) is selected, the more friendly the agent's tone is, and the more times the specific peripheral information (eg, convenience store) is searched, the more agents The agent characteristic control value is updated so as to increase the tone of the voice. In addition, the agent characteristic control value is updated so that the larger the integrated value of the heart rate, the larger the body shape of the agent, or the brighter the color of the agent's hair, the larger the integrated value of the respiratory rate.

提示情報生成部7は、操作入力部3から入力される操作情報、動き検出部4から入力される動き情報、及び、利用者識別部5から入力される識別情報に基づいて、提示する情報(提示情報)を生成する機能を有するものである。例えば、操作情報による操作内容や要求動作に応じて、識別情報及び動き情報により特定された利用者の心拍や呼吸状態、さらには利用者の過去の履歴情報から、最適と推定される提示情報を生成する。利用者の過去の履歴情報は、例えば、当該システム2が有するデータベース又は外部のデータベースから得る。提示情報生成部7は、提示情報出力部8に接続されており、これに提示情報を出力する。   The presentation information generation unit 7 provides information to be presented based on the operation information input from the operation input unit 3, the motion information input from the motion detection unit 4, and the identification information input from the user identification unit 5 ( (Presentation information) is generated. For example, according to the operation content or the requested action by the operation information, the presentation information estimated to be optimal from the user's heart rate and respiratory state specified by the identification information and the movement information, and the user's past history information Generate. The user's past history information is obtained from, for example, a database included in the system 2 or an external database. The presentation information generation unit 7 is connected to the presentation information output unit 8 and outputs the presentation information thereto.

具体的には、例えば、操作情報が「周辺の飲食店を検索」するものであり、動き情報による心拍数や呼吸数から利用者が疲労状態であると判断される場合には、疲労回復に効果のある料理や食材を提供する飲食店をデータベースから検索する。そして、その検索結果の中から、利用者の過去の履歴情報に基づいて利用頻度の多い飲食店を抽出して、それを出力する。動き情報による心拍数や呼吸数に基づいて推定可能なものには、疲労度のほかに、眠気やリラックス度合い等がある。   Specifically, for example, when the operation information is “search for nearby restaurants” and it is determined that the user is in a fatigue state from the heart rate and respiratory rate based on the motion information, Search the database for restaurants that provide effective dishes and ingredients. Then, from the search results, a restaurant with a high usage frequency is extracted based on the past history information of the user and is output. What can be estimated based on the heart rate and respiratory rate based on the motion information includes sleepiness and a relaxed degree in addition to the fatigue level.

提示情報出力部8は、利用者に対してエージェントを介して情報を提供する機能を有するものである。より詳しくは、提示情報出力部8は、エージェント特性制御部6から入力される更新された新たな制御値と提示情報生成部7から入力される提示情報とに基づいて、エージェントにより提示する情報を出力する機能を有するものである。具体的には、例えば、提示情報生成部7から入力される提示情報を、ディスプレィに表示されるエージェントを介して見せたりスピーカを介して喋らせたりして利用者に提供する。このときのエージェントは、エージェント特性制御部6から入力されるエージェント特性制御値によりその個性が与えられる。個性とは、前述したキャラクタの体型、髪の明るさ、声のトーンなど、視覚的聴覚的にキャラクタを特徴付けるデータである。エージェント特性制御値によりキャラクタの個性が変化するので、利用者の状態、趣味や嗜好等に基づく容姿に変更されたエージェントが提示情報を案内する。   The presentation information output unit 8 has a function of providing information to a user via an agent. More specifically, the presentation information output unit 8 displays information to be presented by the agent based on the updated new control value input from the agent characteristic control unit 6 and the presentation information input from the presentation information generation unit 7. It has a function to output. Specifically, for example, the presentation information input from the presentation information generation unit 7 is provided to the user by being shown through an agent displayed on the display or being swayed through a speaker. The agent at this time is given its individuality by the agent characteristic control value input from the agent characteristic control unit 6. The personality is data that characterizes the character visually and visually, such as the character's body shape, hair brightness, and voice tone. Since the personality of the character changes depending on the agent characteristic control value, the agent changed to the appearance based on the user's state, hobbies, preferences, etc. guides the presentation information.

このように構成されるエージェントシステム2は、本実施例ではナビゲーション装置10に実装される。そのため、ここからはナビゲーション装置10のハードウェア構成について図2を参照して説明する。なお、ナビゲーション装置10は、当該システム2が実装される車載装置の一例である。そのため、例えば、車載用オーディオ機器や車載用ビデオ機器に前述したエージェントシステム2が実装される場合もあり得る。図2に、ナビゲーション装置10のハードウェア構成例を表すブロック図を示す。   The agent system 2 configured as described above is mounted on the navigation device 10 in this embodiment. Therefore, from here, the hardware configuration of the navigation apparatus 10 will be described with reference to FIG. The navigation device 10 is an example of an in-vehicle device on which the system 2 is mounted. Therefore, for example, the agent system 2 described above may be mounted on an in-vehicle audio device or an in-vehicle video device. FIG. 2 is a block diagram illustrating a hardware configuration example of the navigation device 10.

ナビゲーション装置10は、主に、マイコン11、記憶装置12、通信装置13、タッチパネル15、動きセンサ16、マイク17、ディスプレィ18、スピーカ19により構成されている。なお、これらのハードウェアと前述したエージェントシステム2の各機能との対応関係は、次の通りである。操作入力部3は、タッチパネル15及びマイク17に対応する。動き検出部4は、動きセンサ16に対応する。利用者識別部5及びエージェント特性制御部6は、マイコン11に対応する。提示情報生成部7は、マイコン11、記憶装置12及び通信装置13にそれぞれ対応する。提示情報出力部8は、マイコン11、ディスプレィ18及びスピーカ19にそれぞれ対応する。   The navigation device 10 mainly includes a microcomputer 11, a storage device 12, a communication device 13, a touch panel 15, a motion sensor 16, a microphone 17, a display 18, and a speaker 19. The correspondence between these hardware and each function of the agent system 2 described above is as follows. The operation input unit 3 corresponds to the touch panel 15 and the microphone 17. The motion detection unit 4 corresponds to the motion sensor 16. The user identification unit 5 and the agent characteristic control unit 6 correspond to the microcomputer 11. The presentation information generation unit 7 corresponds to the microcomputer 11, the storage device 12, and the communication device 13, respectively. The presentation information output unit 8 corresponds to the microcomputer 11, the display 18, and the speaker 19.

マイコン(マイクロコンピュータ)11は、典型的には、制御用のワンチップマイコンやワンボードマイコン等がこれに相当する。本実施例では、マイコン11が使用する主記憶等には、マイコン11に内蔵されている半導体メモリが用いられる。マイコン11には、シリアルやパラレルによる入出力インタフェースも内蔵されている。また、これらに加えて、アナログ信号による入力をディジタル信号に変換するA/D変換器等も、マイコン11に内蔵されており、タッチパネル15、動きセンサ16やマイク17から入力されるアナログ信号についても情報処理可能に構成されている。   The microcomputer (microcomputer) 11 typically corresponds to a one-chip microcomputer for control, a one-board microcomputer, or the like. In the present embodiment, a semiconductor memory built in the microcomputer 11 is used as the main memory used by the microcomputer 11. The microcomputer 11 also includes a serial or parallel input / output interface. In addition to these, an A / D converter or the like that converts an analog signal input into a digital signal is also built in the microcomputer 11, and an analog signal input from the touch panel 15, motion sensor 16, or microphone 17 is also included. It is configured to be able to process information.

記憶装置12は、前述したデータベース及びマイコン11の補助記憶装置として用いられるメモリ装置であり、EEPROM等からなる半導体メモリ装置、又はハードディスク、DVD若しくはCD−ROM等からなるディスクドライブ等である。この記憶装置12には、ナビゲーションの処理に必要な経路探索プログラム及び地図データのほかに、前述したエージェントのシステムプログラムや利用者の過去の履歴情報、さらには後述する情報提示処理を実行するためのプログラム等々が格納されている。   The storage device 12 is a memory device used as an auxiliary storage device for the database and the microcomputer 11 described above, and is a semiconductor memory device made of EEPROM or the like, or a disk drive made of hard disk, DVD, CD-ROM or the like. In addition to the route search program and map data necessary for the navigation process, the storage device 12 executes the above-described agent system program, past user history information, and an information presentation process described later. Stores programs and so on.

通信装置13は、外部データベースに対して情報通信可能にする通信インタフェースである。マイコン11は、この通信装置13を介して外部データベースにアクセスして前述したような飲食店等を検索する。外部データベースには、衣食住等に関する種々のデータが格納されている。   The communication device 13 is a communication interface that enables information communication with an external database. The microcomputer 11 accesses an external database via the communication device 13 and searches for restaurants and the like as described above. The external database stores various data relating to clothing, food and living.

タッチパネル15は、ディスプレィ18の表面に設けられる入力装置であり、ポインティングデバイスの一種である。抵抗膜方式や静電気容量式等、様々な方式があるが、いずれもタッチされた位置情報をアナログ値又はディジタル値によって検出してマイコン11に出力する。これにより、マイコン11はディスプレィ18に表示されるボタンやピクトグラム等の画像と重なる位置に入力があるか否かを判断する。   The touch panel 15 is an input device provided on the surface of the display 18 and is a kind of pointing device. There are various methods such as a resistance film method and an electrostatic capacity method, and all of them detect the touched position information by an analog value or a digital value and output it to the microcomputer 11. Thereby, the microcomputer 11 determines whether or not there is an input at a position overlapping the image such as a button or a pictogram displayed on the display 18.

動きセンサ16は利用者の体の動きを検知する複数のセンサの総称であり、画像センサのほか、例えば、マイクロ波ドップラーセンサがこれに相当する。画像センサは、経時的な画像の解析により、利用者の特に頭や腕の動きを検知する。画像から頭や腕を特定する技術や、その動きを特定する技術については説明を省略する。また、カメラの位置と、動きが検知された画像中の位置から、その動きがどの座席の乗員のものであるかを特定し、その情報(乗員の位置情報)を生成する。   The motion sensor 16 is a collective term for a plurality of sensors that detect the movement of the user's body, and corresponds to, for example, a microwave Doppler sensor in addition to an image sensor. The image sensor detects the movement of the user, particularly the head and arms, by analyzing the image over time. A description of the technique for identifying the head and arms from the image and the technique for identifying the movement thereof will be omitted. Further, from the position of the camera and the position in the image where the movement is detected, it is specified which seat the passenger belongs to and the information (occupant position information) is generated.

また、本実施例では、マイクロ波ドップラーセンサは、乗員にマイクロ波を照射して反射波のドップラーシフトからセンサに対する乗員の体表面変位の速度を計測しその速度を変位量に変換しアナログ量としてマイコン11に出力する。そのため、乗員のうち運転者(運転席に着座する乗員)の体表面変位や挙動を検出する場合には、運転席に向けてマイクロ波を照射する。このときの検知される動き情報には、その動きが運転席に着座した乗員のものであるという情報(乗員の位置情報)が付加される。   Further, in this embodiment, the microwave Doppler sensor irradiates the occupant with microwaves, measures the occupant's body surface displacement speed relative to the sensor from the Doppler shift of the reflected wave, converts the speed into a displacement amount, and converts it into an analog amount. Output to the microcomputer 11. Therefore, when detecting the body surface displacement and behavior of the driver (occupant seated in the driver's seat) among the passengers, microwaves are irradiated toward the driver's seat. Information indicating that the movement is that of the occupant seated in the driver's seat (occupant position information) is added to the movement information detected at this time.

マイク17は、乗員同士の会話音や発話音を集音するマイクロフォンであり、例えば、コンデンサマイクがこれに相当する。マイク17による集音信号はアナログ量としてマイコン11に出力される。本実施例では、マイク17から入力された音声をマイコン11による音声認識処理によってコマンド解析をすることにより、音声入力による操作を可能にしている。マイク17とマイコン11の間には、例えば、乗員の音声帯域を中心に低域及び高域の周波数成分を除去するカットするバンドパスフィルタが挿入されている。マイク17で音声が検知されると同時に、動きセンサ16の一つである画像センサは、乗員の口の動きを検知し、画像中の口の動きが検知された位置からその乗員の座席を特定し、その乗員の位置情報を含む動き情報を出力する。   The microphone 17 is a microphone that collects conversation sounds and speech sounds between passengers. For example, a condenser microphone corresponds to the microphone 17. The collected sound signal from the microphone 17 is output to the microcomputer 11 as an analog amount. In the present embodiment, the voice input from the microphone 17 is subjected to command analysis by voice recognition processing by the microcomputer 11 to enable an operation by voice input. Between the microphone 17 and the microcomputer 11, for example, a band-pass filter for cutting to remove low-frequency and high-frequency components around the passenger's voice band is inserted. At the same time as the sound is detected by the microphone 17, the image sensor, which is one of the motion sensors 16, detects the movement of the passenger's mouth and identifies the passenger's seat from the position where the movement of the mouth in the image is detected. Then, motion information including the position information of the occupant is output.

ディスプレィ18は、例えば、液晶表示装置であり、マイコン11に接続されている。このディスプレィ18には、マイコン11から入力されるデータによって所定のメニュー画面、案内画面、さらにはエージェントが表示される。ディスプレィ18の画面表面には、タッチパネル15が設けられており、乗員によるタッチ操作を可能にするボタンやピクトグラム等の画像表示もこのディスプレィ18により行われる。   The display 18 is a liquid crystal display device, for example, and is connected to the microcomputer 11. A predetermined menu screen, a guidance screen, and an agent are displayed on the display 18 by data input from the microcomputer 11. A touch panel 15 is provided on the screen surface of the display 18, and images such as buttons and pictograms that enable a touch operation by an occupant are also displayed by the display 18.

スピーカ19は、例えば、オーディオアンプ付きのスピーカであり、マイコン11に接続されている。このスピーカ19からは、例えば、ナビゲーション装置10の起動や終了を知らせる所定音や経路案内に伴う合成音声、さらにはエージェントによるこれらの音声案内音等が出力される。   The speaker 19 is a speaker with an audio amplifier, for example, and is connected to the microcomputer 11. From the speaker 19, for example, a predetermined sound for informing the start and end of the navigation device 10, a synthesized voice accompanying route guidance, and these voice guidance sounds by the agent are output.

ここで、操作入力のタイミングと同期した体の動きの発生の有無を利用者識別部5による検出する方法(第1段階)について図3を参照して説明する。図3(A)に、タッチパネル15の操作入力に対する動きセンサ16による体の動き(肩付近の動き)の変化例を表す特性図を示す。また、図3(B)に、マイク17の音声入力に対する動きセンサ16による体の動き(胸部の変位)の変化例を表す特性図を示す。   Here, a method (first step) of detecting by the user identification unit 5 whether or not a body movement is generated in synchronization with the operation input timing will be described with reference to FIG. FIG. 3A is a characteristic diagram showing a change example of the body movement (movement near the shoulder) by the movement sensor 16 in response to the operation input of the touch panel 15. FIG. 3B is a characteristic diagram illustrating an example of a change in body movement (displacement of the chest) by the movement sensor 16 in response to voice input from the microphone 17.

マイコン11には、タッチパネル15が乗員によりタッチされるとその位置情報(操作情報)が入力され、またその操作に伴って乗員の肩や腕等の位置が変化すると動きセンサ16から乗員の動き情報が入力される。なお、前述したように、動き情報には乗員の位置情報が含まれる。タッチパネル15による位置情報(操作情報)が入力されたタイミング、つまりナビゲーション装置10がタッチ操作されたタイミング(操作タイミング)に同期して、動きセンサ16から入力される動き情報に肩や腕の動きが示されている場合には、マイコン11は、操作タイミングと体が動いたタイミング(動作タイミング)との同期を検出する(図3(A)参照)。その結果、動き情報に含まれる乗員の位置情報から、ナビゲーション装置10を操作した乗員がどの座席の乗員であるかが利用者識別部5により識別される。   When the touch panel 15 is touched by the occupant, the microcomputer 11 receives the position information (operation information). When the position of the occupant's shoulder, arm, or the like changes with the operation, the motion sensor 16 detects the occupant movement information. Is entered. As described above, the movement information includes the position information of the occupant. In synchronization with the timing when position information (operation information) is input by the touch panel 15, that is, when the navigation device 10 is touched (operation timing), the movement information input from the motion sensor 16 includes movements of the shoulders and arms. In the case shown, the microcomputer 11 detects the synchronization between the operation timing and the timing when the body moves (operation timing) (see FIG. 3A). As a result, from the position information of the occupant included in the movement information, the user identifying unit 5 identifies which seat the occupant operating the navigation device 10 is.

また、マイコン11には、マイク17により乗員の音声が入力されるとその音声信号(操作情報)が入力され、またその発話に伴って胸部や頸部等の体表面が変位すると動きセンサ16から胸部の動き情報が入力される。そのため、マイク17による音声信号(操作情報)が入力されたタイミング、つまりナビゲーション装置10が音声入力により操作された操作タイミングに同期して、動きセンサ16から入力される動き情報が胸部の動きを示している場合には、マイコン11は、操作タイミングと動作タイミングとの同期を検出する(図3(B)参照)。これにより、ナビゲーション装置10を操作した乗員がどの座席の乗員であるかが利用者識別部5により識別される。通常、胸部や頸部等の体表面は呼吸によっても変位する。呼吸だけによる体表面の変位は周期的かつ定常的であるのに対して、発話時においてはこのような定常的な変位に変化が生じて乱れる。そのため、このような乱れによる変化を捉えることによって、呼吸による体表面の変位から発話による体の動きを判別する。   Further, when an occupant's voice is input from the microphone 17 to the microcomputer 11, the voice signal (operation information) is input, and when the body surface such as the chest or the neck is displaced in accordance with the speech, the motion sensor 16 Chest movement information is input. Therefore, the movement information input from the movement sensor 16 indicates the movement of the chest in synchronization with the timing when the audio signal (operation information) from the microphone 17 is input, that is, the operation timing when the navigation device 10 is operated by voice input. If so, the microcomputer 11 detects the synchronization between the operation timing and the operation timing (see FIG. 3B). As a result, the user identification unit 5 identifies which seat the occupant operating the navigation device 10 is. Normally, body surfaces such as the chest and neck are also displaced by breathing. While the displacement of the body surface due to respiration alone is periodic and steady, at the time of speech, such a steady displacement is changed and disturbed. Therefore, the movement of the body due to the utterance is determined from the displacement of the body surface due to respiration by capturing the change due to such disturbance.

このように、操作された対象(操作対象)に応じて、動きを着目する体の部位を選別(フィルタリング)する。具体的には、マイコン11は、タッチパネルが操作された場合には、着目する動きとして肩や腕の動き情報を採用し、口や胸部の動き情報は除外する。また、マイコン11は、マイク17により乗員の音声が入力された場合には、着目する動きとして口や胸部や頚部の動き情報を採用し、肩や腕の動き情報は除外する。   In this way, the body part that focuses on the movement is selected (filtered) according to the operated target (operation target). Specifically, when the touch panel is operated, the microcomputer 11 employs shoulder and arm movement information as the movement of interest, and excludes mouth and chest movement information. In addition, when an occupant's voice is input from the microphone 17, the microcomputer 11 adopts movement information of the mouth, chest, and neck as movements of interest, and excludes movement information of the shoulders and arms.

利用者識別部5では、このように操作入力のタイミングと同期した体の動きの発生の有無を検出する第1段階のほかに、動き情報から取得可能な1つ以上の生体信号に基づいて、個人の識別も行う(第2段階)。動きセンサ16によって検出される体の動き情報は、呼吸の周期や呼吸に伴う胸部や頚部の体表面変位以外に、心拍の周期や心拍に伴う体表面変位に関する情報も含んでいる。そのため、これらの情報を生体信号に基づく情報として、例えば、記憶装置12等のデータベースに格納することによって、マイコン11では、ナビゲーション装置を操作した乗員を個人識別する。これにより、単にナビゲーション装置10を操作した乗員がどの座席の乗員であるかを識別するだけでなく、操作者個人を識別することが可能になる。つまり、利用者識別部5による第2段階の識別では、操作者の個人レベルの識別が可能になる。   In addition to the first stage of detecting the presence or absence of the movement of the body synchronized with the operation input timing, the user identification unit 5 based on one or more biological signals that can be acquired from the movement information, Individual identification is also performed (second stage). The body motion information detected by the motion sensor 16 includes information regarding the heart cycle and the body surface displacement accompanying the heart beat, in addition to the breathing cycle and body surface displacement of the chest and neck associated with breathing. Therefore, by storing these pieces of information as information based on biological signals in, for example, a database such as the storage device 12, the microcomputer 11 personally identifies the occupant who operated the navigation device. As a result, it is possible not only to identify which seat the passenger who has operated the navigation device 10 is, but also to identify the individual operator. That is, in the second-stage identification by the user identification unit 5, the operator can be identified at the individual level.

次に、図4及び図5を参照して情報提示処理を説明する。図4に、マイコン11により実行される情報提示処理のフローチャートを図示する。また、図5に、図4に示されるサブルーチンである利用者識別処理のフローチャートを図示する。   Next, the information presentation process will be described with reference to FIGS. FIG. 4 illustrates a flowchart of information presentation processing executed by the microcomputer 11. FIG. 5 shows a flowchart of user identification processing which is a subroutine shown in FIG.

この情報提示処理は、ナビゲーション装置10の電源が投入された後、マイコン11による所定の初期化処理やナビゲーションの準備処理等が実行された後に起動される。マイコン11は、まず、操作情報の入力を待つ(S11,13;NO)。そして、操作情報の入力があると(S13;YES)、利用者識別処理を行う。利用者識別処理は図5に図示されている。   This information presentation process is started after a predetermined initialization process or a navigation preparation process by the microcomputer 11 is executed after the navigation apparatus 10 is turned on. The microcomputer 11 first waits for input of operation information (S11, 13; NO). When there is input of operation information (S13; YES), user identification processing is performed. The user identification process is illustrated in FIG.

図5に示す利用者識別処理では、まずタイミングの抽出を行う(S21)。これは、前述したように、タッチパネル15若しくはマイク17による操作情報(位置情報又は音声信号)から、ナビゲーション装置10が操作された操作タイミングを抽出する処理である。この操作タイミングに基づいて、動きセンサ16から出力される乗員の動きのデータが示す動きが操作タイミングと同期しているか否か、つまり操作タイミングと動作タイミングとが同期しているか否かを判定する(S23)。   In the user identification process shown in FIG. 5, the timing is first extracted (S21). As described above, this is a process of extracting the operation timing when the navigation device 10 is operated from the operation information (position information or audio signal) by the touch panel 15 or the microphone 17. Based on this operation timing, it is determined whether or not the movement indicated by the occupant movement data output from the motion sensor 16 is synchronized with the operation timing, that is, whether or not the operation timing and the operation timing are synchronized. (S23).

そして、操作タイミングと変位タイミングが同期していると判定した場合には(S23;YES)、利用者(ナビゲーション装置10を操作した乗員)がどの座席の乗員であるかを特定する(S25)。先に述べたように、動き情報には、動きが検知された乗員がどの座席の乗員かを示す情報(乗員の位置情報)が含まれる。乗員の位置情報から、利用者がどの座席の乗員であるかが特定される。これに対して、両タイミングが同期していると判定しない場合(両タイミングが同期していないと判定した場合)には(S23;NO)、利用者の識別が不成功であったとして図5の処理を終了する。なお、利用者の識別が不成功であった場合(S23;NO)には、ナビゲーション装置10は、図4の「エージェント特性の制御値の更新」(S17)もスキップし、ステップS18にて、従来の不特定の利用者に対する提示情報を生成する。   If it is determined that the operation timing and the displacement timing are synchronized (S23; YES), it is specified which seat the passenger (occupant who operated the navigation device 10) is (S25). As described above, the motion information includes information (occupant position information) indicating which seat the occupant has detected motion. From which the occupant's position information identifies which seat the user is occupant. On the other hand, when it is not determined that both timings are synchronized (when it is determined that both timings are not synchronized) (S23; NO), it is assumed that the identification of the user is unsuccessful as shown in FIG. Terminate the process. If the identification of the user is unsuccessful (S23; NO), the navigation apparatus 10 also skips the “update of agent characteristic control value” (S17) of FIG. 4, and in step S18, Presentation information for a conventional unspecified user is generated.

利用者を識別できた場合(S25)、続いて特徴量の抽出を行う(S28)。これは、前述した利用者個人に特有の身体的特徴量(呼吸の周期と呼吸に伴う体表面変位量、及び心拍の周期と心拍に伴う体表面変位量等)を、動きセンサ16から出力されるデータから抽出する処理である。これにより、抽出された身体的特徴量に基づいて、記憶装置12に記憶されている乗員データを検索することによって、利用者を判別、つまり利用者個人の識別が可能になる。抽出された利用者の識別情報は、識別情報の出力処理によってエージェント特性制御部6に出力されて(S29)、利用者識別処理が終了する。   When the user can be identified (S25), the feature amount is extracted (S28). This is because the motion sensor 16 outputs the above-described physical feature quantities specific to the individual user (respiration cycle and body surface displacement accompanying breathing, and body surface displacement accompanying heartbeat and heartbeat). This is a process of extracting from the data. Accordingly, by searching the occupant data stored in the storage device 12 based on the extracted physical feature amount, it becomes possible to discriminate the user, that is, identify the individual user. The extracted user identification information is output to the agent characteristic control unit 6 by the identification information output process (S29), and the user identification process is terminated.

利用者識別処理が終了すると、再び図3に示す情報提示処理に戻ってエージェント特性制御値の更新を行う(S17)。エージェント特性制御値の更新処理では、前述したように、利用者識別部5から出力される識別情報に基づいて利用者に対応するエージェントを特定するとともに、エージェント特性制御値を動き情報及び操作情報に基づいて更新用の新たな制御値を設定して提示情報出力部8に出力する。続く提示情報の生成は、提示情報生成部7により行われる(S18)。前述したように、操作入力部3から入力される操作情報、動き検出部4から入力される動き情報、及び、利用者識別部5から入力される識別情報に基づいて、提示情報を生成して提示情報出力部8に出力する。   When the user identification process ends, the process returns to the information presentation process shown in FIG. 3 again to update the agent characteristic control value (S17). In the update process of the agent characteristic control value, as described above, the agent corresponding to the user is specified based on the identification information output from the user identification unit 5, and the agent characteristic control value is converted into the motion information and the operation information. Based on this, a new control value for update is set and output to the presentation information output unit 8. The subsequent generation of the presentation information is performed by the presentation information generation unit 7 (S18). As described above, the presentation information is generated based on the operation information input from the operation input unit 3, the motion information input from the motion detection unit 4, and the identification information input from the user identification unit 5. The information is output to the presentation information output unit 8.

このように設定された新たなエージェント特性制御値(S17)と生成された提示情報(S18)に基づいて、最後に提示情報の出力を行って(S19)、一連の本情報提示処理を終了する。エージェントによる提示情報は、エージェントシステム2を構成する提示情報出力部8の説明で述べた通りである。   Based on the new agent characteristic control value (S17) set in this way and the generated presentation information (S18), the presentation information is finally output (S19), and a series of this information presentation processing is completed. . The presentation information by the agent is as described in the description of the presentation information output unit 8 constituting the agent system 2.

以上説明したように、エージェントシステム2を実装したナビゲーション装置10では、動き検出部4(動きセンサ16)から出力される動き情報、及び、操作入力部3(タッチパネル15又はマイク17)から出力される操作情報に基づいて、乗員の体が動いたタイミング(動作タイミング)とナビゲーション装置10が操作されたタイミング(操作タイミング)とが同期しているか否かを利用者識別部5(マイコン11)により判定し、これらが同期している場合には、動き情報に含まれる乗員の位置情報からその利用者がどの座席の乗員であるかを識別する情報(識別情報)をエージェント特性制御部6に出力する。このように、利用者識別部5は、動作タイミングと操作タイミングとを比較する簡素なアルゴリズムによって、どの座席の乗員がナビゲーション装置10を操作したのかを特定することができる。実施例の技術は、簡素なアルゴリズムでありながら高い確度で利用者を識別することができる。また、識別確度の向上により、エージェントシステム2として、ナビゲーション装置10を操作した乗員(利用者)に対する提示情報生成部7による適確な提示情報の生成や、エージェント特性制御部6及び提示情報出力部8による適確な情報提示が可能になる。そのため、よりフレンドリーなユーザインタフェースとして、エージェントシステム2の機能や性能の向上が図られる。さらに、操作情報及び動き情報を識別した乗員ごとに蓄積して学習させる機能をエージェント特性制御部6等に持たせることによって、エージェントが経験値を得て成長するような感覚を乗員(利用者)に与え得る。そのため、乗員(利用者)のエージェントに対する愛着や親近感が深まるので、提示情報の受容性の向上に寄与する。   As described above, in the navigation device 10 in which the agent system 2 is mounted, the motion information output from the motion detection unit 4 (motion sensor 16) and the operation input unit 3 (touch panel 15 or microphone 17) are output. Based on the operation information, the user identification unit 5 (microcomputer 11) determines whether or not the timing when the occupant's body moves (operation timing) and the timing when the navigation device 10 is operated (operation timing) are synchronized. If they are synchronized, information (identification information) identifying which seat the passenger is in from the position information of the passenger included in the movement information is output to the agent characteristic control unit 6. . In this way, the user identification unit 5 can identify which occupant in the seat operated the navigation device 10 with a simple algorithm that compares the operation timing with the operation timing. The technique of the embodiment can identify a user with high accuracy while being a simple algorithm. Further, by improving the identification accuracy, the agent system 2 can generate appropriate presentation information by the presentation information generation unit 7 for the occupant (user) who operates the navigation device 10, and the agent characteristic control unit 6 and the presentation information output unit. 8 makes it possible to present accurate information. Therefore, the function and performance of the agent system 2 can be improved as a more friendly user interface. Furthermore, by providing the agent characteristic control unit 6 and the like with a function for accumulating and learning operation information and motion information for each identified occupant, the occupant (user) has a sense that the agent gains experience and grows. Can be given to. As a result, the occupant (user) 's attachment to the agent and a sense of familiarity are deepened, which contributes to an improvement in the acceptability of the presented information.

実施例技術に関する留意点を述べる。操作入力部3が「操作時点検出部」の一例に相当し、利用者識別部5が「識別判定部」の一例に相当する。また、タッチパネル15又はマイク17が「操作時点検出部」の一例に相当し、画像センサやマイクロ波ドップラーセンサを含む動きセンサ16が「動き検出部」の一例に相当し、マイコン11が「識別判定部」の一例に相当する。さらに、ナビゲーション装置10が「車載装置」の一例に相当する。操作情報が「操作時点情報」の一例に相当する。   Points to be noted regarding the example technology will be described. The operation input unit 3 corresponds to an example of an “operation time point detection unit”, and the user identification unit 5 corresponds to an example of an “identification determination unit”. The touch panel 15 or the microphone 17 corresponds to an example of an “operation time point detection unit”, the motion sensor 16 including an image sensor or a microwave Doppler sensor corresponds to an example of a “motion detection unit”, and the microcomputer 11 performs “identification determination”. This corresponds to an example of “part”. Furthermore, the navigation device 10 corresponds to an example of an “on-vehicle device”. The operation information corresponds to an example of “operation time point information”.

動き検出部は、実施例で挙げた動きセンサ16(画像センサやマイクロ波ドップラーセンサ)に限られない。簡単なものでは、人体の動きを検知する赤外線センサも利用可能であるし、レーザセンサを利用することも可能である。   The motion detection unit is not limited to the motion sensor 16 (image sensor or microwave Doppler sensor) described in the embodiment. As a simple one, an infrared sensor that detects the movement of the human body can be used, and a laser sensor can also be used.

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。また、本明細書又は図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書又は図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。   Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above. Further, the technical elements described in the present specification or drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. Moreover, the technique illustrated in this specification or the drawings achieves a plurality of objects at the same time, and has technical usefulness by achieving one of the objects.

2:エージェントシステム
3:操作入力部
4:体表面変位検出部
5:利用者識別部
6:エージェント特性制御部
7:提示情報生成部
8:提示情報出力部
10:ナビゲーション装置
11:マイコン
12:記憶装置
13:通信装置
15:タッチパネル
16:体表面変位センサ
17:マイク
18:ディスプレィ
19:スピーカ
2: Agent system 3: Operation input unit 4: Body surface displacement detection unit 5: User identification unit 6: Agent characteristic control unit 7: Presentation information generation unit 8: Presentation information output unit 10: Navigation device 11: Microcomputer 12: Storage Device 13: Communication device 15: Touch panel 16: Body surface displacement sensor 17: Microphone 18: Display 19: Speaker

Claims (1)

複数の乗員が操作し得る車載装置に対して操作した乗員を識別する操作者識別装置であり、
乗員の体の複数部位の動きを検出して動き情報を出力する動き検出部と、
車載装置が操作されたタイミングを検出して操作時点情報を出力する操作時点検出部と、
操作された対象に応じて前記複数部位の中から着目する部位を選択し、選択された部位についての動き検出部からの動き情報及び操作時点検出部からの操作時点情報に基づいて乗員の体が動いたタイミングと車載装置が操作されたタイミングとが同期しているか否かを判定して同期している場合に前記乗員の識別情報を車載装置に出力する識別判定部と、
を備えることを特徴とする操作者識別装置。
It is an operator identification device that identifies an occupant who has operated an in-vehicle device that can be operated by a plurality of occupants,
A motion detector that detects motion of a plurality of parts of the occupant's body and outputs motion information;
An operation time point detection unit that detects timing when the in-vehicle device is operated and outputs operation time point information;
The body part of the occupant is selected based on the motion information from the motion detection unit and the operation time point information from the operation time point detection unit for the selected part according to the operated target. An identification determination unit that outputs whether or not the identification information of the occupant is output to the vehicle-mounted device when the movement timing and the timing when the vehicle-mounted device is operated are synchronized.
An operator identification device comprising:
JP2013170341A 2013-08-20 2013-08-20 Operator identification device Active JP6171718B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013170341A JP6171718B2 (en) 2013-08-20 2013-08-20 Operator identification device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013170341A JP6171718B2 (en) 2013-08-20 2013-08-20 Operator identification device

Publications (2)

Publication Number Publication Date
JP2015039904A JP2015039904A (en) 2015-03-02
JP6171718B2 true JP6171718B2 (en) 2017-08-02

Family

ID=52694314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013170341A Active JP6171718B2 (en) 2013-08-20 2013-08-20 Operator identification device

Country Status (1)

Country Link
JP (1) JP6171718B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941896B1 (en) * 2020-05-20 2024-03-26 Kismet Technologies Inc. System and method for alerting and monitoring health and wellness conditions of an individual within a defined environment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6478221B2 (en) * 2015-03-31 2019-03-06 Kddi株式会社 Person identification device and program
JP2019073069A (en) * 2017-10-12 2019-05-16 京セラ株式会社 Vehicle, determination method, and determination program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08184449A (en) * 1994-12-28 1996-07-16 Aqueous Res:Kk Operation limiting device
JP2004196260A (en) * 2002-12-20 2004-07-15 Nissan Motor Co Ltd Display device for vehicle
JP2007038938A (en) * 2005-08-04 2007-02-15 Alpine Electronics Inc In-vehicle equipment operation device
JP4753735B2 (en) * 2006-02-06 2011-08-24 アルパイン株式会社 Car electronics
JP2007331692A (en) * 2006-06-19 2007-12-27 Xanavi Informatics Corp In-vehicle electronic equipment and touch panel device
JP4918872B2 (en) * 2007-03-12 2012-04-18 株式会社エクォス・リサーチ In-vehicle device
JP2009241707A (en) * 2008-03-31 2009-10-22 Fujitsu Ten Ltd Operator discrimination device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941896B1 (en) * 2020-05-20 2024-03-26 Kismet Technologies Inc. System and method for alerting and monitoring health and wellness conditions of an individual within a defined environment

Also Published As

Publication number Publication date
JP2015039904A (en) 2015-03-02

Similar Documents

Publication Publication Date Title
US11726577B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US11854550B2 (en) Determining input for speech processing engine
JP6030430B2 (en) Control device, vehicle and portable terminal
JP5911796B2 (en) User intention inference apparatus and method using multimodal information
JP5916888B2 (en) Direct grammar access
JP2003162294A (en) Method and device for detecting emotion
US20160247520A1 (en) Electronic apparatus, method, and program
JP2008058409A (en) Speech recognizing method and speech recognizing device
CN105812484B (en) Vehicle-mounted interactive system
JPWO2015128960A1 (en) In-vehicle control device and in-vehicle control method
JP6545716B2 (en) Visual content modification to facilitate improved speech recognition
JP2017090613A (en) Voice recognition control system
JP6171718B2 (en) Operator identification device
CN112673608A (en) Apparatus, method and program for determining cognitive state of user of mobile device
CN106104422A (en) Gesture assessment system, the method assessed for gesture and vehicle
US11009963B2 (en) Sign language inputs to a vehicle user interface
KR101652705B1 (en) Apparatus for predicting intention of user using multi modal information and method thereof
Qvarfordt Gaze-informed multimodal interaction
US11325605B2 (en) Information providing device, information providing method, and storage medium
KR20200029716A (en) Vehicle and controlling method of vehicle
CN107548483B (en) Control method, control device, system and motor vehicle comprising such a control device
JPWO2017195388A1 (en) Information processing apparatus, information processing method, and program
JP2004280673A (en) Information providing device
KR20140079025A (en) Method for providing a user interface using leg gesture recognition in a vehicle
KR20170029390A (en) Method for voice command mode activation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170619

R151 Written notification of patent or utility model registration

Ref document number: 6171718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151