WO2023119527A1

WO2023119527A1 - 携帯情報端末および情報処理方法

Info

Publication number: WO2023119527A1
Application number: PCT/JP2021/047712
Authority: WO
Inventors: 康宣橋本; 保伊藤; 治川前; 仁秋山; 信夫益岡
Original assignee: マクセル株式会社
Priority date: 2021-12-22
Filing date: 2021-12-22
Publication date: 2023-06-29

Abstract

面談者情報をユーザが保持する携帯情報端末に表示する従来の装置では、実際に面談者と対面する際、面談者に関する情報を面談直前のタイミングで速やかに取得することができず、かかる情報を面談開始後に取得していた。このため、面談開始時において話が噛み合わない等の不都合があった。代表的な実施の形態による携帯情報端末は、ユーザの周囲にいる人物が面談者となり得るか否かを当該人物の行動解析により判定し、面談者となり得ると判定した場合、当該人物に関する情報を取得しユーザに提示する。その結果、ユーザは、面談開始前ひいては当該人物を面談者として認識した時点において、既に面談者に関する情報を知っている。

Description

携帯情報端末および情報処理方法

　本発明は、携帯情報端末および情報処理方法に関する。

　かつて過去に直接対面して会話した人物（以下、「対面者」とも称する。）に関し、その人物と次に会うのが数年後のような場合、あるいは過去に何度か対面したが頻繁には会っていない人物がある日突然訪問してくるような場合は、少なからず発生する。

　そして、そのような過去に対面した人物と次に直接対面した際に、相手の情報（名前など）をすっかり忘却しており、会話が始まった段階で相手（対面者）は自分の名前を言えるのに、こちらは相手の名前を言えない（思い出せない）等の、気まずい事態が起こり得る。

　上記のような事態の発生を可能な限り避けることを目的として、ユーザの手帳等（紙や電子などの媒体を問わない）に、多くの友人や関係者の情報を記載して記録する方法もある。一方、そのような方法を実行したユーザでも、例えば、過去に対面した人物（言い換えると、手帳等に記録された人物の情報）が非常に多いような場合には、上記と同様の問題が発生し得る。

　より具体的には、手帳等に記録された人物（過去の対面者）の情報が多くなるほど、当該記録された人物の情報は、徐々に（例えば古いものから）ユーザの脳内の記憶（顕在意識）から失われてゆく。このため、過去に対面した人物がある日突然訪問して来た場合、ユーザは、対面者のキーワードを短時間で脳内から引き出すことができず、会話が始まった段階で相手の名前を言えない（思い出せない）等の、気まずい事態が起こり得る。

　最近では、顔写真を付けた電子情報を有する携帯情報端末を持ち歩き、面会前に事前に対面者（面談相手）の情報をチェックして、ユーザの記憶を呼び戻して面談に備えるということも行われるようになっている。このような電子情報を記憶した携帯情報端末は、対面者（面談相手）が予め分かっている場合には、有効なツールになり得る。しかしながら、上記と同様の場合、すなわち、顔写真等の電子情報が携帯情報端末に記憶されている人物が、ある日突然訪問して来てユーザに対面した等の場合には、やはり上記と同様の問題が発生し得る。

　他の側面から述べると、上記のようなツールを使うユーザは、突然の訪問者に対してとっさに名前等の情報が言えるようになるためには、ツールに記録された情報を頻繁にチェックして、常にユーザの記憶を呼び戻しておく必要がある。しかしながら、このような作業は、記録された情報が多くなるにつれて煩雑化および長時間化を招く問題がある。加えて、突然の来訪者は実際にはさほど多くない場合でも、近い将来に備えて非常に多くの人の情報の記憶を呼び戻す作業について、非効率と感じるあるいは抵抗感（難色）を示すユーザも少なくないと考えられる。

　総じて、上記のような携帯情報端末も、突然の来訪者にはユーザが対応できないという点で、有効なツールにならないものと考えられる。

　ところで、近年、顔認識技術の進歩や、小型のカメラを搭載した携帯情報端末の普及が進んでおり、これらの技術を利用することで、人物（面談相手）を識別し、かつ面談相手に関する情報を取得することが可能になりつつある。

　例えば、特許文献１では、ユーザが面談相手に対面し、かかる面談相手に関する情報を取得する手法に関する技術が記載されている。

特開２０１８－１０６５７９号公報

　特許文献１に記載の手法は、以下の手順で行われる。
（１）ユーザは、携帯情報端末であるＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）に備えられたカメラで面談相手を撮影する。
（２）当該撮影された画像について顔画像認証処理を行うことにより、顔画像を識別し、面談相手を特定する。
（３）特定された面談相手に関する情報を取得（入手）する。
（４）取得された面談相手に関する情報をユーザに報知する。

　しかしながら、特許文献１に記載の技術では、ユーザが面談相手に対面する必要があり、かかる対面後に、面談相手に関する情報を取得するので、情報取得までのタイムラグが発生する。言い換えると、特許文献１に記載の技術では、「この人物は私の面談相手である（らしい）」旨の判断をユーザが行う必要がある。その結果、ユーザは、相手に関する情報が無いまたは不足した状態で面談を開始することになり、対面当初において話が噛み合わない等の不都合が生じる。特に、面談相手の方がユーザより先にユーザに関する情報（名前、職業、など）を認識した場合は、上述したタイムラグに加えて、ユーザが「この人物は私の面談相手である（らしい）」と認識するまでのロスタイムが余計に発生する。

　本発明の目的は、面談相手の情報をユーザへより迅速に提供することが可能な携帯情報端末及び情報処理方法を提供することにある。

　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

　本発明の代表的な実施の形態による携帯情報端末は、ユーザの周囲にいる人物が面談者となり得るか否かを当該人物の行動解析により判定し、面談者となり得ると判定した場合、当該人物に関する付帯情報を取得しておく。その結果、ユーザが当該人物を面談者として認識した時点では、面談者に関する付帯情報をユーザが知っている状態となっている。

　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下のとおりである。

　すなわち、本発明の代表的な実施の形態によれば、ユーザの周囲にいる人物が面談者になり得るか否かの判定が携帯情報端末によって自動で実行され、なり得ると判定されたた場合、当該人物に関する付帯情報が取得される。したがって、面談相手の情報をユーザへより迅速に提供することができる。

本発明の概要を説明するための模式図である。実施の形態１におけるＨＭＤの一例を示す外観図である。実施の形態１のＨＭＤにおける内部構成例を示すシステム構成図である。実施の形態１における機能ブロック構成例を示す機能ブロック図である。実施の形態１における新規面談者処理のフローチャートである。実施の形態１における顔情報検出処理のサブルーチンを示すフローチャートである。実施の形態１における面談者情報を保存するテーブル例である。実施の形態１における面談者識別・情報取得処理のフローチャートである。実施の形態１における面談者情報処理のサブルーチンを示すフローチャートである。実施の形態２におけるＨＭＤ１の内部構成例を示すシステム構成図である。実施の形態２における機能ブロック構成例を示す機能ブロック図である。実施の形態２における新規面談者処理のフローチャートである。実施の形態２における音声情報検出処理のサブルーチンを示すフローチャートである。実施の形態２における面談者情報を保存するテーブル例である。実施の形態２における面談者識別・情報取得処理のフローチャートである。実施の形態２における面談者情報処理のフローチャートである。実施の形態３の概要を説明するための模式図である。実施の形態３における面談者識別・情報取得処理のフローチャートである。実施の形態３における音声情報単独処理のフローチャートである。実施の形態４で使用されるＨＭＤの一例を示す外観図である。実施の形態５における面談者識別・情報取得処理のフローチャートである。実施の形態１における情報表示の例である。実施の形態１における情報表示の例である。実施の形態５における情報表示の例である。

　以下、本発明を適用した実施の形態の具体例を、図面を参照して詳細に説明する。以下に説明する各実施の形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。なお、実施の形態において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。

　＜＜実施の形態１＞＞
　まず、図１～図３を参照して、本発明に係る実施の形態１について説明する。ここで、図１は、実施の形態１の概要を説明するための模式図である。また、図２は、実施の形態１におけるＨＭＤの一例を示す外観図である。さらに、図３は、実施の形態１のＨＭＤにおける内部構成例を示すシステム構成図である。

　図１では、眼鏡形状の透過型ＨＭＤ１を装着したユーザ１０の前方に、一人の人物１５がいる情景を模式的に示している。なお、説明の便宜のため、図１では透過型ＨＭＤ１をユーザ１０から離して示しているが、実際には、ユーザ１０は、その頭部前面（眼鏡装着位置）にＨＭＤ１を装着した状態で前方を見ているものとする。また、以下は、人物１５を「面談相手１５」と称する場合がある。

　本実施の形態の透過型ＨＭＤ１は、眼鏡のレンズ位置に半透明（透過型）の表示画面７５（表示部）を備えている。ユーザは、かかる透過型の表示画面７５を介して、実空間を視認することができる。また、表示画面７５には、拡張現実のＡＲオブジェクト（面談者情報）を表示することができる。従って、ＨＭＤ１の装着者（この例ではユーザ１０）は、表示画面７５に表示された拡張現実のＡＲオブジェクト（面談者情報）と、実空間の状況との両方を同時に視認することができる。

　図１では、ユーザ１０の視線方向１９に面談相手１５が存在しておらず、ユーザ１０が面談相手１５の存在を認識していない状態を示している。より具体的には、ユーザ１０の視野は、ＨＭＤ１を装着しているので、視線方向１９以外の実空間の視野が、裸眼で目視する場合の視野に比べてやや狭くなっている。これに対して、面談相手１５は、ユーザ１０が面談相手１５の存在を認識するより早く、ユーザ１０の存在を認識し、右手を上げている状態である。

　本実施の形態では、例えば図１に示す情景において、ＨＭＤ１は、起動後速やかにＨＭＤ１の周囲情報を、周囲情報取得装置を用いて取得する。一具体例では、「周囲情報」とは、映像、測距情報、音声のいずれか、またはそれらの組合せである。

　図３に示すブロックとの関係では、周囲情報取得装置は、ＨＭＤ１（ひいてはＨＭＤ１を携帯するユーザ１０）の周囲の映像を取得する撮像部７１、測距データ（ユーザと対象物との距離）を取得する測距センサ５５、人物の存在をおよび接近をより感知する人感センサ５６等を含むセンサ部５、および、ユーザの周囲の音声を収音（取得）するマイクロホン等の音声入力部８１が対応する。ＨＭＤ１は、上記の周囲情報取得装置を通じて取得された周囲情報を解析することにより、ユーザの周囲にいる（あるいは出現した）人物１５を認識する。

　なお、実施の形態１に係る図１では、周囲情報取得装置として撮像部７１のみを使用し、撮像部７１によってユーザの周囲の映像を周囲情報として取得する例を示している。これに対し、後述する実施の形態２では、周囲情報取得装置として撮像部７１および音声入力部８１を使用する。また、後述する実施の形態３では、周囲情報取得装置として音声入力部８１のみを使用する。

　ＨＭＤ１は、人物１５が面談相手となり得るかどうかを行動解析処理部７４により判断し、面談相手となり得ると判断した場合は、人物１５に関する付帯情報を取得する。取得された付帯情報は、情報提示部を通してユーザに提示される。

　この付帯情報の提示は、画像および音声のいずれか或いは双方によりなされる。画像により情報提示がなされる場合、情報提示部は、表示部７２により制御される表示画面７５が対応する。一方、音声により情報提示がなされる場合、情報提示部は、音声出力部８２が対応する。

　図１では、表示画面７５に人物１５に関する付帯情報を表示した例を示している。すなわち、図１では、人物１５に関する付帯情報として、氏名１８（この例では「山田太郎」）を表示画面７５に表示している。

　なお、本明細書においては、「映像」、「画像」の用語は、動画像と静止画像のどちらもあり得るものとする。

　図１に示すように、ＨＭＤ１は、ネットワーク網３３上のネットワークサーバ３２と接続可能に構成される。より具体的には、ＨＭＤ１は、図２で後述する通信処理部６によってアクセスポイント３１に接続し、アクセスポイント３１を介して、ネットワーク網３３に接続されたネットワークサーバ３２と通信を行う。図１に示すネットワークサーバ３２には、各種演算処理を行う処理サーバや、各種データを保存するデータサーバなど、種々のサーバが含まれる。したがって、ＨＭＤ１は、必要に応じて上記のサーバと通信を行うことで、外部の種々のリソースを活用することができる。

　図２は、本実施の形態で使用されるＨＭＤ１の１例を示した外観図である。眼鏡の左右レンズ位置に表示画面７５を構成し、眼鏡の右レンズ位置の端に右カメラ７１１と、眼鏡の左レンズ位置の端に左カメラ７１２を配置している。

　また、マイクは図示していないが、右カメラ７１１の近傍と左カメラ７１２の近傍に配置している。また、スピーカは、眼鏡の蔓にあたる部分に、右スピーカ８２１と左スピーカ８２２を配置している。

　また、ＨＭＤ１の回路等の電子部品は、右筐体１１１と左筐体１１２に分割して格納している。

　以下、本開示における課題、すなわち面談相手の情報をユーザへより迅速に提供することを実現するための具体的手法について、図面を参照して、より詳細に説明する。

　［ＨＭＤのシステム構成例］
　本発明で利用するＨＭＤ１の本体には、以下で説明する種々のブロックで構成されている。

　図３は、上述したＨＭＤ１における内部構成の一例を示すシステム構成図である。図３に示すように、ＨＭＤ１は、主制御部２、システムバス３、記憶部４、センサ部５、通信処理部６、映像処理部７、音声処理部８、操作入力部９、などを備えて構成される。

　主制御部２は、所定の動作プログラムに従ってＨＭＤ１全体を制御するマイクロプロセッサユニットである。システムバス３は、主制御部２とＨＭＤ１内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。

　記憶部４は、ＨＭＤ１の動作を制御するためのプログラムなどを記憶するプログラム部４１、動作設定値やセンサからの検出値やコンテンツを含むオブジェクトやライブラリからダウンロードしたライブラリ情報などの各種のデータを記憶するデータ記憶部４２、各種プログラム動作で使用するワークエリアなどの書き替え可能なプログラム機能部４３から構成している。

　また、記憶部４は、ネットワーク上からダウンロードした動作プログラムや、前記動作プログラムで作成した各種データ等を記憶可能である。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、カメラによる撮影機能を使用して撮影した動画や静止画等のデータを記憶可能である。また、記憶部４は、必要な情報（閾値等の設定値や画像データ等）を予め記憶しておくことが可能である。

　また、記憶部４は、ＨＭＤ１に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、記憶部４は、例えば、フラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などの半導体素子メモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などの磁気ディスクドライブ、等のデバイスが用いられる。なお、記憶部４に記憶された各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することができるようになっている。

　センサ部５は、ＨＭＤ１の状態を検出するための各種センサのセンサ群（言い換えると「センサ装置」）である。センサ部５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部５１、地磁気センサ５２、加速度センサ５３、ジャイロセンサ５４、測距センサ５５、人感センサ５６などで構成される。

　センサ部５は、上記の種々のセンサを通じて、ＨＭＤ１の位置、傾き、方角、動き、等を検出することができ、また、対象（面談相手、その他の種々のもの）との距離を測定することができる。このため、センサ部５は、面談相手の情報を含む周囲情報を取得する周囲情報取得装置の一部を構成する。

　上記のうち、測距センサ５５は、例えば光学式のＴｏＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）形式のものであり、ＨＭＤ１およびユーザ１０の周囲（以下は簡明のため、単に周囲と称する場合がある）の対象物（人物および人物の付帯物（例えば、眼鏡、帽子、杖、旗、衣服、マスクなど）、および、建物、道路、など）との距離を測定する。

　なお、以下は簡明のため、「ＨＭＤ１およびユーザ１０の周囲」を単に「周囲」と称する場合がある。

　また、人感センサ５６は、例えば赤外線式のものであり、周囲に存在する上述した種々の対象物のうちの人物（人間）を、選択的に感知することができる。

　加えて、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部５１は、衛星通信を利用して現在位置情報を取得することにより、ＨＭＤ１の場所、言い換えると周囲情報が取得される場所を取得することができる。また、現在位置情報を取得するために、他のシステム、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｉｔｅ　Ｓｙｓｔｅｍ）の中の他のシステムを用いても構わない。

　なお、センサ部５は、さらに他のセンサ、例えば、照度センサ、高度センサなどの検出ないし測定デバイスを備えていてもよく、これらのセンサも周囲情報取得装置の構成要素となり得る。

　通信処理部６は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信部６１、電話網通信部６２などを備える通信装置である。このうち、ＬＡＮ通信部６１は、アクセスポイント３１等を介してインターネット等のネットワーク網３３（適宜、図１を参照）と接続され、ネットワーク網３３上の各ネットワークサーバ３２とデータの送受信を行う。ＬＡＮ通信部６１とアクセスポイント３１等との接続は、Ｗｉ－Ｆｉ（登録商標）等の無線通信により行われる。

　なお、主制御部２は、通信処理部６（通信装置）を介して、ＨＭＤ１が行う特徴的な処理の少なくとも一部を外部のサーバ（ネットワークサーバ３２）に行わせることができる。

　電話網通信部６２は、移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局等との通信は、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）方式、５Ｇ方式（高速大容量、低遅延、多数同時接続を目指した第５世代移動通信システム）、或いはその他の通信方式によって行われてもよい。

　ＬＡＮ通信部６１、電話網通信部６２は、それぞれ符号化回路や復号回路やアンテナ等を備える。また、通信処理部６は、赤外線通信部など、他の通信部を更に備えていてもよい。

　映像処理部７は、撮像部７１と、表示部７２と、顔情報処理部７３と、行動解析処理部７４とを備えている。

　撮像部７１は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データ（映像）を入力するカメラである。本実施の形態では、撮像部７１は、右カメラ７１１、左カメラ７１２、などを備える。

　かかる撮像部７１（右カメラ７１１、左カメラ７１２、）は、面談相手の情報を含む周囲情報を取得する周囲情報取得装置の一部（撮像装置または画像取得装置）を構成する。

　表示部７２は、例えば、半透明の液晶による透過型ディスプレイの表示デバイス（液晶表示装置）である。表示部７２は、表示画面７５（適宜、図２２Ａ,図２２Ｂ，図２３を参照）を構成し、面談相手に関する付帯情報等を、ＨＭＤ１のユーザ１０に提供する。

　顔情報処理部７３は、撮像部７１で撮影された面談者の映像から、顔情報を抽出する処理部である。顔情報処理部７３が主体となって実行する処理の詳細については後述する。

　行動解析処理部７４は、撮像部７１で撮影された人物の映像や、測距センサ５５で測定された人物との距離から、人物の行動解析を行う処理部である。行動解析処理部７４が主体となって実行する処理の詳細については後述する。

　一具体例では、顔情報処理部７３および行動解析処理部７４は、各々、別個のプロセッサで構成される。他の例として、これら処理部７３，７４が同一のプロセッサで構成されてもよい。

　音声処理部８は、音声入力部８１と、音声出力部８２とで構成される。

　音声入力部８１は、実空間の音やユーザの音声などを音声データに変換して入力するマイクロホン（以下、マイクと略称する場合がある）である。本実施の形態では、右カメラ７１１と左カメラ７１２の近傍に、それぞれマイクを配置している。

　音声入力部８１は、面談相手の情報を含む周囲情報を取得する周囲情報取得装置の一部（収音装置または音声取得装置）を構成する。

　音声出力部８２は、ユーザに必要な音声情報等を出力するスピーカである。本実施の形態では、音声出力部８２は、ユーザの耳に近い位置に、右スピーカ８２１と左スピーカ８２２を配置している。図示しないが、音声出力部８２は、イヤホン、ヘッドホンなどの外部の音声出力機器を接続するための有線または無線の端子を備えていてもよい。このような構成のＨＭＤ１によれば、音声の出力方法ないし経路を、用途等に応じて適宜に使い分けることができる。

　操作入力部９は、ＨＭＤ１に対する操作指示等の入力を行うキースイッチ等を備えたハードウェア装置であり、ユーザの操作内容（入力指示）に従った操作入力信号を主制御部２に出力する。

　本開示において、操作入力部９および主制御部２は、ＨＭＤ１における特徴的な機能（例えば、周囲情報取得、行動解析処理、情報提示、など）についての設定を行うための、設定部ないし設定処理装置として機能する。設定部ないし設定処理装置の他の構成要素として、上述した表示部７２を含めてもよい。

　なお、図３に示したＨＭＤ１のハードウェア構成例では、上述した課題を解決するための構成と関連性が低い部品等も含まれている。したがって、課題解決との関連性が低い部品等を備えない構成であっても、本実施の形態における特有の効果を損なうことはない。また、電子マネー決済機能等、図示していない構成が更に加えられていてもよい。

［本実施の形態の機能ブロック］
　図４は、本実施の形態のＨＭＤ１における機能ブロック構成の一例を示す機能ブロック図である。制御機能２１は、ＨＭＤ１の全体を制御する機能であり、図４に示すように、主に、主制御部２と、記憶部４のプログラム部４１及びプログラム機能部４３によって構成される。

　上記のうち、通信処理機能２２は、通信処理部６のＬＡＮ通信部６１や、通信処理部６の電話網通信部６２により、ネットワーク網３３に接続するための通信処理を行う機能である（適宜、図１および図３も参照）。

　撮影データ取得機能２３は、映像処理部７の撮像部７１（右カメラ７１１、左カメラ７１２）により、面談者を撮影し、撮影データを取得する機能である。

　顔情報処理機能２４は、撮影データ取得機能２３で取得した面談者の映像から、顔情報処理部７３により顔情報を解析し、面談者を判別する機能である。顔情報処理の詳細については、後述する。

　顔情報保存機能２５は、顔情報処理機能２４で得られた面談者を判別する顔情報を、記憶部４のデータ記憶部４２に保存する機能である。

　面談者情報保存機能２６は、面談者に関する付帯情報を、記憶部４のデータ記憶部４２に保存する機能である。

　面談者情報出力機能２７は、面談者情報保存機能２６に保存されている面談者に関する付帯情報を読み出して、映像処理部７の表示部７２に表示する機能である。

　行動解析処理機能３０は、撮影データ取得機能２３で取得した人物の映像と、測距データ取得機能１０００で取得した人物との距離から、行動解析処理部７４により人物の行動を解析し、人物が面談候補者になるか否かを判定する機能である。面談候補者判定処理の詳細については、後述する。

　［本実施の形態の処理手順］
　図５は、本実施の形態における新規面談者の情報を取得する新規面談者処理（ステップＳ４００）の手順を示すフローチャートである。以下に、図５に示す処理手順を、図４の機能ブロック図を参照して説明する。

　なお、新規面談者処理（ステップＳ４００）の実行にあたっては、個人情報保護の観点から、予め新規面談者の了解が得られていることを前提とする。

　図５に示す新規面談者処理（ステップＳ４００）は、例えば以下のような手順により実行される。すなわち、ソフトウェアの起動やメモリのリセットなどの開始処理（ステップＳ４０１）の後、先ず、新規面談者を撮影する（ステップＳ４０２）。これは、新規面談者の映像から顔情報を取得するための前処理に相当する。

　具体的には、ステップＳ４０２では、主制御部２の制御の下、映像処理部７の撮像部７１が動作することにより、ＨＭＤ１のユーザの前方の背景ないし被写体が撮影される。以下、ユーザの前方の被写体に新規面談者がいる場合を前提として説明する。

　次に、定義済み処理（サブルーチン）である顔情報検出処理（ステップＳ４２０）が行われる。この顔情報検出処理（ステップＳ４２０）は、新規面談者の顔情報を取得する処理である。具体的には、ステップＳ４２０では、主制御部２の制御の下、映像部処理７の顔情報処理部７３が、ステップＳ４０２で撮影された被写体の画像を解析することによって、新規面談者の顔情報を取得する。この処理により、新規面談者を識別する顔情報が得られる。

　ここで、ステップＳ４２０（顔情報検出処理）のより詳細な処理手順を、図６を参照して説明する。図６は、顔情報検出処理（ステップＳ４２０）のサブルーチンの処理手順を示すフローチャートである。

　以下に、図６に示す処理手順を、図３のブロック図および図４の機能ブロック図を参照して説明する。顔情報処理部７３は、顔情報処理機能２４を遂行するために、記憶部４のプログラム部４１に格納されている顔認識方法のプログラムを読み出し、順次実行する。

　具体的には、顔情報処理部７３は、ソフトウェアの起動やメモリのリセットなどの開始処理（ステップＳ４２１）の後、先ず、顔輪郭検出プログラムにより、撮影フレーム中の新規面談者の顔輪郭を検出する処理を行う（ステップＳ４２２）。

　続くステップＳ４２３において、顔情報処理部７３は、顔輪郭検出処理（ステップＳ４２２）によって新規面談者の顔輪郭が検出されたか否かを判定する。

　ここで、顔情報処理部７３は、新規面談者の顔輪郭が検出されていないと判定した場合（ステップＳ４２３：ＮＯ）、顔検出エラーを設定する顔検出エラー設定処理（ステップＳ４２８）に移行する。

　一方、顔情報処理部７３は、新規面談者の顔輪郭が検出されていると判定した場合（ステップＳ４２３：ＹＥＳ）は、顔要素検出処理（ステップＳ４２４）に移行する。

　顔要素検出処理（ステップＳ４２４）では、顔情報処理部７３は、顔要素検出部プログラムによって、顔の輪郭の内部の目、鼻、口、等の顔の要素を検出する処理を行う。

　続くステップＳ４２５において、顔情報処理部７３は、顔輪郭検出処理（ステップＳ４２４）によって新規面談者の顔要素が検出されたか否かを判定する。

　ここで、顔情報処理部７３は、顔輪郭検出処理（ステップＳ４２４）によって新規面談者の顔要素が検出されていないと判定した場合（ステップＳ４２５：ＮＯ）、顔検出エラーを設定する顔検出エラー設定処理（ステップＳ４２８）に移行する。

　一方、顔情報処理部７３は、顔輪郭検出処理（ステップＳ４２４）によって新規面談者の顔要素が検出されていると判定した場合は、次の顔特徴量検出処理（ステップＳ４２６）に移行する。

　顔情報特徴量検出処理（ステップＳ４２６）では、顔情報処理部７３は、顔特徴量検出プログラムによって、各要素の大きさ、位置、要素間の位置関係等の顔特徴量を検出する処理を行う。

　続くステップＳ４２７において、顔情報処理部７３は、顔情報特徴量検出処理（ステップＳ４２６）によって新規面談者の顔特徴量が検出されたか否かを判定する。

　ここで、顔情報処理部７３は、顔情報特徴量検出処理（ステップＳ４２６）によって新規面談者の顔特徴量が検出されていないと判定した場合（ステップＳ４２７：ＮＯ）、顔検出エラーを設定する顔検出エラー設定処理（ステップＳ４２８）に移行する。

　一方、顔情報処理部７３は、顔情報特徴量検出処理（ステップＳ４２６）によって新規面談者の顔要素が検出されていると判定した場合（ステップＳ４２７：ＹＥＳ）、顔情報検出処理（ステップＳ４２０）を終了する（ステップＳ４２９）。

　また、顔検出エラー設定処理（ステップＳ４２８）では、顔情報処理部７３は、顔検出エラーがどの段階で発生したかを明示し、顔情報検出処理（ステップＳ４２０）を終了する（ステップＳ４２９）。

　他の例として、上述した本顔情報検出処理（ステップＳ４２０）を、ネットワークサーバ３２によって行う構成としてもよい。この場合、ＨＭＤ１の主制御部２は、映像処理部７（撮像部７１）で撮影された新規面談者の映像を、ネットワーク網３３を介して、顔情報検出処理を行うネットワークサーバ３２に送信するように、通信処理部６を制御する。続いて、ＨＭＤ１の主制御部２は、ネットワークサーバ３２により実行された顔情報の検出結果（のみ）を、ネットワーク網３３を介して、ネットワークサーバ３２から受信する。

　ここで、図５のフローチャートの処理手順の説明に戻る。顔情報処理部７３は、上述した顔情報検出処理（ステップＳ４２０）に続くステップＳ４０３において、顔情報検出処理（ステップＳ４２０）によって新規面談者の顔情報が取得できたか否かを判定する。

　ここで、顔情報処理部７３は、顔情報検出処理（ステップＳ４２０）の処理により新規面談者の顔情報が取得できなかったと判定した場合（ステップＳ４０３：ＮＯ）、保存すべき顔情報がないものと判断し、新規面談者情報処理（ステップＳ４０５）に移行する。

　一方、顔情報処理部７３は、顔情報検出処理（ステップＳ４２０）の処理により新規面談者の顔情報が取得できたと判定した場合（ステップＳ４０３：ＹＥＳ）、顔情報保存処理（ステップＳ４０４）に移行する。

　顔情報処理部７３は、顔情報保存処理（ステップＳ４０４）では、顔情報保存機能２５（図４を参照）の遂行により、面談者の顔識別に係わる面談者の顔特徴量を、記憶部４のデータ記憶部４２に保存する。次に、顔情報処理部７３は、新規面談者情報取得処理（ステップＳ４０５）に移行する。

　新規面談者情報取得処理（ステップＳ４０５）は、新規面談者の付帯情報を取得する処理である。このステップＳ４０５において、顔情報処理部７３は、新規面談者の氏名や年齢などの、新規面談者に関する付帯情報を取得する処理を行う。

　次に、顔情報処理部７３は、新規面談者情報取得処理（ステップＳ４０５）によって新規面談者に関する付帯情報が取得できたか否かを判定する（ステップＳ４０６）。

　ここで、顔情報処理部７３は、新規面談者に関する付帯情報が取得できなかったと判定した場合（ステップＳ４０６：ＮＯ）、図５に示す新規面談者処理（ステップＳ４００）を終了する（ステップＳ４０８）。

　一方、顔情報処理部７３は、新規面談者に関する付帯情報が取得できたと判定した場合（ステップＳ４０６：ＹＥＳ）、ステップＳ４０７に移行する。ステップＳ４０７において、顔情報処理部７３は、面談者情報保存機能２６（図４を参照）の遂行により、当該取得された新規面談者に関する付帯情報を、記憶部４のデータ記憶部４２に保存し、この後、図５に示す新規面談者処理（ステップＳ４００）を終了する（ステップＳ４０８）。

　なお、この新規面談者に関する付帯情報が、ネットワークサーバ３２に保存されている場合は、ＨＭＤ１は、主制御部２の制御の下、新規面談者に関する付帯情報を、ネットワーク網３３を介して、ネットワークサーバ３２から取得することもできる。この場合も、顔情報処理部７３は、ネットワークサーバ３２から取得された新規面談者に関する付帯情報を記憶部４のデータ記憶部４２に保存した後に、新規面談者処理（ステップＳ４００）を終了する（ステップＳ４０８）。

　図７は、記憶部４のデータ記憶部４２に保存されている面談者情報の一例を示したテーブルである。

　図７に示す面談者テーブル（Ｔ８４０）は、人物（面談者など）の種別を示す人物欄８６０と、ユーザおよび各面談者（面談者１，面談者２，…面談者ｎ）に関する情報（項目）を示す項目欄８５０と、が対応付けられた構成となっている。

　上記のうち、項目欄８５０は、顔情報８５１と、面談者に関する付帯情報８５２と、の二つの項目から構成されている。

　一方、人物欄８６０には、面談者（８６２～８６４）に加えて、ユーザ８６１が登録されている。なお、本来的には面談者の種別を示す人物欄８６０にユーザ８６１が存在するのは、比喩的に言うと、携帯電話におけるプロフィールのようなものである。また、ユーザ（８６１）の顔情報８５１は、例えば、鏡を用いた撮影（この場合、左右が反転した画像が得られる）、あるいは、いわゆる「自撮り」などによって取得できる。

　図７に示すような面談者テーブル（Ｔ８４０）は、ネットワーク網３３を介して、ネットワークサーバ３２に保存することもできる。特に、顔特徴量に関しては、顔特徴量から面談者を特定する処理に特化したネットワークサーバ３２を活用することにより、面談者を特定する処理の高速化を図ることができる。

　本実施の形態では、図５、図６で上述した処理と、図７に示すようなデータ構造のテーブルを用いることによって、新規面談者の顔情報と、新規面談者に関する付帯情報を取得し、ＨＭＤ１内に保存することができる。

　〔面談者識別・情報取得処理〕
　次に、面談者を識別し、面談者に関する付帯情報を取得する処理について説明する。図８は、本実施の形態における骨子である、面談者になり得るかどうかを判断し、面談者になり得る場合は、面談者に関する付帯情報を事前に取得する処理（面談者識別・情報取得処理）の手順を示すフローチャートである。

　図８の処理手順については、図３のブロック図および図４の機能ブロック図を参照して説明する。なお、以下の説明では、図８に示す各処理の主体を主制御部２として説明するが、処理の一部または全部を行動解析処理部７４が行っても構わない。

　ＨＭＤ１が起動されると、主制御部２は、面談者識別、情報取得等の処理を行うべく、速やかにその処理を開始（ステップＳ４３１）する。

　面談者識別・情報取得処理が開始（ステップＳ４３１）されると、主制御部２は、先ず、周囲撮影処理（ステップＳ４３２）を行う。これは、ＨＭＤ１の周囲すなわちユーザ１０の周囲の環境（風景ないし景色）を、撮影データ取得機能２３により撮影し、撮影データを取得する処理である。

　ここで、取得する撮影データは、動画であっても静止画であってもよい。撮影データが動画である場合、静止画の場合と比較して、行動解析の精度が高くなることが期待できる。一方、撮影データが静止画である場合、動画の場合と比較して、ＨＭＤ１の消費電力が抑えられることが期待できる。なお、行動解析の精度を一定以上に確保する観点からは、撮影データが静止画である場合、所定の周期毎に撮像すなわち静止画を取得すると良い。

　上記の処理を実行するため、主制御部２は、撮像部７１による撮像を開始するように映像処理部７を制御する。このとき、映像処理部７は、撮像部７１（カメラ）によって撮像し、撮像された画像を顔情報処理部７３および行動解析処理部７４によって解析し、解析結果を主制御部２に出力する。

　解析結果を映像処理部７から受信した後のステップＳ４３３において、主制御部２は、取得された画像（以下、「撮影データ」と称する）中に、人物が存在しているか否かを判定する。

　ここで、主制御部２は、撮影データ中に人物が存在していないと判定した場合（ステップＳ４３３、ＮＯ）、ステップＳ４３４の終了指示判別処理に移行する。

　一方、主制御部２は、撮影データ中に人物が存在していると判定した場合（ステップＳ４３３、ＹＥＳ）、ステップＳ９００の面談候補者判定処理に移行する。

　ステップＳ９００（面談候補者判定処理）において、主制御部２は、ユーザの周囲にいる人物が、面談者になりうるか否かを判定する。この判定は、行動解析処理部７４による撮影データ中の人物の行動解析結果に基づき、その人物の注意がユーザに向けられていた場合に、面談者になりうる、と判定する。この判定のために、動画または静止画を追加で撮影してもよい。

　ここで、人物の注意がユーザに向けられている、と判断する条件は、例えば下記のような行為（人物の行動）が挙げられる。
（条件１）人物の視線方向がユーザの方向である。
（条件２）人物がユーザに対して手を挙げる等の挨拶行為を行っている。
（条件３）人物がユーザに向かって近づいて来ている。
　（条件４）人物がユーザの名前を呼んでいる、または自分（あるいは当該人物が所属する会社や組織など）の名前を発言している。

　上記のうち、条件４については人物の発声（音声）に基づく行動であるため、画像から取得（抽出）することは必ずしも容易でないと考えられる。より具体的には、例えば動画像中の人物の唇の動きを解析することによって、当該人物が発言した内容（発声音）を推定することはできる。一方で、昨今の社会情勢では、種々の病気（例えば新型コロナウイルス）に対する感染予防等を目的としてマスクを着用する事例が増えており、この場合、人物の唇の動きを解析することが困難になると考えられる。

　上記の事情を考慮して、実施の形態１では主として条件１～３について考察し、条件４に関しては実施の形態２および３で説明する。

　上述した条件１～３は、人物の身体の動作に基づく行動であり、概して「ユーザに対する関心を示す行動」と定義することができる。このため、主制御部２（行動解析処理装置）は、撮影データ（周囲情報）に含まれる人物の行動が、ユーザ１０に対する関心を示す行動である場合に、当該人物は面談者になりうる（ステップＳ９００、ＹＥＳ）と判定する。

　以下、面談者になりうる者（人物）を適宜、「面談候補者」と称して説明する。

　なお、上述した条件１～条件３は、あくまでも「ユーザに対する関心を示す行動」の例の一部を示したものであって、実際の運用では他にも様々な条件（人物の行動の態様）を加えることができる。

　さらに、例外的な処理（判定基準）として、主制御部２は、例えば上述した人感センサ５６の検知結果に基づき、ユーザと人物の距離が予め定められた一定距離よりも近づいた場合は、上記の条件に関わらず、当該人物は面談候補者である（ステップＳ９００、ＹＥＳ）と判定してもよい。これは、例えばユーザ１０がマスクを着用している等により、相手の人物が、ユーザ１０の近くに来て初めてユーザ１０の素性に気が付くような場合もあり得るからである。

　また、別の例外的な処理（判定基準）として、主制御部２は、人物の注意がユーザに向けられていても（例えば条件１～３の全てを満たしている場合であっても）、面談候補者としない、すなわちステップＳ９００でＮＯと判定する処理を行ってもよい。

　これは例えば、店舗における店員、会社の受付等の受付員等の施設における応対者、また、警備員等、職業的対応としてユーザに関心を向けているだけの場合などを考慮したものである。より具体的には、これらの人物については付帯情報を登録していないのが通常であり、これらの人物に対する付帯情報の取得の処理を行うと、真に必要な人物に対する付帯情報の取得が妨げられるおそれがあるためである。

　また、真に必要な人物に対する付帯情報の取得を優先する観点からは、自宅等、知っている人物としか対面しないような特定の場所では、図８に示す処理を行わない（当該機能を自動的に停止する）こととしてもよい。この場合、主制御部２は、ＧＰＳ受信部５１（図３を参照）の受信情報に基づいて、「特定の場所」であるか否かを判定すればよい。

　さらに、真に必要な人物に対する付帯情報の取得を優先する観点からは、家族等、頻繁に会う人物については、ステップＳ４２０およびステップＳ４５０の処理対象者から除外してもよい（いわゆる「除外対象人物」の設定）。また、ステップＳ４２０およびステップＳ４５０の処理を一度行った人物に関しては、一定期間はステップＳ４２０およびステップＳ４５０の処理を行わないようにしてもよい（いわゆる「表示停止期間」の設定）。

　上述した種々の例外的な処理の設定（いわゆる除外設定）は、例えばユーザが操作入力部９を操作することにより行えるようにすることができる。上述した種々の除外的な設定または除外処理を行うことにより、不必要な情報提示を抑制でき、真に必要な人物に対する付帯情報の取得を素早く取得することに貢献することから、利便性が向上する。

　主制御部２は、ステップＳ９００の面談候補者判定処理で、周囲にいる人物が面談候補者ではない、と判断した場合は、ステップＳ４３４の終了指示判定処理に移行する。

　ステップＳ４３４において、主制御部２は、例えば操作入力部９からの入力信号を監視して、ユーザ１０等により本実施の形態の処理終了が指示されたか否かを判定する。

　ここで、主制御部２は、処理終了が指示されたと判定した場合（ステップＳ４３４：ＹＥＳ）、図８に示すルーチン（面談候補者判定・情報取得処理）を終了する（ステップＳ４３６）。

　一方、主制御部２は、未だ処理終了が指示されていないと判定した場合（ステップＳ４３４：ＮＯ）、図８に示すルーチンを継続すべく、ＨＭＤ１の周囲を撮影する周囲撮影処理（ステップＳ４３２）に戻る。

　かくして、主制御部２は、ステップＳ９００の面談候補者判定処理で、周囲にいる人物が面談候補者である、と判定した場合（ステップＳ９００：ＹＥＳ）、定義済処理（サブルーチン）である顔情報検出処理（ステップＳ４２０）を行う。

　なお、主制御部２は、面談候補者の情報取得前であっても、例えば図２２Ａに示すように、携帯情報端末が面談候補者を認識した旨の表示１１００（図示の例では「面談候補者がいます」とのメッセージ表示）を行ってもよい。その際、主制御部２は、面談候補者の位置をユーザに知らせるため、当該人物を示すマーク１１０１を重畳的に表示してもよい。マーク１１０１につき、図示の例では面談候補者としての人物１５の周囲を囲う図形を表示しているが、例えば人物１５を指し示す「矢印」など、他の図形であってもよい。

　また、顔情報検出処理（ステップＳ４２０）の詳細については、図６のフローチャートで説明したので、ここでの説明は省略する。

　主制御部２は、顔情報検出処理（ステップＳ４２０）の終了後に、定義済み処理（サブルーチン）である面談者情報処理（ステップＳ４５０）を行う。この面談者情報処理（ステップＳ４５０）は、面談者の識別と、該当面談者に関する付帯情報を取得する処理である。

　主制御部２は、面談者情報処理（ステップＳ４５０）の終了を待って、本実施の形態の面談者識別・情報取得処理を終了する（ステップＳ４３６）。

　ここで、面談者情報処理のより具体的な内容（ステップＳ４５０のサブルーチンの処理）について説明する。図９は、サブルーチンである面談者情報処理（ステップＳ４５０）の処理手順を示すフローチャートである。かかる図９に示す処理手順について、適宜、図３のハードウェアブロック図および図４の機能ブロック図を参照して説明する。

　主制御部２は、ステップＳ４５０の処理（面談者情報処理）が開始（ステップＳ４５１）されると、先ず、顔情報検出処理（ステップＳ４２０）において検出された顔情報が、既知の面談者の顔情報であるか否かを判定する（ステップＳ４５２）。

　この例では、主制御部２は、顔情報検出処理（ステップＳ４２０）において検出された顔情報（顔特徴量）と、顔情報保存機能２５により保存されている顔情報（顔特徴量）とを比較し、酷似する場合（例えば、顔の外形（輪郭）の一致度が予め設定された閾値内で一致している場合）は、既知面談者として判別する。なお、近年では、感染症予防等のためにマスク着用者が増えていることから、マスク着用者については、主制御部２は、顔の外形（輪郭）のうち、マスク部分以外の顔の外形（輪郭）の一致度が上記の閾値内であるか否かを判定する。

　主制御部２は、ステップＳ４５２でＮＯと判定された場合、すなわち検出された顔情報（顔特徴量）と保存されている顔情報（顔特徴量）とが一致しなかった場合、あるいは、顔情報検出処理（ステップＳ４２０）において、人物が特定できるほどの顔情報が検出できなかった場合は、既知面談者ではないと判断して、ステップＳ４００に移行する。

　一方、主制御部２は、ステップＳ４５２でＹＥＳと判定された場合、すなわち検出された顔情報（顔特徴量）と保存されている顔情報（顔特徴量）とが一致した場合、ステップＳ４５３に移行する。主制御部２は、ステップＳ４５３において、面談者情報保存機能２６により保存されている既知面談者に関する付帯情報を取得し、ステップＳ４５４に移行する。

　主制御部２は、ステップＳ４５４において、既知面談者に関する付帯情報に修正が必要か否かを判定する。

　ここで、主制御部２は、既知面談者に関する付帯情報に修正が必要でないと判定した場合（ステップＳ４５４：ＮＯ）、面談者情報出力処理（ステップＳ４５７）に移行する。

　一方、主制御部２は、既知面談者に関する付帯情報に修正が必要であると判定した場合（ステップＳ４５４：ＹＥＳ）、修正後の面談者情報を保存する面談者修正情報保存処理（ステップＳ４５５）に移行する。

　面談者修正情報保存処理（ステップＳ４５５）では、主制御部２は、面談者情報保存機能２６にて保存された面談者情報を修正し、修正後の面談者情報を保存する。主制御部２は、面談者修正情報保存処理（ステップＳ４５５）の終了後、面談者情報出力処理（ステップＳ４５７）に移行する。

　これに対して、ステップＳ４５２の判別処理で、既知面談者でないと判定された場合（ステップＳ４５２：ＮＯ）、面談者に関する情報が無いので、新規に面談者に関する情報を取得する必要がある。そこで、主制御部２は、本実施の形態の新規面談者処理（ステップＳ４００）を行う。なお、新規面談者処理（ステップＳ４００）の詳細については、図５のフローチャートで説明したので、ここでの説明は省略する。

　次に、主制御部２は、新規面談者処理（ステップＳ４００）にて、面談者情報が得られたか否かを判定する（ステップＳ４５６）。

　ここで、主制御部２は、新規面談者情報が得られたと判定した場合（ステップＳ４５６：ＹＥＳ）、面談者情報出力処理（ステップＳ４５７）に移行する。なお、新規面談者処理（ステップＳ４００）において、面談者に関する付帯情報が取得できた場合は、新規面談者情報が保存済みであることから、面談者情報出力処理（ステップＳ４５７）に移行することができる。

　面談者情報出力処理（ステップＳ４５７）では、主制御部２は、面談者に関する付帯情報を面談者情報出力機能２７により、外部に出力する。本実施の形態では、主制御部２は、映像処理部７の表示部７２に面談者の情報１１０２を表示出力する（図２２Ｂを参照）。

　主制御部２は、面談者情報出力処理（ステップＳ４５７）の終了後、面談者情報処理（ステップＳ４５０）を終了する（ステップＳ４５８）。また、主制御部２は、ステップＳ４５６の判断処理で、面談者情報が得られなかったと判断した場合も、面談者情報処理（ステップＳ４５０）を終了する（ステップＳ４５８）。

　本実施の形態では、新規面談者の顔情報及び新規面談者に関する付帯情報を予め取得・保存している。そして、主制御部２は、ユーザが認識する前に、周囲にいる人物が面談者となり得るか否を、その人物の行動解析により判定し、面談者となり得ると判定した場合は、付帯情報としての当該人物に関する名前等の文字情報を、表示画面７５に表示することでユーザ１０に提示する（図２２Ｂ等を参照）。

　他の例として、保存および提示する付帯情報は、イラスト等の図形情報でもよく、あるいは右スピーカ８２１や左スピーカ８２２からの出力を利用した音声情報でもよい。

　このように、実施の形態１のＨＭＤ１（携帯情報端末は、当該端末およびユーザ１０の周囲情報を取得する周囲情報取得装置（センサ部５、撮像部７１、音声入力部８１）と、取得された周囲情報に含まれる人物の行動を解析することにより、ユーザ１０への面談候補者（ユーザに面談しようとしている人物）がいるか否かを判定する行動解析処理装置（主制御部２、行動解析処理部７４）と、面談候補者がいると判定された場合、当該人物に対応する付帯情報をユーザ１０に提示する情報提示装置（表示部７２）と、を備える。

　かかるＨＭＤ１によれば、面談相手の付帯情報をユーザ１０へより迅速に提供することができ、ユーザ１０が当該人物を面談者として認識した時点では、面談者に関する付帯情報をユーザ１０が知っている状態となっている。

　したがって、本開示のＨＭＤ１によれば、従来装置で問題となっていたタイムラグの問題、すなわち、相手に関する情報が無いまたは不足した状態で面談を開始し、対面当初において話が噛み合わない等の不都合が生じる等の問題を、有効に防止することができる。

　＜＜実施の形態２＞＞
　以下では、本開示の実施の形態２について説明する。なお、実施の形態２の基本的なハードウェア構成及びソフトウェア構成は前述の実施の形態１と同様であり、以下では、本実施の形態（実施の形態２）と前述の実施の形態１との相違点に関して主に説明し、共通する部分は重複を避けるため極力説明を省略する。

　前述の実施の形態１では、面談者の顔情報を用いて面談候補者の識別を行った。これに対して、本実施の形態では、人物の音声情報を加味して、面談候補者の識別を行う。以下、本実施の形態について説明する。

　［実施の形態２のシステム構成例］
　図１０は、本実施の形態で使用する本ＨＭＤ１における内部構成の一例を示すシステム構成図である。図１０に示すシステム構成図は、図３のシステム構成図とほぼ同じであり、図３のシステム構成図に、音声情報処理部８３が追加されている。ここでは、専ら音声情報処理部８３の構成について説明する。

　音声情報処理部８３は、音声入力部８１から入力された面談者の音声から、音声情報を抽出する処理を行う機能を遂行する。一具体例では、音声情報処理部８３は、主制御部２とは別個のハードウェアプロセッサを使用し、主制御部２の制御下において上記機能を遂行する。なお、音声情報処理部８３が実行する処理の詳細については後述する。

　［本実施の形態の機能ブロック］
　図１１は、本実施の形態のＨＭＤ１における機能ブロック構成の一例を示す機能ブロック図である。

　図１１に示す機能ブロック図は、既に説明した図４に示す機能ブロック図とほぼ同じであり、図４の機能ブロック図に、音声情報処理機能２８と、音声情報保存機能２９とを追加したものである。以下は、追加された音声情報処理機能２８と、音声情報保存機能２９とについて説明する。

　音声情報処理機能２８は、音声入力部８１から入力された面談者の音声から、音声情報処理部８３により音声情報を解析し、面談者を判別する機能であり、図１０で上述した音声情報処理部８３に奏される機能の一つである。

　音声情報保存機能２９は、音声情報処理機能２８で得られた面談者を判別する音声情報を、記憶部４のデータ記憶部４２に保存する機能である。

　［実施の形態２の処理手順］
　図１２は、本実施の形態における新規面談者の音声情報を加味した情報を取得する新規面談者処理（ステップＳ４６０）の手順を示すフローチャートである。以下、図１２の処理手順について、図１１の機能ブロック図を参照して説明する。

　本新規面談者処理（ステップＳ４６０）の実行にあたっては、個人情報保護の観点から、予め新規面談者の了解が得られていることが望ましい。但し、かかる了解事項は、技術的な制限事項を意味するものではない。

　図１２の新規面談者処理（ステップＳ４６０）の手順を示すフローチャートは、図５の新規面談者処理（ステップＳ４００）の手順を示すフローチャートとほぼ同じである。異なる点は、定義済みサブルーチンである音声情報検出処理（ステップＳ４７０）と、音声情報検出処理（ステップＳ４７０）の検出結果を判断する判断処理（ステップＳ４６２）と、音声情報検出処理（ステップＳ４７０）で得られた音声情報を保存する保存処理（ステップＳ４６３）と、が追加されている点である。ここでは、図１２で追加された処理についてのみ説明する。

　本実施の形態における新規面談者処理（ステップＳ４６０）が開始された場合（ステップＳ４６１）、図５と同等の処理（ステップＳ４０２～ステップＳ４０４）を実行し、顔情報に関する処理が終了する。

　ここで、サブルーチンであるステップＳ４７０の処理（音声情報検出処理）について、説明する。図１３は、サブルーチンである音声情報検出処理（ステップＳ４７０）の処理手順を示すフローチャートである。以下、図１３の処理手順について、図１１の機能ブロック図を参照して説明する。

　音声情報処理部８３は、音声情報処理機能２８の機能を遂行すべく、主制御部２の制御の下、記憶部４のプログラム部４１に格納されている音声認識方法のプログラムを読み出し（ステップＳ４７１）、ステップＳ４７２以下の処理を順次実行する。

　ステップＳ４７０の処理（音声情報検出処理）が開始されると、先ず、音声情報処理部８３は、音が検出されたか否かを判定する（ステップＳ４７２）。

　ここで、音声情報処理部８３は、音が検出されなかったと判定した場合（ステップＳ４７２：ＹＥＳ）、音声検出エラー設定処理（ステップＳ４７７）に移行する。一方、音声情報処理部８３は、音が検出されたと判定した場合（ステップＳ４７２：ＮＯ）、ステップＳ４７３（音源分離処理）に移行する。

　ステップＳ４７３（音源分離処理）において、音声情報処理部８３は、音の発生方向を確認し、音源の位置を特定（分離）する。本実施の形態では、新規面談者が声を発声する口の位置が、音源位置となる。

　続くステップＳ４７４において、音声情報処理部８３は、音源を特定（分離）した音が、人間の音声であるか否かを判定する。なお、人間の音声であるか否かは、例えば、音の周波数帯域、波形の特徴などから判定（識別）することが可能である。かかる技術は公知であるため、詳細な説明を省略する。

　ここで、音声情報処理部８３は、人間の音声ではないと判定した場合（ステップＳ４７４、ＮＯ）、音声検出エラー設定処理（ステップＳ４７７）に移行する。一方、音声情報処理部８３は、人間の音声であると判定した場合（ステップＳ４７４、ＹＥＳ）、音声特徴量検出処理（ステップＳ４７５）に移行する。

　音声特徴量検出処理（ステップＳ４７５）において、音声情報処理部８３は、個人に起因する要素（話し方、くせ、イントネーション等）を、音声特徴量として抽出する。なお、個人の特徴を識別できる手法であれば、他の手法（例えば、特定の珍しい言語が抽出されたような場合に特定人を識別する等）を用いてもよい。

　続くステップＳ４７６において、音声情報処理部８３は、音声特徴量検出処理（ステップＳ４７５）の処理結果から、個人の特徴（この例では音声特徴量）を検出できたか否かを判定する。

　ここで、音声情報処理部８３は、音声特徴量を検出できなかったと判定した場合（ステップＳ４７６、ＮＯ）、音声検出エラー設定処理（ステップＳ４７７）に移行する。

　一方、音声情報処理部８３は、音声特徴量を検出できたと判定した場合（ステップＳ４７６、ＹＥＳ）、本音声情報検出処理（ステップＳ４７０）を終了する（ステップＳ４７８）。

　音声検出エラー設定処理（ステップＳ４７７）において、音声情報処理部８３は、音声検出エラーがどの段階で発生したかを明示するように表示部７２に表示させる。この後、音声情報検出処理（ステップＳ４７０）を終了する（ステップＳ４７８）。

　本音声情報検出処理（ステップＳ４７０）の他の例として、ＨＭＤ１は、取得された新規面談者の音声を、ネットワーク網３３を介して、音声情報検出処理を行うネットワークサーバ３２に送信し、ネットワークサーバ３２にて音声情報検出処理を行うこともできる。その際、ＨＭＤ１は、主制御部２の制御の下、上述した通信処理部６が、音声情報の検出結果のみを、ネットワーク網３３を介して、ネットワークサーバ３２から受信する。

　また、ＨＭＤ１の主制御部２は、通信処理部６を通じて、顔情報検出処理と、音声情報検出処理を、それぞれ別のネットワークサーバ３２に行わせることもできる。

　ここで、図１２の処理手順に戻って、主制御部２または音声情報処理部８３の行う処理についての説明を継続する。主制御部２（または音声情報処理部、以下、Ｓ４６４までの処理主体につき同様）は、音声情報検出処理（ステップＳ４７０）の次に、音声情報検出処理（ステップＳ４７０）により、新規面談者の音声情報が取得できたかどうかを判断する（ステップＳ４６２）。

　主制御部２は、ステップＳ４６２の判断処理で、音声情報検出処理（ステップＳ４７０）の処理により新規面談者の音声情報が取得できなかったと判断した場合は、保存すべき音声情報がないので、新規面談者情報取得処理（ステップＳ４０５）に移行する。

　主制御部２は、ステップＳ４６２の判断処理で、音声情報検出処理（ステップＳ４７０）の処理により新規面談者の音声情報が取得できたと判断した場合は、音声情報保存処理（ステップＳ４６３）に移行する。
　主制御部２は、音声情報保存処理（ステップＳ４６３）では、面談者の音声識別に係わる面談者の音声特徴量を音声情報保存機能２９により、記憶部４のデータ記憶部４２に保存する。次に、主制御部２は、新規面談者情報取得処理（ステップＳ４０５）に移行する。

　主制御部２は、新規面談者情報取得処理（ステップＳ４０５）以降の処理については、図５のフローチャートと同等の処理（ステップＳ４０６、Ｓ４０７）を行い、本実施の形態の新規面談者処理（ステップＳ４６０）を終了する（ステップＳ４６４）。

　図１４は、本実施の形態で保存されている面談者情報の１例を示したテーブル（Ｔ８７０）である。図１４に示す面談者テーブル（Ｔ８７０）は、面談者（人物）の種別８６０と、各面談者に関する情報項目８５０で構成されている。

　各面談者に関する情報項目８５０は、顔情報８５１と、音声情報８５３と、面談者に関する付帯情報８５２の三つから構成されている。面談者（人物）の種別８６０には、面談者（８６２～８６４）に加えて、ユーザ８６１が存在している。

　面談者種別にユーザ８６１が存在するのは、携帯電話におけるプロフィール的意味合いと、新規面談者との会話中に、ユーザの音声情報と新規面談者の音声を分離する意味合いを有している。

　この面談者テーブル（Ｔ８７０）は、ネットワーク網３３（図１を参照）を介してＨＭＤ１からネットワークサーバ３２に送信し、ネットワークサーバ３２の記憶媒体に保存することもできる。特に、顔特徴量や音声情報に関して、顔特徴量や音声特徴量から面談者を特定する処理に特化したネットワークサーバ３２を活用することにより、ＨＭＤ１で面談者を特定する処理の高速化を図ることができる。

　以上、本実施の形態では、図１２から図１３の処理と、図１４のテーブルにより、音声情報を加味した新規面談者の情報を取得し、保存することができる。

　＜面談者識別・情報取得処理＞
　次に、面談者を識別し、面談者に関する付帯情報を取得する処理について説明する。図１５は、本実施の形態の骨子である、音声情報を加味して面談者になり得るかどうかを判断し、面談者になり得る場合は、面談者に関する付帯情報を事前に取得する処理（面談者識別・情報取得処理）の手順を示すフローチャートである。図１５の処理手順の説明には、図１１の機能ブロック図を参照して説明する。

　図１５に示す実施の形態２のフローチャートは、図８で上述した実施の形態１のフローチャートとほぼ同じであり、面談者情報処理の処理内容が異なっている。この点、区別のため、実施の形態２の面談者情報処理については、実施の形態１（ステップＳ４５０）とは異なるステップ番号（ステップＳ４９０）で示す。

　また、実施の形態２では、定義済みサブルーチンである音声情報検出処理（ステップＳ４７０）が追加されていることが実施の形態１と異なっている。なお、音声情報検出処理（ステップＳ４７０）の詳細については、図１３のフローチャートで説明しているので、再度の説明は省略する。

　図１６は、実施の形態２の面談者情報処理（ステップＳ４９０）の処理手順の詳細を示すフローチャート（サブルーチン）である。図１６に示す処理手順の詳細については、図１０のハードウェアブロック図および図１１の機能ブロック図を参照して説明する。

　図１６に示す実施の形態２のフローチャートは、図９で上述した実施の形態１のフローチャートとほぼ同じであり、既知の面談者か否かを判定（判別）する処理の内容が異なっている。この点、区別のため、実施の形態２の判定（判別）処理については、実施の形態１（ステップＳ４５２）とは異なるステップ番号（ステップＳ４９２）で示す。

　また、実施の形態２では、新規面談者処理が実施の形態１とは異なっており、かかる新規面談者処理につき、区別のため、実施の形態１でのステップ番号（ステップＳ４００）とは異なるステップ番号（ステップＳ４６０）で示す。

　ステップＳ４９０の処理（面談者情報処理）が開始（ステップＳ４９１）されると、先ず、顔情報検出処理（ステップＳ４２０）において検出された顔情報により、既知の面談者か否かが判別される（ステップＳ４９２）。

　より具体的には、顔情報処理部７３は、顔情報検出処理（図６のステップＳ４２０）において検出された顔情報（顔特徴量）と、顔情報保存機能２５により保存されている顔情報（顔声特徴量）とを比較し、予め設定された閾値内で一致した場合、既知の面談者であると判定する（ステップＳ４９２、ＹＥＳ）。

　他の例では、音声を取得できた場合、主制御部２は、音声情報検出処理（ステップＳ４７０）において検出された音声情報（音声特徴量）と、音声情報保存機能２９により保存されている音声情報（音声特徴量）とを比較し、予め設定された閾値内で一致した場合、既知の面談者であると判定する（ステップＳ４９２、ＹＥＳ）。

　ここでは、顔情報の一致もしくは音声情報一致のみで、既知面談者と判断することもできるし、顔情報と音声情報の両方が一致することにより、既知面談者と判断することもできる。顔情報も音声情報も一致しない場合、または、人物が特定できるほどの顔情報も音声情報も検出できていない場合は、既知面談者ではないと判定し（ステップＳ４９２、ＮＯ）、ステップＳ４６０に移行する。

　なお、ステップＳ４６０（新規面談者処理）の詳細については、図１２のフローチャートで説明したので、ここでの説明は省略する。

　かくして、既知の面談者であると判定された場合（ステップＳ４９２、ＹＥＳ）、図９で述べたステップＳ４５３～ステップＳ４５７の処理を実行し、本実施の形態の面談者情報処理（ステップＳ４９０）を終了する（ステップＳ４９３）。

　以上のように、本実施の形態の構成によれば、音声情報を加味した面談者候補の識別を行うことができ、面談相手の情報提供の精度の向上を実現できる。

　＜＜実施の形態３＞＞
　以下では、本発明の実施の形態３について説明する。なお、実施の形態３の基本的なハードウェア構成及びソフトウェア構成は前述の実施の形態と同様であり、以下では、本実施の形態（実施の形態３）と前述の実施の形態との相違点に関して主に説明し、共通する部分は重複を避けるため極力説明を省略する。

　前述の実施の形態では、ユーザが眼鏡形状のＨＭＤを装着していることを前提とし、かつ面談者を認識するには、面談者がユーザの前方に存在することを前提として説明した。本実施の形態では、ユーザが眼鏡形状のＨＭＤを装着していることを前提とする一方で、面談者が後方に存在するなど、ユーザが容易に面談（候補）者を認識することが難しい場合について検討する。以下、本実施の形態を説明する。

　〔動作等の概要〕
　図１７は、本実施の形態の背景を説明するための模式図である。上述した図１と比較して分かるように、図１７では、眼鏡形状のＨＭＤ１を装着したユーザ１０の視線方向１９（図中の点線矢印を参照）およびユーザ１０の視界に、面談者が存在していない状態を示している。また、図１７では、ユーザ１０の後方（背後）から面談相手１６が近づいて来て、ユーザ１０が面談相手１６の存在を認識するよりも早く、面談相手１６がユーザ１０の存在を認識し、吹き出しで示す「オーイ」という音声１４を発している状態を示している。

　本実施の形態において、ＨＭＤ１は、図１７に示すような情景において、「オーイ」という音声１４に応答してＨＭＤ１が起動し、起動後速やかにＨＭＤ１の周囲の映像および音声を解析する処理を行い、人物１６を認識する構成を備える。

　ここで、ＨＭＤ１は、周囲の映像および音声を解析する処理として、人物１６が面談者となり得るか否か（面談候補者であるか否か）を判定し、面談者となり得る場合は、当該人物１６に関する付帯情報を取得し、取得された当該付帯情報を表示画面７５に表示する。図１７に示す例では、ＨＭＤ１は、人物１６に関する付帯情報としての氏名（山田次郎）１７を表示画面７５に表示している。

　また、ＨＭＤ１は、図１７に示すように、アクセスポイント３１を介して、ネットワークサーバ３２が接続されたネットワーク網３３に接続している。ここで、ネットワークサーバ３２には、各種演算処理を行うネットワークサーバや、各種データを保存するネットワークサーバなどがあり、必要に応じてＨＭＤ１が活用することができる。

　一具体例では、主制御部２は、通信処理部６（通信装置）を介して、ＨＭＤ１の行動解析処理部７４（行動解析処理装置）の処理を外部のサーバ（ネットワークサーバ３２）に行わせるように制御することができる。

　このような構成とすることにより、ＨＭＤ１全体のリソースを効率的に使うことができるので、処理速度が向上し、ひいてはユーザに対し、迅速に必要な情報を提示することにつながる。

　〔付帯情報を取得する処理〕
　次に、面談者を識別し、面談者に関する付帯情報を取得する処理について説明する。

　図１８は、本実施の形態の骨子である、音声情報により、面談者になり得るかどうかを判断し、面談者になり得る場合は、面談者に関する付帯情報を事前に取得する処理（面談者識別・情報取得処理）ステップＳ５００の手順を示すフローチャートである。図１８の処理手順の説明には、図１１の機能ブロック図を参照して説明する。

　図１８の処理手順を示すフローチャートは、図１５の手順を示すフローチャートとほとんど同じであり、定義済みサブルーチンである音声情報単独処理（ステップＳ５１０）が追加されている。

　面談者識別・情報取得処理（ステップＳ５００）が開始（ステップＳ５０１）されると、図１５のフローチャートと同じ処理が行われるが、ＨＭＤ１は、画像情報から周囲に人がいないと判断した場合（ステップＳ４３３、ＮＯ）、および画像情報から周囲に面談候補者がいないと判断した場合（ステップＳ９００、ＮＯ）に、サブルーチンである音声情報単独処理（ステップＳ５１０）を実行する。

　ここで、サブルーチンであるステップＳ５１０の処理（音声情報単独処理）について説明する。図１９は、サブルーチンである音声情報単独処理（ステップＳ５１０）の処理手順を示すフローチャートである。図１９の処理手順の説明には、図１１の機能ブロック図を参照して説明する。

　図１９に示す実施の形態３の音声単独処理（ステップＳ５１０）は、図１３（実施の形態２）で示した音声情報検出処理（ステップＳ４７０）とほとんど同じである。異なる点は、実施の形態３では、図１３と比較して、ステップＳ４７６の判定処理がないこと、および、面談候補者判定（ステップＳ９０１）と、サブルーチンである面談者情報処理（ステップＳ４９０）が追加されている点である。

　ＨＭＤ１は、音声単独処理（ステップＳ５１０）の開始（ステップＳ５１１）の後は、ステップＳ４７２からステップＳ４７４までは、図１３で上述した処理と同一の処理を行う。また、ステップＳ４７７の音声検出エラー設定処理についても上述と同様である。

　ステップＳ４７４に続くステップＳ９０１において、ＨＭＤ１は、当該音声の主が面談候補者の音声であるか否かを判定する。一具体例では、ステップＳ９０１において、ＨＭＤ１は、音声の内容がユーザへの呼びかけである可能性があるかどうかの判断を行う。

　ここで、音声の内容がユーザへの呼びかけである可能性がある場合としては、例えば、
（１）ユーザの名前が含まれている場合、
（２）人に対する呼びかけの声である場合（例えば、「あ、そこの貴方」、「もしかして君は」などの呼びかけの場合）、
が挙げられる。

　したがって、上記（１）または（２）の場合であれば、ＨＭＤ１は、当該音声の主が面談候補者の音声である（ステップＳ９０１、ＹＥＳ）と判定する。この場合、ＨＭＤ１は、図１３で上述した音声特徴検出処理（ステップＳ４７５）へ移行する。

　一方、ステップＳ９０１の面談候補者判定で、音声の主が、面談候補者のものでないと判定された場合（ステップＳ９０１、ＮＯ）は、本ルーチンの終了処理に移行する（ステップＳ５１２）。

　音声特徴検出処理（ステップＳ４７５）の後、ＨＭＤ１は、図１６のサブルーチンで上述した面談者情報処理（ステップＳ４９０）を実行し、その後、音声単独処理（ステップＳ５１０）を終了する（ステップＳ５１２）。

　上述した音声単独処理（ステップＳ５１０）を行う実施の形態３のＨＭＤ１によれば、画像情報から面談候補者が判定できない状態であっても、音声情報のみで面談候補者を判断し、面談候補者に関する付帯情報を取得することができる。したがって、例えば人混みで人物の画像が完全に取得できない場合や、上述の撮像部７１が故障したような場合でも、面談候補者に関する情報を取得できる。

　＜＜実施の形態４＞＞
　以下は、本発明の実施の形態４に関して説明する。なお、実施の形態４の基本的なハードウェア構成及びソフトウェア構成は前述の実施の形態１～３と同様であり、以下では、本実施の形態（実施の形態４）と前述の実施の形態１～３との相違点に関して主に説明し、共通する部分は重複を避けるため極力説明を省略する。

　前述の実施の形態１～３では、眼鏡形状のＨＭＤを装着している場合を前提とした。これに対して、実施の形態４では、眼鏡形状以外のＨＭＤを装着した場合について検討する。以下、本実施の形態を説明する。

　図２０は、実施の形態４で使用されるＨＭＤの一例を示す外観図である。図２０に示すＨＭＤ１００は、ゴーグル状の筐体（以下、単に「ゴーグル」とも称する）および外形を有し、ＨＭＤ装着ベルト１８０を備えている。そして、図２０に示すように、ユーザ１０１は、ＨＭＤ装着ベルト１８０を後頭部に掛けることによって、ＨＭＤ１００を当該ユーザ１０１の頭部に装着する。

　ＨＭＤ１００は、ゴーグルの前面に表示画面（画像を表示するディスプレイ）１７５を配置し、ゴーグルの前面の左端寄りおよび右端寄りに、左カメラ１７２および右カメラ１７１を各々配置している。

　また、ＨＭＤ１００では、ユーザ１０１の耳に対応する位置に、左右のスピーカを各々配置している。なお、図２０では、左スピーカ１８２を示しており、右スピーカについてはユーザ１０１の陰となるため図示していない。

　図２０に示す例では、左スピーカ１８２の近傍に、上述した左カメラ１７２とは別のカメラである左横カメラ１７３を配置している。また、図示しないが、ＨＭＤ装着ベルト１８０には、ユーザ１０１の後頭部に対応する位置に、上記カメラ（１７１，１７２，１７３）とは別のカメラである後方カメラを配置している。さらに、図示しないが、上述した右カメラ１７１とは別のカメラである右横カメラも、上述した右スピーカの近傍に配置している。

　このように、本実施の形態では、カメラを追加ないし増設することにより、ユーザ１０１の周囲を撮影する範囲を拡大することができる。特に、ユーザ１０１の後面側に後方カメラを設置することにより、図１７で説明したような位置関係であっても、ユーザ１０１が後ろに振り向くことなしに、後面側にいる人物１６を顔情報で識別することができる。

　実施の形態４では、カメラを増設し、ユーザ１０１の周囲を撮影する範囲を拡大したことを特徴としている。言い換えると、実施の形態４では、周囲情報取得装置として、映像を取得する複数のカメラを含み、各カメラが、ユーザ１０１の視界よりも広い範囲の映像を取得するように配置されている。

　このように、周囲情報取得装置としてのデバイスがユーザ１０１の視界が及ばない範囲の周囲情報を取得できるように配置された構成によれば、ユーザ１０１が気付かない位置にいる面談候補者を捕捉できる確率が向上し、利便性も向上する。

　また、ここでは周囲情報取得装置のデバイスとしてカメラを使用する例を挙げたが、他の例として、例えば測距センサ５５や人感センサ５６（図３を参照）を複数配置する構成としてもよい。

　＜＜実施の形態５＞＞
　以下では、本発明の実施の形態５に関して説明する。なお、実施の形態５の基本的なハードウェア構成及びソフトウェア構成は前述の実施の形態と同様であり、以下では、本実施の形態（実施の形態５）と前述の実施の形態との相違点に関して主に説明し、共通する部分は重複を避けるため極力説明を省略する。前述の実施の形態１～４では、面談候補者が一人の場合を想定した。これに対し、実施の形態５では、面談候補者が複数人いる場合について検討する。以下、本実施の形態を説明する。

　図２１は、本実施の形態の骨子である、面談者になり得るかどうかを判定し、面談者になり得る場合は、面談者に関する付帯情報を事前に取得する処理（面談者識別・情報取得処理）の手順を示すフローチャートである。

　図２１に示す面談者識別・情報取得処理は、図８で上述した面談者識別・情報取得処理とほぼ同じであり、異なる点は、面談者となり得る人物が複数かどうかの判別処理（ステップＳ５２２）と、優先度判定処理（ステップＳ５２３）が追加されていることである。

　本実施の形態の面談者識別・情報取得処理が開始（ステップＳ５２１）されると、ＨＭＤ１は、図８で説明したステップＳ４３２（周囲撮影処理）、ステップＳ４３３（人物存在有無の判定処理）およびステップＳ９００（面談者候補か否かの判定処理）を行う。

　そして、ＨＭＤ１は、面談候補者であると判定した場合（ステップＳ９００、ＹＥＳ）、ステップＳ５２２に移行する。ステップＳ５２２において、ＨＭＤ１は、面談候補者である旨が検出された人物の数が、一人であるか複数人であるかを判別する。

　ステップＳ５２２において、ＨＭＤ１は、検出された人物が一人である場合（ステップＳ５２２、ＮＯ）は、他の実施の形態と同様に、顔情報検出処理（ステップＳ４２０）および面談情報処理（ステップＳ４５０）を行った後に本ルーチンを終了させる。

　一方、ステップＳ５２２において、ＨＭＤ１は、面談候補者であると検出された人物（以下、単に「面談候補者」と称する場合がある）が複数人である場合は、優先度判定処理（ステップＳ５２３）に移行する。

　ここで、優先度判定処理の意義について説明する。ＨＭＤ１内のプロセッサの処理速度やＲＡＭ等のリソースなどに余裕がある場合は、面談候補者が複数であっても全ての者に対応し得るとも考えられる。

　しかしながら、実際にはハードウェア資源に余裕がない場合が多いと考えられ、特に、ＨＭＤ１本来の機能を遂行している場合（例えば所定のコンテンツの動画を再生している場合など）、全ての面談候補者の情報を取得しようとすると処理時間が長くなる。このような処理時間の長期化は、対面者のうちの少なくとも一人がユーザに対面し、面談（会話等）が始まってしまい、上述した問題（相手の名前等を言えないユーザの心理的負担が増える等）を招来しかねない。

　本発明者らは、上記のような問題に鑑みて、面談候補者が複数人いる場合、情報取得の対象となる人物を絞る、あるいは順序付けることが有効であるとの着想を得て、優先度を判定する構成を設けた。

　具体的には、優先度判定処理（ステップＳ５２３）において、ＨＭＤ１は、面談者となり得る複数の人物について、最も面談者となり得る可能性の高い人物ないし最も重要であると考えられる人物を、優先人物として特定する。

　より詳細には、ステップＳ５２３において、ＨＭＤ１は、例えば、
（Ａ）人物の視線方向が、ユーザの方向である。
（Ｂ）人物がユーザに対して手を挙げる等の挨拶行為を行っている。
（Ｃ）人物がユーザに近づいて来ている。
（Ｄ）ユーザ迄の距離が近い。
等の各行為について、予め定められた重み付けを行って優先度を判定し、最も優先度の高い人物を優先人物として特定する。

　優先度判定処理（ステップＳ５２３）が実行された場合、候補となる人物が一人に絞られることにより、他の実施の形態と同様の状態となる。したがって、ＨＭＤ１は、この後、他の実施の形態と同様に、顔情報検出処理（ステップＳ４２０）および面談情報処理（ステップＳ４５０）を順次行った後に本ルーチンを終了する。

　重み付けの設定例の一例として、ＨＭＤ１は、ステップＳ５２３において、上記（Ａ）～（Ｄ）のうち、（Ｄ）すなわち最も距離が近い人を優先人物として特定する。かかる処理により、複数の面談候補者のうち、面談（対話）が最も早く始まる可能性の高い者が優先人物として特定されるので、ユーザは当該人物の情報を一早く知ることができる（ステップＳ４５０も参照）。

　重み付けの設定例の他の一例では、ＨＭＤ１は、ステップＳ５２３において、上記（Ａ）～（Ｄ）のうち、（Ｂ）すなわち人物がユーザに対して手を挙げる等の挨拶行為を行っている人を優先人物として特定する。これは、面談者が複数いる事例において、当該面談者が上司と部下の場合には、通常は上司（地位が高い者）が挨拶行為を行うと考えられること、および必ずしも上司が先頭に立っているとは限らず、むしろ部下が先導している場合があることを考慮したものである。

　上述した重み付けの設定は、予めユーザが操作入力部９の操作等を通じて任意に設定できるようにしておくとよい。

　また、図２１に示す例では、一人の者のみの情報を取得する構成とした。他の例として、面談候補者が複数人である場合、優先度判定処理（ステップＳ５２３）を通じて特定された優先度の高い順に、ステップＳ４２０およびステップＳ４５０の処理を順次行うようにしてもよい。このような処理を行うことにより、ＨＭＤ１のハードウェア資源の有効活用を図りながら、全ての面談候補者の情報を優先度（言い換えると重要度）の高い順にユーザに提示することができる。

　さらに他の例として、面談候補者が複数人である場合、優先度判定処理（ステップＳ５２３）を通じて特定された優先度の高い順に、かつ、予め定められたＮ（Ｎは１以上の整数）人分だけ、ステップＳ４２０およびステップＳ４５０の処理を行うようにしてもよい。このような処理は、例えば面談候補者の数が多いような場合に有効であり、ＨＭＤ１のハードウェア資源の有効活用を図りながら、一定数の面談候補者の情報を優先度（言い換えると重要度）の高い順にユーザに提示することができる。

　さらに、優先順位を付ける処理の変形例として、図２２Ａ、図２２Ｂ、および図２３に示すように、面談候補者が遠くにいる段階では情報の簡略表示を行い（図２２Ａ）、面談候補者が近づいてきたら詳細表示を行う（図２２Ｂ）、という処理を行ってもよい。

　図２３を参照すると、ＨＭＤ１は、遠くにいる人物１５ａ、１５ｃに関しては、簡略情報１１０３ａ、１１０３ｃ（この例では名前だけ）を表示し、近くにいる人物１５ｂについては詳細情報１１０４ｂ（この例では名前およびそれ以外の各種情報）を表示する。

　このように、表示（すなわちユーザに提示ないし報知）する情報の詳細度を、面談候補者（対象人物）の距離に応じて変更する構成を設けることにより、より情報の欲しい人物の情報にユーザの注意を集中させることができ、利便性が高まる。

　このような変形例の処理を行う場合、全ての面談候補者（対象人物）について他の実施の形態と同等の処理を行った後、本実施の形態の面談者識別・情報取得処理を終了（ステップＳ５２４）すればよい。

　上述したように、実施の形態５の構成により、面談者となり得る候補が複数存在した場合でも、迅速に対応することができる。

　以上、詳述したように、本開示の携帯情報端末（ＨＭＤ１，１００）は、当該端末およびユーザ１０の周囲情報を取得する周囲情報取得装置（センサ部５、撮像部７１、音声入力部８１）と、取得された周囲情報に含まれる人物の行動を解析することにより、ユーザ１０への面談候補者（ユーザに面談しようとしている人物）がいるか否かを判定する行動解析処理装置（主制御部２、行動解析処理部７４）と、面談候補者がいると判定された場合、当該人物に対応する付帯情報をユーザ１０に提示する情報提示装置（表示部７２）と、を備える。

　上記の構成を備える携帯情報端末（ＨＭＤ１，１００）によれば、面談相手の付帯情報をユーザ１０へより迅速に提供することができ、ユーザ１０が当該人物を面談者として認識した時点では、面談者に関する付帯情報をユーザ１０が知っている状態となっている。

　また、上述した携帯情報端末（ＨＭＤ１，１００）は、撮像部７１により撮像されている映像、人物を含む対象物までの距離が測距センサ５５により測距されている距離情報、音声入力部８１により収音されている音声、のいずれか一つ以上を周囲情報として取得する構成を有する。

　かかる構成によれば、周囲情報取得装置は、種々の情報の長所、ＨＭＤ１（１００）のリソース（本来の機能の実行状態等）を考慮した周囲情報の取得を行うことができ、ひいては、面談相手の付帯情報をユーザ１０へより迅速に提供することを実現できる。

　また、上述した携帯情報端末（ＨＭＤ１，１００）は、周囲情報が取得される場所によっては、行動解析処理部７４による面談候補者の判定を行わない構成を備えている。

　かかる構成によれば、不必要な情報提示を抑制でき、真に必要な人物に対する付帯情報の取得を素早く取得することに貢献することから、利便性が向上する。

　また、上述した携帯情報端末（ＨＭＤ１，１００）では、行動解析処理部７４は、面談候補者であると判定された人物が複数人いる場合、行動の解析結果に応じた優先順位を各々の面談候補者に付与し、付与された優先順位に従って、情報提示装置（表示部７２）によって提示される付帯情報に係る面談候補者の数または順序を決定する。

　さらに、上述した携帯情報端末（ＨＭＤ１，１００）では、情報提示装置（表示部７２）は、前記行動解析処理装置によって前記面談候補者が存在すると判定された場合、面談候補者が存在する旨の情報の提示と、当該面談候補者に対応する前記付帯情報の提示と、を段階的に行う。

　かかる構成によれば、より情報の欲しい人物の情報にユーザの注意を集中させることができ、利便性が高まる。

　以上、本発明の実施形態の例を実施の形態１～５を用いて説明したが、本発明の技術を実現する構成は前記実施の形態に限られるものではなく、様々な変形例が考えられる。例えば、ある実施の形態の構成の一部を他の実施の形態の構成と置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

　前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤ１のプログラム部４１等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであってもよい。

　また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１…ＨＭＤ（携帯情報端末）、２…主制御部、３…システムバス、４…記憶部、５…センサ部、６…通信処理部（通信装置）、７…映像処理部、８…音声処理部、９…操作入力部、１０…ユーザ、１５…人物（面談候補者）、１６…人物（面談相手）、３２…ネットワークサーバ、４２…データ記憶部、７１…撮像部（周囲情報取得装置）、７２…表示部（情報提示装置）、７３…顔情報処理部、７４…行動解析処理部（行動解析処理装置）、７５…表示画面、８１…音声入力部（周囲情報取得装置）、８２…音声出力部、８３…音声情報処理部、１００…ＨＭＤ（携帯情報端末）、１７１…右カメラ、１７２…左カメラ、１７３…左横カメラ、１７５…表示画面、７１１…右カメラ、７１２…左カメラ。

Claims

　ユーザによって携帯される携帯情報端末において、
　周囲情報を取得する周囲情報取得装置と、
　取得された前記周囲情報に含まれる人物の行動を解析して、前記ユーザに面談しようとしている面談候補者を判定する行動解析処理装置と、
　前記面談候補者に対応する付帯情報をユーザに提示する情報提示装置と、を備える、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記周囲情報は、撮像されている映像、前記人物を含む対象物までの距離が測距されている距離情報、収音されている音声のいずれか一つ以上である、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記行動解析処理装置は、前記周囲情報に含まれる人物の行動が、前記ユーザに対する関心を示す行動である場合に、前記面談候補者であると判定する
　携帯情報端末。
　請求項３に記載の携帯情報端末において、
　前記ユーザに対する関心を示す行動は、視線を向ける行動、挨拶行動、接近行動、呼びかけ行動、のうちの一つ以上である
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　さらに、前記周囲情報に含まれる人物の種類によっては、前記行動解析処理装置による前記面談候補者の判定を行わないように構成されている、
　携帯情報端末。
　請求項５に記載の携帯情報端末において、
　前記判定を行わない人物の種類は、施設の応対者、警備員、のうち一以上を含む、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　さらに、前記周囲情報が取得される場所によっては、前記行動解析処理装置による前記面談候補者の判定を行わないように構成されている、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記行動解析処理装置は、前記面談候補者であると判定された人物が複数人いる場合、
　前記行動の解析結果に応じた優先順位を各々の前記面談候補者に付与し、
　付与された前記優先順位に従って、前記情報提示装置によって提示される前記付帯情報に係る前記面談候補者の数または順序を決定する、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記情報提示装置は、前記行動解析処理装置によって前記面談候補者が存在すると判定された場合、面談候補者が存在する旨の情報の提示と、当該面談候補者に対応する前記付帯情報の提示と、を段階的に行う
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記情報提示装置は、前記行動解析処理装置によって前記面談候補者であると判定された人物が複数人いる場合、前記ユーザからの距離が近くなるほど、提示する情報を詳細にするように、前記面談候補者に対応する前記付帯情報をユーザに提示する、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記周囲情報取得装置は、映像を取得する複数のカメラを含み、
　前記カメラは、前記ユーザの視界よりも広い範囲の前記映像を取得するように配置されている、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　通信装置を介して前記行動解析処理装置が行う処理の一部を外部のサーバに行わせるように構成されている、
　携帯情報端末。
　請求項１に記載の携帯情報端末において、
　前記携帯情報端末がＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）である、
　携帯情報端末。
　携帯情報端末における情報処理方法であって、
　ユーザの周囲情報を取得し、
　取得された前記周囲情報に含まれる人物の行動を解析して、前記ユーザに面談しようとしている面談候補者を決定し、
　決定された前記面談候補者に対応する付帯情報をユーザに提示する、
　情報処理方法。