WO2017154136A1 - 携帯情報端末及びそれに用いる情報処理方法 - Google Patents

Abstract

面談者の情報を使用者により迅速に提供する機能を備えた携帯情報端末及び方法を提供することを目的とする。　本発明は、上記課題を解決するために、携帯情報端末であって、周囲の変化を検出する入力センサと、外部処理装置と情報を送受信する通信部と、情報を出力する出力部と、入力センサからの入力信号変化から所定の状況を検知し、通信部を介して外部処理装置に指示信号を送信し、通信部を介して外部処理装置から指示信号に応じた人物の情報を受信し、出力部を介して人物の情報を出力する制御部とを有する構成とする。

Description

携帯情報端末及びそれに用いる情報処理方法

　本発明は直接対面して話をする対面者の情報を提供する携帯情報端末及び情報処理方法に関する。

　人と直接対面して会話をする場合、頻繁に会わない対面者の情報は忘れてしまうことが多い。その為、直接対面してもその対面者のことが思い出せないことがある。そのために、個人の手帳等に多くの友人や関係者の情報を記載して記録する方法もあるが、それでも、それらの情報と対面者との紐付すらできないことがある。

　最近では、顔写真を付けた電子情報を有する情報端末を持ち歩き、面会前に事前にその面談者の情報をチェックして、記憶を更新し面談に備えるということも少なくない。しかし、突然に対面した時にはやはり有効なツールとしての機能にはならない。

　しかしながら、顔認識技術の進歩や上記した小型のカメラや情報端末の普及が進んでおり、これらの技術を利用することで新たな対応策が可能になりつつある。例えば、特開２０１４－１８２４８０号公報（特許文献１）には、人物認識装置及び方法の技術が記載されている。

特開２０１４－１８２４８０号公報

　特許文献１には、画像データを入力する画像入力手段と、入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、検出された顔領域から顔の特徴点を検出する顔特徴点検出手段と、人物毎に、人物の顔の特徴を示す情報を含む人物情報を記憶する記憶手段と、記憶された人物情報に基づいて、記憶された人物の顔の特徴が検出された顔の特徴点と類似する順に人物を抽出する抽出手段と、検出された顔領域の撮像条件に基づいて、類似する順に抽出された人物の上位から候補とする候補数を算出する候補数算出手段と、類似する順に抽出された人物の上位から候補数に対応した人数の人物情報を出力する出力手段が記載されている。

　しかしながら、特許文献１においては、仮に類似する最上位の人物を特定者として認識しても、その情報を如何に使うかの点に関しては、何も考慮されていない。また、携帯して、突然対面した人を特定して、その対面した面談者の情報を容易に入手して、必要な会話による情報交換を行うなどの応用に関しては何ら考慮されていない。

　本発明の目的は、上記課題を考慮し、面談者の情報を迅速に提供する手段を備えた携帯情報端末及びその方法を提供することにある。

　上記課題を解決するために、本発明は、その一例を挙げるならば、携帯情報端末であって、周囲の変化を検出する入力センサと、外部処理装置と情報を送受信する通信部と、情報を出力する出力部と、入力センサからの入力信号変化から所定の状況を検知し、通信部を介して外部処理装置に指示信号を送信し、通信部を介して外部処理装置から指示信号に応じた人物の情報を受信し、出力部を介して人物の情報を出力する制御部とを有する構成とする。

　本発明によれば、面談者の情報を使用者により迅速に提供する機能を備えた携帯情報端末びその方法を提供することが可能となる。

実施例１に係る携帯情報端末を含む通信システムの構成図である。 実施例１に係る携帯情報端末のブロック図である。 実施例１に係る外部処理装置のブロック図である。 実施例２に係る携帯情報端末を含む通信システムの構成図である。 実施例２に係る携帯情報端末のブロック図である。 実施例３に係る情報処理部の機能説明図である。 実施例３に係る情報処理部の顔認識方法の説明図である。 実施例３に係る情報処理部の人物判断方法の説明図である。 実施例４に係る情報処理部の音声認識方法の説明図である。 実施例４に係る情報処理部の音声認識活用例の説明図である。 実施例４に係る情報処理部の音声認識活用例の説明図である。 実施例４に係る情報処理部の音声認識活用例の説明図である。 実施例５に係る携帯情報端末及び外部処理装置の画面表示例である。 実施例５に係る携帯情報端末及び外部処理装置の画面表示例である。 実施例５に係る携帯情報端末及び外部処理装置の画面表示情報のデータ図である。 実施例５に係る携帯情報端末及び外部処理装置の画面表示例である。 実施例６に係る携帯情報端末の動作フローチャートである。 実施例６に係る携帯情報端末の他の動作フローチャートである。 実施例７に係る携帯情報端末の端末操作をトリガとして面談相手の個人情報を取得する処理フローチャートである。 実施例７に係る携帯情報端末の他の携帯情報端末が近づいたことをトリガとして面談相手の個人情報を取得する処理フローチャートである。 実施例８に係る携帯情報端末及び外部処理装置の外観構成図である。 実施例８に係る携帯情報端末及び外部処理装置の外観構成図である。 実施例８に係る携帯情報端末及び外部処理装置の外観構成図である。 実施例８に係る携帯情報端末の外観構成図である。 実施例８に係る携帯情報端末の外観構成図である。 実施例８に係る携帯情報端末の外観構成図である。 実施例８に係る携帯情報端末の外観構成図である。 実施例８に係る携帯情報端末の他の外観構成図である。 実施例８に係る携帯情報端末の他の外観構成図である。 実施例８に係る携帯情報端末の他の外観構成図である。

　以下、本発明の実施例を、図面を用いて説明する。

　図１は、本実施例における携帯情報端末１５１を含む通信システムの一例であり、外部処理装置１５２、移動体電話通信網の基地局１５３、移動体電話通信メールサーバ１５４、インターネットメールサーバ１５５、アプリケーションサーバ１５６、公衆ネットワーク１５７、他の携帯情報端末１５８、無線通信用アクセスポイント１５９を有している。

　図２は、図１の通信システムにおける携帯情報端末１５１のブロック図である。図２において、携帯情報端末１５１は、情報処理部２０１、システムバス２０２、ＲＯＭ２０３、ＲＡＭ２０４、記憶部２０５、心拍数センサ２２０、加速度センサ２２１、角速度センサ２２２、地磁気センサ２２３、ＧＰＳ受信部２２４、照度センサ２２５、温湿度センサ２２６、タッチパネル２２７、外部インタフェース２３２、表示部２４１、表示処理部２４２、映像入力部２２８、耳元スピーカ２４３、周囲スピーカ２４４、集音マイク２２９、通話マイク２３０、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部２６４、ＮＦＣ（Near field radio communication）通信部２６５、操作部２３１、電源回路２０７、バッテリー２０６を有している。

　また、携帯情報端末１５１および外部処理装置１５２の外観図の一例を図２１から図３０に示す。詳細は後述する図２１から図３０の代表的構成図にて説明するが、携帯情報端末１５１は、スマートウォッチ、ヘッドマウントディスプレイを有するウェアラブルコンピュータ、耳掛け型情報端末であっても良い。また、携帯型のゲーム機やその他の携帯型デジタル機器であっても良い。

　図２において、携帯情報端末１５１に搭載される情報処理部２０１は、携帯情報端末１５１全体のシステムを制御する、例えばマイクロプロセッサ等の制御部である。システムバス２０２は制御部２０１と携帯情報端末１５１内の各部との間でデータ送受信を行うためのデータ通信路である。ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０３は携帯情報端末１５１の基本動作のためのプログラムが格納されたメモリであり、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）やフラッシュＲＯＭのような書き換え可能なＲＯＭが用いられる。ＲＯＭ２０３に格納されたプログラムを更新することにより、基本動作プログラムのバージョンアップや機能拡張が可能であるものとする。なお、ＲＯＭ２０３は、図２に示したような独立構成とはせず、記憶部２０５内の一部記憶領域を使用しても良い。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０４は基本動作プログラム若しくは各アプリケーション実行時のワークエリアとなる。また、ＲＯＭ２０３及びＲＡＭ２０４は情報処理部２０１と一体構成であっても良い。

　記憶部２０５は、携帯情報端末１５１の各動作設定値や携帯情報端末１５１の使用者や使用者が知っている人物の個人情報（生まれてきてからの自分の履歴情報、過去に関わった知り合いの個人情報や、これからのスケジュール等）等を記憶する。バッテリー２０６は電源回路２０７を介して、携帯情報端末１５１内の各回路に電力を供給する。

　ここで、外部処理装置１５２は、図１に示した、アプリケーションサーバ１５６から、公衆ネットワーク１５７及びその無線通信用アクセスポイント１５９を介して新規アプリケーションをダウンロードする。携帯情報端末１５１は、Ｂｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５を介して、その情報を新規アプリケーションとしてダウンロードすることにより機能拡張をすることが可能であるものとする。この際、ダウンロードしたアプリケーションは記憶部２０５に記憶される。記憶部２０５に記憶されたアプリケーションは、使用時にＲＡＭ２０４上に展開されて実行されることにより、多種の機能を実現可能である。

　記憶部２０５は携帯情報端末１５１が電源オフの状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュＲＯＭやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等が用いられる。

　心拍数センサ２２０、加速度センサ２２１、角速度センサ２２２、地磁気センサ２２３、ＧＰＳ受信部２２４、照度センサ２２５、温湿度センサ２２６等は、携帯情報端末１５１の状態を検出する。これらのセンサにより、携帯情報端末１５１の動き、傾き、位置、方角等を検出することが可能となる。照度センサ２２５は携帯情報端末１５１周辺の明るさを検出する。

　外部インタフェース２３２は、携帯情報端末１５１の機能を拡張するためのインタフェースであり、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）機器やメモリカードの接続、外部モニタに映像表示するための映像ケーブルの接続等を行う。

　表示部２４１は、例えば液晶パネルのような表示デバイスであり、表示処理部２４２において処理した映像信号を携帯情報端末１５１の使用者に提供する。映像入力部２２８はカメラである。耳元スピーカ２４３は特に使用者に聞こえやすく配置された音声出力である。周囲スピーカ２４４は使用者が本来の携帯使用状況でない形（たとえば、バック等に中に入れて持ち有いている場合など）で保持している場合や使用者だけでなく周囲の人に聞こえるように配置された音声出力である。通話マイク２３０は特に使用者の声を拾うように配置されたマイクであり、集音マイク２２９は周囲の音声等を拾うように配置されたマイクである。

　操作部２３１は、主に携帯情報端末１５１の使用者の操作に基づき文字入力を行ったり実行中のアプリケーションの操作を行ったりするための指示入力部である。ボタンスイッチを並べたマルチキーにより実現しても良いし、表示部２４１に重ねて配置したタッチパネル２２７により実現しても良い。また、映像入力部２２８からの映像信号や通話マイク２３０からの音声信号を用いた入力であっても良い。また、これらを併用しても良い。

　Ｂｌｕｅｔｏｏｔｈ通信部２６４、ＮＦＣ通信部２６５は、図1に示す外部処理装置１５２または他の携帯情報端末１５８との通信を行う。たとえば、携帯情報端末１５１内の入力センサの一つであるタッチパネル２２７を使用者がタッチすることをトリガとして携帯情報端末１５１内の複数の機能を起動して、Ｂｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５を介して、外部処理装置１５２に情報提供の指示信号を送信する。

　ここで、外部処理装置１５２は、携帯情報端末１５１の使用者が所有しており、近距離通信にて両者の通信が可能な状態にある。すなわち、先ず、より近距離の通信手段であるＮＦＣ通信部２６５にて両者が通信し、通信ができない場合、より広範囲な通信が可能なＢｌｕｅｔｏｏｔｈ通信部２６４にて両者の通信を確立する。外部処理装置１５２の詳細は後述するとして、少なくともＢｌｕｅｔｏｏｔｈ通信部、ＮＦＣ通信部を有し、かつ、携帯情報端末１５１の使用者の周囲の状況を各種センサ類にて映像情報および又は音声情報を検出し、たとえば誰かと話そうとしているまたは話している相手の人物を判断して、その人の情報を前記２つの通信部の一方を介して携帯情報端末１５１にその人物の情報を送信する。

　携帯情報端末１５１はこの情報を、Ｂｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５の通信部を介して受信して、たとえば、表示部２４１または耳元スピーカ２４３等の出力部にてその面談者の情報を出力し、使用者に伝える。

　また、外部処理装置１５２との通信ではなく、その面談者が所有する他の携帯情報端末１５８の通信部と使用者の携帯情報端末１５１間で通信を確立し、その面談者の人物情報を携帯情報端末１５１が問合せ、他の携帯情報端末１５８が提供することにより、前述と同様に、携帯情報端末１５１の使用者が他の携帯情報端末１５８を所有する面談者の情報を入手し、使用者に伝えることができる。

　ここで、携帯情報端末１５１内の入力センサとして、タッチパネル２２７の動作を説明したが、これに限定されるわけではなく、たとえば、映像入力部２２８や通話マイク２３０を利用して、使用者がジェスチャー、目や唇の動きや声の入力にても実現できる。

　また、心拍数センサ２２０、加速度センサ２２１、角速度センサ２２２、地磁気センサ２２３、ＧＰＳ受信部２２４、照度センサ２２５、温湿度センサ２２６は使用者が現在どのような状況に置かれているかを判断する情報として利用される。たとえば、使用者の心拍数の変化や動き（加速度、角速度）の変化で入力センサの感度を高くしたり、地磁気やＧＰＳにより使用者の現在の居場所が多くの人が集まる場所や人と面談する場所等と判断される場合にも同様に入力センサ（特に、映像入力部２２８や通話マイク２３０）の検出感度や精度（検出周期を細かくするなど）上げたり、周囲の明るさや温湿度変化から使用者が他の人と会う可能性が少ないと考えられるときには入力センサの感度を低下して携帯情報端末１５１の消費電力を低減し、バッテリー２０６を長持ちさせることができる。

　次に、外部処理装置１５２の詳細について図３を用いて説明する。図３において、図２と下２桁が同一の番号を有するものは、図２と概略同一の構成／機能を有する。図３において、処理装置１５２は、情報処理部３０１、システムバス３０２、ＲＯＭ３０３、ＲＡＭ３０４、記憶部３０５、顔認証情報３１１と複数の顔の特徴を抽出した映像抽出情報３１２を含む映像情報を記録する映像記憶部３１０、認証情報３１４と複数の音声の特徴を抽出した音声抽出情報３１５を含む音声情報を記録する音声記憶部３１３、ＧＰＳ受信部３２４、タッチパネル３２７、外部インタフェース３３２、表示部３４１、表示処理部３４２、映像入力部３２８、耳元スピーカ３４３、周囲スピーカ３４４、集音マイク３２９、通話マイク３３０、電話網通信部３６１、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）通信部３６２、ＷｉＦｉ（登録商標）通信部３６３、Ｂｌｕｅｔｏｏｔｈ通信部３６４、ＮＦＣ通信部３６５、メール処理部３０８、操作部３３１、電源回路３０７、バッテリー３０６を有している。

　外部処理装置１５２は、携帯電話やスマートフォンであっても良いし、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）やハンディタイプＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレットＰＣであっても良い。また、携帯型のゲーム機やその他の携帯型デジタル機器であっても良い。

　外部処理装置１５２は前述したように、Ｂｌｕｅｔｏｏｔｈ通信部３６４またはＮＦＣ通信部３６５を介して、携帯情報端末１５１のＢｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５とコミュニケーションを行い、携帯情報端末１５１からの指示信号に従い外部処理装置１５２内の映像入力部３２８および又は音声入力部である集音マイク３２９からの映像情報および又は音声情報を映像記憶部３１０および又は音声記憶部３１３を活用して情報処理部３０１にて外部処理装置１５２の使用者が対面している相手の顔を含む人物像の撮影画像情報および又は相手の声を含む音声情報を解析し、特徴的な情報を抽出して記憶部３０５に記憶している使用者が知っている人物の個人情報と比較して、類似の人物がいない場合はその人物の情報を改めて記憶部３０５に記憶し、類似の人物がいると判断した場合には、その人物の情報を既にある記憶部３０５内のその人物に関する情報を更新するように蓄積（記録）する。更に、これらの情報は、Ｂｌｕｅｔｏｏｔｈ通信部３６４またはＮＦＣ通信部３６５を介して、携帯情報端末１５１のＢｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５を経由して携帯情報端末１５１内の記憶部２０５に提供する。提供された情報は、携帯情報端末１５１内の表示処理部２４３を介して表示部２２７に映像として表示する。または、携帯情報端末１５１内の耳元スピーカ２４３から音声情報として出力する。

　ここで、映像記憶部３１０は映像入力部３２８から入力する画像情報から面談者の映像の特徴を抽出して映像抽出情報３１２に記憶する。一方、記憶部３０５から既に記憶済の個人情報の人物認証情報を順次映像抽出情報３１２にコピーして、この両者の類似性を比較して、その結果を顔認証情報３１１に記憶して行き、類似する人物が既に記憶している人物にいるか否かの人物認証を行う。また、同様に音声記憶部３１３は集音マイク３２９から入力する音声情報から面談者の音声の特徴を抽出して音声抽出情報３１５に記憶する。一方、記憶部３０５から既に記憶済の個人情報の人物認証情報を順次音声抽出情報３１５にコピーして、この両者の類似性を比較して、その結果を音声認証情報３１４に記憶して行き、類似する人物が既に記憶している人物にいるか否かの人物認証を行う。これらの映像認証と音声認証は、それぞれ一方のみを使用しても良いし、両方を併用して人物認証を行っても良い。特に、映像入力部３２８や集音マイク３２９の配置や外部処理装置１５２本体を使用者がどのように身に着けているかによって、映像または音声を適した使い方が考えられる。

　電話網通信部３６１は、移動体電話通信網の基地局１５３を介して移動体電話通信メールサーバ１５４との通信を行う。ＬＡＮ通信部３６２またはＷｉ－Ｆｉ通信部３６３は、公衆ネットワーク１５７の無線通信用アクセスポイント１５９等と通信を行う。

　前記通信を利用して、メール処理部３０８はメールの作成、メールの解析等を行いメールサーバ１５５とのメール情報交換を行う。図３では、メール処理部３０８を独立した構成として記述しているが、情報処理部３０１がＲＡＭ３０４をワークエリアとして使用することにより、同機能を実現しても良い。このメール処理部３０８で有られた情報から使用者が次に面談する人物を想定することなどにも利用することができる。

　また、前述した通信網を利用してアプリケーションサーバ１５６に前述した情報処理部３０１の動作の一部の処理を行わせても良い。特に、大量の個人情報や映像入力部３２８および又は集音マイク３２９からの映像情報および又は音声情報からの特徴を抽出処理やその両者を比較して類似する人物を特定するなどの処理を行う機能処理をアプリケーションサーバ１５６上にあっても良い。このようにすることで、情報処理部３０１の処理負荷を低減することができる。

　更に、既に記憶している人物に関連する情報が公衆ネットワーク１５７を介して公開されている各種情報源からの情報を収集して記憶部３０５の情報を更新することができる。例えば、その人物の所属する会社の肩書や学会等での発表情報などが更新されていると、次の面談時に、それらについての詳細な情報を聞くことができるというメリットがある。

　本実施例で、Ｂｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５にて通信を確立しているが、近距離通信手段であれば前記に限定されるものではない。例えば、ＩｒＤＡ（赤外線）通信やＵＷＢ（超広帯域無線）通信などの近距離通信を用いても本発明の効果を損なうことはない。

　以上のように、本実施例は、携帯情報端末であって、周囲の変化を検出する入力センサと、外部処理装置と情報を送受信する通信部と、情報を出力する出力部と、入力センサからの入力信号変化から所定の状況を検知し、通信部を介して外部処理装置に指示信号を送信し、通信部を介して外部処理装置から指示信号に応じた人物の情報を受信し、出力部を介して人物の情報を出力する制御部とを有する構成とする。

　また、携帯情報端末の情報処理方法であって、周囲の変化を検出する入力ステップと、入力ステップからの入力信号の変化から所定の状況を検知し、外部処理装置へ指示信号を送信する送信ステップと、外部処理装置から指示信号に応じた人物の情報を受信する受信ステップと、受信ステップにて得られた人物の情報を出力する出力ステップを有する構成とする。

　これにより、面談者の情報を使用者により迅速に提供する機能を備えた携帯情報端末びその方法を提供することが可能となる。

　本実施例は、実施例１の携帯情報端末１５１および外部処理装置１５２を一体化した携帯情報端末４６０について説明する。

　図４は、本実施例における携帯情報端末４６０を含む通信システムの一例であり、移動体電話通信網の基地局４５３、移動体電話通信メールサーバ４５４、インターネットメールサーバ４５５、アプリケーションサーバ４５６、公衆ネットワーク４５７、他の携帯情報端末４５８、無線通信用アクセスポイント４５９を有している。

　図５は、図４の通信システムにおける携帯情報端末４６０のブロック図である。図５において、携帯情報端末４６０は、情報処理部５０１、システムバス５０２、ＲＯＭ５０３、ＲＡＭ５０４、記憶部５０５、顔認証情報５１１と複数の顔の特徴を抽出した映像抽出情報５１２を含む映像情報を記録する映像記憶部５１０、音声認証情報５１４と複数の音声の特徴を抽出した音声抽出情報５１５を含む音声情報を記録する音声記憶部５１３、心拍数センサ５２０、加速度センサ５２１、角速度センサ５２２、地磁気センサ５２３、ＧＰＳ受信部５２４、照度センサ５２５、温湿度センサ５２６、タッチパネル５２７外部インタフェース５３２、表示部５４１、表示処理部５４２、映像入力部５２８、耳元スピーカ５４３、周囲スピーカ５４４、集音マイク５２９、通話マイク５３０、電話網通信部５６１、ＬＡＮ通信部５６２、ＷｉＦｉ通信部５６３、Ｂｌｕｅｔｏｏｔｈ通信部５６４、ＮＦＣ通信部５６５、メール処理部５０８、操作部５３１、電源回路５０７、バッテリー５０６を有している。

　図４、図５で、図１～図３と下２桁が同一の番号を有するものは、図１～図３と概略同一の構成／機能を有する。また、携帯情報端末４６０の外観図の一例を図２１から図３０に示す。詳細は後述する図２１から図３０の代表的構成図にて説明するが、携帯情報端末４６０は、スマートウォッチ、ヘッドマウントディスプレイを有するウェアラブルコンピュータ、耳掛け型情報端末であっても良い。また、携帯型のゲーム機やその他の携帯型デジタル機器であっても良い。

　図５に示すように、携帯情報端末４６０に搭載される各構成要件は、前述した携帯情報端末１５１および外部処理装置１５２に搭載される各構成要件であり、両装置を一体化した装置である。図５において、情報処理部５０１は、情報処理部２０１と情報処理部３０１が行う処理を行う。一体化することによって生じる異なる処理を中心に、以下に説明する。

　ここで、携帯情報端末４６０は、図４に示すように、アプリケーションサーバ４５６から、公衆ネットワーク４５７及びその無線通信用アクセスポイント４５９を介して、新規アプリケーションを直接ダウンロードすることにより機能拡張をすることが可能であるものとする。

　図５において、検出センサとして、携帯情報端末４６０の使用者の周囲の状況を映像入力部５２８および又は集音マイク５２９にて映像情報および又は音声情報を検出し、たとえば誰かと話そうとしているまたは話している相手（面談者）の人物がいるか否かを検出する。そして、そのような人物を検出した場合に、映像入力部５２８および又は集音マイク５２９にて映像情報および又は音声情報からその人物の特徴を情報処理部５０１にて抽出する。ここで、映像記憶部５１０と音声記憶部５１３を利用して、前記検出センサから抽出した人物と、記憶部５０５から既に記憶済の個人情報の人物認証情報を順次比較して、類似する人物が既に記憶している人物にいるか否かの判断を行う。この判断にて過去に面談した人物情報が記憶部５０５に無ければ、新たにその情報を記憶部５０５に記憶する。また類似する人物がいた場合には、今回の面談にて得られた新たな情報を更新してその情報を記憶部５０５に記憶する。そして、使用者に表示部５４１および又は耳元スピーカ５４３にてその面談者の情報を出力して伝える。

　なお、携帯情報端末４６０は、電源オン時、通常は機能待機状態にある。機能待機中に入力センサの一つであるタッチパネル５２７等への使用者による端末操作を確認し、携帯情報端末４６０内の複数の機能を起動して、本発明の機能が動作する状態とすることで、機能待機状態の消費電力を低減することができる。

　すなわち、携帯情報端末４６０は、たとえばタッチパネル５２７からの入力指示信号に従い、映像入力部５２８および又は集音マイク５２９からの映像情報および又は音声情報を映像記憶部５１０および又は音声記憶部５１３を活用して情報処理部５０１にて携帯情報端末４６０の使用者が対面している相手の顔を含む人物像の撮影画像情報および又はその人物の声を含む音声情報を解析し、特徴的な情報を抽出して記憶部５０５に記憶している人物の個人情報と比較して、類似の人物がいない場合はその人物の情報を改めて記憶部５０５に記憶し、類似の人物がいると判断した場合には、その人物の情報を既にある記憶部５０５内のその人物に関する情報を更新するように蓄積（記録）する。更に、これらの情報は、携帯情報端末４６０内の表示処理部５４３を介して表示部５２７に映像として表示する。または、携帯情報端末５５１内の耳元スピーカ５４３から音声情報として出力する。

　また、使用者の携帯情報端末４６０の通信部が、その面談者が所有する他の携帯情報端末４５８の通信部と通信を確立し、その面談者の人物情報を他の携帯情報端末４５８から提供を受けることにより、前述と同様に、携帯情報端末４６０の使用者が他の携帯情報端末４５８を所有する面談者の情報を入手し、入手した情報が既に記憶してある記憶部５０５の人物の情報と類似した人物がいるか否かを判別し、類似する人物がいない場合にはその人物の情報を新たに記憶部５０５に蓄積し、類似する人物がいた場合にはその人物の情報を更新して記憶部５０５に蓄積する。合わせてこの人物の情報を使用者に表示部５４１および又は耳元スピーカ５４３にてその面談者の情報を出力して伝える。

　更に、上記でその面談者の人物情報を他の携帯情報端末４５８から提供を受けたときに、映像入力部５２８および又は集音マイク５２９からの映像情報および又は音声情報を入力し、使用者が対面している相手の人物像を記憶部５０５に記憶している人物の個人情報と比較して、類似の人物がいると判断した場合に初めて、記憶部５０５への蓄積と、使用者に表示部５４１および又は耳元スピーカ５４３にてその面談者の情報を出力して伝える。このようにすることで、周囲に面談者以外の複数の人物が存在して複数の他の携帯情報端末４５８からの情報を入手して誤った出力を行うことを防止することができる。

　また、この防止方法の性能向上策として、面談相手が保有する他の携帯情報端末４５８から、面談者の発話の音声情報を携帯情報端末４５８に搭載された通話マイクにて検出した音声情報を前記個人情報と合わせてほぼリアルタイムで使用者の携帯情報端末４６０へ送信する。これを受けて携帯情報端末４６０は、映像入力部５２８および又は集音マイク５２９を用いて面談者の唇の動きおよび又は音声情報を検出し、通信にて受け取った情報との類似度を確認し、受信した個人情報が面談者の情報で有るか否かを判断する。この手方によれば、複数の人物が存在した場合に、その複数の他の携帯情報端末からの個人情報をほぼ同時に受信しても、それぞれ他の携帯情報端末の所有者が誰であるかを判別することが出来る。特に、初対面の人物で記憶部５０５に未登録の場合にも、この方法を用いることで、周囲に面談者以外の複数の人物が存在して複数の他の携帯情報端末４５８からの情報を入手して誤った出力を行うことを防止することができる。

　ここで、携帯情報端末４６０内の入力センサとして、タッチパネル５２７の動作を説明したが、これに限定されるわけではなく、たとえば、映像入力部５２８や通話マイク５３０を利用して、使用者がジェスチャー、目や唇の動きや声の入力にても実現できる。ここで、映像入力部５２８は使用者を撮像すると同時に面談者も撮像する必要が有る為、充分な視野角が必要になるが、構成によってはそれぞれに対して２個のカメラを設けても良い。

　また、心拍数センサ５２０、加速度センサ５２１、角速度センサ５２２、地磁気センサ５２３、ＧＰＳ受信部５２４、照度センサ５２５、温湿度センサ５２６は図２の実施例と同様に使用者が現在どのような状況に置かれているかを判断する情報として利用される。その他、図５にて説明していない構成要件は、図２、図３で説明したものと同様の動作を行う。

　電話網通信部５６１は、移動体電話通信網の基地局４５３との通信を行う。ＬＡＮ通信部５６２またはＷｉ－Ｆｉ通信部５６３は、公衆ネットワーク５５７の無線通信用アクセスポイント５５９等と通信を行う。

　前記通信を利用して、メール処理部５０８はメールの作成、メールの解析等を行いメールサーバ４５５とのメール情報交換を行う。図５では、メール処理部５０８を独立した構成として記述しているが、情報処理部５０１がＲＡＭ５０４をワークエリアとして使用することにより、同機能を実現しても良い。このメール処理部３０８で有られた情報から使用者が次に面談する人物を想定することなどにも利用することができる。

　また、前述した通信網を利用してアプリケーションサーバ４５６に前述した情報処理部５０１の動作の一部の処理を行わせても良い。特に、大量の個人情報や映像入力部５２８および又は集音マイク５２９からの映像情報および又は音声情報からの特徴を抽出処理やその両者を比較して類似する人物を特定するなどの処理を行う機能処理をアプリケーションサーバ５５６上にあっても良い。このようにすることで、情報処理部５０１の処理負荷を低減することができる。

　本実施例では、実施例１での外部処理装置１５２の情報処理部３０１、または実施例２での携帯情報端末４６０の情報処理部５０１が行う映像情報を用いた人物の判断方法について説明する。

　本実施例における情報処理部の機能説明図を図６に示す。図６において、図１～５と下２桁が同一の番号を有するものは、概略同一の構成／機能を有する。図６に示すように、人物の判断方法は、映像入力部６２８、抽出処理６７１と人物判断６７２と蓄積処理６７３とから成る映像処理機能を有する映像処理部６０１、記憶部６０５、映像記憶部６１０、出力部６７４にて実施される。

　また、抽出処理６７１と人物判断６７２の具体例の一例として、顔認識方法を図７を用いて説明する。顔認識方法の抽出処理６７１と人物判断６７２は、映像入力部６２８によって撮像された人物６７０のフレームデータから顔の輪郭を検出する顔輪郭検出７７５と、顔輪郭検出７７５によって検出された顔の輪郭の内部の目、鼻、口等の顔の要素を検出する顔要素検出７７６と、顔要素検出７７６によって検出された顔の要素に基づいて特徴量を算出する特徴量検出７７８と、あるフレームにおいて検出された特徴量と他のフレームにおいて検出された特徴量とを比較して同一人であるかを判定する人物判断７７９を備える情報処理部７０１である。

　映像処理部６０１は、ＲＯＭ２０３、３０３、５０３に格納されている顔認識方法のプログラムデータを読み出し、順次実行する。まず映像処理部６０１は、顔輪郭検出７７５によって、フレームの中の顔の輪郭を検出する。フレームの中に顔の輪郭が検出できなければそのフレームはノイズとして破棄される。次に映像処理部６０１は、顔要素検出部７７６によって顔の輪郭の内部の目、鼻、口、等の顔の要素を検出する。次に映像処理部６０１は、特徴量検出７７８によって、各要素の大きさ、位置、要素間の位置関係等の特徴量を検出し、この特徴量をフレーム毎に映像記憶部６１０に格納する。映像処理部６０１は、あるフレームに写った人と、他のフレームに移った人とが同一人であるかの判定を要求された場合、格納されている特徴量をフレーム毎に順次読み出し、判定すべきフレームの特徴量との差分を計算する。人物判断７７９は、この差分が閾値以下である場合、同一人である可能性があると判定する。

　また、人物判断７７９は、過去の面談者の人物情報が記録されている記憶部６０５からその情報を映像記憶部６１０に読み出し、前述したフレーム間と同様に特徴量との差分を計算し、この差分が閾値以下である場合、同一人である可能性があると判定する。

　このように、人物判断７７９にて過去に面談した人物情報を順次記憶部６０５から読み出して類似する人物が居なければ、蓄積処理６７３にて、新たにその情報を映像記憶部６１０を介して記憶部６０５に記憶する。また一致する人物がいた場合には、今回の面談にて得られた新たな情報を更新して映像記憶部６１０を介して記憶部６０５に記憶する。

　更に、この人物判断７７９の動作を図８に示す情報処理部８０１にて具体的な一例を説明する。人物判断７７９の機能は、現在の映像入力部２２８、３２８、５２８が撮像している人物６７０の画像情報８７０、記憶部６０５から読み出し一時記憶する映像記憶部６１０に順次または複数を一括して得られた画像情報８８０～８８２、両者の情報が類似するか否かを判断する人物判断８７２、人物判断８７２の結果より類似する人物がいない場合には、その人物の情報を新たに蓄積し、類似する人物がいた場合には、その人物の情報を更新して蓄積する蓄積処理８７３、類似する人物がいた場合には、その人物の情報を出力する出力８７４から成る。情報８７０と情報８８０～８８２を類似しているか否かを人物判断８７２にて判断し、その結果に応じて、例えば、類似している情報が情報８８０であればその情報を出力８７４へ出力するのと合わせて新たな情報を更新して蓄積し、類似した情報がなければ新たな人物として蓄積する。ここで、類似している情報がない場合の出力は、過去に面談したことがない旨を伝える情報を出力するか、撮像画像から得られた情報から分かる範囲の情報を出力する。また、情報８７０、８８０～８８２が画像情報を図示しているが、人物の特徴を示す情報であればよい。

　本実施例では、実施例１での外部処理装置１５２の情報処理部３０１、または実施例２での携帯情報端末４６０の情報処理部５０１が行う音声情報を用いた人物の判断方法について説明する。

　本実施例における情報処理部の機能説明図を図９に示す。図９において図１～８と下２桁が同一の番号を有するものは、概略同一の構成／機能を有する。図９に示すように、人物の判断方法は、音声入力部９２９、抽出処理９８３と人物判断９８４と蓄積処理９７３とから成る音声処理機能を有する音声処理部９０１、記憶部９０５、音声記憶部９１３、出力部９７４にて実施される。

　また、抽出処理９８３と人物判断９８４の具体例の一例として、音声認識方法を以下に説明する。音声認識方法の抽出処理９８３と人物判断９８４は、音声入力部９２９によって集音された人物９７０（話者）の音声データから、いくつかの特徴を抽出して「声紋」または「テンプレート」あるいは「モデル」を構築する。認証または識別では、音声処理部９０１が、ＲＯＭ３０３、５０３に格納されている音声認識方法のプログラムデータを読み出し、順次実行する。まず音声処理部９０１は、抽出処理９８３によって、音声入力部９２９にて集音した音声から使用者が対面して話をしている人物９７０（話者）の声を検出する。その人物９７０（話者）の声が検出できなければその情報はノイズとして破棄される。次に音声処理部９０１は、掲出された音声からいくつかの特徴を抽出する。たとえば、サウンドスペクトログラムなどの分析で「声紋」情報を抽出する。人物判断９８４では、過去の面談者の人物情報が記録されている記憶部９０５からその情報を音声記憶部９１３に読み出し、抽出処理９８３の出力情報との特徴量の差分を計算し、この差分が閾値以下である場合、同一人である可能性があると判定する。

　このように、人物判断９８４にて過去に面談した人物情報を順次記憶部９０５から読み出して一致する人物が居なければ、蓄積処理９７３にて、新たにその情報を音声記憶部９１３を介して記憶部９０５に記憶する。また一致する人物がいた場合には、今回の面談にて得られた新たな情報を更新してその情報を音声記憶部９１３を介して記憶部９０５に記憶する。

　更に、人物判断９８４の機能は、現在の音声入力部９２９が集音している人物９７０（話者）の情報と、記憶部９０５から読み出し一時記憶する音声記憶部９１３に順次または複数を一括して得られた複数の人物情報が類似するか否かを判断する。人物判断９８４の結果により類似する人物がいない場合には、その人物の情報を新たに蓄積し、類似する人物がいた場合には、その人物の情報を更新する。また、類似する人物がいた場合には、その人物の情報を出力する出力部９７４から成る。ここで、その人物の情報はサウンドスペクトログラムの分析による「声紋」に限定されるものではなく、人物の声の特徴を示す情報であればよい。

　また、音声による人物認識の精度は難しい場合が有る為、前述した実施例３の映像認識方法を併用して制度を高める処理を用いる方が良い。

　図１０に、音声認識方法の活用例として「声紋」による人物認証だけではなく、会話の内容を認識する応用例について説明する。入力センサまたは検出センサの一つである集音マイク２２９、３２９、５２９と通話マイク２３０、３３０，５３０を利用した情報処理部２０１、３０１、５０１の処理方法を示す。情報処理部１００１は、音声区間検出１０８５、音声認識１０８６、修正１０８７から構成される。

　図１０では、入力音声に含まれるテキスト化可能な音声言語のみを対象とし、入力音声から音声言語を含む音声区間を音声区間検出１０８５にて検出し、該当区間を切り出している。次に、切り出した音声区間を音声認識１０８６にて音声認識し、認識結果である単語列のテキストデータを出力する。この認識結果には通常認識誤りが含まれているため、既に蓄積されている記憶部３０５、５０５内の情報により自動的に認識結果中の誤りを修正し、修正結果を抽出する。この一連の手続きは、音声区間が切り出されるたびに逐次的に行われ、低遅延で出力することができる。

　図１１に図１０に示した音声認識を利用した使用者の音声による操作方法の一例について説明する。使用者の音声を処理する方法は、音声情報１１８８とその音声情報に対応した情報を蓄積した情報１１８９とから成る情報処理部１１０１である。なお、情報１１８９は記憶部３０５、５０５に既に蓄積されているものとする。使用者は、通話マイク２３０、３３０、５３０から音声を入力（検出）し、その言葉により面談者に関する情報１１８９の内から優先的に得たい情報を選択し、出力部を構成する表示部２４１、３４１、５４１に表示したり、耳元スピーカ２４３、３４３、５４３から音声情報として出力する。いずれか一方の出力のみとしても良いし、両方を併用しても良い。

　図１２に、図１０に示した音声認識を利用した方法の他の一例について説明する。入力センサまたは検出センサの一つである集音マイク２２９、３２９、５２９と通話マイク２３０、３３０、５３０を利用した情報処理部２０１、３０１、５０１の処理方法を示す。使用者および対面者の音声を処理する方法は、音声情報１２８８とその音声情報から特徴的な情報を抽出して分析し必要な会話内容を蓄積する情報１２９０とから成る情報処理部１２０１である。使用者と面談者との会話を集音マイク２２９、３２９、５２９と通話マイク２３０、３３０、５３０から入力（検出）し、その会話の内容を分析し、重要な言葉などから必要な会話内容を抽出し、その情報１２９０をその面談者の情報として記憶部２０１、３０５、５０５に記憶する。

　本実施例では、実施例１での携帯情報端末１５１や外部処理装置１５２、及び、実施例２での携帯情報端末４６０での、表示処理部２４２、３４２、５４２と表示部２４１、３４１、５４１および耳元スピーカ２４３、３４３、５４３への出力方法について説明する。

　本実施例における表示画面例を図１３～図１６に示す。基本的に、本実施例における出力は携帯情報端末１５１と携帯情報端末４６０の表示部２４１、５４１および耳元スピーカ２４３、５４３にて、使用者に情報が伝えられるように表示および音にて出力されるが、外部処理装置１５２の表示部３４２および耳元スピーカ３４３に表示されても良い。

　表示情報としては、たとえば、図１３の表示画面１３９１に示すように、面談者の名前を表示する。図１４の表示画面１４９１では、より詳細な情報を表示している。たとえば、名前、年齢、自分との関係、前回面談時の日時、前回面談時の会話内容などを表示することで、面談者との新たな会話内容を容易に考え付くようにしている。また、図１５の表示画面１５９２では、図１４に示した、既に所有している情報を持った面談者に対面した場合に、その面談者が所有する他の携帯情報端末１５８、４５８と使用者が所有する携帯情報端末１５１，４６０間での情報交換する際に、前回の面談時以降の情報のみを交換するように制御することで、通信情報量を低減することが出来る（図１５中の下線を付けた情報のみを交換する）。また、この両者の携帯情報端末が所定の距離に近づいたことや通信可能な距離に近づいたこと、または映像入力部２２８、３２８、５２８や集音マイク２２９、３２９、５２９などからの入力情報から面談者を認識した時に、この両者の携帯情報端末間の通信がなされる。また、各携帯情報端末はこのような自分の個人情報を開示するか否かの設定が出来るようにすることが出来る。

　また、他の表示方法として、図１６の表示画面１６９１a～１６９１bに示すように、表示部２４１，３４１、５４１の表示領域が少ない場合には表示情報を自動的にスクロールして表示するようにすることも出来る。

　ここで、図示はしていないがこれらの情報を耳元スピーカ２４３、３４３、５４３からの音声情報として出力しても良いし、映像と音声を併用しても良い。

　また、前述したように面談者が所有する他の携帯情報端末１５８の通信部と使用者の携帯情報端末１５１間で通信を確立し、その面談者の人物情報を携帯情報端末１５１が問合せ、他の携帯情報端末１５８が提供することにより面談者の情報を入手し、使用者に伝えることができるが、同様に使用者の携帯情報端末１５１が保持（たとえば、記憶部２０５、３０５、５０５に保持）している使用者の個人情報を面談者が使用する他の携帯情報端末１５８供給することができる。ここで、たとえば初対面の相手には名前のみ個人情報を提供するようにしたり、仕事上の親しい関係の相手には業務に関係する情報を、家族で付き合っているような親しい関係の相手には家族の情報を提供するなどの、情報レベルを両者の関係から自動的にレベル変更することや、これを手動にて操作部２３１、３３１、５３１から設定することもできる。

　本実施例では、実施例１での携帯情報端末１５１の処理の動作について説明する。

　図１７は、本実施例における携帯情報端末１５１の端末操作をトリガとして、面談相手の個人情報を問い合わせる処理フローチャートである。

　図１７において、携帯情報端末１５１は、電源オン時、通常は機能待機状態にある。機能待機中に入力センサの一つであるタッチパネル２２７等への使用者による端末操作を確認（Ｓ１０１）し、タッチパネル２２７に入力が有るか否かの所定の状況を判断（Ｓ１０２）する。入力がなければ、再び入力待ちの状態へ戻る。入力が有ることを確認した場合には、それをトリガに外部処理装置１５２へ現在面談しようとしている、もしくは面談中の相手の個人情報を問い合わせるための送信（Ｓ１０３）を行う。その後、外部処理装置１５２からの特定人物の情報の受信を確認（Ｓ１０４）する。次に、外部処理装置１５２からの受信が有ったか否かを判断（Ｓ１０５）する。受信がなければ、再び外部処理装置１５２からの受信待ちに戻る。受信が有ったことを確認した場合は、その情報を出力部（たとえば、表示部２４１）に出力し、その情報を記憶部２０５に蓄積し終了する。

　外部処理装置１５２は、携帯情報端末１５１からの送信信号を受信し、映像入力部３２８および又は集音マイク３２９から使用者が現在面談しようとしている、もしくは面談中の相手の撮像画像情報および又は音声情報を検出してその特徴から既に記憶している記憶部３０５の情報と比較してその人物を特定し、その人物の個人情報を携帯情報端末１５１へ送信するものとする。

　または、外部処理装置１５２は、携帯情報端末１５１からの送信信号を受信し、他の携帯情報端末１５８とＢｌｕｅｔｏｏｔｈ通信部３６４またはＮＦＣ通信部３６５を用いて通信を確立し、他の携帯情報端末１５８が有するその使用者本人の個人情報を入手し、その人物の個人情報を携帯情報端末１５１へ送信するものとする。

　ここで、入力センサは前記のタッチパネル以外に、たとえば映像入力部２２８にて撮像した画像から使用者と対面している人物を検出した場合を前記所定の状況と判断しても良いし、集音マイク２２９から入力された音声情報が所定の閾値より大きく検出された場合や所定の言葉を検出した場合を前記所定の状況と判断しても良い。

　図１８は、本実施例における携帯情報端末１５１の、他の携帯情報端末１５８が近づいたことをトリガとして、面談相手の個人情報を問い合わせる処理フローチャートである。

　図１８において、携帯情報端末１５１は、電源オン時、通常は機能待機状態にある。機能待機中に入力センサとして、他の携帯情報端末１５８からの通信を受信したことを確認（Ｓ２０１）し、Ｂｌｕｅｔｏｏｔｈ通信部２６４またはＮＦＣ通信部２６５に他の携帯情報端末１５８からの通信が確立したか否かの状況を判断（Ｓ２０２）する。受信がなければ、再び入力待ちの状態へ戻る。受信が有ることを確認した場合には、それをトリガに外部処理装置１５２へ現在面談しようとしているもしくは面談中の相手の個人情報を問い合わせるための送信（Ｓ２０３）を行う。その後、外部処理装置１５２からの特定人物の情報の受信を確認（Ｓ２０４）する。次に、外部処理装置１５２からの受信が有ったか否かを判断（Ｓ２０５）する。受信がなければ、再び外部処理装置１５２からの受信待ちに戻る。受信が有ったことを確認した場合は、その情報を出力部（たとえば、表示部２４１）に出力し、その情報を記憶部２０５に蓄積し終了する。

　ここで、図１７および図１８において、出力部は、前記の表示部２４１に限定されず、たとえば耳元スピーカ２４３からの音声情報によって使用者に伝える方法でもよい。また、記憶部２０５への蓄積は、既に同一人物の情報が有ればその情報を更新し、同一人物がいない場合には新たにその人物の情報を記憶する。また、この情報は、Ｓ１０３やＳ１０４の携帯情報端末１５１と外部処理装置１５２間の相互通信時などにその情報を記憶部２０５と記憶部３０５の登録人物の情報を交換して同一の情報に共有させることができる。

　本実施例では、実施例２での携帯情報端末４６０の処理の動作について説明する。

　図１９は、本実施例における携帯情報端末４６０の端末操作をトリガとして、面談相手の個人情報を取得する処理フローチャートである。

　図１９において、携帯情報端末４６０は、電源オン時、通常は機能待機状態にある。機能待機中に入力センサの一つであるタッチパネル５２７等への使用者による端末操作を確認（Ｓ３０１）し、タッチパネル５２７に入力が有るか否かの所定の状況を判断（Ｓ３０２）する。入力がなければ、再び入力待ちの状態へ戻る。入力が有ることを確認した場合には、それをトリガに携帯情報端末４６０の使用者が現在面談しようとしているもしくは面談中の相手の個人情報を得るために、映像入力部５２８および又は集音マイク５２９にて撮像した画像またおよび又は集音した音声から使用者と対面している人物の特徴を検出（Ｓ３０３）する。その情報と既に蓄積されている記憶部５０５の情報は類似している人物情報が有るか否かを判断（Ｓ３０４）する。この結果、類似情報がなければその人物の情報を新たに蓄積（Ｓ３０５）し、類似情報が有ればその情報を既にある情報を更新して蓄積（Ｓ３０６）する。その後、前記情報を出力部（たとえば、表示部５４１）に出力（Ｓ３０７）し終了する。

　図２０は、本実施例における携帯情報端末４６０の、他の携帯情報端末４５８が近づいたことをトリガとして、面談相手の個人情報を取得する処理フローチャートである。

　図２０において、携帯情報端末４６０は、電源オン時、通常は機能待機状態にある。機能待機中に入力センサとして、他の携帯情報端末４５８からの通信を受信したことを確認（Ｓ４０１）し、Ｂｌｕｅｔｏｏｔｈ通信部５６４またはＮＦＣ通信部５６５に他の携帯情報端末４５８からの通信が確立したか否かの状況を判断（Ｓ４０２）する。受信がなければ、再び入力待ちの状態へ戻る。受信が有ることを確認した場合には、他の携帯情報端末４５８が有するその使用者本人の個人情報を入手（Ｓ４０３）する。更に、タッチパネル５２７や映像入力部５２８や集音マイク５２９などの入力センサからの入力状況の変化を確認（Ｓ４０４）し、所定の状況か否かを判断（Ｓ４０５）する。ここで、所定の状況とは、たとえば、映像入力部５２８にて撮像した画像から使用者と対面している人物を検出した場合を所定の状況と判断しても良いし、集音マイク５２９から入力された音声情報が所定の閾値より大きく検出された場合や所定の言葉を検出した場合を所定の状況と判断する。そして、所定の状況でなければ継続してその入力状況を監視し、所定の状況と判断した場合は、映像入力部５２８および又は集音マイク５２９にて撮像した画像および又は集音した音声から使用者と対面している人物の特徴を検出（Ｓ４０６）する。そして、Ｓ４０３にて入手した個人情報とＳ４０６にて検出した人物の特徴が類似しているか否かを判断（Ｓ４０７）する。この結果、類似情報がなければその人物は現在面談しようとしているもしくは面談中の相手の個人情報ではないと判断し、最初の状態に戻り、新たな他の携帯情報端末４５８からの受信を待機する状態へ戻り、類似情報であれば次のステップである記憶部５０５に既に蓄積されている人物と類似しているか否かも判断（Ｓ４０８）する。この結果、いずれにも類似情報がなければその人物の情報を新たに蓄積（Ｓ４０９）し、記憶部５０５に類似情報が有ればその情報を既にある情報を更新して蓄積（Ｓ４１０）する。その後、前記情報を出力部（たとえば、表示部２４１）に出力（Ｓ４１１）し終了する。

　ここで、簡易な方法として、Ｓ４０４～Ｓ４０７を削除して他の携帯情報端末４５８が有する、その使用者本人の個人情報を入手（Ｓ４０３）した後に、直接記憶部５０５に既に蓄積されている人物と類似しているか否かも判断（Ｓ４０８）する方法を用いることができる。この方法では、たとえば会議室などの特定のエリア内で面談者が限定されているような状況に適している。しかし、周囲に面談者以外の複数の人物が存在して複数の他の携帯情報端末４５８からの情報を入手してしまうことを考慮すると、Ｓ４０４～Ｓ４０７を用いて前記複数の人物間を判別する方法を追加（Ｓ４０４～Ｓ４０７）する方法が有効である。

　図１９および図２０で、図示していないが、携帯情報端末４６０は、電話網通信部５６１および基地局４５３を介して移動体電話通信メールサーバ４５４からメール情報を入手する。また、携帯情報端末４６０は、ＬＡＮ通信部５６２またはＷｉ－Ｆｉ通信部５６３によって無線通信用アクセスポイント４５９を介して公衆ネットワーク４５７に接続された、たとえばアプリケーションサーバ４５６と通信を確立し、記憶部５０５に蓄積する人物の情報をアプリケーションサーバ４５６上に供給したり、アプリケーションサーバ４５６上から蓄積する人物に関連した情報を受け取ることが可能である。このようにして、記憶部５０５に蓄積する人物の情報を更新することが可能である。

　ここで、記憶部５０５に記録する蓄積情報には面談した日の日付情報を含まれる。また、既に蓄積情報が有る場合に更新時には前回の蓄積の日付後の情報を追加する形で更新する。

　また、図１９および図２０で、入力センサは前記のタッチパネル５２７以外に、たとえば映像入力部５２８にて撮像した画像から使用者と対面している人物を検出した場合を所定の状況と判断しても良いし、集音マイク５２９から入力された音声情報が所定の閾値より大きく検出された場合や所定の言葉を検出した場合を前記所定の状況と判断しても良い。

　更に、図１９および図２０において、新規蓄積（Ｓ３０５、Ｓ４０９）と更新蓄積（Ｓ３０６、４１０）を処理後、情報出力（Ｓ３０７、Ｓ４１１）を処理する工程と記載しているが、情報出力（Ｓ３０７、Ｓ４１１）の処理工程を先に行い、情報を使用者に提供後、新規蓄積（Ｓ３０５、Ｓ４０９）または更新蓄積（Ｓ３０６、４１０）の処理工程を行うことにしても良い。特に、更新蓄積（Ｓ３０６、４１０）では、使用者が面談相手との会話等により得られた情報を追加した後に最新の更新情報を用いて更新蓄積（Ｓ３０６、４１０）を行う方が良いことが考えられる。

　本実施例では、実施例１及び２での携帯情報端末、及び、外部処理装置の外観構成について説明する。

　本実施例における携帯情報端末、及び、外部処理装置の外観構成図を図２１～図３１に示す。図２１～図３１において、図１～図５と下２桁が同一の番号を有するものは、概略同一の構成／機能を有する。

　図２１、２２は腕時計型の実施例１及び２での携帯情報端末１５１または４６０である。その外形は、図２１に示すように携帯情報端末２１５１（および２１６０）を使用者の腕に取り付けて持ち運ぶに適した形状をしている。基本的に、実施例１及び２の図２及び図５に記載された各構成が搭載されているが、図２２では図２の代表的な構成のみを記載している。よって、図５の各構成についても同様に搭載が可能である。

　図２２において、携帯情報端末２２５１（および２２６０）は、タッチパネル２２２７、表示部２２４１、映像入力部２２２８、集音マイク２２２９、通話マイク２２３０、耳元スピーカ２２４３、周囲スピーカ２２４４を備えている。使用者が時計を見る際に使用者に近い側に通話マイク２２３０、耳元スピーカ２２４３を配置している。また、タッチパネル２２２７は表示部２２４１の全面に配置されており、使用者は腕時計の表示面をタッチする感覚でタッチパネル２２２７への入力を行うことができる。

　次に、図２１、２２が携帯情報端末１５１として動作する場合に、その外部処理装置１５２として動作する外部処理装置の外観配置図を図２３用いて詳細を説明する。その外形は、図２３に示すように外部処理装置２３５２を使用者がスマートフォンを持ち運ぶのと同様な形状をしている。基本的に、図３に記載された各構成が搭載されているが、図２３では図３の代表的な構成のみを記載している。図２３において、外部処理装置２３５２は、タッチパネル２３２７、表示部２３４１、映像入力部２３２８、集音マイク２３２９、通話マイク２３３０、耳元スピーカ２３４３、周囲スピーカ２３４４（図示していないが背面に構成される）を備えている。スマートフォンを使用する要領で、タッチパネル２３２７を操作する。

　ここで、図２２の表示部２２４１は、表示面積が小さいため図１６で開示したような表示方法を用い、図２３の表示部２３４１は、比較的表示面積が大きいため図１４で開示したような表示方法を用いて表示することが適している。

　図２４～２７に、特に実施例２の携帯情報端末４６０に適した外観構成図を示す。図２４～２７は、図５の各構成が搭載されているが、その代表的な構成の配置を示している。図２４～２７において、携帯情報端末２４６０、２５６０、２６６０、２７６０、使用者２４９３、タッチパネル２６２７、表示部２７４１、映像入力部２６２８、２７２８、集音マイク２６２９、通話マイク２７３０、耳元スピーカ２７４３、周囲スピーカ２６４４を示している。特に、携帯情報端末２４６０、２５６０、２６６０、２７６０を使用時には、表示部２７４１が使用者２４９３の視野角内に配置されるように構成されている。また、使用者が携帯情報端末２４６０を携帯している際には、通話マイク２７３０、耳元スピーカ２７４３が適切な位置に配置している。また、タッチパネル２６２７は携帯情報端末２６６０の外面に配置され、使用者が操作しやすい配置されている。また、面談者を撮影するための映像入力部２６２８を外向けの面に、使用者を撮影するための映像入力部２７２８を内向きの面に配置している。
　図２８、図２９に、特に実施例２の携帯情報端末４６０に適した外観構成図の他の例を示す。図２８、図２９は、図５の各構成が搭載されているが、ここでは、特に音声による出力方法時の使用例で使われる代表的な構成の配置を示している。図２８、図２９は、携帯情報端末２８６０、２９６０、使用者２８９３、タッチパネル２９２７、映像入力部２９２８、集音マイク２９２９、通話マイク２９３０、耳元スピーカ２９４３を示している。特に、携帯情報端末２８６０、２９６０を使用時の携帯装着時には、通話マイク２９３０、耳元スピーカ２９４３が適切な位置に配置している。また、タッチパネル２９２７は携帯情報端末２９６０の外面に配置され、使用者が操作しやすい位置に配置されている。

　さらに、図３０に、特に実施例２の携帯情報端末４６０に適した外観構成図の他の例を示す。図３０は、図５の各構成が搭載されているが、ここでは、特に映像による出力方法時の使用例で使われる代表的な構成の配置を示している。図３０は、携帯情報端末３０６０、映像入力部３０２８a、３０２８ｂ、集音マイク３０２９a、３０２９ｂ、表示部３０４１を示している。特に、映像入力部３０２８a、３０２８ｂ、集音マイク３０２９a、３０２９ｂは映像と音声をステレオ入力とすることで、映像は立体的に取扱いできるので人物認証の精度を高めることができる。音声もステレオ化することで、情報量を増やすこともできるし、音声源の位置を把握しやすくなり、映像と音声を併用して人物認証を行う際にも、必要な音声の抽出などの技術課題を解決し易くなるなどのメリットもある。また、表示部３０４１は透過型の表示装置を用いることで、携帯情報端末３０６０の出力情報と本来の周囲の情報を同時に見ることが可能になる。

　以上の処理により、本発明の面談者の情報を使用者により迅速に提供する機能を提供することができる。

　以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。また、文中や図中に現れるメッセージの文章等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうものではない。

１５１、４６０、２１５１、２２５１、２１６０、２２６０、２４６０、２５６０、２６６０、２７６０、２８６０、２９６０：携帯情報端末、１５２、２３５２：外部処理装置、１５８、４５８：他の携帯情報端末、１５９、４５９：無線通信用アクセスポイント、１５７、４５７：公衆ネットワーク、１５６、４５６：アプリケーションサーバ、２０１、３０１，５０１：情報処理部、２０２、３０２、５０２：システムバス、２０３、３０３、５０３：ＲＯＭ、２０４、３０４、５０４：ＲＡＭ、２０５、３０５、５０５：記憶部、２２７、３２７、５２７：タッチパネル、２４１、３４１、５４１：表示部、２２８、３２８、５２８、２２２８、２３２８、２６２８、２７２８：映像入力部、２４３、３４３、５４３、２２４３、２３４３、２７４３、２９４３：耳元スピーカ、２２９、３２９、５２９：集音マイク、２３０、３３０、５３０、２２３０、２３３０、２７３０、２９３０：通話マイク、３１０，５１０：映像記憶部、３１３，５１３：音声記憶部、３６１，５６１：電話網通信部、３６２、５６２：ＬＡＮ通信部、３６３、５６３：ＷｉＦｉ通信部、３６４、５６４：Ｂｌｕｅｔｏｏｔｈ通信部、３６５、５６５：ＮＦＣ通信部、６７１、９８３：抽出処理、６７２、７７９、９８４：人物判断、６７３、９７３：蓄積処理、７７５：顔輪郭検出、７７６顔要素検出、７７８：特徴量検出、１０８５：音声区間検出、１０８６：音声認識

Claims (18)

1. 　周囲の変化を検出する入力センサと、
   　外部処理装置と情報を送受信する通信部と、
   　情報を出力する出力部と、
   　前記入力センサからの入力信号変化から所定の状況を検知し、前記通信部を介して外部処理装置に指示信号を送信し、前記通信部を介して前記外部処理装置から前記指示信号に応じた人物の情報を受信し、前記出力部を介して前記人物の情報を出力する制御部とを有することを特徴とする携帯情報端末。
2. 　請求項１に記載の携帯情報端末であって、
   　前記外部処理装置は、映像入力部または音声入力部を有し、該映像入力部または音声入力により検出した信号から人物の特徴を検出し、その結果に応じてその人物を特定する機能を有し、
   　前記制御部は、前記外部処理装置から前記指示信号に応じた特定人物の情報を受信することを特徴とする携帯情報端末。
3. 　請求項１に記載の携帯情報端末であって、
   前記通信部は他の携帯情報端末と情報を送受信し、
   　前記制御部は、前記入力センサからの入力信号変化から所定の状況を検知し、前記通信部を介して前記他の携帯情報端末に指示信号を送信し、前記通信部を介して前記他の携帯情報端末から該他の携帯情報端末の所有者を特定する情報を受信し、前記出力部を介して前記他の携帯情報端末の所有者を特定する情報を出力することを特徴とする携帯情報端末。
4. 映像入力部または音声入力部の少なくとも一つを有する検出センサと、
   　情報を出力する出力部と、
   　情報蓄積部と、
   　前記検出センサからの入力信号変化から所定の状況を検出し、前記検出センサにより検出した信号から人物の特徴を検出し、該検出した人物の特徴と過去に蓄積したデータと類似する人物がいるか否かを判断し、該判断の結果で類似する人物がいない場合にはその人物の情報を前記蓄積部に新たに蓄積し、類似する人物がいた場合にはその人物の情報を前記蓄積部において更新し、前記出力部を介して前記人物の情報を出力する制御部とを有することを特徴とする携帯情報端末。
5. 　請求項４に記載の携帯情報端末であって、
   他の携帯情報端末から該他の携帯情報端末の所有者の情報を受信する受信部を有し、
   　前記制御部は、該受信手段から得られた情報と過去に蓄積したデータと一致する人物がいるか否かを判断し、該判断の結果で類似する人物がいない場合にはその人物の情報を前記蓄積部に新たに蓄積し、類似する人物がいた場合にはその人物の情報を前記蓄積部において更新することを特徴とする携帯情報端末。
6. 　請求項４に記載の携帯情報端末であって、
   他の携帯情報端末から該他の携帯情報端末の所有者の情報を受信する受信部を有し、
   前記制御部は、前記検出センサにより検出した信号から人物の特徴を抽出し、前記受信部からの前記他の携帯情報端末の所有者の情報と前記抽出した人物の特徴が類似しているか否かを判断し、該判断の結果で類似する人物がいない場合にはその人物の情報を前記蓄積部に新たに蓄積し、類似する人物がいた場合にはその人物の情報を前記蓄積部において更新することを特徴とする携帯情報端末。
7. 　請求項６に記載の携帯情報端末であって、
   　外部のネットワークへ接続する接続部と、
   　前記接続部を介して前記情報蓄積部で蓄積する人物の情報を前記ネットワークに接続されたサーバに送信する送信部と、
   　前記サーバから他の携帯情報端末から受信した前記所有者の情報を受信するサーバ情報受信部を有し、
   前記情報蓄積部は前記サーバ情報受信部からの前記所有者の情報に基づいてその人物の情報を更新することを特徴とする携帯情報端末。
8. 　請求項６に記載の携帯情報端末であって、
   前記情報蓄積部の前記情報には、少なくとも新たに人物の情報を得た日付情報を含むことを特徴とする携帯情報端末。
9. 　請求項８に記載の携帯情報端末であって、
   　前記判断の結果が類似する人物がいた場合には、前回蓄積した情報の日付後の更新情報を前記他の携帯情報端末から受信するようにすることを特徴とする携帯情報端末。
10. 　請求項４に記載の携帯情報端末であって、
    　前記出力する前記人物の情報は、前記検出センサから前記携帯情報端末の使用者の音声情報を抽出し、前記使用者の音声情報に応じて出力情報を選択することを特徴とする携帯情報端末。
11. 　請求項３に記載の携帯情報端末であって、
    　前記入力センサは、前記他の携帯情報端末と情報を送受信する通信部にて構成されることを特徴とする携帯情報端末。
12. 　請求項１に記載の携帯情報端末であって、
    　前記出力する前記人物の情報は、少なくとも名前、年齢、自分との関係、前回面談時の日時、前回面談時の会話内容のいずれか一つ以上であることを特徴とする携帯情報端末。
13. 周囲の変化を検出する入力ステップと、
    　該入力ステップからの入力信号の変化から所定の状況を検知し、外部処理装置へ指示信号を送信する送信ステップと、
    　前記外部処理装置から前記指示信号に応じた人物の情報を受信する受信ステップと、
    　該受信ステップにて得られた人物の情報を出力する出力ステップを有することを特徴とする携帯情報端末の情報処理方法。
14. 　請求項１３に記載の携帯情報端末の情報処理方法であって、
    　前記外部処理装置は、映像入力部または音声入力部を有し、該映像入力部または音声入力により検出した信号から人物の特徴を検出し、その結果に応じてその人物を特定する機能を有し、
    　前記外部処理装置から前記指示信号に応じた特定人物の情報を受信することを特徴とする携帯情報端末の情報処理方法。
15. 　請求項１３に記載の携帯情報端末の情報処理方法であって、
    　前記入力ステップからの入力信号の変化から所定の状況を検知し、他の携帯情報端末へ指示信号を送信する送信ステップと、
    　前記他の携帯情報端末から前記他の携帯情報端末の所有者を特定する情報を受信する受信ステップと、
    　該受信した所有者を特定する情報を出力する出力ステップを有することを特徴とする携帯情報端末の情報処理方法。
16. 　請求項１５に記載の携帯情報端末の情報処理方法であって、
    前記出力ステップの前記所有者を特定する情報は、前記入力ステップから前記携帯情報端末の使用者の音声情報を抽出し、前記使用者の音声情報に応じて出力情報を選択することを特徴とする携帯情報端末の情報処理方法。
17. 　請求項１５に記載の携帯情報端末の情報処理方法であって、
    前記入力ステップは、他の携帯情報端末からの情報を受信する受信ステップにて構成されることを特徴とする携帯情報端末の情報処理方法。
18. 　請求項１５に記載の携帯情報端末の情報処理方法であって、
    前記出力ステップの所有者を特定する情報には、少なくとも名前、年齢、自分との関係、前回面談時の年月日、前回面談時の会話内容のいずれか一つであることを特徴とする携帯情報端末の情報処理方法。

Images