JP5236264B2 - 通信端末、情報処理方法及びプログラム - Google Patents

Description

本発明は、外部と通信可能な携帯電話機等の移動体通信端末や通信機能付きのパーソナルコンピュータ、ＰＤＡなどの通信端末、情報処理方法及びプログラムに関するものである。

従来、カメラで撮影した画像のデータに基づいて、その画像に含まれる人物の顔を認識して人物を特定する顔認識処理を行うことができる携帯電話機が知られている（例えば、特許文献１〜３）。この顔認識の結果は、携帯電話機を操作している利用者が予め登録された正規の利用者か否かの認証に用いることができる。
特開２００６−０９３９３４号公報 特開２００６−３１９５５０号公報 特開２００７−０４７８７７号公報

しかしながら、上記従来の携帯電話機のように画像に含まれる人物の顔を認識して人物を特定する場合は、その認識対象の画像中の顔の大きさ、向き、背景等の様々な要素によって顔認識の精度が低下してしまうという問題点がある。

本発明は以上の問題点に鑑みなされたものであり、その目的は、画像に含まれる人物の顔を認識して人物を特定するときの顔認識の精度を高めることができる通信端末、情報処理方法及びプログラムを提供することである。

本発明に係る通信端末は、外部と通信する通信手段と、通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信履歴記憶手段と、画像のデータを記憶する画像データ記憶手段と、前記画像のデータに基づいて該画像に含まれる人物の顔を認識して該人物を特定する顔認識手段と、前記通信履歴記憶手段に記憶されている通信履歴情報に基づいて、前記認識結果を修正する認識結果修正手段と、を備える。
ここで、上記外部との通信は、通信相手先と音声による通話や音声及び画像による通話を行うテレビ通話を行う電話の通信と、通信相手先とメールとやり取りを行うメールの通信とを含む。
この通信端末では、通信手段で通信する通信相手先と、顔認識の対象となる画像に含まれる人物とは、重複する可能性が高い。すなわち、顔認識手段によって認識処理される画像に含まれる人物は、通信履歴記憶手段に通信履歴情報の通信相手先の人物である可能性が高い。従って、通信履歴記憶手段に記憶されている通信履歴情報に基づいて、顔認識手段の認識結果を修正することにより、その認識結果で特定された人物が顔認識の対象の画像に含まれる真の人物である確率を高めることができる。よって、画像に含まれる人物の顔を認識して人物を特定するときの顔認識の精度を高めることができる。

なお、前記通信端末において、複数の人物それぞれについて顔の認識に用いる複数の顔認識基準データを記憶する顔認識基準データ記憶手段を更に備え、前記顔認識手段は、前記画像に含まれる人物の顔を特徴付ける顔特徴データを抽出し、その抽出された顔特徴データと、前記顔認識基準データ記憶手段に記憶されている前記複数の顔認識基準データとを比較することにより、前記画像に含まれる人物を特定するものであってもよい。
この通信端末では、画像に含まれる人物の顔を特徴付ける顔特徴データと、顔認識基準データ記憶手段に予め記憶されている複数の顔認識基準データとを比較することにより、画像に含まれる人物の顔を効率よく且つ精度よく認識して当該人物を特定できる。

また、前記通信端末において、前記画像データ記憶手段は、前記認識結果修正手段で修正された認識結果と前記画像のデータとを対応付けて記憶するものであってもよい。
この通信端末では、認識結果修正手段で修正された認識結果である人物の情報と、対応する画像のデータとを対応付けて記憶しておくことにより、その画像のデータを人物の情報で分類して保存したり検索したりすることができる。

また、前記通信端末において、前記認識結果修正手段は、前記通信履歴情報に基づいて前記通信相手先の人物との親密度を判定し、該親密度に基づいて前記認識結果を修正するものであってもよい。
この通信端末では、通信履歴情報に含まれる各通信相手先との通信の内容に応じて、当該通信端末の利用者と通信相手先の人物との親密度が変わるという傾向があるので、通信履歴情報に基づいて通信相手先の人物との親密度を判定することができる。そして、この判定して得られた親密度が高いほど、顔認識手段によって認識処理される画像に当該通信相手先の人物が含まれる確率が高くなる。従って、上記判定で得られた親密度に基づいて前記認識結果を修正することにより、顔認識の精度を更に高めることができる。

また、前記通信端末において、前記認識結果修正手段で用いる前記通信履歴情報は、前記通信相手先の人物ごとに記憶されている通信頻度、該通信相手先との通信が行われた日時から現在の日時までの経過時間、及び該通信相手先との通信の種類の少なくとも一つの情報であってもよい。
この通信端末では、顔認識手段によって認識処理される画像に通信相手先の人物が含まれる確率は、その通信相手先に対する前記通信頻度、前記経過時間及び前記通信の種類の少なくとも一つによって変わる場合が多い。従って、前記通信頻度、前記経過時間及び前記通信の種類の少なくとも一つの情報に基づいて、前記認識結果を修正することにより、顔認識の精度を更に高めることができる。
ここで、前記認識結果修正手段は、前記通信相手先の人物との通信頻度が多いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正するものであってもよい。通信相手先の人物との通信頻度が多いほど、その人物と通信端末の利用者との親密度が高くなる場合が多いため、画像に当該人物が含まれている確率が高いと判断して認識結果を修正することにより、顔認識の精度を更に高めることができる。
また、前記認識結果修正手段は、前記通信相手先の人物との通信に対する前記経過時間が短いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正するものであってもよい。通信相手先の人物との通信に対する前記経過時間が短いほど、その人物と通信端末の利用者との親密度が高くなる場合が多いため、画像に当該人物が含まれている確率が高いと判断して認識結果を修正することにより、顔認識の精度を更に高めることができる。
また、前記認識結果修正手段は、前記通信相手先の人物との通信の種類について、該人物への電話の発信、該人物からの電話の着信、該人物へのメールの送信、該人物からのメールの受信、の順に、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正するものであってもよい。通信相手先の人物への電話の発信、人物からの電話の着信、人物へのメールの送信、人物からのメールの受信、の順に、その人物と通信端末の利用者との親密度が高くなる場合が多い。そのため、画像に当該人物が含まれている確率が高いと判断して認識結果を修正することにより、顔認識の精度を更に高めることができる。

また、前記通信端末において、前記認識結果は、前記画像に含まれている人物について複数の候補者を提示するものであり、前記認識結果修正手段は、前記通信履歴情報に基づいて、前記認識結果に含める前記候補者を修正するものであってもよい。
この通信端末では、画像に含まれている人物について複数の候補者を認識結果として提示することにより、認識結果の全体としての精度を高めつつ、当該画像に含まれている人物を最終的に特定するときに当該通信端末の利用者が判断して選択できるようにすることができる。
ここで、前記認識結果の複数の候補者を表示する表示手段と、前記表示手段に表示された前記複数の候補者からいずれか一人を、前記画像に含まれる前記特定の人物として選択するための選択手段と、を更に備え、前記画像データ記憶手段は、前記選択手段で選択された人物の情報と前記画像のデータとを対応付けて記憶するものであってもよい。この場合は、複数の候補者のいずれか一人を特定の人物として選択する利用者による選択作業が容易になるとともに、画像データ記憶手段に画像のデータとを対応付けて記憶される人物が当該画像に含まれる人物である確率を高めることができる。

また、前記通信端末において、画像を撮影する撮像手段を更に備え、前記顔認識対象の画像が、前記撮像手段で撮影した画像であってもよい。
この通信端末では、撮像手段で画像を撮影する人物は、当該通信端末で通信する通信相手先になる場合が多く、当該通信端末の利用者と親密である場合が多い。そのため、当該通信端末による通信相手先の人物と、撮像手段で撮影され顔認識の対象となる画像に含まれる人物とは、重複する可能性が更に高くなる。従って、画像に含まれる人物の顔を認識して人物を特定するときの顔認識の精度を更に高めることができる。

本発明に係る情報処理方法は、通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信端末における情報処理方法であって、画像のデータに基づいて該画像に含まれる人物の顔を認識して該人物を特定するステップと、前記通信履歴情報に基づいて前記認識結果を修正するステップと、を有する。
前記情報処理方法において、前記画像に含まれる人物の顔を特徴付ける顔特徴データを抽出し、その抽出された顔特徴データと、複数の人物それぞれについて顔の認識に用いる複数の顔認識基準データとを比較することにより、前記画像に含まれる人物を特定してもよい。
また、前記情報処理方法において、前修正された認識結果と前記画像のデータとを対応付けて記憶するステップを更に有してもよい。
また、前記情報処理方法において、前記通信履歴情報に基づいて前記通信相手先の人物との親密度を判定し、該親密度に基づいて前記認識結果を修正してもよい。
また、前記情報処理方法において、前記通信履歴情報は、前記通信相手先の人物ごとに記憶されている通信頻度、該通信相手先との通信が行われた日時から現在の日時までの経過時間、及び該通信相手先との通信の種類の少なくとも一つの情報であってもよい。
また、前記情報処理方法において、前記通信相手先の人物との通信頻度が多いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正してもよい。
また、前記情報処理方法において、前記通信相手先の人物との通信に対する前記経過時間が短いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正してもよい。
また、前記情報処理方法において、前記通信相手先の人物との通信の種類について、該人物への電話の発信、該人物からの電話の着信、該人物へのメールの送信、該人物からのメールの受信の順に、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正してもよい。
また、前記情報処理方法において、前記認識結果は、前記画像に含まれている人物について複数の候補者を提示するものであり、前記通信履歴情報に基づいて、前記認識結果に含める前記候補者を修正してもよい。
また、前記情報処理方法において、前記認識結果の複数の候補者を表示するステップと、前記複数の候補者から選択された人物の情報と前記画像のデータとを対応付けて記憶するステップと、を更に有してもよい。
また、前記情報処理方法において、前記顔認識対象の画像は、撮像手段で撮影した画像であってもよい。

本発明に係るプログラムは、通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信端末における情報処理を、当該通信端末のコンピュータを用いて実行させるためのプログラムであって、画像のデータに基づいて該画像に含まれる人物の顔を認識して該人物を特定するステップと、前記通信履歴情報に基づいて前記認識結果を修正するステップと、前記コンピュータを用いて実行させる。
前記プログラムにおいて、前記画像に含まれる人物の顔を特徴付ける顔特徴データを抽出し、その抽出された顔特徴データと、複数の人物それぞれについて顔の認識に用いる複数の顔認識基準データとを比較することにより、前記画像に含まれる人物を特定する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前修正された認識結果と前記画像のデータとを対応付けて記憶する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記通信履歴情報に基づいて前記通信相手先の人物との親密度を判定し、該親密度に基づいて前記認識結果を修正する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記通信履歴情報は、前記通信相手先の人物ごとに記憶されている通信頻度、該通信相手先との通信が行われた日時から現在の日時までの経過時間、及び該通信相手先との通信の種類の少なくとも一つの情報であってもよい。
また、前記プログラムにおいて、前記通信相手先の人物との通信頻度が多いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記通信相手先の人物との通信に対する前記経過時間が短いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記通信相手先の人物との通信の種類について、該人物への電話の発信、該人物からの電話の着信、該人物へのメールの送信、該人物からのメールの受信の順に、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記認識結果は、前記画像に含まれている人物について複数の候補者を提示するものであり、前記通信履歴情報に基づいて、前記認識結果に含める前記候補者を修正する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記認識結果の複数の候補者を表示するステップと、前記複数の候補者から選択された人物の情報と前記画像のデータとを対応付けて記憶する情報処理を、前記コンピュータを用いて実行させるものであってもよい。
また、前記プログラムにおいて、前記顔認識対象の画像は、撮像手段で撮影した画像であってもよい。

本発明によれば、通信履歴情報に基づいて、顔認識手段の認識結果を修正することにより、その認識結果で特定された人物が顔認識の対象の画像に含まれる真の人物である確率を高めることができるので、画像に含まれる人物の顔を認識して人物を特定するときの顔認識の精度を高めることができるという効果がある。

以下、本発明を通信端末としての携帯電話機を用いたデータ共有システムに適用した実施形態について説明する。
図１は本発明の実施形態に係る携帯電話機を用いたデータ共有システムの一例を示す概略構成図である。このデータ共有システムは、携帯電話通信網１０を含む通信ネットワークを介して構築された複数の利用者が所属する仮想的なコミュニティにおいて、各利用者の画像データを共有するものであり上記仮想的なコミュニティに所属する利用者の携帯電話機２０、２１と、各携帯電話機２０、２１と通信可能に携帯電話通信網１０上に設けられたサーバ３０とを用いて構成されている。各携帯電話機２０、２１は、携帯電話通信網１０の基地局１０１の間に確立された無線通信回線を介して、携帯電話機等の電話機との間で、電話やメール等の通信を行うことができる。また、各携帯電話機２０、２１は、更にインターネット等の外部の通信ネットワークを介して、他のパーソナルコンピュータやＰＤＡ等の通信端末との間でメール等の通信を行うことができる。サーバ３０は、携帯電話通信網１０とゲートウェイを介して接続されるインターネット１１などの他の通信ネットワーク上に設けてもよい。

上記仮想的なコミュニティは、実空間でのコミュニティの場合と同様に、例えば同じ趣味を有する関係や家族・親類の関係などのある特定の関係を互いに有する複数の利用者（メンバー）で構成されるグループに対応する。この仮想的なコミュニティは、例えば、コミュニティを管理運営しようとする管理者が、コミュニティの名称、自分のメールアドレス、電話番号、氏名等の必要な登録情報をサーバ３０に送信して所定の認証を受けることにより、通信ネットワーク上に構築することができる。管理者には、通信ネットワーク上でコミュニティを管理するための管理者用のＩＤ及びパスワードが設定される。コミュニティの所属する利用者（メンバー）は、例えば、自分のメールアドレス、電話番号、氏名等の必要な登録情報をサーバ３０に送信して所定の認証を受けることにより登録される。この利用者登録は、新規コミュニティ構築時に行ってもいいし、その後の任意のタイミングで行ってもよい。

図２は、上記仮想的なコミュニティ上で画像データを共有するデータ共有システムを構成する携帯電話機２０の機能的な構成要素を示すブロック図である。なお、携帯電話機２１も同様に構成することができる。携帯電話機２０は、サーバ３０に送信してアップロードする送信対象の画像データを解析する画像解析機能（顔認識機能）を備えている。携帯電話機２０は、他の携帯電話機等との間で電話の通信を行うための電話通信部（通信手段）２００と、データ記憶部（データ記憶手段）２１０と、データ送信部（データ送信手段、通信手段）２２０と、予約設定部（予約設定手段）２３０と、画像関連情報入力部（画像関連情報入力手段）２４０と、画像関連情報付加部（画像関連情報付加手段）２５０と、画像解析部（顔認証手段）２６０と、認識結果修正部（認識結果修正手段）２６５と、データ受信部（データ受信手段、通信手段）２７０と、撮像部（撮像手段）２８０、表示部（表示手段）２８５と、選択情報入力部（選択手段）２９０とを備える。これらの各部の機能は、携帯電話機２０に予め組み込まれたプログラムやユーザがダウンロードしたプログラムがＣＰＵ等からなるコンピュータに読み込まれることにより、そのプログラムと携帯電話機２０の各種ハードウェア資源とが協働することによって実現される。このプログラムは、ＲＯＭ等の半導体メモリや、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ等）、磁気ディスク（ＦＤ、ＨＤ等）、磁気テープなどの記録媒体を記録した状態で受け渡しすることができ、コンピュータネットワークを介した通信によって受け渡しすることもできる。また、携帯電話機２０は、ハードウェア資源として、ＣＰＵ，ＲＡＭ，ＲＯＭ，ベースバンド処理部，無線通信モジュール，液晶パネル等によるディスプレイ，キー操作部，マイク、スピーカ、カメラ、メモリカード等を備える。

上記無線通信モジュールは、例えばシンセサイザ、周波数変換器，高周波増幅器などにより構成され、携帯電話通信網１０の基地局１０１との間で無線通信するための高周波信号処理を実行する。ベースバンド処理部は、外部の携帯電話機やサーバとの間で電話やデータ送受信の通信を行うためのデジタル処理を実行する。このベースバンド処理部と上記無線通信モジュールとの間はＤ／Ａ変換器やＡ／Ｄ変換器を介して接続されている。また、マイクから出力されるアナログの音声信号は、図示しない音信号処理部でデジタル信号に変換され、ベースバンド処理部等に送られる。スピーカは、音信号処理部でデジタル信号から変換されたアナログ信号が入力され、通話中の音声を出力したり、メールの着信音、電話の呼び出し音、音楽などを出力したりする。なお、スピーカは、通話中の音声を聞くための受話器用スピーカ（レシーバ）と、着信音や音楽などを出力する外部出力用スピーカとを別々に設けて構成してもいいし、これらの受話器用スピーカ及び外部出力用スピーカを兼用するように一つのスピーカで構成してもよい。また、上記キー操作部は、例えば、データ入力キー（テンキー、＊キー、＃キー）、通話開始キー、終話キー、スクロールキー、多機能キー等の複数のキーで構成されている。このキー操作部１１５は、利用者が通話開始、終話、メニュー選択、画面切り換え等を指示したり情報を入力したりするときに用いられる。

上記電話通信部２００は、無線通信モジュール、ベースバンド処理部等を用いて構成され、他の携帯電話機等から電話を着呼したり他の携帯電話機等に対して電話を発呼したりしたときに、携帯電話通信網１０を介して他の携帯電話機との間で確立された通話回線上で電話（通話）の通信処理を実行する。

上記データ記憶部２１０は、ＲＡＭ、ＲＯＭ、メモリカード等を用いて構成され、撮像部２８０等で取得したりサーバからダウンロードしたりすることによって利用者が取得した画像データを記憶する。また、データ記憶部２１０は、電話やメールの通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信履歴記憶手段や、複数の人物それぞれについて顔の認識に用いる複数の顔認識基準データを記憶する顔認識基準データ記憶手段としても機能する。上記通信履歴は、例えば、電話の着呼・発呼やメール送受信の通信の相手先（人物）の名前又はその識別情報のデータと、その通信の日時データとが対応付けられて記憶される。また、上記通信履歴情報は、データ記憶領域の空きがなくならないように、直近の所定件数（例えば１００件）の通信履歴を残して記憶するようにしてもよい。

図３は、上記画像データ記憶手段としてデータ記憶部２１０に記憶する画像データ及びその付加情報の一例を示す説明図である。図示の例では、画像データ（本体）と、その画像データに関する基本情報、画像関連情報（取得関連情報、送信制御関連情報、タグ情報、画像解析結果）とを関連付けて記憶している。基本情報としては、ファイル名、ファイルタイプ（ＪＰＥＧ、ＰＮＧ等）及びファイルサイズを記憶している。上記取得関連情報としては、例えば、該当する画像データを取得したときの携帯電話機の位置情報や取得（撮影）した日時情報を記憶している。上記送信制御関連情報としては、該当する画像データのサーバ３０へのアップロード（送信）を指定するためのアップロードフラグ（送信指定情報）と、送信後に削除するか否かを指定するための削除フラグ（削除有無指定情報）とを記憶している。また、上記タグ情報としては、画像関連情報入力部２４０で入力されたタグ情報を記憶している。また、上記画像解析結果としては、で得られた画像解析部２６０における顔認識処理で得られた認識結果（例えば、各人物に一意にふられたＩＤ番号等の人物識別情報）や、その認識結果を通信履歴情報に基づいて修正した修正後の認識結果（人物識別情報）を記憶している。

上記データ送信部２２０は、無線通信モジュール等を用いて構成され、携帯電話通信網１０を介して、通信ネットワーク上のメールサーバにメールデータを送信したり、通信ネットワーク上のＷＥＢサーバ等のコンテンツサーバに取得リクエストを送信したりする。また、データ送信部２２０は、予め設定した送信予約時刻に、アップロードフラグが「１」になっている送信対象の画像データをサーバ３０に送信する。

上記送信予約時刻は、携帯電話通信網（通信ネットワーク）１０における通信が閑散となるトラフィック閑散時間帯に設定するのが好ましい。例えば、トラフィック閑散時間帯として、携帯電話機による通話やデータ通信が少ない深夜帯を設定すれば、携帯電話通信網（通信ネットワーク）１０の日中のトラフィック低減が可能になる。また、トラフィック閑散時間帯として、携帯電話機の利用がない深夜帯を設定すれば、データサイズが大きい画像データをアップロードする場合でも、そのデータのアップロード処理によって携帯電話機での他のサービスやアプリケーションを利用できなくなるという事態が発生することがない。更に、上記深夜帯などのトラフィック閑散時間帯に対して割安の通信料金（時間課金、データ量課金）が設定されている場合は、上記画像データのアップロードに対する通信料の低減を図ることもできる。

上記予約設定部２３０は、キー操作部などで構成され、利用者が操作することにより、画像データをサーバ３０に送信する送信予約時刻が設定される。この予約設定部２３０は、無線通信モジュール等を用い、サーバ３０から受信した時刻指定情報に基づいて、前記送信予約時刻を自動設定するように構成してもよい。

上記画像関連情報入力部２４０は、キー操作部などで構成され、利用者が操作することにより、必要に応じて、データ記憶部２１０に記憶されている画像データに関連したタグ情報、例えば画像データの内容を識別するためのタグ情報（画像関連情報）が入力される。
上記画像関連情報付加部２５０は、ＣＰＵなどで構成され、画像関連情報入力部２４０でタグ情報が入力された場合に、そのタグ情報を送信対象の画像データに付加する。

なお、上記タグ情報を入力する場合は、過去に使用された複数のタグ情報とその使用頻度とを対応付けたランキングデータをサーバ３０から受信し、そのサーバ３０から取得したランキングデータを表示するようにしてもよい。利用者は、表示されたランキングデータから選択して所望のタグ情報を入力することができる。ランキングデータ受信部（ランキングデータ受信手段）は、上記無線通信モジュール等を用いて構成され、ランキングデータ表示部（ランキングデータ表示手段）は、液晶パネル等のディプレイを用いて構成される。

上記画像解析部２６０は、ＣＰＵや認識エンジンなどで構成され、データ記憶部２１０に記憶されている画像データを読み出して解析し、その画像の種類を特定して解析結果として出力する。特に、この画像解析部２６０は、画像データに基づいて画像に含まれる人物の顔を認識して人物を特定する顔認識手段として機能する。例えば、画像が人物の顔画像を含む場合、その顔画像を解析してその人物を特定し、その人物の識別情報（人物識別情報）を認識結果（解析結果）として出力する。この顔認識のための画像解析の方法は、公知の様々な画像認識技術を採用することができる。例えば、認識する可能性がある複数の人物の基準となる顔認識基準データを対応する人物の情報と対応付けて保存した画像認識用の基準画像データベースを予め作成して登録しておき、その予め登録された基準画像データベースを用いて上記顔認識の画像解析を行って人物等の特定を行ってもよい。上記基準画像データベースには、例えば携帯電話機の利用者の知り合いである予め登録された複数の人物（例えば１００名〜２００名程度の人物）について顔認識基準データが人物の名前や識別情報等の人物情報と対応付けられている。また、この基準画像データベースは、人物の名前や識別情報をキーとして電話帳（アドレス帳）のデータテーブルとリンクさせておいてもよい。また、上記基準画像データベースには、携帯電話機の利用者が、撮像部２８０による撮影などによって取得した人物の画像データに基づいて、顔認識基準データ及び人物情報を適宜登録できるようにしてもよい。

なお、上記画像解析部２６０は、上記認識結果として、画像に含まれている人物について予め設定した所定人数の複数の候補者を特定し、それら複数の候補者それぞれについて、顔認識の正確さを表す指標値（スコア）を候補者の画像や名前等と一緒に提示する認識結果を出力するようにしてもよい。また、１つの画像データについて、被写体として複数の人物等を認識した場合は、その複数の人物等の識別情報を認識結果（解析結果）として出力する。この画像解析部２６０で認識結果として得られた人物識別情報は、例えば図３に示すように、手入力したタグ情報とは別に、送信対象の画像データに付加してもいいし、タグ情報の一部として付加してもよい。

上記認識結果修正部２６５は、ＣＰＵなどで構成され、データ記憶部２１０に記憶されている電話の発呼・着呼やメール送受信の通信履歴情報に基づいて、上記画像解析部２６０で得られた認識結果を修正する。ここで、上記認識結果の修正には、通信回数が多い順番に通信相手先を並べた場合の上位から予め設定して所定人数（例えば上位２０名）の通信履歴情報のみを用いるようにしてもよい。なお、認識結果修正部２６５における処理の具体例については後述する。

上記データ受信部２７０は、上記無線通信モジュール等を用いて構成され、携帯電話通信網１０を介して、通信ネットワーク上のメールサーバからメールデータを受信したり、通信ネットワーク上のＷＥＢサーバ等のコンテンツサーバから所望のコンテンツのデータを送信したりする。また、データ受信部２７０は、携帯電話機２０の利用者が所属する仮想コミュニティについてサーバ３０に画像データが追加されたときにサーバ３０から送信される追加の画像データを、サーバ３０から受信する。なお、上記追加の画像データは、予め設定された受信予約時刻になったときに受信するように制御してもよい。

また、上記受信予約時刻は、前述の送信予約時刻の場合と同様に、携帯電話通信網（通信ネットワーク）１０における通信が閑散となるトラフィック閑散時間帯に設定するのが好ましい。例えば、トラフィック閑散時間帯として、携帯電話機による通話やデータ通信が少ない深夜帯を設定すれば、携帯電話通信網（通信ネットワーク）１０の日中のトラフィック低減が可能になる。また、トラフィック閑散時間帯として、携帯電話機の利用がない深夜帯を設定すれば、データサイズが大きい画像データをダウンロードする場合でも、そのデータのダウンロード処理によって携帯電話機での他のサービスやアプリケーションを利用できなくなるという事態が発生することがない。しかも、深夜帯にデータのダウンロードが完了しているので、ダウンロードした画像データに基づいて画像を速やかに表示することができ、利用者の操作性が向上する。更に、上記深夜帯などのトラフィック閑散時間帯に対して割安の通信料金（時間課金、データ量課金）が設定されている場合は、上記画像データのダウンロードに対する通信料の低減を図ることもできる。

上記撮像部２８０は、ＣＣＤやＣＭＯＳ等の撮像デバイス（カメラ）で構成され、利用者が所定の撮影操作することにより、周囲の人物や風景などを撮影し、上記データ記憶部２１０に保存することができる。

上記表示部２８５は、ＬＣＤ（液晶ディスプレイ）や有機ＥＬ(Organic Electroluminescence)、ＬＥＤ(Light-Emitting Diode)アレイ等で構成され、撮像部２８０等で取得した画像を表示したり、送受信対象のメールなどの各種情報を表示したりすることができる。また、表示部２８５は、上記画像解析部２６０で得られた認識結果や、上記認識結果修正部２６５で修正された認識結果を表示することができる。

上記選択情報入力部２９０は、キー操作部などで構成され、上記認識結果修正部２６５で修正された認識結果が複数の候補者を提示するものである場合に、表示部２８５に表示された複数の候補者からいずれか一人を画像に含まれる特定の人物として利用者が選択するときに用いられる。この選択情報入力部２９０で選択された人物の情報（人物識別情報）が、該当する画像のデータとを対応付けてデータ記憶部２１０に記憶される（図３参照）。

次に、上記認識結果修正部２６５における認識処理の修正処理の具体例について説明する。この例では、修正処理後の人物の顔認識の正確さを数値化して表す指標値として、次の（１）式で示す「総合スコアＳ」を定義している。
総合スコアＳ＝Ｗｆ×Ｓｆ＋Ｗｃ×Ｓｃ ・・・（１）

ここで、上記（１）式における各変数の意味は以下のとおりである。なお、（１）式中の各加重値Ｗｆ及びＷｃの設定値は、利用者が表示部２８５に表示された設定画面でキー操作部を操作することにより、変更できるようにしてもよい。
Ｓｆ：顔認識技術による判定結果の点数（顔認識スコア）、
Ｗｆ：顔認識技術による判定結果に対する加重値、
Ｓｃ：通話・メールの通信履歴を定量化した点数（通信履歴スコア）、
Ｗｃ：通話・メールの通信履歴に対する加重値。

上記通信履歴スコアＳｃは、携帯電話機２０の利用者と通信相手先の人物との親密度を数値化した表した指標値であり、例えば次の計算方法で計算することができる。まず、特定人物との通信（電話の発信、電話の着信、メールの送信、メールの受信）の履歴を、｛（ｋ１，ｔ１），（ｋ２，ｔ２），・・・，（ｋｎ，ｔｎ）｝と想定する。ここで、各変数の意味は次のとおりである。
ｋｉ：通信の種類（電話の発信、電話の着信、メールの送信、メールの受信）、
ｔｉ：経過時間＝現在の日時−通信を行った日時。

上記通信の履歴の変数を用いると、上記通信履歴スコアＳｃは、例えば次の（２）式のように計算することができる。
Ｓｃ＝ＳＵＭ｛ｉ＝１〜ｎ｝・｛Ｗｋ（ｋｉ）×Ｗｔ（ｔｉ）｝ ・・・（２）

ここで、上記（２）式中の変数Ｗｋ（ｋｉ）及びＷｔ（ｔｉ）はそれぞれ、通信の種類及び経過時間に関する加重値であり、例えば次のように設定する。
Ｗｋ（ｋ）＝１．０ （ｋ＝電話の発信）、
０．８ （ｋ＝電話の着信）、
０．６ （ｋ＝メールの送信）、
０．４ （ｋ＝メールの受信）。
Ｗｔ（ｔ）＝１．０ （ｔ＜１日）、
０．５ （１日≦ｔ＜３日）、
０．２５ （３日≦ｔ＜７日）、
０．１ （７日≦ｔ＜３０日）。

上記加重値Ｗｋ（ｋｉ）及びＷｔ（ｔｉ）は、携帯電話機の利用者と通信相手先との間の親密度に対応し、その親密度を数値化したものである。上記設定例の場合、通信の種類についての加重値が大きい優先順位は、電話の発信＞電話の着信＞メールの送信＞メールの受信であり、また、通信の経過時間が短いものほど加重値が大きくなっている。これらの加重値Ｗｋ（ｋｉ）及びＷｔ（ｔｉ）の設定値は、利用者が表示部２８５に表示された設定画面でキー操作部を操作することにより、変更できるようにしてもよい。

表１は、画像に含まれる２人の人物Ａ，Ｂに対する顔認識技術による判定結果の点数Ｓｆ及び人物Ａ，Ｂとの間の通信履歴の具体例であり、表２は人物Ａ，Ｂに対する顔認識の総合スコアＳの計算の具体例である。なお、表２において、総合スコアＳを計算する（１）式における加重値Ｗｆ及び通話・メールの通信履歴に対する加重値Ｗｃは次のように設定した。
Ｗｆ＝１．０、
Ｗｃ＝５．０

顔認識スコアＳｆ
通信履歴
人物Ａ
８０点
無し
人物Ｂ
７５点
８時間前：電話の発信１件
２日前： 電話の発信１件、
電話の着信１件
５日前： メールの送信１件

顔認識スコア
Ｓｆ
通信履歴スコア
Ｓｃ
総合スコア
Ｓ
人物Ａ
８０点
０点
１．０×８０＋
５．０×０＝
８０点
人物Ｂ
７５点
Ｗｋ（電話の発信）×Ｗｔ（８時間）＋
Ｗｋ（電話の発信）×Ｗｔ（２日）＋
Ｗｋ（電話の着信）×Ｗｔ（２日）＋
Ｗｋ（メールの送信）×Ｗｔ（５日）＝
１．０×１．０＋
１．０×０．５＋
０．８×０．５＋
０．６×０．２５＝
２．０５点
１．０×７５＋
５．０×２．０５＝
８５．２５点

図４は、人物を含む画像を撮影してから画像データを保存するまでの処理の一例を示すフローチャートである。まず、携帯電話機２０の利用者は、キー操作部を操作し、撮像部２８０で撮影し、撮影した画像のデータをデータ記憶部２１０に一旦保存する（Ｓ１，Ｓ２）。次に、画像解析部２６０により、上記撮影した画像について顔認識の画像解析処理を実行し、その画像に含まれている人物に該当する確率が高いと判断した所定人数の候補者の情報（例えば、名前や人物識別情報）を、認識結果としてデータ記憶部２１０に保存する（Ｓ３，Ｓ４）。例えば、図５の枠内に示すように顔認識スコアＳｆが高い上位９名の候補者の情報を、認識結果としてデータ記憶部２１０に保存する。なお、図５の枠外の３名の人物は、上記９名の候補者から外れた人物であり、上記９名の候補者の次に顔認識スコアＳｆが高い人物である。図中の人物Ａ，Ｂは、上記表示１及び２に示した人物Ａ，Ｂに対応している。９名の候補者の中では人物Ａの顔認識スコアＳｆが一番悪い。ここで、実際に人物の顔を含む画像について顔認識処理を行ったところ、図５に示すように顔認識スコアＳｆが高い上位９名の候補者のいずれかが当該画像に含まれている人物である確率は、９２％であった。これに対し、顔認識スコアＳｆが一番高い１名に絞った場合は、３０％であった。

次に、上記認識結果を、携帯電話機２０の通信履歴情報に基づいて修正する（Ｓ５）。例えば、表示１及び２に示した人物Ａ，Ｂの場合、通信履歴情報に基づいて修正した結果、人物Ｂの総合スコアＳの値（８５．２５点）が人物Ａの総合スコアの値（８０点）よりも多くなっているので、図６に示すように上記９名の候補者から人物Ａを外し、その代わりに、９名の候補者に人物Ｂを入れるように、認識結果が修正される。この認識結果の修正により、図６に示す９名の候補者のいずれかが当該画像に含まれている人物である確率は、９４％まで高まった。そして、この人物Ｂを入れた９名が、最終的な候補者のリストとして表示部２８５に表示される（Ｓ６）。

次に、上記表示部２８５の表示を見た利用者が、９名の候補者から画像に実際に含まれている人物を選択するようにキー操作部を操作すると、その選択された人物の人物識別情報が、データ記憶部２１０内の該当する画像データに対応付けられて自動保存される（Ｓ７，Ｓ８）。

以上、本実施形態によれば、撮像部２８０による撮影などで取得された画像について顔認識処理（画像解析処理）を実行するとともに、データ記憶部２１０に記憶されている通信履歴情報に基づいて、上記顔認識処理の認識結果を修正することにより、その認識結果で特定された人物が顔認識の対象の画像に含まれる真の人物である確率を高めることができるので、画像に含まれる人物の顔を認識して人物を特定するときの顔認識の精度を高めることができる。

また、本実施形態によれば、画像データから人物の顔を特徴付ける顔特徴データを抽出し、その顔特徴データと、データ記憶部２１０の基準画像データベースに予め記憶されている複数の顔認識基準データとを比較することにより、画像に含まれる人物の顔を効率よく且つ精度よく認識して当該人物を特定できる。

また、本実施形態によれば、認識結果修正部２６５で修正された認識結果である人物識別情報と、対応する画像のデータとを対応付けて記憶しておくことにより、その画像のデータを人物の情報で分類して保存したり検索したりすることができる。

また、本実施形態によれば、通信相手先の人物との親密度を、通信相手先との通信頻度、通信相手先との通信が行われた日時から現在の日時までの経過時間、及び通信相手先との通信の種類を用いて判定し、その判定で得られた親密度に対応する通信履歴スコアＳｃに基づいて、前記認識結果の顔認識スコアＳｆを修正することにより、顔認識の精度を更に高めることができる。

また、本実施形態によれば、画像に含まれている人物について複数の候補者を認識結果として提示することにより、認識結果の全体としての精度を高めつつ、当該画像に含まれている人物を最終的に特定するときに携帯電話機の利用者が判断して選択できるようになる。特に、携帯電話機の利用者は、表示部２８５で確認しながらキー操作部を操作することができるので、複数の候補者のいずれか一人を特定の人物として選択する利用者による選択作業が容易になるともに、データ記憶部２１０に画像データとを対応付けて記憶される人物識別情報の精度も高めることができる。

以上、本発明の好ましい実施形態を説明したが、特許請求の範囲に記載された技術的事項の範囲内において、開示した実施形態に種々の変更を加えることができる。

例えば、上記実施形態において、上記画像データは静止画のデータでもいいし、動画のデータでもよい。動画の画像データをサーバにアップロードして共有可能に保存する場合は、例えば動画の特定の画像フレームについて画像解析（顔認識）を行う。画像解析を行う画像フレームは、利用者が指定してもいいし、画像解析部が複数の画像フレームをスキャンして画像解析に好適な画像フレームを自動的に選択するようにしてもよい。

また、上記実施形態では、通信端末が携帯電話機の場合について説明したが、本発明は、ＰＨＳ、自動車電話機、通信機能を有する携帯情報端末（ＰＤＡ）、通信機能を有するデジタルカメラ等、他の通信端末の場合についても適用でき、同様な効果が得られるものである。

本発明の実施形態に係る携帯電話機を用いたデータ共有システムの一例を示す概略構成図。 データ共有システムを構成する携帯電話機の機能的な構成要素を示すブロック図。 携帯電話機のデータ記憶部に記憶する画像データ及びその付加情報の一例を示す説明図。 人物を含む画像を撮影してから画像データを保存するまでの処理の一例を示すフローチャート。 顔認識の認識結果の説明図。 通信履歴情報に基づいて修正した認識結果の説明図。

符号の説明

１０ 携帯電話通信網
２０，２１ 携帯電話機
３０ サーバ

Claims (12)

1. 外部と通信する通信手段と、通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信履歴記憶手段と、画像のデータを記憶する画像データ記憶手段と、を備えた通信端末であって、
   前記画像のデータに基づいて該画像に含まれる人物の顔を認識して該人物を特定する顔認識手段と、
   前記通信履歴記憶手段に記憶されている通信履歴情報に基づいて、前記認識結果を修正する認識結果修正手段と、を備え、
   前記認識結果修正手段は、前記通信履歴情報に基づいて前記通信相手先の人物との親密度を判定し、該親密度に基づいて前記認識結果を修正することを特徴とする通信端末。
2. 請求項１の通信端末において、
   複数の人物それぞれについて顔の認識に用いる複数の顔認識基準データを記憶する顔認識基準データ記憶手段を更に備え、
   前記顔認識手段は、前記画像に含まれる人物の顔を特徴付ける顔特徴データを抽出し、その抽出された顔特徴データと、前記顔認識基準データ記憶手段に記憶されている前記複数の顔認識基準データとを比較することにより、前記画像に含まれる人物を特定することを特徴とする通信端末。
3. 請求項１又は２の通信端末において、
   前記画像データ記憶手段は、前記認識結果修正手段で修正された認識結果と前記画像のデータとを対応付けて記憶することを特徴とする通信端末。
4. 請求項１乃至３のいずれかの通信端末において、
   前記認識結果修正手段で用いる前記通信履歴情報は、前記通信相手先の人物ごとに記憶されている通信頻度、該通信相手先との通信が行われた日時から現在の日時までの経過時間、及び該通信相手先との通信の種類の少なくとも一つの情報であることを特徴とする通信端末。
5. 請求項４の通信端末において、
   前記認識結果修正手段は、前記通信相手先の人物との通信頻度が多いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正することを特徴とする通信端末。
6. 請求項４の通信端末において、
   前記認識結果修正手段は、前記通信相手先の人物との通信に対する前記経過時間が短いほど、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正することを特徴とする通信端末。
7. 請求項４の通信端末において、
   前記認識結果修正手段は、前記通信相手先の人物との通信の種類について、該人物への電話の発信、該人物からの電話の着信、該人物へのメールの送信、該人物からのメールの受信の順に、前記画像に該人物が含まれている確率が高いと判断して前記認識結果を修正することを特徴とする通信端末。
8. 請求項１乃至７のいずれかの通信端末において、
   前記認識結果は、前記画像に含まれている人物について複数の候補者を提示するものであり、
   前記認識結果修正手段は、前記通信履歴情報に基づいて、前記認識結果に含める前記候補者を修正することを特徴とする通信端末。
9. 請求項８の通信端末において、
   前記表示手段に表示された前記認識結果の複数の候補者を表示する表示手段と、
   前記複数の候補者からいずれか一人を、前記画像に含まれる特定の人物として選択するための選択手段と、更にを備え、
   前記画像データ記憶手段は、前記選択手段で選択された人物の情報と前記画像のデータとを対応付けて記憶することを特徴とする通信端末。
10. 請求項１乃至９のいずれかの通信端末において、
    画像を撮影する撮像手段を更に備え、
    前記顔認識対象の画像が、前記撮像手段で撮影した画像であることを特徴とする通信端末。
11. 通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信端末における情報処理方法であって、
    画像のデータに基づいて該画像に含まれる人物の顔を認識して該人物を特定するステップと、
    前記通信履歴情報に基づいて前記通信相手先の人物との親密度を判定し、該親密度に基づいて前記認識結果を修正するステップと、を有することを特徴とする情報処理方法。
12. 通信相手先の人物の情報と対応付けて通信履歴情報を記憶する通信端末における情報処理を、当該通信端末のコンピュータを用いて実行させるためのプログラムであって、
    画像のデータに基づいて該画像に含まれる人物の顔を認識して該人物を特定するステップと、
    前記通信履歴情報に基づいて前記通信相手先の人物との親密度を判定し、該親密度に基づいて前記認識結果を修正するステップとを、
    前記コンピュータを用いて実行させることを特徴とするプログラム。

Images