JP6173076B2 - 情報処理装置、通信相手の決定方法、コンピュータプログラム - Google Patents

Description

本発明は、情報処理装置により、通信相手となる通信機器を特定する技術に関する。

スマートホン等の携帯型の情報処理装置は、カメラ等の撮像装置を搭載したものが一般的である。このような情報処理装置では、撮像装置で撮像した画像から、顔認識技術により人物を特定することができる。また、特定した人物が所有する通信機器を通信相手として特定する技術が、特許文献１に開示されている。特許文献１では、情報処理装置に、予め、顔画像と、この顔画像の人物が所有する通信機器との対応関係を記憶しておく。情報処理装置は、撮像装置により撮像した画像により認識した顔画像と記憶内容とから、この顔画像の人物が所有する通信機器を特定する。特定した通信機器が、該情報処理装置の通信相手となる。

特開２０１１−１７２０８９号公報

情報処理装置の所有者は、該情報処理装置の表示画面に表示された画像を、所有者以外の人物と一緒に閲覧することがある。このときに、この情報処理装置から所有者以外の人物が所有する通信機器へ、閲覧中の画像の画像データを送信することがある。

例えば、ユーザＡが所有するスマートホン（スマートホンＡ）から、ユーザＡとともに写真を閲覧するユーザＢの所有するスマートホン（スマートホンＢ）へ、ユーザＡが、閲覧中の写真を提供する場合がある。このような場合、特許文献１では、ユーザＡは、スマートホンＡにより、ユーザＢを所定の撮像条件で撮像してスマートホンＢを通信相手として特定する必要がある。このような手順は、写真の閲覧を一旦中止して、撮像条件を整えてからユーザＢを撮像するために、ユーザＡにとって煩わしい作業となる。

本発明は、このような従来の問題を解決するため、容易に通信相手となる通信機器を特定可能な情報処理装置を提供することを主たる課題とする。

上記課題を解決する本発明の情報処理装置は、撮像手段と、本情報処理装置の所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて記憶する記憶手段と、前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定する特定手段と、前記特定手段により特定された複数の人物に、前記所有者として登録された人物が含まれる場合、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、本情報処理装置の通信相手を決定する決定手段と、を備え、前記決定手段は、前記画像に含まれる前記所有者として登録された人物の顔画像と、前記所有者として登録された人物を除いた前記１以上の人物のそれぞれの顔画像との比較に基づいて、前記所有者として登録された人物を除いた前記１以上の人物の中から、本情報処理装置の通信相手を決定することを特徴とする。

本発明によれば、煩雑な操作を行うことなく、撮像した画像から、容易に通信相手となる通信機器を特定することができる。

（ａ）は情報処理装置のハードウェア構成図、（ｂ）は情報処理装置の機能ブロック図。 登録テーブルの例示図。 （ａ）、（ｂ）は情報処理装置の利用場面の説明図。 （ａ）、（ｂ）は受信者を特定する処理を表すフローチャート。 （ａ）〜（ｄ）は運用形態の説明図。 情報処理装置の機能ブロック図。 （ａ）、（ｂ）は受信者を特定する処理を表すフローチャート。 （ａ）、（ｂ）は合成画像の作成処理の説明図。

以下、本発明の実施の形態を図面を参照しつつ詳細に説明する。本実施形態の記載はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

［第１実施形態］
図１（ａ）は、本実施形態の情報処理装置１００のハードウェア構成図である。情報処理装置１００は、例えば、スマートホンやタブレットＰＣ（Personal Computer）等の通信機能及び撮像機能を備えた機器により実現される。

情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１により各構成要素が制御される。ＣＰＵ１０１は、そのための演算や論理判断等を行うために、ＲＯＭ（Read Only Memory）１０２から読み出したコンピュータプログラムを、ＲＡＭ（Random Access Memory）１０３を作業領域として実行する。ＲＯＭ１０２は、このような各構成要素の制御のための各種コンピュータプログラムを記憶するメモリである。なお、ＣＰＵ１０１は、コンピュータプログラムを、情報処理装置１００に接続される外部記憶装置からＲＡＭ１０３にロードして実行するようにしてもよい。

ＨＤＤ（Hard Disk Drive）１０４は、外部記憶装置の一例である。ＨＤＤ１０４は、上記のコンピュータプログラムや、各種電子データを記憶する。なお、外部記憶装置は、ＨＤＤ１０４の他に、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現してもよい。このようなメディアには、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等を用いることができる。また、外部記憶装置は、ネットワークで接続されたサーバ装置等に設けられていてもよい。

タッチパネル１０５は、ディスプレイとタッチパッド等の位置入力装置とが組み合わされた入出力装置である。タッチパネル１０５は、各種画像の表示を行い、且つユーザの操作による指示を取得する。通信インタフェース（Ｉ／Ｆ）１０６は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。本実施形態では一例として、無線ＬＡＮ（Local Area Network）を介して通信相手とのデータの送受信を可能とする。他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。カメラ１０７は、人物の画像や映像を取得する撮像装置である。本実施形態のカメラ１０７は、情報処理装置１００の背面側に備えられるメインカメラ及びタッチパネル１０５のディスプレイ側に備えられるインカメラである。つまり、インカメラは、ディスプレイ（表示画面）を閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されている。

ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、タッチパネル１０５、通信Ｉ／Ｆ１０６、及びカメラ１０７は、システムバス１０８を介して相互にデータの送受信が可能に接続される。

図１（ｂ）は、情報処理装置１００に形成される機能を表す機能ブロック図である。各機能は、ＣＰＵ１０１がＲＯＭ１０２からコンピュータプログラムを読み出して実行することで実現される。情報処理装置１００には、撮像部１０９、特定部１１０、距離データ取得部１１１、決定部１１２、記憶部１１３、入出力部１１４、送信部１１５、及び判定部１１６が形成される。なお、本実施形態では各機能ブロックをソフトウェアにより実現することとしているが、ハードウェアにより実現するようにしてもよい。

情報処理装置１００は、本情報処理装置１００の所有者を、カメラ１０７により撮像した２以上の人物が写る画像から特定し、また、所有者を特定した画像に同時に写る所有者以外の人物を特定する。特定した所有者以外の人物の中から、受信者を決める。この受信者の所有する通信機器が通信相手となる。

撮像部１０９は、カメラ１０７により実現され、カメラ１０７により撮像した画像の画像データを特定部１１０に送信する。

特定部１１０は、撮像部１０９から受信した画像データによる画像内の人物の特定処理を行う。特定部１１０は、公知の顔認識技術により顔画像を検出して人物の特定を行う。また、特定部１１０は、検出した顔画像の追尾が可能である。特定部１１０は、過去に取得した画像に所有者の顔画像が写り込んでいれば、追尾を行い、所有者として特定することができる。

距離データ取得部１１１は、特定部１１０で特定された人物の、情報処理装置１００（カメラ１０７）からの距離を距離データとして取得する。本実施形態では、距離データ取得部１１１は、撮像部１０９から受信した画像データによる画像内の顔画像の面積を、距離を表す距離データとして取得する。

なお、距離データ取得部１１１は、情報処理装置１００と画像内の人物までの距離が特定できればどのような方法で距離データを取得してもよい。例えば、画像内の顔画像への光の当たり方からも距離データを取得可能である。この場合、各顔画像の存在する領域の明るさ（照度）を検出し、明るさの度合いを距離データとしてもよい。情報処理装置１００の周辺の明るさによっては、人物の顔を照らすような照明機構を情報処理装置１００に設け、人物の顔を照らして明るさの違いを検出し易くしてもよい。また、画像内の顔画像及び身体画像の一部の重なり方を検出し、重なり方により距離データを補正する方法を組み合わせてもよい。例えば、各人物の顔画像の重なりにより、各人物の情報処理装置１００からの距離の順序がわかる。距離データ取得部１１１は、この順序に矛盾が生じないように、距離データを補正する。所有者を特定部１１０による追尾により検出した場合には、過去に取得した所有者が写る画像から距離データを取得してもよい。

決定部１１２は、距離データ取得部１１１で取得した距離データを用いて、特定部１１０で特定した人物の中から受信者を決定する。決定部１１２は、所有者と同程度の距離にいる人物を距離データにより特定し、特定した人物を受信者とする。距離データが顔画像の面積の場合、決定部１１２は、所有者の顔画像の面積との差が所定値以内の顔画像の面積を有する人物を受信者に決定する。距離データが顔画像の照度の場合、決定部１１２は、所有者の顔画像の照度との差が所定値以内の顔画像の照度を有する人物を受信者に決定する。

記憶部１１３は、ＲＡＭ１０３やＨＤＤ１０４により実現され、情報処理装置１００に登録された人物に関する登録テーブルを記憶する。登録テーブルは、撮像部１０９から受信した画像データによる画像内の人物の特定に用いられる。図２は、登録テーブルの例示図である。登録テーブルには、情報処理装置１００に登録される所有者やその他の人物である２以上のユーザの登録データが記録される。登録データには、ユーザの顔画像（登録顔画像）３０９、ユーザを識別するためのユーザＩＤ３１０、ユーザが所有する通信機器を識別するためのデバイスＩＤ３１１、ユーザが所有者か否かを表すフラグ３１２がある。図２の例では、ユーザＡが所有者として登録されている（フラグ３１２がオンになっている。）。登録顔画像３０９にユーザＩＤ３１０、デバイスＩＤ３１１、及びフラグ３１２が関連付けられている。登録顔画像３０９により、ユーザＩＤ３１０、デバイスＩＤ３１１、及びフラグ３１２が特定可能になっている。

例えば、特定部１１０は、検出した顔画像と登録テーブルに登録された登録顔画像３０９とを比較することで、画像内の人物の特定を行う。特定部１１０は、公知の画像マッチング技術により、検出した顔画像と登録顔画像３０９との比較を行う。例えば、検出した顔画像と登録顔画像３０９との特徴点の対応関係により比較を行う。

入出力部１１４は、タッチパネル１０５の操作により入力される指示を送信部１１５に通知する。また、タッチパネル１０５のディスプレイに画像を表示する。

送信部１１５は、入出力部１１４から通知される所有者の指示に応じてデータの送信を行う。本実施形態では、送信部１１５は、入出力部１１４からデータの送信の指示を受信する。この指示に応じて、送信部１１５は、決定部１１２で決定した受信者が所有する通信機器にデータを送信する。

判定部１１６は、特定部１１０で特定された人物に所有者が含まれるか判定する。判定部１１６は、特定部１１０で特定された人物の登録データに含まれるフラグ３１２の状態を登録テーブルで確認することで、特定された人物が所有者であるか否かを判定する。

図３（ａ）、（ｂ）は、情報処理装置１００の利用場面の説明図である。図３（ａ）は、所有者であるユーザＡ３０１と所有者ではないユーザＢ３０２とが情報処理装置１００のタッチパネル１０５に表示された画像の一覧を閲覧する様子を表す図である。

図３（ｂ）は、情報処理装置１００をユーザＡ３０１、ユーザＢ３０２側から見た図である。また、図３（ｂ）では、タッチパネル１０５に表示される画像一覧を閲覧しているユーザＡ３０１、ユーザＢ３０２が、インカメラ３０４で撮像された画像３０８に写り込む様子を示す。なお、タッチパネル１０５にインカメラ３０４で撮像した画像を表示する必要はないが、インカメラ３０４にユーザＡ３０１、ユーザＢ３０２が写り込む様子を提示するために表示してもよい。

本実施形態では、情報処理装置１００が、タッチパネル１０５に表示される画像の一覧中のいずれかの画像を受信者の通信機器に送信する例を説明する。図４（ａ）、（ｂ）は、受信者を特定する処理を表すフローチャートである。この処理は、カメラ１０７で撮像する画像が更新されるたびに繰り返し実行される。この処理は、所定のアプリケーションソフトウェアの起動、情報処理装置１００の起動、或いは送信する画像の所有者により選択等により開始される。また、通信Ｉ／Ｆ１０６を介して周辺の通信機器に問い合わせを行い、姿勢が類似している通信機器が発見された場合にのみ処理を開始してもよい。なお、「姿勢」とは、情報処理装置１００及び通信機器のピッチ、ロール、向き等である。

ユーザＡ３０１、ユーザＢ３０２がタッチパネル１０５に表示される画像一覧を閲覧している間に、撮像部１０９は、インカメラ３０４で撮像された画像の画像データを特定部１１０に送信する。特定部１１０は、撮像部１０９から送信された画像データを受信し、受信した画像データによる画像に含まれるすべての顔画像を検出して人物の特定を行う（Ｓ２０１）。特定部１１０は、登録テーブルを参照して顔画像から人物を特定する。特定部１１０は、検出した顔画像が登録テーブルに登録されていない場合には、この顔画像を無視する。特定部１１０は、画像に所有者の顔画像の一部が写っていれば、公知の被写体の追尾検出を行い、追尾により所有者の顔画像を検出する。そのために、特定部１１０は、過去に撮像部１０９から受信した画像データを記憶部１１３に保持する。

特定部１１０による画像内の人物の特定が終了すると、判定部１１６は、特定部１１０で特定した人物に所有者が含まれるか否かを判定する（Ｓ２０２）。所有者が特定されていない場合（Ｓ２０２：N）、ＣＰＵ１０１は処理を終了する。所有者が特定されている場合（Ｓ２０２：Y）、距離データ取得部１１１は、特定部１１０で検出された顔画像毎に、距離データを取得する（Ｓ２０３）。

距離データの取得後、決定部１１２は、特定部１１０で特定した人物及び距離データに基づいて受信者を決定する（Ｓ２０４）。図４（ｂ）は、受信者の決定処理を表すフローチャートである。

決定部１１２は、撮像部１０９から取得した画像データによる画像に含まれる所有者以外の人物の顔画像に対して、後述のステップＳ２０５〜Ｓ２０７処理を行ったか否かを判定する（Ｓ２０５）。決定部１１２は、所有者以外のすべての人物の顔画像に対して処理が実施済みであれば、受信者決定処理を終了する（Ｓ２０５：Y）。

処理が未実施の顔画像があれば（Ｓ２０５：N）、決定部１１２は、ステップＳ２０３で取得した距離データに応じて、所有者以外の人物のうち情報処理装置１００に最も近い人物の顔画像を取得する。本実施形態では、顔画像の面積で距離を表すため、所有者の顔画像以外で処理を未実施の顔画像のうち最も面積の大きい顔画像を取得する。

決定部１１２は、所有者の顔画像とステップＳ２０６で取得した顔画像とから、距離の差が所定値以内であるか否かを判定する（Ｓ２０７）。所定値以内でなければ（Ｓ２０７：N）、決定部１１２は、ステップＳ２０５の処理に戻る。決定部１１２は、距離の差が所定値以内であれば、所有者と当該顔画像の人物とが情報処理装置１００から略同じ距離に位置すると判断して、当該人物を受信者に決定する（Ｓ２０７：Y）。

距離は顔画像の面積で表されるために、所有者の顔画像の面積「Ｓａ」、ステップＳ２０６で取得した顔画像の面積「Ｓｂ」、所定値「Ｄ」とすると、決定部１１２は、以下の式により所定値以内であるか否かを判定する。
Ｄ ＞ ｜Ｓａ − Ｓｂ｜・・・（式１）

なお、ステップＳ２０１において人物を追尾して特定した場合には、所定値「Ｄ」を無限大とすることで、（式１）を常に満たすようにしてもよい。また、所有者（図３（ａ）のユーザＡ３０１）が隣に並ぶ人物（図３（ａ）のユーザＢ３０２）を受信者にしたい場合には、距離の差のみならず、所有者の顔画像とステップＳ２０６で取得した顔画像との向きによって受信者を決定してもよい。この場合、決定部１１２は、顔画像の向きを数値化して判断する。決定部１１２は、所有者の顔画像の向きを値「Ａａ」とし、ステップＳ２０６で取得した顔画像の向きを値「Ａｂ」、所定値を「Ａ」として、例えば以下の関係を満たす場合に所定値以内であると判定する。
Ａ ＞ ｜Ａａ − Ａｂ｜・・・（式２）

決定部１１２は、受信者に決定した人物のユーザＩＤを記憶部１１３の登録テーブルから取得する（Ｓ２０８）。決定部１１２は、ステップＳ２０７で受信者に決定した人物の顔画像（ステップＳ２０６で取得）により、登録テーブルを参照することでユーザＩＤを取得する。決定部１１２は、取得したユーザＩＤを、記憶部１１３に記憶して処理を終了する。

以上のような処理により、受信者を特定することができる。送信部１１５は、記憶されたユーザＩＤに基づき、受信者が所有する通信機器を、登録テーブルのデバイスＩＤ３１１を参照することで特定することができる。情報処理装置１００は、特定した通信機器との間で通信可能となる。本実施形態では、無線ＬＡＮ上での識別情報を特定することで、特定された通信機器と接続状態を構成することができる。送信部１１５は、入出力部１１４によりデータ送信の指示があれば、特定した通信機器に対して閲覧中の画像データを送信する。これにより受信者は、画像を得ることができる。なお、画像データ以外であっても、電子的に扱えるデータであれば、どのようなデータでも送信可能である。なお、デバイスＩＤ３１１としてメールアドレス等を用いる場合には、送信部１１５は、電子メールによりデータを送信してもよい。

図５は、具体的な運用形態の説明図である。図５（ａ）〜図５（ｄ）は、情報処理装置１００と所有者であるユーザＡ３０１との位置関係、及びそのときにインカメラ３０４で撮像（取得）された画像を表す。

図５（ａ）は、所有者であるユーザＡ３０１が、情報処理装置１００からやや離れた位置から一人で情報処理装置１００のタッチパネル１０５に表示される画像を閲覧する状態を表す。インカメラ３０４で撮像された画像４０１には、ユーザＡ３０１の顔画像はない。この場合、図４（ａ）のステップＳ２０１において所有者の顔画像が検出されないために、受信者の特定処理が終了する。所有者の顔がインカメラ３０４により撮像されるまで、このような処理が繰り返される。

図５（ｂ）は、所有者であるユーザＡ３０１が一人で情報処理装置１００のタッチパネル１０５に表示される画像を閲覧する状態を表す。インカメラ３０４で撮像された画像４０２には、ユーザＡ３０１の顔画像４０６が含まれる。この場合、図４（ａ）のステップＳ２０１でユーザＡ３０１の顔画像４０６が検出され、所有者が特定される（Ｓ２０２：Y）。距離データ取得部１１１は、特定した所有者の情報処理装置１００までの距離データを取得する（Ｓ２０３）。その後、決定部１１２は、受信者決定処理において、所有者以外の人物の顔画像が検出されていないために、処理を終了する（図４（ｂ）のＳ２０５：Y）。このように、所有者が一人で情報処理装置１００を操作している場合、受信者は特定されない。

図５（ｃ）は、所有者であるユーザＡ３０１と、他の人物であるユーザＢ３０２、ユーザＣ３０３が、情報処理装置１００のタッチパネル１０５に表示される画像を閲覧する状態を表す。インカメラ３０４で撮像された画像４０３には、ユーザＡ３０１、ユーザＢ３０２、ユーザＣ３０３の顔画像４０６、４０８、４０９が含まれる。ユーザＢ３０２の顔画像４０８は、顔の一部の画像である。そのために特定部１１０は、ユーザＢ３０２の顔画像４０８を顔画像として検出することができない。また、ユーザＣ３０３は、ユーザＡ３０１と同程度の距離とは見なされない程度に情報処理装置１００から離れている。

この場合、図４（ａ）のステップＳ２０１でユーザＡ３０１及びユーザＣ３０３の顔画像４０６、４０９が検出されて、ユーザＡ３０１及びユーザＣ３０３が特定される。所有者（ユーザＡ３０１）が特定されているので（Ｓ２０２：Y）、距離データ取得部１１１は、特定した所有者及びユーザＣ３０３の情報処理装置１００までの距離データを取得する（Ｓ２０３）。距離データは顔画像の面積として表されるため、距離データ取得部１１１は、所有者（ユーザＡ３０１）の顔画像４０６の面積「Ｓａ」、ユーザＣ３０３の顔画像４０９の面積「Ｓｃ」を取得する。

受信者決定処理では、決定部１１２が、所有者を除く最も距離が近い顔画像として、ユーザＣ３０３の顔画像４０９を取得する（図４（ｂ）のＳ２０６）。決定部１１２は、所有者の顔画像４０６の面積「Ｓａ」とユーザＣ３０３の顔画像４０９の面積「Ｓｃ」とにより、（式１）による判定を行う。ここでユーザＣ３０３の顔画像４０９の面積「Ｓｃ」は（式１）を満たさない。決定部１１２は、所有者及びユーザＣ３０３の顔画像４０６、４０９以外に画像４０３から顔画像が検出されていないために、処理を終了する（図４（ｂ）のＳ２０５：Y）。このように、図５（ｃ）の場合でも、受信者が特定されることはない。ユーザＣ３０３のように情報処理装置１００から離れた位置にいる人物は、受信者とはなり得ない。

図５（ｄ）は、所有者であるユーザＡ３０１と、他の人物であるユーザＢ３０２、ユーザＣ３０３が、情報処理装置１００のタッチパネル１０５に表示される画像を閲覧する状態を表す。インカメラ３０４で撮像された画像４０４には、ユーザＡ３０１、ユーザＢ３０２、ユーザＣ３０３の顔画像４０６、４０８、４０９が含まれる。ユーザＢ３０２は、ユーザＡ３０１と同程度の距離と見なすことができる程度に情報処理装置１００から離れている。また、ユーザＣ３０３の顔画像４０９は、図５（ｃ）の場合と同様に、ユーザＡ３０１と同程度の距離とは見なされない程度に情報処理装置１００から離れている。

この場合、図４（ａ）のステップＳ２０１でユーザＡ３０１、ユーザＢ３０２、ユーザＣ３０３の顔画像４０６、４０８、４０９が検出されて、ユーザＡ３０１、ユーザＢ３０２、ユーザＣ３０３が特定される。所有者（ユーザＡ３０１）が特定されているので（Ｓ２０２：Y）、距離データ取得部１１１は、特定した所有者及びユーザＢ３０２、ユーザＣ３０３の情報処理装置１００までの距離データを取得する（Ｓ２０３）。距離は顔画像の面積として表されるため、距離データ取得部１１１は、所有者（ユーザＡ３０１）の顔画像４０６の面積「Ｓａ」、ユーザＢ３０２の顔画像４０８の面積「Ｓｂ」、ユーザＣ３０３の顔画像４０９の面積「Ｓｃ」を取得する。

受信者決定処理では、決定部１１２が、所有者を除く最も距離が近い顔として、ユーザＢ３０２の顔画像４０８を取得する（図４（ｂ）のＳ２０６）。決定部１１２は、所有者の顔画像４０６の面積「Ｓａ」とユーザＢ３０２の顔画像４０８の面積「Ｓｂ」とにより、（式１）による判定を行う。ここでユーザＢ３０２の顔画像４０８の面積「Ｓｂ」は（式１）を満たす。決定部１１２は、ユーザＢ３０２を受信者に決定し、登録テーブルからユーザＢ３０２のユーザＩＤを取得して処理を終了する。

以上のように図５（ｄ）の場合、受信者が決定される。これにより、複数のユーザが情報処理装置１００のタッチパネル１０５を同時に閲覧したとしても、所有者と同程度の距離にいるユーザＢ３０２を受信者に判別することができる。

受信者の所有する通信機器は、本実施形態の情報処理装置と同じものであってもよい。この場合、通信を確立する際に、送信側の情報処理装置から受信側の情報処理装置に、所有者のユーザＩＤを送信する。所有者のユーザＩＤを受信した受信側の情報処理装置は、図４（ａ）、図４（ｂ）の処理を実行する。なお、受信側の情報処理装置が図４（ａ）、図４（ｂ）の処理を実行する場合、各処理の「所有者」が情報処理装置の所有者であるので、図４（ａ）、図４（ｂ）の処理の「所有者」は、受信側の情報処理装置の所有者となる。

図４（ａ）、図４（ｂ）の処理により、受信者側の情報処理装置は、ステップＳ２０８の処理でユーザＩＤを取得する。受信側の情報処理装置は、このステップＳ２０８の処理で取得したユーザＩＤと、所有者側の情報処理装置から受信した所有者のユーザＩＤとを比較する。比較の結果、両者が一致していれば、受信者側の情報処理装置は、所有者側の情報処理装置との接続を受理する。

また、複数のユーザを受信者に決定してもよい。この場合、図４（ｂ）のステップＳ２０８の後に、ステップＳ２０５に戻って処理を繰り返すことになる。

以上説明したように、第１実施形態では、インカメラ３０４に写り込む所有者を基準にして、所有者と同程度の距離にいる人物を受信者に設定する。従って、容易に、所有者と共に情報処理装置を閲覧しているユーザを受信者とすることができる。

［第２実施形態］
第１実施形態では、所有者の顔の全体がインカメラ３０４により撮像される場合について説明した。しかし、常に所有者の顔全体を撮像可能であるとは限らない。第２実施形態では、撮像された所有者の顔が部分的であっても、受信者を特定可能とする。そのための情報処理装置のハードウェア構成は、第１実施形態と同様であるので説明を省略する。情報処理装置に形成される機能ブロックについては異なる部分がある。

図６は、第２実施形態の情報処理装置２００の機能ブロック図である。情報処理装置２００に形成される機能ブロックは、第１実施形態の情報処理装置１００に形成される機能ブロックに、合成部５０１を追加した構成である。他の機能ブロックについては第１実施形態と同様であるので説明を省略する。合成部５０１は、カメラ１０７で撮像した過去の画像と現在処理中の最新画像を合成して合成画像を生成する。そのために合成部５０１は、記憶部１１３へ画像データを保存し、また記憶部１１３から画像データを読み出すことができる。

図７（ａ）、図７（ｂ）は、第２実施形態の受信者を特定する処理を表すフローチャートである。第１実施形態の図４（ａ）と同じ処理には、同じステップ番号を付してある。

撮像部１０９から受信した画像データによる画像内に所有者が写り込んでいる場合（Ｓ２０１、Ｓ２０２：Y）、合成部５０１は、所有者の顔が写っている画像の画像データを記憶部１１３に保存する（Ｓ６０１）。記憶部１１３には所有者の顔が写っている最新の画像データが保存されていればよいので、合成部５０１は、既に記憶部１１３に保存されている画像データが存在する場合には、既に保存されている画像データを削除してもよい。画像データの保存後に、情報処理装置２００は、第１実施形態と同様に、距離データを取得して受信者決定処理（図４（ｂ）の処理）を実行することで、受信者を特定する。

撮像部１０９から受信した画像データによる画像内に所有者が写り込んでいない場合（Ｓ２０１、Ｓ２０２：N）、合成部５０１は、画像の合成処理を行って合成画像を作成する（Ｓ６０２）。合成部５０１は、記憶部１１３に保存してある所有者の顔が写り込んでいる画像と、現在処理中の最新画像とを合成して合成画像を作成する。

合成画像の作成後（Ｓ６０３：Y）、情報処理装置２００は、第１実施形態と同様に、距離データを取得して受信者決定処理（図４（ｂ）の処理）を実行することで、受信者を特定する。なお、記憶部１１３に画像データが保存されていない等の理由で合成画像が作成されない場合（Ｓ６０３：N）、情報処理装置２００は、処理を終了する。

合成画像の作成処理を図７（ｂ）のフローチャートにより説明する。

合成部５０１は、記憶部１１３に画像データが保存されているか否かを確認する（Ｓ６０４）。保存されていない場合（Ｓ６０４：N）、合成部５０１は合成画像の作成処理を終了する。保存されている場合（Ｓ６０４：Y）、合成部５０１は、現在処理中の最新画像から、「所有者の顔画像らしい領域」を取得する（Ｓ６０５）。

「所有者の顔画像らしい領域」を取得する場合、合成部５０１は、まず、現在処理中の最新画像から、肌色（人の肌の色）成分の存在する領域（肌色領域）を検出する。合成部５０１は、検出した肌色領域の位置と、記憶部１１３から読み出した画像データによる画像中の所有者の顔画像の領域の位置とを比較して、位置の差が所定の範囲内であれば、検出した肌色領域を「所有者の顔画像らしい領域」とする。

これ以外にも、「所有者の顔画像らしい領域」を取得する方法として、例えば過去の画像に含まれる所有者の顔画像の領域を記憶部１１３に保持しておき、その領域の推移により顔画像らしい領域を推定してもよい。

所有者の顔画像らしい領域を取得できない場合（Ｓ６０６：N）、合成部５０１は、合成画像の作成処理を終了する。所有者の顔画像らしい領域を取得した場合（Ｓ６０６：Y）、合成部５０１は、現在処理中の最新の画像に、所有者の顔画像を合成して合成画像を作成する（Ｓ６０７）。合成部５０１は、ステップ６０５で取得した所有者の顔画像らしい領域に、ステップＳ６０１で記憶部１１３に保存した画像データによる画像の所有者の顔画像を切り出して重ねることで合成を行う。

合成部５０１は、例えば、所有者の顔画像らしい領域の、撮像範囲の境界から最も遠い頂点を画像合成の際の位置合わせの基準とする。例えば、現在処理中の最新画像に所有者の顔画像の左半分が写り込んでいる場合、合成部５０１は、最新画像から所有者の顔画像らしい領域の左半分を取得する。この場合、合成部５０１は、所有者の顔画像らしい領域と、記憶部１１３に保存した画像データから得られる所有者の顔画像の領域の左上の座標を基準として位置合わせを行う。同様に、現在処理中の最新画像に所有者の顔画像の右半分が写り込んでいる場合、合成部５０１は、所有者の顔画像らしい領域と、記憶部１１３に保存した画像データから得られる所有者の顔画像の領域の右上の座標を基準として位置合わせを行う。

合成部５０１は、所有者の顔画像らしい領域の大きさに、記憶部１１３に保存した画像データから得られる画像から切り出した所有者の顔画像の大きさを揃えてから合成する。

合成の際の位置合わせは、撮像範囲の境界から最も遠い頂点の他に、所有者の顔画像らしい領域と記憶部１１３に保存した画像データから得られる所有者の顔画像の領域との各中心点を基準にしてもよい。また、位置合わせの前に、記憶部１１３に保存した画像データから得られる画像から切り出した所有者の顔画像の大きさを所有者の顔画像らしい領域の大きさに合わせ、各々の画像中の特徴点を合わせることで位置あわせを行ってもよい。

以上のようにして合成画像の作成処理が終了する。図８は、合成画像の作成処理の説明図である。

図８（ａ）は、インカメラ３０４で撮像（取得）する連続した画像の例示図である。画像７０１では、所有者の顔画像７０４がすべて写り込んでおり、画像７０２、画像７０３と進むにつれて、所有者の顔画像７０４が右方向へ移動する。画像７０３では、所有者の顔画像７０４の右半分程度しか写っていない。画像７０１、７０２では所有者の顔画像７０４が検出可能であり、画像７０３では所有者の顔画像７０４が検出できない。このような状態は、例えば、情報処理装置のタッチパネル１０５に表示される画像を所有者が、一緒に画像を閲覧する人物側にタッチパネル１０５を向けることで起こる。

画像７０１の場合、所有者の顔画像７０４が検出される。そのために合成部５０１は、図７（ａ）のステップＳ６０１の処理で、画像７０１の画像データを記憶部１１３に保存する。画像７０２の場合も同様の処理になる。画像７０２を記憶部１１３に保存する場合、合成部５０１は、先に保存している画像７０１の画像データを記憶部１１３から削除する。

画像７０３の場合、所有者の顔画像７０４が検出されない。そのために合成部５０１は、図７（ａ）のステップＳ６０２の処理で合成画像を作成する。合成部５０１は、所有者の顔画像７０４が検出された際の画像の画像データが記憶部１１３に保存されているか確認する（Ｓ６０４）。画像７０２の画像データが保存されているために（Ｓ６０４：Y）、合成部５０１は、画像７０３から所有者の顔画像らしい領域の、画像７０３の境界から最も遠い頂点を取得する（Ｓ６０５）。図８（ｂ）の例では、合成部５０１は、所有者の顔画像らしい領域７０９の、画像７０３の境界から最も遠い頂点７０６を取得する。また、合成部５０１は、記憶部１１３に保存されている画像データによる画像７０２から、所有者の顔画像の領域の頂点を取得する。図８（ｂ）の例では、合成部５０１は、所有者の顔画像の領域７０８の頂点７０５を取得する。所有者の顔画像らしい領域７０９の頂点７０６の位置と所有者の顔画像の領域７０８の頂点７０５の位置との差が所定の範囲内であれば、所有者の顔画像らしい領域７０９を所有者の顔画像が表示される領域であるとする。

合成部５０１は、所有者の顔画像らしい領域７０９が最新の画像７０３にあるために（Ｓ６０６：Y）、最新画像７０３に、記憶部１１３に保存された画像データによる画像７０２の所有者の顔画像の領域７０８を合成する。合成部５０１は、操作者の顔画像らしい領域７０９の大きさに合わせて、画像７０２の操作者の顔画像の領域７０８の大きさを拡大又は縮小する。その後、合成部５０１は、画像７０３の頂点７０６と頂点７０５とが重なるように、画像を合成する。このようにして、合成部５０１は合成画像７１０を作成する。

第２の実施形態では、インカメラで撮像した最新画像に、所有者の顔画像が一部しか写っていない場合であっても、以前に検出された顔画像により、最新画像に顔画像を補完して受信者の特定処理を行うことができる。従って、インカメラの撮像範囲が狭い場合でも影響を受けずに受信者を決定することができる。

Claims (17)

1. 撮像手段と、
   本情報処理装置の所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて記憶する記憶手段と、
   前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定する特定手段と、
   前記特定手段により特定された複数の人物に、前記所有者として登録された人物が含まれる場合、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、本情報処理装置の通信相手を決定する決定手段と、を備え、
   前記決定手段は、前記画像に含まれる前記所有者として登録された人物の顔画像と、前記所有者として登録された人物を除いた前記１以上の人物のそれぞれの顔画像との比較に基づいて、前記所有者として登録された人物を除いた前記１以上の人物の中から、本情報処理装置の通信相手を決定することを特徴とする、
   情報処理装置。
2. 撮像手段と、
   本情報処理装置の所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて記憶する記憶手段と、
   前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定する特定手段と、
   前記特定手段により特定された複数の人物に、前記所有者として登録された人物が含まれる場合、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、本情報処理装置の通信相手を決定する決定手段と、を備え、
   前記撮像手段は、前記情報処理装置が有する表示画面を閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されたインカメラであることを特徴とする、
   情報処理装置。
3. 前記決定手段は、前記画像に含まれる前記所有者として登録された人物の顔画像と、前記所有者として登録された人物を除いた前記１以上の人物のそれぞれの顔画像との比較に基づいて、前記所有者として登録された人物の横に並んでいると推定される人物を、本情報処理装置の通信相手として決定することを特徴とする、
   請求項１又は２に記載の情報処理装置。
4. 前記記憶手段は、本情報処理装置の所有者として登録された人物を含む前記複数の人物のそれぞれが所有する通信機器の識別情報を、各人物の顔画像に関連付けて記憶しており、
   前記決定手段は、前記特定手段により特定された前記複数の人物のうち前記所有者として登録された人物を除いた前記１以上の人物の中から、本情報処理装置の通信相手となる通信機器を所有する人物を決定することを特徴とする、
   請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記特定手段により特定された前記複数の人物の顔画像に基づいて、前記撮像手段から該複数の人物のおのおのまでの距離を取得する距離データ取得手段を備えており、
   前記決定手段は、前記特定手段により特定された前記複数の人物のうち前記所有者として登録された人物を除いた前記１以上の人物の中で、前記撮像手段から該人物までの距離と、前記撮像手段から前記所有者として登録された人物までの距離との差が所定値以内の人物を前記通信相手として決定することを特徴とする、
   請求項４記載の情報処理装置。
6. 前記距離データ取得手段は、前記特定手段により特定された前記複数の人物の各々の顔画像の面積を、前記距離を表す距離データとして取得し、
   前記決定手段は、前記所有者として登録された人物の前記顔画像の面積との差が所定値以内の顔画像の面積を有する人物を前記通信相手として決定することを特徴とする、
   請求項５記載の情報処理装置。
7. 前記距離データ取得手段は、前記特定手段により特定された前記複数の人物の各々の顔画像の照度を、前記距離を表す距離データとして取得し、
   前記決定手段は、前記所有者として登録された人物の前記顔画像の照度との差が所定値以内の顔画像の照度を有する人物を前記通信相手として決定することを特徴とする、
   請求項５記載の情報処理装置。
8. 前記距離データ取得手段は、前記特定手段により特定された前記複数の人物の顔画像及び身体画像の重なりを検出し、この重なりに応じて前記距離データを補正することを特徴とする、
   請求項６または７記載の情報処理装置。
9. 前記決定手段は、前記特定手段により特定された前記複数の人物の各人物の顔画像の向きを数値化して取得し、前記所有者として登録された人物の顔画像の向きの値との差が所定値以内の向きの値を有する顔画像の人物を前記通信相手として決定することを特徴とする、
   請求項３に記載の情報処理装置。
10. 前記特定手段は、現在処理中の最新画像に前記所有者として登録された人物の顔画像の一部が写る場合に、過去に取得した前記画像のうち、前記所有者として登録された人物の顔画像が写っている画像により前記所有者として登録された人物の顔画像を追尾検出する、
    請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 現在処理中の最新画像で前記特定手段が特定した前記複数の人物に前記所有者として登録された人物が含まれていない場合、過去に取得した前記所有者として登録された人物が含まれる画像を、前記最新画像に合成して合成画像を生成する合成手段を備え、
    前記決定手段は、前記合成画像に基づいて、前記通信相手を決定することを特徴とする、 請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記撮像手段は、前記情報処理装置が有する表示画面を閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されたインカメラであることを特徴とする、
    請求項１に記載の情報処理装置。
13. 前記インカメラによって撮像された画像は、前記決定手段によって前記通信相手が決定される処理の間、前記情報処理装置が有する表示部には表示されないことを特徴とする、
    請求項１２に記載の情報処理装置。
14. 撮像手段を備えた情報処理装置により実行される方法であって、
    前記情報処理装置の所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて所定の記憶手段に記憶しておき、
    前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定し、
    特定した複数の人物に、前記所有者として登録された人物が含まれる場合、前記画像に含まれる前記所有者として登録された人物の顔画像と、前記所有者として登録された人物を除いた前記１以上の人物のそれぞれの顔画像との比較に基づいて、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、前記情報処理装置の通信相手を決定することを特徴とする、
    通信相手の決定方法。
15. 撮像手段として本情報処理装置が有する表示画面を閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されたインカメラを備えた情報処理装置により実行される方法であって、
    前記情報処理装置の所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて所定の記憶手段に記憶しておき、
    前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定し、
    特定した複数の人物に、前記所有者として登録された人物が含まれる場合、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、前記情報処理装置の通信相手を決定することを特徴とする、
    通信相手の決定方法。
16. 撮像手段を備えたコンピュータを、
    本コンピュータの所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて記憶する記憶手段、
    前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定する特定手段、
    前記特定手段により特定された複数の人物に、前記所有者として登録された人物が含まれる場合、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、本情報処理装置の通信相手を決定する決定手段、として機能させ、
    前記決定手段により前記画像に含まれる前記所有者として登録された人物の顔画像と、前記所有者として登録された人物を除いた前記１以上の人物のそれぞれの顔画像との比較に基づいて、前記所有者として登録された人物を除いた前記１以上の人物の中から、本情報処理装置の通信相手を決定するためのコンピュータプログラム。
17. 撮像手段として本コンピュータが有する表示画面を閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されたインカメラを備えたコンピュータを、
    本コンピュータの所有者として登録された人物を含む複数の人物を識別するための情報を、各人物の顔画像に関連付けて記憶する記憶手段、
    前記記憶手段に記憶された前記情報に基づいて、前記撮像手段により撮像された画像に含まれる複数の人物の顔画像を検出し、検出された顔画像のそれぞれに対応する人物を特定する特定手段、
    前記特定手段により特定された複数の人物に、前記所有者として登録された人物が含まれる場合、該特定された複数の人物のうち前記所有者として登録された人物を除いた１以上の人物の中から、本情報処理装置の通信相手を決定する決定手段、
    として機能させるためのコンピュータプログラム。

Images