JP4841447B2 - 画像同定装置 - Google Patents

Description

本発明は、撮影画像内の被写体を同定するための画像同定装置に関する。

近年、画像から顔部分を検出し、さらに検出した顔部分から個人を特定する技術に関する研究が、監視カメラや車載カメラ、テレビ会議用のカメラといった業務用カメラの分野で特に進んでいる。

このような個人特定の技術に関し、例えば、特許文献１では、ユーザに関する複数の顔画像を、データベースに記憶された顔画像と照合し、正面を向いた顔画像だけを選択して個人の認証に利用している。

また、多くのユーザが利用する、所謂パーソナルユースの撮影装置では、こうした顔画像の検出技術を、個人の同定等に利用するのではなく、顔部分の露出やピントを適正にするために利用することが多い。
特開２００２−２８８６７０号公報

近年、民生用の撮影装置においても、撮影されたものが何であるか、又は誰であるかを特定する機能を有するものが求められてきている。このような個人の同定機能を有する撮影装置を用いれば、例えば、写真の整理や写真の焼き増し等を行う際に非常に便利である。

しかしながら、個人の同定機能を撮影装置内に持たせるために、その被写体が何であるか、或いは誰であるかを同定するためのデータベースを持たせることは、システムとして非常に無駄が多く、結果、撮影装置が大型化したり、消費電力を増大させたり、高価なものとしたりして、ユーザに喜ばれるものではない。

そこで、極力、簡単な構成で、同定機能を実現できるシステムが求められるが、こうしたパーソナルユースの撮像装置によって撮影される写真に映る被写体の構図は、撮影時における撮影者や被写体の都合や好み等によって変化するものであり、必ずしも、それが誰であるかとか、何であるかを同定しやすい構図（例えば、被写体が正面を向いている）になっているとは限らない。

本発明は、このような状況に鑑みてなされたものであり、簡易な構成で且つ確実に被写体を同定できる画像同定装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像同定装置は、被写体に係る第１画像と上記第１画像における特定対象に関する第２画像とを受信する受信部と、上記第２画像と関連する関連情報が記憶されたデータベースと、上記受信部により受信した上記第１画像の上記特定対象に関する情報を、上記受信部により受信した上記第２画像に基づいて上記データベースの中から検索する検索部と、上記検索部で検索した情報に基づいて上記第１画像を同定する画像同定部とを備え、上記データベースには、上記第２画像と関連する関連情報として、上記第２画像と関連するブログの掲載先アドレス情報が記憶され、上記画像同定部は上記検索部で検索した掲載先アドレス情報に基づいて上記第１画像を掲載するブログを同定することを特徴とする。

本発明によれば、簡易な構成で且つ確実に被写体を同定できる画像同定装置を提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像同定システムに用いられる撮影装置の一例としてのデジタルカメラ１００の構成を示すブロック図である。図１に示すデジタルカメラ１００は、マイクロプロセッシングユニット（ＭＰＵ）１０１と、操作部１０２と、撮影レンズ１０３と、オートフォーカス（ＡＦ）回路１０４と、絞り機構１０５と、絞り制御回路１０６と、撮像素子１０７と、アナログフロントエンド（ＡＦＥ）回路１０８と、画像処理回路１０９と、表示制御回路１１０と、表示パネル１１１と、形状検出回路１１２と、距離検出回路１１３と、顔検出回路１１４と、圧縮部１１５と、記録制御回路１１６と、記録メディア１１７と、通信部１１８と、補助光発光回路１１９とを有して構成されている。また、このデジタルカメラ１００は、ネットワーク６００を介してサーバ５００、ＰＣ４００と通信自在に接続されている。

ＭＰＵ１０１は、ユーザからの操作部１０２の操作に応じてデジタルカメラ１００を構成する各ブロックをシーケンシャルに制御する。操作部１０２は、デジタルカメラ１００による撮影を実行させるためのレリーズスイッチや、デジタルカメラ１００の動作モードを撮影モード、再生モード、画像出力モード等の間で切り替えるための切り替えスイッチ、サーバ５００から得られる情報表示のオンオフを切り替えるスイッチ等が含まれる。

また、ＭＰＵ１０１は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。

撮影レンズ１０３は、被写体２００からの像を撮像素子１０７に結像させる。この撮影レンズ１０３は、オートフォーカス（ピント合わせ）用のレンズを含んでいる。オートフォーカスの際に、ＭＰＵ１０１は、ピント合わせレンズのレンズ位置をモニタしつつ、ＡＦ回路１０４を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ１０３のピント合わせを行う。また、絞り機構１０５は、撮影レンズ１０３内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構１０５は、撮影開始時に絞り制御回路１０６によって所定の口径まで開かれ、撮影終了時に閉じられるものである。撮影時の絞り機構１０５の口径を変えることによって、撮影レンズ１０３の被写界深度が変化する。これによって、背景被写体のぼけ具合等を調整して、撮影時に主要被写体を浮かび上がらせたり、背景被写体をしっかりと描写したりするなどの表現の切替を行うことができる。

撮像素子１０７は、多数の画素が配列されて構成される受光面を有し、撮影レンズ１０３を介して受光した被写体２００からの像を電気的な信号に変換する。本実施形態においては、撮像素子１０７にはＣＣＤ方式及びＣＭＯＳ方式の何れを用いても良い。

ＡＦＥ回路１０８は、ＣＤＳ回路、ゲイン調整回路、ＡＤ変換回路等を含み、撮像素子１０７において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路１０９に入力する。また、ＡＦＥ回路１０８には、撮像素子１０７を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、ＡＦＥ回路１０８によって、４画素（２×２画素）や９画素（３×３画素）の信号をまとめて読み出し、これら読み出した電気信号を加算することでＳ／Ｎを向上させることが出来る。このような処理によって、撮像素子１０７の見かけ上の感度を上げること等が出来る。

さらに、ＡＦＥ回路１０８は、撮像素子１０７からの出力信号を取捨選択する機能も有し、撮像素子１０７の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することも出来る。一般に、撮像素子１０７は間引きを行うことで高速で信号を読み出すことが出来る。この機能を利用して、撮像素子１０７で構図確認用に得られた画像を高速で読み出して画像処理回路１０９において処理してから表示パネル１１１に表示すれば、ユーザは表示パネル１１１上に表示される画像を利用してフレーミングを行うことが可能である。

画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。

また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データを表示パネル１１１に表示可能なようにリサイズ（縮小）する機能も有する。

表示制御回路１１０は、画像処理回路１０９で得られた画像データや記録メディア１１７に記録されている画像データを映像信号に変換し、表示パネル１１１に表示させる。表示パネル１１１は液晶表示パネルや有機ＥＬ表示パネル等の表示パネルである。また、表示制御回路１１０は、表示パネル１１１に複数の画像を重畳して表示させるマルチ画面表示機能も有している。このマルチ画面表示機能によって、撮影した画像や撮影する画像の上に、モード設定の文字表示やいろいろな警告表示を重畳表示することも可能である。

形状検出回路１１２は、画像処理回路１０９によって得られる画像データにおける輪郭情報を検出する。

距離検出回路１１３は、画像処理回路１０９によって得られる画像のコントラストを検出する。この距離検出回路１１３によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、ＡＦ回路１０４によって撮影レンズ１０３のピント合わせレンズのレンズ位置を変化させながら、距離検出回路１１３によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ１０３のピント合わせを行うことができる。また、ピント合わせ時のレンズ位置の情報によって、主要被写体の距離や背景被写体の距離等を検出することも可能である。

顔検出回路１１４は、画像処理回路１０９によって得られる画像内の特徴点（例えば、主要被写体が人物等であれば、目や鼻、口等）の分布から、主要被写体の特に顔の位置を検出する。また、顔検出回路１１４は、顔の特徴をなす陰影から目や鼻の部分を判定したりすることで顔の向きを検出することも行う。

圧縮部１１５は、撮影時に、画像処理回路１０９において処理された画像データを圧縮する。この圧縮部１１５は、ＪＰＥＧ等の周知の静止画圧縮機能を有する静止画圧縮部１１５ａとＭＰＥＧ４やＨ．２６４等の周知の動画圧縮機能を有する動画圧縮部１１５ｂとを有している。動画圧縮部１１５ｂを持たせておくことにより、例えば複数の静止画像を動画として記録して比較的小さい容量で記録することが可能である。また、ＭＰＥＧ方式等の動画圧縮部では、圧縮のためにフレーム間の画像の動きを検出する機能を有しているので、この機能を利用して、被写体が何であるかの情報や、画像内のどこからどこまでが被写体の体の部分であるかなどを判定することも出来る。

記録制御回路１１６は、圧縮部１１５で圧縮された画像データに付随データを付随させて記録メディア１１７に記録する。また、記録制御回路１１６は、顔部等の画像を検索するためのデータベース１１６ａを有している。このデータベース１１６ａの内容は、カメラ製造時に記録してもよいが、デジタルカメラ１００外部のサーバ５００等からネットワーク経由で書き換え可能としてもよい。

通信部１１８は、画像出力モード時に、記録メディア１１７に記録された画像データ等をデジタルカメラ１００外部のパーソナルコンピュータ（以下、ＰＣと称する）４００やサーバ５００等に送信したり、サーバ５００等から各種の情報を受信したりする際の通信制御を行う。この通信部１１８によって、デジタルカメラ１００で撮影した画像を他の人に転送したり、ネットワーク上のサービス（例えば、ネットワーク接続されたサイト等と連携したサービス）を利用して、情報を付加したり、受信したりすることが出来る。

補助光発光回路１１９は、撮影時の状況に応じて被写体２００に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。

このような構成のデジタルカメラ１００において、本実施形態では、ユーザによって撮影がなされる前後のタイミングで得られる画像の中から、顔検出回路１１４における顔検出機能を駆使し、被写体２００を特定しやすいものを選択し、サーバ５００と連携して被写体を判別するようにしている。

図２は、本発明の第１の実施形態に係る画像同定システムの構成を示す図である。図２に示す画像同定システムは、撮影装置の一例としてのデジタルカメラ１００と、画像同定装置の一例としてのサーバ５００とがネットワーク６００を介してデータ通信自在に接続されている。さらに、ネットワーク６００にはパーソナルコンピュータ３００、４００が接続されている。

デジタルカメラ１００において、ユーザにより任意のタイミングで撮影されて得られた画像データ（以下、第１画像データと称する）７０１がネットワーク６００を介して（一旦、ＰＣ３００を介しても良い）送信されるとき、第１画像データ７０１に、該第１画像データ７０１を同定するための画像データ（以下、第２画像データと称する）が添付される。ここで、第２画像データは、第１画像データが撮影される前後のタイミングで得られる画像データの中から選択される画像データである。つまり、第１画像データは、ユーザが自由な条件で撮影した画像であるため、例えば人物写真であったとしても、正面を向いた証明写真のような画像ではなく横や斜めを向いた写真である場合もある。この場合、第１画像データから被写体２００を同定できるとは限らない。そこで、撮影の前後の所定時間のタイミングで複数回の撮影を行い、その中で被写体２００を特定しやすい、例えば顔の正面画像を第２画像データとして、時間的にも空間的にも切り出すようする。この手法については後述する。

ネットワーク６００には、そこに行きかう情報を駆使して各種のサービスを行う、サーバ５００が存在する。このサーバ５００はデジタルカメラ１００（或いはＰＣ３００）から第１画像データとともに送信されてくる第２画像データから、第１画像データの送り先等を同定する。このサーバ５００は、記録部５０１と、データベース５０２と、画像判定部５０３と、送信先判定部５０４と、アクセス切り替え部５０５と、時間判定部５０６と、表示制御部５０７とを有して構成されている。

記録部５０１は、デジタルカメラ１００又はＰＣ３００から送信されてくる第１画像データ７０１及び第２画像データ７０２等の各種データを記録する。データベース５０２は、顔画像とその顔画像によって特定される人物に係る関連情報とを対応付けて記憶している。この関連情報としては、例えば、人物の名前や、その電子メールアドレス、ブログの掲載先アドレス等が含まれる。画像判定部５０３は、第２画像データ７０２とデータベース５０２に記録されている顔画像とを照合し、照合の結果、対応する人物の関連情報として、例えば照合した人物の電子メールアドレスを検索する。送信先判定部５０４は、画像判定部５０３によって検索されたアドレスから第１画像データ７０１の送信先を判定し、その送信先に第１画像データ７０１を添付した電子メールを送信する。また、第１画像データ７０１を電子メールで送るのではなく、所定のブログに掲載する場合には、画像判定部５０３によって検索されるアドレスはブログの掲載先アドレスとなる。アクセス切り替え部５０５はこのような画像判定部５０３による検索アドレスの切り替えを行う。

時間判定部５０６は、第１画像データ７０１に付随情報として付与される撮影時刻情報から、第１画像データ７０１の撮影時刻を判定する。表示制御部５０７は、時間判定部５０６において判定された撮影時刻やＰＣ３００によって作成され第１画像データ７０１に関連付けられたテキスト、被写体２００の名前等を例えば参照符号７０３で示すようにして第１画像データ７０１に合成する。この合成画像は、ＰＣ３００やＰＣ４００のブラウザソフトウェアによって閲覧可能である。

以下、図２に示す画像同定システムの作用について説明する。図３は、図２の画像同定システムにおけるデジタルカメラ１００の動作を示すフローチャートである。なお、図３の処理は、ＭＰＵ１０１によって制御されるものである。

撮影モードにおいて、ＭＰＵ１０１は、まず、現在が撮影前後のタイミングであるか否かを判定する（ステップＳ１）。なお、ここでの「撮影前後のタイミング」とは、デジタルカメラ１００の動作モードが撮影モードであって、撮影前若しくは撮影後にユーザがデジタルカメラ１００を構えていると考えられるタイミングのことである。ここで、撮影前にデジタルカメラ１００が構えられているタイミングは例えば撮像素子１０７で得られる画像の変化からデジタルカメラ１００の揺れを検出し、この揺れが所定期間、一定量以下であった場合にデジタルカメラ１００が構えられているタイミングと判定することができる。或いは、ＡＦのためのレリーズボタンの半押し操作等の所定の操作を検出して判定するようにしても良い。また、撮影後にデジタルカメラ１００が構えられているタイミングはデジタルカメラ１００の揺れから判定するようにしても良いし、撮影後に所定期間（例えば５秒程度）が経過したか否かによって判定するようにしても良い。

ステップＳ１の判定において、撮影前後のタイミングであると判定した場合、ＭＰＵ１０１は、フレーミングのために撮像素子１０７を介して逐次取得される画像データにおける輪郭成分を形状検出回路１１２によって検出し（ステップＳ２）、検出した輪郭成分から、顔検出回路１１４によって被写体２００の顔部分を検出する（ステップＳ３）。次に、ＭＰＵ１０１は、顔検出回路１１４によって顔部分における両目部分を検出する（ステップＳ４）。その後、ＭＰＵ１０１は、形状検出回路１１２によって検出された輪郭成分と顔検出回路１１４によって検出された両目部分の位置等から、被写体２００が正面を向いているか否かを判定する（ステップＳ５）。この正面の判定手法については後述する。

ステップＳ５の判定において、被写体２００が正面を向いている場合には被写体２００の顔部の画像データを切り出し、切り出した画像データを第２画像データとして記録メディア１１７に記録する（ステップＳ６）。その後、ステップＳ１に戻る。なお、第２画像データは被写体２００の同定が行えれば良いので、背景部分は記録する必要がない。このようにして、背景部分を記録しないようにすることによって第２画像データのデータ量を減らすことが出来る。一方、ステップＳ５の判定において、被写体２００が正面を向いていない場合には第２画像データの記録を行わずにステップＳ１に戻る。

また、ステップＳ１の判定において、撮影前後のタイミングでない場合に、ＭＰＵ１０１は、ユーザによる撮影開始操作（例えばレリーズボタンの全押し操作）がなされたか否かを判定する（ステップＳ７）。ステップＳ７の判定において、撮影開始操作がなされた場合に、ＭＰＵ１０１は、各ブロックを制御して撮影を実行する（ステップＳ８）。次に、ＭＰＵ１０１は、撮影して得られた画像データ（第１画像データ）に撮影時刻情報を付与する（ステップＳ９）。その後、ステップＳ５と同様の手法により、撮影画像データにおける被写体２００が正面を向いているか否かを判定する（ステップＳ１０）。ステップＳ１０の判定において、被写体２００が正面を向いていない場合には、ステップＳ６において記録しておいた第２画像を撮影画像に添付する（ステップＳ１１）。一方、ステップＳ１０の判定において、被写体が正面を向いている場合には、必ずしも第２画像を添付する必要がない。そこで、この場合には撮影画像が顔正面の画像を含む旨を示す情報のみを付与する（ステップＳ１２）。その後、ステップＳ１に戻る。

また、ステップＳ７の判定において、撮影開始操作がなされていない場合に、ＭＰＵ１０１は、ユーザによってデジタルカメラ１００の動作モードが再生モードに切り替えられたか否かを判定する（ステップＳ１３）。ステップＳ１３の判定において、再生モードに切り替えられた場合に、ＭＰＵ１０１は再生モードの処理を行う（ステップＳ１４）。

また、ステップＳ１３の判定において、再生モードに切り替えられていない場合に、ＭＰＵ１０１は、ユーザによってデジタルカメラ１００の動作モードが画像出力モードに切り替えられたか否かを判定する（ステップＳ１５）。ステップＳ１５の判定において、画像出力モードに切り替えられた場合に、ＭＰＵ１０１は画像出力モードの処理を行う（ステップＳ１６）。その後、ステップＳ１に戻る。一方、ステップＳ１５の判定において、画像出力モードに切り替えられていない場合にもステップＳ１に戻る。

次に、図３のステップＳ５、Ｓ１０における正面判定について図４及び図５を参照して説明する。ここで、図４は、正面判定の概念について示した図であり、図５は正面判定を行うための処理の流れについて示すフローチャートである。

第２画像の生成においては、撮影前若しくは撮影後に撮像素子１０７によって取得される画像における被写体２００から、図４に示すようにして目や鼻の部分の陰影をもとに顔部２００ａを抽出し、ここから、顔の大きさ（図示直径Ｄ）や両目の位置を抽出する。そして、直径Ｄの円として単純化した顔の中心位置から、両目の上下方向位置Ｃ２及び両目の中心の左右方向位置Ｃ１を検出し、これらの値より、被写体２００が正面を向いているか否かを判定する。

図５において、まず、ＭＰＵ１０１は、顔検出回路１１４によって被写体２００の顔部分を検出する（ステップＳ１０１）。これは、例えば、略円状の輪郭を有し且つ円状部分に目や鼻の部分に相当する陰影が存在している部分を顔部分として検出することにより行う。次に、顔部の中心を検出する（ステップＳ１０２）。これは、例えば、顔部分を直径Ｄの円状として近似し、その円の中心を求めることにより行う。その後、両目部を顔部の陰影から検出する（ステップＳ１０３）。次に、両目部が顔部の上下方向の中心位置にあるか否か（ステップＳ１０４）、両目が顔部の左右位置に均等に分布しているか否か（ステップＳ１０５）を判定する。そして、ステップＳ１０４の判定において両目部が顔部の上下方向の中心位置にない、若しくはステップＳ１０５の判定において両目が顔部の左右位置に均等に分布していない場合には「正面ではない」と判定する（ステップＳ１０６）。

一方、ステップＳ１０４の判定において両目部が顔部の上下方向の中心位置にあり、ステップＳ１０５の判定において両目が顔部の左右位置に均等に分布している場合には、顔の正面の向き具合で小さくなる係数Ｆを算出する。このＦを求めるために、まず、左右の目の中心位置と顔部の左右方向の中心位置との差（図４のＣ１）を顔部の直径Ｄで割ることにより係数Ｆ１を求める（ステップＳ１０７）。さらに、左右の目の中心位置と、顔部の上下方向の中心位置との差（図４のＣ２）を顔部の直径Ｄで割ることにより係数Ｆ２を求める（ステップＳ１０８）。最後に係数Ｆ１に係数Ｆ２を乗じて係数Ｆを求める（ステップＳ１０９）。

係数Ｆを求めた後、求めたＦが所定値Ｆ０より小さいか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、Ｆが所定値Ｆ０以上の場合には、ステップＳ１０６に移行して「正面でない」という判定をする。その後、図３のフローチャートの処理に戻る。一方、Ｆが所定値Ｆ０未満の場合には、「正面である」という判定をする（ステップＳ１１１）。その後、図３のフローチャートの処理に戻る。

図６は、図２の画像同定システムにおけるサーバ５００の動作を示すフローチャートである。まず、デジタルカメラ１００からネットワーク６００を介して第１画像データと第２画像データ（第１画像データが正面画像である場合には第１画像データのみ）を受信すると（ステップＳ２０１）、サーバ５００は第２画像データとデータベース５０２に記憶されている顔画像とを照合し、被写体２００を同定する（ステップＳ２０２）。次に、同定した被写体に対応した電子メールアドレス若しくはブログの掲載先アドレスをデータベース５０２から検索する（ステップＳ２０３）。この切り替えはアクセス切り替え部５０５の設定により行う。その後、ステップＳ２０３における検索によって特定される送り先に第１画像データを送信する（ステップＳ２０４）。この際、被写体２００の名前情報や撮影時刻情報等の第１画像データに係る各種情報を同時に送るようにしても良い。これにより、デジタルカメラ１００で撮影された画像を他のユーザが共有することが可能となる。

以上説明したように、第１の実施形態によれば、撮影モードにおける一連の処理の中で、被写体を同定しやすい画像を第２画像として取得し、それをユーザによる撮影によって得られる第１画像に添付することにより、後の被写体の同定を容易に行うことが可能である。これにより、撮影された被写体を同定し、判定の結果、同定された人に、第１画像を電子メールで送信したりすることが可能である。

ここで、上述の説明においては、データベース５０２に記憶されている顔画像とその送り先のアドレスとを関連付けしているが、これ以外にも画像のタイトルを関連付けるようにしても良いし、映っているものを示すキーワード等を関連付けして、後の検索を容易に行えるようにしても良い。

［変形例］
次に、本発明の第１の実施形態の変形例について説明する。この変形例は、第２画像データとして最も被写体の同定に適した１枚のみを記録メディア１１７に記録するものである。図７は、第１の実施形態の変形例における第２画像データの記録処理について示したフローチャートである。なお、図７の処理は、図３のステップＳ１〜Ｓ６の処理に変えて行われるものである。これ以外の処理については図３と同様であるので説明を省略する。

まず、ＭＰＵ１０１は、撮影前後のタイミングであるかを判定するために、図３のステップＳ１で説明した手法により、現在フレーミング中であるか否かを判定する（ステップＳ３０１）。ステップＳ３０１の判定において、フレーミング中でない場合には図７のフローチャートを抜ける。一方、ステップＳ３０１の判定において、フレーミング中である場合にはユーザによる撮影開始操作（例えばレリーズボタンの全押し操作）がなされたか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、撮影開始操作がなされた場合には図７のフローチャートを抜け、撮影動作を実行する。一方、ステップＳ３０２の判定において、ユーザによる撮影開始操作がなされていない場合には、図５で説明した正面判定処理を行う（ステップＳ３０３）。

ステップＳ３０３の正面判定処理において、被写体２００が正面を向いていると判定されると、そのときの係数Ｆが最小値であったか否かを判定する（ステップＳ３０４）。ステップＳ３０４の判定において、現在の係数Ｆが最小値であった場合には、そのときに取得されている画像データを第２画像データとして記録メディア１１７に上書き記録する（ステップＳ３０５）。その後、ステップＳ３０１に戻る。一方、ステップＳ３０４の判定において、現在の係数Ｆが最小値でなかった場合には第２画像データの上書き記録をせずに、ステップＳ３０１に戻る。

このような変形例によれば、記録メディア１１７には、被写体２００が最も正面を向いたときの画像のみが第２画像として記録されるので記録メディア１１７の容量を圧迫せず、且つ後の被写体２００の同定精度を高めることも可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第１の実施形態においては被写体２００が人物であることを想定して説明してきたが、被写体２００は必ずしも人物であるとは限らない。そして、被写体２００が人物ではなく、動物である場合には、顔の正面が、必ずしも、その動物の何たるかを判定するために相応しい画像とは言えない。そこで、第２の実施形態では、被写体２００に頭部はあるが、目鼻立ちの陰影が人間とは異なる、動物等の場合の第２画像データの選択方法について説明する。

例えば、図８に示す被写体２００では、正面画像では、口の飛び出し方が判断できないため、犬なのか猫なのかをコンピュータ上で判断することが困難である。即ち、被写体２００が動物の場合には、顔だけでの同定が難しい場合が多いため、正面画像ではなく側面画像の方が、特徴を伝える画像となりうる。

このような側面画像を動物の画像に添付する場合は、図８のように、顔部２００ａから連続した輪郭で且つ最も遠い位置に存在する部位２００ｂを尻尾（尾部）とする（さらに、顔部より細い部分等の条件も加味して尾部を判定してもよい）。そして、顔部２００ａから尾部２００ｂまでの距離Ｌと頭部の幅Ｄを検出する。なお、顔部のみの画像しかない場合であっても横向きの顔部を検出するようにする。

図９は、第２の実施形態における第２画像データの記録処理について示したフローチャートである。なお、図９の処理は、図３のステップＳ１〜Ｓ６の処理に変えて行われるものである。これ以外の処理については図３と同様であるので説明を省略する。

まず、ＭＰＵ１０１は、人間の顔部の検出のときと同様に、顔部の特徴である目や鼻の配置等を利用して、顔検出回路１１４により顔部を検出する（ステップＳ４０１）。次に、前述のように、顔部から連続する輪郭で且つ細くなっているような部分を尾部として検出する（ステップＳ４０２）。

次に、ＭＰＵ１０１は、顔部と尾部とがともに検出できたか否かを判定する（ステップＳ４０３）。ステップＳ４０３の判定において、顔部、尾部ともに検出できた場合には顔部と尾部の距離Ｌが顔部の幅Ｄに対して十分に大きいか否かを判定する（ステップＳ４０４）。ステップＳ４０４の判定において、顔部と尾部との距離Ｌが顔部の幅Ｄに対して十分大きい場合には、その被写体２００は側面を向いており、且つその全貌が分かる画像であることを意味している。そこで、そのときの被写体２００の画像を切り出し、第２画像データとして記録メディア１１７に記録する（ステップＳ４０５）。その後に図９のフローチャートを抜ける。なお、第１の実施形態の変形例と同様の手法を用いて最も側面を向いている画像のみを記録するようにしても良い。

一方、ステップＳ４０３の判定において、尾部が検出できない場合には頭部から第２画像データを生成する。そこで、ＭＰＵ１０１は顔検出回路１１４によって目と鼻の位置を画像上で検出する（ステップＳ４０６）。そして、ＭＰＵ１０１は、検出した目と鼻の位置関係から被写体２００の顔が横を向いているか否かを判定する（ステップＳ４０７）。この判定は例えば目が１つのみ検出され、目と鼻との距離が所定距離よりも長い場合に横顔と判定する。

ステップＳ４０７の判定において、横顔である場合には、ステップＳ４０５に移行して顔部分を切り出し、第２画像データとして記録メディア１１７に記録する。一方、ステップＳ４０７の判定において、横顔でない場合には、その時点では第２画像データに相応しい画像データが取得できなかったとして図９のフローチャートを抜ける。

以上説明したように、第２の実施形態によれば、人物に対する同定補助用の画像だけでなく、人物以外の動物に対する同定補助用の画像も生成できる。このような画像を、撮影画像に添付することにより、同定を目的とせず、作品化を目的とした撮影画像が、一見、何を写しているか分からない場合でも、正しく、それが何であるかを識別することが可能である。これにより、例えば「犬」とか「猫」とかのタイトルを決めたり、分類時のキーワードを決定したりすることが自動でできるようになる。

なお、第１の実施形態では人物、第２の実施形態では動物を例にとって説明しているが、上述した各実施形態の手法は人物や動物以外にも適用可能である。例えば、花であれば、花びらの状態が分かりやすい真上からの画像を第２画像データとして利用することができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る画像同定システムに用いられる撮影装置の一例としてのデジタルカメラ１００の構成を示すブロック図である。 本発明の第１の実施形態に係る画像同定システムの構成を示す図である。 図２の画像同定システムにおけるデジタルカメラ１００の動作を示すフローチャートである。 正面判定の概念について示した図である。 正面判定を行うための処理の流れについて示すフローチャートである。 図２の画像同定システムにおけるサーバ５００の動作を示すフローチャートである。 第１の実施形態の変形例における第２画像データの記録処理について示したフローチャートである。 本発明の第２の実施形態における、動物に対する第２画像データを選択するための概念について示したフローチャートである。 本発明の第２の実施形態における第２画像データの記録処理について示したフローチャートである。

符号の説明

１００…デジタルカメラ、１０１…マイクロプロセッシングユニット（ＭＰＵ）、１０２…操作部、１０３…撮影レンズ、１０４…オートフォーカス（ＡＦ）回路、１０５…絞り機構、１０６…絞り制御回路、１０７…撮像素子、１０８…アナログフロントエンド（ＡＦＥ）回路、１０９…画像処理回路、１１０…表示制御回路、１１１…表示パネル、１１２…形状検出回路、１１３…距離検出回路、１１４…顔検出回路、１１５…圧縮部、１１６…記録制御回路、１１７…記録メディア、１１８…通信部、１１９…補助光発光回路、３００，４００…パーソナルコンピュータ（ＰＣ）、５００…サーバ、６００…ネットワーク

Claims (1)

1. 被写体に係る第１画像と上記第１画像における特定対象に関する第２画像とを受信する受信部と、
   上記第２画像と関連する関連情報が記憶されたデータベースと、
   上記受信部により受信した上記第１画像の上記特定対象に関する情報を、上記受信部により受信した上記第２画像に基づいて上記データベースの中から検索する検索部と、
   上記検索部で検索した情報に基づいて上記第１画像を同定する画像同定部と、
   を備え、
   上記データベースには、上記第２画像と関連する関連情報として、上記第２画像と関連するブログの掲載先アドレス情報が記憶され、
   上記画像同定部は上記検索部で検索した掲載先アドレス情報に基づいて上記第１画像を掲載するブログを同定することを特徴とする画像同定装置。

Images