JP4487247B2 - 人物画像検索装置 - Google Patents

Description

本発明は人物画像検索装置に係り、特に検索目標画像に写されている人物と同じ人物が写されている画像を検索対象画像群から検索する人物画像検索装置に関する。

特定の人物が写されている画像を検索対象画像群から検索する装置は、これまでに様々な方式のものが提案されている。たとえば、特許文献１では、撮像された顔画像から人物の顔領域を検出し、この検出結果に基づいて目や口などの顔のパーツを抽出するとともに、この抽出結果に基づいて顔の特徴量を抽出し、データベースに保持されている登録済みの顔画像との類似度を評価することにより、計算量を抑制した顔画像検索装置が提案されている。
特開２００３−１７８３０４号公報

しかしながら、特許文献１の顔画像検索装置では、たとえば目、鼻、口等、顔の複数のパーツの特徴量を抽出して、比較対象とする顔画像との類似度を評価しているため、比較対象とする顔画像の数が多くなると、検索に時間がかかるという欠点がある。

本発明は、このような事情に鑑みてなされたもので、素早い検索ができる人物画像検索装置を提供することを目的とする。

請求項１に係る発明は、前記目的を達成するために、検索目標画像に写されている人物と同じ人物が写されている画像を検索対象画像群から検索する人物画像検索装置において、前記検索対象画像群の大きさを検出する検索対象検出部と、前記検索対象検出部で検出された前記検索対象画像群の大きさに応じて比較対象とする顔のパーツを設定する比較対象設定部であって、前記検索対象画像群が大きいほど比較対象とする顔のパーツが少なくなるように設定する比較対象設定部と、前記検索目標画像に写されている人物の顔と前記検索対象画像群の各画像に写されている人物の顔とを前記比較対象設定部で設定されたパーツで比較し、一定の相関を有する画像を類似画像と判定する比較判定部と、前記比較判定部で類似画像と判定された画像を表示装置に出力する出力部と、を備えたことを特徴とする人物画像検索装置を提供する。

本発明によれば、検索対象画像群の大きさに応じて比較対象とする顔パーツが比較対象設定部で設定される。そして、その設定された顔パーツで検索目標画像と検索対象画像群の各画像とが比較され、一定の相関を有する画像が類似画像として判定されて、比較対象画像群から検索される。この際、これにより、検索対象画像群の大きさに応じて素早い検索が可能になる。

本発明に係る人物画像検索装置によれば、素早い検索を行うことができる。

以下、添付図面に従って本発明に係る人物画像検索装置を実施するための最良の形態について説明する。

図１は、本発明に係る人物画像検索装置の第１の一実施の形態を示すブロック図である。同図に示すように、本実施の形態の人物画像検索装置１０は、画像入力部１２と、検索対象検出部１４と、比較対象設定部１６と、比較対象抽出部１８と、比較判定部２０と、出力部２２とで構成され、たとえば所定のプログラムを組み込んだパーソナルコンピュータで実現される。

画像入力部１２は、検索目標画像の入力処理を行う。ここで、検索目標画像は、検索しようとする人物が写された人物画像データであり、たとえば人物画像検索装置１０に接続されたデジタルカメラや補助記憶装置から供給される。

検索対象検出部１４は、検索対象画像群の大きさ（数）の検出処理を行う。検索対象画像群は、人物の有無を問わない任意の画像データの集まりであり、たとえば画像データベース２４として、人物画像検索装置１０に接続された補助記憶装置、あるいはネットワークを通じて接続されたデータサーバに格納されている。

比較対象設定部１６は、検索対象検出部１４で検出された検索対象画像群の大きさに応じて比較対象とする顔パーツの設定処理を行う。ここでは、たとえば検索対象画像群が、１００００件以上であれば「目」、９９９９〜１０００件であれば「目、口」、９９９件未満１００件であれば「目、口、鼻」を比較対象に設定するものとする。

比較対象抽出部１８は、目標画像入力部１２から入力された検索目標画像及び画像データベース２４に格納されている画像（検索対象画像）から人物の顔領域を検出し、比較対象設定部１６で設定された顔パーツの抽出処理を行う。

顔領域の検出は、原画像から肌色に指定した色と近い色を持つ画素を取り出し、この取り出した領域を顔領域として検出する。この処理は、たとえば肌色を他の色と区別するための色空間上で、あらかじめサンプリングした肌色の情報から色空間上の肌色の範囲を定め、各画素の色が定めた範囲に入っているか否かを判定することにより行われる。

また、顔パーツである目の抽出は、たとえば、検出した顔領域内から顔領域よりも輝度値の低い領域を検出して抽出する。また、口の抽出は、たとえば、抽出した両目の下側の範囲内で顔領域よりも輝度値の低い領域を検出して抽出する。また、鼻の抽出は、目と口の間で鼻の概略領域を特定し、この領域に対して横エッジを強調する処理を行う。そして、得られた画像に対して輝度値を横方向に射影する処理を行い、最も小さい輝度値を持つ位置を鼻の位置と決定する。

比較判定部２０は、比較対象抽出部１８で抽出された検索目標画像の顔パーツと検索対象画像の顔パーツとを比較し、一定の相関を有する画像を類似画像と判定する。すなわち、検索目標画像の顔パーツと検索対象画像の顔パーツとを相関処理して相関値を求め、あらかじめ設定された閾値以内の画像を類似画像と判定する。たとえば、比較対象抽出部１８で「目と口」が抽出された場合、検索目標画像の「目」と検索対象画像の「目」、検索目標画像の「口」と検索対象画像の「口」との相関値を求め、「目と口」の双方に関してあらかじめ設定された閾値以内である場合に類似画像と判定する。

出力部２２は、比較判定部２０で類似画像と判定された検索対象画像を表示装置２６に出力する。

次に、前記のごとく構成された本実施の形態の人物画像検索装置１０の検索処理の手順を図２に示すフローチャートに従って説明する。

まず、画像入力部１２にて検索目標画像が入力される（ステップＳ１０）。検索目標画像は、たとえばデジタルカメラで撮影した画像を取り込んでもよいし、あるいは補助記憶装置に格納されている画像の中から特定の１枚を選択し、これを検索目標画像として取り込んでもよい。

検索目標画像が入力されると、次に、検索対象検出部１４によって検索対象画像群の大きさの検出が行われる（ステップＳ１１）。上記のように、検索対象画像群は画像データベース２４として提供されているので、検索対象検出部１４は、この画像データベース２４にアクセスして、検索対象画像群の大きさを検出する。

検索対象画像群の大きさが検出されると、その検出された検索対象画像群の大きさに基づいて比較対象設定部１６にて比較対象とする顔パーツの設定が行われる（ステップＳ１２）。

図３は、比較対象の設定処理の手順を示すフローチャートである。まず、検出された検索対象画像群が１００００件以上か否か判定される（ステップＳ２０）。検出された検索対象画像群が１００００件以上と判定された場合は、比較対象に「目」が設定される（ステップＳ２１）。一方、検出された検索対象画像群が１００００件以上でないと判定された場合は、次に、検出された検索対象画像群が１０００件以上９９９９件未満か否か判定される（ステップＳ２２）。検出された検索対象画像群が１０００件以上９９９９件未満と判定された場合は、比較対象に「目と口」が設定され（ステップＳ２３）、検出された検索対象画像群が１０００件以上９９９９件未満でない判定された場合は、検索対象画像群が１０００件未満と判断して、比較対象に「目と口と鼻」が設定される（ステップＳ２４）。以上のようにして比較対象とする顔パーツが設定される。

比較対象とする顔パーツの設定が終了すると、入力された検索目標画像から比較対象として設定された顔パーツの抽出処理が比較対象抽出部１８で行われる（ステップＳ１３）。たとえば、比較対象として「目」が設定された場合には、検索目標画像から「目」の画像が抽出され、「目と口」が設定された場合には、検索目標画像から「目と口」の画像が、それぞれ抽出される。

次に、画像データベース２４から１枚目の検索対象画像が取り出され（ステップＳ１４）、その取り出された検索対象画像に対して比較対象として設定された顔パーツの抽出処理が比較対象抽出部１８で行われる（ステップＳ１５）。

検索対象画像から比較対象の顔パーツが抽出されると、その抽出された検索対象画像の顔パーツと検索目標画像から抽出した顔パーツとが比較され、両者が類似するか否か判定される。すなわち、検索対象画像から抽出した顔パーツと検索目標画像から抽出した顔パーツとの相関値が算出され（ステップＳ１６）、その相関値が、あらかじめ設定された閾値内か否かが比較判定部２０で判定される（ステップＳ１７）。

この結果、検索対象画像から抽出した顔パーツと検索目標画像から抽出した顔パーツとの相関値が閾値内にあると判定されると、両者は類似画像と判断され、その類似画像と判断された検索対象画像が出力部２２から表示装置２６に出力表示される（ステップＳ１８）。一方、検索対象画像から抽出した顔パーツと検索目標画像から抽出した顔パーツとの相関値が閾値内にないと判定されると、両者は非類似画像と判断され、画像表示は行わずに、次のステップに進む。

このように、検索対象画像が検索目標画像と類似すると判定されると、その検索対象画像が表示装置２６に出力される。この後、画像データベース内のすべての画像に対して検索処理が行われたか否か判定され（ステップＳ１９）、すべての画像の検索処理が行われたと判定されると、処理を終了する。

一方、すべての画像の検索処理が終了していないと判定された場合は、ステップＳ１４に戻って、次の検索対象画像の取り出しが行われ、上記の類比判定処理が行われる。

このように、本実施の形態の人物画像検索装置１０によれば、検索対象画像群の大きさに応じて比較対象が設定されるため、検索対象画像群の大きさによらず常に一定の時間内で目的画像の検索を行うことができる。

なお、上記実施の形態では、設定可能な比較対象として「目」、「口」、「鼻」を上げているが、比較対象として設定可能な顔のパーツは、これに限定されるものではない。たとえば、これらの顔パーツ以外に「眉」や「髪型」、「顔の輪郭」等を設定可能な要素に加えるようにしてもよい。

また、本実施の形態における比較対象の設定例は一例であり、これに限定されるものではない。

図４は、その他の人物画像検索装置の構成を示すブロック図である。同図に示すように、本実施の形態の人物画像検索装置３０は、画像入力部１２と、比較対象抽出部１８と、比較判定部２０と、出力部２２と、比較対象設定部３２と、再検索指示部３４とで構成され、たとえば所定のプログラムを組み込んだパーソナルコンピュータで実現される。

比較対象検出部１４がなく、再検索指示部３４を備えている点、及び、比較対象設定部３２の作用が異なる点以外は、上述した第１の実施の形態の人物画像検索装置１０の構成と同じである。したがって、上述した第１の実施の形態の人物画像検索装置１０と同じ構成要素には、同じ符号を付して、その説明は省略する。

上述した第１の実施の形態の人物画像検索装置１０の比較対象設定部１６は、検索対象画像群の大きさに応じて比較対象とする顔パーツを設定していたが、本構成の人物画像検索装置３０の比較対象設定部３２は、再検索指示部３４からの指示に応じて比較対象とする顔パーツを設定する。すなわち、たとえば初回の検索は、「目」を比較対象に設定し、再検索の指示が再検索指示部３４から出されると、「目と口」を比較対象に設定する。そして、さらに再検索の指示が再検索指示部３４から出されると、「目と口と鼻」が比較対象に設定される。比較対象抽出部１８は、この比較対象設定部３２で設定された顔パーツを検索目標画像及び検索対象画像から抽出する。

再検索の指示を行う再検索指示部３４は、たとえばキーボードで構成され、このキーボードのキー操作によって指示が出力される。あるいは、表示装置２６に表示される再検索実行ボタンのクリックによって指示が出力される。

次に、前記のごとく構成された人物画像検索装置３０の検索処理の手順を図５に示すフローチャートに従って説明する。

まず、画像入力部１２にて検索目標画像が入力される（ステップＳ３０）。検索目標画像の入力方法は上述した第１の実施の形態の人物画像検索装置１０と同じである。

検索目標画像が入力されると、比較対象設定部３２にて比較対象とする顔パーツの設定が行われる（ステップＳ３１）。

図６は、比較対象の設定処理の手順を示すフローチャートである。まず、最初の検索か否か判定される（ステップＳ４０）。最初の検索と判定された場合は、比較対象に「目」が設定される（ステップＳ４１）。一方、最初の検索でないと判定された場合は、２回目の検索か否か判定される（ステップＳ４２）。２回目の検索と判定された場合は、比較対象に「目と口」が設定され（ステップＳ４３）、２回目の検索でないと判定された場合は、更に、３回目の検索か否か判定される（ステップＳ４４）。そして、３回目の検索であると判定されると、比較対象に「目と口と鼻」が設定され（ステップＳ４５）、３回目の検索でないと判定されると、４回目以降の検索と判断されて、エラー表示が表示装置２６に出力される（ステップＳ４６）。すなわち、これ以上検索精度を上げて再検索することはできない旨のメッセージを表示装置２６に表示させる。

このように、再検索の回数に応じて、比較対象とする顔パーツが設定される。ここでは、初回の検索なので、比較対象に「目」が設定される。そして、この比較対象の設定が終了すると、入力された検索目標画像から比較対象として設定された顔パーツの抽出処理が比較対象抽出部１８で行われる（ステップＳ３２）。

次に、画像データベース２４から１枚目の検索対象画像が取り出され（ステップＳ３３）、その取り出された検索対象画像に対して比較対象として設定された顔パーツの抽出処理が比較対象抽出部１８で行われる（ステップＳ３４）。

検索対象画像から比較対象の顔パーツが抽出されると、その抽出された検索対象画像の顔パーツと検索目標画像から抽出した顔パーツとが比較され、両者が類似するか否か判定される。すなわち、検索対象画像から抽出した顔パーツと検索目標画像から抽出した顔パーツとの相関値が算出され（ステップＳ３５）、その相関値が、あらかじめ設定された閾値内か否かが比較判定部２０で判定される（ステップＳ３６）。

この結果、検索対象画像から抽出した顔パーツと検索目標画像から抽出した顔パーツとの相関値が閾値内にあると判定されると、両者は類似画像と判断され、その類似画像と判断された検索対象画像が出力部２２から表示装置２６に出力表示される（ステップＳ３７）。一方、検索対象画像から抽出した顔パーツと検索目標画像から抽出した顔パーツとの相関値が閾値内にないと判定されると、両者は非類似画像と判断され、画像表示は行わずに、次のステップに進む。

このように、検索対象画像が検索目標画像と類似すると判定されると、その検索対象画像が表示装置２６に出力される。この後、画像データベース内のすべての画像に対して検索処理が行われたか否か判定され（ステップＳ３８）、すべての画像の検索処理が行われたと判定されると、処理を終了する。

一方、すべての画像の検索処理が終了していないと判定された場合は、ステップＳ３３に戻って、次の検索対象画像の取り出しが行われ、上記の類比判定処理が行われる。

すべての画像の検索処理が終了すると、ユーザは、表示装置２６に出力された結果を見て、再検索の必要性の有無を判断する。そして、更に精度を上げた検索を希望する場合は、再検索指示部３４にて再検索指示を入力する。

この再検索部３４による再検索の指示の有無が判定され（ステップＳ３９）、再検索の指示があると、ステップＳ３１に戻り、比較対象の再設定後、その再設定された比較対象の下、上記の類比判定処理が行われる。

このように、本構成の人物画像検索装置３０によれば、再検索の指示に応じて段階的に検索精度を上げながら画像検索を行うので、ユーザが満足できる結果を素早く検索することができる。

なお、第１の実施の形態の人物画像検索装置１０と同様に比較対象として設定可能な顔のパーツは、上記例のものに限定されるものではなく、たとえば、「目」、「口」、「鼻」以外に「眉」や「髪型」、「輪郭」等を設定可能な要素に加えるようにしてもよい。

また、上記一連の実施の形態では、本発明を所定のプログラムを組み込んだパーソナルコンピュータで実現しているが、デジタルカメラやカメラ付き携帯電話等に内蔵されたコンピュータに所定のプログラムを組み込んで当該機能を実現させるようにしてもよい。

第１の実施の形態の人物画像検索装置の構成を示すブロック図 第１の実施の形態の人物画像検索装置における検索処理の手順を示すフローチャート 第１の実施の形態の人物画像検索装置における比較対象の設定処理の手順を示すフローチャート その他の人物画像検索装置の構成を示すブロック図 図４の人物画像検索装置における検索処理の手順を示すフローチャート 図４の人物画像検索装置における比較対象の設定処理の手順を示すフローチャート

符号の説明

１０…人物画像検索装置、１２…画像入力部、１４…検索対象検出部、１６…比較対象設定部、１８…比較対象抽出部、２０…比較判定部、２２…出力部、２４…画像データベース、２６…表示装置、３０…人物画像検索装置、３２…比較対象設定部、３４…再検索指示部

Claims (1)

1. 検索目標画像に写されている人物と同じ人物が写されている画像を検索対象画像群から検索する人物画像検索装置において、
   前記検索対象画像群の大きさを検出する検索対象検出部と、
   前記検索対象検出部で検出された前記検索対象画像群の大きさに応じて比較対象とする顔のパーツを設定する比較対象設定部であって、前記検索対象画像群が大きいほど比較対象とする顔のパーツが少なくなるように設定する比較対象設定部と、
   前記検索目標画像に写されている人物の顔と前記検索対象画像群の各画像に写されている人物の顔とを前記比較対象設定部で設定されたパーツで比較し、一定の相関を有する画像を類似画像と判定する比較判定部と、
   前記比較判定部で類似画像と判定された画像を表示装置に出力する出力部と、
   を備えたことを特徴とする人物画像検索装置。

Images