JP6338437B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

一般参加型のマラソン大会等を対象に、撮影者が撮影ポイントで競技参加者を撮影し、競技大会終了後に参加者に写真を販売するサービスが実施されている。このようなサービスにおいては、競技参加者の購買意欲を向上させる写りの良い写真、例えば参加者自身が写真中央に大きく写っている写真等を参加者に素早く提示することが求められている。
これに対し、特許文献１には、競技大会で計測ポイントへの通過予測時間から、大会を撮影した動画像中に写っている参加者を検索し、参加者向けに映像編集を行う手法が開示されている。また、特許文献２には、競技者が付けたゼッケン番号を個体識別情報として利用する技術が開示されている。
一方で、特許文献３には、画像データの焦点の位置情報によって特定される画像領域の一部から特徴量を抽出し、その特徴量に基づいて推測した用語をその画像のメタデータとする手法が開示されている。

特開２００４−１１２１５３号公報 特許第３０６９７２３号公報 特開平１０−２３６２７９号公報

参加者が欲しいのは、ゼッケンに代表される個別識別情報の写りのよい写真ではなく、参加者自身に焦点が合った写りのよい写真である。しかし、ゼッケン番号のみを用いた画像検索においては、参加者の顔にピントが合っていない画像や、参加者が写真の端に写っていて見切れているような画像も抽出されてしまうため、参加者が実際に購入したいと感じる画像を抽出することは難しい。

本発明はこのような問題点に鑑みなされたもので、ユーザの希望に合った画像を適切に検索し、ユーザに提示することを目的とする。

そこで、本発明は、画像処理装置であって、検索対象の画像から特定の物体を識別する情報が存在する識別領域を抽出する識別領域抽出手段と、前記識別領域から前記物体の識別情報を特定する特定手段と、複数の画像の中から前記物体を含む画像を検索する場合の検索結果としての、前記画像の優先度を、前記画像に対して設定されている注目領域と、前記識別領域と、の前記画像における位置関係に基づいて決定する決定手段と、前記画像に対応付けて、前記識別情報と前記優先度とを記憶手段に登録する登録手段とを有することを特徴とする。

本発明によれば、ユーザの希望に合った画像を適切に検索し、ユーザに提示することができる。

画像処理装置のハードウェア構成を示す図である。 画像処理装置のソフトウェア構成を示す図である。 画像例を示す図である。 登録処理を示すフローチャートである。 識別領域抽出処理の説明図である。 フォーカスポイントの一例を示す図である。 判定領域設定処理の説明図である。 対象判定領域と注目領域の位置関係の説明図である。 撮影画像のメタデータの一例を示す図である。 撮影画像に対する処理結果を示す図である。 画像検索処理を示すフローチャートである。 検索結果の表示例を示す図である。 第１の変更例に係る画像検索処理を示すフローチャートである。 第１の変更例に係る検索結果の表示例を示す図である。 第３の変更例の説明図である。 第２の実施形態に係る登録処理を示すフローチャートである。 注目領域の一例を示す図である。 注目領域と判定領域を示す図である。 第４の実施形態に係る登録処理を示すフローチャートである。 撮影画像の座標系の説明図である。 注目領域と識別領域を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、本実施形態に係る画像処理装置１００を示す図である。画像処理装置１００は、ＣＰＵ１０１と、メモリ１０２と、ハードディスク１０３と、ネットワークＩ／Ｆ１０４と、ディスプレイ１０５とを有している。ＣＰＵ１０１は、撮影画像の制御や認識処理を施すためのプログラムを実行する。メモリ１０２は、プログラムを実行する際のワークメモリやデータの一時保存等に利用される。ハードディスク１０３は、プログラムや競技大会の写真を撮影した画像等のデータを格納する。ネットワークＩ／Ｆ１０４は、データの入出力を行う。ディスプレイ１０５は、撮像画像を再生表示する。
画像処理装置１００は、ネットワークＩ／Ｆ１０４を介し、ネットワーク１０６と接続されていてもよい。また、複数のハードディスク１０３やディスプレイ１０５がネットワーク１０６を介して接続されていてもよい。
なお、後述する画像処理装置１００の機能や処理は、ＣＰＵ１０１がメモリ１０２又はハードディスク１０３に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２は、画像処理装置１００のソフトウェア構成を示すブロック図である。画像処理装置１００は、図３に示すようにマラソン大会において撮影された、マラソン大会の参加者を被写体とする複数の撮影画像を、検索対象の画像として登録し、各撮影画像に表示されている参加者のゼッケン番号を、各撮影画像のメタデータとして記録する。そして、画像処理装置１００は、参加者のゼッケン番号を検索クエリとして、参加者毎の画像の検索を行う。
図３に示す撮影画像３００には、競技中の５人の参加者が写っている。このように、マラソン大会において撮影される画像には、参加者が１人で写っている画像は少なく、撮影画像３００のように、複数の参加者が写りこむケースが多い。このため、ゼッケン番号を検索クエリとして検索した場合には、希望の参加者の顔にピントが合っていない画像や、希望の参加者が画像の端に写っていて、見切れているような画像等、検索者が希望しない画像が得られる可能性がある。

例えば、ゼッケン番号９８７を検索クエリとして検索した場合に、図３に示す撮影画像３００が検出される。しかしながら、撮影画像３００には、ゼッケン番号９８７は写っているものの、この参加者の顔は写っていない。このため、撮影画像３００は、ゼッケン番号９８７を検索クエリとする場合の検索結果としては、好ましくない。これに対し、本実施形態に係る画像処理装置１００は、ユーザの希望に合った画像を適切に検索し、ユーザに提供する。
このための構成として、画像処理装置１００は、図２に示すように、ソフトウェア構成として、識別領域抽出部２０１と、文字認識部２０２と、注目領域設定部２０３と、優先度決定部２０４と、登録部２０５と、検索部２０６と、表示部２０７とを有している。

識別領域抽出部２０１は、外部装置から入力された、処理対象の撮影画像から、特定の物体を識別する情報が存在する識別領域を抽出する。識別領域抽出部２０１は、具体的には、対象画像から文字領域を識別領域として抽出する。本実施形態においては、ゼッケン番号が示されるゼッケン領域が識別領域として抽出される。文字領域の抽出処理については、例えば、特開２００９−１２３２０５号公報を参照することができる。すなわち、識別領域抽出部２０１は、対象画像からエッジ画像を生成し、エッジ画像から連結画素塊（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ 以後 ＣＣと呼ぶ）を生成する。そして、識別領域抽出部２０１は、ＣＣの大きさ等の特徴量から文字らしいと推定される候補ＣＣの座標位置をハフ変換した結果、直線に並ぶ候補ＣＣ群を文字領域として抽出する。
なお、他の例としては、識別領域抽出部２０１は、ハードディスク１０３から新たに登録された画像を読み出してもよい。以下、処理対象の撮影画像を、対象画像と称する。

文字認識部２０２は、文字領域において文字認識を行い、ゼッケン番号の文字列を、参加者の識別情報として得る。注目領域設定部２０３は、対象画像の撮影時のフォーカスポイントを注目領域として設定する。なお、フォーカスポイントは１点であるものとする。なお、画像処理装置１００には、撮影画像と共に、フォーカスポイントを示す情報が入力されるものとする。そして、注目領域設定部２０３は、フォーカスポイントを示す情報に基づいて、注目領域を設定する。
優先度決定部２０４は、識別領域と注目領域の対象画像中における位置関係に基づいて、対象画像の、識別領域に対応する参加者を検索する際の検索結果としての優先度を設定する。
登録部２０５は、参加者の識別情報と、優先度とを、対象画像のメタデータとし、メタデータを含む対象画像をハードディスク１０３に記録する。これにより、ハードディスク１０３は、対象画像を登録画像として記憶する。
検索部２０６は、識別情報を検索クエリとして、識別情報により特定される参加者の撮影画像をハードディスク１０３の登録画像の中から検索する。表示部２０７は、検索結果を優先度に基づいて表示する。

図４は、画像処理装置１００による登録処理を示すフローチャートである。画像処理装置１００は、登録処理において、新たに登録される画像に対し、検索のためのメタデータを作成し、メタデータと共に、撮影画像をハードディスク１０３に登録する。
Ｓ４００において、識別領域抽出部２０１は、対象画像から識別領域を抽出する（識別領域抽出処理）。図５は、識別領域抽出処理の説明図である。図５に示すように、撮影画像３００からは、５人の参加者それぞれに対応する５つの識別領域５０１〜５０５が抽出される。

次に、Ｓ４０１において、文字認識部２０２は、各識別領域において文字認識を行い、識別情報としてゼッケン番号を得るここで、Ｓ４０１の処理は、文字認識処理により、識別領域から識別情報を特定する特定処理の一例である。次に、Ｓ４０２において、登録部２０５は、対象画像のメタデータに識別情報と、優先度の初期値「０」を設定する。なお、本実施形態においては、優先度は、「０」及び「１」の２値を取り、「１」は、「０」に比べて優先度が高いことを意味する。
次に、Ｓ４０３において、注目領域設定部２０３は、対象画像のフォーカスポイントを注目領域として設定する（注目領域設定処理）。図６は、撮影時に設定されたフォーカスポイント６０１〜６０９の一例を示す図である。フォーカスポイントの数はカメラによって異なる。また、１点のみのフォーカスポイントが設定される場合と、多点のフォーカスポイントが設定される場合がある。本実施形態においては、対象画像に対し、１つのフォーカスポイントが設定されているものとする。

図４に戻り、Ｓ４０３の処理の後、Ｓ４０４において、優先度決定部２０４は、識別領域に基づいて、判定領域を設定する（判定領域設定処理）。図７は、判定領域設定処理の説明図である。図７に示すように、優先度決定部２０４は、識別領域より上側の領域であり、識別領域と等しい幅の領域を、各識別領域５０１〜５０５に対する判定領域７０１〜７０５として設定する。このように、判定領域を識別領域の上部に設定するのは、参加者の頭部は、ゼッケンよりも上にあることに対応するものである。なお、優先度決定部２０４は、上下方向の範囲は、対応する識別領域のサイズに基づいて決定する。
なお、他の例としては、画像処理装置１００は、例えばハードディスク１０３等に判定領域のサイズを定めたテンプレートを保持し、優先度決定部２０４は、テンプレートに基づいて、判定領域を設定してもよい。これにより、判定領域の大きさを設定する計算量が削減され、処理の高速化を図ることができる。

図４に戻り、Ｓ４０４の処理の後、Ｓ４０５において、優先度決定部２０４は、設定された判定領域の中から１つの判定領域を、処理対象の対象判定領域として選択する。次に、Ｓ４０６において、優先度決定部２０４は、対象判定領域が注目領域を含むか否かを判定する。なお、本実施形態においては、優先度決定部２０４は、注目領域の全面積のうち一定の割合が対象判定領域に含まれる場合に、対象判定領域が注目領域を含むと判定することとする。なお、他の例としては、優先度決定部２０４は、注目領域が対象判定領域に包含される場合に、対象判定領域が注目領域を含むと判定することとしてもよい。
優先度決定部２０４は、対象判定領域が注目領域を含む場合には（Ｓ４０６でＹｅｓ）、処理をＳ４０７へ進める。優先度決定部２０４は、対象判定領域が注目領域を含まない場合には（Ｓ４０６でＮｏ）、処理をＳ４０８へ進める。

Ｓ４０７において、優先度決定部２０４は、メタデータにおいて、対象判定領域に対応する識別情報に対応付けられている優先度をより高い値に変更する。具体的には、優先度決定部２０４は、優先度を「０」から「１」に変更する。ここで、Ｓ４０６及びＳ４０７の処理は、注目領域と識別領域との、対象画像における位置関係に基づいて、優先度を決定する決定処理の一例である。このように、本実施形態においては、優先度決定部２０４は、判定領域が注目領域を含む場合に、判定領域が注目領域を含まない場合に比べて高い優先度を決定する。
次に、Ｓ４０８において、優先度決定部２０４は、Ｓ４０６〜Ｓ４０７の処理が行われていない未処理の判定領域が存在するか否かを確認する。優先度決定部２０４は、未処理の判定領域が存在する場合には（Ｓ４０８でＹｅｓ）、処理をＳ４０５へ進める。この場合、優先度決定部２０４は、Ｓ４０５において、未処理の判定領域の中から１つ判定領域を選択する。優先度決定部２０４は、未処理の判定領域が存在しない場合には（Ｓ４０８でＮｏ）、処理をＳ４０９へ進める。
Ｓ４０９において、登録部２０５は、識別領域を識別する領域ＩＤと、ゼッケン番号と、優先度と、をメタデータとして対象画像に対応付けて、ハードディスク１０３に登録する（登録処理）。以上で、登録処理は終了する。

図８は、対象判定領域と注目領域の位置関係の説明図である。図８（Ａ）に示す例においては、注目領域８０１は、識別領域５０２に対応する判定領域７０２に含まれる。このため、識別領域５０２から得られた識別情報（ゼッケン番号）「１２３」に対応する優先度に「１」が設定され、これ以外のゼッケン番号に対応する優先度には「０」が設定される。
図９は、図８（Ａ）に対応して作成された、撮影画像３００のメタデータの一例を示す図である。メタデータは、領域ＩＤと、識別情報（ゼッケン番号）と、優先度とを含んでいる。図９に示すメタデータにおいては、図８（Ａ）の結果に対応し、識別領域３０２に対応する領域ＩＤ「３０２」に対応する優先度が「１」に設定され、これ以外の領域ＩＤに対応する優先度は「０」に設定されている。
図８（Ｂ）に示す例においては、注目領域８０２は、判定領域７０５に含まれる。このため、識別領域５０５から得られた識別情報（ゼッケン番号）「７８９」に対応する優先度に「１」が設定され、これ以外の識別情報に対応する優先度には「０」が設定される。図８（Ｃ）に示す例においては、注目領域８０３は、いずれの判定領域７０１〜７０５にも含まれない。したがって、すべての識別情報に対応する優先度が「０」となる。

図１０は、撮影画像３００と異なる撮影画像１０００の処理結果を示す図である。撮影画像１０００においては、４人の参加者に対応する４つの識別領域１００１〜１００４が抽出される。ここで、図１０（Ａ）に示すように、注目領域１０２０は、識別領域１００４に対応する判定領域１０１４に含まれるものとする。この場合、図１０（Ｂ）に示すように、メタデータにおいて、識別領域１００４に対応する領域ＩＤ「１００４」の優先度が「１」に設定され、これ以外の領域ＩＤの優先度は、「０」に設定される。
このように、本実施形態に係る画像処理装置１００は、識別領域の上部に位置する参加者の頭部とフォーカスポイントとが一致する画像の、参加者の検索結果としての優先度をより高く設定することができる。

図１１は、画像処理装置１００による画像検索処理を示すフローチャートである。Ｓ１１００において、検索部２０６は、検索クエリとしての識別情報（ゼッケン番号）の指定入力を受け付ける（受付処理）。次に、Ｓ１１０１において、検索部２０６は、ハードディスク１０３に登録されている登録画像のメタデータに、検索クエリと一致する識別情報を含む登録画像を検索し、検索結果を取得する（検索処理、取得処理）。次に、Ｓ１１０２において、表示部２０７は、検索により得られた登録画像を、優先度に基づいて配列し、検索結果として表示する（表示処理）。
図１２は、識別情報（ゼッケン番号）「１２３」が検索クエリとして入力された場合の、検索結果の表示例を示す図である。図１２に示す撮影画像３００,１０００には、それぞれ、図９及び図１０（Ｂ）に示すメタデータが付与されているものとする。撮影画像３００，１０００のうち、識別情報（ゼッケン番号）「１２３」に対応する優先度がより高い撮影画像３００が撮影画像１０００よりも上位に配列されている。さらに、優先度が高い撮影画像３００は、太枠で強調表示されている。
このように、本実施形態に係る画像処理装置１００は、検索により得られた画像を優先度順に表示する。したがって、ユーザの希望に合った画像を適切に検索し、ユーザに提示することができる。

第１の実施形態に係る画像処理装置１００の第１の変更例としては、画像処理装置１００は、検索処理において得られた登録画像のうち、優先度「１」の登録画像のみを検索結果として表示することとしてもよい。図１３は、第１の変更例に係る画像検索処理を示すフローチャートである。なお、図１１に示す画像検索処理における各処理と同一の処理には、同一番号を付している。
Ｓ１１０１において、識別情報（ゼッケン番号）を検索クエリとした検索により、登録画像が得られると、検索部２０６は、処理をＳ１３００へ進める。Ｓ１３００において、検索部２０６は、得られた登録画像の中から優先度「１」のメタデータが付与された登録画像を抽出する（画像抽出処理）。次に、Ｓ１３０１において、表示部２０７は、Ｓ１３００において抽出された登録画像を検索結果として表示する（表示処理）。
図１４は、識別情報（ゼッケン番号）「１２３」が検索クエリとして入力された場合の、第１の変更例に係る検索結果の表示例を示す図である。図１２に示す例においては、識別情報（ゼッケン番号）「１２３」の参加者を含む撮影画像３００，１０００が表示されたのに対し、図１４に示す検索結果においては、優先度「１」のメタデータが付与された撮影画像１０００のみが表示される。

第２の変更例としては、画像処理装置１００は、３段階以上の優先度を決定してもよい。この場合、画像処理装置１００は、優先度順に画像検索処理において得られた登録画像を配置した、検索結果の一覧を表示する。
例えば、画像処理装置１００は、注目領域の面積に対する、注目領域と判定領域の重なり領域の面積の割合を優先度として設定してもよい。他の例としては、画像処理装置１００は、注目領域の位置に応じて、優先度を設定してもよい。例えば、注目領域が画像上部中央に位置している場合、参加者が中央に写っていると推測される。そこで、この場合には、画像処理装置１００は、画像中央の注目領域に対応する参加者の優先度を、画像端の注目領域に対応する参加者の優先度に比べて高い値とする。

また他の例としては、画像処理装置１００は、識別領域のサイズや位置に基づいて、優先度を決定してもよい。画像処理装置１００は、撮影画像に対する識別領域のサイズの割合が大きくなる程、より高い優先度を決定してもよい。これは、画像のサイズに対し識別領域のサイズが大きい程、ゼッケンをつけた参加者がより大きく写っている可能性が高いことに対応するものである。
また他の例としては、画像処理装置１００は、１画像から検出された識別領域の数に応じて優先度を決定してもよい。具体的には、画像処理装置１００は、１画像から検出された識別領域の数が少ない程、この画像の識別領域から特定された参加者に対し、より高い優先度を決定する。これは、参加者が１人の場合、この参加者にピントが合っている可能性が高いことに対応するものである。

第３の変更例としては、画像処理装置１００は、判定領域のサイズ及び形状を、注目領域の位置に応じて設定してもよい。例えば、図１５（Ａ），（Ｂ）に示すように、撮影画像１５００の注目領域１５０１は、画像１５００の中心付近に配置されているのに対し、注目領域１５０２は、注目領域１５０１に比べて、画像１５００の端に近い位置に配置されている。この場合、画像処理装置１００は、注目領域１５０１に対し、注目領域１５０２に対応する判定領域１５１２に比べて大きい判定領域１５１１を設定する。これは、画像１５００の中央の人物は、端の人物に比べて大きく写っている可能性が高いことに対応している。
さらに、画像処理装置１００は、画像の縦横方向に応じて、同じ注目画像に対し、サイズ及び形状の異なる判定領域を設定してもよい。図１５（Ｃ）に示す撮影画像１５２０は、撮影画像１５００を９０°左に回転させたものであり、注目領域１５０３は、図１５（Ｂ）に示す図１５（Ｂ）に示す注目領域１５０２と等しい位置に配置されている。この場合、撮影画像の縦横に対応し、注目領域１５０３の判定領域１５１３は、判定領域１５１２とは、サイズ、大きさ及びサイズが異なる。

第４の変更例としては、参加者、すなわち画像に含まれる人物を特定するための情報（識別情報）は、ゼッケン番号に限定されるものではない。人物を特定するための情報の、他の例としては、名札、ユニフォームに付けられた番号等が挙げられる。これらの場合には、識別領域抽出部２０１は、識別領域として、ゼッケン領域に替えて、名札領域やユニフォーム中の名前領域を抽出する。そして、文字認識部２０２は、名札領域や名前領域の文字認識により、ユーザの氏名を識別情報として得ればよい。
また、本実施形態においては、撮影画像中の人物を検索対象として登録する場合を例に説明したが、検索対象は、人物以外の物体であってもよい。

（第２の実施形態）
対象画像の撮影時のフォーカスポイントは、複数設定される場合もある。フォーカスポイントが複数ある場合には、この画像は、近距離から遠距離までピントが合っている状態の画像、すなわちパンフォーカス画像であると考えられる。第２の画像処理装置１００は、複数のフォーカスポイントが設定された、多点フォーカスポイントの画像を処理対象とする。
図１６は、第２の実施形態に係る画像処理装置１００による、登録処理を示すフローチャートである。ここでは、図４を参照しつつ説明した第１の実施形態に係る登録処理と異なる処理について説明する。なお、図１６に示す登録処理の各処理のうち、図４に示す第１の実施形態に係る登録処理の各処理と同一の処理には、同一の番号を付している。

Ｓ４０２において、識別情報及び優先度の初期値がメタデータに設定された後、Ｓ１６００において、注目領域設定部２０３は、複数のフォーカスポイントを含む領域を注目領域として設定する（注目領域設定処理）。具体的には、注目領域設定部２０３は、すべてのフォーカスポイントの外接矩形を注目領域として設定する。図１７は、注目領域の一例を示す図である。図１７に示すように、３つのフォーカスポイント１７０１〜１７０３が特定されたとする。この場合、注目領域設定部２０３は、３つのフォーカスポイント１７０１〜１７０３の外接矩形１７１０を判定領域として設定する。
図１６に戻り、Ｓ１６００において、注目領域を設定した後、Ｓ１６０１において、優先度決定部２０４は、Ｓ４００において抽出された識別領域の中から１つの識別領域を、処理対象の対象識別領域として選択する。次に、Ｓ１６０２において、優先度決定部２０４は、対象識別領域が注目領域に含まれるか否かを判定する。なお、本実施形態においては、優先度決定部２０４は、対象識別領域の全面積のうち一定の割合が注目領域内に含まれる場合に、対象識別領域が注目領域に含まれると判定することとする。なお、他の例としては、優先度決定部２０４は、対象識別領域が注目領域に包含される場合に、対象識別領域が注目領域に含まれると判定することとしてもよい。

優先度決定部２０４は、対象識別領域が注目領域に含まれる場合には（Ｓ１６０２でＹｅｓ）、処理をＳ１６０３へ進める。優先度決定部２０４は、対象識別領域が注目領域に含まれない場合には（Ｓ１６０２でＮｏ）、処理をＳ１６０４へ進める。Ｓ１６０３において、優先度決定部２０４は、対象識別領域に対応する識別情報に対応付けられている優先度をより高い値に変更する。具体的には、優先度決定部２０４は、優先度を「０」から「１」に変更する。
次に、Ｓ１６０４において、優先度決定部２０４は、Ｓ１６０２，Ｓ１６０３の処理が行われていない未処理の識別領域が存在するか否かを確認する。優先度決定部２０４は、未処理の識別領域が存在する場合には（Ｓ１６０４でＹｅｓ）、処理をＳ１６０１へ進める。この場合、優先度決定部２０４は、Ｓ１６０１において、未処理の識別領域の中から１つ識別領域を選択する。優先度決定部２０４は、未処理の識別領域が存在しない場合には（Ｓ１６０４でＮｏ）、処理をＳ４０９へ進める。

図１７に示す例においては、識別領域５０２は注目領域１７１０に含まれる。このため、識別領域５０２を対象識別領域とする場合には、処理は、Ｓ１６０３へ進み、優先度には「１」が設定される。一方、識別領域５０２以外の識別領域は、注目領域１７１０に含まれない。このため、識別領域５０２以外の識別領域を対象識別領域とする場合には、処理は、Ｓ１６０４へ進み、優先度には「０」が設定される。なお、第２の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、第１の実施形態に係る画像処理装置１００の構成及び処理と同様である。
以上のように、第２の実施形態に係る画像処理装置１００は、フォーカスポイントが多点存在する撮影画像を処理対象として、検索結果に対し、適切な優先度を設定することができる。

（第３の実施形態）
第３の実施形態に係る画像処理装置１００は、撮影画像において、顔領域の検出を行い、顔領域を注目領域として設定する。具体的には、注目領域設定部２０３は、Ｓ４０３において、撮影画像に対する顔認識処理を行い、検出された顔領域を注目領域として設定する。そして、優先度決定部２０４は、Ｓ４０６において、対象判定領域が注目領域を含むか否かを確認する。
なお、Ｓ４０３において、複数の注目領域が設定されている場合には、Ｓ４０６において、対象判定領域が、Ｓ４０３において設定された複数の注目領域のうちいずれか１つの注目領域を含む場合に、対象判定領域が注目領域を含むと判定する。そして、優先度決定部２０４は、対象判定領域が注目領域を含む場合に優先度を「１」に設定し、対象判定領域が注目領域を含まない場合に、優先度を「０」に設定する。

図１８に示す例においては、注目領域１８０２〜１８０５が設定される。そして、識別領域５０２〜５０５に対応する判定領域７０２〜７０５は、それぞれ、注目領域１８０２〜１８０５を含む。したがって、判定領域７０２〜７０５に対応する識別情報に対し、優先度「１」が設定される。第３の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る画像処理装置１００の構成及び処理と同様である。

以上のように、第３の実施形態に係る画像処理装置１００は、顔認識により注目領域を特定し、注目領域と、識別領域より定まる判定領域との位置関係に基づいて、各参加者の検索結果の優先度を設定することができる。なお、画像処理装置１００は、このように、撮影画像から得られる情報に基づいて、注目領域を設定すればよく、そのための具体的な処理は実施形態に限定されるものではない。

（第４の実施形態）
第４の実施形態に係る画像処理装置１００は、判定領域を設定するのに替えて、識別領域と注目領域の角度に基づいて、優先度を設定する。図１９は、第４の実施形態に係る画像処理装置１００による、登録処理を示すフローチャートである。ここでは、第１の実施形態に係る登録処理と異なる処理について説明する。図１９に示す登録処理の各処理のうち、図４に示す第１の実施形態に係る登録処理の各処理と同一の処理には、同一の番号を付している。
なお、本実施形態においては、画像処理装置１００は、図２０に示すように、撮影画像の左上端を原点とし、ｘ軸を左から右方向に、ｙ軸を上から下方向とする座標系において、撮影画像の処理を行うものとする。

図１９に戻り、Ｓ４０３において、注目領域が設定された後、Ｓ１９００において、優先度決定部２０４は、Ｓ４００において抽出された識別領域の中から１つの識別領域を処理対象の対象識別領域として選択する。次に、Ｓ１９０１において、優先度決定部２０４は、対象識別領域が注目領域の下にあるか否かを確認する。優先度決定部２０４は、対象識別領域の上端の座標値が注目領域の下端の座標値よりも大きい場合に、識別領域が注目領域の下にあると判断する。
例えば、図２１に示す注目領域２１００が設定されたとする。この場合、識別領域５０２〜５０５は、注目領域２１００の下にあると判断され、識別領域５０１は、注目領域２１００の下にないと判断される。

優先度決定部２０４は、対象識別領域が注目領域の下にある場合には（Ｓ１９０１でＹｅｓ）、処理をＳ１９０２へ進める。優先度決定部２０４は、対象識別領域が注目領域の下にない場合には（Ｓ１９０１でＮｏ）、処理をＳ１９０４へ進める。Ｓ１９０２において、優先度決定部２０４は、図２０に示すように、注目領域からｘ軸に平行に延びる直線２０００と、識別領域と注目領域を結ぶ直線２００１のなす角θに対し、ｔａｎθを算出する。そして、優先度決定部２０４は、ｔａｎθと閾値αとを比較する。ここで、ｔａｎθが閾値未満となるのは、注目領域と識別領域が、ｘ軸方向においてほぼ等しい位置関係にある場合である。
優先度決定部２０４は、ｔａｎθが閾値α未満の場合には（Ｓ１９０２でＹｅｓ）、処理をＳ１９０３へ進める。優先度決定部２０４は、ｔａｎθが閾値α以上の場合には（Ｓ１９０２でＮｏ）、処理をＳ１９０４へ進める。Ｓ１９０３において、優先度決定部２０４は、メタデータにおいて、対象判定領域に対応する識別情報に対応付けられている優先度をより高い値に変更する。

Ｓ１９０４において、優先度決定部２０４は、Ｓ１９０２,Ｓ１９０３の処理が行われていない、未処理の識別情報が存在するか否かを確認する。優先度決定部２０４は、未処理の識別情報が存在する場合には（Ｓ１９０４でＹｅｓ）、処理をＳ１９００へ進める。この場合、優先度決定部２０４は、未処理の識別情報の中から１つ識別領域を選択する。優先度決定部２０４は、未処理の識別情報が存在しない場合には（Ｓ１９０４でＮｏ）、処理をＳ４０９へ進める。なお、第４の実施形態に係る画像処理装置１００のこれ以外の構成及び処理は、他の実施形態に係る画像処理装置１００の構成及び処理と同様である。

以上のように、第４の実施形態に係る画像処理装置１００は、注目領域からｘ軸に平行に延びる直線２０００と、識別領域と注目領域を結ぶ直線２００１のなす角θと閾値とを比較する。したがって、画像処理装置１００は、識別領域と注目領域の位置関係に応じて閾値を変更することにより、位置関係に応じた判断を行うことができる。例えば、参加者の頭がゼッケン番号の上部から傾いた位置にある場合も考えられる。このような場合においても、適切な閾値を設定することにより、適切な優先度を設定することができる。なお、この場合、画像処理装置１００は、ｔａｎθの範囲を設定し、範囲内か否かに応じて優先度を設定してもよい。
また、画像処理装置１００は、識別領域と注目領域の距離及び角度のうち少なくとも一方の位置関係に基づいて優先度を決定すればよく、具体的な位置関係は実施形態に限定されるものではない。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、ユーザの希望に合った画像を適切に検索し、ユーザに提示することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 画像処理装置
１０１ ＣＰＵ
２０１ 識別領域抽出部
２０３ 注目領域設定部
２０４ 優先度決定部
２０５ 登録部
２０６ 検索部
２０７ 表示部

Claims (15)

1. 検索対象の画像から特定の物体を識別する情報が存在する識別領域を抽出する識別領域抽出手段と、
   前記識別領域から前記物体の識別情報を特定する特定手段と、
   複数の画像の中から前記物体を含む画像を検索する場合の検索結果としての、前記画像の優先度を、前記画像に対して設定されている注目領域と、前記識別領域と、の前記画像における位置関係に基づいて決定する決定手段と、
   前記画像に対応付けて、前記識別情報と前記優先度とを記憶手段に登録する登録手段と
   を有することを特徴とする画像処理装置。
2. 前記識別情報を受け付ける受付手段と、
   前記記憶手段において、前記識別情報に対応付けられている画像を検索する検索手段と、
   前記検索手段により得られた画像の中から、前記優先度に基づいて、検索結果として表示する画像を抽出する画像抽出手段と、
   前記画像抽出手段により抽出された画像を表示する表示手段と
   をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記識別情報を受け付ける受付手段と、
   前記識別情報に対応付けられている画像を検索する検索手段と、
   前記検索手段により得られた画像を、前記優先度に基づいて配列して表示する表示手段と
   をさらに有することを特徴とする請求項１に記載の画像処理装置。
4. 前記登録手段は、前記識別情報と、前記優先度と、を、前記画像のメタデータとして記憶手段に登録することを特徴とする請求項１乃至３何れか１項に記載の画像処理装置。
5. 前記特定手段は、前記識別領域から文字認識処理により識別情報を特定することを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。
6. 前記画像は、撮影装置により撮影された撮影画像であり、
   前記画像の撮影時のフォーカスポイントを注目領域として設定する注目領域設定手段をさらに有し、
   前記決定手段は、前記注目領域設定手段により設定された前記注目領域と、前記識別領域と、の位置関係に基づいて、前記優先度を決定することを特徴とする請求項１乃至５何れか１項に記載の画像処理装置。
7. 前記注目領域設定手段は、前記フォーカスポイントが多点存在する場合に、各フォーカスポイントを含む領域を前記注目領域として設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記物体は、人物であり、
   前記画像の中から、人物の顔領域を注目領域として設定する注目領域設定手段をさらに有し、
   前記決定手段は、前記注目領域設定手段により設定された前記注目領域と、前記識別領域と、の位置関係に基づいて、前記優先度を決定することを特徴とする請求項１乃至５何れか１項に記載の画像処理装置。
9. 前記識別領域の位置に基づいて、判定領域を設定する判定領域設定手段をさらに有し、
   前記決定手段は、前記判定領域が前記注目領域を含む場合に、前記判定領域が前記注目領域を含まない場合に比べて高い優先度を決定することを特徴とする請求項１乃至８何れか１項に記載の画像処理装置。
10. 前記決定手段は、前記注目領域と前記識別領域の間の距離及び角度のうち少なくとも一方の位置関係に基づいて、前記優先度を決定することを特徴とする請求項１乃至８何れか１項に記載の画像処理装置。
11. 検索対象の画像に含まれる特定の物体の識別情報の指定を受け付ける受付手段と、
    前記識別情報が存在する識別領域と、前記画像に対して設定されている注目領域と、の前記画像における位置関係に基づいて、複数の画像の中から前記識別情報で特定される物体を含む画像の検索結果を取得する取得手段と
    を有することを特徴とする画像検索装置。
12. 画像処理装置が実行する画像処理方法であって、
    検索対象の画像から特定の物体を識別する情報が存在する識別領域を抽出する識別領域抽出ステップと、
    前記識別領域から前記物体の識別情報を特定する特定ステップと、
    複数の画像の中から前記物体を含む画像を検索する場合の検索結果としての、前記画像の優先度を、前記画像に対して設定されている注目領域と、前記識別領域と、の前記画像における位置関係に基づいて決定する決定ステップと、
    前記画像に対応付けて、前記識別情報と前記優先度とを記憶手段に登録する登録ステップと
    を含むことを特徴とする画像処理方法。
13. 画像検索装置が実行する画像検索方法であって、
    検索対象の画像に含まれる特定の物体の識別情報の指定を受け付ける受付ステップと、
    前記識別情報が存在する識別領域と、前記画像に対して設定されている注目領域と、の前記画像における位置関係に基づいて、複数の画像の中から前記識別情報で特定される物体を含む画像の検索結果を取得する取得ステップと
    を含むことを特徴とする画像検索方法。
14. コンピュータを、
    検索対象の画像から特定の物体を識別する情報が存在する識別領域を抽出する識別領域抽出手段と、
    前記識別領域から前記物体の識別情報を特定する特定手段と、
    複数の画像の中から前記物体を含む画像を検索する場合の検索結果としての、前記画像の優先度を、前記画像に対して設定されている注目領域と、前記識別領域と、の前記画像における位置関係に基づいて決定する決定手段と、
    前記画像に対応付けて、前記識別情報と前記優先度とを記憶手段に登録する登録手段と
    して機能させるためのプログラム。
15. コンピュータを、
    検索対象の画像に含まれる特定の物体の識別情報の指定を受け付ける受付手段と、
    前記識別情報が存在する識別領域と、前記画像に対して設定されている注目領域と、の前記画像における位置関係に基づいて、複数の画像の中から前記識別情報で特定される物体を含む画像の検索結果を取得する取得手段と
    して機能させるためのプログラム。

Images