JP6564275B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、及び画像処理方法に関する。

現在、入力された画像データの中から所望の画像データを検索（抽出）する技術が知られている（特許文献１）。特許文献１の画像検索装置は、入力された画像データの所定範囲毎にパターンマッチング処理を行い、その処理結果に基づいて、画像データにおける顔画像に係る特定画像データを抽出する。

特開２００５−１９６５４２号公報

画像データに含まれる被写体（人物等）の認識処理（個々の被写体が誰又は何であるかを特定する処理）は、計算負荷が比較的高い。そのため、例えばユーザが多数の画像データの中から所望の被写体を含んだ画像データを検索する場合、検索結果が得られるまでに長い時間を要する可能性がある。

ところで、ユーザにとって、画像データに含まれる被写体の重要度は、必ずしも一定ではない。例えば、複数の画像データが存在する場合に、ある画像データに含まれる被写体の重要度が別の画像データに含まれる被写体の重要度よりも高い可能性がある。また、画像データが１つだけの場合でも、この画像データに含まれる複数の被写体間の重要度が異なる可能性がある。しかしながら、従来の技術では、被写体の重要度を考慮せずに被写体の認識処理が行われていた。

本発明はこのような状況に鑑みてなされたものであり、被写体の認識処理を行う際に、ユーザにとって重要度が高いと考えられる被写体の認識処理を優先的に行うための技術を提供することを目的とする。

上記課題を解決するために、本発明は、各々が１以上の被写体を含む複数の画像データを取得する画像データ取得手段と、前記複数の画像データに含まれる複数の被写体それぞれの奥行き方向の位置を取得する位置取得手段と、前記複数の被写体それぞれについて、複数の被写体候補の中から対応する被写体候補を検出する被写体認識処理を行う被写体認識手段と、前記複数の被写体候補のうちの１つに対応する被写体を検索対象とする検索指示を受け付ける受付手段と、前記複数の被写体それぞれについての前記被写体認識処理の結果に基づき、前記複数の画像データから前記検索対象の被写体を含んだ画像データを検索する検索手段と、を備え、前記被写体認識手段は、前記複数の被写体それぞれの前記奥行き方向の位置に基づき、手前の被写体ほど先に前記被写体認識処理を行い、前記検索手段は、前記複数の被写体の全てに対して前記被写体認識処理が完了しているか否かに関わらず、前記検索指示に応じて前記検索を開始し、前記被写体認識処理が完了していない被写体が存在する場合、前記被写体認識処理と並行して前記検索を行うことを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、被写体の認識処理を行う際に、ユーザにとって重要度が高いと考えられる被写体の認識処理を優先的に行うことが可能となる。

画像処理システム１００の構成を示す図。 画像処理装置１０１の構成を示すブロック図。 撮像装置１０２の構成を示すブロック図。 撮像装置１０２により生成される画像データ４０１の構成を示す図。 被写体固有情報５０１の構成を示す図。 図４の本画像情報４０３が示す二次元画像の一例を示す図。 図４の画像空間情報４０６の一例である距離マップ画像を示す図。 被写体管理情報８０２の構成を示す図。 列位置８０６を記録する処理の概念図。 被写体認識処理の概念図。 検索画面の例を示す図。 画像処理装置１０１が実行するインデックス化処理のフローチャート。 第１の実施形態に係る画像処理装置１０１が実行する画像検索処理のフローチャート。 第２の実施形態に係る画像処理装置１０１が実行する画像検索処理のフローチャート。 第３の実施形態に係る画像処理装置１０１が実行する画像検索処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る画像処理システム１００の構成を示す図である。画像処理システム１００は、画像処理装置１０１及び撮像装置１０２を含む。画像処理装置１０１は、例えば、スマートフォンやパーソナルコンピュータ（ＰＣ）などの情報処理装置により実装される。画像処理装置１０１は、撮像装置１０２により撮影された画像データを受信し、ユーザが所望する被写体を含んだ画像データを検索する。画像処理装置１０１と撮像装置１０２との間の通信は、有線で行われてもよいし、無線で行われてもよい。

図２は、画像処理装置１０１の構成を示すブロック図である。なお、図２に示す構成は、画像処理装置１０１を実装する情報処理装置の種類（スマートフォンやＰＣなど）などに応じて適宜変更される。例えば、図２に示す画像処理装置１０１はＦＤＤ２１０を含んでいるが、画像処理装置１０１が図１に示されるようなスマートフォンにより実装される場合、一般的には、画像処理装置１０１はＦＤＤ２１０を含まない。

画像処理装置１０１は、モニタ２０１、ＶＲＡＭ２０２、ＢＭＵ２０３、キーボード２０４、ＰＤ２０５、ＣＰＵ２０６、ＲＯＭ２０７、ＲＡＭ２０８、外部記憶装置２０９、ＦＤＤ２１０、及びネットワークＩ／Ｆ２１１を有する。モニタ２０１には、例えば、画像処理装置１０１が保持するデータや、外部から供給されたデータが表示される。ＶＲＡＭ２０２には、モニタ２０１に表示するための画像が描画される。このＶＲＡＭ２０２に生成された画像データは、所定の規定に従ってモニタ２０１に転送され、これによりモニタ２０１に画像が表示される。ＢＭＵ２０３（ビットムーブユニット）は、例えば、メモリ間（例えば、ＶＲＡＭ２０２と他のメモリとの間）のデータ転送や、メモリと各Ｉ／Ｏデバイス（例えば、ネットワークＩ／Ｆ２１１）との間のデータ転送を制御する。キーボード２０４は、文字等を入力するための各種キーを有する。ＰＤ２０５（ポインティングデバイス）は、例えば、モニタ２０１に表示されたアイコン、メニュー、その他のコンテンツを指示するために使用される。ＣＰＵ２０６は、ＲＯＭ２０７、外部記憶装置２０９又はＦＤＤ２１０に格納された制御プログラムに基づいて、各デバイスを制御する。ＲＯＭ２０７は、各種制御プログラムやデータを保存する。ＲＡＭ２０８は、ＣＰＵ２０６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。外部記憶装置２０９は、画像処理装置１０１内で実行される各制御プログラムやデータを格納する。ＦＤＤ２１０は、フロッピー（登録商標）等に代表されるフレキシブルディスクに対するアクセスを制御する。ネットワークＩ／Ｆ２１１は、インターネット等のネットワーク回線２１３に接続するためのインタフェースである。ＣＰＵバス２１２は、アドレスバス、データバス及びコントロールバスを含む。ＣＰＵ２０６に対する制御プログラムの提供は、ＲＯＭ２０７、外部記憶装置２０９、又はＦＤＤ２１０から行うこともできるし、ネットワークＩ／Ｆ２１１を介してネットワーク経由で他の情報処理装置等から行うこともできる。

図３は、第１の実施形態に係る撮像装置１０２の構成を示すブロック図である。図３において、８３はフォーカスレンズを含む撮影レンズ、８１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。８２はバリアであり、撮像装置１０２の、撮影レンズ８３を覆うことにより、撮影レンズ８３、シャッター８１、撮像部２２を含む撮像系の汚れや破損を防止する。

２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。

５０はシステム制御部であり、撮像装置１０２全体を制御する。システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、各種処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０は、システム制御部５０に各種の動作指示を入力するために使用される。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。第１シャッタースイッチ６２は、撮像装置１０２に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体９０に画像データを書き込むまでの一連の撮影処理の動作を開始する。操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源スイッチ７２は、電源オン、電源オフを切り替える。８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１８はメモリカードやハードディスク等の記録媒体９０とのインタフェースである。記録媒体９０は、半導体メモリや磁気ディスク等から構成される。

図４は、撮像装置１０２により生成される画像データ４０１の構成を示す図である。図４において、画像データ４０１は、画像本体を示す本画像情報４０３と、本画像情報４０３に付帯するメタ情報４０２とを含む。メタ情報４０２は、撮影日時を含む撮影情報４０４と、画像毎に固有な画像固有ＩＤ４０５と、画像に含まれる被写体の空間上の位置情報を示す画像空間情報４０６とを含む。画像空間情報４０６の詳細については、図７を参照して後述する。

図５は、被写体固有情報５０１の構成を示す図である。被写体固有情報５０１は、画像処理装置１０１が画像データにおいて被写体の認識処理を行う際に使用する情報であり、個々の被写体固有情報５０１が個々の固有の被写体に対応する。画像処理装置１０１は、例えば外部記憶装置２０９の中に、被写体固有情報５０１を格納する。

図５において、被写体ＩＤ５０２は、被写体を一意に識別するＩＤを示す。被写体名称５０３は、被写体の名称（例えば、人物の名前）を示す。被写体属性５０４は、被写体の種別（例えば、動物、植物、人間などの、被写体の一般的な分類名称）を示す。被写体特徴量５０５は、被写体の画像の特徴を示す情報であり、画像処理装置１０１は、この情報を用いた画像処理により被写体を一意に識別することができる。

図６は、図４の本画像情報４０３が示す二次元画像の一例を示す図である。図６において、画像６０１は、被写体６０２、６０３、６０４を含む。画像処理装置１０１は、画像６０１に基づいて各被写体を検出し、各被写体の二次元上の位置（二次元座標）を検出することができる。なお、本画像情報４０３は、各被写体の奥行き方向の位置を示す情報は含まない。

図７は、図４の画像空間情報４０６の一例である距離マップ画像を示す図である。撮像装置１０２は、任意の公知技術に基づいて距離マップ画像を作成可能であり、一例として、特開２０１５−７３１８５号公報に記載の技術を使用可能である。本実施形態では、距離マップ画像７０１は、画像６０１の奥行き方向の位置（距離）を画像の濃淡で示す。距離マップ画像７０１において、明るい部分が手前にあり、暗い部分が奥にある。画像処理装置１０１は、距離マップ画像７０１に基づき、被写体６０２、６０３、６０４それぞれの奥行き方向の位置７０２、７０３、７０４を検出することができる。

なお、以下の説明においては、画像空間情報４０６は距離マップ画像であるものとするが、画像処理装置１０１が各被写体の奥行き方向の位置を検出可能である限り、画像空間情報４０６はいかなる種類の情報であっても構わない。例えば、撮像装置１０２は、画像撮影時に被写体の奥行き方向の位置を含む三次元上の位置（三次元座標）を検出し、画像空間情報４０６として各被写体の三次元座標を記録してもよい。

ここで、図１２を参照して、画像処理装置１０１が実行するインデックス化処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、画像処理装置１０１のＣＰＵ２０６が外部記憶装置２０９に格納されたプログラムを実行することにより実現される。画像処理装置１０１が１以上の画像データを取得すると、本フローチャートの処理が開始する。画像データ取得処理は、例えば、画像処理装置１０１が撮像装置１０２から１以上の画像データを受信することにより行われる。

Ｓ１２０１で、画像処理装置１０１は、画像データ４０１の本画像情報４０３（図４）に基づき、画像中の被写体を検出し、検出した被写体の二次元座標を、図８に示す被写体管理情報８０２の中に記録する。画像処理装置１０１は、任意の公知技術を用いて被写体の二次元座標を検出することができる。

被写体管理情報８０２は、各画像データに含まれる各被写体を管理する情報であり、個々の被写体管理情報８０２が個々の画像データに含まれる個々の被写体に対応する。同一の被写体であっても、異なる画像データに含まれていれば、異なる被写体管理情報８０２により管理される。図８の例では、画像６０１に基づき、被写体６０２、６０３、６０４に対応する３つの被写体管理情報８０２が生成される。

図８に示すように、被写体管理情報８０２は、画像固有ＩＤ８０３、被写体ＩＤ８０４、二次元座標８０５、及び列位置８０６を含む。画像固有ＩＤ８０３には、画像データ４０１の画像固有ＩＤ４０５（図４）と同じ情報が記録される。即ち、画像処理装置１０１は、現在の処理対象の画像データ４０１から画像固有ＩＤ４０５を取得し、これを被写体管理情報８０２の画像固有ＩＤ８０３に記録する。被写体ＩＤ８０４は、被写体を一意に識別するＩＤを示す。Ｓ１２０１においては、被写体の存在は検出されているが認識処理はまだ行われていないので、被写体ＩＤ８０４は空である。二次元座標８０５は、検出された被写体の二次元座標を示す。列位置８０６は、被写体の奥行き方向の位置を列単位で示す。Ｓ１２０１においては、被写体の奥行き方向の位置の検出はまだ行われていないので、列位置８０６は空である。

次に、Ｓ１２０３で、画像処理装置１０１は、位置取得処理を行う。具体的には、画像処理装置１０１は、距離マップ画像７０１から、各被写体の二次元座標に対応する部分の奥行き方向の位置（深度）を取得し、被写体管理情報８０２の列位置８０６に格納する（図９参照）。Ｓ１２０５で、画像処理装置１０１は、列位置８０６に記録された深度情報を列情報に変換して、列位置８０６に再格納する。

本実施形態の「列」は、所定の位置範囲（深度範囲）を１つの位置（即ち、１つの列）に対応付けるものである。本実施形態においては、深度情報から列情報への変換は、画像中の列数の上限値を決めて、被写体間の距離の長短を判定することにより行われるものとする。画像処理装置１０１は、被写体間の距離をまず測定して降順に列挙し、上位から列数上限番目のところまでを列分離基準間隔とし、この間隔以上であれば、別列として被写体を分離し、同間隔未満であれば該当する被写体は同列としてグループ化される。

或いは、画像処理装置１０１は、深度情報が取り得る値の範囲を複数の区間に分割し、変換対象の深度情報がどの区間に含まれるかに基づき、深度情報を列情報に変換してもよい。

Ｓ１２０６で、画像処理装置１０１は、全ての画像データに対する処理が完了したか否かを判定する。未処理の画像データが残っている場合、画像処理装置１０１は、処理をＳ１２１３に進め、次の画像データを処理対象にし、Ｓ１２０１乃至Ｓ１２０５の処理を実行する。全ての画像データに対する処理が完了すると、画像処理装置１０１は、処理をＳ１２０７に進める。

Ｓ１２０７で、画像処理装置１０１は、変数Ｒｍａｘに対し、被写体管理情報８０２の最大列数（Ｓ１２０１乃至Ｓ１２０５の処理により生成された各々の被写体管理情報８０２の列位置８０６のうち、最大の値）を格納する。ここで、変数Ｒｍａｘは、被写体認識処理の対象とする列数（手前１列目から数えて、後列方向に何列目までの被写体を認識処理の対象とするか）を示す。

なお、被写体管理情報８０２の最大列数の代わりに、予め設定された列数をＲｍａｘとしてもよい。この場合、予め設定された列数よりも後ろ（奥）の被写体は、認識処理の対象から除外される。

Ｓ１２０８で、画像処理装置１０１は、列変数Ｒに１を代入して初期化する。Ｓ１２０９で、画像処理装置１０１は、Ｒ列目の被写体に対して認識処理を行い、認識結果を被写体ＩＤ８０４に記録する（図１０参照）。具体的には、画像処理装置１０１は、画像６０１の被写体６０２の被写体特徴量を検出し、検出した被写体特徴量を、外部記憶装置２０９に格納された複数の被写体固有情報５０１（図５）それぞれの被写体特徴量５０５と比較する。被写体特徴量の一致度が閾値以上の被写体固有情報５０１が検出された場合、画像処理装置１０１は、この被写体固有情報５０１の被写体ＩＤ５０２の値を、被写体管理情報８０２の被写体ＩＤ８０４に記録する。従って、被写体固有情報５０１は、被写体認識処理においては、未知の被写体が対応する可能性のある被写体候補としての役割を果たす。被写体特徴量の一致度が閾値以上の被写体固有情報５０１が複数検出された場合、画像処理装置１０１は、一致度が最大の被写体固有情報５０１を使用する。この被写体認識処理により、被写体管理情報８０２に必要な情報が全て格納され、画像検索の検索キーとして被写体管理情報８０２を利用できるようになる。被写体管理情報８０２は画像固有ＩＤ８０３及び被写体ＩＤ８０４を含んでいるので、特定の被写体と、この被写体を含んだ画像データとを関連付ける役割を果たす。

Ｓ１２１０で、画像処理装置１０１は、全画像データについてＲ列目の認識処理が完了したか否かを判定する。未処理の画像データが残っている場合、画像処理装置１０１は、処理をＳ１２１４に進め、次の画像データを処理対象にし、Ｓ１２０９の処理を実行する。全ての画像データに対する処理が完了すると、画像処理装置１０１は、処理をＳ１２１１に進める。

Ｓ１２１１で、画像処理装置１０１は、列変数Ｒに１を加算する。Ｓ１２１２で、画像処理装置１０１は、Ｒ≦Ｒｍａｘであるか否かを判定する。Ｒ≦Ｒｍａｘの場合、画像処理装置１０１は、処理をＳ１２０９に戻し、全画像データの次の列の被写体に対して同様に認識処理を行う。全ての列について認識処理が完了すると（即ち、Ｓ１２１２においてＲ＞Ｒｍａｘの場合）、本フローチャートの処理は終了する。

図１２から理解できるように、本実施形態のインデックス化処理においては、画像処理装置１０１は、手前の被写体ほど優先的に認識処理を行う。これは、画像データ中に複数の被写体が含まれる場合、ユーザにとっては、手前の被写体ほど重要度が高いと考えられるからである。被写体認識処理は計算負荷が比較的高く時間がかかる処理であるが、本実施形態では、ユーザにとって重要度が高いと考えられる被写体ほど先に認識処理が完了する。そのため、インデックス化処理の途中であっても、ユーザにとって重要度が高いと考えられる被写体を含む画像データについては、比較的早期に検索可能になることが期待できる。

次に、図１３を参照して、画像処理装置１０１が実行する画像検索処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、画像処理装置１０１のＣＰＵ２０６が外部記憶装置２０９に格納されたプログラムを実行することにより実現される。ユーザが画像処理装置１０１に対して画像検索モードへの移行指示を入力すると、本フローチャートの処理が開始する。なお、画像処理装置１０１は、図１２のインデックス化処理が完了していなくても、インデックス化処理と並行して図１３の画像検索処理を実行可能である。

Ｓ１３０１で、画像処理装置１０１は、モニタ２０１に検索画面（図１１参照）を表示し、ユーザにより検索欄１１０１に入力された検索キーを取得する。検索キーは、検索対象の被写体を特定可能な情報であれば、いかなる情報であってもよい。例えば、検索キーは人物の名前である。検索キーの入力は、画像処理装置１０１に対する検索指示の役割を果たす。検索キーが入力されると（即ち、検索指示の受付が行われると）、画像処理装置１０１は、インデックス化処理が完了しているか否かに関わらず、画像データの検索を開始する。検索の開始時にインデックス化処理が完了していない場合、インデックス化処理と並行して検索が行われる。

Ｓ１３０２で、画像処理装置１０１は、検索キーに対応する被写体ＩＤを取得する。具体的には、画像処理装置１０１は、外部記憶装置２０９に格納された被写体固有情報５０１の中から、検索キーに一致する被写体名称５０３を持つものを検出し、検出した被写体固有情報５０１の被写体ＩＤ５０２を取得する。

Ｓ１３０３で、画像処理装置１０１は、Ｓ１３０２において取得した被写体ＩＤが、現在の処理対象の被写体管理情報８０２の被写体ＩＤ８０４と一致するか否かを判定する。一致する場合、画像処理装置１０１は処理をＳ１３０４に進め、一致しない場合、画像処理装置１０１は処理をＳ１３０５に進める。

Ｓ１３０４で、画像処理装置１０１は、現在の処理対象の被写体管理情報８０２の画像固有ＩＤ８０３に対応する画像データ（即ち、検索により発見された画像データ）を示す情報を検索結果としてモニタ２０１に表示する。本実施形態では、画像処理装置１０１は、現在の処理対象の被写体管理情報８０２の画像固有ＩＤ８０３及び列位置８０６に基づき、モニタ２０１にサムネイル画像及び列を表示するものとする。例えば、画像処理装置１０１は、図１１に示すように、サムネイル画像１１０２及び列情報１１０３を表示する。これにより、ユーザは、サムネイル画像１１０２が示す画像データの、列情報１１０３が示す列に、検索対象の被写体が含まれることを認識することができる。インデックス化処理が実行中の場合、検索結果の表示はインデックス化処理と並行して行われる。

Ｓ１３０５で、画像処理装置１０１は、全ての被写体管理情報８０２について処理が完了したか否かを判定する。未処理の被写体管理情報８０２が残っている場合、画像処理装置１０１は、処理をＳ１３０６に進め、次の被写体管理情報８０２を処理対象にし、Ｓ１３０３の処理を実行する。この繰り返しにより、検索キーに対応する被写体ＩＤを含む全ての被写体管理情報８０２が検出され、対応するサムネイル画像及び列がモニタ２０１に表示される。全ての被写体管理情報８０２について処理が完了すると、画像処理装置１０１は、処理をＳ１３０７に進める。

Ｓ１３０７で、画像処理装置１０１は、図１２のインデックス化処理を実行中であるか否かを判定する。インデックス化処理を実行中の場合、既存の全ての被写体管理情報８０２について処理が完了しても、新たな被写体管理情報８０２が生成される可能性がある。そこで、画像処理装置１０１は、処理をＳ１３０６に戻し、新たに生成された被写体管理情報８０２についても、同様に検索処理を行う。

なお、画像処理装置１０１は、インデックス化処理を実行中の場合、モニタ２０１に認識列情報１１０４（図１１）を表示してもよい。ここで表示される列番号は、図１２を参照して説明した列変数Ｒの値に対応する。これにより、ユーザは、インデックス化処理において現在何列目の被写体の認識処理が行われているかを知ることができる。また、ユーザは、認識列情報１１０４が示す列よりも手前の列については認識処理が完了しており、検索キーに対応する被写体を含む画像データを検出可能な状態であることを認識できる。

Ｓ１３０５において全ての被写体管理情報８０２について処理が完了したと判定され、Ｓ１３０７においてインデックス化処理を実行中でないと判定された場合、本フローチャートの処理は完了する。

以上説明したように、第１の実施形態によれば、画像処理装置１０１は、インデックス化処理の際に、手前の被写体ほど優先的に認識処理を行う。これにより、ユーザにとって重要度が高いと考えられる被写体の認識処理が比較的早期に完了し、そのような被写体を含む画像データを効率的に検索することが可能となる。

なお、全体として複数の被写体が存在する限り、インデックス化処理の対象の画像データが単数であっても複数であっても本実施形態の効果が得られる。例えば、複数の被写体を含む１つの画像データがインデックス化処理の対象である場合、手前の被写体ほど優先的に認識処理が行われる。そのため、この画像データにおいて検索対象の被写体が他の被写体よりも手前に位置する場合、ユーザはその事実を比較的早期に認識することができる。

また、本実施形態において、インデックス化処理は必須ではない。例えば、画像処理装置は、検索キーを取得したことに応えて被写体認識処理を開始し、検索対象の被写体を含んだ画像データを検索してもよい。

［第２の実施形態］
第２の実施形態では、画像検索処理の際にユーザが検索対象の列範囲を指定可能にする構成について説明する。本実施形態において、画像処理システム１００の基本的な構成は第１の実施形態と同様である。以下、第１の実施形態と異なる点について主に説明する。

図１４は、第２の実施形態に係る画像処理装置１０１が実行する画像検索処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、画像処理装置１０１のＣＰＵ２０６が外部記憶装置２０９に格納されたプログラムを実行することにより実現される。本フローチャートにおいて、図１３と同一又は同様の処理が行われるステップには、図１３と同一の符号を付す。ユーザが画像処理装置１０１に対して画像検索モードへの移行指示を入力すると、本フローチャートの処理が開始する。なお、画像処理装置１０１は、図１２のインデックス化処理が完了していなくても、インデックス化処理と並行して図１４の画像検索処理を実行可能である。

Ｓ１４０１で、画像処理装置１０１は、ユーザにより入力された列範囲を取得する。即ち、本実施形態では、検索指示は、検索キーに加えて列範囲（検索範囲）を含む。ユーザによる列範囲の入力を可能にするために、画像処理装置１０１は、例えば図１１に示す検索欄１１０１の下に列範囲入力欄（不図示）を表示する。列範囲は、例えば「１〜３」のように連続した範囲でもよいし、「３，５」のように離散した範囲でもよい。

Ｓ１４０２で、画像処理装置１０１は、現在の処理対象の被写体管理情報８０２の列位置８０６が、Ｓ１４０１において取得された列範囲に含まれるか否かを判定する。列位置８０６が列範囲に含まれる場合、画像処理装置１０１は処理をＳ１３０４に進め、そうでない場合、画像処理装置１０１は処理をＳ１３０５に進める。

以上の処理により、画像検索処理における検索対象の列を、ユーザが指定した検索範囲内に制限することができる。

［第３の実施形態］
第３の実施形態では、インデックス化処理の完了後に画像検索処理を行う場合に、検索対象の被写体が手前に位置している画像データほど、検索結果の上位に表示する構成について説明する。本実施形態において、画像処理システム１００の基本的な構成は第１の実施形態と同様である。以下、第１の実施形態と異なる点について主に説明する。

図１５は、第３の実施形態に係る画像処理装置１０１が実行する画像検索処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、画像処理装置１０１のＣＰＵ２０６が外部記憶装置２０９に格納されたプログラムを実行することにより実現される。本フローチャートにおいて、図１３と同一又は同様の処理が行われるステップには、図１３と同一の符号を付す。ユーザが画像処理装置１０１に対して画像検索モードへの移行指示を入力すると、本フローチャートの処理が開始する。

Ｓ１５０１で、画像処理装置１０１は、変数Ｉを０に初期化する。Ｓ１５０２で、画像処理装置１０１は、現在の処理対象の被写体管理情報８０２を、配列変数ＡのＩ番目に位置に格納する。Ｓ１５０３で、画像処理装置１０１は、変数Ｉに１を加算する。

全ての被写体管理情報８０２について処理が完了した後、Ｓ１５０４で、画像処理装置１０１は、配列変数Ａを、列位置８０６をソートキーとして用いて、列位置昇順にソートする。Ｓ１５０５で、画像処理装置１０１は、配列変数Ａに格納された被写体管理情報８０２それぞれに対応する画像及び列を、配列インデックスが小さい順にモニタ２０１に表示する。

以上の処理により、検索対象の被写体が手前に位置している画像データほど、検索結果の上位に表示することができる。即ち、検索結果が、検索対象の被写体が位置する列について手前から奥の順に並べられて表示される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…画像処理装置、２０１…モニタ、２０２…ＶＲＡＭ、２０３…ＢＭＵ、２０４…キーボード、２０５…ＰＤ、２０６…ＣＰＵ、２０７…ＲＯＭ、２０８…ＲＡＭ、２０９…外部記憶装置、２１０…ＦＤＤ、２１１…ネットワークＩ／Ｆ

Claims (9)

1. 各々が１以上の被写体を含む複数の画像データを取得する画像データ取得手段と、
   前記複数の画像データに含まれる複数の被写体それぞれの奥行き方向の位置を取得する位置取得手段と、
   前記複数の被写体それぞれについて、複数の被写体候補の中から対応する被写体候補を検出する被写体認識処理を行う被写体認識手段と、
   前記複数の被写体候補のうちの１つに対応する被写体を検索対象とする検索指示を受け付ける受付手段と、
   前記複数の被写体それぞれについての前記被写体認識処理の結果に基づき、前記複数の画像データから前記検索対象の被写体を含んだ画像データを検索する検索手段と、
   を備え、
   前記被写体認識手段は、前記複数の被写体それぞれの前記奥行き方向の位置に基づき、手前の被写体ほど先に前記被写体認識処理を行い、
   前記検索手段は、前記複数の被写体の全てに対して前記被写体認識処理が完了しているか否かに関わらず、前記検索指示に応じて前記検索を開始し、前記被写体認識処理が完了していない被写体が存在する場合、前記被写体認識処理と並行して前記検索を行う
   ことを特徴とする画像処理装置。
2. 前記検索手段により発見された画像データを示す情報を検索結果として表示する表示手段を更に備え、
   前記検索手段が前記被写体認識処理と並行して前記検索を行っている場合、前記表示手段は、前記被写体認識処理と並行して前記表示を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検索の開始時に前記複数の被写体の全てに対して前記被写体認識処理が完了している場合、前記表示手段は、前記検索結果を、前記検索対象の被写体の前記奥行き方向の位置について手前から奥の順に並べて表示する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体認識手段は、前記被写体認識処理により検出された前記被写体候補と、当該被写体候補に対応する被写体を含んだ画像データとを関連付ける被写体管理情報を生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記検索手段は、前記被写体管理情報に基づいて前記検索を行う
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記検索指示は、奥行き方向の位置についての検索範囲を含み、
   前記検索手段は、前記検索対象の被写体を前記検索範囲内の奥行き方向の位置に含んだ画像データを検索する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記位置取得手段は、前記複数の被写体それぞれの前記奥行き方向の位置を、所定の位置範囲を１つの位置に対応付ける列の単位で取得する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 画像処理装置による画像処理方法であって、
   前記画像処理装置の画像データ取得手段が、各々が１以上の被写体を含む複数の画像データを取得する画像データ取得工程と、
   前記画像処理装置の位置取得手段が、前記複数の画像データに含まれる複数の被写体それぞれの奥行き方向の位置を取得する位置取得工程と、
   前記画像処理装置の被写体認識手段が、前記複数の被写体それぞれについて、複数の被写体候補の中から対応する被写体候補を検出する被写体認識処理を行う被写体認識工程と、
   前記複数の被写体候補のうちの１つに対応する被写体を検索対象とする検索指示を受け付ける受付工程と、
   前記複数の被写体それぞれについての前記被写体認識処理の結果に基づき、前記複数の画像データから前記検索対象の被写体を含んだ画像データを検索する検索工程と、
   を備え、
   前記被写体認識工程では、前記複数の被写体それぞれの前記奥行き方向の位置に基づき、手前の被写体ほど先に前記被写体認識処理を行い、
   前記検索工程では、前記複数の被写体の全てに対して前記被写体認識処理が完了しているか否かに関わらず、前記検索指示に応じて前記検索を開始し、前記被写体認識処理が完了していない被写体が存在する場合、前記被写体認識処理と並行して前記検索を行う
   ことを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。