JP6071714B2 - 画像処理装置、およびその制御方法 - Google Patents

Description

本発明は、特に、多くの視点から撮影した画像に基づいて撮影条件を変更した画像を生成する際に用いて好適な画像処理装置、およびその制御方法に関する。

従来、被写体を多くの視点から撮影した画像に基づいて、任意のフォーカス距離、被写界深度、及び視点に調整して画像を生成する方法が知られている。

例えば、非特許文献１には、複数のカメラを２次元平面上に格子状に配置することによって、視点の異なる複数の画像（以下、このような多視点画像を画像群と表記する）を取得する技術が開示されている。この技術によれば、さらに、視点、フォーカス距離、及び開口径をパラメータとして与えることによって焦点調整を行い、これらの画像群から計算処理によって画像（以下、パラメータを与えて焦点調整を行って生成する画像を完成画像と表記する）を生成する。したがって、ユーザによるパラメータの設定の仕方によって、様々な完成画像を生成することができる。

Bennett Wilburn, Neel Joshi, Vaibhav Vaish, Eino-Ville Talvala, Emilio Antunez, Adam Barth, Andrew Adams, Marc Levoy, Mark Horowitz, "High Performance Imaging Using Large Camera Arrays", アメリカ, Proceedings of ACM SIGGRAPH 2005, 765-776頁

多視点の画像が得られ、これらの画像群を用いて完成画像を得る場合には、着目する被写体と着目しないようにする被写体とを撮影後に決めて、それに合うようにフォーカス距離や深度幅を設定して焦点調整を行う。したがって、完成画像には、従来の撮影意図に相当する情報が含まれることになるが、これまでの技術はこの情報を十分に活かすことができなかった。

本発明は、上記課題に鑑みてなされたものである。そして、本発明は、複数のページセットを含む印刷データから画像データを生成する処理が遅延したことに起因する印刷品質の低下を抑制する仕組みを提供するものである。

本明細書における発明の画像処理装置は、
多視点から撮影された複数の画像で構成される画像群を用いて撮影に係るパラメータを調整した加工画像を生成する画像生成手段と、
前記画像生成手段によって生成された加工画像の中から特定の被写体を認識する第１の画像認識手段と、
前記画像群に基づいて、当該画像群に出現する各被写体を認識する第２の画像認識手段と、
前記第１の画像認識手段による認識結果と、前記第２の画像認識手段による認識結果とを比較し、前記画像群における着目した被写体と着目しなかった被写体とを判定する判定手段と、
前記加工画像における前記判定手段による判定結果を含む属性情報を生成する属性生成手段とを有する。

本明細書によれば、ユーザの撮影意図が反映された情報を生成することができ、この情報を用いて他の加工した画像を生成したり、この情報を利用した画像の検索に用いたりすることができる。

実施形態における複数の撮像部を備えた多眼方式の撮像装置の一例を示す概略図。 実施形態における撮像装置の内部構成例を示すブロック図。 実施形態における撮像部の内部構成例を示す図。 実施形態に係る画像処理装置の回路構成例を示すブロック図。 実施形態に係る画像処理装置の機能構成例を示すブロック図。 実施形態に係る画像処理装置により完成画像の属性情報を生成する処理手順の一例を示すフローチャート。 被写体の位置とフォーカス距離との関係を説明する図。 被写体ごとの最大認識尤度の一例を示す図。 被写体の位置とフォーカス距離との関係を説明する図。 被写体ごとの認識尤度の一例を示す図。 被写体の位置とフォーカス距離との関係の他の一例を説明する図。 実施形態において生成される完成画像の属性情報の一例を示す図。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は、本実施形態における、複数の撮像部を備えた多眼方式の撮像装置１００の一例を示す概略図である。

図１において、撮像装置１００は、カラー画像を取得する９個の撮像部１０１〜１０９及び撮影ボタン１１０を備えており、これらの９個の撮像部１０１〜１０９は、正方格子上に均等に配置されている。ユーザが撮影ボタン１１０を押下すると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号をＡ／Ｄ変換し、複数（９枚）のカラー画像（デジタルデータ）をそれぞれ取得する。このような多眼方式の撮像装置１００により、同一の被写体を複数の視点位置から撮像した９枚のカラー画像を得ることができる。以降、この９枚の画像を画像群と呼ぶ。

なお、本実施形態では、撮像部の数を９個としたが撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。また、本実施形態では、９個の撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、ランダムに配置してもよい。

図２は、本実施形態における撮像装置１００の内部構成例を示すブロック図である。

図２において、撮像装置１００における中央処理装置（ＣＰＵ）２０１は、以下に説明する各部を統括的に制御する。ＲＡＭ（Random Access Memory）２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能するものである。ＲＯＭ（Read Only Memory）２０３は、ＣＰＵ２０１で実行される制御プログラム等を格納している。

バス２０４は、撮像装置１００における各種データの転送経路となるバスである。例えば、撮像部１０１〜１０９によって取得されたデジタルデータはこのバス２０４を介して所定の処理部に送られる。操作部２０５は、撮像装置１００がユーザの指示を受け取る操作部であり、各種ボタン（撮影ボタン１１０を含む）やモードダイヤルなどが含まれる。表示部２０６は、撮像装置１００が撮影画像や文字を表示する表示部であり、例えば、液晶ディスプレイが用いられる。また、表示部２０６は、タッチスクリーン機能を有していてもよく、その場合はタッチスクリーンを用いた指示を操作部２０５からの入力として扱うことも可能である。表示制御部２０７は、表示部２０６に表示される撮影画像や文字の表示制御を行う。

撮像部制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。

外部メモリ制御部２１１は、外部装置やその他のメディア（例えば、ハードディスク、メモリカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインタフェースである。画像出力部２１２は、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されるカラー画像群を、同一対象を撮影した画像群として識別可能な状態で出力する。なお、撮像装置１００の構成要素は上記以外にも存在するが、それらは本件発明の主眼ではないので、説明を省略する。

図３は、撮像部１０１の内部構成例を示す図である。なお、撮像部１０２〜１０９についても同様の構成である。

撮像部１０１は、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。

ここで、センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとなってバス２０４に出力される。

次に、本実施形態に係る画像処理装置の回路構成について、図４のブロック図を参照しながら説明する。本実施形態においては、画像処理装置４００の構成は単一の装置で実現してもよいし、必要に応じた複数の装置に各機能を分散して実現するようにしてもよい。複数の装置で構成される場合は、互いに通信可能なようにLocal Area Network（ＬＡＮ）などで接続するものとする。また、本実施形態では、撮像装置１００と画像処理装置４００とが互いに接続されており、画像出力部２１２から出力された画像群がシステムバス４０８を介して外部記憶装置４０４に記憶されるものとする。

図４において、ＣＰＵ４０１は画像処理装置４００全体を制御する。ＲＯＭ４０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ４０３は、外部装置などから供給されるプログラムやデータを一時記憶する。外部記憶装置４０４は、画像処理装置４００に固定して設置されたハードディスクドライブ（ＨＤＤ）やメモリドライブ（ＳＳＤ）、あるいは画像処理装置４００から着脱可能な光ディスクや、メモリカードなどを含む記憶装置である。

入力インタフェース４０５は、ユーザの操作を受けてデータを入力するポインティングデバイスやキーボード、タッチパネルなどの入力デバイス４０９とのインタフェースである。出力インタフェース４０６は、画像処理装置４００が保持するデータや供給されたデータ、プログラムの実行結果などを出力するモニタなどの出力デバイス４１０とのインタフェースである。ネットワークインタフェース４０７は、インターネットなどのネットワーク回線４１１に接続するためのインタフェースである。

システムバス４０８は、画像処理装置４００における各種データの転送経路となるバスである。例えば、撮像装置１００の画像出力部２１２により出力された画像群が、外部メモリ制御部２１１を経由して、画像処理装置４００の外部記憶装置４０４へと取り込まれる際にシステムバス４０８を経由する。また、当該画像群を各ユニットが処理する際等に、このシステムバス４０８を経由する。

次に、本実施形態に係る画像処理装置４００の機能構成について、図５のブロック図を参照しながら説明する。同図の各処理部は、ＣＰＵ４０１がＲＯＭ４０２やＲＡＭ４０３に格納されたプログラムを実行することで機能する処理部であるが、プログラムで実現するのではなく該当する回路で構成しても構わない。

本実施形態に係る画像処理装置４００は、画像処理部５０３を有し、さらに、ユーザ入出力部５０１と、各種情報を保管するデータベース５０２とを有し、一般的な画像管理システムにおいて登録・保管されるような情報を利用する。

ユーザ入出力部５０１は、入力インタフェース４０５、または出力インタフェース４０６を経由して行われる、ユーザによる画像の登録や情報の表示といった入出力を処理する。本実施形態では、少なくとも、ユーザが完成画像（加工画像）を生成するための操作を実現するインタフェースを提供するものとする。例えば、後述する完成画像生成部５０４によりある初期設定のパラメータで完成画像が生成されると、ユーザ入出力部５０１によりそのプレビュー画像をユーザに提示する。ユーザは、そのプレビュー画像に対して視点の指示や深度調整を実施する操作を行うことができる。画像処理装置４００は、このユーザによる操作を受けて、パラメータを更新して画像を再生成し、プレビューを更新する。これらの処理を繰り返すことによって、ユーザはプレビュー画像を見ながら自分がイメージする完成画像を生成させることができる。なお、ユーザから視点位置、フォーカス距離（焦点距離）、開口値といったパラメータ値を入力させて完成画像を生成してもよい。

データベース５０２は、少なくとも、登録された画像群及び完成画像等のデータと、各完成画像に関する属性情報とを格納している。データベース５０２はＲＡＭ４０３や外部記憶装置４０４に保存して管理される。また、後述する完成画像属性生成部５０８から出力される完成画像の属性情報についても、その完成画像と紐付けてデータベース５０２で管理されるものとする。

画像処理部５０３は、画像処理装置４００において管理されている各種情報を、以下で述べる各部において処理するよう制御する。

完成画像生成部５０４は、画像中の視点位置、フォーカス距離、開口値といったパラメータを受け取り、処理対象の画像群を当該パラメータに沿って加工し、１枚の完成画像（合成画像）を生成する。本実施形態においては、完成画像生成部５０４は、前述したようなユーザによる操作に応じて完成画像を生成する。

第１の画像認識部５０５は、完成画像を入力して当該完成画像中に含まれる被写体等の顔検出処理し、顔尤度の情報と共に出力する。顔として検出された場合、人間の顔である尤もらしさを顔尤度として算出する。顔尤度は、個人を同定するための尤もらしさではない。本実施形態においては、さらに顔認識を利用して人物を同定するような認識処理を行う。この処理では、例えば、あらかじめ同定対象となる人物の顔特徴を学習しておき、当該顔特徴と類似した特徴を持つ画像中の部分をその人物であると同定するような方法を用いる。このため、個人を識別するため、予め複数の人物の顔の特徴データが顔識別辞書としてデータベース５０２に格納されているものとする。顔検出された領域に対して、その顔識別辞書を参照して人物を認識するための顔認識を行う。なお、顔尤度が低い場合はノイズ又は未知の人物となるので、あらかじめ定めておいた閾値によってフィルタリングして結果に含めないようにする。

第２の画像認識部５０６は、処理対象の画像群中（実施形態では９枚の画像）に含まれる各被写体を網羅的に認識する。本実施形態においては、まず、画像群に対して、予め設定しておいた任意の間隔でフォーカス距離を増加させながらパラメータを設定する。そして、設定したパラメータに従って、完成画像生成部５０４は、図７に示した例に従った比較用の完成画像群を生成する。第２の画像認識部５０６では、これらの完成画像群における顔検出・認識を行う。

被写体着目判定部５０７は、第２の画像認識部５０６で顔認識した各被写体が、ユーザの指示に従って生成した完成画像内の、該ユーザが着目するようにした被写体か否かを判定する。具体的なこの判定は、該ユーザの操作に従って生成した完成画像における顔尤度と、第２の画像認識部５０６の設定によって得られた最大顔尤度とを被写体毎に比較する。そして、その差が所定の閾値の範囲を超えている場合は、当該被写体は完成画像において着目しないようにした被写体であると判定する。逆に、その差が所定の閾値の範囲内、あるいは、顔尤度が上回っているような被写体については、着目している被写体とみなす。

完成画像属性生成部５０８は、被写体着目判定部５０７で判定した結果を、ユーザの操作に従って生成した完成画像の属性情報として生成する。本実施形態においては、少なくとも、完成画像中の被写体情報、及び各被写体について当該完成画像において着目しているか否かの情報を含んだ属性情報を生成する。

このように、多視点の画像が得られ、これらの画像群を用いて完成画像を得る場合には、着目する被写体と着目しないようにする被写体とを撮影後に決めて、それに合うようにフォーカス距離や深度幅を設定して焦点調整を行う。したがって、完成画像には、従来の撮影意図に相当する情報が含まれることになるが、これまでの技術はこの情報を十分に活かすことができなかった。完成画像属性生成部５０８は、撮影意図に相当する情報を完成画像の属性情報として生成する。

次に、本実施形態に係る画像処理装置４００における処理の手順について図６のフローチャートを参照しながら説明する。

まず、Ｓ６０１において、完成画像生成部５０４は、ユーザによるユーザ入出力部５０１を経由した操作に従って完成画像を生成する。以下、この処理により生成した完成画像を完成画像Ａと呼称する。

図９は、撮像装置１００と被写体との位置関係を説明する図である。

図９において、Ａ、Ｂ、Ｃ、Ｄは被写体であり、撮像装置９００により多視点画像を撮影している。この場合、ユーザの操作により、例えば、フォーカス距離を被写体Ｂ、Ｄが存在するライン９０１に設定し、開口径のパラメータを調整して深度幅９０２が被写体Ｂ、Ｄを含むように指定された完成画像Aを生成する。

次に、Ｓ６０２において、第１の画像認識部５０５は、完成画像Ａの被写体を検出・認識し、顔尤度を算出する。このとき、各被写体と顔尤度とを対応付けてその情報を出力する。例えば、図９に示すような設定で得られた完成画像については、例えば図１０に示すような検出・認識結果が得られる。顔尤度は、顔検出の結果得られ、検出された顔の認識により個別の被写体が識別される。この例では、フォーカスが合っている被写体Ｂ、Ｄに加えて、被写体Ａが閾値以上の尤度で検出されたため、当該被写体Ａの顔尤度が出力される。一方、被写体Ｃは顔尤度が閾値に満たなかったため、認識結果には含まれない。

次に、Ｓ６０３において、第２の画像認識部５０６は、完成画像Ａを生成する元になった画像群（９枚の画像）をデータベース５０２から取得する。そして、フォーカス距離のパラメータをあらかじめ定めた間隔で増加させて、完成画像生成部５０４は、各フォーカス距離に応じた複数の完成画像を生成する。そして、第２の画像認識部５０６はこの複数の完成画像に出現する被写体を検出・認識する。以下、これらの完成画像の集合を完成画像集合Ｂと呼称する。

また、図７（ａ）乃至（ｃ）には、被写体７０２に沿ってフォーカス距離を徐々に増加させて完成画像を生成する場合の、範囲７０１内でのフォーカス距離の設定の様子を示している。このうち、図７（ａ）に示すフォーカス距離７０３では少なくとも被写体Ａにピントが合った完成画像が得られる。同様に図７（ｂ）に示すフォーカス距離７０３では被写体Ｂ、Ｄにピントが合った完成画像が得られ、図７（ｃ）に示すフォーカス距離７０３では被写体Ｃにピントが合った完成画像が得られる。これらのフォーカス距離は、第２の画像認識部５０６により設定される。画像群の画像には、画素ごとにフォーカス距離が記録されているので、フォーカス距離の分布により、被写体が検出されそうなフォーカス距離が分かる。そこで、フォーカス距離の分布によりフォーカス距離の調整を行うことで効率的に被写体にピントが合った完成画像を得ることができる。

次に、Ｓ６０４において、第２の画像認識部５０６は、完成画像集合Ｂの各画像における被写体を検出・認識し、顔尤度の最大値（最大顔尤度）を算出する。このとき、各被写体と、それぞれの顔尤度の最大値とを対応付けてその情報を出力する。例えば、図７に示すようなパターンで得られた各完成画像に対して被写体の検出・認識を行い、あらかじめ設定されたよりも高い尤度で検出され、同定できた被写体のリストを生成する。このとき、各完成画像中で被写体が重複して認識された場合は、各被写体の最大顔尤度を記録しておく。以上より、図７（ａ）乃至（ｃ）に示したような場合においては、図８に示すような、被写体とその最大顔尤度とのリストが生成される。本実施形態では、各被写体にピントが合った完成画像が得られていることから、Ａ〜Ｄの全ての被写体が網羅的に認識され、かつ最大顔尤度もそれぞれ高い値となっている。

次に、Ｓ６０５において、被写体着目判定部５０７は、Ｓ６０２及びＳ６０４の出力結果を受け取り、被写体毎の対応付けを行う。そして、Ｓ６０６において、被写体着目判定部５０７は、Ｓ６０５で対応付けた結果を解析し、着目する被写体と、着目しないようにした被写体（以下、非着目被写体）とを判定する。具体的には、ある被写体について、完成画像Ａの顔尤度が、完成画像集合Ｂの最大顔尤度と比べて、所定の減少幅の閾値分より多く下回っている場合には、検出精度が落ちるような変化が生じたとみなす。そして、当該被写体を「非着目被写体」と判定する。また、完成画像集合Ｂで検出・認識できる被写体が、完成画像Ａの検出・認識結果としては現れないような場合についても、当該被写体は、同等の理由で「非着目被写体」と判定する。

例えば、ユーザの操作に従って生成した完成画像の検出・認識結果として図１０に示したリストが得られ、全フォーカス距離の画像における検出・認識の結果として図８に示すリストが得られたものとする。この場合は、被写体Ａは、全体認識における最大顔尤度と比べて、完成画像における顔尤度は低い値となっている。例えば、減少幅の閾値を０．２と設定した場合、被写体Ａの顔尤度は該閾値を超えて減少していることから、着目しないようにした被写体であると判定する。また、被写体Ｃについては、全体認識の結果としては含まれているのに対して、完成画像の結果としては含まれない。よって、被写体Ｃも着目しないようにした被写体であると判定する。これに対して、被写体Ｂ、Ｄは、いずれも全体認識の結果として得られた最大顔尤度に対して、完成画像の顔尤度は大きな差が無い、あるいは、高い値を示していることから、着目するようにした被写体として判定する。

次に、Ｓ６０７において、完成画像属性生成部５０８は、Ｓ６０６で「非着目被写体」と判定した被写体が、完成画像Ａにおいて着目しないようにした被写体であることを示す属性情報を生成する。このとき、完成画像属性生成部５０８が生成する属性情報のデータ形式は、上述した程度の構造的な情報を扱うことができる形式であることが望ましく、構造を表現できるデータ形式であれば、特に限定するものではない。本実施形態においては、構造化情報を記述可能なＸＭＬ形式で属性情報を生成する。

次に、Ｓ６０８において、完成画像属性生成部５０８は、完成画像Ａで認識できた被写体であってＳ６０６で「非着目被写体」としなかった被写体を、完成画像Ａにおいて着目した被写体（以下、着目被写体）として、属性情報を生成する。

本実施形態では、Ｓ６０７及びＳ６０８により、判定結果として、例えば、図１２に示すような属性情報を生成する。図１２に示すように、まず画像そのものの属性として、＜識別ＩＤ＞や当該完成画像の生成もとになった画像群を特定するための＜画像群ＩＤ＞などの情報が記述される。さらに、属性情報には、＜被写体＞属性（＜被写体＞〜＜／被写体＞の部分）が、被写体の数だけ記述される。ここでの被写体の数は、第２の画像認識部５０６で認識した被写体の数となり、それぞれの被写体について、着目しているか否かの情報を、上記属性部分に記述する。

また、図１２に示す例においては、＜is着目＞属性として、それぞれ０（＝着目しない）または１（＝着目する）の値で表現している。例えば、＜名前＞がＡである被写体については＜is着目＞属性が０であることから非着目被写体であり、＜名前＞がＢである被写体は１であることから着目被写体である。なお、図１２に示した記述例は一つの例であり、これに類する記述ができれば、属性名も記述形式もこれに限定するものではない。また、記載していない属性情報が含まれても構わないし、より詳細な属性情報として深い階層構造を形成するようにしても構わない。

以上のように本実施形態によれば、完成画像に対する認識処理だけでは得られない、完成画像におけるユーザの各被写体に対する着目・非着目を示す属性情報を生成できるようにした。このような属性情報は、多視点画像を生成する撮影行為において全体的に含まれる被写体がわかる特徴を活かし、その全体の被写体が、完成画像を生成した際にどのように変化したかを捉えることによって得られる。

このような属性情報を利用することにより、例えば、以下のような完成画像を利用することができる。例えば、孫にピントが合っていて、その背景部分をぼかした完成画像が生成されたものとする。このとき、背景部分に祖父母がいるような場合であれば、「孫に着目しており、祖父母には非着目である」という属性情報が得られる。したがって、そのような属性情報を検索キーとすることによって、孫と同席していたが、実際には孫にピントが合っているような完成画像を探すといったことが可能になる。

また、自動でスライドショーを作成する処理プログラム等により、上記のようなキーで表示する画像を選定できると、誰に見せるかといった目的に合致した画像を生成できる。例えば、閲覧する人が祖父母である場合には、孫に着目して、祖父母には非着目である画像を選定するようにする。また、父母が閲覧するのであれば、父母が非着目である画像を選定する。こういった目的に応じた画像の選定を行うことができる。
（その他の実施形態）
前述した実施形態においては、第１の画像認識部５０５及び第２の画像認識部５０６における認識処理では、顔画像により人物を同定したが、これに限らない。被写体がペットやオブジェクトである場合であっても、本発明が本質的に変わるものではなく、人物と同様に処理すればよい。例えば、旅先のランドマークとなる建造物や、著名なオブジェクト等を認識できる場合には、各被写体に着目・非着目の属性情報を付加する点について、人物と区別する必要はない。

また、人物を同定するのではなく、単純に顔を認識するようにしてもよい。この場合、被写体の領域及び人物が存在することは認識できる。例えば、第２の画像認識部５０６により多数の被写体を顔認識できるが、完成画像においては、顔認識できる被写体の数が少なくなる。この場合、当該完成画像に対して、「多くの被写体が存在し、それらは人でありかつ非着目である」といった属性情報を生成することになる。この属性情報から、背景に多くの人が存在し、それ以外のものに着目した画像であることがわかる。

また、前述した実施形態においては、完成画像生成部５０４が、同等のフォーカス距離でピントの合った完成画像を生成するようにしたが、これに限るものではない。例えば、曲面に沿った焦点調整を行うような従来技術を利用しても構わない。例えば、図１１に示すように、曲面状の仮想的なピント面１１０１と深度幅１１０２とを設定して焦点調整を行った完成画像を生成してもよい。

図１１に示す例では、被写体Ａだけが顔尤度が低い状態になり、被写体Ａだけが非着目被写体として判定され、被写体Ｂ、Ｃ、Ｄは着目被写体として判定される。このように、複雑な焦点調整を行う場合においても、それに合わせた着目・非着目の属性情報を生成できるようになる。

また、前述した実施形態においては、第２の画像認識部５０６が被写体を網羅的に認識できるものとして説明してきたが、離散的なフォーカス距離の設定であるため、フォーカス距離を設定する間隔によっては認識漏れする被写体が存在する可能性がある。その場合は、完成画像でのみその被写体が認識されるが、この場合には、その被写体を、当該被写体を着目する被写体として扱ってもよい。

また、前述した実施形態においては、第２の画像認識部５０６がフォーカス距離をある間隔で変動させながら全体の被写体を認識する例を述べたが、これに限るものではない。例えば、中間的な距離にフォーカス距離を設定して、深度幅を広くすることにより、パンフォーカス画像を生成し、該画像に対して認識処理を行っても構わない。

また、前述した実施形態においては、撮像装置１００の画像出力部２１２から出力された画像群を外部記憶装置４０４に記憶したが、これに限るものではない。画像処理装置４００で焦点調整処理が可能な画像群を入力することができればよく、そのような画像群の獲得はいかなる方法であっても構わない。例えば、複数のレンズと１つのセンサとの構成でも同等の画像群が得られることが知られているが、このようにして得られた画像群であっても構わない。

本実施形態では、撮像部１０１〜１０９で撮影される画像がすべてカラー画像であることを前提に各部の構成や処理を説明した。一方、撮像部１０１〜１０９で撮影される画像の一部或いは全部をモノクロ画像にしても構わない。その場合には、撮像装置１００は、図３のカラーフィルタ３０８が省略された構成としてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 多視点から撮影された複数の画像で構成される画像群を用いて撮影に係るパラメータを調整した加工画像を生成する画像生成手段と、
   前記画像生成手段によって生成された加工画像の中から特定の被写体を認識する第１の画像認識手段と、
   前記画像群に基づいて、当該画像群に出現する各被写体を認識する第２の画像認識手段と、
   前記第１の画像認識手段による認識結果と、前記第２の画像認識手段による認識結果とを比較し、前記画像群における着目した被写体と着目しなかった被写体とを判定する判定手段と、
   前記加工画像における前記判定手段による判定結果を含む属性情報を生成する属性生成手段と
   を有する画像処理装置。
2. 前記画像生成手段は、さらに前記画像群を用いて所定の間隔で焦点調整を行って、複数の比較用の加工画像を生成し、
   前記第２の画像認識手段は、前記複数の比較用の加工画像のそれぞれからすべての被写体を認識する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の画像認識手段は、被写体ごとに前記複数の比較用の加工画像の中で最も高い尤度を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の画像認識手段は、被写体ごとに尤度を算出することを特徴とする請求項２に記載の画像処理装置。
5. 画像処理装置の制御方法であって、
   画像生成手段が、多視点から撮影された複数の画像で表わされる画像群を用いて撮影に係るパラメータを調整した加工画像を生成する画像生成工程と、
   第１の画像認識手段が、前記画像生成工程において生成された加工画像の中から特定の被写体を認識する第１の画像認識工程と、
   第２の画像認識手段が、前記画像群に基づいて、当該画像群に出現する各被写体を認識する第２の画像認識工程と、
   判定手段が、前記第１の画像認識工程における認識結果と、前記第２の画像認識工程における認識結果とを比較し、前記画像群における着目した被写体と着目しなかった被写体とを判定する判定工程と、
   属性生成手段が、前記加工画像における前記判定工程の判定結果を含む属性情報を生成する属性生成工程と
   を有することを特徴とする画像処理装置の制御方法。
6. コンピュータが読み込み実行することで、前記コンピュータに、請求項５に記載の方法の各工程を実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
7. 多視点から撮影された画像群を用いて撮影に係るパラメータを調整した合成画像を生成する画像生成手段と、
   前記画像生成手段によってユーザの操作により生成された合成画像から被写体を検出し認識する画像認識手段と、
   前記画像認識手段による検出結果に基づいて、前記画像群における着目した被写体と着目しなかった被写体とを判定する判定手段と、
   前記合成画像における前記判定手段による判定結果を含む属性情報を生成する属性生成手段と、
   前記画像群を用いて所定の間隔ごとに焦点調整を行って複数の比較用の合成画像を生成し、前記複数の比較用の合成画像のそれぞれから被写体を検出し認識する第２の画像認識手段を備え、
   前記判定手段は、前記画像認識手段による検出結果と、前記第２の画像認識手段による検出結果とを比較し、前記画像群における着目した被写体と着目しなかった被写体とを判定することを特徴とする画像処理装置。
8. 前記所定の間隔は、前記画像群の焦点距離の分布により決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の画像認識手段は、深度幅を広くしたパンフォーカス画像を生成して被写体を検出し認識することを特徴とする請求項７に記載の画像処理装置。
10. 前記第２の画像認識手段は、被写体ごとに前記複数の比較用の合成画像の中で最も高い尤度を算出することを特徴とする請求項７に記載の画像処理装置。
11. 前記属性情報を前記合成画像または前記画像群の少なくともいずれか１つに付与することを特徴とする請求項７に記載の画像処理装置。
12. 画像処理装置の制御方法であって、
    画像生成手段が、多視点から撮影された画像群を用いて撮影に係るパラメータを調整した合成画像を生成する画像生成工程と、
    画像認識手段が、前記画像生成工程によってユーザの操作により生成された合成画像から被写体を検出し認識する画像認識工程と、
    判定手段が、前記画像認識工程による検出結果に基づいて、前記画像群における着目した被写体と着目しなかった被写体とを判定する判定工程と、
    属性生成手段が、前記合成画像における前記判定工程による判定結果を含む属性情報を生成する属性生成工程と、
    第２の画像認識手段が、前記画像群を用いて所定の間隔ごとに焦点調整を行って複数の比較用の合成画像を生成し、前記複数の比較用の合成画像のそれぞれから被写体を検出し認識する第２の画像認識工程とを有し、
    前記判定工程は、前記画像認識工程による検出結果と、前記第２の画像認識工程による検出結果とを比較し、前記画像群における着目した被写体と着目しなかった被写体とを判定することを特徴とする画像処理装置の制御方法。
13. コンピュータが読み込み実行することで、前記コンピュータに、請求項１２に記載の方法の各工程を実行させるためのプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images