JP6544970B2

JP6544970B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP6544970B2
Application number: JP2015076290A
Authority: JP
Inventors: 崇士鈴木; 佐藤　博; 博佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-04-02
Filing date: 2015-04-02
Publication date: 2019-07-17
Anticipated expiration: 2035-04-02
Also published as: JP2016197302A

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、スポーツイベントにて撮影した映像を解析して、ゼッケン番号と映像を対応させておき、イベント出場者が自身の画像をゼッケン番号で検索し、気に入った映像（写真等）を購入するようなビジネスが展開されている。イベントでは、複数のカメラマンがイベント会場周辺に配置され、それらカメラマンにより出場者の画像が様々な角度から大量に撮影される。このような大量の撮影は、出場者の購買意欲の湧く画像が少なくとも含まれることを期待して行われる。そして、イベント出場者は、ゼッケン番号を入力することで自身が映り込んでいる複数の画像を検索し、それら複数の画像を目視により確認して、それらの中から気に入った画像をピックアップして、購入する。なお、画像内の人物と出場者の同一人物判定は人手で行われている。

また、例えば特許文献１に記載の顔認証技術を用いて、特定の対象者が映り込んでいる画像を自動で抽出するという取り組みもある。特許文献１の物体参照方法は、様々な照明条件の下での登録物体の表面の各位置の輝度や色情報を表すテクスチャ群で貼られるテクスチャ空間を表現する基底ベクトルを、登録物体の３次元形状を用いて、入力画像における対象物体の位置姿勢に合わせて変形する。そして、特許文献１の物体参照方法は、変形された基底ベクトルにより表現される照明変動空間内の最も近い画像と入力画像との距離に基づいて対象物体が登録物体であるかどうかを判定する。

特許第４３７９４５９号公報

しかしながら、ゼッケン番号や顔認証技術により、出場者自身が含まれる画像を見つけることができたとしても、その中に出場者にとって購買意欲の湧く画像が含まれるとは、必ずしもいえない。例えば、大量の画像の中で、出場者が画像を購入したいと思う場面の画像は少ないことが多く、またその場面で出場者が写った画像があったとしても、出場者の写り具合が良くない画像である場合、購入意欲が湧かずに実際に購入されないことも多い。

本発明はこのような問題点に鑑みてなされたものであり、購買意欲が湧くような画像を提供可能とする画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

本発明の画像処理装置は、複数の撮影画像から、所定の対象物に対応した部分の領域画像を検出する検出手段と、検出された複数の前記所定の対象物の領域画像の中で、特定の対象物に対応した領域画像を類似度に基づいて判定して、該領域画像を前記特定の対象物に対応付ける対応付け手段と、前記複数の撮影画像の中から、前記特定の対象物の画像が低解像度となっている撮影画像を、処理対象の撮影画像として選択する選択手段と、前記複数の撮影画像の中から、前記特定の対象物の画像が高解像度となっている複数の撮影画像を収集し、該収集された高解像度の画像のそれぞれから低解像度の画像を生成して、高解像度の画像と低解像度の画像との複数のペアを生成する生成手段と、前記生成手段で生成された複数の低解像度の画像に個別の係数を乗じて加算した線形和により前記処理対象の撮影画像を近似する近似手段と、前記生成手段で収集された複数の高解像度の画像にそれぞれとペアとなる低解像度の画像に対する前記近似における係数と同一の係数を乗じて加算した線形和により、前記処理対象の撮影画像に対応する高解像度の画像を再構成して表示する再構成手段と、前記再構成手段による前記高解像度の画像の表示後に、前記対応付け手段による前記判定における類似度の度合いを決めるパラメータを調整して、前記生成手段により収集される高解像度の画像を調整する調整手段とを有することを特徴とする。

本発明によれば、購買意欲が湧くような画像を提示可能となる。

第１〜第６の実施形態の画像提示装置の概略構成を示す図である。マラソンコースの一例を示す図である。撮影画像の一例を示す図である。ＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法の概要説明に用いる図である。第１〜第６の実施形態の画像提示装置のフローチャートである。同一物体判定の概要説明に用いる図である。第１，第７の実施形態の再構成処理の説明に用いる図である。第２，第８の実施形態の再構成処理の説明に用いる図である。第３，第９の実施形態の再構成処理の説明に用いる図である。第６，第１０の実施形態の再構成処理の説明に用いる図である。運動会イベントでの画像提示システムの概略説明に用いる図である。画像一覧のユーザインターフェイス例を示す図である。第７〜第１０の実施形態の画像表示装置の概略構成を示す図である。再構成処理選択のユーザインターフェイス例を示す図である。顔認証閾値の調整用のスライドバーを示す図である。第７〜第１０の実施形態の画像提示装置のフローチャートである。隠れ量の調整用のスライドバーを示す図である。笑顔度の調整用のスライドバーを示す図である。顔向きの調整用のスライドバーを示す図である。

＜第１の実施形態＞
図１には、画像処理装置の一例である第１の実施形態の画像提示装置の概略構成を示す。図１に示す本実施形態の画像提示装置は、画像取得部１０１と、物体検出部１０２と、同一物体判定部１０３と、画像選択部１０４と、再構成部１０５と、表示部１０６と、同一物体判定結果記憶部１０７を有している。本実施形態の画像提示装置は、例えばパーソナルコンピュータや、例えばネットワークを介して接続されたカメラとサーバとパーソナルコンピュータ又は携帯情報端末等を有するシステムなどにより実現可能である。以下の説明では、一例として、本実施形態の画像提示装置がパーソナルコンピュータにより実現される場合を挙げて説明する。この場合、画像取得部１０１、物体検出部１０２、同一物体判定部１０３、画像選択部１０４、再構成部１０５の各部の処理は、例えばコンピュータのＣＰＵが本実施形態のプログラムを実行することにより実現される。また、同一物体判定結果記憶部１０７は、コンピュータのＲＡＭやＨＤＤ等の記憶デバイスの記憶領域の一部が用いられることで実現される。本実施形態のプログラムは、ＲＯＭやＨＤＤに記憶されており、それらから読み出されてＲＡＭに展開され、ＣＰＵにより実行される。ＣＰＵは、本実施形態のプログラムを実行することにより、それら各部及び後述するフローチャートの処理を実行する。

画像取得部１０１は、カメラ等の撮像装置で撮像されて不図示の外部ストレージやネットワーク上のストレージ等に蓄積されている撮影画像のデータを取得する。なお、画像取得部１０１は、カメラから直接、撮影画像データを取得してもよい。画像取得部１０１が取得する撮影画像データはＲＧＢ画像データであるとする。

物体検出部１０２は、画像取得部１０１が取得した撮影画像を走査し、予め設定されている所定の対象物に対応した部分領域画像を検出して、その部分領域画像の撮影画像内における位置（以下、物体位置とする。）を検出する。具体的には、物体検出部１０２は、撮影画像を走査して、予め設定されている所定の対象物の部分領域画像に対する尤度を求め、その尤度に基づいて撮影画像から部分領域画像を検出し、撮影画像内における対象物の位置を検出する。そして、物体検出部１０２は、撮影画像のデータと、その撮影画像から検出した物体位置の情報、及び、その物体位置に対応した部分領域画像のデータを同一物体判定部１０３へ出力する。本実施形態の場合、所定の対象物は人物であり、部分領域画像は人物画像、物体位置は撮影画像中の人物画像の顔画像の位置を表す座標情報となされている。

同一物体判定部１０３は、物体検出部１０２が複数の撮影画像のそれぞれより検出した人物画像から同一人物の画像を抽出する。また、同一物体判定部１０３は、何れの人物画像が同一人物の画像であるかを判定して、それら同一人物の画像であると判定された人物画像とその人物画像が含まれる撮影画像、人物画像の顔画像の位置の情報等を、各人物とを対応付ける。そして、同一物体判定部１０３は、各人物に対して対応付けられた撮影画像とその撮影画像内の人物画像のデータ、その人物画像の顔画像の位置を表す座標情報の情報を、同一物体判定結果記憶部１０７に記憶させる。

画像選択部１０４は、複数の撮影画像の中から、所定の写り具合になっている撮影画像を、後述する再構成部１０５にて再構成処理の対象となる処理対象として選択する。詳細は後述するが、画像選択部１０４は、複数の撮影画像の中から、特定の人物の画像の顔画像が所定の写り具合になっている撮影画像を処理対象の画像として選択する。詳細は後述するが、所定の写り具合の画像とは、一例として、顔の部分が小さい低解像度の画像や、顔の一部が隠れた画像、顔画像が暈けた画像などである。そして、画像選択部１０４は、選択した撮影画像を、再構成部１０５へ出力する。

再構成部１０５は、後述するように、画像選択部１０４で選択された処理対象の画像に対し、同一物体判定部１０３で特定の人物に対応付けされて同一物体判定結果記憶部１０７に記憶されている画像を基に、所定の画像処理としての再構成処理を行う。所定の画像処理とは、例えば人物画像の顔画像の写り具合を別の写り具合に変換する処理である。詳細は後述するが、再構成部１０５は、低画質画像を高画質画像に変換する高画質化処理（解像度変換処理）や、顔画像が他のパーツ画像により隠れているような隠れ顔画像を他のパーツ画像による隠れの無い顔画像へ変換するような再構成処理などを行う。表示部１０６は、再構成部１０５による再構成処理後の画像や、後述するユーザインターフェイス画像等をディスプレイ画面上に表示させる。

ここで、本実施形態の画像提示装置は、イベントで取得する画像を顧客価値が高い状態に変換して提供することを可能としている。本実施形態では、イベントの一例としてマラソン大会を例として挙げて、以下、具体的に説明していく。

図２は、地図上にマラソンコースの一例を描いた図である。スタート地点からゴール地点までのコース上の各所に、出場者を撮影するカメラマンが多数配置され、カメラマンは、無作為かつ連続的に、出場者の走っている画像を撮影する。図３（ａ）〜図３（ｃ）は、コース上の幾つかの撮影場所（撮影ポイント）で取得した画像例を表す図である。図３（ａ）の画像３０１は、スタート地点近傍の図２中のＡ地点で撮影された画像例であり、例えばスタート直後の複数の出場者３１０が写っている。図３（ｂ）の画像３０２は、図２中のＥ地点を走行中の出場者３１０の画像例である。図３（ｃ）の画像３０３は、図２中のゴール地点（Ｈ地点）でゴールした各出場者３１０を撮影した画像例である。カメラマンは無作為に且つ連続的に撮影するため、ある特定の構図で出場者が連続的にポージングする連続撮影画像や、表情が徐々に変化していく連続撮影画像が取得される。

イベント終了後、出場者やその関係者は、これらの画像の中から自身が写っている画像を検索し、出場者等にとって価値の高い画像を見つけ出し、満足できるものであれば購入に至ることになる。なお、画像を検索して購入等する者は、マラソンイベントの出場者自身であるとは限らないが、本実施形態ではイベントの出場者と画像を購入する者とを特に区別せずに「出場者」とする。ここで、ある特定の出場者の撮影画像を一覧した場合、顧客満足度の高い画像は、連続的に変化していく画像でなく、登場回数が少ないシーンの画像や、例えば有名なランドマーク付近の画像である場合が多い。例えば、図３（ｃ）の画像３０３のような、ゴールシーンの画像は、出場者の撮りこぼしがないよう、カメラマンはゴールから遠くの位置から引きで撮影することが多い。マラソン大会においてのゴールシーンの画像は、出場者にとって価値のある画像であるが、遠くから引きで撮影された撮影画像の場合、その画像内での顔画像は小さく、また、出場者の顔画像が他の人物の画像等により隠れてしまっている場合が多い。したがって、ゴールシーンの画像であっても、出場者が購入に至るかどうか不確かである。

そこで、本実施形態では、後述する高画質化手法を用いて、出場者にとって満足する画像になるように撮影画像を再構成処理して提示する。高画質化手法は、低画質画像と高画質画像の対応関係を記憶し、高画質画像の線形和で高画質化を行うＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法を用いる。ＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法は、顔画像の構造類似性から、学習用の複数枚の他人の顔画像の線形結合により一枚の顔画像が生成できることを利用して、学習情報に基づいて単一の低解像度顔画像から高解像度顔画像を生成する手法である。なお、ＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法は、文献「Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎｔｈｒｏｕｇｈｎｅｉｇｈｂｏｒｅｍｂｅｄｄｉｎｇ，ＣＶＰＲ２００４」に開示されているためその詳細な説明は省略する。図４は、本実施形態で用いる高画質化手法であるＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法の概要を説明するための図である。図４に示すように、或る人物における低解像度の顔画像４００Ａと高解像度の顔画像４０１Ａとを対応付けておく。同様に、それぞれ他の各人物における低解像度の顔画像４００Ｂ〜４００Ｍと高解像度の顔画像４０１Ｂ〜４０１Ｍとを各々対応付けておく。それら各人物はそれぞれ別の人物であり、各人物にはそれぞれの人物を特定する識別情報として人物ＩＤが登録されており、各顔画像にはそれぞれの人物ＩＤが対応付けられている。そして、各顔画像４００Ａ〜４００Ｍ，４０１Ａ〜４０１Ｍに対応した人物とは異なる、新たな人物の画像は、それら他人の画像（４００Ａ〜４００Ｍ，４０１Ａ〜４０１Ｍ）の線形結合で表すことができる。したがって、或る人物の低解像度画像が得られている場合、ＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法を用いれば、その人物の低解像度画像から線形結合係数Ｃ₁，Ｃ₂，・・・，Ｃ_Mを求め、それら係数を使って、その人物の高解像度画像を再構成することできる。ただし、他人の高解像度画像から、或る人物の高解像度画像を再構成することはあくまで近似であり、必ずしも、その人物の高解像度画像を忠実に再現するとは言えない。このため、ＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法のような高画質化手法を用いたとしても、満足のいく高解像度画像を再構成できる保証はない。

このようなことから、本実施形態では、出場者の画像のみから構成される事前知識（図４の低解像度画像と高解像度画像のペアによる学習情報）を用いて高画質化処理を行い、出場者の満足度が高い高品質な画像の提示を可能としている。以下、本実施形態の画像提示装置における高画質化処理、及び、高画質化した画像の提示処理について、図５のフローチャートを参照しながら説明する。図５のフローチャートは、図１に示した各部により行われる処理の流れを示している。

図５のフローチャートにおいて、画像取得部１０１は、ステップＳ５００の処理として、図３に示したようなマラソンコースの各地点で撮影された画像のデータを順次取得する。そして、画像取得部１０１は、取得した撮影画像のデータを物体検出部１０２へ出力する。

物体検出部１０２は、画像取得部１０１から撮影画像のデータを受け取ると、ステップＳ５０１の処理として、その撮影画像に対して物体検出処理を実行する。具体的には、物体検出部１０２は、人物画像及びその人物の顔画像を検出する。なお、顔画像を検出する方法としては、例えば文献「ＲａｐｉｄＯｂｊｅｃｔｄｅｔｅｃｔｉｏｎｕｓｉｎｇａｂｏｏｓｔｅｄｃａｓｃａｄｅｏｆｓｉｍｐｌｅｆｅａｔｕｒｅｓ，ＣＶＰＲ２００１」に開示されている手法を用いることができる。この文献に記載の顔画像の検出手法の詳細な説明は省略する。この文献記載の顔画像の検出手法では、矩形形状の複数の特徴フィルタで部分領域を走査することで特徴量を抽出し、一つ一つの特徴フィルタの特徴量で顔画像であるか又は非顔画像かをゆるく判定（顔／非顔判定）する弱判別器を構築する。そして、複数の弱判別器が組み合わされて顔／非顔判定が行われる。物体検出部１０２は、画像取得部１０１から送られてきた撮影画像と、その撮影画像から検出した人物画像及びその人物の顔画像の位置を示す座標情報とを、同一物体判定部１０３へ出力する。

同一物体判定部１０３は、物体検出部１０２から撮影画像のデータと人物画像及びその人物の顔画像の座標情報を受け取ると、ステップＳ５０２の処理として、顔画像に基づいて同一人物を見つけ出す処理を行う。同一人物を見つける方法は、撮影画像を目視して出場者のゼッケン番号を予め手入力してゼッケン番号と撮影画像を対応付けておき、その後、ゼッケン番号を用いて検索された画像の人物を同一人物として見つけ出すような方法を用いることができる。ゼッケン番号は、手入力する場合の他に、例えば画像の文字認識により取得されてもよい。文字認識によるゼッケン番号の取得は、例えば次のようにして行われる。ゼッケン番号は、例えば図３（ａ）や図３（ｂ）中の人物画像の胸辺りにある数字である。このため、同一物体判定部１０３は、物体検出部１０２にて検出された人物画像の顔位置の座標値から、ゼッケンが写っている大体の位置を特定し、その特定した領域内に対する文字認識処理によりゼッケン番号の数字を認識する。

また、同一物体判定部１０３は、顔認証処理により同一人物の判定を行ってもよい。顔認証処理で同一人物を見つけ出す場合、登録人物の顔画像が予め登録される。登場人物の登録画像は、例えばイベントへの出場者に対する事前登録において例えばバストアップ画像の撮影がなされるような場合、そのバストアップ画像が用いられてもよい。ただし、事前登録でバストアップ画像の撮影が行われない場合には、別な方法で登録画像を取得しておく必要がある。例えば、図３（ａ）のようなスタート地点近傍で撮影された画像３０１、又は、ゴール地点近傍で撮影された画像３０３から登録画像として使用できる高解像度な画像を見つけ出し、それを登録画像としてもよい。一例として、スタート地点近傍のＡ地点の画像データには、多人数の画像が含まれているので、その中から個々の顔画像を顔認識により取得し、それら取得された顔画像を登録画像とする。そして、同一物体判定部１０３は、物体検出部１０２が検出した人物画像の顔位置の画像（顔画像）と登録画像の顔画像との類似度を求め、その類似度が所定の閾値以上である場合に、同一人物であると判定する。なお、類似度は、例えばその値が大きいほど、登録画像の顔と一致している度合いが大きいことを表すものとなされている。類似度と比較される所定の閾値は、類似度が閾値以上になったときに、登録画像の人物である可能性が高いと判断できる値に設定することが望ましい。また、類似度と比較される閾値は、登録画像の人物と或る程度似た人物をも略々同一人物として判定されるような値に設定されてもよい。類似度は、具体的には、物体検出部１０２が検出した顔画像の領域と登録画像における顔画像の領域内の輝度ベクトルを正規化してそれらの相関値を算出することで求めることができる。類似度の判定に用いられる顔画像の領域は、例えば顔画像のうちの両目と口で囲まれた矩形領域を用いることができる。なお、ゼッケン番号のみで同一人物を判断する場合には、顔認識処理による判定は省略してもよい。一方、同一物体判定処理の際に顔認証のみを用いる場合には、必ずしもゼッケン番号の情報は必要ない。

図６には、同一物体判定部１０３による同一人物判定処理の結果の一例を示す。図６は、同一物体判定処理の際に、ゼッケン番号と顔認証の結果を併用する場合を例示している。図６の例の場合、画像取得部１０１により取得された画像６０１には、人物画像６０２が存在しており、その人物画像６０２のゼッケン６０５のゼッケン番号は「１２」となっている。また、図６の例では、前述した類似度を求める際の顔画像の領域として、顔画像６０４の両目６１１と口６１２で囲まれた矩形領域６０３を示している。同一物体判定部１０３は、画像取得部１０１の撮影画像６０１からゼッケン６０５のゼッケン番号「１２」を読み取る。そして、同一物体判定部１０３は、物体検出部１０２にて検出された顔画像６０４と登録画像との類似度が「０．８」であり、その類似度により同一人物として判定した登録人物の識別情報である人物ＩＤとして「ＨＸ」が登録されている人物であると判定している。同一物体判定部１０３は、人物画像６０２と、ゼッケン番号「１２」と人物ＩＤ「ＨＸ」と類似度の値「０．８」の情報を、撮影画像６０１に対応付けて、同一物体判定結果記憶部（以下、記憶部１０７とする。）へ記録させる。なお、人物ＩＤは、登録画像の登録順の番号となされていてもよいし、ゼッケン番号が人物ＩＤになされていてもよい。

図５のフローチャートの説明に戻り、画像取得部１０１は、ステップＳ５０３の処理として、次の撮影画像が有るか否か判定し、次の撮影画像が有る場合にはステップＳ５００でその撮影画像を取得する。そして、画像取得部１０１は、次の撮影画像がない場合、すなわち、新たに処理すべき撮影画像が無く、全ての撮影画像の取得が完了したと判定した場合には、その旨を画像選択部１０４へ伝える。

画像選択部１０４は、全撮影画像の取得が完了した旨の通知を受け取ると、ステップＳ５０４の処理として、記憶部１０７に記憶されている撮影画像の中から、各撮影画像に対応付けて付与されている情報に基づいて、特定の出場者が写った撮影画像を抽出する。さらに、画像選択部１０４は、抽出した各撮影画像の中から、出場者に提示するための撮影画像を選択する。また、画像選択部１０４にて選択された撮影画像は、後段の再構成部１０５による再構成処理の対象となる処理対象画像である。ここで、出場者に提示するための撮影画像は、出場者にとって価値が高く、出場者が購入したいと思うような画像である。本実施形態では、出場者にとって価値が高く、購入したいと思う撮影画像が低画質画像であった場合に、その低画質の撮影画像を再構成部１０５による再構成処理で高画質化することを想定している。

このため、画像選択部１０４は、出場者にとって価値が高く、購入したいと思う撮影画像ではあるが、低画質になっている撮影画像を選択する。画像選択部１０４による画像の選択方法には様々あり、例えば出場者自身が選択してもよいし、画像選択部１０４が自動選択を行ってもよい。一例として、本実施形態では、画像選択部１０４は、前述の同一物体判定部１０３で行われる顔認証の結果に基づいて、出場者が写っている撮影画像を自動選択する。例えば、画像選択部１０４は、前述の図２で例示した各撮影ポイントにおける撮影画像の中から、顔認証の結果に基づいて、出場者が写っている撮影画像を検索して、それらの撮影画像を選択する。なお、画像選択部１０４は、出場者が写っている撮影画像の枚数が多数である場合、それら撮影画像の枚数をカウントし、そのカウント順に選択してもよい。画像枚数は、前述の同一物体判定部１０３で行われる顔認証の結果に基づいて容易にカウントすることができる。

また、出場者にとって価値が高く、購入したいと思う撮影画像は、前述したようにゴール付近の撮影場所で撮影されたゴールシーンの画像や、ランドマーク付近の撮影場所で撮影された画像などであると考えられる。画像選択部１０４は、一例として、撮影画像に付加される撮影カメラの情報などに基づいて、何れの撮影場所で撮影されたか、また、撮影時刻の情報等に基づいて、何れの撮影シーンで撮影されたかなどを判定する。そして、画像選択部１０４は、その判定結果により、その撮影画像が出場者に提示すべき画像であるか否か判断して選択し、それら選択した撮影画像のデータを、処理対象の画像データとして再構成部１０５へ出力する。

再構成部１０５は、画像選択部１０４から処理対象の撮影画像のデータを受け取ると、ステップＳ５０５の処理として、それら撮影画像に対して高画質化処理を行う。具体的には、再構成部１０５は、前述の図４で説明したＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法をベースにして高画質化処理を行う。

図７は、再構成部１０５が、ＦａｃｅＨａｌｌｃｉｎａｔｉｏｎ法をベースにして行う高画質化処理の概念を説明するための図である。再構成部１０５が行う高画質化処理は、前述の図４で説明した高画質化処理とは一部の処理が異なっている。再構成部１０５は、先ず同一物体判定部１０３にて撮影画像に付与されて記憶部１０７に記録されている人物ＩＤをもとに、記憶部１０７に記録されている撮影画像の中から同一の人物ＩＤが付与されている高解像度の撮影画像を集める。次に、再構成部１０５は、集めた高解像度の画像に対して縮小画像処理を施して低解像度画像を生成し、それら高解像度画像と低解像度画像のペアを生成する。そして、再構成部１０５は、画像選択部１０４にて選択された撮影画像の人物ＩＤと同一の人物ＩＤに対応している、低解像度画像と高解像度画像のペアを用いて高画質化処理を行う。これにより、再構成部１０５は、より自然な高画質化処理がなされた画像を再構成可能となる。

図７の例は、同一の人物ＩＤに対応した高解像度の撮影画像７１１Ａ〜７１３Ａから低解像度画像７０１Ａ〜７０３Ａが生成されて、それら高解像度の撮影画像７１１Ａ〜７１３Ａと低解像度画像７０１Ａ〜７０３Ａでそれぞれ画像ペアが生成されている。なお、図７の画像ペアを作る際には、撮影画像が高解像度画像であるか否かを判断する必要があるが、高解像度画像であるか否かは、物体検出部１０２で行われた物体検出結果を元に判定すればよい。例えば、一般的に顔検出処理がなされる場合、目の位置が特定され、その目の位置に基づいて顔の大きさを求められるため、その顔画像の大きさで高解像度画像であるか否かを判断でき、顔画像が例えば予め決めた大きさより大きい場合、高解像度画像である。逆に、顔画像が予め決めた大きさよりも小さい場合、つまり予め決めた解像度より低い場合には、低解像度画像であるとする。

また、画像ペアを作る他の方法として、高解像度画像内の人物の顔画像に対して、顔の向きと照明光（外光）の当たり具合と表情がそれぞれ略々同じになっている低解像度画像を集めて、図７のようなペアを構築してもよい。なお、この場合の低解像度画像は、高解像度画像から生成されたものではなく別の撮影画像である。またこの場合、高解像度画像と低解像度画像のペアにおいて、顔の向き・光の当たり具合・表情といった属性を一致させる必要がある。ここで、それらの属性を一致させる手法としては、次のような手法を用いることができる。図７の例において、顔画像に斜線が描かれている画像７１２Ａは、斜光により顔が照らされている画像であり、図の左側より外光が照射されているために、顔の右側に影が出ている状態を示している。つまりこの場合のペア画像は、光の当たり具合が略々同様になっている必要がある。

一般的には、光の当たり具合を判定するためには照明変動検出器を用いればよいが、本実施形態の場合は、撮影画像の撮影地点と撮影時刻に基づいて光の当たり具合を判断する。例えば、図２に示したようなＡ地点からＨ地点の各地点の撮影画像の場合、各地点において、或る出場者を撮影した画像は、カメラマンと出場者の相対関係は略々同じで、また撮影時刻も１分〜２分程度の差しかないと考えられる。すなわち、或る地点において特定の出場者を撮影した複数の画像は、それぞれ光の当たり具合に関しては大きな変化はないと考えられる。

また、各地点のカメラマンは、シャッターチャンスを逃さないようにするために連続した撮影を行っている。このため、光の当たり具合が略々同じである複数の撮影画像が得られる。さらにそれら複数の撮影画像には、高解像画像と低解像度画像が含まれると考えられる。人物の顔の向き、表情についても、光の当たり具合と略々同じと考えてよいため、顔の向き、表情が略々同じ撮影画像についても同様にして取得可能である。

また、図７のペア画像を用いた高画質化処理は、図４で説明した高画質化処理と同様であり、人物画像が画像の線形結合で表されることを応用して、低解像度画像から係数Ｃ₁，Ｃ₂，・・・，Ｃ_Mを求め、それら係数を使って高解像度画像を再構成可能である。そして、再構成部１０５は、前述のようにして再構成した高解像度の画像を、表示部１０６へ出力する。

表示部１０６は、再構成部１０５から各高解像度画像のデータを受け取ると、ステップＳ５０６の処理として、それらの画像をディスプレイ等の表示装置に表示させる。すなわち、ディスプレイ画面上に表示される各画像は、出場者にとって価値が高く、出場者が購入したいと思うような高品質の高解像度画像である。

以上説明したように、本実施形態の画像提示装置は、撮影画像から同一人物を判定し、同一人物の低解像度画像と高解像度画像のペア画像から高画質化処理を行うことで、より自然な高画質化処理が可能となる。すなわち、本実施形態の画像提示装置によれば、出場者にとって価値が高いシーンの撮影画像が、例えば、顔部分の小さい小顔画像であった場合でも、より高画質に再構成された画像を提示可能となり、出場者に画像の購買を促すことができる。なお、本実施形態では物体として人物を対象としたが、人物に限定されるものではなく、本実施形態の画像提示装置によれば、人物以外の例えば自動車や二輪等、その他の物体であっても同様に、高画質の画像を提示可能となる。

＜第２の実施形態＞
第１の実施形態では、撮影画像内の人物画像の顔が小さい低解像度の画像を高解像度の画像に変換して高画質化することにより、提示する画像の価値を高める例を挙げた。第２の実施形態では、第１の実施形態と同様の画像提示装置において、顔の一部が隠れた状態の画像（以下、隠れ顔画像とする。）から隠れがない状態の画像を再構成して提示可能とする。第２の実施形態の画像提示装置の構成は図１と同様であるが、各部における処理が一部異なっている。以下、第１の実施形態とは異なる処理について、図５のフローチャートを参照しながら説明する。

第２の実施形態の場合、図５のフローチャートにおいて、前述同様に、画像取得部１０１はステップＳ５００において撮影画像を取得し、物体検出部１０２はステップＳ５０１において物体検出処理を行う。ここで、第２の実施形態の場合、物体検出部１０２は、隠れ顔画像から顔画像を検出しなければならないため、顔の一部が隠れた隠れ顔画像であっても顔を検出できる頑健な顔検出処理が可能となされている。本実施形態の場合の物体検出部１０２は、隠れ顔画像であっても顔を検出できる顔検出手法として、例えば文献「部分的な隠れに頑健な顔検出方法, 電子情報通信学会誌Ｄ，Ｖｏｌ．Ｊ８８，Ｎｏ．８，ｐｐ．１６２４−１６３３」に記載の手法を用いる。この文献記載の顔検出手法は、顔全体の特徴ではなく、部分的な特徴の判別結果を統合して、隠れに頑健な顔認識を行っている。物体検出部１０２は、このような隠れ状態に強い顔検出手法により、撮影画像から隠れ顔画像となっている顔画像の抽出が可能である。

第２の実施形態の場合の同一物体判定部１０３は、ステップＳ５０２の処理として、物体検出部１０２が検出した顔画像（隠れ顔画像）から、同一人物を見つけ出すための顔認証処理を行う。本実施形態の場合、顔認証処理の対象となる画像は隠れ顔画像であるため、同一物体判定部１０３は、物体検出部１０２の場合と同様に隠れ顔画像から顔を認証できる顔認証処理を行う。

ここで、同一物体判定部１０３は、隠れ顔画像に対する顔認証処理手法として、例えば文献「顔特徴とコンテキスト情報に基づく顔の隠れに頑健な人物識別，信学技報，ｖｏｌ．１０９，Ｎｏ．４７０，ｐｐ．２５−３０，２０１０」に記載の手法を用いる。この文献記載の人物識別手法は、顔特徴だけでなく服の色情報や模様情報を活用し、顔特徴とコンテキストを統合して同一人物かを判定している。顔特徴だけでなくコンテキストを用いることで、顔に隠れが生じている場合でも、同一人物か否かを判定することができる。

また、第２の実施形態の場合も第１の実施形態と同様に、イベント開催直前の事前登録時にバストアップ撮影した画像、又は、スタートもしくはゴール近傍の画像を登録画像として用いる。そして、同一物体判定部１０３は、顔認証処理の結果、類似度が所定の閾値以上であった場合に同一人物であると判定し、前述の図６に示したように、ゼッケン番号や人物ＩＤ等の識別情報を撮影画像に付加して記憶部１０７に記録する。

なお、前述の第１の実施形態の場合と同様に、第２の実施形態においても、ゼッケン番号で同一人物か否かの判定と、その判定結果の情報と撮影画像との対応付けを行ってもよい。ゼッケン番号の抽出方法は、第１の実施形態で説明したのと同様である。その他にも、同一物体判定部１０３は、連射撮影による撮影画像など、タイムスタンプが近い撮影画像がある場合、それらタイムスタンプが近い画像内に写っている人物は同一人物であると判定してもよい。そして、第２の実施形態において、ステップＳ５００からステップＳ５０３までの処理は、次の撮影画像がなくなるまで（全ての撮影画像に対する処理が終わるまで）繰り返される。

次に、画像選択部１０４は、ステップＳ５０４の処理として画像選択を行う。ここで選択される撮影画像は、ゴール付近の撮影画像やランドマーク付近の撮影画像であるが、例えば、出場者にとって構図がベストな画像であったとしても他人の手や顔により出場者の顔が隠れてしまうことも起こり得る。

したがって、第２の実施形態の再構成部１０５は、ステップＳ５０５の再構成処理として、そのような隠れ顔画像を隠れの無い画像に変換する隠れ除去処理を行う。そして、表示部１０６は、ステップＳ５０６の画像提示処理として、隠れの無い高画質の画像をディスプレイ画面へ提示する。

再構成部１０５による隠れ除去手法処理としては、例えば文献「ＡｎＡｓｓｏｃｉａｔｅ−ＰｒｅｄｉｃｔＭｏｄｅｌｆｏｒＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ，２０１１」に記載の技術を用いることができる。この文献には、約３０度の横向きの顔画像を正面向きの顔画像に変換する処理が記載されている。本実施形態では、顔画像の向きを変換する処理を応用して、隠れのある画像から隠れのない画像を再構成する。具体的には、図８に示すように、或る人物の顔画像として、例えば手の画像８２１，８２３や他人の顔画像８２３により顔が隠れている隠れ顔画像８０１Ａ〜８０３Ａの隠れあり画像群８２０と隠れの無い顔画像８１１Ａ〜８１３Ａの隠れなし画像群８２１を集める。そして、隠れあり画像群８２０の隠れ顔画像８０１Ａ〜８０３Ａと、隠れなし画像群８２１の隠れの無い顔画像８１１Ａ〜８１３Ａとを関連付けておく。

ここで、顔画像が隠れ顔画像か隠れの無い顔画像であるかについては、例えば顔器官を検出するアルゴリズムを活用して、顔器官が検出できなかったら場合に隠れ顔画像であると判定すればよい。顔器官の検出手法については、文献「摂動特徴量による顔画像に対する形状モデルフィッティング，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９４−Ｄ，Ｎｏ．４，ｐｐ．７２１−７２９」に記載の手法を用いることができる。

また、隠れ顔画像か隠れの無い顔画像であるかの判定は、顔認証処理で得られた類似度に基づいて行ってもよい。具体的には、左目、右目、鼻および口を含む局所領域を設定して、登録画像に隠れがない状態の顔画像に対して、局所領域ごとの類似度を求めて、その類似度から隠れ顔画像か否かを判断する。つまり、局所領域の類似度が極端に落ちた場合には、隠れ顔画像であると判断する。そして、例えば、隠れ顔画像８０１Ａ〜８０３Ａについて、顔向きを変換する処理を適用して手の画像や他人の画像で覆われる範囲を少なくした上で、隠れの無い顔画像８１１Ａ〜８１３Ａのペアを用いた前述の第１の実施形態と同様の再構成処理を行う。これにより、隠れのない画像が再構成される。

また、以上の隠れ顔画像判定により隠れの無い画像の生成は容易であるが、隠れ顔画像を集めるのは容易ではない。本実施形態において、隠れ顔画像については例えば画像合成により生成することも可能である。例えば、マラソン大会で起こりそうな他人の手や顔が重なった画像を、画像合成により予め生成する。つまり、隠れの無い画像に対して、予め用意した手や他人の頭のパーツ画像を合成することで、隠れ顔画像を生成する。これにより、図８で示したような隠れ顔画像８０１Ａ〜８０３Ａの隠れあり画像群８２０を生成し、それら隠れあり画像群８２０と隠れなし画像群８２１とを関連付けることができる。図８に示したような隠れ顔画像８０１Ａ〜８０３Ａと隠れの無い顔画像８１１Ａ〜８１３Ａとが関連付けられた辞書を作成した後、再構成部１０５は、画像選択部１０４で選択された撮影画像から隠れの無い高画質な画像を再構成する。すなわち、再構成部１０５は、顔向きを変換する処理を行った上で、同一人物の隠れ顔画像から線形結合係数Ｃ₁，Ｃ₂，・・・，Ｃ_Mを求め、それら係数を使って、隠れの無い画像を線形結合により再構成する。なお、この場合の線形結合係数Ｃ₁，Ｃ₂，・・・，Ｃ_Mは、次式（１）に示した二重絶対値の式を展開することで、求めることができる。

ｍｉｎ｜｜ｘ−Ｉ_occludedα｜｜₂ 式（１）

式（１）において、ｘは画像選択部１０４にて選択された撮影画像、Ｉ_occludedは図８に示す隠れ顔画像群、αは線形結合係数Ｃ₁，Ｃ₂，・・・，Ｃ_Mである。以上のように、再構成部１０５は、画像選択部１０４で選択された撮影画像を、図８に示した辞書を用いることで、隠れの無い顔画像に変換するような再構成処理を行う。

以上説明したように、第２の実施形態の画像提示装置は、同一人物における隠れ顔画像と隠れのない顔画像の辞書を用いて、隠れ顔画像から隠れの無い顔画像を再構成することで、より自然な隠れのない顔画像を提示可能となる。したがって、本実施形態によれば、価値が高いシーンの撮影画像内の顔画像が隠れ顔画像になっていたとしても、より自然な隠れの無い顔画像の高品質な画像を提示することが可能となり、出場者に対して購買を促すことができる。

＜第３の実施形態＞
第３の実施形態の画像提示装置は、例えばベストショット画像の顔画像が無表情であった場合に、笑顔の顔画像へ変換する表情変換処理が可能となされている。顔画像の表情変換処理を実現する場合、先ず、例えば９に示すように、同一人物の笑顔の顔画像１６００Ａ〜１６０２Ａからなる笑顔画像群１６２０と、無表情の顔画像１６１０Ａ〜１６１２Ａからなる無表情画像群１６２１を予め集めておく。次に、笑顔画像群１６２０と無表情画像群１６２１の各画像に基づいて、無表情の顔画像から笑顔の顔画像へ変換するための学習情報（事前知識）を生成する。この学習情報を参照することにより、例えば無表情の顔画像から笑顔の顔画像への表情変換処理が実現可能となる。

その他にも、無表情から笑顔への変換は、コンピュータグラフィック（ＣＧ）処理により行ってもよい。ＣＧ処理による無表情から笑顔への表情変換処理は、例えば無表情の顔画像を３次元モデルに貼り付け、笑顔の度合いを決めて２次元画像に戻すことで笑顔画像を生成するような表情変換処理を挙げることができる。

なお、笑顔への変換処理は、例えば顔の口の両端の特徴点の座標や目の端点の座標等を移動させるような処理を挙げることができる。例えば、口の両端の特徴点の座標を顔画像の上方向に対応した座標へ移動させたり、目の形状が変わるように目の端点の座標を移動させたりすることにより笑顔の画像を生成できる。そして、第３の実施形態の場合、画像選択部１０４は無表情の顔画像を選択し、再構成部１０５は選択された無表情の顔画像を笑顔の顔画像に変換する再構成処理を行うことになる。この第３の実施形態によれば、ベストショット画像の顔画像が笑顔になっている、価値の高い画像を提示することが可能となり、出場者に対して購買を促すことができる。

＜第４の実施形態＞
第４の実施形態の画像提示装置は、例えばベストショット画像の顔画像が低照度等の影響により、顔画像の一部に陰影ができて不明瞭になっている場合に、陰影の無い明瞭な顔画像へ変換することを可能とする。このような明瞭化処理は、例えば同一人物における照明条件のよい明瞭な顔画像と不明瞭な顔画像とを集め、不明瞭な顔画像から明瞭な顔画像へ変換するための学習情報（事前知識）を用意しておき、その学習情報に基づいて行うことができる。第４の実施形態の場合、画像選択部１０４は不明瞭な顔画像を選択し、再構成部１０５は選択された不明瞭な顔画像を明瞭な顔画像に変換する再構成処理を行うことになる。第４の実施形態によれば、ベストショット画像の顔画像が明瞭な顔画像になっている、価値の高い画像を提示することが可能となり、出場者に対して購買を促すことができる。

＜第５の実施形態＞
第５の実施形態の画像提示装置は、例えばベストショット画像の顔画像が撮影の際の手振れなどの振動の影響によって暈けている場合、暈けの無い明瞭な顔画像へ変換することを可能とする。このような明瞭化処理は、例えば同一人物における暈けのない明瞭な顔画像と、暈けた顔画像とを集めておき、暈けた顔画像から明瞭な顔画像へ変換するための学習情報（事前知識）を用意しておき、その学習情報に基づいて行うことができる。第５の実施形態の場合、画像選択部１０４は暈けた顔画像を選択し、再構成部１０５は選択された暈けた顔画像を暈けのない明瞭な顔画像に変換する再構成処理を行うことになる。第５の実施形態によれば、ベストショット画像の顔画像が暈けのない明瞭な顔画像になっている、価値の高い画像を提示することが可能となり、出場者に対して購買を促すことができる。

＜第６の実施形態＞
第６の実施形態の画像提示装置は、例えばベストショット画像の顔画像の向きが正面を向いていない例えば横向き顔画像であった場合、その横向き顔画像の正面を向いた正面顔画像へ変換する顔向き変換処理が可能となされている。顔向き変換処理を実現する場合、例えば図１０に示すように、同一人物の顔の向きが正面から３０度ずれた顔画像１８００Ａ〜１８０２Ａ等の顔向きあり画像群１８２０と、正面向きの顔画像１８１０Ａ〜１８１２Ａ等の正面向き画像群１８２１を予め集めておく。次に、顔向きあり画像群１８２０と正面向き画像群１８２１の各画像に基づいて、横向きの顔画像から正面向きの顔画像へ変換するための学習情報（事前知識）を生成する。この学習情報を参照することにより、例えば横向きの顔画像から正面向きの顔画像への表情変換処理が実現可能となる。

第６の実施形態の場合、画像選択部１０４は横向き顔画像を選択し、再構成部１０５は選択された横向き顔画像を正面顔画像に変換する再構成処理を行うことになる。第６の実施形態によれば、ベストショット画像の顔が正面を向いた顔画像になっている、価値の高い画像を提示することが可能となり、出場者に対して購買を促すことができる。

なお、第１〜第６の実施形態では、それぞれ再構成処理を個別に行う例を挙げたが、それら各再構成処理のうち２以上の再構成処理を組み合わせて行ってもよい。また、第２〜第６の実施形態においても、前述の第１の実施形態の場合と同様に、対象物体は人物に限定されるものではなく、人物以外の例えば自動車や二輪等、その他の物体であっても同様に、価値の高い画像を提示可能となる。

また、前述の第１〜第６の実施形態では、イベントとしてマラソン大会を例に挙げて説明したが、イベントはマラソン大会以外であってもよい。具体的には、運動会、修学旅行、オリエンテーション、テーマパーク等のイベントで、参加人物の画像を提示する際にも第１〜第６の実施形態は適用可能である。一例として、運動会では、保護者が撮影した撮影画像をワークステーションに集約して対応付けを行うことで、第１〜第６の本実施形態で説明した画像提示が可能である。

図１１は、イベントとして運動会が行われた場合の画像提示の概要を示す図である。この図１１の例において、トラック９００を取り囲むようにして観戦している保護者９１１〜９１７が撮影した画像データを、無線もしくは有線（現実的には無線がよい）により少なくとも１台のワークステーションに集約する。無線の到達距離等の制約により、１台のワークステーションでカバーできない場合は、運動会の会場を複数の区画に分割し、区画ごとにワークステーションを割り当てる。図１１の例の場合、３台のワークステーション９０１〜９０３が割り当てられている。例えば図１１のワークステーション９０２は、近傍の保護者９１６，９１７のカメラから画像データを取得する。各ワークステーション９０１〜９０３は、ネットワークでリンクされており、相互にデータのやり取りが可能となっている。なお、画像提示までの処理時間が懸念事項にならない場合には、保護者９１１〜９１７がそれぞれカメラで撮影された画像データを、例えばメモリカードのような物理的なメモリを用いたハンドキャリーにより、各ワークステーションへ入力してもよい。

ワークステーション９０１〜９０３は、各保護者９１１〜９１７から画像データを集めたのち、前述した図５のフローチャートの処理を実行する。一例として、小顔の顔画像を高解像度化して画像提示する場合は、前述の第１の実施形態で説明した通りの処理を行えばよい。なお、図５のステップＳ５０２の同一物体判定処理では登録画像が必要となるが運動会イベントでも前述同様に予め出場者のバストアップ画像を撮影する等して準備しておけばよい。以上説明したように、第１〜第６の実施形態は、マラソンイベントだけでなく、例えば運動会などの他のイベントにも適用可能である。

前述した各実施形態では、パーソナルコンピュータにより図１の画像提示装置が構成されているが、例えば、ネットワーク等を介して接続されたカメラ、サーバ、パーソナルコンピュータ等を有するシステムで、画像処理装置の各処理を分担することも可能である。一例として、以下のように処理が分かれていてもよい。例えば、カメラが画像取得部１０１の処理を行い、サーバが物体検出部１０２、同一物体判定部１０３、同一物体判定結果記憶部１０７の各処理を行い、パーソナルコンピュータが画像選択部１０４以降の各処理を行ってもよい。また、カメラが画像取得部１０１と物体検出部１０２の各処理を行い、サーバが同一物体判定部１０３、同一物体判定結果記憶部１０７の各処理、パーソナルコンピュータが画像選択部１０４以降の各処理を行ってもよい。これらの組み合わせ例は、あくまでも一例であり、他の組み合わせでもよい。

＜第７の実施形態＞
次に、第７の実施形態について説明する。図１２は、イベントの出場者が画像を購入する際に、画像を検索するためのユーザインターフェイス画面１０００の一例を示す図である。ユーザインターフェイス画面１０００には、複数の撮影画像のサムネイル画像１００１が撮影の時系列順に並べられて表示されており、また、各サムネイル画像１００１の近傍には購入する際に選択されるアイコンボタン１００２も表示されている。そして、出場者は、ユーザインターフェイス画面１０００の複数のサムネイル画像１００１の中から何れかの画像を選択する。具体的には、出場者がサムネイル画像１００１をクリック等により選択すると、ユーザインターフェイス画面１０００には、その選択されたサムネイル画像１００１よりも大きい画像が表示される。出場者は、その表示画像を見て、購買意欲が湧くような画像であるかどうかを確認する。また、ユーザインターフェイス画面１０００に表示されているサムネイル画像１００１の中に、購入の対象になるサムネイル画像１００１が見つからない場合、出場者は、スクロールバー１００３を操作して別のサムネイル画像１００１を表示させる。

このように、出場者は、ユーザインターフェイス画面１０００に表示された複数のサムネイル画像１００１を見ることで、購入の対象となる画像が存在するか確認する作業を行うことになる。しかしながら、ユーザインターフェイス画面１０００に表示されている非常に多くのサムネイル画像の中からベストショットを見つける作業は、出場者にとって負荷が大きい。このため、出場者によっては、その作業を面倒だと思い、購入に至らない可能性がある。また、ユーザインターフェイス画面１０００に表示される画像は、カメラマンが自由に撮影した画像のサムネイル画像であるため、ベストショット画像自体があまりない場合もあり、その場合、出場者は購買意欲自体を無くしてしまうこともある。

そこで、第７の実施形態の画像提示装置は、出場者が簡単にベストショット画像を取得できるユーザインターフェイスを提供する。図１３には、第７の実施形態の画像提示装置の概略構成を示す。図１３の画像提示装置は、画像取得部１１００、物体検出部１１０１、同一物体判定部１１０２、画像選択部１１０３、再構成方法選択部１１０４、再構成部１１０５、調整部１１０６、表示部１１０８、同一物体判定結果記憶部１１０８を有している。画像取得部１１００、物体検出部１１０１、同一物体判定部１１０２、同一物体判定結果記憶部１１０８、表示部１１０７は、図１の画像取得部１０２、物体検出部１０２、同一物体判定部１０３、同一物体判定結果記憶部１０７、表示部１０６と同じである。このため、それらの詳細な説明は省略する。

なお、第７の実施形態の画像提示装置は、前述の実施形態と同様に、例えばコンピュータ等により実現される。例えば、画像取得部１１００、物体検出部１１０１、同一物体判定部１１０２、画像選択部１１０３、再構成方法選択部１１０４、再構成部１１０５、調整部１１０６は、例えばコンピュータのＣＰＵがプログラムを実行することにより実現される。同一物体判定結果記憶部１１０８は、コンピュータのＲＡＭやＨＤＤ等の記憶デバイスの記憶領域の一部が用いられることで実現される。本実施形態のプログラムは、ＲＯＭやＨＤＤに記憶されており、それらから読み出されてＲＡＭに展開され、ＣＰＵにより実行される。ＣＰＵは、本実施形態のプログラムを実行することにより、それら各部及び後述するフローチャートの処理を実行する。

図１３の画像提示装置において、画像選択部１１０３は、同一物体判定結果記憶部１１０８に記憶された撮影画像とその撮影画像に付与された情報に基づいて、特定の人物の撮影画像を選択する。また、本実施形態の場合、画像選択部１１０３は、特定の人物の各撮影画像からそれぞれサムネイル画像を生成する。画像選択部１１０３は、特定の人物の撮影画像とそのサムネイル画像のデータ、撮影画像に付与された情報を、再構成方法選択部１１０４へ出力する。なお、特定の人物とは、出場者が例えばゼッケン番号等に基づいて自身の撮影画像を検索するような場合には、その出場者が特定の人物となり、したがって、画像選択部１１０３は出場者の撮影画像を選択する。

再構成方法選択部１１０４は、画像選択部１１０３で選択された撮影画像に対して、後段の再構成部１１０５で適用するべき再構成処理を選択する。一例として、前述の第１の実施形態で説明した解像度の変換処理、第２の実施形態で説明した隠れ除去処理、第３の実施形態で説明した表情の変換処理、第６の実施形態で説明した顔向きの変換処理等の何れかの再構成処理を選択する。これら再構成処理の選択は、具体的には、出場者からの選択指示に基づいて行われる。

図１４は、出場者が再構成処理を選択する際に、表示部１１０７に表示されるユーザインターフェイス画面１２００の一例を示す。図１４のユーザインターフェイス画面１２００には、再構成処理の対象画像１２０１と、その画像１２０１に対する解像度変換処理、隠れ除去処理、表情変換処理、顔向き変換処理を選択するためのチェックボックス１２０３が表示されている。また、ユーザインターフェイス画面１２００には、再構成処理の実行を出場者が指示する際のチェックボックス１２０２も表示される。出場者は、解像度変換処理、隠れ除去処理、表情変換処理、顔向き変換処理の何れか一つ若しくは複数のチェックボックス１２０３にチェックを入れ、さらに変換処理実行のチェックボックス１２０２にもチェックを入れる。このような出場者による選択指示に基づいて、再構成方法選択部１１０４は、画像選択部１１０３で選択された処理対象の撮影画像に対して再構成部１１０５にて適用される再構成処理を選択する。

再構成部１１０５は、画像選択部１１０３で選択された処理対象の撮影画像に対して、再構成方法選択部１１０４で選択された再構成処理を行う。例えば、解像度変換の再構成処理が選択されている場合には、再構成部１１０５は、前述の第１の実施形態で説明したような低解像度画像を高解像度画像に再構成する処理を行う。また例えば、隠れ除去変換の再構成処理が選択されている場合には、前述の第２の実施形態で説明したような隠れ顔画像を隠れのない顔画像に再構成する処理を行う。他の再構成処理の例についても同様である。再構成部１１０５による再構成処理後の画像のデータは、表示部１１０７へ送られる。

第７の実施形態において、調整部１１０６は、再構成部１１０５で行われる再構成処理の度合いを決めるパラメータを調整する。なお、調整部１１０６が調整するパラメータの詳細については後述する。なお、パラメータの調整は、具体的には、例えば図１５に示すようなスライドバー１３００のレバー１３０２を出場者がスライドさせたときのレバー位置に応じて行われる。図１５の例では、レバー位置がレバー１３０１の位置からレバー１３０２の位置へスライドされた様子を示している。

ここで、第７の実施形態の画像提示装置は、出場者による簡単な操作に応じて、イベントで取得された撮影画像の中から顧客価値が高い画像を提示可能となされている。なお、第７の実施形態においても前述の各実施形態の場合と同様に、イベントとしてマラソン大会を挙げ、出場者にとって価値のある撮影画像を提供する例を挙げる。

以下、第７の実施形態の画像撮影装置における各処理について、図１６のフローチャートを参照しながら説明する。図１６のフローチャートは、図１３に示した各部により行われる処理の流れを示している。なお、図１６のフローチャートのステップＳ１４００〜Ｓ１４０３は、図５のステップＳ５００〜Ｓ５０３と同じであるため、その説明は省略する。

図１６のフローチャートにおいて、画像選択部１１０３は、ステップＳ１４０４の処理として、前述の図５のフローチャートのステップＳ５０４と同様にして全撮影画像の中から、出場者（前述の特定の人物）が含まれる撮影画像を抽出する。そして、画像選択部１１０３は、抽出した各撮影画像の中から、出場者に提示するための撮影画像を選択する。また、第７の実施形態の場合、図１６のステップＳ１４０４では、画像選択部１１０３は、出場者に提示するために選択した各撮影画像から、例えば前述の図１２で説明したような各サムネイル画像を生成してそれらサムネイル画像の一覧を生成する。画像選択部１０４は、選択した各撮影画像と各サムネイル画像のデータを、再構成方法選択部１１０４へ出力する。なお、第７の実施形態の場合、各サムネイル画像は、表示部１１０７へ送られることで、図１２のようにディスプレイ画面上に一覧表示される。

再構成方法選択部１１０４は、ステップＳ１４０５の処理として、前述した図１４のユーザインターフェイス画面１２００で出場者がチェックを入れた再構成処理を選択する。このとき、表示部１１０７のディスプレイ画面上には、図１２のサムネイル画像の中から出場者により選択された画像が、図１４のユーザインターフェイス画面上に表示されている。そして、図１４のユーザインターフェイス画面において、出場者により解像度変換のチェックボックス１２０３にチェックが入れられたとする。これにより、再構成方法選択部１１０４は、出場者により選択された再構成処理の情報（この例では解像度変換処理）を再構成部１１０５へ知らせる。また、再構成方法選択部１１０４は、画像選択部１１０３により選択された各撮影画像やそれらに付与された各情報も同時に、再構成部１１０５へ出力する。

再構成部１１０５は、ステップＳ１４０６の処理として、画像選択部１１０３にて選択された処理対象の撮影画像に対し、再構成方法選択部１１０４で選択された再構成処理を施す。第７の実施形態の場合、再構成方法選択部１１０４では解像度変換の再構成処理が選択されているため、再構成部１１０５は、前述の第１の実施形態と同様に、低解像度画像を高解像度画像へ変換する高画質化処理を行う。すなわち、再構成部１１０５は、画像選択部１１０３で選択された各撮影画像の中から高解像度の撮影画像を集め、それら高解像度の撮影画像に対して縮小画像処理を施して低解像度画像を生成する。また、高解像度の画像と低解像度の画像のペアは、前述の第１の実施形態で説明したのと同様に、高解像度画像内の人物の顔画像に対して、顔の向きと照明光の当たり具合と表情がそれぞれ略々同じになっている低解像度の撮影画像を集めて生成されてもよい。そして、再構成部１０５は、再構成処理として、それら高解像度画像と低解像度画像のペアを用いた高画質化処理を行う。

ここで、第７の実施形態の場合は第１の実施形態とは異なり、再構成部１１０５は、高解像度画像、又は低解像度画像を集める際に、同一物体判定部１１０２で顔認証処理が行われた際の類似度に応じた画像を集める。すなわち、同一物体判定部１１０２で顔認証処理が行われた際に、同一人物の画像か否かの判定には、前述したように類似度が用いられている。同一人物であると判定された画像には、前述したようにそれぞれに類似度の情報が対応付けられているため、類似度が高い値になっている画像は、同一人物の画像である可能性がより高い画像であるといえる。

本実施形態では、再構成部１１０５が画像を集める際に、何れの類似度に対応した画像を集めるのかを、調整部１１０６により調整可能となされている。言い換えると、第７の実施形態の場合、再構成部１１０５は、類似度に応じて画像を収集する際に、何れの類似度を用いるのかを調整して、その調整された類似度に応じた認証結果の画像を集める。また、本実施形態の場合、再構成部１１０５が類似度に応じた画像を収集するようになされているため、同一物体判定部１１０２は、顔認証処理の閾値が「０」〜「１．０」までの各閾値を用いた顔認証結果の画像を取得している。そして、同一物体判定結果記憶部１１０８には、顔認証処理の閾値が「０」〜「１．０」までの各閾値による顔認証結果の画像とそれらに対応した類似度の情報が記憶されている。

このようなことから、第７の実施形態において、調整部１１０６は、図１６のステップＳ１４０７の処理として、再構成部１１０５で画像を収集する際の類似度のパラメータ調整（顔認証結果の調整）が行われたか否か判定する。ここで、調整部１１０６による調整は、例えば図１５に示したスライドバー１３００のレバー１３０２を出場者がスライドさせたときのレバー位置に応じて行われる。スライドバー１３００は、出場者がレバー１３０２の位置を動かすことで、顔認証処理の閾値の「０」〜「１．０」に対応した類似度を選ぶために、ユーザインターフェイス画面上に表示されるものである。したがって、再構成部１１０５は、顔認証処理の閾値に対応した類似度が「１．０」の値に近づくほど、顔認証の際に同一人物により近いと判定された認証結果の画像を収集することになる。逆に、「０」の値に近づくほど、再構成部１１０５は、緩い同一人物判定による認証結果の画像を収集することになる。そして、スライドバー１３００のレバー１３０２をスライドさせることによる調整がなされる毎に、再構成部１１０５は、その調整後の値によりステップＳ１４０６での画像の収集を行う。

このように、第７の実施形態では、再構成部１１０５は、調整部１１０６により調整された顔認証処理の閾値に対応する類似度に基づいて画像を集め、それにより生成された高解像度画像と低解像度画像のペアを用いて、高画質化処理を行う。ここで、類似度のパラメータが、顔認証処理の閾値の「１．０」に近い値に調整されて、より厳しい顔認証結果の画像が集められた場合、再構成部１１０５による高画質化処理で得られる画像は、より出場者本人らしい画像になる。ただし、このとき得られる画像は、見かけ上の差異が目立ち易い画像となる。

一方、類似度が、顔認証処理の閾値の「０」に近い値に調整されて、より緩い顔認証結果の画像が集められた場合、再構成部１１０５による高画質化処理で得られる画像は、出場者本人らしさが少ない画像になる。ただし、このとき得られる画像には、様々な人物画像による画像に基づいて再構成された画像となるため、それら各画像の差異が互いにキャンセルされて、見かけ上は差異が少なくある程度似通った画像となる。上述したような調整部１１０６での類似度のパラメータ調整が終わり、再構成部１１０５で高画質化処理が行われると、再構成部１１０５で高画質化処理がなされた高解像度画像のデータは、表示部１０６に送られる。

表示部１０６は、再構成部１０５から各高解像度画像のデータを受け取ると、ステップＳ１４０８の処理として、それらの画像をディスプレイ等の表示装置に表示させる。ディスプレイ画面上に表示される各画像は、出場者にとって価値が高く、出場者が購入したいと思うような高解像度画像になっている。なお、ディスプレイ画面上に表示された各画像を見た出場者が、それら表示画像に満足できなかった場合、出場者は、図１５のスライドバー１３００のレバー１３０２を操作することで、類似度のパラメータの微調整が可能である。この場合、再構成部１１０５では、微調整されたパラメータに基づく画像の収集が行われて、再構成処理が行われることになる。

以上説明したように、第７の実施形態の画像提示装置は、再構成処理の調整が可能であり、それにより出場者にとって、より購買意欲が湧く画像の提示が可能となる。なお、第７の実施形態は、物体として人物を対象としたが、人物に限定されるものではなく、人物以外の例えば自動車や二輪等、その他の物体であっても同様に、より購買意欲が湧く画像を提示可能となる。

＜第８の実施形態＞
次に、第８の実施形態として、前述した第２の実施形態と同様に隠れ顔画像が扱われる場合について説明する。第８の実施形態では、第７の実施形態と同様の画像提示装置において、前述の第２の実施形態と同様にして隠れ顔画像から隠れがない状態の画像を再構成して提示する。第８の実施形態の画像提示装置の構成は図１３と同じであり、各部における処理は前述の第２の実施形態の場合と略々同様である。以下、第８の実施形態において、第７の実施形態，第２の実施形態とは異なる処理について、図１６のフローチャートを参照しながら説明する。

第８の実施形態の場合、前述の図１４のユーザインターフェイス画面１２００において、隠れ除去処理に対応したチェックボックス１２０３にチェックが入れられ、変換処理実行のチェックボックス１２０２にもチェックが入れられていることになる。したがって、再構成方法選択部１１０４は、ステップＳ１４０５において、再構成部１１０５で適用される再構成処理として、隠れ除去処理を選択する。これにより、再構成部１１０５は、ステップＳ１４０６の再構成処理において前述の第２の実施形態で説明した隠れ除去処理を実行する。

次のステップＳ１４０７では、調整部１１０６は、再構成部１１０５による再構成処理のパラメータの調整が行われたか否か判定する。第８の実施形態の場合、調整部１１０６は、隠れ顔画像において、手や他人の頭等のパーツ画像による顔画像の隠れ具合、言い換えると、隠れ除去具合を調整する。隠れ具合の調整は、パーツ画像が顔画像の何パーセントを覆うかを決める隠れ量の閾値を調整することにより行われる。より具体的には、調整部１１０６による隠れ具合の調整は、図１７に示すようなスライドバー１５００のレバー１５０２を出場者がスライドさせたときのレバー位置に応じて行われる。

なお、図１７の例では、レバー位置がレバー１５０１の位置からレバー１５０２の位置へスライドされた様子を示している。スライドバー１５００は、出場者がレバー１５０２の位置を動かすことで、パーツ画像が顔画像の何パーセントを覆うかを決める隠れ量の閾値を「０％」〜「１００％」の値に調整するために、ユーザインターフェイス画面上に表示されるものである。隠れ量の閾値は、「１００％」に近づくほどパーツ画像により顔画像が覆われる量が多くなり、逆に「０％」に近づくほどパーツ画像により顔画像が覆われる量が少なくなる。そして、スライドバー１５００のレバー１５０２をスライドさせることによって閾値の調整がなされる毎に、再構成部１１０５は、その調整後の閾値によりステップＳ１４０６でパーツ画像による顔画像の隠れ具合を調整した再構成処理を行う。具体的には、再構成部は、調整されたパラメータの隠れ具合に対応した画像を集めて、それら画像から顔画像を再構成する。このようにして再構成部１１０５で隠れ除去具合が調整されて再構成された画像のデータは、表示部１０６に送られる。

表示部１０６は、再構成部１０５から各画像のデータを受け取ると、ステップＳ１４０８の処理として、それらの画像をディスプレイ等の表示装置に表示させる。すなわち、ディスプレイ画面上に表示される各画像は、出場者にとって価値が高く、出場者が購入したいと思うような画像になっている。なお、ディスプレイ画面上に表示された各画像を見た出場者が、それら表示画像に満足できなかった場合、出場者は、図１７のスライドバー１５００のレバー１５０２を操作することで、閾値の微調整が可能である。この場合、再構成部１１０５では、微調整された閾値に基づく隠れ除去処理が行われて、再構成処理が行われることになる。

以上説明したように、第８の実施形態の画像提示装置は、再構成処理における隠れ除去具合の調整が可能であり、それにより出場者にとって、より購買意欲が湧く画像の提示が可能となる。なお、第８の実施形態は、物体として人物を対象としたが、人物に限定されるものではなく、人物以外の例えば自動車や二輪等、その他の物体であっても同様に、より購買意欲が湧く画像を提示可能となる。

＜第９の実施形態＞
第９の実施形態では、前述した第３の実施形態と同様に顔画像の表情を変える表情変換処理を行う場合について説明する。第９の実施形態では、第７の実施形態と同様の画像提示装置において、前述の第３の実施形態と同様にして無表情の顔画像から笑顔の顔画像へ変換する表情変換処理により画像の再構成を行う。

第９の実施形態の場合、前述の図１４のユーザインターフェイス画面１２００において、表情変換処理に対応したチェックボックス１２０３にチェックが入れられ、変換処理実行のチェックボックス１２０２にもチェックが入れられていることになる。したがって、再構成方法選択部１１０４は、ステップＳ１４０５において、再構成部１１０５で適用される再構成処理として、表情変換処理を選択する。これにより、再構成部１１０５は、ステップＳ１４０６の再構成処理において前述の第３の実施形態で説明したのと同様に、例えば無表情の顔画像を笑顔の顔画像に変換するような表情変換処理を実行する。

また、第９の実施形態の場合、図１６のステップＳ１４０７では、調整部１１０６は、再構成部１１０５による再構成処理のパラメータ調整として、顔画像の表情における笑顔の度合い（笑顔度）の調整が行われたか否か判定する。第９の実施形態において、調整部１１０６における笑顔度の調整は、前述のＣＧ処理を例に挙げた場合、口の両端の特徴点の座標や目の端点の座標の移動量を調整することにより行われる。

また、第９の実施形態において、笑顔度の調整は、図１８に示すようなスライドバー１７００のレバー１７０２を出場者がスライドさせたときのレバー位置に応じて行われる。なお、図１８の例では、レバー位置がレバー１７０１の位置からレバー１７０２の位置へスライドされた様子を示している。スライドバー１７００は、出場者がレバー１７０２の位置を動かして笑顔度を「０」〜「１．０」の値に調整するために、ユーザインターフェイス画面上に表示されるものである。笑顔度が「１．０」に近づくほど笑顔画像になり、逆に「０」に近づくほど無表情になる。そして、スライドバー１７００のレバー１７０２をスライドさせることによって笑顔度の調整がなされる毎に、再構成部１１０５は、ステップＳ１４０６において、その調整後の笑顔度に応じた顔画像を再構成する。このようにして再構成部１１０５で笑顔度が調整された後の画像のデータは、表示部１０６に送られる。

なお、第９の実施形態では、出場者からみて、最も受け入れやすい笑顔の画像を生成するために再構成処理のパラメータ調整がなされている。したがって、出場者によっては、笑顔度が「１．０」となされて再構成された笑顔画像を不自然な笑顔であると捉える人もいると考えられる。このため、本実施形態では、図１８のスライドバー１７００を用意し、レバー１７０２の位置操作により、出場者が好む笑顔の顔画像を再構成可能としている。

第９の実施形態によれば、ベストショット画像の顔画像が出場者にとって最も好ましい笑顔になっている、価値の高い画像を提示することが可能となり、出場者に対して購買を促すことができる。第９の実施形態は、物体として人物を対象としたが、人物に限定されるものではなく、人物以外の例えば自動車や二輪等、その他の物体であっても同様に、より購買意欲が湧く画像を提示可能となる。

＜第１０の実施形態＞
第１０の実施形態では、前述した第６の実施形態と同様に顔画像の向きを変える顔向き変換処理を行う場合について説明する。第１０の実施形態では、第７の実施形態と同様の画像提示装置において、前述の第６の実施形態と同様にして顔の向きを変換する顔向き変換処理により画像の再構成を行う。

第１０の実施形態の場合、前述の図１４のユーザインターフェイス画面１２００において、顔向き変換処理に対応したチェックボックス１２０３にチェックが入れられ、変換処理実行のチェックボックス１２０２にもチェックが入れられていることになる。したがって、再構成方法選択部１１０４は、ステップＳ１４０５において、再構成部１１０５で適用される再構成処理として、顔向き変換処理を選択する。これにより、再構成部１１０５は、ステップＳ１４０６の再構成処理において前述の第６の実施形態で説明したのと同様に、例えば横向きの顔画像を正面向きの顔画像に変換するような顔向き変換処理を実行する。

また、第１０の実施形態の場合、図１６のステップＳ１４０７では、調整部１１０６は、再構成部１１０５による再構成処理のパラメータ調整として、顔の向きの方向と角度を調整するか否か判定する。第１０の実施形態において、調整部１１０６における顔向き調整は、図１９に示すように、顔向きの方向を指示するチェックボックス１９１０へのチェックと、スライドバー１９００のレバー１９０２を出場者がスライドさせたときのレバー位置に応じて行われる。

なお、図１９の例では、レバー位置が、レバー１９０１の位置からレバー１９０２の位置へスライドされた様子を示している。チェックボックス１９１０は、何れか一つが選択されてチェックが入れられた場合、それ以外のチェックボックスは選択できないようになされている。スライドバー１９００は、出場者がレバー１９０２の位置を動かして顔向きの角度を「０度」〜「４５度」や「０度」〜「９０度」の値に調整するために、ユーザインターフェイス画面上に表示されるものである。顔向きの角度が「０度」に近づくほど正面向きの顔画像１９２０になり、「４５度」や「９０度」に近づくほど顔がその角度に向けられた顔画像１９２１〜１９２４になる。

そして、スライドバー１９００のレバー１９０２をスライドさせることによって顔向きの調整がなされる毎に、再構成部１１０５は、ステップＳ１４０６において、その調整後の顔向きの方向と角度になった顔画像を再構成する。具体的には、再構成部は、調整されたパラメータに対応した画像を集めて、それら画像から顔画像を再構成する。このようにして再構成部１１０５で顔向きの調整された後の画像のデータは、表示部１０６に送られる。

第１０の実施形態によれば、ベストショット画像の顔画像が正面向きの顔画像となる、価値の高い画像を提示することが可能となり、出場者に対して購買を促すことができる。第９の実施形態は、物体として人物を対象としたが、人物に限定されるものではなく、人物以外の例えば自動車や二輪等、その他の物体であっても同様に、より購買意欲が湧く画像を提示可能となる。

＜他の実施形態＞
その他、第７の実施形態と同様の画像提示装置において、低照度等の影響により顔画像の一部に陰影ができて不明瞭になっている場合に、前述の第４の実施形態と同様にして陰影の無い明瞭な顔画像へ変換することも可能である。また、第７の実施形態と同様の画像提示装置において、手振れ等の影響により顔画像が暈けている場合に、前述の第５の実施形態と同様にして、暈けた顔画像を明瞭な画像へ変換することも可能である。これらの例においても、対象となる物体は人物以外の例えば自動車や二輪等、その他の物体であってもよい。また、第７以降の各実施形態においても前述同様に、イベントはマラソン大会以外であってもよく、例えば運動会のイベントにおいて図１１で説明したようなワークステーションを用いた例の適用が可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００，１１００画像取得部、１０２，１１０１物体検出部、１０３，１１０２同一物体判定部、１０４，１１０３画像選択部、１０５，１１０５再構成部、１０６，１１０７表示部、１０７，１１０８同一物体判定結果記憶部、１１０４再構成方法選択部

Claims

複数の撮影画像から、所定の対象物に対応した部分の領域画像を検出する検出手段と、
検出された複数の前記所定の対象物の領域画像の中で、特定の対象物に対応した領域画像を類似度に基づいて判定して、該領域画像を前記特定の対象物に対応付ける対応付け手段と、
前記複数の撮影画像の中から、前記特定の対象物の画像が低解像度となっている撮影画像を、処理対象の撮影画像として選択する選択手段と、
前記複数の撮影画像の中から、前記特定の対象物の画像が高解像度となっている複数の撮影画像を収集し、該収集された高解像度の画像のそれぞれから低解像度の画像を生成して、高解像度の画像と低解像度の画像との複数のペアを生成する生成手段と、
前記生成手段で生成された複数の低解像度の画像に個別の係数を乗じて加算した線形和により前記処理対象の撮影画像を近似する近似手段と、
前記生成手段で収集された複数の高解像度の画像にそれぞれとペアとなる低解像度の画像に対する前記近似における係数と同一の係数を乗じて加算した線形和により、前記処理対象の撮影画像に対応する高解像度の画像を再構成して表示する再構成手段と、
前記再構成手段による前記高解像度の画像の表示後に、前記対応付け手段による前記判定における類似度の度合いを決めるパラメータを調整して、前記生成手段により収集される高解像度の画像を調整する調整手段と
を有することを特徴とする画像処理装置。
前記検出手段は、前記所定の対象物に対応した部分の領域画像として人物画像を検出し、
前記対応付け手段は、前記検出手段により検出された複数の人物画像の中で、特定の人物に対応した人物画像の顔画像を、前記特定の人物に対応付けることを特徴とする請求項１に記載の画像処理装置。
前記判定における類似度の度合いをユーザが設定するためのユーザインターフェイス画面の画像を生成する画像生成手段を有し、
前記調整手段は、前記ユーザが前記ユーザインターフェイス画面を介して設定した前記判定における類似度の度合いに基づいて、前記パラメータを調整することを特徴とする請
求項１に記載の画像処理装置。
検出手段が、複数の撮影画像から、所定の対象物に対応した部分の領域画像を検出するステップと、
対応付け手段が、検出された複数の前記所定の対象物の領域画像の中で、特定の対象物に対応した領域画像を判定して、該領域画像を前記特定の対象物に対応付けるステップと、
選択手段が、前記複数の撮影画像の中から、前記特定の対象物の画像が低解像度となっている撮影画像を、処理対象の撮影画像として選択するステップと、
生成手段が、前記複数の撮影画像の中から、前記特定の対象物の画像が高解像度となっている複数の撮影画像を収集し、該収集された高解像度の画像のそれぞれから低解像度の画像を生成して、高解像度の画像と低解像度の画像との複数のペアを生成するステップと、
近似手段が、前記生成された複数の低解像度の画像に個別の係数を乗じて加算した線形和により前記処理対象の撮影画像を近似するステップと、
再構成手段が、前記収集された複数の高解像度の画像にそれぞれとペアとなる低解像度の画像に対する前記近似における係数と同一の係数を乗じて加算した線形和により、前記処理対象の撮影画像に対応する高解像度の画像を再構成して表示するステップと、
調整手段が、前記再構成手段による前記高解像度の画像の表示後に、前記対応付け手段による前記判定における類似度の度合いを決めるパラメータを調整して、前記生成手段により収集される高解像度の画像を調整するステップと
を含むことを特徴とする画像処理方法。
コンピュータを、請求項１〜３の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。