JP5737387B2 - 画像処理装置 - Google Patents

Description

本願開示は、一般に画像処理装置及び画像処理方法に関し、詳しくは画像を合成する画像処理装置及び画像処理方法に関する。

情報化社会が発達していく中で情報漏洩が問題になっている。特に紙媒体の情報漏洩を防ぐ技術の開発が急務となっている。

特許文献１には、バイナリデータを画像として印刷物に張り付ける２次元コードの技術が開示されている。この画像は、２次元のマトリックス形状にデータをコード化したものである。デコード時には、付加された位置決め用のマーカを用いてコードの位置を検出し、印刷後コードの情報を読み取る。

特許文献２は、印刷物の暗号化に関する技術を開示しており、暗号化する領域の画素値を規則的に変換することで暗号化を行う。読み取り機は、暗号化時に配置された位置検出用のマーカを検出することによって暗号化領域の位置を特定し、復号処理を行う。

特許文献３は、画像を複数のブロックに分割し、これらのブロックをスクランブルすることにより、画像を暗号化する。また、劣化した画像の各ブロックの位置を復号時に検出できるように、各ブロックの境界位置を示す境界マーカを画素値変換により生成し、暗号化画像に含める。なお、カメラ等の機器により暗号化画像を撮影した撮影画像には、手振れやぼけ等の画像劣化が含まれる。特許文献４に開示の技術では、そのような劣化を含む画像を復号処理の対象から除くために、上記位置検出用マーカのエッジ部の特徴よりボケ具合を判断し、ぼけ画像を除去する。

デジタルカメラなどのＣＭＯＳセンサにおけるローリングシャッタ方式では、一枚の画像の撮影時間がラインごとに異なるために、画像領域毎に手ぶれの度合いが異なる。また３次元的な歪みにより、一枚の画像中でピントがずれてしまう部分が発生する場合もある。このように一枚の画像中に部分的に手ぶれやピンぼけ等の劣化が含まれる場合、当該画像は復号化対象としては適切でないと判断され、通常は、復号化処理に利用されない。そのため、復号化処理を行なう際に劣化を含まない画像が入力されるまで待つことになり、復号までの待ち時間がかかるという問題がある。逆に待ち時間を短縮するためには、劣化を含む画像に基づいて復号化を行なうことになり、読み取る情報が劣化してしまう可能性がある。

特許第２９３８３３８号公報 特許４３４８３８１号公報 特開２００９−２３２１２９号公報 特願２０１０−０６２６９４号

以上を鑑みると、部分的に劣化が含まれる画像から復号化の対象として適切な画像を生成する画像処理装置及び画像処理方法が望まれる。

画像処理装置は、１つ以上の画像中の各ブロックについて、ブロックのデータの劣化度を算出する画像劣化測定部と、画像中の各ブロックについて、複数の画像の着目ブロックのデータから算出した複数の前記劣化度を比較し、前記複数の画像のうちで最も劣化の小さな１つの画像の着目ブロックのデータを選択する劣化判定部と、複数のブロックについて前記選択された最も劣化の小さなデータを合成して一枚の画像を生成する画像合成部と、画像を取り込む画像入力部を含み、前記画像入力部により取得した前記複数の画像に基づいて前記画像合成部が生成した前記一枚の画像中に、所定の劣化度よりも劣化が大きいブロックが含まれていると判定された場合、前記画像入力部により１つ又は複数の画像を新たに取得し、前記劣化判定部が、前記新たに取得した１つ又は複数の画像から、前記劣化が大きいブロックについて前記所定の劣化度よりも劣化が小さいブロックのデータを選択し、前記画像合成部が、当該選択された劣化が小さいブロックのデータを用いて一枚の画像を再度生成することを特徴とする。

本願開示の少なくとも１つの実施例によれば、部分的に劣化が含まれる複数の画像から、復号化の対象として適切な１つの合成画像を生成することができる。

画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置の機能ブロック構成の一例を示す図である。 図２の画像処理装置を組み込んだカメラ付き携帯電話の動作を説明するための図である。 画像合成装置の機能構成の一例を示す図である。 図４の画像合成装置の動作を説明するための図である。 位置検出用のマーカの例を示す図である。 ブロック位置の検出用の画素値変化について説明するための図である。 ブロック検出について説明するための図である。 テンプレートと画像エッジとのパターンマッチングにより劣化度を測定する例を示す図である。 画像劣化測定部により画像中の各ブロックについて算出した劣化度の一例を示す図である。 劣化判別処理の流れを示すフローチャートである。 劣化判定部による処理の一例を示す図である。 アフィン変換を説明する図である。 画像合成部による画像合成処理の一例を示す図である。 画像合成装置の機能構成の変形例を示す図である。 図１５の劣化判定部の処理の流れを示すフローチャートである。 図１５の劣化判定部による処理の一例を示す図である。

以下に、本発明の実施例を添付の図面を用いて詳細に説明する。

図１は、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１４００は、ＣＰＵ（Central Processing Unit）１４０１、ＲＯＭ（Read Only Memory）１４０２、ＲＡＭ（Random Access Memory）１４０３、及びＨＤＤ（Hard Disk Drive）１４０４を含む。画像処理装置１４００は更に、グラフィック処理装置１４０５、入力インタフェース１４０６、記録媒体読取装置１４０７、及び通信インタフェース１４０８を含む。

ＣＰＵ１４０１は、画像処理装置１４００の全体を制御する。ＲＯＭ１４０２は、画像処理装置１４００上のＢＩＯＳ（Basic Input / Output System）のプログラムなどを記憶する。ＲＡＭ１４０３は、ＣＰＵ１４０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションソフトウェア（以下、アプリケーションという）のプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１４０３は、ＣＰＵ１４０１による処理に必要な各種データを記憶する。

ＨＤＤ１４０４は、ＯＳのプログラムや、アプリケーションのプログラムを記憶する。またＨＤＤ１４０４は、ＣＰＵ１４０１による処理に必要な各種データを記憶する。なお、ＨＤＤ１４０４に代えて（または、ＨＤＤ１４０４と併せて）、ＳＳＤ（Solid State Drive）など他の種類の記憶装置を用いてもよい。

グラフィック処理装置１４０５は、モニタ１４０９と接続される。グラフィック処理装置１４０５は、ＣＰＵ１４０１からの命令に従って、画像をモニタ１４０９の画面に表示させる。入力インタフェース１４０６は、キーボード１４１０及びマウス１４１１と接続される。入力インタフェース１４０６は、キーボード１４１０やマウス１４１０から送られてくる信号をＣＰＵ１４０１に送信する。

記録媒体読取装置１４０７は、記録媒体１４１２に記憶されたデータを読み取る読取装置である。例えば、画像処理装置１４００が有する機能は、その機能の処理内容を記述したプログラムをコンピュータが実行することで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体１４１２に記録して配布できる。また、ネットワーク１４１３に接続されたプログラム配信サーバ（図示せず）にプログラムを格納してもよい。この場合、画像処理装置１４００は、ネットワーク１４１３を介してプログラム配信サーバからプログラムをダウンロードできる。

記録媒体１４１２は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリであってよい。磁気記録装置は、ＨＤＤ、フレキシブルディスク（ＦＤ：Flexible Disk）、磁気テープ等であってよい。光ディスクは、ＣＤ（Compact Disc）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−Ｒ／ＲＷ／ＲＡＭ等であってよい。光磁気記録媒体は、ＭＯ（Magneto-Optical disk）等であってよい。半導体メモリは、ＵＳＢ（Universal Serial Bus）メモリ等のフラッシュメモリであってよい。

図２は、画像処理装置の機能ブロック構成の一例を示す図である。画像処理装置１５００は、撮像ユニット１５０２、画像合成ユニット１５０３、画像復号ユニット１５０４、及び画像表示ユニット１５０５を含む。なお図２及び以後の同様の図において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された１つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の１つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された１つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の１つの機能を示したものであってもよい。

撮像ユニット１５０２は、入力画像１５０１を画像データとして画像処理装置に取り込む。撮像ユニット１５０２は、例えばカメラやスキャナ等であってよい。画像合成ユニット１５０３は、撮像ユニット１５０２が取り込んだ複数の入力画像から１枚の画像を合成して出力する。画像復号ユニット１５０４は、例えば特許文献２や特許文献３の方法を用いることにより、暗号化された領域を所定の鍵により復号する。画像復号ユニット１５０３において復号に使用する鍵は、メモリに予め保持しておいてよい。あるいは、復号処理の際、鍵となるキーフレーズをユーザに入力させてもよい。画像表示ユニット１５０５は、画像復号ユニット１５０４で復号した画像を表示する。

図３は、図２の画像処理装置を組み込んだカメラ付き携帯電話の動作を説明するための図である。例えば特許文献２や特許文献３の方法を用いることにより、入力画像１５００から暗号化画像１５１１を作成し、印刷物１５９７を作成する。カメラ付き携帯電話１５０８に付属しているカメラ（図２の撮像ユニット１５０２）により、印刷物１５０７を撮影する。カメラ付き携帯電話１５０８内部の画像合成ユニット１５０３及び画像復号ユニット１５０４（図２参照）により画像合成処理及び画像復号処理を実行し、復号結果１５０９を携帯電話のディスプレイ等に表示する。この例では、印刷物１５０７上の暗号化画像を復号した復号結果１５０９が「ＡＢＣＤ」として携帯電話のディスプレイ等に表示される。

図４は、画像合成装置の機能構成の一例を示す図である。図５は、図４の画像合成装置の動作を説明するための図である。図４の画像合成装置１０２は、図２の撮像ユニット１５０２及び画像合成ユニット１５０３の部分に相当する。画像合成装置１０２は、入力部１０３、領域検出部１０４、ブロック分割部１０５、画像劣化測定部１０６、劣化判定部１０７、画像合成部１０８、合成画像判定部１０９、及び出力部１１０を含む。入力部１０３は、例えば図３に示す印刷物１５０７の暗号化画像等を撮像し、入力画像１０１を取り込む。

まず図５を参照し、図４の画像合成装置１０２の画像合成動作の概略について説明する。画像合成装置１０２のカメラ等の入力部１０３が、入力画像（撮像対象画像）１０１を撮像することにより、図５に入力画像データ１１２として示すように、異なる時間に撮像された異なる複数枚の画像データが得られる。これら複数枚の画像データを用いて、画像合成装置１０２の画像劣化測定部１０６が、画像中の各ブロックについて、ブロックのデータの劣化度を算出する。具体的には、例えば画像が３×３のブロックに分割される場合、計９つのブロックの各々について、図５に示す複数の入力画像１１２の各々の対応するブロックのデータのぼけの度合いを判定する。次に、劣化判定部１０７が、画像中の各ブロックについて、複数の画像の着目ブロックのデータの劣化度に基づいて、複数の画像のうちの１つの画像の着目ブロックのデータを選択する。例えば画像左上のブロックＢ１を着目ブロックとした場合、複数の入力画像１１２の各々のブロックＢ１のデータの劣化度を比較し、最も劣化の小さな入力画像の着目ブロックＢ１のデータを選択する。図５の例では、画像１１３−１乃至１１３−３のうちで、画像１１３−２のブロックＢ１のデータが、ブロックＢ１について最も劣化の少ないデータとして選択される。この選択結果に基づいて、画像合成部１０８が、複数のブロックについて選択されたブロックのデータを合成して一枚の画像を生成する。図５に模式的に示す例では、画像１１３−１からは右上の３つのブロックのデータが選択され、画像１１３−２からは左側の列の３つのブロックのデータ及び中央のブロックのデータが選択され、画像１１３−３からは右下の２つのブロックのデータが選択される。画像合成部１０８は、これらの選択されたブロックを纏めて繋ぎ合わせることにより、一枚の合成画像１１４を生成する。

以下に、画像合成装置１０２の動作を詳細に説明する。

入力画像１０１は、例えば特許文献２や特許文献３に記載されるように、例えば、暗号化前の元の画像を複数のブロックに分割し、ブロック位置を並べ替えてスクランブルを行う。さらに、ブロックの位置を検出するためにブロックの一部（例えば左上隅）の画素値を所定の規則に従って変換したり、画像領域の位置を検出するための位置検出用のマーカを画像に付加する。例えば、例えば四隅に位置検出用のマーカを付加することにより、入力画像１０１が得られる。

図６は、位置検出用のマーカの例を示す図である。マーカ２０１は、一例として図６（ａ）に示すように特定のパターン形状のものであればよい。図６（ｂ）に示すように、例えば画像領域２０２の四隅に、位置検出用のマーカ２０３を付加することにより、暗号化画像を含む画像領域２０２の位置を特定する。

図４を再び参照し、領域検出部１０４が、位置検出用のマーカに基づいて、入力画像１０１の撮像データ中の画像領域を検出する。ブロック分割部１０５は、領域検出された画像領域を複数のブロックに分割する。この際、撮像対象である入力画像１０１（例えば図３の印刷物１５０７に印刷された画像）においては、ブロックの位置を検出できるように、画像の特定の位置の画素値を変換してある。

図７は、ブロック位置の検出用の画素値変化について説明するための図である。画像３０１は画素値変換前の画像であり、画像３０２は画素値変換後の画像である。画素値変換により、例えば各ブロックの左上隅の縦２×横２ドットの画素値が変換され、ブロックの境界を示す「境界マーカ」として機能する。なお画素値変換は、例えば白黒反転や、画素値のシフト等により実現される。

図８は、ブロック検出について説明するための図である。図８（ａ）に示す画像４０１は、画素値変換を行った入力画像であり、ブロックの境界を示す境界マーカが含まれている。図８（ｂ）に示す画像４０２は、画像４０１にメディアンフィルタ（着目画素とその近傍画素から中央値を出力するフィルタ）をかけた画像である。画像４０２では、メディアンフィルタにより、画素値変換を行った画素（境界マーカの画素）が取り除かれている。図８（ｃ）は、画像４０１と画像４０２との差分画像４０３である。この差分画像４０３においては、ノイズが含まれるが、画素値変換を行った画素（境界マーカの画素）のみが残るような画像となっている。図８（ｄ）は、差分画像４０３の画素値を、列毎に列方向に累積して得たヒストグラム４０４である。ヒストグラム４０４において、画素値の累積値が一定間隔で高くなっており、このピークの位置が境界マーカの画素が存在するブロック列方向の境界位置となる。更に、同様の操作を行方向に対して実行することにより、境界マーカの画素が存在するブロック行方向の境界位置が求められる。これらの境界位置の情報に基づいて、画像を複数のブロックに分割することが可能となる。

図４を再び参照し、画像劣化測定部１０６は、画像中の各ブロックについて、ブロックのデータの劣化度を算出する。具体的には、画像劣化測定部１０６は、ブロック分割部１０５により分割されたブロック毎、或いは複数のブロックを纏めた大きなブロック毎に、画像の劣化の度合いを算出する。劣化度とは、入力画像が暗号化される前の画像よりどれだけ劣化しているかを示す指標であり、位置検出用のマーカや、画素値変換を行った画素の配色のパターン、画像のエッジ等に着目して測定してよい。

図９は、テンプレートと画像エッジとのパターンマッチングにより劣化度を測定する例を示す図である。座標（ｘ，ｙ）における画素値をｆ（ｘ，ｙ）、劣化モデル（ぼけ関数）をｈ（ｘ，ｙ）と定義すると、劣化後の画像は

と表すことができる。劣化モデルとしては、例えば、ガウシアン関数

を用いてよい。ガウシアン関数のσの値が大きいほど、画像の劣化が大きくなる。複数個のσの値に対応させて、複数個の手ぶれ・ぼけ判定用テンプレートＴ（０）乃至Ｔ（３）を用意する。Ｔ（０）はσの値が最小（即ち劣化が最小）のテンプレートであり、Ｔ（３）はσの値が最大（劣化が最大）のテンプレートである。用意した複数のテンプレートと入力画像のエッジとのパターンマッチングを行い、パターンマッチングの結果が最も近いテンプレートに対応するσの値を画像劣化情報として出力する。パターンマッチング方法としては、画像のエッジをｎ次元のベクトルV1、として例えば座標（ｘ、ｙ）におけるテンプレートＴ（０）乃至Ｔ（３）の値それぞれＴ（０）（ｘ、ｙ）乃至Ｔ（３）（ｘ、ｙ）とし

を計算する。ｎ＝０，１，２，３であり、Ｓは画像の定義域である。テンプレートと画像のエッジが一致すれば数式３は０となるため、数式３が最も小さくするテンプレートが最も近いパターンであると判断する
図９（ａ）の例では、ぼけた画像エッジが入力され、パターンマッチングによりテンプレートＴ（２）が最も近いパターンであると判断されている。この場合、比較的劣化度が大きい（劣化が大きい）ことになる。また図９（ｂ）の例では、シャープな画像エッジが入力され、パターンマッチングによりテンプレートＴ（０）が最も近いパターンであると判断されている。この場合、劣化度が最も小さい（劣化が最も小さい）ことになる。

図１０は、画像劣化測定部により画像中の各ブロックについて算出した劣化度の一例を示す図である。入力された画像６０１が、縦３ブロック及び横３ブロックの合計９つのブロックに分割されている。そして各ブロックに対する劣化度が、画像劣化測定部１０６により画像劣化情報６０２として生成される。図６の例では、画像劣化情報６０２の劣化度の値が小さいほど劣化が小さい。

以下では、図１０に示すように画像を３×３ブロックに分割し、画像劣化情報が小さいほど劣化が小さい場合を例として用いて説明する。画像を分割して得られるブロック数は、この例に限られるものではなく、適当な大きさを有する任意の数のブロックであってよい。またこの場合の各ブロックは、前述の図８に示すように境界マーカに基づいて検出された各ブロックであってもよいし、或いは境界マーカに基づいて検出されたブロックを複数個纏めることにより得られる、より大きなサイズのブロックであってもよい。

図４を再び参照し、劣化判定部１０７は、画像劣化測定部１０６により得られた現在の画像の画像劣化情報（各ブロックの劣化度のデータ）と、過去の入力画像の画像劣化情報とをブロック毎に比較する。この比較結果に基づいて、劣化判定部１０７は、各ブロックについて、何れの入力画像の当該ブロックのデータを画像合成に使用するかを決定する。

図１１は、劣化判別処理の流れを示すフローチャートである。ステップＳ７０１で、現在の入力画像データの第１の画像劣化情報（各ブロックの劣化度を示すデータ）を読み込む。ステップＳ７０２で、過去の入力画像に基づく第２の画像劣化情報（各ブロックの劣化度を示すデータ）を読み込む。ステップＳ７０３で、第１の画像劣化情報と第２の画像劣化情報とをブロック毎に比較する。ステップＳ７０４で、上記比較の結果に基づいて、画像合成に使用する画像を判別する。この際、例えば、第１及び第２の画像劣化情報のうち劣化が小さい方に対応する画像データを、画像合成用に選択してよい。ステップＳ７０５で、過去の画像劣化情報（第２の画像劣化情報）を更新する。例えば、第１及び第２の画像劣化情報のうち劣化が小さい方の劣化度データにより、ブロック毎に、過去の画像劣化情報（第２の画像劣化情報）を書き換える。このようにして、劣化判定部１０７による処理は、過去の複数の画像から選択された着目ブロックのデータの劣化度と、現在の１つの画像の着目ブロックのデータの劣化度とを比較し、比較結果に応じて、選択する着目ブロックのデータを決定する。

図１２は、劣化判定部による処理の一例を示す図である。まず１枚目の入力画像に対して、現在の画像劣化情報８０１と過去の画像劣化情報８０２とを、ブロック毎に比較する。１枚目の入力画像を対象とする場合、過去の画像劣化情報が存在しないため、この例では過去の画像劣化情報８０２として大きな値（＝１００）を初期値として与えている。ブロック毎の比較処理により、合成する画像の劣化が小さくなるように、合成に使用する画像情報８０３を生成する。画像情報８０３は、各ブロックについて、当該ブロックに何枚目の画像のデータを合成用に用いるかを示している。１枚目の入力画像に対して求められる画像情報８０３は、全てのブロックについて１である。即ち、合成画像に用いる各ブロックのデータは、全て１枚目の入力画像のデータである。最後に画像劣化情報８０４を更新する。画像劣化情報８０４は、画像情報８０３が示す各ブロックの画像データの画像劣化情報（劣化度）を示すものである。

次に２枚目の入力画像に対して、現在（２枚目の入力画像）の画像劣化情報８０５と過去の画像劣化情報８０６とを、ブロック毎に比較する。過去の劣化画像情報８０６は画像劣化情報８０４と同一である。ブロック毎の比較処理により、合成する画像の劣化が小さくなるように、合成に使用する画像情報８０７を生成する。画像情報８０７は、各ブロックについて、当該ブロックに何枚目の画像のデータを合成用に用いるかを示している。２枚目の入力画像に対して求められる画像情報８０７は、下１行の３つのブロックについて２であり、それ以外のブロックについて１である。即ち、合成画像において、下１行の３つのブロックのデータは１枚目の入力画像のデータであり、それ以外のブロックのデータは２枚目の入力画像のデータである。最後に、画像劣化情報８０４を更新して画像劣化情報８０５を生成する。画像劣化情報８０８は、画像情報８０７が示す各ブロックの画像データの画像劣化情報（劣化度）を示すものである。以下、順次入力される画像に対して同様の処理を行い、画像劣化情報および合成に使用する画像情報を更新していく。

図４を再び参照し、画像合成部１０８は、劣化判定部１０７により合成に使用すると判定されたすべてのブロックの画像を、サイズ及び形に関して正規化してから繋ぎ合わせて出力用画像を合成する。ここでブロックを正規化するのは、カメラ等の撮像条件に応じた歪みが画像に発生しても、歪みを除去してブロック同士を正確に繋ぎ合わせるためである。正規化処理は、例えば、アフィン変換を利用して実行してよい。

図１３は、アフィン変換を説明する図である。画像９０１の領域ＡＢＣＤ内のある点Ｐ（ｘ，ｙ）が、アフィン変換により画像９０２の領域Ａ'Ｂ'Ｃ'Ｄ'内のある点Ｐ'（ｘ'，ｙ'）に変換される場合、変換式は以下のように表わされる。

ここでａ，ｂ，ｃ，ｄ，ｔｘ，ｔｙはアフィン変換の係数である。領域ＡＢＣＤが正規化前のブロックに対応し、領域Ａ'Ｂ'Ｃ'Ｄ'が正規化後のブロックに対応する。この場合、係数ａ，ｂ，ｃ，ｄ，ｔｘ，ｔｙは、正規化前のブロック（領域ＡＢＣＤ）の四隅座標と、正規化後のブロック（領域Ａ'Ｂ'Ｃ'Ｄ'）の四隅座標とに基づいて算出される。正規化前のブロック（領域ＡＢＣＤ）の四隅座標は、例えば領域検出部１０４とブロック分割部１０５により分割されたブロックの座標に基づいて算出できる。また正規化後のブロック（領域ＡＢＣＤ）の四隅座標は、合成画像中のブロックの位置に基づいて容易に決定できる。正規化が適切に実行された後であれば、ブロックの繋ぎ合わせは、メモリ中でのデータのコピー等により容易に実現することができる。

図１４は、画像合成部１０８による画像合成処理の一例を示す図である。入力画像１００１は、同一の撮像対象画像をカメラ等により異なる時間において撮像した一連の画像データである。ブロック毎に選択された画像データが何番目の画像のものであるのかを示す画像情報１００２に基づいて、各ブロックに対して選択した画像のブロックのデータを取り出し、更に正規化処理を施すことにより、正規化した画像１００３を作成する。その後、正規化した画像１００３を繋ぎ合わせることにより、出力用画像１００４を作成する。

図４を再び参照し、合成画像判定部１０９は、画像合成部１０８で合成した画像が確定画像であるか否かを判定する。例えば、全てのブロックの画像劣化情報の値（劣化度の値）が閾値以下（例えば１．０以下）であるならば、合成画像判定部１０９は、合成画像が確定画像であると判定する。確定画像であると判定された場合は、出力部１１０により、確定画像である合成画像を出力する。確定画像でないと判定された場合は、入力部１０３により新たに入力した画像データを用いて、上述の処理を繰り返す。なお合成画像が確定画像であるか否かの判定においては、劣化度の値に着目するのではなく、例えば、入力された画像の枚数等に基づいて確定か否かの判定を行なってよい。

このように、画像合成部１０８が生成した合成画像中に、所定の劣化度よりも劣化が大きいブロックが含まれている場合には、新たに入力した画像データに基づいた劣化度測定、劣化度判定、及び画像合成の処理を繰り返す。これにより、劣化判定部１０７が、画像入力部により新たに入力した１つ又は複数の画像から、上記の劣化が大きいブロックについて、所定の劣化度よりも劣化が小さいブロックのデータを選択する。そして、画像合成部１０８が、当該選択された劣化が小さいブロックのデータを用いて一枚の合成画像を再度生成する。

図１５は、画像合成装置の機能構成の変形例を示す図である。この変形例における画像合成装置１１０２は入力部１１０３、領域検出部１１０４、ブロック分割部１１０５、画像劣化測定部１１０６、劣化判定部１１０７、画像合成部１１０８、合成画像判定部１１０９、及び出力部１１１０を含む。図１５に示す劣化判定部１１０７以外の各部は、図４に示す同一又は対応する名称の各部と同一又は対応する処理を実行してよい。

図１６は、図１５の劣化判定部の処理の流れを示すフローチャートである。ステップＳ１２０１で、現在の入力画像の第１の画像劣化情報を読み込む。ステップＳ１２０２で、過去の入力画像の第２の画像劣化情報を読み込む。ステップＳ１２０３で、ブロック毎に閾値判定を行う（Ｓ１２０３）。この閾値判定では、各ブロックについて、第２の画像劣化情報が所定の閾値以下であるか否かを判定する。ステップＳ１２０４において、着目ブロックについて第２の画像劣化情報（劣化度）が閾値以下と判定された場合、即ち画質が所定の閾値以上であるならば、当該ブロックについての処理を終了する。ステップＳ１２０４での判定により、着目ブロックについて第２の画像劣化情報（劣化度）が閾値より大きいと判定された場合、即ち画質が所定の閾値より悪いならば、ステップＳ１２０５で、第１の画像劣化情報と第２の画像劣化情報とをブロック毎に比較する。ステップＳ１２０６で、上記比較の結果に基づいて、画像合成に使用する画像を判別する。この際、例えば、第１及び第２の画像劣化情報のうち劣化が小さい方に対応する画像データを、画像合成用に選択してよい。ステップＳ１２０７で、過去の画像劣化情報（第２の画像劣化情報）を更新する。

図１７は、図１５の劣化判定部による処理の一例を示す図である。まず１枚目の入力画像に対して、現在の画像劣化情報１３０１と過去の画像劣化情報１３０２とを、ブロック毎に比較する。１枚目の入力画像を対象とする場合、過去の画像劣化情報が存在しないため、この例では過去の画像劣化情報１３０２として大きな値（＝１００）を初期値として与えている。ブロック毎の比較処理により、合成する画像の劣化が小さくなるように、合成に使用する画像情報１３０３を生成する。画像情報１３０３は、各ブロックについて、当該ブロックに何枚目の画像のデータを合成用に用いるかを示している。１枚目の入力画像に対して求められる画像情報１３０３は、全てのブロックについて１である。即ち、合成画像に用いる各ブロックのデータは、全て１枚目の入力画像のデータである。最後に画像劣化情報１３０４を更新する。画像劣化情報１３０４は、画像情報１３０３が示す各ブロックの画像データの画像劣化情報（劣化度）を示すものである。

次に２枚目の入力画像に対して、処理が実行される。このとき、過去の画像劣化情報１３０６（更新した画像劣化情報１３０４に等しい）の値が所定の閾値（例えば１．２）以下であるブロックについては、選択画像及びその劣化度の値が確定したものとし、画像劣化情報の比較や更新の動作を行なわない。従って、例えば、過去の画像劣化情報１３０６において丸印で示したブロックについては、その劣化度が閾値１．２以下であるため、これらのブロックは、既にデータが確定したものとして取り扱われる。つまり、２枚目の入力画像に対して、現在（２枚目の入力画像）の画像劣化情報１３０５と過去の画像劣化情報１３０６とを、ブロック毎に比較する際、上記の丸印で示したブロックについては比較動作を実行しない。このようにして２枚目の入力画像に対して求められる画像情報１３０７は、左下隅と右下隅との２つのブロックについて２であり、それ以外のブロックについて１である。このように画像情報１３０７においては、丸印で囲んだ中央下のブロック１３０９の値が１のままであり、図１２の画像情報８０７の場合と異なっている。また画像劣化情報１３０４を１３０８に更新する際にも、過去の画像劣化情報１３０６において丸印で示したブロックに対応するブロックについては、更新動作を実行しない。このように比較動作や更新動作を幾つかのブロックに対して省略することで、処理を高速化することが可能となる。

以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。

１０２ 画像合成装置
１０３ 入力部
１０４ 領域検出部
１０５ ブロック分割部
１０６ 画像劣化測定部
１０７ 劣化判定部
１０８ 画像合成部
１０９ 合成画像判定部
１１０ 出力部
１５００ 画像処理装置
１５０２ 撮像ユニット
１５０３ 画像合成ユニット
１５０４ 画像復号ユニット
１５０５ 画像表示ユニット

Claims (3)

1. 画像中の各ブロックについて、ブロックのデータの劣化度を算出する画像劣化測定部と、
   画像中の各ブロックについて、複数の画像の着目ブロックのデータから算出した複数の前記劣化度を比較し、前記複数の画像のうちで最も劣化の小さな１つの画像の着目ブロックのデータを選択する劣化判定部と、
   複数のブロックについて前記選択された最も劣化の小さなデータを合成して一枚の画像を生成する画像合成部と、
   画像を取り込む画像入力部
   を含み、前記画像入力部により取得した前記複数の画像に基づいて前記画像合成部が生成した前記一枚の画像中に、所定の劣化度よりも劣化が大きいブロックが含まれていると判定された場合、前記画像入力部により１つ又は複数の画像を新たに取得し、前記劣化判定部が、前記新たに取得した１つ又は複数の画像から、前記劣化が大きいブロックについて前記所定の劣化度よりも劣化が小さいブロックのデータを選択し、前記画像合成部が、当該選択された劣化が小さいブロックのデータを用いて一枚の画像を再度生成することを特徴とする画像処理装置。
2. 前記画像合成部は、ブロックのデータを合成する際に、各ブロックのデータをサイズ及び形に関して正規化してから合成することを特徴とする請求項１記載の画像処理装置。
3. 前記画像合成部により生成された一枚の画像を所定の鍵情報に基づいて復号する画像復号部を更に含むことを特徴とする請求項１又は２記載の画像処理装置。

Images