JP4396766B2

JP4396766B2 - 画像劣化検出装置、及び画像劣化検出方法、並びに画像劣化検出方法を実行させるプログラム、及び記録媒体

Info

Publication number: JP4396766B2
Application number: JP2007551499A
Authority: JP
Inventors: 直之藤山; 敏行清水
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-01-12
Filing date: 2007-10-30
Publication date: 2010-01-13
Anticipated expiration: 2027-10-30
Also published as: WO2008084590A1; JPWO2008084590A1

Description

本発明は、デジタルカメラ、カメラ付携帯端末機器、カメラ付携帯端末機器で取得した画像（静止画、動画）を入力できるＴＶシステム、及びパーソナルコンピュータ（ＰＣ）等の画像表示機器に適用可能な画像劣化検出装置、画像劣化検出方法、及びこの方法を実行させるプログラム、並びに該プログラムを記憶した記憶媒体に関するものである。

従来から、デジタルカメラやカメラ付携帯端末機器などにおける絞り値、焦点距離、フォーカス等に依存する収差による画像劣化や、手振れによる画像劣化を補正又は修復する機能については、種々の提案がなされている。例えば、レンズ等の光学系と、ＣＣＤやＣ−ＭＯＳセンサ等の撮像素子とを有するデジタルカメラに、手振れを補正するために、光学系の振動を軽減する機械的機構を備えたものが提案されている（例えば特許文献１参照）。

上記のようなデジタルカメラにおいては、手振れによりカメラが振動したときに、その振動をセンサで検出し、検出された信号、すなわち、手振れによるカメラの移動速度から補正量を算出する。そして、算出した補正量に基づいて、光学レンズ及び／又は撮像素子を移動させ、手振れに起因する画像劣化を軽減する。その結果、手振れに起因する画像劣化を軽減した画像が、フラッシュメモリ等の記憶媒体に記録される。

特開２００１−１８８２７２号公報（段落００６３、００６４、第１図）

しかしながら、上記のように、カメラの振動を検知して画像劣化を軽減する方法では、手振れに起因する画像劣化を軽減できるものの、手振れによる振動が補正可能な量を超えた場合、劣化を受けた画像がそのまま記録されてしまう。こうして記録された画像については、目視により判定する手法しかなく、正確に或いは自動的に劣化した画像を判定することが困難であった。さらに、デジタルカメラ等の画像表示機器では、大量の画像データを扱うことが多いので、記録した画像の中から劣化した画像を検出するには、多大な時間を要するという問題点もあった。

この発明は、上記のような問題点を解決するためになされたものであり、手振れ等に起因する画像の劣化を容易に検出できるようにすることを目的とする。

この発明は、入力画像の特性を反映した閾値を決定する閾値決定手段と、前記入力画像の画面全体又は一部から成る相関係数決定領域内の複数の注目画素の各々の画像データと、それぞれ前記複数の注目画素の各々に対して第１の所定の規則で選択された相対位置にある画素の画像データとの差分絶対値の、前記相関係数決定領域の全体にわたる最大値を、相関係数として求め、該相関係数が前記閾値よりも小さいかどうかの判定を行い、該判定の結果に基づいて入力画像の劣化を検出する判定手段とを備えた画像劣化検出装置を提供する。

この発明によれば、入力画像を得るための撮像の際の手振れ等に起因する画像の劣化を容易に検出することができる。

本発明の実施の形態１に係る画像劣化検出装置（すなわち、実施の形態１に係る画像劣化検出方法を実施する装置）を搭載したカメラ付き携帯端末機器の外観を概略的に示す図であり、（ａ）は正面図、（ｂ）は背面図である。実施の形態１に係る画像劣化検出装置を搭載したカメラ付き携帯端末機器の構成を示すブロック図である。実施の形態１における携帯端末機器によって撮影された手振れ画像の一例を示す図である。実施の形態１に係る画像劣化検出方法において用いられる相関係数半平面の一例を示す図である。実施の形態１に係る画像劣化検出方法において用いられる相関係数四半平面の一例を示す図である。実施の形態１に係る画像劣化検出方法を示すフローチャートである。実施の形態１に係る画像劣化検出方法において用いられる相関係数決定領域と窓領域を示す図である。図８は、実施の形態１に係る画像劣化検出方法において相関係数を求めるための相関係数半平面について詳細に説明するための説明図である。実施の形態１に係る画像劣化検出方法において相関係数を求めるための相関係数四半平面について詳細に説明するための説明図である。相関係数を求める処理を詳細に説明するための説明図である。実施の形態１に係る画像劣化検出方法において、原点（０，０）からの相対位置（ｖ，ｈ）に対する差分絶対値相関係数Ｄ（ｖ，ｈ）がとる値の代表的な内容を、１次元方向（ｖ＝０とした）について示したものである。実施の形態１に係る画像劣化検出方法において相関係数平面５１から劣化を判別する方法を説明するための図である。実施の形態２に係る画像劣化検出方法を示すフローチャートである。相関係数の一般的傾向の例を示す図である。境界探索における「閉じた曲線」の一例を示す図である。境界探索における「閉じた曲線」の他の例を示す図である。本発明の実施の形態２に係る画像劣化検出方法において、相関係数が閾値より小さい相対位置をすべて含む矩形の一例を示す図である。実施の形態２に係る画像劣化検出方法において、境界探索アルゴリズムで用いられるチェインコードを示す図である。実施の形態２に係る画像劣化検出方法において、境界探索アルゴリズムの対象となる２値画像の例を示す図である。図１９の２値画像に対して境界探索を行った結果得られる表を示す図である。本発明の実施の形態２に係る画像劣化検出方法で用いられる境界探索アルゴリズムを示すフローチャートである。図２１の境界探索アルゴリズム中のサブルーチンである座標更新を示すフローチャートである。境界探索の結果検出された境界及び境界探索に先立って閾値決定に用いられた相対位置の一例を示す図である。本発明の実施の形態３に係る画像劣化検出装置（すなわち、実施の形態３に係る画像の劣化検出方法を実施する装置）において、予め設定される劣化検出範囲の一例を示した図である。本発明の実施の形態４に係る画像劣化検出装置（すなわち、実施の形態４に係る画像の劣化検出方法を実施する装置）において用いられる分割フォーカスエリアを説明するための図である。

符号の説明

１携帯端末機器、１１画像劣化検出装置、１２ＣＰＵ、１３ＲＯＭ、
１４ＲＡＭ、１５外部機器用Ｉ／Ｆ部、２１撮像画像、３２注目画素、
３３局所相関係数平面、３４局所相関係数半平面、４１劣化検出範囲、
５１相関係数平面、５２相関係数半平面、５３相関係数四半平面。

実施の形態１．
図１（ａ）及び（ｂ）は、本発明の実施の形態１に係る画像劣化検出装置であって、画像劣化検出方法を実施する装置を搭載したカメラ付きの携帯端末機器を示すものであり、図１（ａ）は携帯端末機器の外観を示す正面図、図１（ｂ）は背面図である。

また、図２は携帯端末機器の構成を示すブロック図である。

図１において、携帯端末機器１は、外部と通信するためのアンテナ２と、外部と通信するための固有番号や文字及びアルファベット等のキャラクターを入力するためのコマンド入力部３と、外部への送信番号、外部からの着信番号、ユーザがコマンド入力部３を使用して入力した各種文字情報、及びカメラ機能を用いて撮影した画像等の情報を表示するメインディスプレイ部４と、日時情報、電池残量、及び着信表示等の情報を表示するサブディスプレイ５とを有している。また、カメラ機能を有するために、カメラレンズを格納したレンズユニット部６と、レンズユニット部６を介して光学像を受光して光電変換するＣＣＤやＣ−ＭＯＳセンサ等の撮像素子部７とを有している。さらに、メインディスプレイ部４に表示されるＧＵＩ（Graphical User Interface）情報をユーザが操作・選択するためのボタン、カメラ機能におけるシャッターボタン、及びその他カメラ機能における設定操作ボタン等として使用することができる操作入力部８と、カメラ機能を用いて取得した画像等の情報を格納するメモリカード等の外部メモリ９を装着することができる外部メモリ用インターフェース（Ｉ／Ｆ）部１０とを有している。

そして、携帯端末機器１の内部には、図２に示すように、機器全体の動作を制御するＣＰＵ１２と、ＣＰＵ１２によって実行されるソフトウェアプログラム等を格納するＲＯＭ１３と、画像データ等を記憶するＲＡＭ１４と、パソコン（ＰＣ）等の外部機器と接続するための外部機器用インターフェース（Ｉ／Ｆ）部１５とを有している。ＣＰＵ１２は、ＲＯＭ１３に格納されたプログラムに従って、後述する差分値決定、入力画像評価等の各種動作を実行する。ＲＯＭ１３に格納されるプログラムは、例えば、インストール用プログラムを格納したＣＤ−ＲＯＭ等の情報記録媒体の情報を読み取ることができるＰＣ等の外部機器であって、外部機器用Ｉ／Ｆ部１５に接続されたものから、ＲＯＭ１３にインストールされる。また、通信回線を介してダウンロードされたインストール用プログラムを用いて、ＲＯＭ１３にプログラムをインストールすることもできる。ＣＰＵ１２、ＲＯＭ１３、及びＲＡＭ１４は、携帯端末機器１において画像の劣化検出方法を実行する画像劣化検出装置１１として機能する。

図１（ｂ）に示すように携帯端末機器１の背面に設けられたレンズユニット部６の内部には、レンズ、レンズ駆動部、絞り、絞り駆動部、及び光学ローパスフィルタ等の光学系の構成（図示せず）が配置されている。カメラ機能を用いて撮影する時には、測距センサ（図示せず）の出力及び被写体の明るさに応じてレンズ及び絞りを逐次制御し、被写体像をレンズ、絞り、及び光学ローパスフィルタを介して撮像素子部７上に形成する。ユーザがシャッターボタンとして機能する操作入力部８を押すと、撮像素子部７は被写体像を画像信号としてＡ／Ｄ変換部（図示せず）へ出力する。画像信号は、Ａ／Ｄ変換部においてデジタル画像信号（以下「画像データ」と称する。）に変換された後、外部メモリ９に記録される。

ここで、本実施の形態１において検出しようとしている画像劣化の原因の一つである手振れの発生について説明する。

図３は、上述したように携帯端末機器１により撮影された手振れ画像の一例を示す図である。

図３において、入力画像は、画面上にマトリクス状に配置された画素から成るものであり、画面上の画素の位置は、その画面上の垂直方向の位置を表す座標値（ｉ）と、水平方向の位置を表す座標値（ｊ）とで表される。そして、画面の左上隅（最も上の行で、最も左の列）の画素の座標値が（ｉ＝１，ｊ＝１）であり、垂直（縦）方向の座標値（ｉ）は下向きに、画素間隔一つにつき値が１ずつ大きくなり、水平（横）方向の座標値（ｊ）は右向きに画素間隔一つにつき値が１つずつ大きくなるものとする。入力画像の画像サイズは、水平方向の画素数がＨｐで、垂直方向の画素数がＶｐであるものとする。

被写体と、ユーザが保持している携帯端末機器１のいずれもが静止しており、被写体までのフォーカスが完全に合致している場合には、携帯端末機器１のカメラ機能によって取得された撮影画像は手振れのない静止画像になる。しかし、被写体が静止していても、携帯端末機器１を動かしながら撮影動作を行った場合には、撮像画像２１は、ある方向の移動（手振れ）の影響を受けた画像（以下「ブレ画像」と称する。）になる。

手振れによるカメラの移動方向が２次元平面上の方向である場合には、その撮像画像２１は、図３に示すような水平および垂直方向でのブレ画像となる。その詳細を次に示す。被写体を２２ａの位置で捕らえ、撮像に入る時にシャッターが開き（デジタルカメラの場合、光を反映した電子の蓄積を開始）、撮像を終える時にシャッターを閉じ（デジタルカメラの場合、電子の蓄積を終了）、その瞬間に被写体が２２ｄへ移動してしまうような動きがカメラにあった場合、デジタルカメラにおいて画像を記録するセンサ面では、あるサンプリング間隔で被写体が２２ｂ、２２ｃと移動しており、２２ａ〜２２ｄまでの画像の重ね合わせが静止画ブレ画像として記録される。ここで、カメラの移動方向と１８０度反対方向となる被写体の移動方向及びその大きさを示すベクトルは、２３ａ〜２４ｃで表される。なお、従来からある銀塩カメラは、デジタルカメラと同様であるが、アナログゆえカメラの移動による影響を滑らかにフィルムに焼き付けブレ画像を記録することになる。また、デジタルカメラや、銀塩カメラの撮像画像を計算機上で処理するためスキャナ等で取り込んだ画像は離散化されることになり、その復元の際には２３ａ〜２３ｃのベクトルをなんらかの形（例えば２次元信号処理におけるインパルス応答）で表現しなおすこともある。これらのベクトルやインパルス応答はブレ量とも称される。なお、ブレ量は未知量であることを付記しておく。

次に、光量とブレ画像取得の関係について説明する。図３に示すブレ量は、被写体撮影時における携帯端末機器１の移動速度（移動の方向と速さであり、以下「ブレ速度」と称する。）と、シャッター速度によって変化する。シャッター速度が速い場合は、ブレ速度が速くても、ブレ量の大きさ及び長さは小さくなり、逆にシャッター速度が遅い場合は、ブレ速度が遅くてもブレ量の大きさ及び長さは大きくなる。シャッター速度は被写体の明るさが明るいほど速くすることができるので、明るい被写体を撮影した場合は、撮影画像における手振れの影響は顕れがたい。しかし、夜間や暗い室内等、暗い環境下における撮影等の場合には、シャッター速度が遅くなる傾向にあることから、撮影画像における手振れの影響が顕れやすい。つまり、カメラ撮影においては、撮影条件等によっては取得した画像から手振れの影響を排除することが避けがたく、劣化した画像データを記録してしまうことがある。

上記のような理由で、劣化した画像データを記録してしまった場合、データ整理（劣化画像の分類、削除）や劣化画像の補正を行うため、撮影した画像それぞれに対して劣化検出を行うことが望まれる。特に近年では、記録媒体が大容量となり、画像サイズも大きくなりつつあることから、１枚の画像データの劣化検出を高速に行う必要性が高まっている。本発明は、このような必要性に答えることを目的とするものであり、以下に述べるように、相関係数（特に差分絶対値相関係数）を求めて、これに基づいて画像の劣化を検出することとしている。

本発明は、上記のように相関係数を算出し、劣化の有無を高速に検出することを特徴としている。しかし、本発明は画像のブレのみを対象にしたものでは無く、ピントが外れたボヤケ画像、大気の揺らぎで劣化した天体写真の撮像画像等、様々な要因で劣化した画像に対して有効である。

次に、劣化検出で用いる相関係数について説明する。図４は、実施の形態１に係る画像劣化検出方法において用いられる相関係数平面の一例を示す図である。画像データに対する相関係数は、図４のような２つの軸ｖ及びｈからなる平面で定義される。この２つの軸で定義される平面を相関係数平面５１と呼ぶ。相関係数平面５１は−∞から∞までの範囲で定義されるが、画像の劣化を判別するために水平方向は例えば−ＨｗからＨｗまで、垂直方向は例えば−ＶｗからＶｗまでと、一定の有限領域だけを用いると無駄な計算が省ける。なお、図４においては正方領域の場合を一例に示しているが、正方領域に限られず矩形領域であっても良いのは言うまでも無い。相関係数平面５１の領域の大きさはターゲットのシステムに合わせて設計することで、より適した処理が行える。実施の形態１では、ブレ画像に絞って詳細に説明する。

単純なブレ画像は、ブレ方向が相関係数平面５１の原点（０，０）に対して点対称で表現可能である。そのような場合、相関係数もまた原点（０，０）に対して点対称で表現できるので、図４の相関係数半平面５２に含まれる係数のみを計算することで、より高速に相関係数平面５１内の係数を算出し劣化検出を行うことができる。なお、詳細は後述するが、図４において、Ｓｄ１は相関係数半平面５２における座標の集合を表している。また、Ｓｄ２は相関係数平面５１から相関係数半平面５２と原点（０，０）を除外した位置の集合を表している。

さらに、ボヤケが発生する要因でのみ画像が劣化する場合、２つの軸ｖ及びｈに対して対称であるとみなせることも多く、そのような場合は図４に示す相関係数半平面５２をさらに水平方向に半分にした相関係数四半平面５３を定義して、算出すべき相関係数を少なくすることができる。図５は、実施の形態１に係る画像劣化検出方法において用いられる相関係数平面の別の一例を示す図で、相関係数四半平面５３を示している。なお、Ｓｄ３は相関係数四半平面５３における座標の集合を表している。また、Ｓｄ４は相関係数平面５１から相関係数四半平面５３と原点（０，０）を除外した位置の集合を表している。図５に示す相関係数四半平面５３に含まれる係数のみを計算すれば良いので、算出すべき相関係数を少なくすることができ、より高速に相関係数平面５１内の係数を算出し劣化検出を行うことができる。

さらに、２つの軸ｖおよびｈに４５°で交わる方向に対しても対称性があれば、さらに求める相関係数が少なくなることは言うまでも無い。ターゲットのシステムに合わせて対称性を導入することで、より少ない係数で劣化検出が行える。実施の形態１では、ブレ画像に絞って詳細に説明することから、より一般性のある原点（０，０）に対して点対称である場合を説明することとする。

次に、本実施の形態における画像劣化検出装置での画像劣化検出方法について説明する。

図６は、本実施の形態における画像劣化検出方法の概略を示すフローチャートであり、ユーザが撮影して記録された画像データに対して、図２のＣＰＵ１２がＲＯＭ１３内のプログラムに従って行う処理である。

ユーザがカメラ機能を用いて撮影することによって、又は外部メモリ９から、又は外部機器用Ｉ／Ｆ部１５を介して外部機器から画像劣化検出装置１１に入力画像データが入力される（ステップＳ１０）。

次に、ＣＰＵ１２は、以下の手順に従って劣化画像の相関係数を決定する（ステップＳ１１）。ＣＰＵ１２は、撮像画像２１の全体又は一部からなる相関係数決定領域（後述する図７の符号３１）内の画素を順次用いて、例えば統計学で用いられる相関係数や、本実施の形態１で述べる差分絶対値相関係数を求める。

次に、求めた相関係数の中で、相関が最小となる値を決定する。次に、ＣＰＵ１２は、相関が最小となる値に基づいて、入力された画像内容を評価するための基準値である閾値を決定する（ステップＳ１２）。

次に、ＣＰＵ１２は、閾値に基づいて、入力された画像の劣化状態を判定する（ステップＳ１３）。

なお、上記の図６に示す画像劣化検出処理は、例えば、以下に示すような複数の手順から選択して開始することができる。例えば、第１の手順としては、撮影画像データをＲＡＭ１４に一時格納し、格納した画像データに対して自動的に画像劣化検出処理を開始する場合である。この場合、手振れの有無に関わらず、撮影した画像データすべてについて、劣化検出処理を行うことになる。第２の手順としては、撮影画像データを外部メモリ９に書き込み、後日、その画像データに対して自動的に画像劣化検出処理を行う場合である。第３の手順としては、ＲＡＭ１４もしくは外部メモリ９に格納された画像データをメインディスプレイ４に表示させ、表示画像を視認したユーザの操作に従って画像劣化検出処理を開始する場合である。

ここで、第３の手順では、ユーザの視認を必要とするので、大量のデータを処理する場合には時間を要することになる。しかし、メインディスプレイ部４が比較的小さいデジタルカメラやカメラ付きの携帯端末機器等で、撮影後の画像が縮小表示されて劣化状態を目視で正確に確認することが困難な場合に、画像劣化検出処理は有効な手段となる。

次に、画像劣化検出処理での演算方法等について詳細に説明する。

図７は、実施の形態１に係る画像劣化検出方法において相関係数を計算するために用いられる相関係数決定領域と局所相関係数平面と局所相関係数半平面とを示す図である。なお、図４と同一符号は同一又は相当部分を示すので説明を省略する。

図７において、相関係数決定領域３１は撮影画像２１の全体又は一部として決定される。すなわち、相関係数決定領域３１は、垂直方向がＶｐ画素で水平方向がＨｐ画素の撮影画像２１の全体の中から一定の大きさの領域として決定される。例えば、図７に示すように、撮影画像２１の中心に、所定の矩形領域（横：Ｈｐｐ画素、縦：Ｖｐｐ画素）として定義される。その相関係数決定領域３１の内部の画素全てに対して、局所相関係数平面３３が定義される。この局所相関係数平面３３は、図４に示す相関係数平面５１に対応している。局所係数決定領域３１内のある画素を注目画素３２とした場合、その注目画素３２を中心とする矩形領域として、その局所相関係数平面３３は定義される。

さて、撮影画像２１と相関係数決定領域３１との関係において、次の式（１）及び式（２）は必ず成立することになる。

また、相関係数決定領域３１内の座標（ｉ，ｊ）は、図７では、次の式（３）及び式（４）のように設定される。

例えば、ｉｂ＝Ｖｐｐ／４＋１、ｊｂ＝Ｈｐｐ／４＋１、Ｖｐｐ＝Ｖｐ／２、Ｈｐｐ＝Ｈｐ／２とすれば、相関係数決定領域３１は撮像画像２１の中心部における１／４の面積を占める矩形領域となる。

なお、図７においては、相関係数決定領域３１を画面中央部の部分領域としているが、撮像画像２１全体を相関係数決定領域３１としてもよい。また、相関係数決定領域３１の大きさ、位置は任意に変更できるようにしてもよい。

ここで、相関係数決定領域３１内の座標の集合Ｓａを数学的に定義すると次式のようになる。

ただし、ｉ＝ｉｂ，・・・，ｉｂ＋Ｖｐｐ−１、及び、ｊ＝ｊｂ，・・・，ｊｂ＋Ｈｐｐ−１の値を取る。

次に、入力された画像データの処理を進める。はじめに、画像データのマトリクス変換を実施する。ユーザが携帯端末機器１のカメラ機能を用いて被写体を撮影したときの画像データは、通常、Ｒ，Ｇ，Ｂ各８ビット（０〜２５５）のデータで構成される。そこで、入力された画像データから輝度データを得るため、Ｒ，Ｇ，Ｂ各８ビットのデータを輝度データＹ、色差データＣｂ及びＣｒの各８ビットからなるデジタル画像データへのマトリクス変換を行う。ただし、Ｙ、Ｃｂ、ＣｒだけでなくＲ、Ｇ、Ｂやその他のカラーデータ表現のまま処理を行っても良く、またデータ表現は８ビットである必要は無い。

ＣＰＵ１２は、マトリクス変換処理を行って出力されたＹ，Ｃｂ，Ｃｒの各データのうち、本実施の形態１では輝度情報を持つ輝度データＹを用いて、画像劣化検出処理を行う。つまり、前述した差分絶対値等は輝度データＹから算出する。ここで、図７に示されるように撮像された画像サイズが、横方向にＨｐ画素、縦方向にＶｐ画素である場合、入力される輝度データＹも横方向にＨｐ画素、縦方向にＶｐ画素（各８ビット）の大きさとなる画像となる。以下、相関係数決定領域３１における座標（ｉ，ｊ）における画素の輝度データＹを、Ｙ（ｉ，ｊ）と表す。

次に、相関係数決定領域３１内の各々の輝度データＹ（ｉ，ｊ）を有する画素（ｉ，ｊ）を注目画素３２とし、注目画素３２を中心に局所相関係数平面３３を定義し、注目画素３２毎に例えば図４に示す相関係数平面５１に対応する相対位置（ｖ，ｈ）にある画素との相関係数を算出する。

すなわち、最初に相関係数決定領域３１内の左上隅の画素（ｉｂ，ｊｂ）を注目画素３２ａとして局所相関係数を算出し、以降、相関係数決定領域３１内を走査して注目画素３２を順次選んでその注目画素３２毎に順次局所相関係数を算出し、最後に相関係数決定領域３１の右下隅の画素（ｉｂ＋Ｈｐｐ−１，ｊｂ＋Ｖｐｐ−１）を注目画素３２ｂとして局所相関係数を算出する。

以上のように、本実施の形態では、相関係数決定領域３１内の画素の数（符号Ｕで表す）と同じ数の局所相関係数平面３３が定義される。

局所相関係数平面３３において中心位置（注目画素３２）における各相対位置は、座標値（ｖ，ｈ）で表される。

上記のような相関係数平面５１および局所相関係数平面３３内のすべての要素についての座標は、以下の式（６）で表される集合で表現できる。

ただし、ｖ＝−Ｖｍ，・・・，Ｖｍ、ｈ＝−Ｈｗ，・・・，Ｈｗの値を取る。

本実施の形態１は、原点（０，０）に対して点対称を持つ相関係数平面５１を定義しているので、実際に相関係数を求める必要があるのは相関係数半平面５２に相当する相関係数のみである。以下では、相関係数半平面５２に対応する局所相関係数半平面３４について、さらに詳細に説明する。

図８は、実施の形態１に係る画像劣化検出方法において相関係数を求めるための相関係数半平面５２について詳細に説明するための説明図である。なお、図４と同一符号は同一又は相当部分を示すので説明を省略する。

相関係数半平面５２は、要素が縦方向にＶｗ＋１個及び横方向にＨｗ＋１個並んでいる。ただし、原点（０，０）とｖ＝０でｈ＝−Ｈｗ，・・・，−１の要素は除外されている。従って、図８から明らかなように、相関係数半平面５２の要素の数は、{Ｖｗ×（２Ｈｗ＋１）＋Ｈｗ}個である。相関係数を求めるには、この相関係数半平面５２に対応する局所相関半平面３４の領域のみ、すなわち、この要素の数だけを計算すれば良い。この時、相関係数半平面５２における座標の集合Ｓｄ１は以下の式で表すことができる。

ただし、ｖ＝０ではｈ＝１，・・・，Ｈｗの値を取り、ｖ＝１，・・・，Ｖｗではｈ＝−Ｈｗ，・・・，Ｈｗの値を取る。

なお、図９は、実施の形態１に係る画像劣化検出方法において相関係数を求めるための相関係数四半平面５３について詳細に説明するための説明図である。なお、図５と同一符号は同一又は相当部分を示すので説明を省略する。軸ｖおよびｈのどちらに対しても対称性がある場合における相関係数四半平面５３の要素の数は、図９から明らかなように、{Ｖｗ×Ｈｗ＋Ｖｗ＋Ｈｗ}個である。この領域に対応する局所相関係数四半平面のみ計算すれば良い。

また、局所相関係数平面３３から局所相関係数半平面３４と原点（０，０）を除外した位置の集合、および相関係数平面５１から相関係数半平面５２と原点（０，０）を除外した位置の集合をＳｄ２とすると、これらには次の式（８）の関係がある。

次に、上記局所相関係数半平面３４を用いた相関係数の算出方法について、図７と図８を用いて詳細に述べる。本実施の形態１では、差分絶対値を計算して求める差分絶対値相関係数を定義して説明するが、統計学における相関係数も、本実施の形態１の手法で求めることが可能である。

上記のように定義した局所相関係数半平面３４の原点（０，０）を基準に、局所相関係数半平面３４内の画像（輝度データ）を用いて、差分絶対値相関係数を求める。図７に示す相関係数決定領域３１内に存在する任意の輝度データＹ（ｉ，ｊ）を注目画素３２とし、その注目画素３２を原点（０，０）として、図８に示す相関係数半平面５２に対応する所定の相対位置（ｖ，ｈ）にある近傍画素の輝度データＹ（ｉ＋ｖ，ｊ＋ｈ）との差分を計算した差分絶対値ｄ（ｖ，ｈ）を次の式（９）で定義する。

ただし、（ｉ，ｊ）はＳａに含まれる値を取り、（ｖ，ｈ）はＳｄ１に含まれる値を取る。

そして、すべての（Ｕ個の）局所相関係数半平面３４について、各局所相関係数半平面３４内の同じ相対位置（座標値（ｖ，ｈ）が同じ位置）の画素についての上記差分絶対値のうちの最大のものが、相関係数（差分絶対値相関係数）Ｄ（ｖ，ｈ）として抽出される。これを数式で定義すると次式のようになる。

ここで、「ＭＡＸ_{（ｉ，ｊ）}」の意味について説明すると、「ＭＡＸ（ｉ，ｊ）｛ｆ（ｉ，ｊ）｝」は、相関係数決定領域３１内の全ての座標（ｉ，ｊ）に対して関数ｆ（ｉ，ｊ）を実行したときの最大値を意味する。以下、この相関係数Ｄ（ｖ，ｈ）を求める処理について図１０を参照して説明する。

図１０は、相関係数を求める処理を詳細に説明するための説明図である。なお、図４及び図７と同一符号は同一又は相当部分を示すので説明を省略する。

図１０において、図７に示される注目画素３２ａ（ｉｂ，ｊｂ）から注目画素３２ｂ（ｉｂ＋Ｖｐｐ−１，ｊｂ＋Ｈｐｐ−１）までの注目画素３２を中心とする局所相関係数平面３３と局所相関係数半平面３４とが示されている。ただし、図１０においては、局所相関係数平面３３の大きさが５行×５列（Ｈｗ＝Ｖｗ＝２）であるものとしている。すべての局所相関係数半平面３４が互いに重ねられ、各局所相関係数半平面３４内の同じ相対位置（ｖａ，ｈａ）は図面上で、上下方向に互いに整列している。同じ相対位置（ｖａ，ｈａ）の差分絶対値ｄ（ｖａ，ｈａ）が、それぞれｄ（ｖａ，ｈａ）（ｉｂ，ｊｂ）〜ｄ（ｖａ，ｈａ）（ｉｂ＋Ｖｐｐ−１，ｊｂ＋Ｈｐｐ−１）で示されている。

差分絶対値ｄ（ｖａ，ｈａ）（ｉｂ，ｊｂ）〜ｄ（ｖａ，ｈａ）（ｉｂ＋Ｖｐｐ−１，ｊｂ＋Ｈｐｐ−１）のうちの最大のものが、相関係数（差分絶対値相関係数）Ｄ（ｖａ，ｈａ）として抽出される。

上記のようにして求めた差分絶対値相関係数Ｄ（ｖ，ｈ）は、撮像画像２１のデータの相関係数決定領域３１内における画像特性に対して決定されるものであり、取得した画像自体の性質（相関）を表している。

次に、劣化検出を行う評価に用いる基準値の算出方法について説明する。本処理ではまず、差分絶対値相関係数Ｄ（ｖ，ｈ）をもとに、相関が最小となる値Ｒｍｉｎを差分絶対値相関係数Ｄ（ｖ，ｈ）の最大値であるとして求める。

相関が最小となる値（差分絶対値相関係数の最大値）Ｒｍｉｎを求める方法としては、差分絶対値相関係数Ｄ（ｖ，ｈ）を全て求め、それらから算出してもよいし、演算時間短縮のために相関係数半平面５２におけるいくつかの相関係数、例えば次の４点（Ｖｗ，Ｈｗ）、（Ｖｗ，−Ｈｗ）、（Ｖｗ，０）、（０，Ｈｗ）を抽出し、その位置における差分絶対値相関係数Ｄ（ｖ，ｈ）の中から算出してもよい。なお、相関係数半平面５２内の全ての相対位置の係数について演算する場合、相関が最小となる値（差分絶対値相関係数の最大値）Ｒｍｉｎは次の式（１１）のように示すことができる。

ただし、（ｖ，ｈ）はＳｄ１の要素の値を取る。

これにより、相関が最小となる値（差分絶対値相関係数の最大値）Ｒｍｉｎが決定される。

次に、ＣＰＵ１２は、撮像画像２１の評価のため基準値を設定（図６のＳ１２）する。上述したＲｍｉｎは、撮像画像２１毎の相関係数決定領域３１内の画像特性に対して決定された係数であり、この値は、取得した画像の性質（相関特性）を表している。そこで、上記のように算出したＲｍｉｎから、入力画像に劣化があるかを判断するための閾値Ｄｔを決定する。その手法に先立って、まず、次式を満たす係数ｋを設定する。

そして、係数ｋを用いて次式のように入力画像評価基準値である閾値Ｄｔを決定する。

式（１２）における係数ｋは、取得した画像データ毎にあらかじめ決定しておく。通常は、ｋ＝１／２〜５／８の固定値である。また、ｋを可変値とし、取得した撮像画像のデータに応じて、ｋを１／２から増加又は減少させてもよい。例えば、取得した撮像画像の特性に応じて、ユーザがｋの値を調整するような方法や、被写体の明るさ、つまり、シャッター速度等の情報に応じて自動的に調整する方法等が考えられる。このようにして決定した定数により、入力画像評価基準値となる閾値Ｄｔを算出する（ステップＳ１２）。

先に計算された差分絶対値相関係数Ｄ（ｖ，ｈ）は、上述したように、撮像画像のデータにおける画素間の相関を示しており、高い相関が広く分布する画像は、手振れやフォーカスの不一致等に起因する劣化が生じていると判断できる。一方、閾値Ｄｔは、撮像画像のデータにおいて近似的に相関が低いとして決定された差分絶対値相関係数の最大値Ｒｍｉｎに１未満の定数を乗じて得たものであり、撮像画像のデータにおける劣化に関する相関の下限値を意味する。そこで、相関の高さを評価する指標である差分絶対値相関係数Ｄ（ｖ，ｈ）を閾値Ｄｔと比較することにより、入力された撮像画像のデータの劣化を判別することができる。

図１１は、実施の形態１に係る画像劣化検出方法において、原点（０，０）からの相対位置（ｖ，ｈ）に対する差分絶対値相関係数Ｄ（ｖ，ｈ）がとる値の代表的な内容を、１次元方向（ｖ＝０とした）について示したものである。原点（０，０）における差分絶対値相関係数Ｄ（０，０）は、０となり、原点（０，０）から離れた位置にある画素ほど、差分絶対値相関係数Ｄ（ｖ，ｈ）が大きくなる傾向がある。また、フォーカスや絞り値が適切に合致した場合の手振れのない撮像画像のデータは、画素同士の相関性が低くなり、手振れがある撮像画像データの場合、手振れがないときの画像と比較すると、隣接画素との相関性が高くなり、差分絶対値相関係数Ｄ（ｖ，ｈ）が低くなる傾向がある。以上のことから、相関係数決定領域３１内の注目画素３２に対して求められた差分絶対値相関係数Ｄ（ｖ，ｈ）を、取得した撮像画像のデータに手振れやフォーカスずれに起因する画像劣化が発生している頻度を示すパラメータとして用いることができる。

最後に、ＣＰＵ２１で閾値Ｄｔと差分絶対値相関係数Ｄ（ｖ，ｈ）の大きさを比較することにより、入力画像データの劣化判別（図６のステップＳ１３）を実行する。劣化判別では、相関係数平面５１において、原点からの相対位置（ｖ，ｈ）毎に、次の式（１４）に示すように差分絶対値相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔ以下である（相関が高い）場合は、劣化があるとして１、次の式（１５）に示すように差分絶対値相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔより大きい（相関が低い）場合は、劣化が存在しないとして０を割り当てる。

つまり、Ｃ（ｖ，ｈ）は、原点からの相対位置（ｖ，ｈ）毎の劣化に関する相関の有無を表す評価結果である。なお、Ｃ（ｖ，ｈ）の演算結果としては、「０」、「１」に限定する必要はなく、他の数値や文字や適当なフラグを設定してもよい。

つまり、式（１５）を満たす場合は劣化に関する相関が存在しないとみなし、式（１４）を満たす場合は劣化に関する相関が存在するとみなす。これにより、劣化に関する相関が１つ以上検知されれば、画像データは劣化が生じていると判断する。つまり、（ｖ，ｈ）＝（０，０）以外の相関係数Ｄ（ｖ，ｈ）が１つでも閾値Ｄｔより小さい場合は劣化が生じていると判断する。

一方、画像の種類によっては、例えば格子のように、所定の画像が連続するような被写体の場合、ブレ画像でないにもかかわらず、Ｄ（ｖ，ｈ）が低くなって、相関が高い、つまり劣化があると判定される場合がある。その場合、上記のように劣化の基準を一律に規定すると、鮮明な画像まで劣化として判定してしまうことがある。そこで、ステップＳ１３において、画像の特性に応じて、下記のように劣化を判定する基準を変更する機能を設けた。

例えば、Ｃ（ｖ，ｈ）が１となる数に下限値を設定し、Ｃ（ｖ，ｈ）が１となる数が下限値を超えた場合のみ劣化と判定する場合。

例えば、単にＣ（ｖ，ｈ）が１となる部分の数ではなく、Ｃ（ｖ，ｈ）が１となる部分の分布の形態により判定することもできる。例えば、Ｃ（ｖ，ｈ）が１となる部分が連続して生じていなければ、劣化と判定せず、Ｃ（ｖ，ｈ）が１となる部分が連続する場合のみ劣化と判定する場合。

図１２は、実施の形態１に係る画像劣化検出方法において相関係数半平面５２から劣化を判別する方法を説明するための図である。例えば、Ｃ（ｖ，ｈ）の結果が、図１２のように分布した場合、隣接した相対位置（ｖ，ｈ）が連続して１となる領域６１についてのみ注目し、領域６１、又は領域６１を囲む領域６２の面積｛（Ｋ＋１）×（２Ｌ＋１）−Ｌ−１｝や縦および横の長さ（それぞれＫ＋１と２Ｌ＋１）、周囲の長さ２×（Ｋ＋２Ｌ＋２）（全て画素数単位）が一定以上の場合のみ劣化とみなすようにしてもよい。

さらに、Ｃ（ｖ，ｈ）が１となる数や上記のように連続して１となる部分の面積等の値を劣化指標値として複数の入力画像データ毎に付与し、劣化指標値が平均値より上のものを劣化とする場合、あるいは、劣化指標値が多い順に所定順番以上のものを劣化と判定するなど、複数の画像データの中での相対評価によって決定してもよい。

なお、以上では、劣化判定は、ブレ方向が相関係数平面５１の原点（０，０）に対して点対称で表現可能な場合を説明しているので、相関係数半平面５２内で計算した相関係数Ｄ（ｖ，ｈ）によって実施しているが、相関係数平面５１内で計算した相関係数Ｄ（ｖ，ｈ）を用いても良い。また、ブレ方向が相関係数平面５１において２つの軸ｖおよびｈに対して対称であるとみなせる場合には、相関係数四半平面５３内で計算した相関係数Ｄ（ｖ，ｈ）を用いても良い。

上記に示したような方法により、劣化判定装置１１は画像劣化判定（Ｓ１３）終了し、画像データ毎に正確で短時間に劣化判定を行うことができる。

なお、上記実施の形態において入力画像に劣化が存在することが判明した場合、ユーザの選択に従ってさまざまな処理に移行させることができる。

例えば、劣化した画像については、メモリ節約のために記録を直ちに消去する場合。劣化した画像に対し劣化が生じていることや、上述した劣化指標値を表示してユーザの判断の指標とする場合。別途画像処理ツールを有し、劣化を検出した画像を画像処理ツールにおいて劣化補正等を行う場合、等が考えられる。また、撮像直後に劣化を検出する場合には、撮りなおしを指示するようにしてもよい。

上記実施の形態においては、画像の劣化検出をカメラ付携帯端末１で行うものとして説明したが、デジタルカメラやカメラ付携帯端末機器１で取得した画像（静止画、動画）が入力されたＴＶシステムによって、上記の方法を実行することもできる。

また、図６に示す画像劣化検出処理の内容をプログラム化し、ネットワークやＣＤ等の記録媒体を介してコンピュータに取り込ませ、デジタルカメラやカメラ付携帯端末機器１で取得した画像を、コンピュータ等の外部機器に入力し、コンピュータ上で上記の方法を実行してもよい。

以上、説明したように、撮像画像２１内に設定した相関係数決定領域３１内において、注目画素３２を原点（０，０）として設定された相関係数平面５１内で、原点（０，０）から所定の相対位置（ｖ，ｈ）にある相関係数Ｄ（ｖ，ｈ）を算出し、相関係数Ｄ（ｖ，ｈ）の中から、相関が最小となる値をＲｍｉｎとして決定し、その値から入力画像評価基準値である閾値Ｄｔを決定し、閾値Ｄｔと相関係数Ｄ（ｖ，ｈ）とを比較して、撮像画像２１の劣化を判定するようにしたので、手振れ等に起因する画像の劣化を容易に検出することができる。

また、ブレ方向が相関係数平面５１の原点（０，０）に対して点対称で表現可能な場合には、劣化判定は相関係数半平面５２内で計算した相関係数Ｄ（ｖ，ｈ）によって実施するので、画像の劣化の検出の高速化を図ることができる。

また、ブレ方向が相関係数平面５１において２つの軸ｖおよびｈに対して対称であるとみなせる場合には、相関係数四半平面５３内で計算した相関係数Ｄ（ｖ，ｈ）を用いるようにするので、画像の劣化の検出をさらに高速化することができる。

さらに、画像データに輝度データを用いたので、データ量が低減でき、高速に演算することが可能となる。

さらに、本実施の形態によれば、画像劣化の判定に際して撮影時のカメラの移動速度に関する情報を必要としないので、手振れセンサを有するカメラでなくとも本画像劣化処理方法を実行することが可能となる。

また劣化検出後、閾値Ｄｔよりも小さい相関係数Ｄ（ｖ，ｈ）を線形変換することで、劣化を補正するフィルタを導出して、手振れやぼけによって劣化した画像を補正することも可能である。

なお、画素間の画素データの差分値として、画素間の画素データそのものではなく、画素間の画素データの差に応じて変化する他の指標（相違度）を用いることもできる。

また、データ処理量を減らし、更なる処理の高速化のために、相関係数決定領域３１内の画素を間引くことによって選択したものについてのみ局所相関係数平面３３を定義しても良い。

また、上記の実施の形態では、輝度データを用いて差分絶対値及び相関係数を求めているが、輝度データの代わりに、例えばＲＧＢにおけるＧのみを用いることとしても良く、その場合にもデータ処理量が低減でき、高速に演算することが可能となる。

実施の形態２．
実施の形態１の画像劣化検出装置では、入力画像の相関係数決定領域３１の中で算出する相関係数として差分絶対値相関係数Ｄ（ｖ，ｈ）を採用し、閾値Ｄｔとを比較して入力画像の劣化を判定することにより、手ぶれ等に起因する画像の劣化を検出するようにしたが、入力画像内に設定した相関係数決定領域３１内の画素を用いて、相関係数平面５１に含まれる選択された相対位置の相関係数を求め、閾値決定手段で閾値を算出し、該相関係数を該閾値と比較して入力が画像の劣化を判定するようにしても、手ぶれ等に起因する画像の劣化を高速かつ容易に検出することができる。

本発明の実施の形態２に係る画像劣化検出装置が搭載される装置は、実施の形態１にて説明した図１（ａ）及び（ｂ）に示すカメラ付きの携帯端末機器と同様であるので、説明を省略する。また、このカメラ付きの携帯端末機器の構成についても、実施の形態１で説明した図２のブロック構成と同様であるので、説明を省略する。

さらに、本実施の形態２において検出しようとしている画像劣化の原因となる手振れの発生についても実施の形態１と同様であるので、説明を省略する。以下、実施の形態１と異なる部分である、効率の良い相関係数Ｄ（ｖ，ｈ）の算出と劣化の判別について述べる。

また、本実施の形態では、実施の形態１と異なり、以下に詳しく説明するように、局所相関係数平面３３内のすべての相対位置について相関係数Ｄ（ｖ，ｈ）を求めるのではなく、相対位置を後の説明から明らかとなる第１の規則によって順に選択して、選択された相対位置についてのみ、相関係数を求めることにより、データ処理量の削減を図り、処理の高速化を実現する。

図１３は、本実施の形態における画像劣化検出方法の概略を示すフローチャートであり、ユーザが撮影して記録された画像データに対して、図２のＣＰＵ１２がＲＯＭ１３内のプログラムに従って行う処理である。

ユーザがカメラ機能を用いて撮影することによって、又は外部メモリ９から、又は外部機器用Ｉ／Ｆ部１５を介して外部機器から画像劣化検出装置１１に入力画像データが入力される（ステップＳ２０）。

入力された画像データは、必要に応じて画像の特定の成分表すデータに変換される。例えば、携帯端末機器１のカメラ機能を用いて被写体を撮影したときに得られる画像データは、通常、Ｒ、Ｇ、Ｂ各々８ビット（０〜２５５）のデータで構成される。

この場合、例えば、Ｒ、Ｇ、Ｂのデータから輝度データＹへの変換を行う。実際上は例えば、Ｒ、Ｇ、Ｂのデータから、各々８ビットの輝度データＹ、色差データＣｂ、Ｃｒへのマトリクス変換を行う。この変換処理はＣＰＵ１２又は図示しない専用の処理ブロックで行われる。ＣＰＵ１２は、上記の変換処理によって得られた輝度データＹ、色差データＣｂ、Ｃｒのうち、輝度データＹを用いて、画像劣化検出処理を行う。

次にＣＰＵ１２は、図７に示す相関係数決定領域３１を定義する（Ｓ２１）。例えば、図７に示されるように、撮像画面２１の中心部分の縦Ｖｐｐ画素、横Ｈｐｐ画素の矩形の領域（左上隅の座標値が（ｉｂ,ｊｂ）、右下の座標値が（ｉｂ＋Ｖｐｐ−１，ｊｂ＋Ｈｐｐ−１）を図７に示す相関係数決定領域３１と定義する。

そして、定義された相関計数決定領域３１内の各画素３２を順に注目画素として、その注目画素３２を中心とする、縦（２Ｖｗ＋１）画素、横（２Ｈｗ＋１）画素の矩形の局所相関係数平面３３内の、第２の規則によって選択された相対位置の画素の画像データと注目画素３２の画像データとの差分値の絶対値（差分絶対値）ｄ（ｖ，ｈ）を算出し、さらに、相関計数決定領域３１内の全ての（Ｕ個の）画素についての（Ｕ個の）局所相関係数平面３３内の、同一の相対位置（ｖ，ｈ）の差分絶対値ｄ（ｖ,ｈ）の最大値を、相関係数Ｄ（ｖ，ｈ）として求める（ステップＳ２２）。上記の第２の規則により、例えば、局所相関係数平面３３の周縁上にある座標値（０，Ｈｗ）、（Ｖｗ，−Ｈｗ）、（Ｖｗ，０）、（Ｖｗ，Ｈｗ）の位置が選択される。

上記のようにして、選択された４つの相対位置（０，Ｈｗ）、（Ｖｗ，−Ｈｗ）、（Ｖｗ，０）、（Ｖｗ，Ｈｗ）についての相関係数Ｄ（０，Ｈｗ）、Ｄ（Ｖｗ，−Ｈｗ）、Ｄ（Ｖｗ，０）、Ｄ（Ｖｗ，Ｈｗ）を求め、得られた４つの相関係数Ｄ（０，Ｈｗ）、Ｄ（Ｖｗ，−Ｈｗ）、Ｄ（Ｖｗ，０）、Ｄ（Ｖｗ，Ｈｗ）から相関が最小となる値を求め、式（１２）を満たす係数を用い、式（１３）の計算を行って閾値Ｄｔを求める（Ｓ２３）。

この閾値Ｄｔは、画像劣化によって相関係数Ｄ（ｖ，ｈ）が小さくなっているのか、入力画像のコンテンツによって相関係数Ｄ（ｖ，ｈ）が小さくなっているのか切り分ける閾値処理のため用いられるものであり、劣化した画像において相関係数Ｄ（ｖ，ｈ）が取り得る（取る可能性の高い範囲内の）最大値に設定される。そして、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さければ、画像の劣化による差分絶対値相関特性を示している、即ち劣化画像である可能性があるとの判断をする。

通常、係数ｋとしては１／２〜５／８が実用的であるが、コンテンツに応じて変更しても良い。例えば、取得画像の特性に応じて、ユーザがｋの値を調整することとしても良く、被写体の明るさ、つまり、シャッター速度等の情報に応じて自動的に調整することとしても良い。

図１４（ａ）、（ｂ）は相関係数平面５１上の、注目画素と同じ行（ｖ＝０の行）についての（異なるｈの値に対する）相関係数Ｄ（０，ｈ）の一般的傾向の例を示したものである。

図示のように、当然ながらＤ（０，０）＝０であり、一般には｜ｈ｜が大きくなるにつれ、すなわち（０，０）から離れるにつれ相関係数Ｄ（０，ｈ）は大きくなる。

フォーカスや絞り値が適切に合致した場合の手振れのない撮像画像のデータは、画素同士の相関性が低くなる。その結果、相関係数の変化は図１４（ａ）のようになり、注目画素に近い相対位置についても相関係数Ｄ（０，ｈ）が比較的大きな値に維持される。

一方、手振れがある撮像画像データの場合、隣接画素との相関性が高くなり、相関係数Ｄ（ｖ，ｈ）が低くなる傾向がある。その結果、相関係数の変化は図１４（ｂ）のようになり、注目画素に近い相対位置についての相関係数が小さくなる。

以上のことから、閾値Ｄｔを式（１３）により適切に設定し、上記のように相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さいか否かで、相関係数Ｄ（ｖ，ｈ）が入力画像のコンテンツによる相関特性を表すものか、手振れやぼけによる相関特性を表すものかの判定に用いることができる。

但し、相関係数Ｄ（ｖ，ｔ）が閾値Ｄｔよりも小さい相対位置が一つでもあれば、画像が劣化していると判定するのではなく、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さい相対位置の数や、その注目画素との位置関係などに基づいて、画像が劣化しているかの判定を行うこととしている。一つの相対位置についての結果のみで劣化画像と判定する場合には、例えば格子模様のように、所定の画像が連続するような被写体の場合、ブレ画像でないにもかかわらず、相関係数Ｄ（ｖ，ｈ）が小さくなって、相関が高い、つまり劣化があると誤判定されてしまうおそれがあるためである。

本実施の形態ではまた、上記のような、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さい相対位置の数や、その注目画素との位置関係を検出するために、相関係数平面５１上のすべての相対位置についての、差分絶対値の算出、相関係数Ｄ（ｖ，ｈ）と閾値Ｄｔとの比較を行うのではなく、境界探索を行いながら、境界探索に必要な箇所（相対位置）についてのみ、順次差分絶対値の算出、相関係数Ｄ（ｖ，ｈ）と閾値Ｄｔとの比較を行うこととしている（ステップＳ２４）。境界探索による相対位置の順次選択が、本実施の形態２における第１の規則による相対位置の選択に当たる。

境界探索はチェインコードを出力しながら境界位置を探索するものである。ここで言う境界位置とは、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さい相対位置であって、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔ以上の相対位置に隣接している（上下、左右、斜め方向に隣接している、言い換えると縦方向（ｖ方向）の座標値の差及び横方向（ｈ方向）の座標値の差が共に１又は０である）ことを必要条件とするものである。この境界探索は、上記の閾値Ｄｔを参照し、後に詳述するアルゴリズムにより行われる。

境界探索においては、各相対位置（ｖ，ｈ）について、その位置の相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さければ第１の値、例えば「１」、その位置の相関係数が閾値Ｄｔ以上であれば、第２の値、例えば「０」となるフラグＣ（ｖ，ｈ）の値が定められ、一旦そのフラグＣ（ｖ，ｈ）の値が定められた後は、それ以降同じ相対位置については、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔより小さいか否かの判定をすることなく、フラグＣ（ｖ，ｈ）の値を参照することで処理を進める。

局所相関計数平面３３内のすべての相対位置のうち、相対位置（０，０）に隣接した相対位置のいずれにおいても相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔ以上であれば、画像に劣化が無いものとし、劣化検出を終了する。

それ以外のときは、劣化画像である可能性があるものとして、Ｃ（ｖ，ｈ）＝１となる相対位置のうち、注目画素位置（０，０）に連続したもののみから成る相対位置群（互いに隣接した相対位置についてＣ（ｖ，ｈ）が連続して「１」となる部分）を取出し、それらについて以下のような判定を行うことで、劣化画像か否かの判定を行なう（ステップＳ２５）。

境界探索が終わったら、Ｃ（ｖ，ｈ）＝１となった相対位置を閉じた曲線ＣＬでつなぐ。ここで言う閉じた曲線ＣＬは、例えば同じ相対位置を複数回辿るものであっても良い。例えば、図１５に示すように、線状につながった所定個数（図１５では３個）の相対位置（０，０）、（１,０）、（２，０）においてのみＣ（ｖ，ｈ）＝１となる場合、閉じた曲線ＣＬは、同じ相対位置（２，０）を２回辿る。また、図１７に示すように、閉じた曲線ＣＬの内側にＣ（ｖ，ｈ）＝０となる相対位置（１，０）、（２，０）、（１，１）が存在することも有り得る。

次に、その閉じた曲線ＣＬの内部に含まれる相対位置のフラグＣ（ｖ，ｈ）を全て「１」とおく。これは例えば図１６に示される相対位置（１，０）、（２，０）、（１，１）のフラグＣ（１，０）、Ｃ（２，０）、Ｃ（１，１）を「１」に設定することを意味する。

上記のような処理の後、以下のような基準により、劣化画像かどうかの判定を行う。一つの方法では、上記の閉じた曲線ＣＬ内にある相対位置の数が所定数以上であれば、画像が劣化していると判定する。

他の方法では、上記の閉じた曲線ＣＬ内の相対位置をすべて含む最小の矩形ＲＣの面積或いはその長辺の長さ（画素数で表す）が所定値以上のときに、画像が劣化していると判定する。図１７は、相関係数が閾値より小さい相対位置をすべて含む矩形の一例を示す図である。

他の方法では、上記の閉じた曲線ＣＬ内にある相対位置の数や、上記の閉じた曲線ＣＬ内の相対位置をすべて含む最小の矩形ＲＣの面積或いはその長辺の長さを劣化指標値として、複数の入力画像データ間での相対評価により、画像が劣化しているか否かの判定を行う。

例えば、複数の入力画像データについての上記の劣化指標値の平均値、或いは平均値に所定の係数を掛けた値よりも劣化指標値が大きいものを、劣化画像と判定することとしても良く、劣化指標値が多い順に所定順位以上のものを劣化画像と判定することとしても良い。

上記した境界探索は、例えばチェインコードを用いて行われる。チェインコードは、図１８に示すように、ある位置ｓの近傍８個の相対位置に対して割り振られるコードであり、図１８の場合０〜７を定義している。チェインコードの配置や値に関しては特に決まりは無く、その都度値を設定して用いればよい。そして、このチェインコードを、画像中のある領域の縁（境界）に沿って探索していくと、チェインコードによる境界検出ができる。以下に、図１９及び図２０を参照してチェインコードによる境界探索アルゴリズムを説明する。

図１９は、例えば輝度が所定値以上の画素を「１」、所定値未満の画素を「０」としてラベリングを行うことで得られる２値画像の例である。「１」の値を取る部分の境界を検出したい場合、チェインコードを用いた境界探索アルゴリズムで求めることができる。

まず、初期設定として、変数ｑの初期値をｑ＝０、境界探索結果のリスト番号をｒ＝０とし、図１９で境界探索開始位置を（ｂ_ｖ，ｈ_ｖ）＝（１，２）と設定して、（１，２）を図１８のｓとする。そして、以下の処理を終了条件が満たされるまで繰り返す。以下、ｐ％８はｐ／８の余りを表すものとする。

まず、変数ｐにｑを代入し、チェインコード（ｐ％８）とチェインコード（（ｐ＋１）％８）の位置に対応する２値画像の値を調べ、配列ｃｏｄｅ［ｐ％８］とｃｏｄｅ［（ｐ＋１）％８］に代入する。いま、位置（１，２）に対してチェインコード０とチェインコード１の位置はどちらも１と１であるので、ｃｏｄｅ［０］＝１、ｃｏｄｅ［１］＝１となる。このように、チェインコードに対応する位置の２値画像の値を調べ、ｃｏｄｅ［ｐ％８］＝１、ｃｏｄｅ［（ｐ＋１）％８］＝０となるまでｐを１ずつ増加させる。

ただし、ｐは最大ｐ％８＝７まで増加する。また、境界探索開始位置のみ、ｃｏｄｅ［ｐ％８］＝１、ｃｏｄｅ［（ｐ＋１）％８］＝０を満たすまでにｐ％８＝７となって処理が終了し、境界探索開始位置が１の値を取り、かつ孤立点（周囲の画素が全て０）となる場合があることに注意を要する。

本例では、ｐ＝１のときにｃｏｄｅ［１］＝１、ｃｏｄｅ［２］＝０となり、ｒ＝０でのチェインコードは１となる。チェインコードが求まると、チェインコードに対応する位置をｓとする。つまり図１９の（２，１）へｓを移動する。そして、変数ｑをｐ≧３のときｑ＝ｐ−３、ｐ＜２のときｑ＝ｐ＋５と更新する。

以上の処理を継続して実行し、ｓの位置とその位置でのチェインコードが、境界探索開始位置と同じになった場合は、互いに連続し、各々１の値を取る画素から成る領域の境界の探索が終了したことになり、この時点で境界探索が終了する。上記の境界探索を行いながら、求められたチェインコードｂ_ｃ、及び新たな移動先の座標値（ｂ_ｖ，ｈ_ｖ）をリスト番号ｒと関係付けてリスト（表）に記入していく。図１９の画像に対して境界探索を行った結果得られるリスト（表）の例が図２０に示されている。

本実施の形態では、以上の境界探索処理を応用し、効率的に相関係数を求め、劣化検出を行う。以下その処理について図２１および図２２を参照して説明する。

まず、ユーザがカメラ機能を用いて撮影することによって、又は外部メモリ９から、又は外部機器用Ｉ／Ｆ部１５を介して外部機器から画像劣化検出装置１１に入力画像データが入力される。

ＣＰＵ１２は、閾値Ｄｔの計算に使われる相関係数Ｄ（０，Ｈｗ）、Ｄ（Ｖｗ，−Ｈｗ）、Ｄ（Ｖｗ，０）、Ｄ（Ｖｗ，Ｈｗ）を、式（１０）に基づいて計算し、相関が最小となる値をＲｍｉｎとして求め、適切な係数ｋを設定して、式（１３）により、閾値Ｄｔを算出する。

次に、処理の繰り返し回数を表す変数ｒの値を０にする（図２１のステップＳ３０）。
次に、相関係数平面５１の中心位置（ｖ，ｈ）＝（０，０）を境界探索開始位置として設定するとともに、図２０と同様の境界探索結果のリストにｂ_ｖ［０］＝０、ｂ_ｈ［０］＝０を記録する（ステップＳ３１）。

次に、位置（０，０）でのチェインコードを求めるため、ｑ＝０と設定し（ステップＳ３２）、チェインコードｐ＝ｑに対応する位置からｐ＝ｑ＋７まで順に相関係数を計算する（即ち、以下のようにステップＳ３３〜Ｓ３７の処理を繰り返す）。まず、ステップＳ３３ではｐ＝ｑと設定する。

ステップＳ３４のサブルーチンであるチェインコード検出では、境界探索位置ｓに対してチェインコードｐ％８に対応する位置と（ｐ＋１）％８に対応する位置の相関係数を計算し、計算された相関係数Ｄ（ｖ，ｈ）と閾値Ｄｔとの比較の結果得られるフラグＣ（ｖ，ｈ）を求め、該フラグ（相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さければ「１」となり、そうでなければ「０」となる）を、それぞれの位置のｃｏｄｅ［ｐ％８］とｃｏｄｅ［（ｐ＋１）％８］へ代入する。

このとき、ｐ％８の位置の相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔより小さく、（ｐ＋１）％８の位置の相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔ以上であるかどうか、即ちｃｏｄｅ［ｐ％８］＝１、ｃｏｄｅ［（ｐ＋１）％８］＝１かどうかの判定の行い（ステップＳ３５）、判定結果がＮＯであれば（上記の条件が満たされなければ）、ステップＳ３６に進み、判定結果がＹＥＳであれば、ステップＳ３８に進む。

ステップＳ３６では、ｐがｑ＋７に達したかどうかの判定を行い、達していれば処理を終了し、達していなければ、ｐを１だけ大きくして（ステップＳ３７）、ステップＳ３４に戻り、以下ステップＳ３４以降の処理が繰り返される。

図１９に示される例の場合、最初にステップＳ３５の判定が行われるときに、上記の条件が満たされ、その位置でのチェインコードをｐ％８であるとし、ステップＳ３８に進み、境界探索結果のリストにｂ_ｃ［０］＝ｐ％８を記憶する。

ステップＳ３８の次に、ステップＳ３９に進み、次の境界探索位置の中心を設定するために、座標更新を行う。また、効率よく境界探索を行うために、次の位置での相関係数の計算開始点ｑを更新する。この座標更新に関しては、図２２を用いて後述する。

この時点で、境界探索開始位置での境界探索が終了したことになり、次にステップＳ４０で、繰り返し回数を示す変数ｒを１だけ大きくし、以下、ステップＳ４１以降の処理を行なう。ステップＳ４１以降の処理のうち、ステップＳ４１、Ｓ４２、Ｓ４３、Ｓ４４、Ｓ４５、Ｓ４７は、それぞれステップＳ３３、Ｓ３４、Ｓ３５、Ｓ３７、Ｓ３８、Ｓ３９と同様である。

ステップＳ４１以降の処理は、ステップＳ４５とステップＳ４７の間に挿入された、ステップＳ４６における条件が満たされるまで繰り返される。

ステップＳ４６の条件（終了条件）は、座標更新後の境界探索位置が境界探索開始位置と同じであり（即ち、境界探索位置ｂ_ｖ［ｒ］、ｂ_ｈ［ｒ］が境界探索開始位置ｂ_ｖ［０］、ｂ_ｈ［０］に一致し）、かつステップＳ４５でのチェインコードｂ_ｃ［ｒ］と境界探索開始位置でのチェインコードｂ_ｃ［０］が一致することである。

なお、境界探索開始位置での境界探索で、ステップＳ３５の条件を満たさず、ｐ＝ｑ＋７までループ処理を行った場合、劣化による高い相関が無いことを示しており、劣化が存在しなかったとして劣化検出処理を終了する。

次に、ステップＳ３９、Ｓ４７の座標更新について図２２のフローチャートを用いて詳細に述べる。

チェインコードがｂ_ｃ［ｒ］に記録された際、ステップＳ５１でｂ_ｃ［ｒ］＝０であればステップＳ５２へ進みｂ_ｖ［ｒ＋１］＝ｂ_ｖ［ｒ］＋１と更新する。

ｂ_ｃ［ｒ］＝０で無い場合は、ステップＳ５３でｂ_ｃ［ｒ］＝１であればステップＳ５４へ進みｂ_ｖ［ｒ＋１］＝ｂ_ｖ［ｒ］＋１、ｂ_ｈ［ｒ＋１］＝ｂ_ｈ［ｒ］−１と更新する。

ｂ_ｃ［ｒ］＝１で無い場合は、ステップＳ５５でｂ_ｃ［ｒ］＝２であればステップＳ５６へ進みｂ_ｈ［ｒ＋１］＝ｂ_ｈ［ｒ］−１と更新する。

ｂ_ｃ［ｒ］＝２で無い場合は、ステップＳ５７でｂ_ｃ［ｒ］＝３であればステップＳ５８へ進みｂ_ｖ［ｒ＋１］＝ｂ_ｖ［ｒ］−１、ｂ_ｈ［ｒ＋１］＝ｂ_ｈ［ｒ］−１と更新する。

ｂ_ｃ［ｒ］＝３で無い場合は、ステップＳ５９でｂ_ｃ［ｒ］＝４であればステップＳ６０へ進みｂ_ｖ［ｒ＋１］＝ｂ_ｖ［ｒ］−１と更新する。

ｂ_ｃ［ｒ］＝４で無い場合は、ステップＳ６１でｂ_ｃ［ｒ］＝５であればステップＳ６２へ進みｂ_ｖ［ｒ＋１］＝ｂ_ｖ［ｒ］−１、ｂ_ｈ［ｒ＋１］＝ｂ_ｈ［ｒ］＋１と更新する。

ｂ_ｃ［ｒ］＝５で無い場合は、ステップＳ６３でｂ_ｃ［ｒ］＝６であればステップＳ６４へ進みｂ_ｈ［ｒ＋１］＝ｂ_ｈ［ｒ］＋１と更新する。

ｂ_ｃ［ｒ］＝６で無い場合は、ステップＳ６５でｂ_ｖ［ｒ＋１］＝ｂ_ｖ［ｒ］＋１、ｂ_ｈ［ｒ＋１］＝ｂ_ｈ［ｒ］＋１と更新する。

最後にステップＳ６６にて、更新した座標におけるチェインコードの開始位置を、ｂ_ｃ［ｒ］≧３の場合ｑ＝ｐ−３、ｂ_ｃ［ｒ］≦２の場合ｑ＝ｐ＋５と更新する。

上記の説明では、境界探索がＶｗおよびＨｗで定義された相関係数平面５１を超えない場合について述べたが、越えてしまう場合の処理について言及しておく。

Ｖｗ、Ｈｗは、相関係数平面５１が手振れやぼけによる差分絶対値相関が高くなる範囲よりも十分に広い領域となるように定義されるが、劣化による高い相関を示す相対位置が広い範囲に及ぶ場合、定義した相関係数平面５１の端まで到達することが考えられる。この場合、相関係数平面５１の周縁の外側の相関係数は閾値Ｄｔ以上の値、例えば、相関係数が取り得る値の範囲の最大値（相関係数が８ビットで表される場合には２５５）を取るものと仮定することにより、必ず閾値Ｄｔよりも大きな値となるように処理を行なう。これにより、劣化による高い相関の部分が、定義されている相関係数平面５１の範囲を超えず、境界が相関係数平面５１の周縁以内に存在するとの検出結果を得ることができる。

さらに、実施の形態２に係る劣化検出処理方法を、ＰＣによって記録媒体から読み取り可能な又はインターネット等を介したダウンロードによって取得可能なソフトウェアプログラムとした場合には、ＰＣ等の外部機器によって、デジタルカメラやカメラ付き携帯端末機器１で撮像した画像の劣化を検出することができる。

次に、上述した境界探索の一例、及び境界探索に先立って行われる閾値計算について、図２３を参照してさらに説明する。

図２３の相関係数平面５１は、Ｖｗ＝Ｈｗ＝５の場合である。図２３の符号（Ｘａ）で表される第１種のハッチングで表された相対位置（群）は、閾値計算に用いるため先に相関係数が計算される相対位置であり、例えば座標値（０，Ｈｗ）、（Ｖｗ，−Ｈｗ）、（Ｖｗ，０）、（Ｖｗ，Ｈｗ）で表される４つの位置である。

符号（Ｘｂ）で表される第２種のハッチングで表された相対位置は、注目画素の位置（基準位置）（０，０）であり、この位置では、相関係数Ｄ（０，０）が０であり、この位置を開始位置として境界探索が開始され、この位置が境界探索の終了位置となる。

符号（Ｘｃ）で表される第３種のハッチングで表された相対位置（群）は、基準位置（０，０）、図４の領域Ｓｄ１（基準位置（０，０）と同じ行で基準位置（０，０）よりも右の相対位置、及び基準位置（０，０）よりも下の行の相対位置の集合）とを合わせた領域の外側に存在する位置であり、この位置の相関係数は２５５であると仮定して境界探索処理が行われる。

図２３の例では、境界探索開始位置（０，０）において境界探索を行うと、Ｄ（０，−１）<Ｄｔ、Ｄ（１，−１）≧Ｄｔであるので、相対位置（１，−１）が基準位置（０，０）に隣接し、「閉じた曲線」上の次の相対位置（従って、境界位置）にあると判定する。このとき、チェインコードは１であり、新たに境界探索の中心を座標更新にて更新し、次はチェインコード７の位置から境界探索をはじめる。

このようにして境界探索を実行すると、最終的に図２３に記載した番号の順に境界探索を行い、境界探索開始位置に戻る。

このような境界探索により得られた境界位置上の相対位置が、図中、符号（Ｘｄ）で表される第４種のハッチングで表されている。図示のように、この境界位置上の相対位置は、基準位置（０，０）に連続し、閉曲線ＣＬを構成する複数の相対位置から成る。

なお、図中で、符号（Ｘｅ）で表される第５種のハッチングで表された相対位置（群）は、劣化による相関係数の境界外であって、かつ相関係数が閾値Ｄｔよりも低い位置を表している。このような孤立した相対位置に存在する閾値Ｄｔよりも小さい相関係数Ｄ（ｖ，ｈ）は、周期的なコンテンツが画像中に含まれており、強い相関が存在していると考えられる。つまり、ぼけや手振れによるものではないと判断する。

本実施の形態では、中心位置（０，０）から境界探索により、相関係数を計算して行く手法を用いているので、離れて存在する、孤立した相対位置（相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔよりも小さい相対位置）を除外するための別個の処理を必要としない。

なお、上記の図１３に示す画像劣化検出処理は、例えば、以下に示すような複数の方法から選択して開始することができる。例えば、第１の方法は、撮影画像データをＲＡＭ１４に一時格納し、格納した画像データに対して自動的に画像劣化検出処理を開始する方法である。この場合、手振れの有無に関わらず、撮影した画像データすべてについて、劣化検出処理を行うことになる。

第２の方法は、撮影画像データを外部メモリ９に書き込み、後日、その画像データに対して自動的に画像劣化検出処理を行う方法である。

第３の方法は、ＲＡＭ１４もしくは外部メモリ９に格納された画像データをメインディスプレイ４に表示させ、表示画像を視認したユーザの操作に従って画像劣化検出処理を開始する方法である。

ここで、第３の方法では、ユーザの視認が必要であるので、大量のデータを処理する場合には時間を要することになる。しかし、メインディスプレイ部４が比較的小さいデジタルカメラやカメラ付携帯端末機器等で、撮影後の画像が縮小表示されて劣化状態を目視で正確に確認することが困難な場合でも、画像劣化検出処理は有効な手段となる。

例えば、劣化した画像については、メモリ節約のために記録されている画像データを直ちに消去することとしても良い。また、劣化した画像に対し劣化が生じていることや、上述した劣化指標値を表示してユーザが判断の際の参照できるようにしても良い。さらに、別途画像処理ツールを有し、劣化を検出した画像を画像処理ツールにおいて劣化補正等を行うこととしても良い。さらにまた、撮像直後に劣化を検出する場合には、撮りなおしを指示するようにしてもよい。

また、図１３に示す画像劣化検出処理の内容をプログラム化し、ネットワークやＣＤ等の記録媒体を介してコンピュータに取り込ませ、デジタルカメラやカメラ付携帯端末機器１で取得した画像を、コンピュータ等の外部機器に入力し、コンピュータ上で上記の方法を実行してもよい。

以上、説明したように撮像画像２１内に設定した図７に示す相関係数決定領域３１内の画素を用いて、相関係数平面５１に含まれる、選択された相対位置の相関係数Ｄ（０，Ｈｗ）、Ｄ（Ｖｗ，−Ｈｗ）、Ｄ（Ｖｗ，０）、Ｄ（Ｖｗ，Ｈｗ）を、先に相関係数決定手段（ステップＳ２２）にて求め、閾値決定手段（ステップＳ２３）で閾値を算出し、閾値を参照した境界探索により劣化による高い相関の部分を効率良く求め、劣化検出手段にて劣化を検出するようにしたので、手振れ等に起因する画像の劣化を高速かつ容易に検出することができる。

また、画像データに輝度データを用いたので、データ量が低減でき、高速に演算することが可能となる。

実施の形態３．
上記実施の形態２は、撮像画面２１における劣化による相関係数を、基準位置（０，０）から閾値Ｄｔを参照する境界探索アルゴリズムで、効率良く求めていくアルゴリズムであった。代わりに、相関係数平面５１内に、基準位置（注目画素）に近い相対位置のみから成る劣化検出範囲４１を設け、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔより小さくなるものを劣化検出範囲４１内のみで求めることで、さらに高速に劣化を検出できるようにしても良い。

閾値Ｄｔの決定は、実施の形態２と同様に行い得る。即ち、例えば相関係数平面５１の周縁に位置する選択された４つの相対位置の、４つの相関係数Ｄ（０，Ｈｗ）、Ｄ（Ｖｗ，−Ｈｗ）、Ｄ（Ｖｗ，０）、Ｄ（Ｖｗ，Ｈｗ）を先に求め、これらに基づいて閾値Ｄｔを算出する。

次に、図２４の劣化検出範囲４１内に含まれる相関係数Ｄ（ｖ，ｈ）を求める。この時、基準位置（０，０）を中心とする点対称性があるので、図２４のように３ｘ３サイズの矩形領域であれば、基準位置（０，０）と同じ行で（０，０）よりも右側、及び基準位置（０，０）よりも下の行の相対位置（全部で４つの相対位置）についてのみ相関係数を求めれば良い。この範囲４１内のみで相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔより小さくなるものを求め、実施の形態２と同様の判別方法で劣化を検出する。例えば、相関係数Ｄ（ｖ，ｈ）が閾値Ｄｔより小さい相対位置の数が所定値以上であれば、画像劣化であると判定する。

以上のように、注目画素に近い相対位置のみから成る予め劣化検出範囲４１を設定しておき、その範囲内の相関係数を求め判別することで、より少ない相関係数だけを用いて、より高速に劣化検出が行える。

上記の劣化検出範囲４１は例えば、ユーザにより任意に設定可能とされる。

また、最初比較的狭い劣化検出範囲４１を設定して、その範囲内で劣化が検出されたら、そこで劣化画像であるとの判断を行って処理を打ち切り、劣化が検出されないときは、より広い劣化検出範囲４１内で劣化検出を行い、劣化が検出されないときは、検出範囲４１を更に広げ、以下の同様の処理を繰り返すこととしても良い。この処理は、相関係数が閾値Ｄｔよりも小さいかどうかの判定を、注目画素に近い相対位置から遠い相対位置へと言う順に行う処理であるとも言える。このような処理により、劣化検出を高速に行うことができる。

実施の形態４．
上記実施の形態２および実施の形態３においては、画像劣化検出方法における相関係数決定領域設定（図１３のステップＳ２１）で、図７に示す相関係数決定領域３１を、その中心が、撮像画像２１の画面中心に一致するように決定した。しかし、撮像画像によっては、意図的にユーザが被写体を画面端に寄せて撮影する場合があり、このような場合は、撮像画像のフォーカスを画面中央位置ではなく、被写体がある画面端に合わせることとなる。このような状況下で撮影された撮像画像に関しては、実施の形態２で説明したように、画面中央に図７に示す相関係数決定領域３１が設定されている場合には、正確な画像劣化の検出ができない状況が発生する。そこで、実施の形態４においては、画面中央以外の領域（例えば、画面端）にフォーカスを合わせた場合についての画像撮影時にも、画像の劣化を正確に検出できるように構成している。

一般的に、画面端にフォーカスが合う場合とは、ユーザが意図的に被写体を画面端に配置し、その被写体にカメラ機能を用いてフォーカスを合わせて撮影する場合がほとんどである。これを実現するカメラの機能には、さまざまな方法が考えられるが、代表的なものは以下の（１）〜（３）の方法である。

（１）フォーカスロック機能を用いる方法
カメラのフォーカス検出センサ領域が画面中央のみにあり、ユーザは画面中央位置に被写体をもっていき、フォーカスを合わせた後、ボタン操作等の何らかの方法でフォーカスをロックし、ロックしたまま被写体を画面内の任意の位置に配置して撮影する。

（２）マルチフォーカス機能を用いる方法
画面中央領域だけでなく、複数の領域に対する検出を行うように複数のフォーカス検出センサが配置されている場合、複数のセンサからユーザがフォーカスを合わせたい領域にあるセンサを選択する、又はカメラが画像処理機能を使用して、自動的に被写体のある領域のセンサを選択することによって、画面中央位置以外の領域にある被写体にフォーカスを合わせて撮影する。

（３）画像処理機能を用いる方法
マルチフォーカス機能のように、あらかじめ撮像エリアを分割してあり、その中からユーザがフォーカスを合わせたい領域にある撮像エリアを選択する。又はカメラが自動的に被写体位置を検出し、分割されたエリアから特定のエリアを選択する。画像処理機能を用いた場合、フォーカスの検出にはフォーカスロック機能やマルチフォーカス機能のようなセンサを用いず、画像処理によってフォーカス検出を行う。

以上に示した３つの方法について、本実施の形態４においては、（２）マルチフォーカス機能及び（３）画像処理機能で示したフォーカス合致機能を装置本体が備える場合、そのフォーカス位置領域設定情報又はフォーカス検出領域情報を、図７に示す相関係数決定領域３１の決定方法に利用する。つまり、本実施の形態４においては、図７に示す相関係数決定領域３１の決定方法のみが実施の形態２と異なり、他は同様である。

図２５は、本実施の形態４における画像劣化検出装置１１について、図７に示す相関係数決定領域３１の決定方法を示した説明図である。図２５は、例えばカメラの機能として領域Ｚａ〜Ｚｉのようにフォーカスエリアが９分割され、最適なフォーカシング機能を持ったカメラで撮像された撮像画像２１が示されている。ここで、ユーザが意図的に、領域Ｚｄを指定してフォーカスを合わせる、又は、カメラの画像処理機能によって被写体ＳＪのある領域Ｚｄを自動的にカメラが認識した場合、フォーカス位置情報である領域Ｚｄを、ＣＰＵ１２が相関係数決定領域設定のステップ（ステップＳ２１）で、相関係数を計算する領域、即ち図７に示す相関係数決定領域３１として設定する。

しかし、領域Ｚｄの範囲に限らず、領域Ｚｄを含むその周辺領域を図７に示す相関係数決定領域３１として決定しても良い。

なお、上記の動作における撮影画像エリアの分割数は任意であり、図２５に示した９分割以外の分割数でもよい。また、本実施の形態４における画像劣化検出装置において行った画像劣化検出方法を、プログラム化し、コンピュータに取り込ませて行う場合、取得画像データのＥｘｉｆ（Exchangeable Image Format）情報等に付加されたフォーカスエリア情報を読み取り、その情報から図７に示す相関係数決定領域３１を決定するようにしてもよい。

以上のように、撮像画像２１の一部をフォーカス位置として指定するフォーカス位置情報に基づいて図７に示す相関係数決定領域３１を決定するようにしたので、フォーカスが画面中央以外の領域に合致した画像に対しても、入力画像の適切な位置に図７に示す相関係数決定領域３１を決定して、手振れ等に起因する画像の劣化を正確に短時間で検出することができる。

実施の形態４で説明した特徴は、実施の形態３で説明した特徴と組み合せることもできる。なお、実施の形態４で説明した特徴は、実施の形態３で説明した特徴とだけでなく、実施の形態１及び実施の形態２で説明したそれぞれの特徴とも組み合せることができるのは言うまでも無い。

以上、本発明を画像劣化検出方法及び装置として説明したが、図２に示されるＣＰＵ１２、ＲＯＭ１３、及びＲＡＭ１４は、コンピュータを構成するものであり、上記の画像劣化検出方法をコンピュータに実行させるプログラム、及び該プログラムを格納したコンピュータで読み取り可能な記録媒体も本発明の一部をなす。

Claims

入力画像の特性を反映した閾値を決定する閾値決定手段と、
前記入力画像の画面全体又は一部から成る相関係数決定領域内の複数の注目画素の各々の画像データと、それぞれ前記複数の注目画素の各々に対して第１の所定の規則で選択された相対位置にある画素の画像データとの差分絶対値の、前記相関係数決定領域の全体にわたる最大値を、相関係数として求め、該相関係数が前記閾値よりも小さいかどうかの判定を行い、該判定の結果に基づいて入力画像の劣化を検出する判定手段と
を備えた画像劣化検出装置。
前記閾値決定手段が、前記相関係数決定領域内の複数の注目画素の各々の画像データと、それぞれ前記複数の注目画素の各々に対して第２の所定の規則で選択された複数の相対位置にある画素の画像データとの差分絶対値の、前記相関係数決定領域の全体にわたる最大値に０よりも大きく１よりも小さい係数を掛けた値を、前記閾値とすることを特徴とする請求項１に記載の画像劣化検出装置。
前記判定手段が、前記複数の注目画素の各々を中心とする所定の大きさの窓領域内の前記相対位置にある画素について、前記差分絶対値及び前記相関係数を求め、前記第２の規則で選択された複数の相対位置が、前記窓領域の周縁に位置したものであることを特徴とする請求項２に記載の画像劣化検出装置。
前記判定手段が、前記複数の注目画素の各々を中心とする所定の大きさの窓領域内の前記相対位置にある画素ついて、前記差分絶対値及び前記相関係数を求めることを特徴とする請求項１に記載の画像劣化検出装置。
前記判定手段は、前記第１の規則による相対位置の選択により、前記注目画素に近い相対位置を始点として、相関係数が前記閾値よりも小さい相対位置であって、前記相関係数が前記閾値以上の相対位置に隣接した境界位置を順次検出する境界検索を行うことを特徴とする請求項１に記載の画像劣化検出装置。
前記判定手段は、検出された前記境界以外の相対位置については、前記相関係数の決定、及び該相関係数と前記閾値との比較を行うことなく、前記劣化画像か否かの判定を行うことを特徴とする請求項５に記載の画像劣化検出装置。
前記判定手段は、前記第１の規則により、前記注目画素に近い所定の相対位置を選択することを特徴とする請求項１に記載の画像劣化検出装置。
前記判定手段は、前記注目画素に近い所定の相対位置についての前記相関係数と前記閾値との比較により、画像の劣化が検出されないときは、前記所定の相対位置の外側の相対位置を選択して、該相対位置について前記相関係数の決定、及び該相関係数と前記閾値との比較を行うことを特徴とする請求項７に記載の画像劣化検出装置。
前記入力画像が、撮像手段から得られるものであり、
前記撮像手段による撮像に際して、画面領域の一部がフォーカス位置を指定され、
前記判定手段は、前記フォーカス位置を指定するフォーカス位置情報に基づいて前記相関係数決定領域を決定することを特徴とする請求項１に記載の画像劣化検出装置。
前記判定手段は、前記フォーカス位置の近傍の領域を含む領域を、前記相関係数決定領域とする請求項９に記載の画像劣化検出装置。
入力画像の特性を反映した閾値を決定する閾値決定ステップと、
前記入力画像の画面全体又は一部から成る相関係数決定領域内の複数の注目画素の各々の画像データと、それぞれ前記複数の注目画素の各々に対して第１の所定の規則で選択された相対位置にある画素の画像データとの差分絶対値の、前記相関係数決定領域の全体にわたる最大値を、相関係数として求め、該相関係数が前記閾値よりも小さいかどうかの判定を行い、該判定の結果に基づいて入力画像の劣化を検出する判定ステップと
を備えた画像劣化検出方法。
前記閾値決定ステップが、前記相関係数決定領域内の複数の注目画素の各々の画像データと、それぞれ前記複数の注目画素の各々に対して第２の所定の規則で選択された複数の相対位置にある画素の画像データとの差分絶対値の、前記相関係数決定領域の全体にわたる最大値に０よりも大きく１よりも小さい係数を掛けた値を、前記閾値とすることを特徴とする請求項１１に記載の画像劣化検出方法。
前記判定ステップが、前記複数の注目画素の各々を中心とする所定の大きさの窓領域内の前記相対位置にある画素について、前記差分絶対値及び前記相関係数を求め、前記第２の規則で選択された複数の相対位置が、前記窓領域の周縁に位置したものであることを特徴とする請求項１２に記載の画像劣化検出方法。
前記判定ステップが、前記複数の注目画素の各々を中心とする所定の大きさの窓領域内の前記相対位置にある画素ついて、前記差分絶対値及び前記相関係数を求めることを特徴とする請求項１１に記載の画像劣化検出方法。
前記判定ステップは、前記第１の規則による相対位置の選択により、前記注目画素に近い相対位置を始点として、相関係数が前記閾値よりも小さい相対位置であって、前記相関係数が前記閾値以上の相対位置に隣接した境界位置を順次検出する境界検索を行うことを特徴とする請求項１１に記載の画像劣化検出方法。
前記判定ステップは、検出された前記境界以外の相対位置については、前記相関係数の決定、及び該相関係数と前記閾値との比較を行うことなく、前記劣化画像か否かの判定を行うことを特徴とする請求項１５に記載の画像劣化検出方法。
前記判定ステップは、前記第１の規則により、前記注目画素に近い所定の相対位置を選択することを特徴とする請求項１１に記載の画像劣化検出方法。
前記判定ステップは、前記注目画素に近い所定の相対位置についての前記相関係数と前記閾値との比較により、画像の劣化が検出されないときは、前記所定の相対位置の外側の相対位置を選択して、該相対位置について前記相関係数の決定、及び該相関係数と前記閾値との比較を行うことを特徴とする請求項１７に記載の画像劣化検出方法。
前記入力画像が、撮像ステップから得られるものであり、
前記撮像ステップによる撮像に際して、画面領域の一部がフォーカス位置を指定され、前記判定ステップは、前記フォーカス位置を指定するフォーカス位置情報に基づいて前記相関係数決定領域を決定することを特徴とする請求項１１に記載の画像劣化検出方法。
前記判定ステップは、前記フォーカス位置の近傍の領域を含む領域を、前記相関係数決定領域とする請求項１９に記載の画像劣化検出方法。
請求項１１に記載の画像劣化検出方法をコンピュータに実行させるためのプログラム。
請求項２１に記載のプログラムを格納したコンピュータで読み取り可能な記録媒体。