JP2024064449A - 画像処理方法、画像処理装置、及びプログラム - Google Patents

Abstract

【課題】 撮像画像のぼけ判定を高精度かつ高速に実行することを目的としている。【解決手段】 符号化処理を含む圧縮処理によって撮像画像を圧縮することで生成された圧縮画像データと、符号化処理に用いられた符号化情報とを含む圧縮画像情報を取得する第１の工程Ｓ１１と、符号化情報を用いて圧縮画像データを復号することで復号データを生成する第２の工程Ｓ１２と、復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて撮像画像のぼけの評価を行う第３の工程Ｓ１３とを有する。【選択図】 図９

Description

本発明は、画像のぼけを判定する画像処理方法に関する。

撮像画像を離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などの周波数変換によって得られたＤＣＴ係数に基づいて、撮像時の手振れやピントずれによる撮像画像のぼけの有無を判定（ぼけ判定）する方法が知られている。撮像装置を用いて取得された撮像画像は一般的にＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式で圧縮処理される。ＪＰＥＧ形式では、画像を所定の大きさの複数のブロックに分割し、それぞれを周波数変換、量子化処理、及び符号化処理により撮像画像を圧縮することで圧縮画像データを生成する。圧縮画像データを用いて撮像画像のぼけ判定を行う場合、圧縮画像データから元の撮像画像を再構成した後、ＤＣＴなどによって空間領域から周波数領域に変換する必要があるため、ぼけ判定に時間がかかる。

特許文献１では、ぼけ判定にかかる処理時間を短縮するため、撮像画像を再構成する前にぼけ判定を行う画像処理方法が開示されている。

特開２００７－２２０００９号公報

特許文献１の方法では、ＪＰＥＧ形式で圧縮している圧縮画像データに対して復号処理及び逆量子化処理を行う。そして、逆量子化処理後のＤＣＴ係数における低周波側の情報に基づいて、ぼけ判定に用いる評価値を算出する。しかしながら、撮像時の手振れやピントずれによってぼけが生じた場合、撮像画像において変化が大きいのは主に高周波側のため、低周波側の情報のみでは精度が低くなるという課題がある。

そこで、本発明は、撮像画像のぼけ判定を高精度かつ高速に実行することを目的としている。

本発明の画像処理方法は、符号化処理を含む圧縮処理によって撮像画像を圧縮することで生成された圧縮画像データと、符号化処理に用いられた符号化情報とを含む圧縮画像情報を取得する第１の工程とを有する。さらに、符号化情報を用いて圧縮画像データを復号することで復号データを生成する第２の工程と、復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて撮像画像のぼけの評価を行う第３の工程とを有することを特徴とする。

本発明によれば、撮像画像のぼけ判定を高精度かつ高速に実行することができる。

ブロックのイメージ図 ジグザグスキャンの説明図 ブロックに対応した輝度情報を示した図 ＤＣＴ後のブロックを示した図 量子化テーブルを示した図 実施例１におけるブロックを示した図 実施例１における撮像装置のブロック図 実施例１における撮像装置の外観図 実施例１におけるぼけ判定処理のフローを示した図 ぼけ判定に用いるヒストグラム ぼけ判定に用いるヒストグラム 実施例２におけるぼけ判定処理のフローを示した図 対称性を改善させるための重みのテーブルを示した図 対称性が改善された量子化テーブルを示した図 実施例２におけるブロックを示した図 対称性を改善させるための重みのテーブルを示した図 対称性が改善された量子化テーブルを示した図 ブロックにおける領域を示した図

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本発明の実施形態の要旨を説明する。本実施形態における画像処理方法は、復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて撮像画像のぼけの評価を行う。復号データは、撮像画像の再構成に必要な逆量子化などの処理を要することなく圧縮画像データに対する復号処理のみによって生成される。したがって、圧縮画像データから元の撮像画像を再構成した後にぼけ判定する方法に対して、ぼけ判定における処理時間を短縮することができる。

また、撮像画像にぼけが生じた場合、撮像画像の高周波成分が大きく変化するため、撮像画像の高周波成分に基づいてぼけ判定を行うことで、ぼけ判定の精度を高めることができる。本実施形態において、復号データに含まれるゼロの要素の数及びゼロ以外の要素の数と撮像画像に含まれる高周波成分の量とは相関している。したがって、復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいてぼけの評価を行うことで、撮像画像のぼけ判定を高精度に実行することができる。

ここで、ＪＰＥＧファイルの概要について説明する。ＪＰＥＧファイルは、ＪＰＥＧ形式での圧縮処理した撮影画像を記憶媒体などに保存する際に用いられ、ＪＰＥＧ形式で圧縮処理された撮像画像の情報（圧縮画像データ）と、圧縮処理に関する情報とを含む。

ＪＰＥＧファイルは、マーカーと呼ばれる２バイトのコードによって複数のセグメントに分割されている。セグメントとは、ＪＰＥＧ内に記録されている情報を種類別にまとめた領域である。ＪＰＥＧファイルの最初にはＳＯＩ（Ｓｔａｒｔ ｏｆ Ｉｍａｇｅ）マーカー、最後にはＥＯＩ（Ｅｎｄ ｏｆ Ｉｍａｇｅ）マーカーがあり、その間に複数のセグメントと圧縮画像データが存在している。セグメントは、セグメントの種類を表すマーカーと、セグメントの長さの情報と、記録されている情報とを有している。各セグメントの先頭に格納されているマーカーの情報を照合することで、必要なセグメントのみ取得することができる。

次に、ＤＱＴ（Ｄｅｆｉｎｅ Ｑｕａｎｔｉｚａｔｉｏｎ Ｔａｂｌｅ）セグメント、ＤＨＴ（Ｄｅｆｉｎｅ Ｈｕｆｆｍａｎ Ｔａｂｌｅ）セグメント、ＳＯＦ（Ｓｔａｒｔ ｏｆ Ｆｒａｍｅ）セグメント、ＳＯＳ（Ｓｔａｒｔ ｏｆ Ｓｃａｎ）セグメントについて説明する。

ＤＱＴセグメントには、圧縮処理における量子化処理に用いた量子化テーブル（量子化情報）が保持されている。ＤＱＴセグメント内には複数の量子化テーブルを保持することが可能であり、例えば色によって使い分けることができる。また、量子化テーブルは撮像画像におけるブロックと同じ大きさである。本実施形態におけるブロックは、ＪＰＥＧ形式での圧縮処理の際に撮像画像を所定の大きさごとに分割することで得られる。また、ＪＰＥＧ形式での圧縮処理の場合、画像の色の表示形式はＲＧＢから変換（ＹＣｂＣｒ変換）されたＹＣｂＣｒ形式であるため、例えばＹ（輝度情報）、Ｃｒ（青色色差情報）及びＣｂ（赤色色差情報）に用いる量子化テーブルを別々に保持できる。

ＤＨＴセグメントには、ＪＰＥＧ形式における符号化処理であるハフマン符号化に用いたハフマンテーブル（符号化情報）が保持されている。ＤＨＴセグメントはＤＱＴセグメントと同様に複数のテーブルを定義することができる。一般的にＤＨＴセグメントのテーブルは輝度情報用のＤＣ（直流）成分及びＡＣ（交流）成分と、青色色差情報及び赤色色差情報用のＤＣ成分及びＡＣ成分とで合わせて四つのテーブルを保持していることが多い。ブロックがＮ×Ｎ画素の場合、ＤＣ成分はブロック内の総和のＮ分の１になる。つまり、ＤＣ成分がゼロになるということは対応する撮像画像のブロック部分が全てゼロの場合となる。よって、ＤＣ成分がゼロになる場合はＡＣ成分もゼロとなる場合のみに限定されるため、ＤＣ成分の情報は取得しなくてもぼけ判定を実施することは可能となる。なお、ハフマン符号化はＤＣ成分とＡＣ成分とで異なる。ＤＣ成分は量子化済みのＤＣＴ係数に対してビット列に変換した後、その数値を表現するのに必要なビット数に対応したハフマンコードをビット列の前につけることで１つのコードとなる。一方、ＡＣ成分は数値を表現するのに必要なビット数毎にハフマンコードを付与する処理はＤＣ成分と同じであるが、その後ランレングス圧縮が施される。そのため、ＡＣ成分のハフマンテーブルはビットデータ長に加えて、ゼロがどれだけ続くかといったランレングスの値を保持している。これにより、ある数値の後に複数個のゼロが続く場合、それらはまとめて１つのハフマンコードで表される。

ＳＯＦセグメントには、撮像画像のサイズやサンプリング比等の情報が保持されている。

ＳＯＳセグメントは、これ以降に圧縮画像データが続くことを表しており、圧縮画像データの前に保持されている。圧縮画像データはＭＣＵ（Ｍｉｎｉｍｕｍ Ｃｏｄｅｄ Ｕｎｉｔ）と呼ばれる単位で格納されている。色が３色でサンプリング比が４：２：０の場合、ＭＣＵはＹの８×８画素のブロックが四つ、Ｃｒの８×８の画素のブロックが一つ、及びＣｂの８×８画素のブロックが一つの合計六つのブロックで構成される。この場合、本来Ｃｒ、ＣｂもＹと同様に８×８画素のブロックが四つあるので、１２個のブロックのデータを間引いて６個のブロックが削減されていることになる。このように、サンプリング比が４：２：０の場合は、Ｙに対してＣｒ、Ｃｂのデータは４分の１に間引かれる。ちなみに、サンプリング比が４：４：４ではＣｒ、Ｃｂの間引きがなくなり、Ｙと同じデータ数となる。

次に図１を参照してブロックについて説明する。図１は、本実施形態におけるブロックのイメージ図であり、水平方向の周波数軸をμ、鉛直方向の周波数軸をνとしている。本実施形態における撮像画像は、ＹＣｂＣｒ変換されており、サンプリング比は４：２：０である。この場合、前述のようにＭＣＵは１２個のブロックで構成され、そのうち４個が輝度成分Ｙのブロックである。なお、各ブロックは８×８画素で構成されている。周波数（μ，ν）＝（０，０）がＤＣ成分で、残りの６３個のデータがＡＣ成分とである。周波数μ、νの値が大きいほど高周波の成分である。

なお、図１は二次元のデータで表されているが、実際に格納されているデータは一次元のデータである。二次元のデータの一次元化には、ジグザグスキャンと呼ばれる処理が用いられる。図２は、ジグザグスキャンの説明図であり、各マスに記載されている番号は一次元化した際の格納順である。図２のように、ＡＣ成分は（μ，ν）＝（１，０）から始まって二次元データを低周波側から高周波側に向かっていき、６３番目の（μ，ν）＝（７，７）で終わる。ジグザグスキャン後の一次元データは周波数の順で並んでいるため、特に後半の高周波側のデータはゼロが並びやすくなる。ＪＰＥＧ形式では、こうしたゼロが連続したデータに対して符号化処理を行うことで高圧縮化を実現している。このように図１のような二次元状のブロックデータを取得するためには、一次元データを図２の格納順の情報をもとに二次元化する必要がある。しかし、本実施形態における撮像画像のぼけ判定では、ブロック内のＤＣＴ係数がゼロとなる要素の情報が取得できればよいため、二次元化は必須ではない。

ここで、図３乃至図６を参照して量子化処理に関して説明する。図３に、撮像画像における８×８画素の輝度情報のイメージ図を示す。図３の各値は撮像画像の輝度値を表しており、撮像画像から所定の大きさごとに分割することで生成される。ＪＰＥＧ形式での圧縮の際にはこの８×８画素のブロックごとに周波数変換される。なお、本実施形態における周波数変換は、離散コサイン変換（ＤＣＴ）を用いる。また、本実施例において色変換によって生成された輝度情報のみを用いているが、これに限定されるものではない。

図４は、図３の輝度情報に対して離散コサイン変換を実施した場合のＤＣＴ係数を示す。図４のＤＣＴ係数は図１の座標と対応した座標を有しており、撮像画像に含まれる８×８画素のブロックにおける周波数分布を表している。また、ＤＣＴ係数は左上にＤＣ成分、その他はＡＣ成分を示し、高周波になるほど値が小さくなる。

図５に、本実施形態における量子化テーブルを示す。量子化テーブルもブロックと同様に８×８画素を有する。なお、量子化テーブルのそれぞれの要素はそれぞれ１から２５５までの値を有している。ＤＣＴ係数の各値と量子化テーブルの各値を対応する位置ごとに除算することで、ＤＣＴ係数を量子化することができる。そのため、量子化テーブルの各要素がそれぞれ１に近いほど量子化の影響が小さくなる。ＪＰＥＧ画像の作成において、品質レベル（ｑｕａｌｉｔｙ）を設定できる場合、量子化テーブルの要素を全て１にすることで品質レベルを最大にすることができる。

しかし、量子化テーブルの要素が全て１であっても、量子化後に整数化されるため、例えば図４の状態で絶対値が０．５未満の値はすべてゼロになる。このように、ＪＰＥＧ形式では量子化処理によって情報量が欠落するため、基本的には不可逆変換である。なお、品質レベルを最小とした場合、図５の要素が全て２５５となり、量子化後のＤＣＴ係数はほとんどがゼロとなるため圧縮率を高めることができる。

図６に、量子化後のＤＣＴ係数を示す。図６の量子化後のＤＣＴ係数は、図４のＤＣＴ係数を図５の量子化テーブルの値で除算し、四捨五入することで算出されている。量子化後のＤＣＴ係数は左上の低周波側にゼロ以外の値が集まりやすく、右下の高周波側ではゼロが多く集まりやすい。図６の二次元データをジグザグスキャンにより一次元化した場合、ゼロ以外の要素であるのはＡＣ成分の２４番目（μ，ν）＝（３，３）まであり、ゼロの要素であるのは２５番目以降である。このとき図６におけるゼロの要素の数（評価値）は４３である。例えば評価値と閾値を比較することによって、撮像画像におけるぼけの有無を判定することができる。撮像画像のぼけ判定の詳細については後述する。

さらに、量子化後のＤＣＴ係数を上述した符号化処理を行うことで、ＪＰＥＧファイルとして保存される圧縮画像データを生成することができる。

本実施形態では、撮像画像を圧縮する際の量子化後のＤＣＴ係数に相当する復号データに基づいて評価値の算出を行う。復号データは、量子化テーブルを用いて圧縮画像データを復号することで生成される。逆量子化処理を行わず復号データを用いて評価を行うことで、ぼけ判定における処理の負荷低減することができる。

上記で挙げた画像処理方法は一例であり、本発明はこれに限定されるものではない。その他の画像処理方法などの詳細は以下の実施例に述べる。

［実施例１］
次に、図７，図８を参照して、実施例１における撮像装置１００の構成について説明する。図７は、撮像装置１００の構成を示すブロック図である。図８は、撮像装置１００の外観図である。撮像装置１００には、本実施例のぼけ判定を行うための画像処理プログラムがインストールされている。

本実施例における撮像装置１００は、特に橋梁などの構造物壁面の点検や、部品の外観検査に用いる画像点検に用いられるものとする。こうした画像点検を行う際にはひび割れやキズ等を自動的に認識する点検手法がよく用いられる。一般的にはパターン認識等を用いることでひび割れやキズを検知することが多いが、これらの手法は画像がぼけてないことを前提としている。ここでぼけとは、ピントずれと手振れの両方を含むものとする。ピントずれは、被写体（橋梁であれば構造物壁面）に焦点が合っていないことが原因でぼけている状態のことを示す。また、手振れは撮影する際、露光中に撮像装置本体が動くことによって撮像画像がぼけることを示す。例えば撮像装置をユーザが手で持った状態で撮影を行うとき、露光中に縦方向に撮像装置が動いた場合、撮像画像は縦方向に大きくぼける。また、本実施例において手振れは人が撮像装置を保持している場合に限定されない。例えば、ドローン等の無人飛行機に搭載された撮像装置において、飛行時の揺れによってぼける場合も手振れに含むものとする。このような画像点検に用いる撮像画像にぼけが含まれる場合、ひびの識別精度が低下してしまう。

そこで、後述するぼけ判定を用いて撮像画像のぼけの有無を判定する処理を行い、例えば“ぼけている”と判定された画像がある場合その画像を除いて画像点検を実施する、又はその画像の撮り直しすることで、識別精度を高めることができる。

図７に示す撮像装置１００は、撮像部（撮像手段）１０１、画像処理部（処理手段）１０２、記憶部１０３、表示部１０４、及びシステムコントローラ１０５を有する。

撮像部１０１は、被写体空間から入射する光を集光する光学系１０１ａと、複数の画素を有する撮像素子１０１ｂとを有し、被写体空間の像を撮像画像として取得する。撮像素子１０１ｂは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどで構成される。取得された撮像画像は、画像処理部１０２に入力される。画像処理部１０２は、復号部１０２ａ、評価部１０２ｂ、及びぼけ判定部１０２ｃを有する。復号部１０２ａは符号化されたＤＣＴ係数を復号する。評価部１０２ｂは復号されたＤＣＴ係数（復号データ）を用いてぼけ判定のための評価値を算出する。ぼけ判定部１０２ｃは評価値に基づいて撮像画像にぼけがあるかの判定を行う。この処理の詳細は後述する。なお、画像処理部１０２の機能は、１つ以上のプロセッサ（処理手段）にて実現可能である。記憶部１０３には、撮像部１０１により取得された撮像画像がＪＰＥＧ形式で保存されている。なお、撮像画像が保存される形式はこれに限定されない。本実施例では、記憶部１０３に保存されている撮像画像のぼけの評価を行う。表示部１０４には、ぼけ判定の結果や撮像画像を表示することができる。以上の一連の制御は、システムコントローラ１０５によって行われる。

次に、図９を参照して画像処理部１０２で行われるぼけ判定処理に関して説明する。図９はぼけ判定処理に関するフローチャートである。

ステップＳ１１（第１の工程）において、画像処理部１０２は記憶部１０３から圧縮画像情報を取得する。なお、本実施例における圧縮は、ＪＰＥＧ形式で行われている。ＪＰＥＧ形式では、セグメントの種類を表すマーカー情報を照合することで、必要なセグメントのみ取得することができる。本実施例において圧縮画像情報として、ＳＯＳセグメント、ＤＨＴセグメント、及びＳＯＦセグメントの情報を取得する。ＳＯＳセグメントには、ＪＰＥＧ形式で圧縮されている画像データ（圧縮画像データ）が保持されている。ＤＨＴセグメントには、ハフマン符号化に用いたハフマンテーブル（符号化情報）が保持されており、以降のステップにおいてデータの復号に用いられる。また、ＳＯＦセグメントには、画像のサイズやサンプリング比等の情報を保持されている。なお、本実施例では復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて評価値を算出する。このとき、ＤＨＴセグメントのうちＤＣ成分のテーブルは取得しなくてもよい。

なお、本実施例における圧縮画像情報は、撮像装置１００から取得されているが、これに限定されるものではない。例えば、別の撮像装置を用いて取得された撮像画像に基づいた圧縮画像情報を取得してもよい。また、前述のように、撮像画像は橋梁等の構造物壁面や部品の外観等の画像が望ましい。こうした画像であれば、画像内に含まれる被写体がある程度限定されるため、ぼけ判定の精度を高めることができる。

ステップＳ１２（第２の工程）において、復号部１０２ａは取得した圧縮画像データを復号する。圧縮画像データは、圧縮処理の際に符号化情報を用いて符号化処理を施されており、復号部１０２ａは符号化情報を用いて圧縮画像データを復号する。また、撮像画像のうちＹＣｂＣｒ変換により得られた輝度情報に基づく圧縮画像データのみを復号してもよい。輝度情報のみを復号して得られた復号データを用いてぼけ判定することで処理をより高速化することができる。

ステップＳ１３（第３の工程）において、評価部１０２ｂはぼけ判定に用いる評価値を算出する。本実施例では、復号データの各ブロックのゼロの要素の数をカウントすることで、評価値を算出する。量子化後のＤＣＴ係数の各ブロックに含まれる要素の数は特定の数であるため、ゼロ以外の要素の数を評価値として用いても同様の結果が得られる。そのため、評価値はこれに限定されずゼロ以外の要素の数を評価値としてもよい。

本実施例における量子化後のＤＣＴ係数は、８×８画素のブロックであり、６４個の要素の数を有する。また、ゼロの要素の数と撮像画像のぼけとは相関しており、ゼロの要素の数が少ない場合、ブロックに含まれている高周波成分が多い。一方で、ゼロの要素の数が多い場合、ブロックに含まれている高周波成分が少ない。復号データに含まれるゼロの要素の数が多い場合、細かい構造があまりない（高周波成分が少ない）被写体を撮像しているか、又は手振れやピンぼけによって高周波成分が失われたかのどちらかである。このように、ゼロの要素の数は被写体によっても変化するため、本実施例では、ぼけ判定の精度を高めるために、複数のブロックの情報に基づいてぼけ判定を行う。

ステップＳ１４（第４の工程）において、ぼけ判定部１０２ｃは評価値に基づいてぼけ判定を行う。本実施例においてぼけ判定部１０２ｃは、取得された複数の評価値の度数分布（ヒストグラム）を用いてぼけ判定を行う。

ここで異なる画像に対するブロックごとの評価値のヒストグラムを図１０及び図１１に示す。図１０及び図１１の縦軸はカウント数、横軸は評価値である。なお、８×８画素のブロックで計算しているため、ＤＣ成分も含め横軸の最大は６４である。また、図１０及び図１１は輝度情報ＹのＤＣＴ係数のみを用いて算出しているが、これに限られない。例えば色差情報Ｃｒ、Ｃｂを用いてもよい。なお、図１０及び図１１の横軸は一例であり、より細かい（又はより荒い）範囲ごとに要素の数をカウントしてもよい。

例に用いた画像の画素数は、いずれも６７２０×４４８０画素である。画像全体に対して８×８画素のブロックごとに評価値を算出した場合、６４分の１である４７０，４００個の評価値を有する画像（マップ）が生成可能である。そのため、図１０及び図１１は４７０，４００個のデータから作成されているヒストグラムでありである。

本実施例では、ヒストグラムを用いて求められる最頻値を用いてぼけ判定を行う。図１０における最頻値は３８であり、図１１における最頻値は４６である。つまり、図１１は、図１０に対してＤＣＴ係数におけるゼロが多いため、ぼけている可能性が高い。なお、本実施例におけるぼけ判定では、閾値を設定し、その値に対して大小を比較する。例えば閾値を４０に設定した場合、図１０は“ぼけてない”また図１１は“ぼけている”と判定される。なお、本実施例における閾値は、これに限定されるものではなく、撮像の対象に応じて設定されてもよい。例えば細かい構造の多い（高周波成分を多く含む）被写体を撮像する場合は閾値を高く設定する方が好ましい。一方で細かい構造があまりない（高周波成分が少ない）被写体を撮像する場合は閾値を低めに設定する方が好ましい。このように、閾値は撮影対象に応じて設定されることが好ましく、閾値は撮影された画像に基づいてあらかじめ算出されていてもよい。

また、本実施例ではぼけ判定の指標として最頻値としているが例えば中央値、平均値、総数等の指標を用いてもよい。また、本実施例では撮像画像の全体に対応する復号データから評価値を算出したが、撮像画像の一部の領域に対応する復号データ（部分復号データ）から算出された評価値を算出してもよい。例えば、検査目的で橋梁の壁面を複数枚撮影した際に、検査対象物ではない配管や背景を含む画像が得られる場合がある。この場合、検査対象物以外の領域を除外して評価値を算出することで、ぼけ判定の精度を高めることができる。本実施例では、撮像画像に対応した二次元のマップを作成し、そのマップを用いて評価するため、撮影画像から例えばトリミング処理によって一部の領域のみを切り出してぼけ判定を行うことができる。

さらに、通常の圧縮画像データの代わりにサムネイル用の画像データを用いてぼけ判定を行ってもよい。圧縮画像情報には圧縮画像データのほかにメインの圧縮画像データよりも画素数が少ないサムネイル画像（縮小画像）のデータが保存されていることがある。画素数の少ないサムネイル画像データを用いてぼけ判定を行うことで、より高速にぼけ判定処理を実行することができる。

なお、復号データに含まれるゼロの要素の数又はゼロ以外の要素数に基づいて評価値を算出する例を示したがこれに限定されるものではない。本実施例におけるぼけ判定は復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて撮像画像のぼけの評価を行えばよい。例えばゼロの要素の数とゼロ以外の要素の数との比やゼロの要素の数とゼロ以外の要素の数との差を評価値としてぼけ判定を行ってもよい。

本実施例では、復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて撮像画像のぼけの評価を行うことを特徴としている。復号データは、撮像画像の再構成に必要な逆量子化などの処理の必要がなく圧縮画像データから復号処理のみによって生成されるため、処理時間を短縮することができる。また、撮像画像に含まれる高周波成分の量と相関関係を有する復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて撮像画像のぼけの評価を行うことで、高精度にぼけ判定を行うことができる。

［実施例２］
次に、実施例２における撮像装置１００の構成について説明する。本実施例において、撮像装置１００は撮像画像のぼけの有無の判定に加え、ぼけている方向を判定する処理を行う。本実施例の方法を用いてぼけ判定を行うことで、手振れによるぼけなどの方向性のあるぼけの判定をすることができる。

図１２は本実施例におけるぼけ判定処理に関するフローチャートである。図１２におけるステップＳ２１、Ｓ２２は図９のステップＳ１１、Ｓ１２と同様であるため説明は省略する。

ステップＳ２３において、復号部１０２ａは復号したＤＣＴ係数を対称化する処理を行う。ここで、図１３に図５の量子化テーブルを転置した分布を示す。

一般的に量子化テーブルは水平方向と鉛直方向とで非対称になっている。水平方向と鉛直方向で量子化テーブルの重みが非対称となっている場合、量子化後のＤＣＴ係数をそのまま用いて水平方向と鉛直方向の係数の比較をしようとしても正しく評価することはできない。例えば図４において、（μ，ν）＝（５，０）のＤＣＴ係数は２．０９であり、図５にて対応する重みが２なので量子化後に四捨五入されると１になる。しかし、図５の（μ，ν）＝（０，５）では重みが１なので、こちらの重みを用いて量子化されていたら２になる。この量子化後のＤＣＴ係数に対して図５の量子化テーブルで割り戻すことで、対称性を改善させる（非対称性を補正する）ことができる。しかし、量子化後のＤＣＴ係数がゼロになっていた場合、除算することができないため対称性は改善できない。前述のようにＪＰＥＧ形式のデータは積極的にゼロとなる要素を増やして情報量を圧縮しているため、ＤＣＴ係数がゼロになることを無視すると精度が低下する。

そこで、本実施例では量子化テーブルの対称性を改善するために、図１３の重みをさらに掛ける。図１３は図５のテーブルの縦横を転置することで得られた重みのテーブルである。また、図５の量子化テーブルと図１３のテーブルとの対応する位置の値を掛け合わせることによって、図１４に示す対称性を改善した量子化テーブルを生成する。図１４の量子化テーブルは、水平方向と鉛直方向で対称性を有する。このように量子化テーブルを対称化することで、水平方向と鉛直方向で対等な評価を行えるようにする。

続いて、図１５に量子化テーブルの対称性を改善したブロック（補正復号データ）を示す。図１５は、図６の復号したＤＣＴ係数に対して、図１３のテーブルを掛け合わせて四捨五入した結果である。

なお、量子化テーブルの対象性の改善方法はこれに限定されるものではない。例えば図１６に示す重みを掛けることで、図５の量子化テーブルと合わせて実質的に図４にかかる重みを図１７と同様にしてもよい。このような構成とすることで、図４にかけられる重みの値を小さくすることができる。図１６は称性を改善させるためのテーブルの一例であり、また図１７は、対称性を改善した量子化テーブルの一例である。図１７は図５の量子化テーブルと図１３のテーブルの対応する位置における値の大きい方の値をとることで生成される。この場合、１未満の値を有した重みで対称化すると値がゼロとなることで圧縮することができるが、圧縮に伴いデータが劣化するため、図１６のように１以上の値で構成されたテーブルを用いて対称化することが望ましい。また、本実施例では、水平方向と鉛直方向で対称になるように重みを掛ける例を示したが、ＤＣ成分を中心とした回転対称な分布になるように対称化してもよい。

ステップＳ２４において、評価部１０２ｂはぼけ判定に用いる評価値を算出する。本実施例において復号データは、二次元化処理され８×８画素のブロックで表される。ここで、図１８にぼけの方向の判定のための領域に関する図を示す。図１８に示すように８×８画素の二次元で表される復号データのうち４×４画素の２つの領域に分ける。領域Ａ（第１の領域）は水平方向が高周波で鉛直方向が低周波となる領域、領域Ｂ（第２の領域）は水平方向が低周波で鉛直方向が高周波となる領域である。本実施例ではこの領域Ａ及び領域ＢのそれぞれについてＤＣＴ係数がゼロの要素の数をカウントすることで第１及び第２の評価値を算出する。一例として、図１５のＤＣＴ係数に対して実施した場合、領域Ａのゼロの要素の数は１３個、領域Ｂのゼロの要素の数は１４個である。なお、ゼロ以外の要素の数を評価値としてもよく、この場合も同様に処理を実施できる。

ステップＳ２５において、ぼけ判定部１０２ｃは評価値に基づいてぼけ判定を行う。本実施例においてぼけ判定部１０２ｃは、復号データにおける領域Ａ及び領域Ｂごとの評価値に基づいて生成された度数分布（ヒストグラム）を用いてぼけ判定を行う。

本実施例におけるぼけ判定部１０２ｃは、領域Ａと領域Ｂを比較することで、ぼけている方向を判定することができる。例えば領域Ｂにおける最頻値に比べて領域Ａにおける最頻値が大きい場合、水平方向に“ぼけている”と判定する。一方で、領域Ｂにおける最頻値に比べて領域Ａにおける最頻値が少ない場合、鉛直方向に“ぼけている”と判定する。さらに、ぼけ判定部１０２ｃは、領域Ａ及び領域Ｂの差に対する閾値を用いて領域Ａと領域Ｂで最頻値の差が閾値よりも小さい場合に、“ぼけてない”と判定してもよい。

なお、本実施例では２つの領域に分けてぼけの方向を評価する方法について説明したが、３つ以上の領域に分けて評価してもよい。また、ぼけの方向は、水平方向と鉛直方向でゼロ以外の要素の最大座標に基づいて評価してもよい。例えば図１５におけるゼロ以外の要素の最大座標は、水平方向で（μ，ν）＝（５，０）、鉛直方向で（μ，ν）＝（０，５）であり、図６におけるゼロ以外の要素の最大座標は、水平方向で（μ，ν）＝（５，０）で鉛直方向が（μ，ν）＝（０，６）である。

本実施例では、復号データにおける第１の領域と第２の領域とに対応する評価値を算出し、ぼけの方向を判定する方法について述べた。特に、ステップＳ２３の量子化テーブルの対称性を改善する処理を入れることにより、ぼけの方向の判定精度を高めることができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。本発明における画像処理装置は本発明の画像処理機能を有する装置であればよく、撮像装置やＰＣの形態で実現され得る。

各実施例によれば、撮像画像のぼけ判定を高精度かつ高速に実行することができる画像処理方法、画像処理装置およびプログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

本発明の実施形態は以下の方法、及び構成を含む。

［方法１］
符号化処理を含む圧縮処理によって撮像画像を圧縮することで生成された圧縮画像データと、前記符号化処理に用いられた符号化情報とを含む圧縮画像情報を取得する第１の工程と、
前記符号化情報を用いて前記圧縮画像データを復号することで復号データを生成する第２の工程と、
前記復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて前記撮像画像のぼけの評価を行う第３の工程とを有することを特徴とする画像処理方法。

［方法２］
前記圧縮処理は、前記撮像画像の輝度情報を生成する処理を含み、
前記第２の工程では、前記圧縮画像データのうち前記輝度情報に対応するデータのみを復号することで前記復号データを生成することを特徴とする方法１に記載の画像処理方法。

［方法３］
前記第３の工程では、前記復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて評価値を算出し、前記評価値と閾値とを比較することで、前記撮像画像のぼけの有無を判定することを特徴とする方法１又は２に記載の画像処理方法。

［方法４］
前記圧縮処理は、前記撮像画像の所定の大きさを有する複数のブロックのそれぞれに施される周波数変換を含み、
前記第２の工程では、前記複数のブロックのそれぞれに対応する複数の復号データを生成することを特徴とする方法１乃至３の何れか一項に記載の画像処理方法。

［方法５］
前記第３の工程では、前記複数の復号データのそれぞれに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて複数の評価値を算出し、前記複数の評価値の最頻値、平均値、中央値及び総和の少なくとも一つに基づいて前記撮像画像のぼけの有無を判定することを特徴とする方法４に記載の画像処理方法。

［方法６］
第３の工程では、前記復号データのうち前記撮像画像の一部の領域に対応する部分復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて前記撮像画像のぼけの評価を行うことを特徴とする方法１乃至５の何れか一項に記載の画像処理方法。

［方法７］
前記第２の工程では、逆量子化を行わず復号データを生成することを特徴とする方法１乃至６の何れか一項に記載の画像処理方法。

［方法８］
前記圧縮処理は、量子化処理を含み、
前記圧縮画像情報は、前記量子化処理に関する量子化情報を含み、
前記復号データと前記量子化情報とに基づいて前記量子化処理における非対称性を補正することで、補正復号データを生成する工程とをさらに有する方法１乃至７の何れか一項に記載の画像処理方法。

［構成１］
方法１乃至８の何れか一項に記載の画像処理方法を実行可能な処理手段を有することを特徴とする画像処理装置。

［構成２］
方法１乃至８の何れか一項に記載の画像処理方法を実行可能な処理手段と、
被写体空間の像を撮影画像として取得する撮像手段とを有することを特徴とする撮像装置。

［構成３］
方法１乃至８の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

［構成４］
構成３に記載のプログラムを記憶していることを特徴とする記憶媒体。

ステップＳ１１ 第１の工程
ステップＳ１２ 第２の工程
ステップＳ１３ 第３の工程

Claims (12)

1. 符号化処理を含む圧縮処理によって撮像画像を圧縮することで生成された圧縮画像データと、前記符号化処理に用いられた符号化情報とを含む圧縮画像情報を取得する第１の工程と、
   前記符号化情報を用いて前記圧縮画像データを復号することで復号データを生成する第２の工程と、
   前記復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて前記撮像画像のぼけの評価を行う第３の工程とを有することを特徴とする画像処理方法。
2. 前記圧縮処理は、前記撮像画像の輝度情報を生成する処理を含み、
   前記第２の工程では、前記圧縮画像データのうち前記輝度情報に対応するデータのみを復号することで前記復号データを生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記第３の工程では、前記復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて評価値を算出し、前記評価値と閾値とを比較することで、前記撮像画像のぼけの有無を判定することを特徴とする請求項１に記載の画像処理方法。
4. 前記圧縮処理は、前記撮像画像の所定の大きさを有する複数のブロックのそれぞれに施される周波数変換を含み、
   前記第２の工程では、前記複数のブロックのそれぞれに対応する複数の復号データを生成することを特徴とする請求項１に記載の画像処理方法。
5. 前記第３の工程では、前記複数の復号データのそれぞれに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて複数の評価値を算出し、前記複数の評価値の最頻値、平均値、中央値及び総和の少なくとも一つに基づいて前記撮像画像のぼけの有無を判定することを特徴とする請求項４に記載の画像処理方法。
6. 第３の工程では、前記復号データのうち前記撮像画像の一部の領域に対応する部分復号データに含まれるゼロの要素の数、及びゼロ以外の要素の数の少なくとも一方に基づいて前記撮像画像のぼけの評価を行うことを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
7. 前記第２の工程では、逆量子化を行わず復号データを生成することを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
8. 前記圧縮処理は、量子化処理を含み、
   前記圧縮画像情報は、前記量子化処理に関する量子化情報を含み、
   前記復号データと前記量子化情報とに基づいて前記量子化処理における非対称性を補正することで、補正復号データを生成する工程とをさらに有する請求項１乃至５の何れか一項に記載の画像処理方法。
9. 請求項１乃至５の何れか一項に記載の画像処理方法を実行可能な処理手段を有することを特徴とする画像処理装置。
10. 請求項１乃至５の何れか一項に記載の画像処理方法を実行可能な処理手段と、被写体空間の像を撮影画像として取得する撮像手段とを有することを特徴とする撮像装置。
11. 請求項１乃至５の何れか一項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶していることを特徴とする記憶媒体。

Images