JP6557612B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像群の中から不明瞭な画像を除外する画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来から、参照用の高精細画像を必要とせずにピンボケ判定を行うための技術として、ウェーブレット変換係数を用いるものがある。ウェーブレット変換係数の大小を次数ごとに比較することで画像が含むエッジ成分の数とその鋭さを推定することができる。画像が含む全てのエッジのうち外的要因でエッジの鋭さを失ったものの比率を閾値と比較することで画像のボケを判定する。

同一の物体を撮影した非ボケ画像とボケ画像を比較した場合を考える。デジタル画像において、物体の境界（エッジ）は画素値の断続的な変化によって表現される。画素値の変化の非連続性が強いほど境界ははっきりと写り、「鋭いエッジ」であると呼ぶ。

一方、ボケ画像においては、物体の境界部分がぼやけるため、画素値の変化はなだらかなものとなり非連続性が弱まる。この状態を「鈍いエッジ」と呼ぶ。ウェーブレット変換では、鋭いエッジほど低い次数の係数成分として表され、鈍いエッジは高い次数の係数成分として表される。この性質を利用してウェーブレット変換係数の比較によりエッジの鋭さを判定することができる。

エッジ判定に関する閾値ｘ＿１とボケ判定のために用いる閾値ｘ＿２を与える。まず圧縮符号化済み画像を復号し、同じサイズの正方形ブロックに分割する。続いてブロックごとに３次までのウェーブレット変換をかける。ブロックごとに各次数のウェーブレット変換係数から特徴量を計算する。そして、各ブロックでの最大値を次数ｎ（ｎ＝１，２，３）に対してｙ＿ｎとする。

ｙ＿１からｙ＿３のいずれかが閾値ｘ＿１よりも大きい場合にこのブロックがエッジを含むと判断する。３つの特徴量のうちｙ＿１、ｙ＿２、ｙ＿３の順に大きい場合そのエッジは鋭いものと判断する。特徴量ｙ＿３、ｙ＿２、ｙ＿１の順に大きい場合、またはｙ＿２が最も大きい場合そのエッジは鈍いものと判断する。特にｙ＿１がｘ＿１よりも小さい場合、そのエッジはボケた結果鈍くなったものと判断する。

このようにして得られた画像内のエッジの個数をそれぞれ数え、全エッジのうちボケて鈍くなったと考えられるエッジの個数の割合を特徴量とし閾値ｘ＿２と比較することにより画像がボケているかを判定する。

この手法は一般の画像に対して、学習や参照用画像を必要とせずにボケの有無を判定することが可能である（例えば、非特許文献１参照）。

ここで、本明細書において用いる用語について定義しておく。
「符号量」とは、データサイズに相当する。一般的に「圧縮済み画像の符号量」といった場合，画像を符号化したデータ全体のサイズを指す。画像をブロックに分割してブロックごとに圧縮を行なった場合、ブロックごとに各々データサイズが定まり、これを「ブロック符号量」と呼ぶ。

「ＣＴＵ」とは、Ｈ．２６５／ＨＥＶＣと呼ばれる圧縮規格におけるブロック分割の単位である。以下で説明するブロックとＣＴＵブロックとは互いに読み替えても問題ない。

「ブロックサイズ」とは、「ＣＴＵ」など画像の圧縮時に行なうブロック分割では、基本的に固定サイズの正方形で分割する。圧縮方式の中には，固定サイズで分割した後にさらに続けて分割することがあり、このときの分割サイズ（ブロックサイズ）は画像の内容に応じて変化することがある。Ｈ．２６５／ＨＥＶＣを例に挙げると、ＣＴＵサイズは最初に設定された後は全て固定されるが、ＣＴＵはさらに小さいブロックに分割され、それらのサイズは固定ではない。

Tong, Hanghang, et al. "Blur detection for digital images using wavelet transform." Multimedia and Expo, 2004. ICME'04. 2004 IEEE International Conference on. Vol. 1. IEEE, 2004.

しかしながら、従来のボケ判定法では圧縮符号化済み画像を復号したうえでボケ判定のための処理を行う必要がある。このため、大量の圧縮符号化済み画像データベースの画像の中からボケている画像を除外する際には処理時間が膨大になるという問題がある。

本発明は、このような事情に鑑みてなされたもので、圧縮符号化された画像群の中から明瞭でない画像の除外を行うことができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、画像を入力する画像入力部と、前記画像を符号化した際の符号量を取得する符号量取得部と、前記符号量に基づいて前記画像の明瞭度を表す明瞭度特徴量を算出する特徴量算出部とを備える画像処理装置である。

本発明の一態様は、圧縮符号化済み画像を入力する画像入力部と、前記圧縮符号化済み画像の符号量を取得する符号量取得部と、前記符号量に基づいて前記圧縮符号化済み画像を復号した際の画像の明瞭度を表す明瞭度特徴量を算出する特徴量算出部とを備える画像処理装置である。

本発明の一態様は、前記画像処理装置であって、前記特徴量算出部は、前記画像中の所定の領域の符号量に基づいて前記明瞭度特徴量を算出する。

本発明の一態様は、第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出部と、前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出部と、前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出部とを備える画像処理装置である。

本発明の一態様は、前記画像処理装置であって、前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域は、所定の位置情報に基づいて抽出する。

本発明の一態様は、前記画像処理装置であって、前記第一の画像及び前記第二の画像は人工衛星画像であり、前記第一の画像及び前記第二の画像はブロック毎に符号化されている。

本発明の一態様は、前記画像処理装置であって、請求項６に記載の画像処理装置である前記評価値は、前記第一の画像と前記第二の画像との符号量から求めた明瞭度を表す明瞭度特徴量に基づき算出する。

本発明の一態様は、前記画像処理装置であって、前記明瞭度特徴量は、ブロック毎の、前記符号量の分散、前記符号量の標準偏差、前記符号量のメディアンの少なくともいずれかである。

本発明の一態様は、前記画像処理装置であって、前記明瞭度特徴量は、ブロック毎の、符号量の最大値、大きいものから上位数個、最大最小の幅の少なくともいずれかである。

本発明の一態様は、前記画像処理装置であって、前記明瞭度特徴量は、ブロック毎の符号量のヒストグラム形状である。

本発明の一態様は、前記画像処理装置であって、前記明瞭度特徴量は、ブロック毎の符号量である。

本発明の一態様は、前記画像処理装置であって、画像の性質により、前記明瞭度特徴量の少なくとも１つを適応的に選択して使用する。

本発明の一態様は、前記画像処理装置であって、前記評価値に基づき前記第一画像領域と前記第二画像領域のうち、いずれの画像領域が明瞭であるかを判定する。

本発明の一態様は、第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第１の符号量算出手段と、前記第二の画像中の前記被写体を含むほぼ前記第一画像領域と同じ画像領域である第二画像領域の符号量を算出する第２の算出手段と、前記第一画像領域の前記符号量と、前記第二画像領域の前記符号量とに基づき除外すべき画像を判定する判定部とを備える画像処理装置である。

本発明の一態様は、前記画像処理装置であって、前記第一画像領域の前記符号量と、前記第二画像領域の前記符号量とから、２つの画像領域の明瞭度を比較可能な評価値を求め、該評価値に基づいていずれの画像を除外するかを判定する判定部をさらに備える。

本発明の一態様は、前記画像処理装置であって、前記評価値は、前記第一の画像と前記第二の画像との明瞭度を表す明瞭度特徴量に基づき算出する。

本発明の一態様は、前記画像処理装置である前記判定部は、前記第一画像領域と前記第二画像領域の広さと形状の少なくともいずれかに基づいて、前記判定を行う。

本発明の一態様は、画像を入力する画像入力ステップと、前記画像を符号化した際の符号量を取得する符号量取得ステップと、前記符号量に基づいて前記画像の明瞭度を表す明瞭度特徴量を算出する特徴量算出ステップとを有する画像処理方法である。

本発明の一態様は、圧縮符号化済み画像を入力する画像入力ステップと、前記圧縮符号化済み画像の符号量を取得する符号量取得ステップと、前記符号量に基づいて前記圧縮符号化済み画像を復号した際の画像の明瞭度を表す明瞭度特徴量を算出する特徴量算出ステップとを有する画像処理方法である。

本発明の一態様は、第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出ステップと、前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出ステップと、前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出ステップとを有する画像処理方法である。

本発明の一態様は、第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第１の符号量算出ステップと、前記第二の画像中の前記被写体を含むほぼ前記第一画像領域と同じ画像領域である第二画像領域の符号量を算出する第２の算出ステップと、前記第一画像領域の前記符号量と、前記第二画像領域の前記符号量とに基づき除外すべき画像を判定する判定ステップとを有する画像処理方法である。

本発明の一態様は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、画像全体を対象とする場合は復号のステップを全て行わず、画像内の一部の特定の被写体を対象とする場合は部分的に復号を行うのみで圧縮符号化済み画像群内からの明瞭でない画像の除外を行うことができる。このため、より少ない時間で明瞭でない画像の除外を行うことができるという効果が得られる。

本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。 本発明の第３実施形態による画像処理装置の構成を示すブロック図である。 図３に示す画像処理装置がピンボケ画像の混入した圧縮符号化済み画像群から指定領域を含んだボケていない画像を出力する（ボケている画像を除外する）処理のフローチャートである。 検索結果として得られる画像の模式図である。 図３に示すボケ判定処理部１０５の詳細な構成を示すブロック図である。 図６に示すボケ判定処理部１０５の動作を示すフローチャートである。 分割処理（ステップＳ２０６）の例を示す説明図である。 図７に示すステップＳ２０２におけるボケ値算出領域を決定する処理のフローチャートである。 ブロック集合による置き換え（ステップＳ３０３）の例を示す説明図である。 ブロック集合による置き換え（ステップＳ３０３）の処理例を示す説明図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による画像処理装置を説明する。本実施形態では、圧縮符号化された画像または通常の画像の明瞭度を算出する技術である。画像の明瞭度は、圧縮符号化時の符号量に関係する。すなわち、明瞭な画像の場合は、符号量が大きくなり、明瞭でない画像（ボケ画像に加え、もや、かすみ、霧、雲、外ぶちの色、影、輝度不足が影響している画像のこと）では、符号量が明瞭な画像に比べて小さくなる特徴がある。

図１は同実施形態による画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、外部から画像データを入力する。ここで入力する画像データは、圧縮符号化画像または通常の画像である。符号量算出部１１は、入力した画像データの符号量を算出する。符号量算出部１１の出力は、最終的に、画像全体の特微量を出すときは符号量を、画像の特定の領域(請求項でいう同一の被写体)の特微量を出すときはブロック符号量となる。入力した画像データが、通常の画像の場合、符号量算出部１１は、所定の方式（例えば、Ｈ．２６５／ＨＥＶＣ）を用いて符号化を行った後に符号量を算出する。ここでは、符号量を算出するとしたが、符号量を何らかの方法（例えば、外部から入力）で取得するようにしてもよい。明瞭度特徴量算出部１２は、明瞭度特徴量を算出する。ここでいう明瞭度特徴量とは、以下の通りである。

明瞭度特微量は画像全体若しくは被写体の符号量（ブロック符号量の合計）でもよい。また画像全体若しくは被写体の、ブロック符号量の分散／標準偏差／メディアン、ブロック符号量の最大値／大きいものから上位数個／最大最小の幅、ある範囲の符号量を持つブロックの個数を表したヒストグラムの形状(尖度、幅、右端)など符号量に基づき得られる値であれば何でもよい。これらのうち、顕著な効果を奏するのはブロック符号量最大値、ブロック符号量の最大最小の幅(ブロック符号量幅)である。明瞭度特徴量算出部１２は、これらの方法のいずれかを用いて算出した明瞭度特徴量を外部へ出力する。

明瞭度特徴量算出部１２が算出して出力した値そのままでは、画像が明瞭であるか否かを判定することはできないため、予め定められた閾値と比較することによって判定すればよい。

なお、入力として画像を符号化したビットストリームを用いてもよい。その場合符号量算出部１１は、所定のブロックで構成する領域を指定してその領域のみの符号量を算出し、その領域の明瞭度を求めるようにしてもよい。また、符号量算出部１１が前記領域の符号量を求める際、圧縮符号化済み画像データから少なくとも前記領域を特定する識別情報のみを復号してもよい。

＜第２の実施形態＞
次に、図２を参照して、本発明の第２実施形態による画像処理装置を説明する。第２の実施形態による画像処理装置が第１の実施形態による画像処理装置と異なる点は、画像入力が２系統となり、２つの符号量算出部２１、２２を設けた点と、明瞭度特徴量算出部２３の出力に基づいて、明瞭度合いを比較することができる評価値を算出する評価値算出部を設けた点である。図２においては、画像入力を２系統とする例を示したが、３系統以上であってもよい。そして、複数枚入力して、複数枚明瞭でないことを判定することも可能である。第２実施形態においても入力画像データは、圧縮符号化済み画像データまたは通常のデータである。通常の画像データを入力した場合は、当然のことながら符号化を行った後に、符号量を求める必要がある。また、符号化されていない画像（通常の画像）から同一の被写体の部分のみ符号化し、その後の処理を行うようにしてもよい。

図２は、同実施形態の構成を示すブロック図である。本実施形態では、ほぼ同じ被写体を撮像した２枚の画像から少なくとも当該被写体が明瞭でない画像を除外するものである。符号量算出部２１は、例えば、位置情報と画像の関連付けが可能である航空写真や人工衛星によって撮像され、圧縮符号化された画像データまたは通常の画像データを入力する。画像データには、位置情報が付加されている必要がある。例えば、位置情報を含む写真の画像データでもよいし、位置情報を含まない写真等の画像データでは、対照表を用いるなど何らかの形で画像データと位置情報を関連付け、写真等の画像データに位置情報を付与するようにしてもよい。また、符号化算出部２２は、符号化算出部２１に入力した画像とほぼ同じ被写体（人工衛星画像であればほぼ同じ領域）を撮像した圧縮符号化された画像データを入力する。

それぞれの符号量算出部２１、２２は、それぞれの画像の符号量を算出する。符号量算出部２１、２２の出力は、最終的に、画像全体の特微量を出すときは符号量を、画像の特定の領域(請求項でいう同一の被写体)の特微量を出すときはブロック符号量である。そして、符号量算出部２１、２２は、算出した符号量を明瞭度特徴量算出部２３へ出力する。明瞭度特微量は画像全体または被写体の符号量（ブロック符号量の合計）でもよい。また画像全体または被写体の、ブロック符号量の分散／標準偏差／メディアン、ブロック符号量の最大値／大きいものから上位数個／最大最小の幅、ある範囲の符号量を持つブロックの個数を表したヒストグラムの形状(尖度、幅、右端)など符号量に基づき得られる値であれば何でもよい。これらのうち、顕著な効果を奏するのはブロック符号量最大値、ブロック符号量の最大最小の幅(ブロック符号量幅)である。

ヒストグラムの形状については最大符号量をヒストグラムの右端として、最大符号量−最小符号量をヒストグラムの幅として、尖度(ヒストグラムのとがり具合)、分布の形状、メディアン等の特性を表すものに基づくものを用いればよい。

次に、明瞭度特徴量算出部２３は、算出した２つの明瞭度特徴量を評価値算出部２４へ出力する。これを受けて、評価値算出部２４は、２つの明瞭度特徴量から評価値を算出する。評価値は、画像領域の符号量に基づいて明瞭度合を評価する値であり、明瞭度特微量に基づく値を用いればよい。また、符号量に基づいていればどのような指標の評価値を用いても構わない。

この評価値を参照することにより、２枚のうち、明瞭でない方の画像を除外することができる。また、符号量算出部２１には、常に明瞭である画像を入力し、符号量算出部２２には順次得られた画像を入力することによって、明瞭でない画像を除外することができる。この場合、符号量算出部２２によって算出した符号量が符号量算出部２１によって算出した符号量より小さい値であれば、符号量算出部２２に入力した画像が明瞭でないことを判定することができる。

＜第３実施形態＞
次に、本発明の第３実施形態による画像処理装置を説明する。本実施形態では、複数の圧縮符号化された画像からボケ画像（または明瞭でない画像）を除外するフィルタリング処理を行う技術である。また、フィルタリングの前処理として各画像に対してボケ特徴量（明瞭度特徴量）を比較するための領域を決定する技術である。以下では、画像フィルタリング処理の実施形態を説明し、その後に位置情報を用いた比較領域決定方法を説明する。なお、ここでは、ボケ画像を対象としているが、明瞭でない画像とは、ボケ画像に加え、もや、かすみ、霧、雲、外ぶちの色、影、輝度不足が影響している画像のことである。以下の説明では、ボケ画像を扱う例を説明するが、もや、かすみ、霧、雲、外ぶちの色、影、輝度不足が影響している画像に対しても同様の処理でこれらの画像を除外する処理を行うことができる。

［ボケ判定を行う画像処理装置の構成例］
図３は、本発明の第３実施形態における画像処理装置１００の構成を示すブロック図である。本実施形態は、特にボケ判定処理部１０５において各画像に付与された位置情報を用いてボケ判定行う点が従来技術と異なる。

図３に示す画像処理装置の構成を説明する。圧縮符号化済み画像記憶部１０１は外部から人工衛星画像や航空写真などの位置情報と画像とを関連付けることができる圧縮符号化済み画像データを入力し、記憶する。外部から位置情報などからなる領域情報を入力された対象画像検索部１０２は、圧縮符号化済み画像記憶部１０１からこの領域を含む画像を検索する。そして、この検索結果を、対象圧縮画像データとして出力し対象圧縮画像メモリ１０３に記憶させる。対象圧縮画像メモリ１０３は受け取った対象画像の数を出力し、対象画像検索部１０２はこれを画像数判定部１０４に受け渡す。

画像数判定部１０４は対象画像数を所定の閾値と比較することで判定を実施できるかの可否を判定する。この判定の結果、可の場合はボケ判定処理部１０５の処理を開始する。一方、不可の場合は判定不可との表示を行なうと共に対象圧縮画像メモリ１０４が記憶したデータを外部に出力する。ここでの閾値は０を含む。ボケ判定処理部１０５は対象圧縮画像メモリ１０４から対象圧縮画像のデータを受け取り、各画像がボケているか否かの判定処理を行う。判定が実行できた場合、ボケていないと判定された画像データを対象圧縮画像メモリ１０３からボケ判定済み圧縮画像群記憶部１０６へとコピーする。すなわち、ボケ判定済み圧縮画像群記憶部１０６には、ボケていない画像が記憶されることになる。

一方、判定が実行できなかった場合には、判定不可との表示を行なうと共に対象圧縮画像メモリ１０３が記憶したデータを外部に出力する。ボケ判定処理部１０５の処理が終了した時点でボケ判定済み圧縮画像群記憶部１０６は記憶したデータを外部に出力する。

［画像群からボケていない画像を抽出する処理フロー］
次に、図４を参照して、図３に示す画像処理装置の動作を説明する。図４は、図３に示す画像処理装置がピンボケ画像の混入した圧縮符号化済み画像群から指定領域を含んだボケていない画像を出力する（ボケている画像を除外する）処理のフローチャートである。

まず、対象画像検索部１０２は、位置情報を用いてピンボケ判定を行いたい領域を入力する（ステップＳ１０１）。続いて、対象画像検索部１０２は、圧縮符号化済み画像記憶部１０１から入力された領域を含む画像を検索する（ステップＳ１０２）。検索結果として得られる画像の模式図が図５である。図５においては、ピンボケ判定を行いたい領域Ｄを含む画像Ｐ［１］、画像Ｐ［２］が検索されて得られた結果を示している。

次に、画像数判定部１０４は、検索結果件数（Ｘの要素数）が閾値より大きいか否かを判定する（ステップＳ１０３）。画像数判定部１０４は、この判定の結果、閾値を下回る場合には判定を実施せずに判定不可と出力するとともに検索して得られた画像をそのまま出力する。

一方、閾値を上回った場合には、ボケ判定処理部１０５は、Ｘ＝｛Ｐ［ｉ］｝に対しボケ値（明瞭度特徴量）の比較・除外を実施し、ボケ画像が除外された結果をＹ＝｛Ｐ［ｊ］｝とし、各画像のボケ値比較およびボケ画像の除外を行なう（ステップＳ１０４）。そして、ボケ判定処理部１０５は、ボケ画像が除外された結果が判定不可でないか否かを判定する（ステップＳ１０５）。この判定の結果、ボケ判定処理部１０５は、ボケていないと判定された画像のみ（Ｙ＝｛Ｐ［ｊ］｝）を出力し、判定不可であった場合には検索結果全て（Ｘ＝｛Ｐ［ｉ］｝）を出力すると共に判定不可と表示する。

なお、ステップＳ１０３において閾値は０でもよい。また、閾値を下回った場合では、検索条件を変更することで検索結果を増やしステップＳ１０４に進んでもよい。

次に、図６を参照して、図３に示すボケ判定処理部１０５の詳細な構成を説明する。図６は、図３に示すボケ判定処理部１０５の詳細な構成を示すブロック図である。画像数判定結果が可の場合に、ボケ判定処理部１０５に入力された対象圧縮画像データは対象圧縮画像メモリ２０１に記憶される。位置情報抽出部２０２は対象圧縮画像メモリ２０１から対象圧縮画像データを読み取り、各画像に付与された位置情報を抽出して位置情報メモリ２０３に渡す。

共通領域決定部２０４は位置情報メモリ２０３から読み取った情報をもとに各画像に写された内容から共通した部分を抽出する。そして、抽出した部分の位置情報を共通領域位置情報として位置情報メモリ２０３に渡す。ブロック置き換え処理部２０５は位置情報メモリ２０３から共通領域位置情報を読み取る。

また、ブロック置き換え処理部２０５は対象圧縮画像メモリ２０１から対象圧縮画像データを読み取り共通領域を各画像の符号化ブロックで置き換える処理を実施する。そして、ブロック置き換え処理部２０５は、置き換えに用いた各画像の対象ブロックを対象ブロックメモリ２０６に渡す。

ブロック置き換え処理部２０５が対象圧縮画像メモリ２０１から対象圧縮画像データを読み取る際、ピンボケ判定を行いたい領域が画像データの部分である場合は少なくとも前記領域を特定する識別情報のみ復号してもよい。

領域画素数判定部２０７は対象ブロックメモリ２０６から対象ブロック数を読み取り閾値と比較する。この比較結果に基づいて、領域画素数判定部２０７は、ボケ判定の可否を判断して可能ならばボケ特徴量算出部２０８の処理を開始する。一方、不可なら判定不可の表示を出力する。このときの閾値は０でもよい。

ボケ特徴量算出部２０８は対象ブロックメモリ２０６から対象ブロックを読み取りブロックごとにボケに関する特徴量を計算しボケ有無判定部２０９に渡す。ボケ有無判定部２０９は特徴量と閾値との比較によってボケ判定の可否を判断して不可の場合は判定不可表示を出力する。可の場合、ボケ有無判定部２０９は、対象圧縮画像メモリ２０１に記憶された各画像のうちボケていないと判定されたものの対象圧縮画像名称を外部に出力する。

ボケ判定処理部１０５における処理では、予め指定した閾値に応じて分類を行なってもよい。また、最も特徴量の小さいまたは大きいものの値から閾値を生成してもよい。また、特徴量の順に並べて上位から任意の枚数を選択してもよい。

［ボケ有無判定フロー］
次に、図７を参照して、図６に示すボケ判定処理部１０５の動作を説明する。図７は、図６に示すボケ判定処理部１０５の動作を示すフローチャートである。まず、ボケ判定処理部１０５は、対象となる圧縮画像群｛Ｐ［ｉ］｝を入力する（ステップＳ２０１）。続いて、共通領域決定部２０４は、各対象圧縮画像が持つ位置情報を利用してボケ値を算出・比較するための領域｛Ｄｐ［ｉ］｝を決定する（ステップＳ２０２）。ここで求めた領域は符号化ブロックにより構成されていてもよいし、ステップＳ２０２を実行せずに画像全体を特徴量算出に用いてよい。

続いて、領域画素数判定部２０７は、得られたボケ値算出領域｛Ｄｐ［ｉ］｝の広さを閾値と比較し（ステップＳ２０３）、閾値を下回った場合には判定不能であると出力する（ステップＳ２０４）。一方、閾値を上回った場合、ボケ特徴量算出部２０８は、ボケ値ｂ［ｉ］（ボケ特徴量）を算出する（ステップＳ２０５）。明瞭度特微量（ボケ特徴量）は画像全体または被写体の符号量（ブロック符号量の合計）でもよい。また画像全体または被写体の、ブロック符号量の分散／標準偏差／メディアン、ブロック符号量の最大値／大きいものから上位数個／最大最小の幅、ある範囲の符号量を持つブロックの個数を表したヒストグラムの形状(尖度、幅、右端)など符号量に基づき得られる値であれば何でもよい。これらのうち、顕著な効果を奏するのはブロック符号量最大値、ブロック符号量の最大最小の幅(ブロック符号量幅)である。ステップＳ２０５の処理は、全画像に対して行う。

次に、ボケ有無判定部２０９は、図８に示すように、ステップＳ２０５において算出したボケ値の比較を行い、ボケている画像とボケていない画像への分割を行なことができるか否かを判定する（ステップＳ２０６）。これは次のように行なうことができる。Ｓ２０５で算出した特徴量のうち、最も高い値と最も低い値の差、または最も高い値から最も低い値を割った商を計算し、あらかじめ与えた閾値と比較する。閾値よりも大きい場合には分割可、小さい場合には分割不可とする。または、判定を行わずに分割可であるとしてもよい。この判定の結果、分割できない場合、ステップＳ２０７へと進み判定不能を出力する。一方、分割できた場合、ボケ有無判定部２０９は、ボケていないと判定された画像群｛Ｐ［ｉ］｝を出力する（ステップＳ２０８）。この判定は、Ｓ２０５で画像毎に算出した特徴量と閾値との比較により行なわれる。この閾値はあらかじめ与えてもよいし、Ｓ２０５で算出された特徴量から定めてもよいしＳ２０５で画像毎に算出した特徴量の値の順に昇順もしくは降順で並べ、上から所定の数を選んでもよい。

［ボケ値算出領域決定フロー］
次に、図９を参照して、図７に示すステップＳ２０２の詳細動作を説明する。図９は、図７に示すステップＳ２０２におけるボケ値算出領域を決定する処理のフローチャートである。まず、共通領域決定部２０４は、圧縮符号化済み画像群を入力する（ステップＳ３０１）。続いて、共通領域決定部２０４は、各画像が持つ位置情報から映っている対象の共通領域を求める（ステップＳ３０２）。続いて、共通領域決定部２０４は、画像ごとに共通領域を圧縮符号化ブロックで置き換える（ステップＳ３０３）。

この際、図１０に示すように、共通領域Ｄ’に含まれる画素をブロック集合Ｄｐで完全に覆うように選んでもよい。また、ブロック集合が共通領域に含まれるように選んでもよい。なお、図１０に示すひし形は、実際には、ブロックの外形線に沿った階段状の形となるが、ここでは、説明を分かりやすくするために直線としている。また、図１１に示すように共通領域を近似するように選んでもよい。続いて置き換えたブロック集合Ｄｐを出力する（ステップＳ３０４）。

［ボケ値算出領域の符号化ブロックによる置き換え処理］
次に、図１１を参照して、図９に示すステップＳ３０３における置き換え処理について説明する。まず、入力された共通領域位置情報を用いて共通領域に含まれる画素を抽出し、列成分が最小のものを選んでリストに追加する（図１１（１））。これを起点に上方向に符号化ブロックの長さ分ずらした画素が共通領域に含まれるかを判定し、含まれるならリストに追加する（図１１（２））。同様の操作を下方向、右方向について行う。新たにリストに追加された画素に対しても、同様に各方向符号化ブロックの長さ分ずらした箇所にある画素が共通領域に含まれているかを判定しリストに追加していく。追加される画素がなくなるまでこれを繰り返す。最後に、リスト内の画素を含む符号化ブロックを集め、置き換えブロックとして指定する（図１１（３））。

なお、ほぼ同じ被写体とは、人工衛星写真／航空写真、デジタルカメラでの連射、多視点画像であってほぼ同じ時刻に撮られた画像、などの同じ被写体を時間的、空間的に少なくとも１つが異なる画像内に写像された被写体にことである。人工衛星の画像であれば、同じ地点のことである。

また明瞭度特微量を分割する閾値をあらかじめ与える場合，次のように値を決めることが出来る。同一箇所を撮影した明瞭画像と不明瞭画像の組を１組以上用意する。ただしここでいう同一箇所は入力された領域と異なっていても良く、画像の明瞭性は目視や既存の方法で決定されているとする。まず用意した画像に対し，特徴量を計算する。明瞭画像に対して計算された特徴量と不明瞭画像に対して計算された特徴量の間の値をその特徴量に関する閾値として定める。

明瞭度特微量を分割する閾値を算出した特徴量から定める場合次のように定めることが出来る。各画像に対して算出した特徴量のうち最も明瞭と判定される値を選び、その値の一定割合を閾値とする。あるいは各画像に対して算出した明瞭度特徴量のうち最も低い値を選び、その値に一定の数を乗じたものを閾値とする。ここでの「一定割合」または「一定の数」は，目視や既存の方法で決定しておくこともできるし、画像の符号量に係る性質に応じて適応的に決定することもできる。

また、画像にノイズがある場合、ノイズに強い特微量を選択したり、ある特微量を算出しその値に応じてノイズに強い特微量を選択することも可能である。画像に符号量の増減を引き起こすボケやノイズなどの現象が発生している場合、現象に応じて適応的に特微量を選択することもできる。一例として画像の一部、若しくは全体にノイズが発生している場合に特微量としてブロック符号量幅（ブロック符号量の最大最小の幅）や、符号量が最大ではないかつ符号量の大きいブロック複数の平均を用いることで効果的に算出することができる。さらに第一の特微量を算出し、第一の特微量に応じて異なる第二の特微量を算出することで精度向上を図ることも可能である。

また、前述した説明において入力は人工衛星画像を、画像領域の特定に位置情報を用いる説明を行った。しかし人工衛星画像、位置情報はあくまでも一例であり対象箇所の特定は、手動で入れてもよい。また、パターンマッチングのようなものを用いてもよい。また、符号化の予測工程を用いるなどどのようなものであっても構わない。また、画像についても人工衛星／航空写真、デジタルカメラでの連射、多視点画像等ほぼ同じ被写体が写像されている画像全般が入力となる。

また、前述した説明においては”ブロック毎に符号化された”画像を用いる例を説明したが、本件発明は明瞭度と符号量が何らかの関連性を有せば”ブロック毎に符号化”されている必要はない。

また、符号量について、前述した説明では符号化済みの人工衛星画像から位置情報に基づき符号量を取得している例を説明したが、画像を符号化したビットストリームから抽出するのみではなく、画像全体、若しくは一部を符号化して符号量を算出することも可能である。

また、符号量について画素単位の符号量にスケーリングを行うようにしてもよい。

ブロック符号量は、前述した説明においては、ブロックで行う例を説明したが、符号化されたブロック単位の符号量であれば何でも構わない。また、実施例においてはＨＥＶＣを利用する記載としているが、異なる方式を利用しても当然構わない。また、非可逆圧縮方式に限らず可逆圧縮方式を用いるようにしてもよい。

以上説明したように、画像の被写体の符号量に基づき明瞭度を判定できる評価値を算出する。その評価値を用い同一の被写体が写像されている画像同士を比較する。そして、ボケや雲、もやなどがある画像についてはそれがない画像と比較し符号量が低いという特性を利用し高速にボケ等を検出することができる。実装としてはデジタルカメラで連射された画像の中からのボケ画像を除外することができる。また、ライブカメラから天気を検出するといった応用も可能である。

前述した実施形態における画像処理装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。なお、各実施形態の一部を抽出してそれらを組み合わせて本発明を実現してもよい。

圧縮符号化済み画像データベースの利活用において、利用に適さない画像を高速に除外し業務の効率を向上する用途に適用できる。

１０、２０、１００・・・画像処理装置、１１、２１、２２・・・符号量算出部、１２、２３・・・明瞭度特徴量算出部、２４・・・評価値算出部、１０１・・・圧縮符号化済み画像記憶部、１０２・・・対象画像検索部、１０３・・・対象圧縮画像メモリ、１０４・・・画像数判定部、１０５・・・ボケ判定処理部、１０６・・・ボケ判定済み圧縮画像群記憶部、２０１・・・対象圧縮画像メモリ、２０２・・・位置情報抽出部、２０３・・・位置情報メモリ、２０４・・・共通領域決定部、２０５・・・ブロック置き換え処理部、２０６・・・対象ブロックメモリ、２０７・・・領域画素数判定部、２０８・・・ボケ特徴量算出部、２０９・・・ボケ有無判定部

Claims (14)

1. 第一の画像と第二の画像とは同一の被写体を含み、撮影された位置を示す位置情報が付与された画像または圧縮符号化済み画像であり、
   前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出部と、
   前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出部と、
   前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出部と
   を備え、
   前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、前記第一の画像または前記第二の画像に付与された位置情報に基づいて抽出する
   画像処理装置。
2. 前記第一の画像及び前記第二の画像は人工衛星画像であり、
   前記第一の画像及び前記第二の画像はブロック毎に符号化されている請求項１に記載の画像処理装置。
3. 前記評価値は、前記第一の画像と前記第二の画像との符号量から求めた明瞭度を表す明瞭度特徴量に基づき算出する請求項２に記載の画像処理装置。
4. 第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、
   前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出部と、
   前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出部と、
   前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出部と
   を備え、
   前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、所定の位置情報に基づいて抽出し、
   前記第一の画像及び前記第二の画像は人工衛星画像であり、
   前記第一の画像及び前記第二の画像はブロック毎に符号化されており、
   前記評価値を、前記第一の画像と前記第二の画像との符号量から求めた明瞭度を表す明瞭度特徴量に基づき算出し、
   前記明瞭度特徴量は、ブロック毎の、前記符号量の分散、前記符号量の標準偏差、前記符号量のメディアン、符号量の最大値、大きいものから上位数個、最大最小の幅、符号量のヒストグラム形状の少なくともいずれかである
   画像処理装置。
5. 前記明瞭度特徴量は、ブロック毎の符号量である請求項３に記載の画像処理装置。
6. 第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、
   前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出部と、
   前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出部と、
   前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出部と
   を備え、
   前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、所定の位置情報に基づいて抽出し、
   前記第一の画像及び前記第二の画像は人工衛星画像であり、
   前記第一の画像及び前記第二の画像はブロック毎に符号化されており、
   前記評価値を、前記第一の画像と前記第二の画像との符号量から求めた明瞭度を表す明瞭度特徴量に基づき算出し、
   画像の性質により、前記明瞭度特徴量として、ブロック毎の、前記符号量の分散、前記符号量の標準偏差、前記符号量のメディアン、符号量の最大値、大きいものから上位数個、最大最小の幅、前記符号量のヒストグラム形状、前記符号量の少なくとも１つを適応的に選択して使用する
   画像処理装置。
7. 前記評価値に基づき前記第一画像領域と前記第二画像領域のうち、いずれの画像領域が明瞭であるかを判定する請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記第二画像領域の広さが所定の閾値を下回った場合、判定不能であると出力する判定部
   をさらに備える請求項１に記載の画像処理装置。
9. 第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、
   前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第１の符号量算出手段と、
   前記第二の画像中の前記被写体を含むほぼ前記第一画像領域と同じ画像領域である第二画像領域の符号量を算出する第２の算出手段と、
   前記第一画像領域の前記符号量と、前記第二画像領域の前記符号量とに基づき除外すべき画像を判定する判定部と
   を備え、
   前記判定部は、前記第一画像領域と前記第二画像領域の広さと形状の少なくともいずれかに基づいて、判定を行う画像処理装置。
10. 第一の画像と第二の画像とは同一の被写体を含み、撮影された位置を示す位置情報が付与された画像または圧縮符号化済み画像であり、
    前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出ステップと、
    前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出ステップと、
    前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出ステップと、
    前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、前記第一の画像または前記第二の画像に付与された位置情報に基づいて抽出する抽出ステップと
    を有する画像処理方法。
11. 第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、
    前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出ステップと、
    前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出ステップと、
    前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出ステップと
    前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、所定の位置情報に基づいて抽出する抽出ステップと、
    前記評価値を、前記第一の画像と前記第二の画像との符号量から求めた明瞭度を表す明瞭度特徴量に基づき算出する算出ステップと、
    を有し、
    前記第一の画像及び前記第二の画像は人工衛星画像であり、
    前記第一の画像及び前記第二の画像はブロック毎に符号化されており、
    前記明瞭度特徴量は、ブロック毎の、前記符号量の分散、前記符号量の標準偏差、前記符号量のメディアン、符号量の最大値、大きいものから上位数個、最大最小の幅、符号量のヒストグラム形状の少なくともいずれかである
    画像処理方法。
12. 第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、
    前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出ステップと、
    前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出ステップと、
    前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出ステップと
    前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、所定の位置情報に基づいて抽出するステップと、
    画像の性質により、前記画像の明瞭度を表す明瞭度特徴量として、ブロック毎の、前記符号量の分散、前記符号量の標準偏差、前記符号量のメディアン、符号量の最大値、大きいものから上位数個、最大最小の幅、前記符号量のヒストグラム形状、前記符号量の少なくとも１つを適応的に選択して使用する選択ステップと、
    を有し、
    前記第一の画像及び前記第二の画像は人工衛星画像であり、
    前記第一の画像及び前記第二の画像はブロック毎に符号化されている
    画像処理方法。
13. 第一の画像と第二の画像とは同一の被写体を含む画像または圧縮符号化済み画像であり、
    前記第一の画像中の前記被写体を含む画像領域である第一画像領域の符号量を算出する第一の符号量算出ステップと、
    前記第二の画像中の前記被写体を含む画像領域である第二画像領域の符号量を算出する第二の符号量算出ステップと、
    前記第一画像領域の符号量と前記第二画像領域の符号量に基づき前記第一画像領域と前記第二画像領域の明瞭度を比較するための評価値を算出する評価値算出ステップと
    前記第一の画像中の前記被写体を含む画像領域及び前記第二の画像中の前記被写体を含む画像領域を、前記第一の画像または前記第二の画像に付与された位置情報に基づいて抽出し、さらに、前記第二画像領域の広さが所定の閾値を下回った場合、判定不能であると出力する第１判定ステップと、
    前記第一画像領域と前記第二画像領域の広さと形状の少なくともいずれかに基づいて、判定を行う第２判定ステップと
    を有する画像処理方法。
14. コンピュータを、請求項１から９のいずれか一項の画像処理装置として機能させるための画像処理プログラム。

Images