JP6849583B2 - 画像異常判定装置、画像異常判定方法及びコンピュータプログラム - Google Patents

Description

本発明は、画像異常判定装置、画像異常判定方法及びコンピュータプログラムに関する。

近年、可視光画像又はセンサ画像を用いて、被写体に含まれる異常個所を高速に検出する技術が注目されている。例えば、ドローンが空撮した太陽光パネル又は建物等の設備の画像に基づく点検作業の効率化又は半導体ウエハの製造において異物が混入された工程の特定等がユースケースにあたる。このようなユースケースでは、大量に撮影された画像データ群から、高速に異常領域を検出することが重要となる。先に挙げた例では、設備の故障個所、太陽光パネルの上に生えた草等の異物に起因する故障の予兆がみられる個所又は半導体ウエハ上のダスト領域が画像中の異常領域である。異常領域を検出する方法は、例えば、適応２値化処理がある。適応２値化処理は、非特許文献１に記載されているように、画像に含まれる文字の抽出に使われている方法である。適応２値化処理は、色の情報が用いられる。適応２値化処理は、色の情報が閾値以上の場合は１、閾値未満の場合は０として、画素ごとに画像を２つに分類する処理である。適応２値化処理は、異常領域及び正常領域の分類に活用できる。

特開２０１６−２０６３７２号公報

J. Sauvola et. al., "Adaptive document image binarization," Pattern Recognition 33(2), pp.225−236, 2000.

しかしながら、従来技術には処理速度及び検出性能に関する課題がある。従来技術では、色情報が用いられるため、画素値信号が必要となる。一般的に、画像データは符号化されている。このため、画像データに対する復号処理が必要となり、時間を要する。また、異常領域及び正常領域には、形状の差はあるものの色の差分が少ない場合又は正常領域にも色の変化がある場合には検出漏れ又は誤検出が生じるという問題があった。

上記事情に鑑み、本発明はより高速かつ高精度に異常領域を検出できる技術を提供することを目的としている。

本発明の一態様は、判定対象となる画像を符号化する過程若しくは符号化した結果として生成され、前記画像内の模様の特徴情報を含む符号化情報に基づいて、前記画像内における異常が発生している領域若しくは異常が発生する予兆がある領域である異常領域の有無を判定する画像異常判定装置であって、前記画像が分割された領域毎の符号化情報である分割領域符号化情報のうち、指定された領域の分割領域符号化情報を取得する分割領域符号化情報入力部と、前記指定された領域に前記異常領域が含まれるか否かの判定に用いられる判定情報を生成する判定情報生成部と、前記判定情報に基づいて、前記指定された領域に前記異常領域が含まれるか否かを判定する判定部と、を備える画像異常判定装置である。

本発明の一態様は、上記の画像異常判定装置であって、前記判定情報は、所定の領域の分割領域符号化情報と、前記所定の領域の近傍の分割領域符号化情報に基づいて算出された統計値と、を含む情報であって、前記判定部は、前記所定の領域の分割領域符号化情報と、前記統計値と、の差に基づいて、前記所定の領域における異常領域の有無を判定する。

本発明の一態様は、上記の画像異常判定装置であって、前記統計値は、平均値、重み付き平均値又は中央値のいずれか１つである。

本発明の一態様は、上記の画像異常判定装置であって、前記判定情報は、前記画像の一部の領域若しくは全領域に係る符号化情報に基づいて生成されたヒストグラムが所定の条件に基づいて分類された複数のクラスタを含む情報であって、前記判定部は、前記複数のクラスタのうち、所定の条件を満たすクラスタに分類された領域を異常領域と判定する。

本発明の一態様は、上記の画像異常判定装置であって、前記判定部は、前記複数のクラスタのうち、要素数が最も少ないクラスタに分類された領域又は要素数が最も多いクラスタに分類された領域のいずれか一方を異常領域と判定する。

本発明の一態様は、判定対象となる画像を符号化する過程若しくは符号化した結果として生成され、前記画像内の模様の特徴情報を含む符号化情報に基づいて、前記画像内における異常が発生している領域若しくは異常が発生する予兆がある領域である異常領域の有無を判定する画像異常判定装置が実行する異常判定方法であって、画像異常判定装置が、前記画像が分割された領域毎の符号化情報である分割領域符号化情報のうち、指定された領域の分割領域符号化情報を取得する分割領域符号化情報入力ステップと、画像異常判定装置が、前記指定された領域に前記異常領域が含まれるか否かの判定に用いられる判定情報を生成する判定情報生成ステップと、画像異常判定装置が、前記判定情報に基づいて、前記指定された領域に前記異常領域が含まれるか否かを判定する判定ステップと、を有する画像異常判定方法である。

本発明の一態様は、上記の画像異常判定装置としてコンピュータを機能させるためのコンピュータプログラム。

本発明により、より高速かつ高精度に異常領域を検出できる技術を提供することが可能となる。

判定対象となる当該ブロック及び当該ブロックの周辺領域の一例を示す図である。 第１の実施形態における、画像異常判定装置１００の機能構成の例を示す機能ブロック図である。 第１の実施形態における、画像異常判定の処理の流れの例を示すフローチャートである。 対象画像中のすべての符号量に対するヒストグラム２の一例を示す図である。 第２の実施形態における、画像異常判定装置２００の機能構成の例を示す機能ブロック図である。 第２の実施形態における、画像異常判定の処理の流れの例を示すフローチャートである。

以下、図面を参照して、本発明の実施形態による画像異常判定装置、画像異常判定方法及びコンピュータプログラムについて説明する。

（第１の実施形態）
図１は、判定対象となる当該ブロック及び当該ブロックの周辺領域の一例を示す図である。図１における判定対象１は、半導体ウエハの一部分を示す画像である。図１では、当該ブロックに特異物（例えば、半導体ウエハ上のダスト）が混入した状況が示される。対象とする半導体ウエハの画像内に、平坦な半導体ウエハ上（正常領域）と複雑な形状を持つダスト（異常領域）とが含まれる場合、異常領域は模様の複雑さの差分として表される場合がある。異常領域と正常領域とでは、色彩の差分は小さいが、複雑さの差分は大きくなる。異常領域は、例えば、異常が発生している領域又は異常が発生する予兆がある領域である。異常とは、例えば、ダスト又は草などの異物が混入したブロックであってもよい。予兆とは、例えば、ダスト又は草などの異物によって将来的に異常が予測される状況であってもよい。したがって、図１に示される半導体ウエハ上のダストを判定したい場合、画像異常判定装置は、正常領域及び異常領域における、画像上の複雑さの差分を算出することで、異常領域の有無を判定できる。

判定対象１は、複数のブロックに分割される。ブロックは、符号化の処理単位又はそれらの集合である。最小の処理単位は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）の場合では８×８画素、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の場合ではマクロブロック（１６×１６画素）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）の場合ではＣＵ（Coding Unit）（８×８、１６×１６、３２×３２、６４×６４）である。また、隣接するブロックを統合して構成されるブロックを処理単位としてもよい。例えば、８×８のＣＵを４つ結合して１６×１６サイズのブロックを処理単位としてもよい。画像は、ブロック単位で符号化される。ブロックは領域の一態様である。

図１によると、判定対象１は、５×５の２５ブロックで表される。点線で囲まれた枠１１は、ブロックの横軸の座標を表す。例えば、Ｘは、図１の左から３番目に位置するブロックを表す。点線で囲まれた枠１２は、ブロックの縦軸の座標を表す。Ｙは、図１の上から３番目に位置するブロックを表す。太枠１３で囲まれた領域を含むブロックは、半導体ウエハの基盤に重畳された導波路を含むブロックを表す。図１のＸ、Ｙに位置するブロック１４は、判定対象１の当該ブロックを表す。判定対象１の各ブロックの位置は、座標（ｘ，ｙ）で表される。例えば、当該ブロックは、座標（Ｘ，Ｙ）で表される。ブロック１４は、ダスト１５を含む。ブロックの左上の数値は各ブロックの符号量である。即ち枠１６に含まれる数字１９は、座標（Ｘ＋２，Ｙ＋１）に位置するブロックの符号量を表す。

図２は、第１の実施形態における、画像異常判定装置１００の機能構成の例を示す機能ブロック図である。画像異常判定装置１００は、画像の符号化処理の途中で算出される符号化情報又は符号化後の符号化データが持つ符号化情報に基づいて、異常領域を判定する。具体的には、画像異常判定装置１００は、符号化情報のうち画像内の模様の複雑さが数値として反映される情報を用いて異常領域を判定する。画像異常判定装置１００は、符号化データの符号化単位ブロック又はブロックの集合体毎に判定する。符号化情報は、画像を符号化する過程若しくは符号化した結果として生成される情報である。符号化情報は、符号化される画像内の模様の特徴情報を含む。符号化情報は、画像内の色性質が反映された情報である。符号化情報に含まれる特徴情報は、例えば、有意係数個数、ビン数又は符号量等である。画像異常判定装置１００は、８×８画素等の符号化の単位となるブロック毎に符号化情報の数値を取得する。画像異常判定装置１００は、符号化データから符号化情報を取得する場合、符号化データを完全に復号することなく取得できる。

画像異常判定装置１００は、当該ブロックの符号化情報と当該ブロックの周辺ブロックの符号化情報との傾向の差分に基づいて、当該ブロックと周辺ブロックとで模様の複雑さが大きく異なるか否かを判定する。なお、画像異常判定装置１００は、符号化情報に含まれる色の情報に基づくことなく判定する。したがって、画像異常判定装置１００は、色の変化又は周辺ブロックとの色の差分の大小は判定に依存しない。なお、当該ブロックは、外部から指定されてもよい。

画像異常判定装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサやメモリや補助記憶装置などを備え、画像異常判定プログラムを実行することによって算出方法入力部１０１、算出範囲入力部１０２、分割領域符号化情報入力部１０３、算出範囲符号量入力部１０４、基準値算出部１０５、当該ブロック符号量入力部１０６、絶対値差分算出部１０７、差分しきい値入力部１０８及び差分しきい値比較部１０９を備える装置として機能する。なお、画像異常判定装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像異常判定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像異常判定プログラムは、電気通信回線を介して送信されてもよい。

算出方法入力部１０１は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。算出方法入力部１０１は、入力装置を画像異常判定装置１００に接続するためのインタフェースであってもよい。この場合、算出方法入力部１０１は、入力装置において入力された入力信号から入力データ（例えば、画像異常判定装置１００に対する指示を示す指示情報）を生成し、画像異常判定装置１００に入力する。なお、他の入力部である算出範囲入力部１０２、分割領域符号化情報入力部１０３、算出範囲符号量入力部１０４、当該ブロック符号量入力部１０６及び差分しきい値入力部１０８に関しても同様に構成される。

算出方法入力部１０１は、外部から基準値の算出方法を指定する情報を受付ける。基準値は、当該ブロックが異常領域であるか否か判定されるための比較対象となる数値である。基準値は、基準値算出部１０５によって、当該ブロックと周辺ブロックとの符号量情報に基づいて算出される。算出方法は、平均値、重み付き平均値又は中央値等を算出する方法が用いられてもよい。算出方法入力部１０１は、算出方法のうち少なくともいずれか１つが選択される情報を受付ける。算出方法入力部１０１は、受け付けた算出方法の選択結果を基準値算出部１０５に出力する。

算出範囲入力部１０２は、基準値の算出範囲を指定する情報を受付ける。算出範囲は、当該ブロックから周囲何ブロックまでを周辺ブロックとして捉えるかを指定される情報である。例えば、周辺ブロックは、算出範囲として２が指定された場合、当該ブロックから縦横±２ブロックを範囲と定められる。したがって、当該ブロックを中心として５×５ブロックまでが周辺ブロックとして処理される。算出範囲入力部１０２は、算出範囲を算出範囲符号量入力部１０４に出力する。

分割領域符号化情報入力部１０３は、分割領域符号化情報と当該ブロックの画像上の場所を示すアドレスとを受付ける。分割領域符号化情報は、判定対象となる画像が分割されたブロック毎の符号化情報である。分割領域符号化情報入力部１０３は、分割領域符号化情報を算出範囲符号量入力部１０４又は当該ブロック符号量入力部１０６に出力する。

算出範囲符号量入力部１０４は、当該ブロックのアドレスに基づいて、当該ブロックの分割領域符号化情報を特定する。算出範囲符号量入力部１０４は、当該ブロックと当該ブロックから算出範囲内に含まれる周辺ブロック分の分割領域符号化情報を取得する。算出範囲符号量入力部１０４は、取得した分割領域符号化情報から符号量を算出する。例えば、座標（ｘ，ｙ）の符号量は、ｐ（ｘ，ｙ）で表される。算出範囲符号量入力部１０４は、算出した符号量を基準値算出部１０５に出力する。

基準値算出部１０５は、算出方法入力部１０１から受け付けた算出方法の指定結果と算出範囲符号量入力部１０４によって算出された符号量とに基づいて、当該ブロックの基準値Ｓを算出する。例えば、基準値算出部１０５が算出方法として平均値の算出方法を受け付けた場合、基準値Ｓの立式は以下の数式（１）で表される。基準値算出部１０５は、判定情報生成部の一態様である。判定情報生成部は、指定された領域に異常領域が含まれるか否かの判定に用いられる判定情報を生成する。判定情報は、所定の領域の分割領域符号化情報と、所定の領域の近傍の分割領域符号化情報に基づいて算出された統計値と、を含む情報である。基準値は、統計値の一態様である。

基準値算出部１０５が算出方法として重み付き平均値の算出方法を受け付けた場合、基準値Ｓの立式は以下の数式（２）で表される。なお、ｗは、ガウシアン分布に基づく計数値であってもよい。

基準値算出部１０５が算出方法として中央値の算出方法を受け付けた場合、基準値Ｓの立式は以下の数式（３）で表される。Ｚは、当該ブロックを除く周辺ブロックの集合を表す。例えば、算出範囲として２を受け付けた場合、Ｚは、当該ブロックを除く２４ブロックの集合を表す。

なお、異常領域ではない外れ値が存在するような画像では、中央値又は算出範囲を広げた上で重み付き平均値を算出することが望ましい。この場合、基準値算出部１０５は、中央値を算出する方が高速に処理できる。

当該ブロック符号量入力部１０６は、当該ブロックのアドレスに基づいて、当該ブロックの分割領域符号化情報を特定する。当該ブロック符号量入力部１０６は、当該ブロックの符号化データから符号量ｐ（Ｘ，Ｙ）を算出する。当該ブロック符号量入力部１０６は、算出した符号量ｐ（Ｘ，Ｙ）をとして絶対値差分算出部１０７に出力する。

絶対値差分算出部１０７は、基準値算出部１０５から出力された基準値Ｓと当該ブロック符号量入力部１０６から出力された当該ブロックの符号量とに基づいて、絶対値差分値を算出する。絶対値差分値は、符号量ｐ（Ｘ，Ｙ）から基準値Ｓを減算した差分値の絶対値である。絶対値差分算出部１０７は、絶対値差分値を差分しきい値比較部１０９に出力する。

差分しきい値入力部１０８は、差分しきい値Ｔを受け付ける。差分しきい値Ｔは、差分しきい値入力部１０８は、差分しきい値Ｔを差分しきい値比較部１０９に出力する。差分しきい値Ｔは、当該ブロックが異常領域を含むか否かを判定する値である。差分しきい値Ｔは、異常領域として異常が発生している領域又は異常が発生する予兆がある領域のいずれが判定されるかに応じて異なる値が用いられてもよい。

差分しきい値比較部１０９は、絶対値差分算出部１０７から受け付けた絶対値差分値と差分しきい値入力部１０８から受け付けた差分しきい値Ｔとを比較することで、当該ブロックが異常領域を含むか否かの判定を行う。差分しきい値比較部１０９は、例えば、数式（４）に基づいて、判定を行う。差分しきい値比較部１０９は、判定結果を出力する。絶対値差分算出部１０７及び差分しきい値比較部１０９は、判定部の一態様である。判定部は、判定情報に基づいて、指定された領域（例えば、当該ブロック）に異常領域が含まれるか否かを判定する。

図３は、第１の実施形態における、画像異常判定の処理の流れの例を示すフローチャートである。算出方法入力部１０１は、基準値の算出方法を指定する指示を受け付ける（ステップＳ１０１）。算出範囲入力部１０２は、基準値の算出範囲を指定する情報を受付ける（ステップＳ１０２）。分割領域符号化情報入力部１０３は、判定対象となる画像の分割領域符号化情報と当該ブロックの画像上の場所を示すアドレスとを受付ける（ステップＳ１０３）。算出範囲符号量入力部１０４は、当該ブロックと当該ブロックの周辺ブロックの符号量とを算出する（ステップＳ１０４）。

基準値算出部１０５は、算出方法の指定結果と算出された符号量とに基づいて、当該ブロックの基準値を算出する（ステップＳ１０５）。当該ブロック符号量入力部１０６は、当該ブロックの符号量を算出する（ステップＳ１０６）。絶対値差分算出部１０７は、当該ブロック符号量の値から基準値を減算することで、絶対値差分値を算出する（ステップＳ１０７）。差分しきい値入力部１０８は、差分しきい値を受け付ける（ステップＳ１０８）。

差分しきい値比較部１０９は、絶対値差分値が差分しきい値以上であるか否か判定する（ステップＳ１０９）。絶対値差分値が差分しきい値以上でない場合（ステップＳ１１０：ＮＯ）、差分しきい値比較部１０９は、当該ブロックは異常領域を含まないと判定する（ステップＳ１１０）。絶対値差分値が差分しきい値以上である場合（ステップＳ１１０：ＹＥＳ）、差分しきい値比較部１０９は、当該ブロックは異常領域を含むと判定する（ステップＳ１１１）。差分しきい値比較部１０９は、判定結果を出力する（ステップＳ１１２）。

このように構成された画像異常判定装置１００は、基準値算出部１０５が当該ブロックの基準値を算出する。絶対値差分算出部１０７が、基準値と当該ブロック符号量の値とに基づいて、絶対値差分値を算出する。差分しきい値比較部１０９が、絶対値差分値と差分しきい値とを比較することで、当該ブロックが異常領域を含むか否かの判定を行う。したがって、画像異常判定装置１００は、色の変化に関する差分には影響されることなく、符号量の値に基づいて異常領域を判定することができる。すなわち、正常領域と異常領域との間で色差分が少ない場合又は正常領域中にも色変化がみられる場合においても、異常領域の有無の判定が可能となり、高精度に異常領域を判定できるようになる。また、画像異常判定装置１００は、符号化データを全て復号して、符号化情報を取得する必要がなくなるため、より高速に異常領域を判定できる。
また、画像異常判定装置１００は、市街地の空撮画像における建物の解体箇所を把握したい場合のように正常領域が複雑な模様となり、異常領域が平坦な空き地となるような画像であっても、複雑さの差分に基づいて判定可能である。したがって、正常領域中の模様の変化が大きい場合であっても、異常領域の判定が可能となる。
さらに、画像異常判定装置１００は、太陽光パネル上に生えた草等の異物を把握したい場合のように、正常領域が太陽光パネルの平坦な模様となり、異常領域が草等の異物による複雑な模様となる画像であっても、複雑さの差分に基づいて判定可能である。したがって、画像異常判定装置１００は、太陽光パネルを対象とした場合、故障だけではなく故障の予兆を検知することが可能である。

（第２の実施形態）
図４は、対象画像中のすべての符号量に対するヒストグラム２の一例を示す図である。図４では、符号量の小さい領域と大きい領域とに１つずつ、合計で２つの山があるデータを例として説明する。ヒストグラム２は、第１クラスタ２１と第２クラスタ２２とを含む。第１クラスタ２１は、符号量の小さい領域を表す。第２クラスタ２２は、符号量の大きい領域を表す。各ブロックは、符号量が境界値２３よりも小さい場合に第１クラスタに分類される。各ブロックは、符号量が境界値２３よりも大きい場合に第２クラスタに分類される。第１クラスタは重心２４を有する。第２クラスタ２２は重心２５を有する。図４では、ヒストグラム２で表される各クラスタのうち、要素数が最も少ないクラスタである第２クラスタ２２に含まれるブロックが異常領域として出力される。これは、半導体ウエハの上にダストが乗った場合又は太陽光パネルの上に草が生えた場合には、ダスト又は草等の異常領域に係るブロックの数は、半導体ウエハ又は太陽光パネルが構成される正常領域に係るブロックの数よりも少ないことが想定される。すなわち、このような画像を分割された領域毎の符号量をクラスタリングすると、要素数が最も少ないクラスタにダストや草等の異常領域が含まれると想定されるためである。

図５は、第２の実施形態における、画像異常判定装置２００の機能構成の例を示す機能ブロック図である。画像異常判定装置２００は、指定された対象画像中の全ての符号化情報に基づいて、異常領域の有無を判定する。画像異常判定装置２００は、バスで接続されたＣＰＵ等のプロセッサやメモリや補助記憶装置などを備え、画像異常判定プログラムを実行することによって分割領域符号化情報入力部２０１、符号量入力部２０２、パラメータ入力部２０３、境界値算出部２０４、クラスタリング部２０５、重心間距離算出部２０６、しきい値入力部２０７、しきい値比較部２０８及びクラスタ要素数計数部２０９を備える装置として機能する。なお、画像異常判定装置２００の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。

分割領域符号化情報入力部２０１は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。分割領域符号化情報入力部２０１は、入力装置を画像異常判定装置２００に接続するためのインタフェースであってもよい。この場合、分割領域符号化情報入力部２０１は、入力装置において入力された入力信号から入力データ（例えば、画像異常判定装置２００に対する指示を示す指示情報）を生成し、画像異常判定装置２００に入力する。なお、他の入力部である符号量入力部２０２、パラメータ入力部２０３及びしきい値入力部２０７に関しても同様に構成される。

分割領域符号化情報入力部２０１は、判定対象となる分割された画像の分割領域符号化情報を受付ける。分割領域符号化情報入力部２０１は、受け付けた分割領域符号化情報を符号量入力部２０２に出力する。符号量入力部２０２は、分割領域符号化情報から符号量を算出する。符号量入力部２０２は、算出した各ブロックの符号量を符号量データ群として、境界値算出部２０４及びクラスタリング部２０５に出力する。符号量データ群は、検索対象となる画像の全体の符号量を表す。

パラメータ入力部２０３は、パラメータを受け付ける。パラメータは、境界値算出部２０４が境界値を算出するために用いる算出方法によって異なる。境界値の算出方法は、例えば、指定数のクラスタへの分類が可能なｋ−ｍｅａｎｓ法である。算出方法がｋ−ｍｅａｎｓ法の場合、パラメータはクラスタ数である。本実施形態の場合、クラスタ数は、２が指定される。また、パラメータとして、最大のループ数と各クラスタの初期値とを受け付ける。なお、本実施形態では、クラスタ数として２が指定されているが、２以上の数が指定されてもよい。

境界値算出部２０４は、符号量入力部２０２から受け付けた符号量データ群を、指定されたパラメータに応じたクラスタ数に分類するための境界値を算出する。例えば、境界値算出部２０４は、クラスタ数として２が与えられた場合、符号量データ群の分布を解析して、２つのクラスタに分類するための境界値を算出する。境界値算出部２０４は、算出した境界値をクラスタリング部２０５に出力する。境界値算出部２０４は、例えば、境界値の算出方法としてｋ−ｍｅａｎｓ法を用いてもよい。この場合、境界値算出部２０４は、クラスタ数として２が指定された場合、一次元のｋ−ｍｅａｎｓ法を実行する。また、境界値算出部２０４は、対象とする符号量データ群の外れ値を除外するため、ｋ−ｍｅａｎｓ法の母集団とする符号量の範囲を絞り込んでもよい。絞り込む符号量の範囲は、パラメータとしてパラメータ入力部２０３が受け付ける。境界値算出部２０４は、ｋ−ｍｅａｎｓ法以外の方法で境界値を算出してもよい。例えば、ヒストグラムに２つの山が存在し、両者の山の間に極小値が１つ存在する状況を仮定した場合、境界値算出部２０４は、ヒストグラムを多項式関数で近似し、極小値を数値解析により求めることで境界値を算出してもよい。以下、クラスタ数は２として説明するが、クラスタ数が２以上の場合であっても、異常領域は判定可能である。

クラスタリング部２０５は、符号量入力部２０２から受け付けた画像の一部の領域若しくは全領域に係る符号量データ群と境界値算出部２０４から受け付けた境界値とに基づいて、符号量データ群を２つのクラスタに分類する。クラスタリング部２０５は、境界値よりも符号量が小さいブロックを第１クラスタに分類する。クラスタリング部２０５は、境界値よりも符号量が大きいブロックを第２クラスタに分類する。クラスタリング部２０５は、分類結果を重心間距離算出部２０６に出力する。クラスタリング部２０５は、判定情報生成部の一態様である。第１クラスタ又は第２クラスタは判定情報の一態様である。

重心間距離算出部２０６は、第１クラスタ及び第２クラスタに含まれる符号量の重心を算出する。重心間距離算出部２０６は、算出された重心に基づいて、重心間距離の値Ｄを算出する。重心間距離算出部２０６は、算出した重心間距離の値Ｄをしきい値比較部２０８に出力する。

しきい値入力部２０７は、重心間距離の値Ｄとの比較に用いられる重心間距離しきい値Ｕを受け付ける。重心間距離しきい値Ｕは、判定対象の画像の全領域の少なくとも一部に異常領域が含まれるか否かを判定するために用いられる。しきい値入力部２０７は、重心間距離しきい値Ｕをしきい値比較部２０８に出力する。重心間距離しきい値Ｕは、異常領域として異常が発生している領域又は異常が発生する予兆がある領域のいずれが判定されるかに応じて異なる値が用いられてもよい。

しきい値比較部２０８は、重心間距離算出部２０６から受け付けた重心間距離の値Ｄと、しきい値入力部２０７から受け付けた重心間距離しきい値Ｕと、を比較することで、判定対象となる画像の全領域の少なくとも一部に異常領域が含まれるか否かの判定を行う。しきい値比較部２０８は、例えば、数式（５）に基づいて、判定を行う。しきい値比較部２０８は、判定結果を出力する。重心間距離算出部２０６及びしきい値比較部２０８は、判定部の一態様である。

しきい値比較部２０８は、重心間距離の値Ｄが重心間距離しきい値以下の場合、特異な性質と判定するほどの差分がないと判定し、全領域に異常領域が含まれないという判定結果を出力する。しきい値比較部２０８は、重心間距離の値Ｄが重心間距離しきい値よりも大きい場合、特異な性質と判定するほどの差分があると判定し、符号量データ群をクラスタ要素数計数部２０９に出力する。

クラスタ要素数計数部２０９は、第１クラスタ及び第２クラスタ毎に、符号量データの要素数を計数する。クラスタ要素数計数部２０９は、計数した結果、要素数が少ないクラスタを異常領域が存在するクラスタ、多い方を異常領域が存在しないクラスタと判定する。クラスタ要素数計数部２０９は、判定結果として、要素数が少ない方のクラスタに属する領域を異常領域として出力する。

図６は、第２の実施形態における、画像異常判定の処理の流れの例を示すフローチャートである。本フローチャートでは、境界値の算出方法としてｋ−ｍｅａｎｓ法が用いられ、クラスタ数は２として説明する。分割領域符号化情報入力部２０１は、対象となる分割された画像の分割領域符号化情報を受付ける。符号量入力部２０２は、受け付けた符号化情報に基づいて符号量データ群を算出する（ステップＳ２０１）。パラメータ入力部２０３は、パラメータとしてクラスタ数の値を受け付ける（ステップＳ２０２）。本フローチャートでは、パラメータ入力部２０３が受け付けたクラスタ数の値は２である。境界値算出部２０４は、算出された符号量データ群と受け付けたパラメータとに基づいて境界値を算出する（ステップＳ２０３）。

クラスタリング部２０５は、符号量データ群と境界値とに基づいて、符号量データ群を２つのクラスタに分類する（ステップＳ２０４）。具体的には、クラスタリング部２０５は、境界値よりも符号量が小さいブロックを第１クラスタに分類する。クラスタリング部２０５は、境界値よりも符号量が大きいブロックを第２クラスタに分類する。重心間距離算出部２０６は、第１クラスタ及び第２クラスタに含まれる符号量データの重心を算出する（ステップＳ２０５）。重心間距離算出部２０６は、算出された重心に基づいて、重心間距離の値を算出する（ステップＳ２０６）。

しきい値入力部２０７は、重心間距離の値との比較に用いられる重心間距離しきい値を受け付ける（ステップＳ２０７）。しきい値比較部２０８は、重心間距離の値が重心間距離しきい値以下であるか否かを判定する（ステップＳ２０８）。重心間距離の値が重心間距離しきい値以下である場合（ステップＳ２０８：ＹＥＳ）、しきい値比較部２０８は、全領域に異常領域が含まれないという判定し（ステップＳ２０９）、しきい値比較部２０８は、判定結果を出力する（ステップＳ２１２）。

重心間距離の値が重心間距離しきい値以下でない場合（ステップＳ２０８：ＮＯ）、クラスタ要素数計数部２０９は、第１クラスタ及び第２クラスタ毎に、符号量データの要素数を計数する（ステップＳ２１０）。クラスタ要素数計数部２０９は、計数した結果に基づいて、要素数が少ない方のクラスタを異常領域が存在するクラスタ、要素数が多い方のクラスタを異常領域が存在しないクラスタと判定する（ステップＳ２１１）。クラスタ要素数計数部２０９は、判定結果を出力する（ステップＳ２１２）。

このように構成された画像異常判定装置２００は、符号量入力部２０２が判定対象となる画像の符号量を符号量データ群として算出する。境界値算出部２０４が、クラスタを分類するために用いられる境界値を算出する。クラスタリング部２０５が、符号量データ群を、算出された境界値に応じて、複数のクラスタに分類する。しきい値比較部２０８が、クラスタの重心間距離の値に応じて、画像に異常領域が含まれるか否かを判定する。したがって、画像異常判定装置２００は、色の変化に関する差分には影響されることなく、異常領域を判定することができる。すなわち、画像異常判定装置２００は、正常領域と異常領域との間で色差分が少ない場合又は正常領域中にも色変化がみられる場合の異常においても、判定が可能となり、高精度に異常領域を判定できるようになる。また、画像異常判定装置１００は、符号化データを全て復号して、符号化情報を取得する必要がなくなるため、より高速に異常領域を判定できる。

（第１の実施形態及び第２の実施形態の変形例）

画像異常判定装置は、符号化対象である画像の色成分が２以上ある場合、処理される符号量の値は、いずれか１成分を処理してもよいし、２つ以上の成分の合計値を処理してもよい。例えば、画像異常判定装置は、色成分がＹＵＶの３成分ある場合、Ｙ、Ｕ又はＶのいずれか１つを処理してもよいし、ＹＵＶの合計値を処理してもよい。

画像異常判定装置は、符号化の処理単位となるブロックの符号量をｐ（ｘ，ｙ）とみなしてもよいし、ブロックを集合させたブロックの符号量をｐ（ｘ，ｙ）とみなしてもよい。画像異常判定装置は、ブロックを集合させたブロックの符号量をｐ（ｘ，ｙ）とみなす場合、集合に含まれるブロックの符号量を合計した値をｐ（ｘ，ｙ）としてもよい。

本実施形態では、符号化情報として符号量を取り上げて説明をしたが、符号量以外の符号化情報を用いてもよい。例えば、画像異常判定装置は、符号量以外の符号化情報を用いて、同じ処理フローにて実施してもよい。例えば、符号量以外の符号化情報として、エントロピー符号化を適用する前のビン数の値（ＨＥＶＣの場合ではＣＡＢＡＣを適用する前のビット列）、直交変換又は量子化後の非ゼロである有意係数の個数等の画像の符号化の途中で算出される情報又は符号化データの復号の途中で算出される情報が用いられてもよい。符号量以外の符号化情報が用いられた場合であっても、より精度よくかつ、より高速に異常領域を判定できる。また、画像異常判定装置は、市街地の空撮画像における建物の解体箇所を把握したい場合のように正常領域が複雑な模様となり異常領域が平坦な空き地となるような画像であっても、クラスタの要素数で判定するため、判定可能である。したがって、正常領域中の模様の変化が大きい場合であっても、異常領域の判定が可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、可視光画像、センサ画像等に含まれる異常領域を検出する装置に適用可能である。

１００…画像異常判定装置， １０１…算出方法入力部， １０２…算出範囲入力部， １０３…分割領域符号化情報入力部， １０４…算出範囲符号量入力部， １０５…基準値算出部， １０６…当該ブロック符号量入力部， １０７…絶対値差分算出部， １０８…差分しきい値入力部， １０９…差分しきい値比較部， ２００…画像異常判定装置， ２０１…分割領域符号化情報入力部， ２０２…符号量入力部， ２０３…パラメータ入力部， ２０４…境界値算出部， ２０５…クラスタリング部， ２０６…重心間距離算出部， ２０７…しきい値入力部， ２０８…しきい値比較部， ２０９…クラスタ要素数計数部

Claims (8)

1. 判定対象となる画像を符号化する過程若しくは符号化した結果として生成され、前記画像内の模様の特徴情報を含む符号化情報に基づいて、前記画像内における異常が発生している領域若しくは異常が発生する予兆がある領域である異常領域の有無を、色の差分の大小に依存しないよう判定する画像異常判定装置であって、
   前記画像が分割された領域毎の符号化情報である分割領域符号化情報のうち、指定された領域の分割領域符号化情報を取得する分割領域符号化情報入力部と、
   前記指定された領域に前記異常領域が含まれるか否かの判定に用いられ、模様の複雑さが数値として反映される判定情報を生成する判定情報生成部と、
   前記判定情報に基づいて、前記指定された領域に前記異常領域が含まれるか否かを判定する判定部と、
   を備え、
   前記判定部は、正常な領域である正常領域と比較し、複雑さの差分が閾値より大きい場合に異常と判定する、画像異常判定装置。
2. 前記異常は、太陽光パネル上の植生、若しくは半導体ウェハ上のダストである、請求項１に記載の画像異常判定装置。
3. 前記判定情報は、所定の領域の分割領域符号化情報と、前記所定の領域の近傍の分割領域符号化情報に基づいて算出された統計値と、を含む情報であって、
   前記判定部は、前記所定の領域の分割領域符号化情報と、前記統計値と、の差に基づいて、前記所定の領域における異常領域の有無を判定する、
   請求項２に記載の画像異常判定装置。
4. 前記統計値は、平均値、重み付き平均値又は中央値のいずれか１つである、
   請求項３に記載の画像異常判定装置。
5. 前記判定情報は、前記画像の一部の領域若しくは全領域に係る符号化情報に基づいて生成されたヒストグラムが所定の条件に基づいて分類された複数のクラスタを含む情報であって、
   前記判定部は、前記複数のクラスタのうち、所定の条件を満たすクラスタに分類された領域を異常領域と判定する、
   請求項２に記載の画像異常判定装置。
6. 前記判定部は、前記複数のクラスタのうち、要素数が最も少ないクラスタに分類された領域又は要素数が最も多いクラスタに分類された領域のいずれか一方を異常領域と判定する、
   請求項５に記載の画像異常判定装置。
7. 判定対象となる画像を符号化する過程若しくは符号化した結果として生成され、前記画像内の模様の特徴情報を含む符号化情報に基づいて、前記画像内における異常が発生している領域若しくは異常が発生する予兆がある領域である異常領域の有無を、色の差分の大小に依存しないよう判定する画像異常判定装置が実行する異常判定方法であって、
   画像異常判定装置が、前記画像が分割された領域毎の符号化情報である分割領域符号化情報のうち、指定された領域の分割領域符号化情報を取得する分割領域符号化情報入力ステップと、
   画像異常判定装置が、前記指定された領域に前記異常領域が含まれるか否かの判定に用いられ、模様の複雑さが数値として反映される判定情報を生成する判定情報生成ステップと、
   画像異常判定装置が、前記判定情報に基づいて、前記指定された領域に前記異常領域が含まれるか否かを判定する判定ステップと、
   を有し、
   前記判定ステップにおいて、正常な領域である正常領域と比較し、複雑さの差分が閾値より大きい場合に異常と判定する画像異常判定方法。
8. 請求項１から６のいずれか一項に記載の画像異常判定装置としてコンピュータを機能させるためのコンピュータプログラム。

Images