JP6829185B2 - 異常領域推定装置、異常領域推定方法および異常領域推定プログラム - Google Patents

異常領域推定装置、異常領域推定方法および異常領域推定プログラム Download PDF

Info

Publication number
JP6829185B2
JP6829185B2 JP2017248357A JP2017248357A JP6829185B2 JP 6829185 B2 JP6829185 B2 JP 6829185B2 JP 2017248357 A JP2017248357 A JP 2017248357A JP 2017248357 A JP2017248357 A JP 2017248357A JP 6829185 B2 JP6829185 B2 JP 6829185B2
Authority
JP
Japan
Prior art keywords
region
prediction mode
intra
intra prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017248357A
Other languages
English (en)
Other versions
JP2019114139A (ja
Inventor
暁経 三反崎
暁経 三反崎
和也 早瀬
和也 早瀬
清水 淳
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017248357A priority Critical patent/JP6829185B2/ja
Publication of JP2019114139A publication Critical patent/JP2019114139A/ja
Application granted granted Critical
Publication of JP6829185B2 publication Critical patent/JP6829185B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Photovoltaic Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、異常領域推定装置、異常領域推定方法および異常領域推定プログラムに関する。
規則的な模様を有する被写体が撮像された画像において、画像内の周囲の領域に比べて規則性が乱れた領域(以下、「不規則領域」という)を特定したい場合がある。例えば、太陽光パネルの異常(例えば、故障)を推定する場合である。太陽光パネルは僻地に設置されていることも多いため、現地へ行って1つ1つ目視で確認を行うには手間が掛かる。そのため、太陽光パネルを上空から撮像し、撮像された画像から不規則領域を特定して太陽光パネルの異常を推定することができれば、その手間が軽減される。
被写体の異常を推定する場合における画像解析方法として、例えば、異なる時点において同一の被写体が撮像された時系列画像を比較して変化があった領域を特定し、特定された領域を異常領域として推定する方法が考えられる(例えば、特許文献1を参照)。
特開2017−112466号公報
しかしながら、時系列画像において、例えば、一方の画像は鮮明かつ正常な被写体が撮像されており、もう一方の画像は雲等によって被写体の一部または全てが覆われているような場合もある。この場合、被写体には異常が発生していなくても、時系列画像の間には変化が生じているため、誤って被写体の異常として推定されることがある。また、例えば、石等の落下による太陽光パネルの物理的な損傷のような視認可能な異常を推定する場合には、複数の時系列画像から推定するのではなく、1枚の画像のみから簡単に推定したい場合もある。
さらに、昨今、太陽光パネルの故障を未然に防ぐ方法の確立も期待されている。例えば、太陽光パネルを撮像したサーモ画像から、故障によって高温となった部分を特定して太陽光パネルの異常領域を推定することにより、故障を未然に防ぐことができる。しかしながら、太陽光パネルの故障は、上記のような物理的な損傷に起因する故障のほか、太陽光パネルに障害物が覆い被さることによって発生する故障もある。例えば、太陽光パネルの一部が草木に覆われると、太陽光パネル上において発熱の偏り(ホットスポット現象)が長期間継続し、これに起因して故障が発生することがある。サーモ画像の解析による故障の検知方法では、表面の温度変化があまり生じない草木の位置を特定することはできないため、このような故障を防止することは困難である。
これに対し、草木の色を事前に与えておき、サーモ画像ではなく一般的な可視光画像における色情報から草木を特定する方法が考えられる。しかしながら、草木の色には、緑、茶または赤等の様々な色がある。そのため、事前に全ての草木の色情報を与えておくことは困難である。また、撮影環境(例えば、天候や時間帯等)によって可視光画像の明るさや色味は大きく異なるため、色情報から草木を特定することは困難である。
上記事情に鑑み、本発明は、被写体の異常領域を画像から精度よく推定することができる異常領域推定装置、異常領域推定方法および異常領域推定プログラムを提供することを目的とする。
本発明の一態様は、外観に規則性を有する被写体を撮影した画像がイントラ符号化された情報であるイントラ符号化情報から、前記被写体における異常を有する領域を推定する異常領域推定装置であって、前記画像が分割された領域に係るイントラ符号化情報である分割符号化情報を取得する分割符号化情報取得部と、前記画像の所望の領域に係る分割符号化情報と、前記所望の領域を除く領域に係る分割符号化情報との規則性に基づいて、前記所望の領域が異常を有するか否かを推定する異常推定部と、を有する異常領域推定装置である。
また、本発明の一態様は、上記の異常領域推定装置であって、前記所望の領域を除く領域は、前記所望の領域の近傍に位置する周辺領域である。
また、本発明の一態様は、上記の異常領域推定装置であって、前記被写体の形状および前記被写体の大きさのうち少なくとも一方を示す情報の入力を受け付ける被写体領域入力部を備え、前記所望の領域を除く領域は、前記被写体領域入力部へ入力された情報に基づく前記被写体の形状および前記被写体の大きさのうち少なくとも一方に対応する領域である場合がある。
また、本発明の一態様は、上記の異常領域推定装置であって、前記分割符号化情報はイントラ予測モードであり、前記異常推定部は、前記所望の領域に係るイントラ予測モードと前記所望の領域を除く領域に係るイントラ予測モードとの比較結果に基づいて、前記所望の領域が異常を有するか否かを推定する。
また、本発明の一態様は、上記の異常領域推定装置であって、前記異常推定部は、前記所望の領域に係るイントラ予測モードが、どの方向の前記周辺領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータであり、かつ、前記所望の領域を除く領域に係るイントラ予測モードが、どの方向の前記周辺領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータはでない場合、前記所望の領域に異常があると推定する。
また、本発明の一態様は、上記の異常領域推定装置であって、前記異常推定部は、第1のイントラ予測モードが示す第1の方向と前記第1のイントラ予測モードとは異なる第2のイントラ予測モードが示す第2の方向とが正反対の方向を指す場合、または、前記第1の方向と前記第2の方向との間の角度が所定の角度以内である場合、前記第1のイントラ予測モードと前記第2のイントラ予測モードを1つのイントラ予測モードとしてみなして推定する。
また、本発明の一態様は、上記の異常領域推定装置であって、前記画像をイントラ符号化し、前記イントラ符号化情報を取得するイントラ符号化部、を備え、前記イントラ符号化部は、第1のイントラ予測モードが示す第1の方向と前記第1のイントラ予測モードとは異なる第2のイントラ予測モードが示す第2の方向の間の角度が所定の角度以内である場合、前記異常推定部による前記第2のイントラ予測モードの使用を制限する。
また、本発明の一態様は、外観に規則性を有する被写体を撮影した画像がイントラ符号化された情報であるイントラ符号化情報から、前記被写体における異常を有する領域を推定する異常領域推定装置による異常領域推定方法であって、前記画像が分割された領域に係るイントラ符号化情報である分割符号化情報を取得する分割符号化情報取得ステップと、前記画像の所望の領域に係る分割符号化情報と、前記所望の領域を除く領域に係る分割符号化情報との規則性に基づいて、前記所望の領域が異常を有するか否かを推定する異常推定ステップと、を有する異常領域推定方法である。
また、本発明の一態様は、外観に規則性を有する被写体を撮影した画像がイントラ符号化された情報であるイントラ符号化情報から、前記被写体における異常を有する領域を推定する異常領域推定装置のコンピュータに、前記画像が分割された領域に係るイントラ符号化情報である分割符号化情報を取得する分割符号化情報取得ステップと、前記画像の所望の領域に係る分割符号化情報と、前記所望の領域を除く領域に係る分割符号化情報との規則性に基づいて、前記所望の領域が異常を有するか否かを推定する異常推定ステップと、を実行させるための異常領域推定プログラムである。
本発明によれば、被写体の異常領域を画像から精度よく推定することができる。
第1実施形態による異常領域推定装置の機能構成を示すブロック図である。 第1実施形態による異常領域推定装置が用いるイントラ予測モードを示す模式図である。 太陽光パネル画像におけるイントラ予測モードを示す模式図である。 太陽光パネル画像におけるイントラ予測モードを示す模式図である。 第1実施形態による異常領域推定装置の動作を示すフローチャートである。 第2実施形態による異常領域推定装置の機能構成を示すブロック図である。 第2実施形態による周辺領域の決定処理の一例を示す模式図である。 第2実施形態による周辺領域の決定処理の一例を示す模式図である。 第2実施形態による異常領域推定装置の動作を示すフローチャートである。 第3実施形態による異常領域推定装置の動作を示すフローチャートである。 第4実施形態による異常領域推定装置の機能構成を示すブロック図である。 第4実施形態による異常領域推定装置の動作を示すフローチャートである。 太陽光パネル画像におけるイントラ予測モードを示す模式図である。 イントラ予測モードと角度との対応を示す図である。 第4実施形態による異常領域推定装置の機能構成を示すブロック図である。 第4実施形態による異常領域推定装置の動作を示すフローチャートである。
<第1実施形態>
以下、本発明の第1実施形態について、図面を参照しながら説明する。
[異常領域推定装置の構成]
以下、本発明の第1実施形態による異常領域推定装置1aの機能構成について説明する。図1は、第1実施形態による異常領域推定装置1aの機能構成を示すブロック図である。異常領域推定装置1aは、ある一定の規則的な模様を有する被写体が撮像された画像(以下、「対象画像」という)において、被写体上で周囲に比べて規則性が乱れた領域(不規則領域)を特定することによって、被写体において異常が発生した領域である異常領域を推定する装置である。以下、一例として、動画像符号化が用いられた単一の対象画像から、太陽光パネル上に覆い被さった草木等が撮像された不規則領域を推定する場合について説明する。
なお、本発明の実施形態において用いられる符号化方式は、一例として、H.265(ISO/IEC 23008-2 HEVC)(以下、「HEVC」という)であるものとする。本発明の実施形態において用いられる符号化パラメータは、一例として、符号化ユニット(CU:Coding Unit)のサイズであるものとする。
図1に示すように、異常領域推定装置1aは、不規則領域サイズ入力部10と、符号化パラメータ決定部11と、画像入力部12と、符号化部13と、不規則領域特定部14と、特定結果出力部15と、を含んで構成される。
不規則領域サイズ入力部10は、検出したい領域の画素サイズを示す情報(以下、「不規則領域サイズ」という)の入力を受け付ける。不規則領域サイズ入力部10は、入力された不規則領域サイズを符号化パラメータ決定部11へ出力する。
符号化パラメータ決定部11は、入力された不規則領域サイズに応じて、符号化パラメータ(例えば、各符号化サイズ)を決定する。ここでいう各符号化サイズとは、HEVCのCUのサイズである。符号化パラメータ決定部11は、決定された符号化サイズを符号化部13へ出力する。なお、符号化サイズは、符号化サイズ>不規則領域サイズであり、かつ符号化サイズと不規則領域サイズは近いサイズであることが望ましい。例えば、不規則領域サイズが6×6程度であれば、符号化サイズは8×8等とし、不規則領域が28×28程度であれば、符号化サイズは32×32等とする。
なお、各符号化サイズは、例えば、HEVCにおける予測ユニット(PU:Prediction Unit)または変換ユニット(TU:Transform Unit)のサイズ、あるいは、ISO/IEC JTC 1/SC 29/WG 11(MPEG)において規定されたマクロブロック(MB)のサイズ等であっても構わない。
画像入力部12は、対象画像の入力を受け付ける。画像入力部12は、入力された対象画像を符号化部13へ出力する。
符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像に対して、イントラ符号化(フレーム内予測符号化)を行う。符号化部13は、イントラ符号化されたデータを不規則領域特定部14へ出力する。
不規則領域特定部14は、符号化部13から入力されたデータに基づいて、各CUについてそれぞれ不規則領域であるか否かの特定を行う。不規則領域特定部14は、CUごとの特定結果を集約し、集約された特定結果(以下、単に「特定結果」という)を特定結果出力部15へ出力する。
特定結果出力部15は、入力された特定結果を外部の装置へ出力する。
以下、イントラ符号化におけるイントラ予測モードについて説明する。イントラ予測モードとは、処理対象のCU(以下、「対象CU」という)のエッジが、対象CUから向かってどの方向の周囲のCU(以下、「周囲CU」という)のエッジと似ているかを示す指標値である。なお、エッジとは、画像中の明るさ(濃淡)あるいは色が急に変化している箇所のことである。
図2は、第1実施形態による異常領域推定装置1aが用いるイントラ予測モードを示す模式図である。図2に示すように、イントラ予測モード2〜イントラ予測モード34は、対象CUのエッジと似たエッジをもつ周囲CUの方向を示すモードである。また、イントラ予測モード0およびイントラ予測モード1は、対象CUのエッジがどの方向の周囲CUのエッジにも似ていない場合に選択されるモードである。
図3および図4は、太陽光パネルが撮像された画像(以下、「太陽光パネル画像」という)におけるイントラ予測モードを示す模式図である。図3において、点線で囲まれた領域は、それぞれ太陽光パネルを示す領域である。また、実線で囲まれた領域は、それぞれCUを示す領域である。また、CUを示す領域の内部にそれぞれ示された記号は、イントラ予測モードを示す。
なお、図3に示すように、CUを示す領域の内部には、矢印、丸及び四角の3種類の記号のうちいずれかが示されている。例えば、矢印の記号はイントラ予測モード2〜イントラ予測モード34のいずれかを表し、丸及び四角の記号はイントラ予測モード0または1のいずれかをそれぞれ表す。
図3に示すように、太陽光パネル画像においては、エッジを含め、太陽光パネルが存在する領域のテクスチャが周囲のCUに似ている場合が多いことから、イントラ予測モード2〜イントラ予測モード34のいずれかが選択される場合が多い。一方、太陽光パネルが含まれない領域のテクスチャは周囲のCUに似ていない場合が多いことから、イントラ予測モード0またはイントラ予測モード1のいずれかが選択される場合が多い。
図4に示すように、太陽光パネル上に、例えば草木等の太陽光パネル以外の不規則な物体(図4においては符号IRを付した物体)が存在する場合、エッジを含むテクスチャが周囲のCUに似ていない場合が多いことから、イントラ予測モード2〜イントラ予測モード34以外のイントラ予測モード(すなわち、イントラ予測モード0またはイントラ予測モード1)のいずれが選択される場合が多い。
[異常領域推定装置の動作]
以下、異常領域推定装置1aの動作の一例について説明する。図5は、第1実施形態による異常領域推定装置1aの動作を示すフローチャートである。
まず、不規則領域サイズ入力部10は、不規則領域サイズの入力を受け付ける(ステップS101)。不規則領域サイズ入力部10は、入力された不規則領域サイズを符号化パラメータ決定部11へ出力する。
次に、符号化パラメータ決定部11は、入力された不規則領域サイズに応じて、各符号化サイズを決定する(ステップS102)。符号化パラメータ決定部11は、決定された各符号化サイズを符号化部13へ出力する。
次に、画像入力部12は、対象画像の入力を受け付ける(ステップS103)。画像入力部12は、入力された対象画像を符号化部13へ出力する。
次に、符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像に対して、イントラ符号化を行う(ステップS104)。符号化部13は、イントラ符号化されたデータを不規則領域特定部14へ出力する。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれるCUの1つを対象CUとして選択する。不規則領域特定部14は、選択された対象CUのイントラ予測モードが0(Planar)または1(DC)のいずれかであるか否かを確認する(ステップS105)。選択された対象CUのイントラ予測モードが0または1のいずれでもない場合(ステップS105、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS108)。
選択された対象CUのイントラ予測モードが0または1のいずれかである場合(ステップS105、YES)、選択された対象CUは、不規則性がある領域の候補である。この場合、不規則領域特定部14は、対象CUの周囲8方向(上下2方向、左右2方向および斜め4方向)の周囲CUのイントラ予測モードを確認する。
対象CUの周囲8方向の周囲CUのうち、イントラ予測モードが0または1のいずれでもない周囲CUの数が所定の数(X個)以上である場合(ステップS106、YES)、不規則領域特定部14は、選択された対象CUについて不規則性ありと特定する(ステップS107)。また、対象CUの周囲8方向の周囲CUのうち、イントラ予測モードが0または1のいずれでもない周囲CUの数が所定の数(X個)未満である場合(ステップS106、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS108)。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれる全てのCUについて不規則性の特定を完了した場合(ステップ109、YES)、CUごとの特定結果を集約する(ステップS110)。不規則領域特定部14は、イントラ符号化されたデータに含まれるCUのうち少なくとも1つのCUについて不規則性の特定を完了していない場合(ステップ109、NO)、不規則性の特定を完了していないCUの1つを対象CUとして選択し、イントラ予測モードが0または1のいずれかであるか否かを確認して(ステップS105)、上記と同様の処理を実行する。
次に、不規則領域特定部14は、集約された特定結果を特定結果出力部15へ出力する。
次に、特定結果出力部15は、入力された特定結果を外部の装置へ出力する(ステップS111)。
以上で、図5に示すフローチャートの処理が終了する。
なお、イントラ予測モードが0または1のいずれでもない周囲CUの数が所定の数(X個)以上である場合とは、対象CUの周辺は不規則性がない場合(例えば、周辺が太陽光パネルである場合)であり、対象CUでは不規則性がありと特定される。一方、イントラ予測モードが0または1のいずれでもない周囲CUの数が所定の数(X個)未満である場合とは、対象CUの周辺も不規則性がある場合(例えば、周辺が草木等の太陽光パネルではない物体である場合)であり、対象CUでは不規則性なしと特定される。
不規則領域特定部14による上記の処理によって、例えば、太陽光パネルのような不規則性がない領域が広がっている領域において、一部に草木のような不規則な物体が含まれる領域を検出することが可能となる。このような領域をより検出され易くするためには、上記の所定の数(X個)の値を、0ないしは非常に小さい値に設定することが考えられる。
なお、第1実施形態においては、不規則領域特定部14は、対象CUの周囲8方向の周囲CUのイントラ予測モードを確認するものとしたが、これに限られるものではない。例えば、不規則領域特定部14は、対象CUの周囲4方向(上下2方向および左右2方向)の周囲CU、あるいは、さらに広い範囲の周囲CUのイントラ予測モードを考慮するため対象CUの周囲24方向の周囲CUのイントラ予測モードを確認してもよい。
また、符号化パラメータ決定部11によって利用されるイントラ予測モードを、34方向の全てのイントラ予測モードとするのではなく、17方向のイントラ予測モードのみに制限するようにしてもよい。利用されるイントラ予測モードの数が制限されることによって、イントラ符号化に要する処理負担が軽減され、不規則領域の特定に係る処理の高速化につながる。
<第2実施形態>
以下、本発明の第2実施形態について、図面を参照しながら説明する。なお、上述した他の実施形態による異常領域推定装置が有する機能ブロックと機能が共通する機能ブロックについては、同一の符号を付し、その説明を省略することがある。
上述の第1実施形態による異常領域推定装置1aでは、不規則領域サイズおよび対象画像を入力として不規則領域の特定を行う構成であった。一方、以下に説明する第2実施形態による異常領域推定装置1bでは、不規則領域サイズおよび対象画像に加えて、規則性がある被写体領域の形状およびサイズを示す情報を入力とする。異常領域推定装置1bは、入力された情報に基づく、規則性がある被写体領域の形状およびサイズに応じて周囲CUの数を増減させる。
[異常領域推定装置の構成]
以下、本発明の第2実施形態による異常領域推定装置1bの機能構成について説明する。図6は、第2実施形態による異常領域推定装置1bの機能構成を示すブロック図である。図6に示すように、異常領域推定装置1bは、不規則領域サイズ入力部10と、符号化パラメータ決定部11と、画像入力部12と、符号化部13と、不規則領域特定部14と、特定結果出力部15と、規則性被写体領域入力部16と、周辺領域決定部17と、を含んで構成される。
規則性被写体領域入力部16は、規則性がある被写体領域の形状およびサイズを示す情報(以下、「規則性被写体領域情報」という)の入力を受け付ける。規則性被写体領域入力部16は、入力された規則性被写体領域情報を周辺領域決定部17へ出力する。
周辺領域決定部17は、入力された規則性被写体領域情報に基づいて周囲CUの領域(以下、「周辺領域」という)を決定する。周辺領域決定部17は、決定した周辺領域を示す情報を不規則領域特定部14へ出力する。なお、周辺領域とは、対象CUの近傍に位置する周囲CUからなる領域である。ここでいう対象CUの近傍に位置する周囲CUとは、例えば、対象CUと隣接するCU、あるいは、対象CUと隣接するCUおよび対象CUと隣接するCUに更に隣接するCU(対象CUは除く)からなる領域である。
不規則領域特定部14は、符号化部13から入力されたデータと周辺領域決定部17から入力された周辺領域とに基づいて、各対象CUについてそれぞれ不規則領域であるか否かの特定を行う。不規則領域特定部14は、特定結果を特定結果出力部15へ出力する。
以下、周辺領域決定部17による周辺領域の決定処理について説明する。図7および図8は、第2実施形態による周辺領域の決定処理の一例を示す模式図である。
規則性がある被写体領域の形状が縦長の形状である場合、図7に示すように、周辺領域決定部17は、例えば、縦方向に5個のCUおよび横方向に3個のCUを周囲CUとして周辺領域を決定する。また、規則性がある被写体領域の形状が横長の形状である場合、図8に示すように、周辺領域決定部17は、例えば、縦方向に3個のCUおよび横方向に5個のCUを周囲CUとして周辺領域を決定する。
そして、不規則領域特定部14は、各対象CUについて、周辺領域決定部17から入力された周辺領域に基づく周囲CUのイントラ予測モードをそれぞれ確認する。イントラ予測モードが0または1のいずれでもないCUが所定数(Y個)以上である場合、不規則領域特定部14は、対象CUについて不規則性があると特定する。また、イントラ予測モードが0または1のいずれでもないCUが所定数(Y個)未満である場合、対象CUについて不規則性がないと特定する。
[異常領域推定装置の動作]
以下、異常領域推定装置1bの動作の一例について説明する。図9は、第2実施形態による異常領域推定装置1bの動作を示すフローチャートである。
まず、不規則領域サイズ入力部10は、不規則領域サイズの入力を受け付ける(ステップS201)。不規則領域サイズ入力部10は、入力された不規則領域サイズを符号化パラメータ決定部11へ出力する。
次に、符号化パラメータ決定部11は、入力された不規則領域サイズに応じて、各符号化サイズを決定する(ステップS202)。符号化パラメータ決定部11は、決定された各符号化サイズを符号化部13へ出力する。
次に、画像入力部12は、対象画像の入力を受け付ける(ステップS203)。画像入力部12は、入力された対象画像を符号化部13へ出力する。
次に、符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像に対して、イントラ符号化を行う(ステップS204)。符号化部13は、イントラ符号化されたデータを不規則領域特定部14へ出力する。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれるCUの1つを対象CUとして選択する。不規則領域特定部14は、選択された対象CUのイントラ予測モードが0(Planar)または1(DC)のいずれかであるか否かを確認する(ステップS205)。選択された対象CUのイントラ予測モードが0または1のいずれでもない場合(ステップS205、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS210)。
選択された対象CUのイントラ予測モードが0または1のいずれかである場合(ステップS205、YES)、選択された対象CUは、不規則性がある領域の候補である。この場合、規則性被写体領域入力部16は、規則性がある被写体領域の形状およびサイズを示す規則性被写体領域情報の入力を受け付ける(ステップS206)。規則性被写体領域入力部16は、入力された規則性被写体領域情報を周辺領域決定部17へ出力する。
次に、周辺領域決定部17は、入力された規則性被写体領域情報に基づいて周辺領域を決定する(ステップS207)。周辺領域決定部17は、決定した周辺領域を不規則領域特定部14へ出力する。
次に、不規則領域特定部14は、対象CUについて、周辺領域決定部17から入力された周辺領域に基づく全ての(X個の)周囲CUのイントラ予測モードを確認する。
X個の周囲CUのうち、イントラ予測モードが0または1のいずれでもない周囲CUの数が所定の数(Y個)以上である場合(ステップS208、YES)、不規則領域特定部14は、選択された対象CUについて不規則性ありと特定する(ステップS209)。また、X個の周囲CUのうち、イントラ予測モードが0または1のいずれでもない周囲CUの数が所定の数(Y個)未満である場合(ステップS208、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS210)。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれる全てのCUについて不規則性の特定を完了した場合(ステップ211、YES)、CUごとの特定結果を集約する(ステップS212)。不規則領域特定部14は、イントラ符号化されたデータに含まれるCUのうち少なくとも1つのCUについて不規則性の特定を完了していない場合(ステップ211、NO)、不規則性の特定を完了していないCUの1つを対象CUとして選択し、イントラ予測モードが0または1のいずれかであるか否かを確認して(ステップS205)、上記と同様の処理を実行する。
次に、不規則領域特定部14は、集約された特定結果を特定結果出力部15へ出力する。
次に、特定結果出力部15は、入力された特定結果を外部の装置へ出力する(ステップS213)。
以上で、図9に示すフローチャートの処理が終了する。
<第3実施形態>
以下、本発明の第3実施形態について、図面を参照しながら説明する。なお、上述した他の実施形態による異常領域推定装置が有する機能ブロックと機能が共通する機能ブロックについては、同一の符号を付し、その説明を省略することがある。
上述の第1実施形態による異常領域推定装置1aおよび上述の第2実施形態による異常領域推定装置1bでは、対象CUのイントラ予測モードが1または0のいずれかであるか否か、および、周囲CUのイントラ予測モードが1または0のいずれかであるか否かに基づいて不規則性があるか否かを特定する構成であった。
一方、以下に説明する第3実施形態による異常領域推定装置1cでは、任意のイントラ予測モード、例えば、イントラ予測モードNが予め設定される。イントラ予測モードNは、1つのイントラ予測モードであっても、複数種類のイントラ予測モードであってもよい。ここで、異常領域推定装置1cでは、対象CUのイントラ予測モードがNであるか否か、および、対象CUの周囲8方向の周囲CUのうちイントラ予測モードがN以外である周囲CUの数が所定の数(X個)以上であるか否か、に基づいて不規則性があるか否かを特定する。
[異常領域推定装置の動作]
以下、異常領域推定装置1cの動作の一例について説明する。図10は、第3実施形態による異常領域推定装置1cの動作を示すフローチャートである。
まず、不規則領域サイズ入力部10は、不規則領域サイズの入力を受け付ける(ステップS301)。不規則領域サイズ入力部10は、入力された不規則領域サイズを符号化パラメータ決定部11へ出力する。
次に、符号化パラメータ決定部11は、入力された不規則領域サイズに応じて、各符号化サイズを決定する(ステップS302)。符号化パラメータ決定部11は、決定された各符号化サイズを符号化部13へ出力する。
次に、画像入力部12は、対象画像の入力を受け付ける(ステップS303)。画像入力部12は、入力された対象画像を符号化部13へ出力する。
次に、符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像に対して、イントラ符号化を行う(ステップS304)。符号化部13は、イントラ符号化されたデータを不規則領域特定部14へ出力する。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれるCUの1つを対象CUとして選択する。不規則領域特定部14は、選択された対象CUのイントラ予測モードがNであるか否かを確認する(ステップS305)。選択された対象CUのイントラ予測モードがNではない場合(ステップS305、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS308)。
選択された対象CUのイントラ予測モードがNである場合(ステップS305、YES)、選択された対象CUは、不規則性がある領域の候補である。この場合、不規則領域特定部14は、対象CUの周囲8方向(上下2方向、左右2方向および斜め4方向)の周囲CUのイントラ予測モードを確認する。
対象CUの周囲8方向の周囲CUのうち、イントラ予測モードがN以外である周囲CUの数が所定の数(X個)以上である場合(ステップS306、YES)、不規則領域特定部14は、選択された対象CUについて不規則性ありと特定する(ステップS307)。また、対象CUの周囲8方向の周囲CUのうち、イントラ予測モードがN以外である周囲CUの数が所定の数(X個)未満である場合(ステップS306、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS308)。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれる全てのCUについて不規則性の特定を完了した場合(ステップ309、YES)、CUごとの特定結果を集約する(ステップS310)。不規則領域特定部14は、イントラ符号化されたデータに含まれるCUのうち少なくとも1つのCUについて不規則性の特定を完了していない場合(ステップ309、NO)、不規則性の特定を完了していないCUの1つを対象CUとして選択し、イントラ予測モードがNであるか否かを確認して(ステップS305)、上記と同様の処理を実行する。
次に、不規則領域特定部14は、集約された特定結果を特定結果出力部15へ出力する。
次に、特定結果出力部15は、入力された特定結果を外部の装置へ出力する(ステップS311)。
以上で、図10に示すフローチャートの処理が終了する。
<第4実施形態>
以下、本発明の第4実施形態について、図面を参照しながら説明する。なお、上述した他の実施形態による異常領域推定装置が有する機能ブロックと機能が共通する機能ブロックについては、同一の符号を付し、その説明を省略することがある。
以下に説明する第4実施形態による異常領域推定装置1dは、どのイントラ予測モードを用いるかを選択する機能を有する。すなわち、第4実施形態による異常領域推定装置1dは、この機能によって、イントラ予測モード2〜イントラ予測モード34のうち、例えば偶数のイントラ予測モードのみを用いて不規則性があるか否かを特定するようにすることができる。なお、このように、より少ない種類のイントラ予測モードが用いられることによって、符号化処理時間が短縮される。
[異常領域推定装置の構成]
以下、本発明の第4実施形態による異常領域推定装置1dの機能構成について説明する。図11は、第4実施形態による異常領域推定装置1dの機能構成を示すブロック図である。図11に示すように、異常領域推定装置1dは、不規則領域サイズ入力部10と、符号化パラメータ決定部11と、画像入力部12と、符号化部13と、不規則領域特定部14と、特定結果出力部15と、規則性領域特性入力部18と、イントラ予測モード決定部19と、を含んで構成される。
規則性領域特性入力部18は、規則性領域で大きな割合を占める領域のエッジ方向を確認する。規則性領域特性入力部18は、エッジ方向を示す情報をイントラ予測モード決定部19へ出力する。
イントラ予測モード決定部19は、規則性領域特性入力部18から入力された情報に基づくエッジ方向に最も近似しているイントラ予測モードに決定する。イントラ予測モード決定部19は、決定したイントラ予測モードを示す情報を不規則領域特定部14へ出力する。
不規則領域特定部14は、符号化部13から入力されたデータとイントラ予測モード決定部19から入力された情報に基づくイントラ予測モードとに基づいて、各対象CUについてそれぞれ不規則領域であるか否かの特定を行う。不規則領域特定部14は、特定結果を特定結果出力部15へ出力する。
[異常領域推定装置の動作]
以下、異常領域推定装置1dの動作の一例について説明する。図12は、第4実施形態による異常領域推定装置1dの動作を示すフローチャートである。
まず、不規則領域サイズ入力部10は、不規則領域サイズの入力を受け付ける(ステップS401)。不規則領域サイズ入力部10は、入力された不規則領域サイズを符号化パラメータ決定部11へ出力する。
次に、符号化パラメータ決定部11は、入力された不規則領域サイズに応じて、各符号化サイズを決定する(ステップS402)。符号化パラメータ決定部11は、決定された各符号化サイズを符号化部13へ出力する。
次に、画像入力部12は、対象画像の入力を受け付ける(ステップS403)。画像入力部12は、入力された対象画像を符号化部13へ出力する。
次に、符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像に対して、イントラ符号化を行う(ステップS404)。符号化部13は、イントラ符号化されたデータを不規則領域特定部14へ出力する。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれるCUの1つを対象CUとして選択する。規則性領域特性入力部18は、規則性領域で大きな割合を占める領域のエッジ方向を示す情報(被写体領域特性)の入力を受け付ける(ステップS405)。規則性領域特性入力部18は、エッジ方向を示す情報をイントラ予測モード決定部19へ出力する。
次に、イントラ予測モード決定部19は、対象CUについて、規則性領域特性入力部18から入力された情報に基づくエッジ方向に最も近似しているイントラ予測モードに決定する(ステップS406)。イントラ予測モード決定部19は、決定したイントラ予測モードを示す情報を不規則領域特定部14へ出力する。
次に、不規則領域特定部14は、選択された対象CUについての、イントラ予測モード決定部19から入力された情報に基づくイントラ予測モードがNであるか否かを確認する(ステップS407)。選択された対象CUのイントラ予測モードがNではない場合(ステップS407、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS410)。
選択された対象CUのイントラ予測モードがNである場合(ステップS407、YES)、選択された対象CUは、不規則性がある領域の候補である。この場合、不規則領域特定部14は、対象CUの周囲8方向(上下2方向、左右2方向および斜め4方向)の周囲CUのイントラ予測モードを確認する(ステップS408)。
対象CUの周囲8方向の周囲CUのうち、イントラ予測モードがN以外である周囲CUの数が所定の数(X個)以上である場合(ステップS408、YES)、不規則領域特定部14は、選択された対象CUについて不規則性ありと特定する(ステップS409)。また、対象CUの周囲8方向の周囲CUのうち、イントラ予測モードがN以外である周囲CUの数が所定の数(X個)未満である場合(ステップS408、NO)、不規則領域特定部14は、選択された対象CUについて不規則性なしと特定する(ステップS410)。
次に、不規則領域特定部14は、イントラ符号化されたデータに含まれる全てのCUについて不規則性の特定を完了した場合(ステップ411、YES)、CUごとの特定結果を集約する(ステップS412)。不規則領域特定部14は、イントラ符号化されたデータに含まれるCUのうち少なくとも1つのCUについて不規則性の特定を完了していない場合(ステップ411、NO)、不規則性の特定を完了していないCUの1つを対象CUとして選択し、イントラ予測モードがNであるか否かを確認して(ステップS405)、上記と同様の処理を実行する。
次に、不規則領域特定部14は、集約された特定結果を特定結果出力部15へ出力する。
次に、特定結果出力部15は、入力された特定結果を外部の装置へ出力する(ステップS413)。
以上で、図12に示すフローチャートの処理が終了する。
なお、上述した第4の実施形態においては、イントラ予測モード決定部19が、規則性領域特性入力部18から入力された情報に基づくエッジ方向に最も近似しているイントラ予測モードに決定する構成であるが、以下のような構成であってもよい。
例えば、異常領域推定装置が、対象画像をイントラ符号化してイントラ予測モードを取得するイントラ符号化部(図示せず)を備える。そして、イントラ符号化部は、取得されたイントラ予測モード(イントラ予測モードA)が示す方向と、取得されたイントラ予測モードとは異なるイントラ予測モード(イントラ予測モードB)が示す方向の間の角度が所定の角度以内である場合、イントラ予測モード決定部19によるイントラ予測モードAの使用を制限する。
具体的には、例えば、選択された対象CUのイントラ予測モード(イントラ予測モードA)が0または1のいずれでもない場合、上記イントラ符号化部は、イントラ予測モードAを角度Dtに変換する。次に、イントラ符号化部は、角度Dtと、所定のイントラ予測モード(イントラ予測モードB)が変換された角度Drとを比較し、その差が閾値Dth以上であるか否かを確認する。角度Dtと角度Drとの差が所定の閾値Dth以上である場合、イントラ符号化部は、イントラ予測モード決定部19によるイントラ予測モードAの使用を制限する。この場合、イントラ予測モード決定部19は、例えば、イントラ予測モードAの使用が制限されたことにより、代わりにイントラ予測モードBを使用する。
なお、イントラ予測モードから角度への変換処理については、後述する第6実施形態において詳しく説明する。
このように、一部のイントラ予測モードの使用が制限されることによって、より少ない種類のイントラ予測モードが用いられることになるため、符号化処理時間が短縮される。
<第5実施形態>
以下、本発明の第5実施形態について、図面を参照しながら説明する。なお、上述した他の実施形態による異常領域推定装置が有する機能ブロックと機能が共通する機能ブロックについては、同一の符号を付し、その説明を省略することがある。
上述の、第3実施形態による異常領域推定装置1cおよび第4実施形態による異常領域推定装置1dでは任意のイントラ予測モードが予め設定されるが、設定されるイントラ予測モードは固定のイントラ予測モードであった。
一方、以下に説明する第5実施形態による異常領域推定装置1eでは、イントラ予測モードの似ている度合いを利用して、不規則性があるか否かを特定する。すなわち、異常領域推定装置1eは、似ている度合いの高いイントラ予測モードどうしを同一のイントラ予測モードであるものとみなすことによって、より少ない種類のイントラ予測モードを用いて、不規則性があるか否かを特定することができる。なお、このように、より少ない種類のイントラ予測モードが用いられることによって、符号化処理時間が短縮される。
図2に模式図を示したイントラ予測モードは、HEVCにおけるイントラ予測モードを示したものである。図2に示すように、イントラ予測モードが指す方向は34方向であるが、例えば、イントラ予測モード2とイントラ予測モード34は互いに正反対の(180度異なる)方向を指している。
図13は、太陽光パネル画像におけるイントラ予測モードを示す模式図である。図13において、点線で囲まれた領域は太陽光パネルを示す領域である。また、実線で囲まれた領域は、それぞれCUを示す領域である。また、網掛けされた領域は対象CUを示す。また、CUを示す領域の内部にそれぞれ示された記号は、イントラ予測モードを示す。
例えば、図13に示すように、太陽光パネルが斜め45度に撮像された画像であるとき、対象CUのイントラ予測モードが2である場合と34である場合とでは符号化効率がほぼ等しい。すなわち、領域の規則性を示す指標値としてイントラ予測モードを用いる本発明においては、イントラ予測モード2とイントラ予測モード34とは、類似した規則性を有するイントラ予測モードである。よって、イントラ予測モード2とイントラ予測モード34は、互いに異なるイントラ予測モードではあるが、実効上はほぼ同義として扱うことができる。
これにより、例えば、図10に示した第3実施形態による異常領域推定装置1cの動作を示すフローチャートにおけるステップS305とステップS306おけるN、および、図12に示した第4実施形態による異常領域推定装置1dの動作を示すフローチャートにおけるステップS407とステップS408におけるNにおいて、N=2として処理する場合とN=34として処理する場合とでは、同様の処理結果が得られる。
さらに、図2に示したように、例えば、イントラ予測モード2が示す方向とイントラ予測モード3が示す方向とは角度が近似している。そのため、イントラ予測モード2とイントラ予測モード3とを同じイントラ予測モードであるものとみなすことができる。
このように、第5実施形態による異常領域推定装置1eは、角度の似ている度合いが高いイントラ予測モードどうし(例えば、方向が正反対であるイントラ予測モードどうし、および、方向の角度が近似しているイントラ予測モードどうし等)を、同じイントラ予測モードであるものとみなして処理を行う。すなわち、異常領域推定装置1eは、幅をある程度もったイントラ予測モードを用いて、不規則性があるか否かを特定する。
図14は、イントラ予測モードと角度との対応を示す図である。イントラ予測モードの角度をDとしたとき、Dの値は図14に示すarctanを用いた変換値によって表すことができる。例えば、イントラ予測モード2の角度は、arctan(−1)と表される。なお、図14において、イントラ予測モードが26である場合の変換値は「99999」と示されているが、他のイントラ予測モードの変換値の場合と比べて相対的に十分に大きな値であるならば、「99999」の値に限られるものではない。
なお、イントラ予測モードの幅の持たせ方として、例えば、イントラ予測モードaの角度Daとイントラ予測モードbの角度Dbとの差である|Da−Db|の値が、あらかじめ定められた閾値Dth以下である場合には、イントラ予測モードaとイントラ予測モードbとを同じイントラ予測モードであるものとみなすようにする方法が考えられる。
<第6実施形態>
以下、本発明の第6実施形態について、図面を参照しながら説明する。なお、上述した他の実施形態による異常領域推定装置が有する機能ブロックと機能が共通する機能ブロックについては、同一の符号を付し、その説明を省略することがある。
以下に説明する第6実施形態による異常領域推定装置1fは、上述の他の実施形態による異常領域推定装置とは異なり、イントラ予測モードに基づいて、2枚の画像間の特異点を特定する(2枚の画像間の変化の有無を判定する)装置である。
[異常領域推定装置の構成]
以下、本発明の第6実施形態による異常領域推定装置1fの機能構成について説明する。図15は、第6実施形態による異常領域推定装置1fの機能構成を示すブロック図である。図15に示すように、異常領域推定装置1fは、不規則領域サイズ入力部10と、符号化パラメータ決定部11と、画像入力部12と、符号化部13と、特定結果出力部15と、参照画像入力部20と、特異点特定部21と、を含んで構成される。
参照画像入力部20は、対象画像との差分検出の対象となる画像(以下、「参照画像」という)の入力を受け付ける。参照画像入力部20は、入力された参照画像を符号化部13へ出力する。
符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像および参照画像入力部20から入力された参照画像に対して、それぞれイントラ符号化を行う。符号化部13は、イントラ符号化されたデータ(対象画像がイントラ符号化されたデータおよび参照画像がイントラ符号化されたデータ)を特異点特定部21へ出力する。
特異点特定部21は、符号化部13から入力されたデータに基づいて、対象画像と参照画像との間の特異点を特定する。特異点特定部21は、特定された特異点を示す情報を特定結果出力部15へ出力する。
[異常領域推定装置の動作]
以下、異常領域推定装置1fの動作の一例について説明する。図16は、第6実施形態による異常領域推定装置1aの動作を示すフローチャートである。
まず、不規則領域サイズ入力部10は、不規則領域サイズの入力を受け付ける(ステップS601)。不規則領域サイズ入力部10は、入力された不規則領域サイズを符号化パラメータ決定部11へ出力する。
次に、符号化パラメータ決定部11は、入力された不規則領域サイズに応じて、各符号化サイズを決定する(ステップS602)。符号化パラメータ決定部11は、決定された各符号化サイズを符号化部13へ出力する。
次に、画像入力部12は、対象画像の入力を受け付ける。画像入力部12は、入力された対象画像を符号化部13へ出力する。また、参照画像入力部20は、参照画像の入力を受け付ける。参照画像入力部20は、入力された参照画像を符号化部13へ出力する(ステップS603)。
次に、符号化部13は、符号化パラメータ決定部11から入力された符号化サイズで、画像入力部12から入力された対象画像および参照画像入力部20から入力された参照画像に対して、それぞれイントラ符号化を行う(ステップS604)。符号化部13は、イントラ符号化されたデータを特異点特定部21へ出力する。
次に、特異点特定部21は、対象画像に基づくイントラ符号化されたデータに含まれるCUの1つを対象CUとして選択する。特異点特定部21は、選択された対象CUのイントラ予測モードが0または1のいずれかであるか否かを確認する(ステップS605)。
選択された対象CUのイントラ予測モードが0または1のいずれでもない場合(ステップS605、YES)、特異点特定部21は、対象CUのイントラ予測モードを角度Dtに変換する(ステップS606)。また、特異点特定部21は、参照画像において対象CUと同位置にあるCU(以下、「参照CU」という)のイントラ予測モードを角度Drに変換する。なお、変換値は、図14に示したようにarctanによって表される。例えばイントラ予測モードが2である場合は、arctan(−1)である。
次に、特異点特定部21は、対象CUの角度Dtと参照CUの角度Drとを比較し、その差が閾値Dth以上であるか否かを確認する(ステップS608)。対象CUと参照CUとの角度の差が閾値Dth以上である場合(ステップS608・YES)、特異点特定部21は、選択された対象CUは特異点であると特定する(ステップS609)。また、対象CUと参照CUとの角度の差が閾値Dth未満である場合(ステップS608・NO)、特異点特定部21は、選択された対象CUは特異点ではないと特定する(ステップS610)。
すなわち、特異点特定部21は、以下の式(1)が満たされた場合に、選択された対象CUは特異点であると特定し、以下の式(1)が満たされなかった場合に、選択された対象CUは特異点ではないと特定する。
min(|Dt−Dr|,180−|Dt−Dr|)≧Dth ・・・(1)
また、選択された対象CUのイントラ予測モードが0または1のいずかである場合(ステップS605、NO)、特異点特定部21は、対象CUのイントラ予測モードと参照CUのイントラ予測モードとを比較し、一致するか否かを確認する(ステップS607)。
対象CUのイントラ予測モードと参照CUのイントラ予測モードとが一致する場合(ステップS607・YES)、特異点特定部21は、選択された対象CUは特異点ではないと特定する(ステップS610)。また、対象CUのイントラ予測モードと参照CUのイントラ予測モードとが一致しない場合(ステップS607・NO)、特異点特定部21は、選択された対象CUは特異点であると特定する(ステップS609)。
次に、特異点特定部21は、対象画像に基づくイントラ符号化されたデータに含まれる全てのCUについて特異点の特定を完了した場合(ステップ611、YES)、CUごとの特定結果を集約する(ステップS612)。また、特異点特定部21は、イントラ符号化されたデータに含まれるCUのうち少なくとも1つのCUについて特異点の特定を完了していない場合(ステップ612、NO)、特異点の特定を完了していないCUの1つを対象CUとして選択し、イントラ予測モードが0または1のいずれかであるか否かを確認して(ステップS605)、上記と同様の処理を実行する。
次に、特異点特定部21は、集約された特定結果を特定結果出力部15へ出力する。
次に、特定結果出力部15は、入力された特定結果を外部の装置へ出力する(ステップS613)。
以上で、図16に示すフローチャートの処理が終了する。
以上説明したように、本発明の実施形態に係る異常領域推定装置は、外観に規則性を有する被写体(例えば、太陽光パネル)を撮影した対象画像(画像)がイントラ符号化された情報であるイントラ予測モード(イントラ符号化情報)から、被写体における異常を有する領域を推定する。本発明の実施形態に係る異常領域推定装置は、CU(対象画像が分割された領域)に係るイントラ予測モードであるCUごとのイントラ予測モードを取得する符号化部(分割符号化情報取得部)を有する。また、本発明の実施形態に係る異常領域推定装置は、対象画像の対象CU(所望の領域)に係るイントラ予測モードと、周囲CU(所望の領域を除く領域)に係るイントラ予測モードとの規則性に基づいて、対象CUが異常を有する領域であるか否かを推定する不規則領域特定部(異常推定部)を有する。
以上の構成によって、1枚の対象画像から、被写体における異常を有する領域が推定される。また、以上の構成によって、サーモ画像の入力は必要とされないため、例えば、表面の温度変化があまり生じない草木等によって太陽光パネルが覆われることによって生じる異常等の、温度変化を伴わない異常を有する領域も特定される。
これにより、本発明の実施形態に係る異常領域推定装置は、被写体の異常領域を画像から精度よく推定することができる。
なお、上述した実施形態における異常領域推定装置の一部または全部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
なお、ここでいう「コンピュータシステム」とは、異常領域推定装置に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における異常領域推定装置の一部または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。異常領域推定装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1a〜1f…異常領域推定装置、10不規則領域サイズ入力部、11…符号化パラメータ決定部、12…画像入力部、13…符号化部、14…不規則領域特定部、15…特定結果出力部、16…規則性被写体領域入力部、17…周辺領域決定部、18…規則性領域特性入力部、19…イントラ予測モード決定部、20…参照画像入力部、21…特異点特定部

Claims (6)

  1. 外観に規則性を有する被写体を撮影した画像がイントラ符号化された情報であるイントラ符号化情報から、前記被写体における異常を有する領域を推定する異常領域推定装置であって、
    前記画像が分割された領域に係るイントラ符号化情報であるイントラ予測モードを取得する分割符号化情報取得部と、
    前記画像の所望の領域に係るイントラ予測モードと、前記所望の領域の近傍に位置する周辺領域である前記所望の領域を除く領域に係るイントラ予測モードとの比較結果に基づいて、前記所望の領域が異常を有するか否かを推定する異常推定部と、
    を有し、
    前記異常推定部は、前記所望の領域に係るイントラ予測モードが、どの方向の前記所望の領域を除く領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータであり、かつ、前記所望の領域を除く領域に係るイントラ予測モードが、どの方向の前記周辺領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータではない場合、前記所望の領域に異常があると推定する
    異常領域推定装置。
  2. 前記被写体の形状および前記被写体の大きさのうち少なくとも一方を示す情報の入力を受け付ける被写体領域入力部、
    を備え、
    前記所望の領域を除く領域は、前記被写体領域入力部へ入力された情報に基づく前記被写体の形状および前記被写体の大きさのうち少なくとも一方に対応する領域である場合がある
    請求項に記載の異常領域推定装置。
  3. 前記異常推定部は、第1のイントラ予測モードが示す第1の方向と前記第1のイントラ予測モードとは異なる第2のイントラ予測モードが示す第2の方向とが正反対の方向を指す場合、または、前記第1の方向と前記第2の方向との間の角度が所定の角度以内である場合、前記第1のイントラ予測モードと前記第2のイントラ予測モードを1つのイントラ予測モードとしてみなして推定する
    請求項に記載の異常領域推定装置。
  4. 前記画像をイントラ符号化し、前記イントラ符号化情報を取得するイントラ符号化部、
    を備え、
    前記イントラ符号化部は、第1のイントラ予測モードが示す第1の方向と前記第1のイントラ予測モードとは異なる第2のイントラ予測モードが示す第2の方向の間の角度が所定の角度以内である場合、前記異常推定部による前記第2のイントラ予測モードの使用を制限する
    請求項に記載の異常領域推定装置。
  5. 外観に規則性を有する被写体を撮影した画像がイントラ符号化された情報であるイントラ符号化情報から、前記被写体における異常を有する領域を推定する異常領域推定装置による異常領域推定方法であって、
    前記画像が分割された領域に係るイントラ符号化情報であるイントラ予測モードを取得する分割符号化情報取得ステップと、
    前記画像の所望の領域に係るイントラ予測モードと、前記所望の領域の近傍に位置する周辺領域である前記所望の領域を除く領域に係るイントラ予測モードとの比較結果に基づいて、前記所望の領域が異常を有するか否かを推定する第1異常推定ステップと、
    前記所望の領域に係るイントラ予測モードが、どの方向の前記所望の領域を除く領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータであり、かつ、前記所望の領域を除く領域に係るイントラ予測モードが、どの方向の前記周辺領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータではない場合、前記所望の領域に異常があると推定する第2異常推定ステップと、
    を有する異常領域推定方法。
  6. 外観に規則性を有する被写体を撮影した画像がイントラ符号化された情報であるイントラ符号化情報から、前記被写体における異常を有する領域を推定する異常領域推定装置のコンピュータに、
    前記画像が分割された領域に係るイントラ符号化情報であるイントラ予測モードを取得する分割符号化情報取得ステップと、
    前記画像の所望の領域に係るイントラ予測モードと、前記所望の領域の近傍に位置する周辺領域である前記所望の領域を除く領域に係るイントラ予測モードとの比較結果に基づいて、前記所望の領域が異常を有するか否かを推定する第1異常推定ステップと、
    前記所望の領域に係るイントラ予測モードが、どの方向の前記所望の領域を除く領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータであり、かつ、前記所望の領域を除く領域に係るイントラ予測モードが、どの方向の前記周辺領域に係るイントラ予測モードにも似ていない場合に選択されるパラメータではない場合、前記所望の領域に異常があると推定する第2異常推定ステップと、
    を実行させるための異常領域推定プログラム。
JP2017248357A 2017-12-25 2017-12-25 異常領域推定装置、異常領域推定方法および異常領域推定プログラム Active JP6829185B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017248357A JP6829185B2 (ja) 2017-12-25 2017-12-25 異常領域推定装置、異常領域推定方法および異常領域推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017248357A JP6829185B2 (ja) 2017-12-25 2017-12-25 異常領域推定装置、異常領域推定方法および異常領域推定プログラム

Publications (2)

Publication Number Publication Date
JP2019114139A JP2019114139A (ja) 2019-07-11
JP6829185B2 true JP6829185B2 (ja) 2021-02-10

Family

ID=67221578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017248357A Active JP6829185B2 (ja) 2017-12-25 2017-12-25 異常領域推定装置、異常領域推定方法および異常領域推定プログラム

Country Status (1)

Country Link
JP (1) JP6829185B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007125778A1 (ja) * 2006-04-28 2007-11-08 Sharp Kabushiki Kaisha 太陽電池モジュール評価装置、太陽電池モジュール評価方法、および太陽電池モジュール製造方法
WO2017104699A1 (ja) * 2015-12-15 2017-06-22 日本電信電話株式会社 画像差異検出装置、画像差異検出方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2019114139A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
JP6871149B2 (ja) プライバシーマスクを含む画像を符号化する方法
EP2873058B1 (en) Methods and systems for suppressing noise in images
CN102891966B (zh) 数码成像设备的对焦方法及装置
US9965835B2 (en) Defogging images and video
CN102538980A (zh) 热像装置和热像拍摄方法
US20150178937A1 (en) Method, system and apparatus for updating a scene model
Alonso et al. Short and medium-term cloudiness forecasting using remote sensing techniques and sky camera imagery
JP6726060B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
CN103063314A (zh) 热像装置和热像拍摄方法
CN106897653B (zh) 基于红外和可见光视频融合的林区烟火检测方法及其检测系统
CN104637068B (zh) 视频帧及视频画面遮挡检测方法及装置
CN105141838A (zh) 去马赛克方法以及使用该方法的装置
US20140056519A1 (en) Method, apparatus and system for segmenting an image in an image sequence
CN109587392B (zh) 监控设备的调整方法及装置、存储介质、电子装置
CN111539892A (zh) Bayer图像的处理方法、系统、电子设备和存储介质
JP6864727B2 (ja) 画像差異検出装置、画像差異検出方法及びコンピュータプログラム
JP6829185B2 (ja) 異常領域推定装置、異常領域推定方法および異常領域推定プログラム
CN112665149B (zh) 一种空调器控制方法、装置、空调器及存储介质
KR101041136B1 (ko) 열영상 처리 방법
JP6951639B2 (ja) 画像解析装置、画像解析方法及び画像解析プログラム
RU2562414C1 (ru) Способ быстрого выбора режима пространственного предсказания в системе кодирования hevc
CN109636822A (zh) 一种基于新构建隶属度函数的改进Canny自适应边缘提取方法
CN115830106B (zh) 一种用于机房设备带电清洗的辅助定位方法
Brzeszcz et al. Real‐time construction and visualisation of drift‐free video mosaics from unconstrained camera motion
KR102107137B1 (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210121

R150 Certificate of patent or registration of utility model

Ref document number: 6829185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150