JP6386670B2

JP6386670B2 - 画像処理装置

Info

Publication number: JP6386670B2
Application number: JP2017524193A
Authority: JP
Inventors: 将俊奥平; 忠和角戸
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2015-06-17
Filing date: 2015-06-17
Publication date: 2018-09-05
Anticipated expiration: 2035-06-17
Also published as: WO2016203562A1; JPWO2016203562A1

Description

本開示は画像処理装置に関し、例えば陽炎による画像劣化を抑える画像処理に適用することができる。

昨今のカメラには画質を改善するための様々な画像処理技術が導入されている。例えば、特開２０１４−２０６７７２号公報には、静止領域と移動物体をともに含む画像全体の陽炎を低減することができる画像処理装置が記載されている。ここで、陽炎は、局所的に密度の異なる大気が混ざり合うことにより光が屈折して起こる自然現象である。

特開２０１４−２０６７７２号公報

気温が高い日に、望遠レンズで道路のアスファルト上や自動車の屋根部分を撮影したときに陽炎が観察されやすい。陽炎が発生すると、被写体が変形して観測されるため、撮影した陽炎映像を再生すると、画像内の特定領域が大きく揺らいで見える。そのため、被写体の視認性が大きく低下する。

本開示の課題は、移動領域の陽炎による画質劣化を改善する画像処理技術を提供することにある。

本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
すなわち、画像処理装置は、逐次入力される時系列入力画像から時間平滑画像を生成する時間平滑画像生成部と、前記時間平滑画像および前記時系列入力画像から局所領域の類似度を計算する類似度算出部と、前記類似度から、当該局所領域が静止領域か移動領域かを判断し、移動領域と判断した場合に移動領域時間平滑画像を生成する移動領域時間平滑画像生成部と、前記時間平滑画像および前記移動領域時間平滑画像から補正画像を生成する補正画像生成部と、を備える。

本開示の画像処理装置によれば、移動領域の陽炎による画質劣化を改善することができる。

比較例に係る画像処理を説明するための図。実施形態に係る画像処理を説明するための図。実施形態に係る画像処理を説明するための図。実施例に係る画像処理装置の構成を説明するためのブロック図。図２の陽炎補正部の機能を説明するためのブロック図。図３の時間平滑画像生成部の機能を説明するためのブロック図。図３の類似度計算部の機能を説明するためのブロック図。図３の移動領域時間平滑画像生成部の機能を説明するためのブロック図。図３の補正画像生成部の機能を説明するためのブロック図。図３の陽炎補正部の処理を説明するためのフロー図。

以下、実施形態および実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。

まず、本願発明者らが本願発明に先立って検討した技術（以下、比較例という。）について説明する。

図1Ａは比較例に係る画像処理を説明するための図である。比較例に係る画像処理では、まず過去、現在、未来の複数の入力画像を合成し時間平滑化画像１２を作成する。次に、補正対象画像１１と時間平滑化画像１２それぞれの局所領域ｈ１１、ｈ１２、ｈ２１、ｈ２２における階調分布（ヒストグラム）を比較し、その類似度から当該局所領域が移動領域か、そうでないかを判別する。ここで、補正対象画像とは、補正対象の入力画像である。補正対象画像１１の局所領域ｈ１１と時間平滑画像１２の局所領域ｈ２１とは建物の一部の画像であるので、局所領域ｈ１１と局所領域ｈ２１の階調分布を比較すると、階調分布の差分は小さく静止領域と判別される。補正対象画像１１の局所領域ｈ１２と時間平滑画像１２の局所領域ｈ２２とは自動車の一部の画像であるので、局所領域ｈ１２と局所領域ｈ２２の階調分布を比較すると、階調分布の差分は大きく移動領域と判別される。その後、類似度の値によって補正結果画像１３として合成される入力画像と時間平滑化画像１２の割合を調整し、類似度が低ければ補正対象画像（入力画像）を、高ければ時間平滑画像１２を使うことで時系列の入力画像に移動領域が含まれていた場合でも、移動領域が２重像にならないよう処理を行う。

しかし、比較例に係る画像処理によれば補正対象画像１１の局所領域に移動領域が含まれる場合、階調分布の比較から得られる類似度が低くなり、その結果補正結果画像１３に合成される入力画像の割合が増大する。つまり、補正対象画像１１の局所領域が移動領域であった場合、補正結果の画像が入力画像に近い画像となるため陽炎の影響に対する補正効果は期待できない。

次に実施形態に係る画像処理について説明する。図１Ｂおよび図１Ｃは実施形態に係る画像処理を説明するための図である。

図１Ｂに示すように、実施形態に係る画像処理は、比較例と同様に入力画像を時系列に足し込んで平滑化した時間平滑画像１２を生成し、補正対象画像１１の局所領域ｈ１１、ｈ１２と時間平滑画像間１２の局所領域ｈ２１、ｈ２２における類似度を階調分布比較から求める。この時、補正対象画像１１の時間平滑画像１２に対する類似度が高い（階調分布比較の差分が小さい）領域は静止領域、類似度が低い（階調分布比較の差分が大きい）領域は移動物体が含まれている可能性が高いため移動領域と判定する。

図１Ｃに示すように、実施形態に係る画像処理は、移動領域と判定された領域については、補正対象画像に対する階調分布比較対象を時系列の入力画像１１＿１、１１＿２、１１＿３に切り替え、かつ画像全体を走査するように順次類似度計算を実施する。なお、処理量削減のため画像全体ではなく対象範囲を制限して（設定して）類似度計算を実施しても良い。その後、補正対象画像１１の局所領域ｈ１２との類似度が最も高いそれぞれの入力画像１１＿１の局所領域ｈ３２、入力画像１１＿２の局所領域ｈ４２、入力画像１１＿３の局所領域ｈ５２から時間平滑移動領域画像１４を作成し、これを移動領域の補正結果とする。最後に、図１Ｂに示すように、時間平滑画像１２に含まれる移動領域に対して移動領域時間平滑画像１４を上書きしたものを補正画像１３とする。陽炎の影響で被写体が変形する際の変位量は、統計的にはガウス分布に従うという性質を有していると考えられるため、過去および未来の複数の画像を用いて画素を平滑化することにより、被写体本来の形状に近い画像を取得することができる。この処理により、移動領域に対しても陽炎を補正することができるようになる。

以下、本実施形態に係る画像処理の実施例について説明する。

図２は実施例に係る画像処理装置の構成を示すブロック図である。実施例に係る画像処理装置は、本実施形態を望遠カメラ監視システムに適用した例である。望遠カメラ監視システム１は望遠カメラ２と映像モニタ３とを備える。望遠カメラ２はレンズを有する撮像部２１と陽炎補正部２２を備える。映像モニタ３は画像表示部３１を備える。撮像部２１は被写体から発する光を受光し、受光した光学画像を画像データ（映像）に変換し、時系列の画像として出力する。陽炎補正部２２は撮像部２１から入力された映像の陽炎を補正し、補正画像を画像表示部３１に出力する。画像表示部３１は陽炎補正部２２が出力する補正画像を液晶ディスプレイ等のモニタに表示する。望遠カメラ監視システム１においては、少なくとも所定時間、撮像対象に対しカメラの向きを固定する。すなわち、撮像部２１から出力された画像は、少なくとも所定時間、同じ位置の画像である。

図３は図２の陽炎補正部の機能を示すブロック図である。陽炎補正部２２は時系列入力画像保持部２２１、時間平滑画像生成部２２２、類似度算出部２２３、移動領域時間平滑画像生成部２２４および補正画像生成部２２５を備える。時系列入力画像保持部２２１は撮像部２１から逐次入力される入力画像（ＩＮ）を時系列に保持し、類似度算出部２２３および移動領域時間平滑画像生成部２２４に供給する。時間平滑画像生成部２２２は撮像部２１から入力される時系列の入力画像（ＩＮ）を足し込んで時間平滑画像１２を生成する。平滑化の手法は様々知られているが、例えば指数移動平均、加重移動平均、単純移動平均等を適用することができる。時間平滑画像生成部２２２で生成された時間平滑画像（ＡＶ）１２と撮像部２１からの補正対象画像１１、時系列入力画像保持部２２１が保持する時系列の入力画像（ＴＩＮ）は類似度算出部２２３に入力され、類似度算出部２２３は補正対象画像（ＣＴ）１１と時間平滑画像（ＡＶ）１２、補正対象画像（ＣＴ）１１と時系列の入力画像（ＴＩＮ）１０＿ｎそれぞれとの間で類似度を計算する。移動領域時間平滑画像生成部２２４は類似度算出部２２３から類似度を取得し、移動領域の判定およびその領域に対する移動領域時間平滑画像（ＭＡＶ）１４を生成する。補正画像生成部２２５は、時間平滑画像生成部２２２から出力された時間平滑画像（ＡＶ）１２に含まれる移動領域のみ、移動領域時間平滑画像（ＭＡＶ）１４で上書きし、補正画像（ＣＯ）１３を生成する。言い換えると、時間平滑画像（ＡＶ）１２に移動領域が含まれていない場合は、補正画像（ＣＯ）１３は時間平滑画像（ＡＶ）１２となる。

以下、陽炎補正部２２内の各機能ブロックについて詳細を説明する。

図４は図３の時間平滑画像生成部の機能を示すブロック図である。時間平滑画像生成部２２２は、時間平滑画像保持部２２２１と、乗算器２２２２，２２２３と、加算器２２２４と、を備える。時間平滑画像生成部２２２では、撮像部２１から逐次入力される時系列の入力画像を指数移動平均により平滑化することで、陽炎による揺らぎを取り除いた画像を生成する。具体的には、下記式（１）に示すように、ある時刻（ｎ番目）の入力画像（ＩＮ_ｎ）は、乗算器２２２２でｒ倍され、一方、時間平滑画像保持部２２２１で保持されている時系列順で１つ前（ｎ−１番目）の時間平滑画像（ＡＶ_{（ｎ−１）}）が乗算器２２２３で（１−ｒ）倍され、これらの出力が加算器２２２４で加算される。そして、加算器２２２４の出力は新たな（ｎ番目の）時間平滑画像（ＡＶ_ｎ）として後段に出力されるとともに、時間平滑画像保持部２２２１の画像を更新する。

図５は図３の類似度算出部の機能を示すブロック図である。類似度算出部２２３は、時間平滑画像保持部２２３１と、入力画像保持部２２３２と、階調分布計算部２２３３と、類似度計算部２２３４と、を備える。時間平滑画像保持部２２３１は時間平滑画像生成部２２２から出力される時間平滑画像（ＡＶ）１２を保持し、入力画像保持部２２３２は撮像部２１から逐次入力される時系列入力画像を補正対象画像（ＣＴ）１１として保持する。階調分布計算部２２３３は入力画像保持部２２３２に保持されている補正対象画像（ＣＴ）１１、時間平滑画像保持部２２３１に保持されている時間平滑画像（ＡＶ）１２および時系列入力画像保持部２２１から入力される複数枚の時系列入力画像（ＴＩＮ）をＮ×Ｎ画素単位の局所領域に分割し、それぞれの局所領域に対して階調分布計算を行う。類似度算出部２２３の類似度評価には、例えば、類似度計算部２２３４で各画素におけるＲＧＢ色相空間における３原色ＲＧＢ成分毎にBhattacharyya距離を利用して階調分布間の距離（Ｂ３２（ｃ））を式（２）より求め、ＲＧＢそれぞれの階調分布間距離から式（３）より類似度（Ｒ）を求めて、類似度（Ｒ）を用いる。類似度（Ｒ）は諧調分布間の距離に相当するので、Ｒの値が小さいほど類似度が高いことになる。式（２）におけるｃは、ｒ（Ｒ：赤）、ｇ（Ｇ：緑）、ｂ（Ｂ：緑）のどれかを表す。

ＨＡ（I）：階調分布Ａにおける階調値Iの度数
ＨＢ（I）：階調分布Ｂにおける階調値Iの度数
ＨＳＵＭ：階調分布のビンの総数（諧調数）

類似度計算部２２３４は補正対象画像（ＣＴ）１１と時間平滑画像（ＡＶ）１２との類似度および補正対象画像（ＣＴ）１１と時系列入力画像（ＴＩＮ）との類似度を求める。

図６は図３の移動領域時間平滑画像生成部の機能を示すブロック図である。移動領域時間平滑画像生成部２２４は、移動領域時間平滑画像保持部２２４１と、乗算器２２４２、２２４３と、加算器２２４４と、類似度保持部２２４５と、読み出し領域判定部２２４６と、を備える。移動領域時間平滑画像生成部２２４では、読み出し領域判定部２２４６が、類似度保持部２２４５が保持している補正対象画像（ＣＴ）１１と時間平滑画像（ＡＶ）１２間の類似度から移動領域を判定し、同じく類似度保持部２２４５が保持している補正対象画像（ＣＴ）１１と時系列入力画像（ＴＩＮ）間の類似度から補正対象画像（ＣＴ）１１の移動領域が時間の異なる画像内に存在する空間位置を判定し、移動領域時間平滑画像（ＭＡＶ）１４の生成に使う移動領域画像（ＭＲ）を時系列入力画像保持部２２１に指示する。移動領域時間平滑画像保持部２２４１は読み出し領域判定部２２４６からの読み出し領域指示（ＡＲ）により指示された移動領域画像（ＭＲ）を時間平滑画像生成部２２２と同様の指数移動平均により、陽炎による揺らぎを取り除いた画像を生成する。具体的には、上記式（１）と同様に、ある時刻（ｎ番目）の移動領域画像（ＭＲ_ｎ）は、乗算器２２４２でｒ倍され、一方、移動領域時間平滑画像保持部２２４１で保持されている時系列順で１つ前（ｎ−１番目）の移動領域時間平滑画像（ＭＡＶ_{（ｎ−１）}）が乗算器２２４３で（１−ｒ）倍され、これらの出力が加算器２２４４で加算される。そして、加算器２２４４の出力は新たな（ｎ番目の）時間平滑画像（ＭＡＶ_ｎ）として後段に出力されるとともに、時間平滑画像保持部２２４１の画像を更新する。

図７は図３の補正画像生成部の機能を示すブロック図である。補正画像生成部２２５は平滑画像合成部２２５１と補正画像保持部２２５２とを備える。平滑画像合成部２２５１は時間平滑画像生成部２２２から出力される時間平滑画像（ＡＶ）１２に含まれる移動領域のみ、移動領域時間平滑画像生成部２２４から出力される移動領域時間平滑画像（ＭＡＶ）１４で上書きし、補正画像を生成する。これを補正画像（ＣＯ）として補正画像保持部２２５２に保持する。

図８は図３の陽炎補正部の処理フローチャートである。陽炎補正部２２の動作処理をまとめると以下のとおりである。

ステップＳ１：時間平滑画像生成部２２２は撮像部２１から逐次入力される入力画像（ＩＮ）から時間平滑画像を生成する。

ステップＳ２：類似度算出部２２３の階調分布計算部２２３３は、補正対象画像（ＣＴ）１１、時系列入力画像（ＴＩＮ）および時間平滑画像１２のそれぞれの局所領域に対する階調分布計算を行う。

ステップＳ３：類似度算出部２２３の類似度計算部２２３４は、補正対象画像（ＣＴ）１１と時間平滑画像（ＡＶ）１２との間の類似度（Ｒ）を計算し、補正対象画像（ＣＴ）１１と時系列入力画像（ＴＩＮ）との間の類似度（Ｒ）を計算する。

ステップＳ４：補正対象画像（ＣＴ）１１の時間平滑画像（ＡＶ）１２に対する類似度（Ｒ）が低いかどうか判定する。ＹＥＳの場合はステップＳ５に移る。ＮＯの場合はステップＳ７に移る。

ステップＳ５：移動領域時間平滑画像生成部２２４は移動領域時間平滑画像（ＭＡＶ）を生成する。

ステップＳ６：補正画像生成部２２５の平滑画像合成部２２５１は時間平滑画像（ＡＶ）１２の移動領域に移動領域時間平滑画像（ＭＡＶ）を上書きして補正画像（ＣＯ）とする
ステップＳ７：補正画像生成部２２５の平滑画像合成部２２５１は時間平滑画像（ＡＶ）１２を補正画像（ＣＯ）とする。

ステップＳ８：最後の画像かどうかを判定する。ＹＥＳの場合は処理を終了し、ＮＯの場合はステップＳ１に戻る。

上記実施例の各構成、機能等は、それらの一部や全部を、例えば半導体集積回路等によりハードウェアで実現してもよい。また、上記実施例の各構成、機能等は、ＣＰＵ等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

本実施例によれば、補正対象画像１１の局所領域が静止領域である場合、時間平滑画像１２を用い、補正対象画像１１の局所領域が移動領域である場合、比較例と異なり補正結果の画像に入力画像を用いず、移動領域時間平滑画像１４を用いるため、移動領域に対する陽炎の補正を静止領域に対する陽炎の補正と同程度に行うことができる。

以上、本発明者によってなされた発明を実施形態および実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

補正対象画像の移動領域に対して時間の異なる時系列入力画像での同一画像領域取得の精度を向上させるため、補助的に動きベクトルやＳＡＤ（差分絶対値和）等を用いたＢＭ（ブロックマッチング）を使用しても良い。

実施例では、陽炎補正部を望遠カメラに設けているが、映像モニタに設けるようにしてもよい。

１・・・望遠カメラ監視システム
２・・・望遠カメラ
２１・・・撮像部
２２・・・陽炎補正部
２２１・・・時系列入力画像保持部
２２２・・・時間平滑画像生成部
２２２１・・・時間平滑画像保持部
２２２２・・・乗算器
２２２３・・・乗算器
２２２４・・・加算器
２２３・・・類似度算出部
２２３１・・・時間平滑画像保持部
２２３２・・・入力画像保持部
２２３３・・・階調分布計算部
２２３４・・・類似度計算部
２２４・・・移動領域時間平滑画像生成部
２２４１・・・移動領域時間平滑画像保持部
２２４２・・・乗算器
２２４３・・・乗算器
２２４４・・・加算器
２２４５・・・類似度保持部
２２４６・・・読み出し領域判定部
２２５・・・補正画像生成部
２２５１・・・平滑画像合成部
２２５２・・・補正画像保持部
３・・・映像モニタ
３１・・・画像表示部

Claims

逐次入力される時系列入力画像から時間平滑画像を生成する時間平滑画像生成部と、
前記時間平滑画像および前記時系列入力画像から局所領域の類似度を計算する類似度算出部と、
前記類似度から当該局所領域が静止領域か移動領域かを判断し、移動領域と判断した場合に移動領域時間平滑画像を生成する移動領域時間平滑画像生成部と、
前記時間平滑画像および前記移動領域時間平滑画像から補正画像を生成する補正画像生成部とを備え
前記補正画像生成部は、時間平滑画像に含まれる移動領域に対して移動領域時間平滑画像を上書きし、補正画像を生成することを特徴とする画像処理装置。
請求項１において、
前記時間平滑画像生成部は、指数移動平均、加重移動平均または単純移動平均を用いて動きのない時間平滑画像を生成する画像処理装置。
請求項１において、
前記類似度算出部は、階調分布(ヒストグラム)を用いた類似度評価を行う画像処理装置。
請求項１において、
前記類似度算出部は、補正対象画像に対する類似度評価を複数枚の時系列入力画像および時間平滑画像との間で計算する画像処理装置。
請求項１において、
前記類似度算出部は、時系列入力画像内における移動領域の移動範囲に基づいて類似度計算範囲を設定する画像処理装置。
請求項１において、
前記移動領域時間平滑画像生成部は、補正対象画像と時間平滑画像の類似度評価結果から移動領域と判断した場合、補正対象画像と時系列入力画像間の類似度から補正対象画像の移動領域が時間の異なる画像内に存在する空間位置を判定し、それらの画像から移動領域時間平滑画像を生成する画像処理装置。
請求項１において、
さらに、撮像部を備え、前記時系列入力画像は撮像部から入力される画像処理装置。
画像処理装置における画像処理方法であって、
逐次入力される時系列入力画像から時間平滑画像を生成する時間平滑画像生成手段と、
前記時間平滑画像および前記時系列入力画像から局所領域の類似度を計算する類似度算出手段と、
前記類似度から当該局所領域が静止領域か移動領域かを判断し、移動領域と判断した場合に移動領域時間平滑画像を生成する移動領域時間平滑画像生成手段と、
前記時間平滑画像および前記移動領域時間平滑画像から補正画像を生成する補正画像生成手段とを備え
前記補正画像生成手段は、時間平滑画像に含まれる移動領域に対して移動領域時間平滑画像を上書きし、補正画像を生成することを特徴とする画像処理装置の画像処理方法。