JP7278234B2

JP7278234B2 - 画像処理装置

Info

Publication number: JP7278234B2
Application number: JP2020057835A
Authority: JP
Inventors: 将敬鈴木; 善隆豊田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2023-05-19
Anticipated expiration: 2040-03-27
Also published as: JP2021157566A

Description

本開示は、マルチスペクトル画像に生じる色縞を抑制する技術に関する。

マルチスペクトル画像においてはしばしば、細い線の上で周期的な色の変化を伴う縞状の模様が確認される。この色の変化を伴う縞状の模様を、以下色縞と呼ぶ。色縞の発生は、ディジタル化された画像信号中に現れる固有の課題である。色縞は、撮像装置の空間周波数特性とマルチバンド間のサンプリング位置のずれの特性とによって生じる。マルチバンドにおけるバンドは、例えばＲＥＤバンド・ＧＲＥＥＮバンド・ＢＬＵＥバンドである。サンプリング位置のずれは、２次元センサにおいては画素の配置、１次元センサにおいては視線のずれ等で生じる。

色縞を抑制する一般的な方法は、ハードウェア的にあるいはソフトウェア的に画像を平滑化することである。しかし、当然ながら平滑化を行なえばマルチスペクトル画像の先鋭さ及び彩度が低下する。
特許文献１には、この対策について記載されている。特許文献１では、局所空間内の輝度差を閾値としてエッジが検出され、色差成分からエッジの色が判別され、エッジ上の偽色の有無が判別される。色差成分は、ＹＣＢＣＲの青色差成分ＣＢ及び赤色差成分ＣＲである。そして、エッジ方向に沿った平滑化処理が行われる。これにより、偽色の低減が図られている。

特開２００２－２６２２９９号公報

しかしながら、特許文献１に記載された手法では、エッジ領域以外においては画像の先鋭さが保たれるものの、エッジの先鋭さの低下は避けることができない。また、偽色の色はセンサの特性によって様々生じ得る。そのため、偽色の判定条件とする色（色差成分）の種類を増やせば、周囲との輝度差及び色差成分が大きい種々の対象を偽色とみなし、平滑化により対象の先鋭さ低下と彩度低下を招く恐れがある。周囲との輝度差及び色差成分が大きい種々の対象とは、例えば、緑色の葉が生い茂る樹木、又は、道路上の赤い車等である。
本開示は、平滑化による色縞の補正効果を得つつ、エッジの先鋭さを保つことが可能な画像処理を実現可能にすることを目的とする。

本開示に係る画像処理装置は、
マルチスペクトル画像データである入力画像を輝度成分の輝度成分画像と色成分の色成分画像とに分離する分離部と、
前記分離部によって分離されて得られた前記色成分画像に対して平滑化処理を行い平滑化色成分画像を生成する平滑化処理部と、
前記色成分画像の色相画像と、前記平滑化処理部によって生成された前記平滑化色成分画像の色相画像とについて局所空間におけるばらつきを示す評価指標を計算するばらつき計算部と、
前記ばらつき計算部によって計算された前記色成分画像の色相画像についての評価指標と、前記平滑化色成分画像の色相画像についての評価指標との差分に応じて、前記入力画像の領域毎に前記色成分画像と前記平滑化色成分画像との一方を選択して結合することにより、補正後色成分画像を生成する結合部と、
前記結合部によって生成された前記補正後色成分画像と、前記輝度成分画像とを合成して、合成画像データを生成する合成部とを備える。

本開示では、色成分画像についてのみ平滑化を行い、輝度成分画像については平滑化を行わない。これにより、色成分画像について平滑化を行うことにより色縞が補正されるが、輝度成分画像に平滑化を行わないためエッジの先鋭さは保たれる。

実施の形態１に係る画像処理装置１０の構成図。実施の形態１に係る画像処理装置１０の機能構成要素の機能をソフトウェアによって実現する場合におけるハードウェア構成図。実施の形態１に係る画像処理装置１０の動作を示すフローチャート。実施の形態２に係る画像処理装置１０の構成図。実施の形態２に係る画像処理装置１０の動作を示すフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る画像処理装置１０の構成を説明する。
画像処理装置１０は、機能構成要素として、画像取得部１１と、分離部１２と、平滑化処理部１３と、色相計算部１４と、ばらつき計算部１５と、差分処理部１６と、領域判定部１７と、結合部１８と、合成部１９と、画像出力部２０とを備える。

画像処理装置１０の各機能構成要素の機能は、半導体集積回路によって実現される。各機能構成要素の機能は、それぞれ別々の半導体集積回路によって実現されてもよいし、複数の機能が１つの半導体集積回路によって実現されてもよい。
また、画像処理装置１０の各機能構成要素の機能は、半導体集積回路ではなく、ワンチップマイコン等によって実現されてもよい。

画像処理装置１０の各機能構成要素の機能は、ソフトウェアによって実現されてもよい。この場合には、図２に示すように、画像処理装置１０は、プロセッサ３１と、メモリ３２とを備えるコンピュータである。メモリ３２には、各機能構成要素の機能を実現するプログラムが記憶されている。このプログラムがプロセッサ３１によって読み込まれ、実行されることにより、各機能構成要素の機能が実現される。
なお、このプログラムは、メモリ３２ではなく、ＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカード及びＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）といった可搬記憶媒体に記憶されていてもよい。
図２では、プロセッサ３１及びメモリ３２は、１つだけ示された。しかし、複数のプロセッサ３１及び複数のメモリ３２によって、各機能構成要素の機能が実現されてもよい。

画像処理装置１０の各機能構成要素の機能は、一部が半導体集積回路又はワンチップマイコンといったハードウェアによって実現され、残りがソフトウェアによって実現されてもよい。
半導体集積回路とワンチップマイコンとプロセッサ３１とメモリ３２とを総称して、処理回路と呼ぶ。つまり、画像処理装置１０の各機能構成要素の機能は、処理回路によって実現される。

＊＊＊動作の説明＊＊＊
図３を参照して、実施の形態１に係る画像処理装置１０の動作を説明する。
実施の形態１に係る画像処理装置１０の動作手順は、実施の形態１に係る画像処理方法に相当する。また、実施の形態１に係る画像処理装置１０の動作を実現するプログラムは、実施の形態１に係る画像処理プログラムに相当する。

（ステップＳ１０１：画像取得処理）
画像取得部１１は、処理を施すマルチスペクトル画像データである入力画像を取得する。画像取得部１１は、入力画像を分離部１２に出力する。

（ステップＳ１０２：分離処理）
分離部１２は、ステップＳ１０１で出力された入力画像を、輝度成分の輝度成分画像ｆ_Ｌと、色成分の色成分画像ｆ_Ｃとに分離する。分離部１２は、輝度成分画像ｆ_Ｌを合成部１９に出力するとともに、色成分画像ｆ_Ｃを平滑化処理部１３と色相計算部１４と領域判定部１７とに出力する。

具体的には、分離部１２は、数１に示す画素ｆ_Ｌ（ｘ，ｙ）から構成される輝度成分画像ｆ_Ｌと、数２に示す画素ｆ_Ｃ（ｘ，ｙ）から構成される色成分画像ｆ_Ｃとに、入力画像Ｉを分離する。

ｘ，ｙは、それぞれ画像中の水平方向の位置及び垂直方向の位置を表す。輝度成分画像ｆ_Ｌは、バンドｂ（ｂ＝１，２，３，．．．ｎ、ｎはバンド数）に対応する各画像の和である。色成分画像ｆ_Ｃは、入力画像の各バンドに対応する画像を輝度成分画像ｆ_Ｌで除したものである。色成分画像上のある画素（ｘ，ｙ）の色成分ｆ_Ｃ（ｘ，ｙ）は、数２に示すように、バンド数ｎに等しい次元を持つベクトルとして表現される。ベクトルの各次元が、マルチスペクトル画像データの取得元のセンサであるマルチスペクトルセンサの各バンドに対応する。

（ステップＳ１０３：平滑化処理）
平滑化処理部１３は、ステップＳ１０２で出力された色成分画像ｆ_Ｃに対して平滑化処理を行い平滑化された色成分画像ｆ’_Ｃを生成する。平滑化処理部１３は、平滑化された色成分画像ｆ’_Ｃを色相計算部１４及び領域判定部１７に出力する。
具体的には、平滑化処理部１３は、色成分画像ｆ_Ｃの各バンドに対応するレイヤ毎に、平滑化処理を行う。つまり、平滑化処理部１３は、色成分画像ｆ_Ｃのベクトルの次元毎に平滑化処理を行う。ここで、平滑化処理部１３は、ベクトルの次元を跨いだ平滑化処理は行わず、あくまで各次元独立に平滑化処理を行う。平滑化処理としては、既存の方式を用いればよい。

（ステップＳ１０４：色相計算処理）
色相計算部１４は、ステップＳ１０２で出力された色成分画像ｆ_Ｃと、ステップＳ１０３で出力された平滑化された色成分画像ｆ’_Ｃとのそれぞれから色相画像を生成する。色相計算部１４は、色成分画像ｆ_Ｃから生成された色相画像ｆ_Ｈと、平滑化された色成分画像ｆ’_Ｃから生成された色相画像ｆ’_Ｈとをばらつき計算部１５に出力する。
具体的には、色相計算部１４は、色成分画像ｆ_Ｃ及び平滑化された色成分画像ｆ’_Ｃそれぞれを対象として、ベクトルとして表されている色成分から、スカラーで表される色相を計算して色相画像を生成する。色相は、青と赤と緑といった色の種類を表すが、色の鮮やかさである彩度の情報を含まないため、色成分と区別する。色成分画像は、明度を一定としたカラー画像であるため、色相と彩度との双方の情報を有する。例えば、色相計算部１４は、ＨＳＶ（ＨＵＥＳＡＴＵＲＡＴＩＯＮＶＡＬＵＥ）変換によって色成分画像から色相画像を生成することが可能である。

ＨＳＶ変換によって色相画像を生成する方法を説明する。
ここで、平滑化されていない色成分画像ｆ_Ｃ及び平滑化された色成分画像ｆ’_Ｃそれぞれを数３によって表す。

色相計算部１４は、色成分画像における各画素のｎ次元単位ベクトル表現をＨＳＶ表現へ変換することにより、色相画像を生成する。なお、色相画像は、空間的な色の変化の激しさであるばらつきを評価するためにだけに用いられる。そのため、Ｈｕｅ成分の値と色との対応が本来の定義式通りである必要はない。したがって、ＨＳＶ変換はＲＧＢカラー画像に適用されるものであるが、ここでは本来ＲＧＢの３色用に定義されたＨｕｅ成分の定義式を数４のように拡張し、ｎバンドのマルチスペクトル画像に対応させる。

数４において、ベクトルｆ_Ｃ（ｘ，ｙ）の各成分のうち、最大の要素がｍａｘであり、最小の要素がｍｉｎである。ｋ＝１のとき、Ｌ_ｋ－１＝Ｌ_ｎとする。ｋ＝ｎのとき、Ｌ_ｋ＋１＝Ｌ_１とする。

なお、色相計算部１４は、人の視感度と各バンドの波長感度特性とを考慮して、ｎバンドのマルチスペクトル画像をＲＧＢカラー画像に変換した画像データに、本来の定義通りのＨＳＶ変換を行うことにより、Ｈｕｅ成分を求めてもよい。

（ステップＳ１０５：ばらつき計算処理）
ばらつき計算部１５は、ステップＳ１０４で出力された色成分画像ｆ_ｃから生成された色相画像ｆ_Ｈ及び平滑化された色成分画像ｆ’_Ｃから生成された色相画像ｆ’_Ｈそれぞれを対象として、局所空間におけるばらつきを示す評価指標を計算する。これにより、ばらつき計算部１５は、色相画像ｆ_Ｈの各局所空間における評価指標を表す色相画像Ｈｕｅ_ｄｉｖと、色相画像ｆ’_Ｈの各局所空間における評価指標を表す色相画像Ｈｕｅ’_ｄｉｖを生成する。ばらつき計算部１５は、色相画像Ｈｕｅ_ｄｉｖ及び色相画像Ｈｕｅ’_ｄｉｖを差分処理部１６に出力する。
ここでは、ばらつき計算部１５は、評価指標として、標準偏差を用いる。但し、標準偏差に限らず、分散及び標準誤差といったばらつきを評価可能な指標であれば、評価指標として用いることが可能である。

具体的には、ばらつき計算部１５は、対象の色相画像を入力として、局所空間内の標準偏差を求めるフィルタ処理を行い、色相画像Ｈｕｅ_ｄｉｖ及び色相画像Ｈｕｅ’_ｄｉｖを生成する。フィルタ処理における局所空間を規定するボックスのサイズは任意である。ここでは、ボックスを、水平方向にＨ画素、垂直方向にＶ画素の矩形とする。
すると、フィルタ処理後の色相画像の各画素Ｈｕｅ_ｄｉｖ（ｘ，ｙ）の値は、数５によって計算される。そこで、ばらつき計算部１５は、数５を用いて、色相画像の各画素Ｈｕｅ_ｄｉｖ（ｘ，ｙ）の値を計算することにより、色相画像Ｈｕｅ_ｄｉｖ及び色相画像Ｈｕｅ’_ｄｉｖを生成する。

数５においてｍｅａｎ（Ｈｕｅ_ＨＶ）は数６に示す通りである。

（ステップＳ１０６：差分処理）
差分処理部１６は、ステップＳ１０５で出力された色相画像Ｈｕｅ_ｄｉｖと色相画像Ｈｕｅ’_ｄｉｖとの差分を計算することにより、平滑化処理の前後における色相画像の局所空間内ばらつきの差分を示す差分画像Ｓを生成する。差分処理部１６は、差分画像Ｓを領域判定部１７に出力する。
具体的には、差分処理部１６は、数７により、差分画像Ｓの各画素を計算して差分画像Ｓを生成する。

（ステップＳ１０７：領域判定処理）
領域判定部１７は、色相画像Ｈｕｅ_ｄｉｖについての評価指標と、色相画像Ｈｕｅ’_ｄｉｖについての評価指標との差分に応じて、入力画像の領域毎に、平滑化処理を行った画像データを採用するか否かを判定する。つまり、領域判定部１７は、ステップＳ１０６で出力された差分画像Ｓに基づき、入力画像の領域毎に色成分画像ｆ_Ｃと平滑化色成分画像ｆ’_Ｃとのどちらを採用するかを判定する。
実施の形態１では、領域判定部１７は、領域を１画素とする。そして、領域判定部１７は、入力画像の画素毎に、差分画像Ｓが示す差分が閾値σ以下の場合には、色成分画像ｆ_Ｃを採用し、差分画像Ｓが示す差分が閾値σより大きい場合には、平滑化色成分画像ｆ’_ｃを採用する。

（ステップＳ１０８：結合処理）
結合部１８は、入力画像の領域毎に、色成分画像ｆ_Ｃと平滑化色成分画像ｆ’_Ｃとのうち、ステップＳ１０７で採用された方のデータを選択して結合することにより、補正後色成分画像ｆ_{Ｃ，ｃｏｒｒｅｃｔ}を生成する。結合部１８は、補正後色成分画像ｆ_{Ｃ，ｃｏｒｒｅｃｔ}を合成部１９に出力する。
実施の形態１では、領域は１画素である。そのため、結合部１８は、入力画像の画素（ｘ，ｙ）毎に、色成分画像ｆ_Ｃと平滑化色成分画像ｆ’_Ｃとのうち、ステップＳ１０７で採用された方の画素を補正後色成分ｆ_{Ｃ，ｃｏｒｒｅｃｔ}（ｘ，ｙ）として選択する。そして、結合部１８は、選択された補正後色成分ｆ_{Ｃ，ｃｏｒｒｅｃｔ}（ｘ，ｙ）を結合して、補正後色成分画像ｆ_{Ｃ，ｃｏｒｒｅｃｔ}を生成する。

（ステップＳ１０９：合成処理）
合成部１９は、ステップＳ１０２で出力された輝度成分画像ｆ_Ｌと、ステップＳ１０８で出力された補正後色成分画像ｆ_{Ｃ，ｃｏｒｒｅｃｔ}とを合成して、合成画像データＩ’を生成する。合成画像データＩ’は、色縞が補正されたマルチスペクトル画像データである。合成部１９は、合成画像データＩ’を画像出力部２０に出力する。
具体的には、合成部１９は、数８により、合成画像データＩ’の各画素を計算することにより、合成画像データＩ’を生成する。

（ステップＳ１１０：画像出力処理）
画像出力部２０は、ステップＳ１０９で出力された合成画像データＩ’を、色縞の補正されたマルチスペクトル画像データとして出力する。画像出力部２０は、合成画像データＩ’をディスプレイに出力してもよいし、外部の記憶装置に出力してもよい。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る画像処理装置１０は、色成分画像ｆ_Ｃについてのみ平滑化を行い、輝度成分画像ｆ_Ｌについては平滑化を行わない。これにより、色成分画像ｆ_Ｃについて平滑化を行うことにより色縞が補正されるが、輝度成分画像ｆ_Ｌに平滑化を行わないためエッジの先鋭さを保たれる。また、彩度の高い入力画像が本来有する色味が保たれる。

特許文献１のように、従来は、各バンドの画像Ｌ_ｂに対して直接平滑化処理を行う。これに対し、実施の形態１に係る画像処理装置１０は、色成分画像ｆ_Ｃに対してのみ処理を行う。ただし、画像処理装置１０は、バンド間を跨いでの平滑化は行わず、各バンドに対応する画像それぞれに対して平滑化を行う。
色成分画像のみを平滑化する場合、画像の輝度（明るさ）が保存されるため、エッジのような明るさが急激に変化する領域において、エッジの先鋭さの劣化を抑制しながら、色縞の補正効果を得ることが可能となる。エッジの先鋭さとは、明るさの変化の急峻さである。

色縞は周期的に色相が変化するという特徴を有する。そのため、色縞の生じている領域では色相のばらつきが大きい。したがって、平滑化処理を施し、色縞を抑制することで、局所空間内の色相のばらつきが大きく減少する。一方で、一様な背景上に彩度の高いターゲットが存在する場合には、平滑化処理後においてもターゲットの色成分と背景の色成分とが平均化されるのみで、局所空間内における色相のばらつきの変化が色縞の生じている領域に比べて小さい。
そのため、色相の局所空間内ばらつきの差分Ｓと閾値σとによって平滑処理の適用範囲を区別することにより、色縞を補正しつつ彩度の高い入力画像が本来有する色味を保つことが可能となる。

実施の形態２．
実施の形態２は、エッジ及びエッジの近傍の画素についてのみ平滑化処理を行う点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊構成の説明＊＊＊
図４を参照して、実施の形態２に係る画像処理装置１０の構成を説明する。
画像処理装置１０は、機能構成要素として、エッジ抽出部２１と、エッジ結合部２２とを備える点が図１に示す画像処理装置１０と異なる。エッジ抽出部２１及びエッジ結合部２２の機能は、他の機能と同様に、半導体集積回路といったハードウェア、又は、ソフトウェアによって実現される。

＊＊＊動作の説明＊＊＊
図５を参照して、実施の形態２に係る画像処理装置１０の動作を説明する。
実施の形態２に係る画像処理装置１０の動作手順は、実施の形態２に係る画像処理方法に相当する。また、実施の形態２に係る画像処理装置１０の動作を実現するプログラムは、実施の形態２に係る画像処理プログラムに相当する。

ステップＳ２０１の処理は、図３のステップＳ１０１の処理と同じである。ただし、画像取得部１１は、入力画像をエッジ抽出部２１に出力する。

（ステップＳ２０２：エッジ抽出処理）
エッジ抽出部２１は、入力画像からエッジを検出し、エッジとして検出された画素及びエッジの近傍の画素を抽出する。近傍の画素は、例えば、エッジとして検出された画素に隣接する画素である。また、近傍の画素は、例えば、エッジとして検出された画素から基準画素以内にある画素である。エッジ抽出部２１は、抽出された画素を分離部１２に出力する。また、エッジ抽出部２１は、残りの画素をエッジ結合部２２に出力する。
エッジ検出は、例えば、１次微分の極大値を求める、又は、２次微分のゼロ交差点を求めるといった方法により実現可能である。

（ステップＳ２０３：分離処理）
分離部１２は、ステップＳ２０２で出力された画素を、輝度成分の輝度成分画像ｆ_Ｌと、色成分の色成分画像ｆ_Ｃとに分離する。分離部１２は、輝度成分画像ｆ_Ｌを合成部１９に出力するとともに、色成分画像ｆ_Ｃを平滑化処理部１３と色相計算部１４と領域判定部１７とに出力する。

ステップＳ２０４からステップＳ２１０の処理は、図３のステップＳ１０３からステップＳ１０９の処理と同じである。
ただし、ステップＳ２１０では合成部１９は、合成画像データＩ’をエッジ結合部２２に出力する。合成画像データＩ’は、ステップＳ２０２で抽出された画素についてのみ補正された画像データである。

（ステップＳ２１１：エッジ結合処理）
エッジ結合部２２は、入力画像におけるステップＳ２０２で抽出された画素を、ステップＳ２１０で出力された合成画像データＩ’の画素に置き換えることにより、補正後画像データを生成する。つまり、エッジ結合部２２は、ステップＳ２０２で出力された残りの画素と、合成画像データＩ’に含まれる画素とを結合させることにより、補正後画像データを生成する。エッジ結合部２２は、補正後画像データを画像出力部２０に出力する。

（ステップＳ２１２：画像出力処理）
画像出力部２０は、ステップＳ２１１で出力された補正後画像データを、色縞の補正されたマルチスペクトル画像データとして出力する。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る画像処理装置１０は、エッジ及びエッジの近傍の画素についてのみ平滑化処理を行う。色縞は、エッジ周辺に生じやすい。エッジ周辺に対してのみ平滑化を行うことにより、色縞の生じていない領域の先鋭度劣化を抑制することができる。
さらに、エッジ周辺に対して、色成分のみの平滑化を組み合わせることにより、エッジの明るさ変化の先鋭さを保つことができる。また、色相のばらつきの評価を組み合わせることにより、色縞の生じていないエッジが平滑化されることを抑制することができる。

１０画像処理装置、１１画像取得部、１２分離部、１３平滑化処理部、１４色相計算部、１５ばらつき計算部、１６差分処理部、１７領域判定部、１８結合部、１９合成部、２０画像出力部、２１エッジ抽出部、２２エッジ結合部、３１プロセッサ、３２メモリ。

Claims

マルチスペクトル画像データである入力画像を輝度成分の輝度成分画像と色成分の色成分画像とに分離する分離部と、
前記分離部によって分離されて得られた前記色成分画像に対して平滑化処理を行い平滑化色成分画像を生成する平滑化処理部と、
前記色成分画像の色相画像と、前記平滑化処理部によって生成された前記平滑化色成分画像の色相画像とについて局所空間におけるばらつきを示す評価指標を計算するばらつき計算部と、
前記ばらつき計算部によって計算された前記色成分画像の色相画像についての評価指標と、前記平滑化色成分画像の色相画像についての評価指標との差分に応じて、前記入力画像の領域毎に前記色成分画像と前記平滑化色成分画像との一方を選択して結合することにより、補正後色成分画像を生成する結合部と、
前記結合部によって生成された前記補正後色成分画像と、前記輝度成分画像とを合成して、合成画像データを生成する合成部と
を備える画像処理装置。
前記結合部は、前記差分が閾値以下の場合には、前記色成分画像を選択し、前記差分が閾値より大きい場合には、前記平滑化色成分画像を選択して、前記補正後色成分画像を生成する
請求項１に記載の画像処理装置。
前記画像処理装置は、さらに、
前記入力画像からエッジを検出して、前記エッジ及び前記エッジの近傍の画素を抽出するエッジ抽出部
を備え、
前記分離部は、前記入力画像における前記エッジ抽出部によって抽出された画素についてのみ、輝度成分の輝度成分画像と色成分の色成分画像とに分離し、
前記画像処理装置は、さらに、
前記入力画像における前記エッジ抽出部によって抽出された画素を、前記合成画像データの画素に置き換えることにより、補正後画像データを生成するエッジ結合部
を備える請求項１又は２に記載の画像処理装置。