JP7299398B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】色にじみを抑制しつつ偽色を低減することを可能とする。【解決手段】画像処理装置１００は、単板式ＲＧＢ画像センサ（カメラ３００参照）によって撮像されたＲＡＷ画像を基にＲＧＢ画像を生成するデモザイキング部１１１と、ＲＧＢ画像のＲＧＢ信号の高周波成分を輝度信号の高周波成分に置き換えたＲＧＢ画像を生成する偽色除去部１１２と、置き換えたＲＧＢ画像に対して画像認識処理を行う画像認識部１１３と、を備える。偽色除去部１１２は、ＲＧＢ信号を基に輝度信号を生成する輝度算出部２１１と、ＲＧＢ信号それぞれから輝度信号を減算するＲ信号減算部、Ｇ信号減算部、およびＢ信号減算部と、減算した結果から高周波成分を除去する高周波成分除去部と、前記高周波成分を除去した結果に前記輝度信号を加算するＲ信号加算部、Ｇ信号加算部、およびＢ信号加算部と、を備えてもよい。【選択図】図１

Description

本発明は、画像センサが撮像した画像の処理を行う画像処理装置および画像処理方法に関する。

画像センサ、例えば単板式ＲＧＢ画像センサで取得したＲＡＷ画像（ＲＡＷデータ）は、１画素につき赤（Ｒ）信号、緑（Ｇ）信号、および青（Ｂ）信号の内１つの色信号のみを含む。各画素において含まれていない２つの色信号は、デモザイキング処理と呼ばれる補間によって算出される。このような手法で生成したＲＧＢ信号と実際の被写体がもつＲＧＢ信号との間では、Ｒ信号、Ｇ信号、Ｂ信号の割合に差が生じ、偽色と呼ばれる実際の被写体にない色が画像として生成される。

上記の偽色を低減する技術として特許文献１に記載の画像処理装置がある。画像処理装置の中で、ＲＡＷ画像入力部は、カメラからＲＡＷ画像を取得し、デモザイキング処理器は、取得されたＲＡＷ画像に対してデモザイキング処理を施す。偽色低減器は、デモザイキング処理後の画像データのＲＧＢの色情報において、Ｒ画素とＢ画素に対して、Ｇ画素との差分値を算出し、算出後の差分画素データに対してｍ×ｎ画素のメディアンフィルタを複数回繰り返し施し、デモザイキング処理によって生じる色モアレを低減する。

国際公開第２０１７／１８３２７３号

特許文献１に記載の画像処理装置では、デモザイキング処理後の画像データについて、Ｇ画素信号との差分値を算出してメディアンフィルタを適用し、Ｇ画素信号を加算することで偽色を低減する。しかし、この方法では、Ｇ画素信号との差分値を用いるため、Ｇ成分を含まないエッジで発生する色にじみについて十分考慮されていない。

またカメラの後段処理として人工知能技術である画像認識は、輝度のエッジ成分を重要な特徴として捉える。このため、エッジにノイズが生じると学習や推論において妨げとなる可能性がある。ＲＡＷ画像に対してデモザイキング処理や偽色低減処理を行った後に画像認識処理を行う場合には、エッジでのノイズに対する考慮が求められる。
本発明は、このような背景に鑑みてなされたものであり、色にじみを抑制しつつ偽色を低減する画像処理装置および画像処理方法を提供することを課題とする。

上記した課題を解決するため、本発明に係る画像処理装置は、偽色を生じる画像センサによって撮像されたＲＡＷ画像を基にＲＧＢ画像を生成するデモザイキング部と、ＲＧＢ画像のＲＧＢ信号と輝度信号との差分値を用いることで、ＲＧＢ信号の高周波成分を輝度信号の高周波成分に置き換えたＲＧＢ画像を生成する偽色除去部と、前記置き換えたＲＧＢ画像に対して画像認識処理を行う画像認識部と、を備える。

本発明によれば、色にじみを抑制しつつ偽色を低減する画像処理装置および画像処理方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本実施形態に係る画像処理装置の機能ブロック図である。 本実施形態に係るカメラが出力するＲＡＷ画像の構成を説明するための図である。 本実施形態に係るＲ信号のデモザイキング処理を説明するための図である。 本実施形態に係るＧ信号のデモザイキング処理を説明するための図である。 本実施形態に係るＢ信号のデモザイキング処理を説明するための図である。 本実施形態に係る偽色除去部の処理を説明するための図である。 本実施形態に係る画像処理のフローチャートである。 本実施形態の変形例に係る偽色除去部の処理を説明するための図である。

≪画像認識装置の概要≫
以下に本発明を実施するための形態（実施形態）における画像処理装置を説明する。本実施形態に係る画像処理装置は、最初に単板式ＲＧＢ画像センサ（偽色を生じる画像センサ）が取得したＲＡＷ画像に対してデモザイキング処理を行う。次に画像処理装置は、輝度信号を算出し、ＲＧＢの各色信号から輝度信号を減算する。続いて画像処理装置は、ＲＧＢの各色信号から高周波成分除去し、輝度信号を加算する。最後に画像処理装置は、画像認識処理を実行して、画像に映る物体を認識する。

このように画像処理装置がＲＡＷ画像を処理することで、ＲＧＢ各色信号の高周波成分が輝度信号の高周波成分に置き換えられるため、色にじみの抑制だけでなく色解像度の改善をしつつ、偽色を低減できる。画像のエッジにおけるノイズが低減するので、画像認識における精度の向上が期待できるようになる。

≪画像処理装置の構成≫
図１は、本実施形態に係る画像処理装置１００の機能ブロック図である。画像処理装置１００はコンピュータであり、制御部１１０、記憶部１２０、および入出力部１８０を備える。入出力部１８０には、ディスプレイやキーボード、マウスなどのユーザインターフェイス機器が接続される。入出力部１８０が通信デバイスを備え、他の装置とのデータ送受信が可能であってもよい。また入出力部１８０には、単板式ＲＧＢ画像センサを備え、ＲＡＷ画像３１１（後記する図２参照）を出力するカメラ３００が接続される。

図２は、本実施形態に係るカメラ３００が出力するＲＡＷ画像３１１（ＲＡＷデータ）の構成を説明するための図である。ＲＡＷ画像３１１の各画素にはベイヤー配列状にＲ信号、Ｇ信号およびＢ信号が格納されている。そのため、１つの画素にはＲ信号、Ｂ信号およびＧ信号のうち、何れか１つの信号（信号値）が格納されている。

≪画像処理装置：記憶部≫
図１に戻って記憶部１２０を説明する。記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などの記憶機器を含んで構成される。記憶部１２０には、認識モデル１２１、およびプログラム１２８が記憶される。プログラム１２８には、後記する画像処理（図７参照）の手順の記述が含まれる。

≪記憶部：認識モデル≫
認識モデル１２１は機械学習モデルであって、画像に含まれる物体を検出して種別（例えば「机」や「犬」など）を特定する画像認識処理に用いられる。認識モデル１２１は、例えば畳み込みニューラルネットワークのモデルである。認識モデル１２１の学習データは、後記する偽色除去部１１２の出力画像に含まれる物体の画像および当該物体の種別（正解データ）のペアである。

≪画像処理装置：制御部≫
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、デモザイキング部１１１、偽色除去部１１２、および画像認識部１１３が備わる。制御部１１０は、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などを用いて構成されてもよい。

≪制御部：デモザイキング部≫
デモザイキング部１１１は、カメラ３００が出力したＲＡＷ画像を入力として、線形補間によってデモザイキング処理を行い、処理結果であるＲＧＢ画像（ＲＧＢ信号）を偽色除去部１１２に出力する。ＲＡＷ画像は、１つの画素につき１つの色信号（信号値）が格納されているため、欠落した残り２つの色信号については、デモザイキング処理によって補間する必要がある。線形補間によるデモザイキング処理では、以下に説明するように補間対象の画素近傍に位置する複数画素の信号値を平均した値を補間結果とする。

図３は、本実施形態に係るＲ信号のデモザイキング処理を説明するための図である。ＲＡＷ画像３１１は、カメラ３００の出力の一部である。Ｒ画像３１４は、デモザイキング処理によって補間されたＲ信号を保持した画像である。Ｒ画像３１４の信号Ｒ_１２については、ＲＡＷ画像３１１に信号Ｒ_１２が存在しているため、デモザイキング処理によって補間する必要はない。

Ｒ画像３１４の信号Ｒ_２２については、ＲＡＷ画像３１１では信号Ｒ_２２の画素には信号Ｇ_２２が格納されており、Ｒ信号が存在しない。このため、Ｒ信号をデモザイキング処理によって補間する必要がある。信号Ｒ_２２は、上下に隣接する信号Ｒ_１２，Ｒ_３２の平均値として算出される。信号Ｒ_３３は、左右に隣接する信号Ｒ_３２，Ｒ_３４の平均値として算出される。また信号Ｒ_２３は、斜めに隣接する信号Ｒ_１２，Ｒ_１４，Ｒ_３２，Ｒ_３４の平均値として算出される。

図４は、本実施形態に係るＧ信号のデモザイキング処理を説明するための図である。Ｇ画像３１５は、デモザイキング処理によって補間されたＧ信号を保持した画像である。Ｇ画像３１５の信号Ｇ_２２については、ＲＡＷ画像３１１に信号Ｇ_２２が存在しているため、デモザイキング処理によって補間する必要はない。信号Ｇ_２３は、上下左右に隣接する信号Ｇ_１３，Ｇ_２２，Ｇ_２４，Ｇ_３３の平均値として算出される。

図５は、本実施形態に係るＢ信号のデモザイキング処理を説明するための図である。Ｂ画像３１６は、デモザイキング処理によって補間されたＢ信号を保持した画像である。ＲＡＷ画像３１１にないＢ信号については、Ｒ信号のデモザイキング処理（図３参照）と同様に、上下、左右、または斜めに隣接するＢ信号の平均値として算出される。

以上に説明したように画像処理装置１００は、画像センサ（カメラ３００参照）によって撮像されたＲＡＷ画像を基にＲＧＢ画像を生成するデモザイキング部１１１を備える。
デモザイキング部１１１は、ＲＡＷ画像を線形補間によってデモザイキング処理をする。

≪制御部：偽色除去部≫
図６は、本実施形態に係る偽色除去部１１２の処理を説明するための図である。輝度算出部２１１は、デモザイキング部１１１の出力であるＲＧＢ信号を入力として、以下の式（１）を用いて輝度信号を算出する。
輝度信号＝０．２９９×Ｒ信号＋０．５８７×Ｇ信号＋０．１１４×Ｂ信号 （１）
輝度算出部２１１は、単純平均など式（１）とは異なる手法で輝度信号を算出してもよい。

Ｒ信号減算部２２１は、デモザイキング部１１１の出力であるＲ信号から、輝度算出部２１１の出力である輝度信号を減じて、高周波成分除去部２３１に出力する。Ｇ信号減算部２２２、およびＢ信号減算部２２３も同様であって、それぞれＧ信号、Ｂ信号から輝度信号を減じて、高周波成分除去部２３２，２３３に出力する。

高周波成分除去部２３１，２３２，２３３それぞれは、ｍ×ｎのメディアンフィルタ処理を行って、処理結果をＲ信号加算部２４１、Ｇ信号加算部２４２、Ｂ信号加算部２４３に出力する。Ｒ信号加算部２４１、Ｇ信号加算部２４２、Ｂ信号加算部２４３は、それぞれ輝度信号を加算して、Ｒ信号、Ｇ信号、Ｂ信号として画像認識部１１３に出力する。

Ｒ信号の低周波成分をＲ_Ｌ、高周波成分をＲ_Ｈ、輝度信号の低周波成分をＹ_Ｌ、高周波成分をＹ_Ｈとすると、Ｒ信号減算部２２１の入力はＲ_Ｌ＋Ｒ_Ｈ、出力はＲ_Ｌ＋Ｒ_Ｈ－Ｙ_Ｌ－Ｙ_Ｈとなる。また高周波成分除去部２３１の出力はＲ_Ｌ－Ｙ_Ｌ、Ｒ信号加算部２４１の出力はＲ_Ｌ＋Ｙ_Ｈとなる。Ｇ信号およびＢ信号も同様であって、各色信号の低周波成分は、元の色信号の低周波成分であり、高周波成分は輝度信号の高周波成分となる。このＲＧＢ信号が偽色除去部１１２の出力信号（出力画像）となる。

以上に説明したように画像処理装置１００は、ＲＧＢ画像のＲＧＢ信号の高周波成分を輝度信号の高周波成分に置き換えたＲＧＢ画像を生成する偽色除去部１１２を備える。

≪制御部：画像認識部≫
図１に戻って制御部１１０の説明を続ける。画像認識部１１３は、認識モデル１２１を用いて、偽色除去部１１２の出力画像に含まれる物体を認識する。画像認識部１１３は、認識結果を含む出力画像を入出力部１８０に接続されたディスプレイに出力する。認識結果は、例えば認識された物体を囲む矩形（バウンディングボックス）と当該矩形に付与された物体の種別を示すテキストのラベルとして表示される。

以上に説明したように画像処理装置１００は、置き換えたＲＧＢ画像（偽色除去部１１２が出力したＲＧＢ画像）に対して画像認識処理を行う画像認識部１１３を備える。
また偽色除去部１１２は、ＲＧＢ信号を基に輝度信号を生成する輝度算出部２１１と、ＲＧＢ信号それぞれから輝度信号を減算するＲ信号減算部２２１、Ｇ信号減算部２２２、およびＢ信号減算部２２３と、減算した結果から高周波成分を除去する高周波成分除去部２３１，２３２，２３３と、高周波成分を除去した結果に輝度信号を加算するＲ信号加算部２４１、Ｇ信号加算部２４２、およびＢ信号加算部２４３と、を備える。

≪画像処理≫
図７は、本実施形態に係る画像処理のフローチャートである。図７を参照しながら、カメラ３００が撮像して出力したＲＡＷ画像に対する画像処理を説明する。
ステップＳ１１においてデモザイキング部１１１は、カメラ３００が撮像したＲＡＷ画像を取得する。
ステップＳ１２においてデモザイキング部１１１は、線形補間を用いて各画素のＲＧＢ信号を算出する。詳しく説明とするとデモザイキング部１１１は、各画素について画素に含まれていない信号値を、隣接する同色画素の信号値の平均値を算出して求める（図３～図５参照）。

ステップＳ１３において輝度算出部２１１は、輝度信号を算出する（式（１）参照）。
ステップＳ１４においてＲ信号減算部２２１、Ｇ信号減算部２２２、およびＢ信号減算部２２３は、それぞれＲ信号、Ｇ信号、およびＢ信号からステップＳ１３で算出された輝度信号を減じる。

ステップＳ１５において高周波成分除去部２３１，２３２，２３３は、ステップＳ１４で算出されたＲ信号、Ｇ信号、およびＢ信号の高周波成分をそれぞれ除去する。
ステップＳ１６においてＲ信号加算部２４１、Ｇ信号加算部２４２、およびＢ信号加算部２４３は、それぞれＲ信号、Ｇ信号、およびＢ信号からステップＳ１３で算出された輝度信号を加える。
ステップＳ１７において画像認識部１１３は、ステップＳ１６で算出されたＲＧＢ信号から構成される画像に含まれる物体を認識して、認識結果を出力する。

≪画像処理装置の特徴≫
画像処理装置１００は、ＲＧＢ信号の高周波成分を全て輝度信号の高周波成分Ｙ_Ｈに揃えるため、被写体のエッジ部に生じる偽色を低減でき、かつ色にじみの発生を抑制することができる。また画像処理装置１００は、ＲＡＷ画像のエッジにジャギーが生じない線形補間によってデモザイキングしている。
このように画像処理装置１００は、エッジでのノイズ発生を抑制するようにＲＡＷ画像からＲＧＢ画像を生成しており、エッジ成分を重要な特徴として捉える画像認識処理の妨げにならず、認識精度を高めることができる。

≪変形例：Ｇ信号処理の省略≫
偽色除去部１１２において、Ｇ信号に対する処理を略してもよい。図８は、本実施形態の変形例に係る偽色除去部１１２Ａの処理を説明するための図である。偽色除去部１１２（図６参照）と比較して、Ｇ信号に対する輝度信号の減算処理、高周波成分の除去処理、および輝度信号の加算処理が除かれており、デモザイキング部１１１が出力するＧ信号がそのまま出力信号となっている。
Ｇ信号の高周波成分Ｇ_Ｈと輝度信号の高周波成分Ｙ_Ｈとは分光特性が近いため、Ｇ信号に対する処理をなくしても、偽色発生は抑制できる。輝度信号の減算処理、高周波成分の除去処理、および輝度信号の加算処理を除くことで、処理コストを削減することができる。

以上に説明したように偽色除去部１１２Ａは、ＲＧＢ信号を基に輝度信号を生成する輝度算出部２１１と、ＲＢ信号それぞれから輝度信号を減算するＲ信号減算部２２１、およびＢ信号減算部２２３と、減算した結果から高周波成分を除去する高周波成分除去部２３１，２３３と、高周波成分を除去した結果に輝度信号を加算するＲ信号加算部２４１、およびＢ信号加算部２４３と、を備える。

≪変形例：処理装置の形態≫
上記した実施形態や変形例では、デモザイキング部１１１、偽色除去部１１２、および画像認識部１１３は、カメラ３００とは異なる装置である画像処理装置１００（コンピュータ）が実行している。デモザイキング部１１１、偽色除去部１１２、および画像認識部１１３が、カメラ３００で実行されてもよいし、複数のコンピュータで実行されてもよい。例えば、画像処理装置がデモザイキング部１１１と偽色除去部１１２とを備え、画像認識装置が画像認識部１１３を備える形態であってもよい。

また、デモザイキング部１１１、偽色除去部１１２、および画像認識部１１３の処理がＣＰＵで実行されるプログラムで記述されるのではなく、ＦＰＧＡやＡＳＩＣなどのプロセッサ上の回路として実現されてもよい。例えばデモザイキング部１１１、および偽色除去部１１２は、カメラ３００に搭載されるプロセッサで処理され、画像認識部１１３は、汎用コンピュータ（例えばパソコン）で処理されてもよい。

≪その他の変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。例えばデモザイキング処理では、画素の並びがベイヤー配列として説明したが、ＲＧＢ以外の色を含んだ他の配列であってもよく、配列に応じた線形補間を用いればよい。

本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、単板式ＲＧＢ画像センサを例に説明したが、このセンサに限定されるものでなく、偽色を生じる他の画像センサに本発明を適用してもよい。

１００ 画像処理装置
１１１ デモザイキング部
１１２ 偽色除去部
１１３ 画像認識部
１２１ 認識モデル
１２８ プログラム
２１１ 輝度算出部
２２１ Ｒ信号減算部
２２２ Ｇ信号減算部
２２３ Ｂ信号減算部
２３１，２３２，２３３ 高周波成分除去部
２４１ Ｒ信号加算部
２４２ Ｇ信号加算部
２４３ Ｂ信号加算部
３１１ ＲＡＷ画像

Claims (6)

1. 偽色を生じる画像センサによって撮像されたＲＡＷ画像を基にＲＧＢ画像を生成するデモザイキング部と、
   ＲＧＢ画像のＲＧＢ信号と輝度信号との差分値を用いることで、ＲＧＢ信号の高周波成分を輝度信号の高周波成分に置き換えたＲＧＢ画像を生成する偽色除去部と、
   前記置き換えたＲＧＢ画像に対して画像認識処理を行う画像認識部と、を備える
   画像処理装置。
2. 前記偽色除去部は、
   ＲＧＢ信号を基に輝度信号を生成する輝度算出部と、
   ＲＧＢ信号それぞれから前記輝度信号を減算するＲ信号減算部、Ｇ信号減算部、およびＢ信号減算部と、
   減算した結果から高周波成分を除去する高周波成分除去部と、
   前記高周波成分を除去した結果に前記輝度信号を加算するＲ信号加算部、Ｇ信号加算部、およびＢ信号加算部と、を備える
   請求項１に記載の画像処理装置。
3. 前記偽色除去部は、
   ＲＧＢ信号を基に輝度信号を生成する輝度算出部と、
   ＲＢ信号それぞれから前記輝度信号を減算するＲ信号減算部、およびＢ信号減算部と、
   減算した結果から高周波成分を除去する高周波成分除去部と、
   前記高周波成分を除去した結果に前記輝度信号を加算するＲ信号加算部、およびＢ信号加算部と、を備える
   請求項１に記載の画像処理装置。
4. 前記デモザイキング部は、
   前記ＲＡＷ画像を線形補間によってデモザイキング処理をする
   請求項１に記載の画像処理装置。
5. 偽色を生じる画像センサによって撮像されたＲＡＷ画像を基にＲＧＢ画像を生成するデモザイキング部と、
   ＲＧＢ画像のＲＧＢ信号と輝度信号との差分値を用いることで、ＲＧＢ信号の高周波成分を輝度信号の高周波成分に置き換えたＲＧＢ画像を生成する偽色除去部と、を備える
   画像処理装置。
6. 画像処理装置が、
   偽色を生じる画像センサによって撮像されたＲＡＷ画像を基にＲＧＢ画像を生成するステップと、
   ＲＧＢ画像のＲＧＢ信号と輝度信号との差分値を用いることで、ＲＧＢ信号の高周波成分を輝度信号の高周波成分に置き換えたＲＧＢ画像を生成するステップと、
   前記置き換えたＲＧＢ画像に対して画像認識処理を行うステップと、を実行する
   画像処理方法。
   

Images