JP7244301B2 - 画像処理装置 - Google Patents

Description

本開示は、カラー画像を処理する画像処理装置に関する。

一般に、カメラで取得したカラー画像を輝度画像としてから解析することで、白線等の検出対象を検出する画像処理装置が知られている。しかしながら、画像処理装置は、検出対象が白色以外であると、輝度画像としてから解析しても検出対象を適切に検出できない場合がある。そこで、画像処理装置は、白色以外の検出対象でも検出できるものが考えられている（例えば、特許文献１参照）。

この画像処理装置は、カラー画像におけるＲＧＢの各色信号の強度を個別に求めて、検出対象の色に応じて各色信号の組み合わせを変化させることで、検出対象のコントラストが最大となる組み合わせを求め、検出対象の色に応じて各色信号を組み合わせることで、検出対象の検出を可能としている。

特開２００３－３２６６９号公報

しかしながら、この画像処理装置は、カラー画像における検出対象の色に応じて各色信号の組み合わせを変化させる必要があるので、解析する検出対象の色に応じて組み合わせを求めることや、解析するカラー画像毎に検出対象のコントラストが最大となる組み合わせを求めることとなる。このため、この画像処理装置は、検出対象を検出するための計算負荷が大きくなってしまう。

本開示は、上記の事情に鑑みて為されたもので、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる画像処理装置を提供することを目的とする。

上記した目的を達成するために、本開示の画像処理装置は、カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、を備えることを特徴とする。

このように構成された本開示の画像処理装置は、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成できる。

本開示に係る画像処理装置の一例としての実施例１の画像処理装置の構成を示すブロック図である。 カメラが取得した一例としてのカラー画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の輝度画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の彩度画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の彩度抽出画像を示す説明図である。 抽出画像作成部による一例としての抽出処理の説明に用いる彩度画像を示す説明図である。 抽出処理の一例としてのフィルタを用いた収縮処理および膨張処理を説明するための説明図である。 図６の彩度画像に対して一度収縮処理を行った様子を示す説明図である。 図６の彩度画像に対して二度収縮処理を行った様子を示す説明図である。 図６の彩度画像に対して二度の収縮処理の後に一度膨張処理を行った様子を示す説明図である。 図６の彩度画像に対して二度の収縮処理の後に二度膨張処理を行って作成した処理画像を示す説明図である。 図６の彩度画像から図１１の処理画像を減算して作成した彩度抽出画像を示す説明図である。 図２のカラー画像において一点鎖線で囲んだ領域の解析画像を示す説明図である。 制御部が実行する画像処理の一例を示すフローチャートである。 図６の彩度画像に対して一度の収縮処理の後に一度膨張処理を行って作成した処理画像を示す説明図である。 図６の彩度画像から図１５の処理画像を減算して作成した処理画像を示す説明図である。 図１２の彩度抽出画像から図１６の処理画像を減算して作成した彩度抽出画像を示す説明図である。

以下に、本開示に係る画像処理装置の一例としての実施例１の画像処理装置１０について図面を参照しつつ説明する。

本開示の実施例１の画像処理装置１０について、図１から図１７を用いて説明する。画像処理装置１０は、カメラ１５で取得したカラー画像における所定の対象物の検出が容易となる画像を作成するための画像処理を行うものであり、実施例１では車両１（図２参照）に搭載された車載用とされている。なお、画像処理装置１０は、車載用の画像処理装置に限定されるものではなく、例えばスマートフォン、タブレット端末およびＰＤＡ（Personal Data Assistance）等であってもよい。この場合、画像処理は、これらの装置にインストールされたアプリケーションプログラムによって提供される。この画像処理装置１０は、例えば、駐車場での駐車の操作を支援する駐車支援機能や、走行している車線を維持させるレーンキープ機能や、地図や付随する情報の表示、出発地（または現在地）から目的地までの推奨経路の探索、経路誘導および道路交通情報などの表示等のナビゲーション機能等を、併せて備えていてもよい。

画像処理装置１０は、図１に示すように、制御部１１と記憶部１２とを備え、表示部１３と操作部１４とカメラ１５とが、通信プロトコルとしてのＣＡＮ（Controller Area Network）等の車載ネットワークを介して制御部１１と接続されて構成されている。

記憶部１２は、画像処理を実行するためのプログラムや、その他の機能を実行するためのプログラムや、それらのプログラムで必要となる情報のうちで書き換えをせずに利用される情報を事前に格納している。記憶部１２は、格納する情報が制御部１１により適宜読み出すことが可能とされている。

表示部１３は、画像処理により作成した後述する解析画像５５（図１３参照）を表示するもので、例えば、液晶ディスプレイや有機ＥＬディスプレイなどで構成される。また、表示部１３は、上記した各機能を有する場合、駐車支援機能のための支援画像や、レーンキープ機能のための表示画像や、ナビゲーション機能のための経路画像等も適宜表示する。

操作部１４は、使用者からの指示入力を受け付けるもので、画像処理の実行の有無を指定することができる。また、操作部１４は、上記した各機能を有する場合、駐車支援機能やレーンキープ機能の実行の有無を指定や、ナビゲーション機能のための目的地の入力を可能とする。操作部１４は、実施例１では、タッチパネルの機能を搭載するものとされた表示部１３や、その周囲に設けられた各スイッチで構成される。

カメラ１５は、画像処理に用いるために車両１の周辺の所定の範囲のカラー画像を取得するもので、実施例１では、車両１の全周囲のカラー画像を取得してカラーの俯瞰画像５１（図２参照）を形成するために車両１の前後左右の４箇所に設けられている。なお、カメラ１５は、車両１の前部に設けられて前方（進行方向前側）のカラー画像を取得する単一の広角な魚眼レンズを備えたものでもよく、ドライブレコーダや衝突防止機構のために設けられたものでもよい。カメラ１５は、取得したカラー画像を示す画像データを制御部１１に出力する。

制御部１１は、俯瞰画像作成部２１と輝度画像作成部２２と彩度画像作成部２３と抽出画像作成部２４と解析画像作成部２５と対象検出部２６とメモリ部２７とを有する。このメモリ部２７を除く制御部１１の各部は、プログラムにより構成されている。なお、これらの各部は、電子回路により専用に構成されていてもよく、実施例１の構成に限定されない。メモリ部２７は、制御部１１の各部における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が適宜書き込まれ、それらが制御部１１の各部により適宜読み取られる。メモリ部２７は、制御部１１が行う各処理のためのプログラムを記憶していてもよい。

俯瞰画像作成部２１は、カメラ１５からカラー画像（画像データ）が入力されると、そのカラー画像を視点変換し、上方から地面を見下ろしたようなカラーの俯瞰画像５１（図２等参照）を作成する（俯瞰画像形成処理）。俯瞰画像作成部２１は、記憶部１２から、カメラ１５の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）や、カメラ１５の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータを取得する。俯瞰画像作成部２１は、取得した歪み関数を用いてレンズによる画像の歪みを補正する歪み補正処理を行う。俯瞰画像作成部２１は、周知のカメラの幾何変換式を使い、世界座標で示される俯瞰画像５１におけるすべての座標位置の画素の出力値（各色の輝度値を含む信号値）を、歪み補正した画像の対応する画素の出力値（信号値）に基づいて作成する。このとき、俯瞰画像作成部２１は、俯瞰画像５１の特定の画素に対応する歪み補正した画像の画素が無い場合には、周知の輝度の補間処理により周辺画素の各出力値に基づいて特定の画素の出力値を求める。さらに、俯瞰画像作成部２１は、カメラ１５すなわち前後左右の４つのカメラの隣り合う撮影画像を、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ１枚の画像として繋ぎ合わせることで、車両１の取り囲む俯瞰画像５１を作成する。

実施例１の俯瞰画像５１は、図２に示すように、車両１が駐車場にいる状態を示しており、正面視して車両１の上側に車両１の影２を写しているとともに、そのさらに上方に駐車スペースを示すアスファルト等の地面に描かれた複数の線３を写している。なお、俯瞰画像作成部２１は、俯瞰画像５１（その画像データ）を作成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例１に限定されない。

輝度画像作成部２２と彩度画像作成部２３とは、このカラーの俯瞰画像５１に基づいて、後述する輝度画像５２（図３参照）や彩度画像５３（図４参照）を作成する。このため、俯瞰画像５１は、カメラで取得されたカラー画像として機能する。輝度画像作成部２２と彩度画像作成部２３とは、抽出画像作成部２４や解析画像作成部２５とともに、互いに等しいサイズ（画素数）の各画像（後述する輝度画像５２、彩度画像５３、彩度抽出画像５４、解析画像５５）を形成する。なお、各作成部（２２、２３、２４、２５）は、互いに等しいサイズで各画像を作成するものであれば、下記に示すように図２に示す俯瞰画像５１における一部の領域（図２、図３頭参照）に対して各処理を行うものでもよく、俯瞰画像５１全体に対して行うものでもよい。

輝度画像作成部２２は、俯瞰画像５１（カラー画像）における輝度データに基づいて、各画素における輝度値（輝度分布）を求めて、画素毎の輝度値の大きさ（０から２５５の値）で示すモノクロ画像である輝度画像５２（図３参照）を作成する輝度画像作成処理を行う。輝度画像作成部２２は、俯瞰画像５１がＹＵＶデータである場合には、各画素におけるそのＹ値を用い、俯瞰画像５１がＲＧＢデータである場合には、各画素において各色（ＲＧＢ）の輝度値を合算したものを用いる。この輝度画像５２は、俯瞰画像５１（カラー画像）における輝度分布を、画素毎の輝度値で示したものとなる。図３に示す輝度画像５２は、図２に示す俯瞰画像５１における一点鎖線で囲んだ領域に対応させている。ここで、輝度画像５２は、俯瞰画像５１における各線３が白色である場合、各線３の輝度値が十分に大きくなり、はっきりと写ることとなる。図３に示す輝度画像５２は、俯瞰画像５１における各線３が黄色であって各線３の輝度値があまり大きくないので、薄く写っている（図３では薄いことを示すために描く線を細くしている）。

彩度画像作成部２３は、俯瞰画像５１（カラー画像）における彩度データに基づいて、各画素における彩度値（彩度分布）を求める。そして、彩度画像作成部２３は、画素毎の彩度値の大きさを輝度値の大きさに置き換えて、その置き換えた画素毎の輝度値の大きさで示すモノクロ画像である彩度画像５３（図４参照）を作成する彩度画像作成処理を行う。図４に示す彩度画像５３は、図２に示す俯瞰画像５１における一点鎖線で囲んだ領域を示している。実施例１の彩度画像作成部２３は、次のように彩度画像５３を作成する。

先ず、彩度画像作成部２３は、俯瞰画像５１がＹＵＶデータである場合には、画素毎に例えば下記の式（１）を用いてＲＧＢデータに変換する変換処理を行う。なお、彩度画像作成部２３は、俯瞰画像５１がＲＧＢデータである場合には変換処理は行わない。
Ｒ値＝Ｙ値＋１．４０２×Ｖ値
Ｇ値＝Ｙ値－０．３４４×Ｕ値－０．７１４×Ｖ値 ・・・・（１）
Ｂ値＝Ｙ値＋１．７７２×Ｕ値

次に、彩度画像作成部２３は、各画素において、Ｒ値、Ｇ値、Ｂ値のうち、最も大きな値となるものを最大値Ｖ１とし、最も小さな値となるものを最小値Ｖ２とする。そして、彩度画像作成部２３は、円柱モデルのＨＳＶに基づいて画素毎の彩度値（Ｓ値）を下記の式（２）を用いて求める彩度算出処理を行う。
Ｓ値＝（Ｖ１－Ｖ２）／Ｖ１ ・・・・（２）
これにより、彩度画像作成部２３は、画素毎に正規化したＳ値を取得できる。

次に、彩度画像作成部２３は、各画素において、下記の式（３）に示すように、正規化したＳ値に係数Ａを乗算することで、画素毎の彩度値の大きさを輝度値の大きさに置き換えたＳｂ値を求める置換処理を行う。この係数Ａは、正規化したＳ値を用いて輝度値の大きさとするもので、実施例１ではモノクロ画像である輝度画像５２のスケールに合わせて２５５とする。
Ｓｂ値＝Ｓ値×Ａ ・・・・（３）

そして、彩度画像作成部２３は、求めた画素毎のＳｂ値を用いて、画素毎の輝度値の大きさで示すモノクロ画像である彩度画像５３（図４参照）を作成する。この彩度画像５３は、俯瞰画像５１（カラー画像）における彩度分布を、変換した画素毎の輝度値で示したものとなる。図４に示す彩度画像５３は、図３に示す輝度画像５２と同様に、図２に示す俯瞰画像５１における一点鎖線で囲んだ領域を示している。ここで、彩度画像５３は、俯瞰画像５１における各線３が黄色であっても各線３の彩度値が十分に大きく、はっきりと写っている。なお、彩度画像作成部２３は、俯瞰画像５１（カラー画像）における彩度データに基づいて、画素毎の彩度値の大きさを輝度値の大きさに置き換えたモノクロ画像である彩度画像５３を作成するものであればよく、実施例１の構成に限定されない。

抽出画像作成部２４は、彩度画像作成部２３が作成した彩度画像５３において、検出対象に相当する図柄を抽出する抽出処理を行って、彩度抽出画像５４（図５参照）を作成する。なお、この図柄は、彩度画像５３に写っているものであって、地面に描かれた線および標識や地面に形成された影等を含むものである。図５に示す彩度抽出画像５４は、彩度画像５３（図４参照）において、各線３を検出対象とした場合であって、各線３を抽出することで検出対象とは異なる影２が除去されている。

実施例１の抽出画像作成部２４は、彩度画像５３に対して、収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成する。この収縮処理と膨張処理とについて、図６から図１２を用いて説明する。図６は、収縮処理と膨張処理との理解を容易とするための一例としての彩度画像５３を示すもので、左側に検出対象よりも大きな図柄Ｄ１を示し、真ん中に検出対象としての図柄Ｄ２を示し、右側に検出対象よりも小さな図柄Ｄ３を示す。各図柄（Ｄ１、Ｄ２、Ｄ３）は、彩度画像５３において、比較のために等しい縦寸法（１０画素）とされており、互いに幅寸法が異なるものとされている。図柄Ｄ１は、彩度画像５３において８画素の幅とされた線状とされており、外周の１画素分が真ん中よりも低い彩度値（輝度値）とされている。図柄Ｄ２（検出対象）は、彩度画像５３において４画素の幅とされた線状とされており、外周の１画素分が真ん中よりも低い彩度値（輝度値）とされている。図柄Ｄ３は、彩度画像５３において２画素の幅とされた線状とされており、図柄Ｄ１や図柄Ｄ２の真ん中と等しい彩度値（輝度値）とされている。

抽出画像作成部２４は、図７に示すように、フィルタＦを用いて収縮処理および膨張処理を行う。図７は、彩度画像５３の図柄Ｄ１の下端近傍を拡大して示したものに、フィルタＦを３つのパターン（以下ではＦ１、Ｆ２、Ｆ３とする）で配置して収縮処理および膨張処理を行った場合を説明するためのものである。抽出画像作成部２４は、この例では、３×３の枠とされた９画素のサイズのフィルタＦを用いており、中心の枠に位置する画素を、収縮処理の場合には周辺の８つの枠の画素のうちの最も低い彩度値（輝度値）に変換し、膨張処理の場合には周辺の８つの枠の画素のうちの最も高い彩度値（輝度値）に変換する。

１つ目のパターンのフィルタＦ１は、図柄Ｄ１の左下端の低い彩度値とされた画素Ｇ１に真ん中の枠が合わせて配置されて、画素Ｇ１を変換させる。フィルタＦ１は、収縮処理の場合には画素Ｇ１を図柄Ｄ１の外方の０（零）の彩度値とし、膨張処理の場合には画素Ｇ１を図柄Ｄ１の中央の高い彩度値とする。

２つ目のパターンのフィルタＦ２は、図柄Ｄ１の真ん中の高い彩度値とされた中に全ての枠が収まるように真ん中の枠が画素Ｇ２に合わせて配置されて、画素Ｇ２を変換させる。フィルタＦ２は、収縮処理の場合であっても膨張処理の場合であっても、画素Ｇ２を高い彩度値とする。

３つ目のパターンのフィルタＦ３は、図柄Ｄ１の左外側の０（零）の彩度値とされた画素Ｇ３に真ん中の枠が合わせて配置されて、画素Ｇ３を変換させる。フィルタＦ３は、収縮処理の場合には画素Ｇ３を図柄Ｄ１の周辺の０（零）の彩度値とし、膨張処理の場合には画素Ｇ３を図柄Ｄ１における外周の低い彩度値とする。

抽出画像作成部２４は、上記したように、フィルタＦを用いた収縮処理を、元となる彩度画像５３の全画素に対して行うことで、彩度画像５３の図柄を１画素分だけ小さくする。また、抽出画像作成部２４は、上記したように、フィルタＦを用いた膨張処理を、元となる彩度画像５３の全画素に対して行うことで、彩度画像５３の図柄を１画素分だけ大きくする。なお、抽出画像作成部２４は、上記したように、フィルタＦの全ての枠内が０（零）の彩度値であると、収縮処理の場合であっても膨張処理の場合であっても０（零）の彩度値とする。ここで、収縮処理および膨張処理は、彩度画像５３における対象とした領域の全ての画素に対して行うので、図柄の全ての方向から１画素分だけ小さくしたり大きくしたりする。このため、抽出画像作成部２４は、検出対象における縦寸法および幅寸法のうちの小さな寸法の半分の回数だけ収縮処理を行うことで、検出対象を除去できることとなる。抽出画像作成部２４は、このことを用いて、検出対象を除去できる回数の収縮処理を行い、その後に同じ回数で膨張処理を行うことで、処理画像５６を作成する。

先ず、抽出画像作成部２４は、図６に示す彩度画像５３に対して１回の収縮処理を行い、図８に示すように、図柄Ｄ１を一回り小さくし、図柄Ｄ２を一回り小さくするとともに低い彩度値とし、図柄Ｄ３を０（零）の彩度値として除去した彩度画像５３とする。次に、抽出画像作成部２４は、図８に示す彩度画像５３に対して１回の収縮処理を行い、図９に示すように、図柄Ｄ１を一回り小さくし、図柄Ｄ２を０（零）の彩度値として除去し、図柄Ｄ３を除去したままの彩度画像５３とする。

次に、抽出画像作成部２４は、図９に示す彩度画像５３に対して１回の膨張処理を行い、図１０に示すように、図柄Ｄ１を一回り大きくし、除去された図柄Ｄ２および図柄Ｄ３に対しては０（零）の彩度値とされているので除去したままの彩度画像５３とする。次に、抽出画像作成部２４は、図１０に示す彩度画像５３に対して１回の膨張処理を行い、図１１に示すように、図柄Ｄ１を一回り大きくし、除去された図柄Ｄ２および図柄Ｄ３に対しては引き続き何らの変化はさせない彩度画像５３とする。これにより、抽出画像作成部２４は、彩度画像５３から検出対象としての図柄Ｄ２よりも大きい図柄（この例では図柄Ｄ１）のみを残した彩度画像５３としての処理画像５６を作成する。

そして、抽出画像作成部２４は、図６に示す元の彩度画像５３から図１１に示す処理画像５６（それらの各画素の彩度値（輝度値））を減算することで、図１２に示す彩度抽出画像５４を作成する。この彩度抽出画像５４は、彩度画像５３から検出対象としての図柄Ｄ２よりも大きな図柄（図柄Ｄ１）を除去したものとなる。このように、抽出画像作成部２４は、彩度画像５３に対して、収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去した彩度抽出画像５４を作成する。

解析画像作成部２５は、基本的に、輝度画像作成部２２が作成した輝度画像５２（図３参照）と、彩度画像作成部２３が作成した彩度画像５３（図４参照）と、を合成して、所定の対象物（検出対象）を検出するための解析画像５５（図１３参照）を作成する。解析画像作成部２５は、互いに等しいサイズ（画素数）である輝度画像５２および彩度画像５３において、画素毎に、輝度画像５２における輝度値と、彩度画像５３における輝度値（彩度値を置き換えたもの）と、を加算することで、画素毎の輝度値の大きさで示すモノクロ画像である解析画像５５を作成する。

実施例１の解析画像作成部２５は、彩度画像作成部２３が作成した彩度画像５３に代えて、抽出画像作成部２４が作成した彩度抽出画像５４（図５参照）と輝度画像５２とを合成して、図１３に示す解析画像５５を作成する。解析画像作成部２５は、彩度画像５３の場合と同様に、輝度画像５２と彩度抽出画像５４とを合成する。これらのことから、輝度画像作成部２２と彩度画像作成部２３と抽出画像作成部２４と解析画像作成部２５とは、カメラ１５が取得したカラー画像（俯瞰画像５１）に基づいて解析画像５５を作成する画像処理機能を実現する画像処理装置として機能する。

対象検出部２６は、解析画像作成部２５が作成した解析画像５５を解析して、解析画像５５における検出対象に相当する図柄を検出する。対象検出部２６は、解析画像５５に対してエッジ抽出処理を施し、エッジ抽出処理で得られた画像において検出対象の大きさや形状を示す理論比較領域を抽出することで、検出対象（図柄）を抽出する。なお、対象検出部２６は、検出対象に相当する図柄を抽出するものであれば、他の方法で抽出してもよく、実施例１の構成に限定されない。実施例１では、各線３を検出対象としているので、対象検出部２６は、解析画像５５における各線３を検出する。

次に、画像処理装置１０において、制御部１１の制御下で、カメラ１５が取得したカラー画像における検出対象を検出する画像処理の一例について、図１４を用いて説明する。図１４は、実施例１における制御部１１で実行される画像処理を示すフローチャートである。この画像処理は、記憶部１２に記憶されたプログラムに基づいて制御部１１が実行する。以下では、図１４のフローチャートの各ステップ（各工程）について説明する。図１４のフローチャートは、画像処理装置１０の電源が投入されてカメラ１５が取得したカラー画像（そのデータ）が制御部１１に出力されることにより開始される。

ステップＳ１は、俯瞰画像５１を作成し、ステップＳ２へ進む。ステップＳ１は、俯瞰画像作成部２１が、カメラ１５から入力されたカラー画像（画像データ）に基づいて、カラーの俯瞰画像５１（図２参照）を作成する。

ステップＳ２は、輝度画像５２を作成し、ステップＳ３へ進む。ステップＳ２は、輝度画像作成部２２が、俯瞰画像５１に基づいて、画素毎の輝度値の大きさで示すモノクロ画像である輝度画像５２（図３参照）を作成する。

ステップＳ３は、彩度画像５３を作成し、ステップＳ４へ進む。ステップＳ３は、彩度画像作成部２３が、俯瞰画像５１に基づいて、画素毎の彩度値の大きさを置き換えた輝度値の大きさで示すモノクロ画像である彩度画像５３（図４参照）を作成する。なお、ステップＳ２とステップＳ３とは、順番を逆にしてもよく、同時に行ってもよく、実施例１の構成に限定されない。

ステップＳ４は、彩度抽出画像５４を作成し、ステップＳ５へ進む。ステップＳ４は、抽出画像作成部２４が、彩度画像５３に基づいて、検出対象よりも大きな図柄を除去して彩度抽出画像５４（図５参照）を作成する。

ステップＳ５は、解析画像５５を作成し、ステップＳ６へ進む。ステップＳ５は、解析画像作成部２５が、ステップＳ２で作成した輝度画像５２と、ステップＳ４で作成した彩度抽出画像５４とを合成して解析画像５５（図１３参照）を作成する。このステップＳ２からステップＳ５は、カメラ１５が取得したカラー画像（俯瞰画像５１）に基づいて解析画像５５を作成する工程となる。

ステップＳ６は、解析画像５５における検出対象を検出して、この画像処理を終了する。ステップＳ６は、対象検出部２６が、ステップＳ５で作成した解析画像５５を解析して、解析画像５５における検出対象（図示の例では各線３）を検出する。制御部１１は、この検出結果を様々な機能に用いる。制御部１１は、例えば、検出対象としての各線３の位置に基づいて駐車支援機能を実現したり、レーンキープ機能を実現したりすることができる。

このように、制御部１１は、カメラ１５が取得したカラー画像に基づく俯瞰画像５１から作成した輝度画像５２と彩度抽出画像５４（彩度画像５３）を合成して、解析画像５５を作成することで、対象検出部２６での解析による所定の対象物の検出を容易とする。制御部１１は、画像処理により作成した解析画像５５または検出対象の検出結果を適宜表示部１３に表示させる。

ここで、検出対象は、例えば、実施例１の各線３のように地面に描かれた図形とされる。その図形は、白色で地面に描かれることが多く輝度値が高いので、カメラ１５が取得したカラー画像を輝度画像としてから解析することで、適切に検出することができる。ところが、その図形（検出対象）は、白色の他にも黄色や赤色や緑色等で描かれることも少なくない。すると、白色以外の検出対象は、輝度値が低い場合が多く、人間の目視でははっきりと認識できる場合であっても、輝度画像としてから解析しても適切に検出できないことが少なくない。また、カメラ１５からのカラー画像は、暗い環境下で取得された場合、全体的な輝度値が低下することで輝度画像とした際に十分なコントラストが得られず、人間の目視では認識できる場合であっても、輝度画像を解析しても検出対象を適切に検出できないこともある。

そこで、従来の画像処理装置は、カラー画像におけるＲＧＢの各色信号の強度を個別に求めて、検出対象の色に応じて各色信号の組み合わせを変化させることで、検出対象のコントラストが最大となる組み合わせを求める。そして、従来の画像処理装置は、検出対象の色に応じて各色信号を組み合わせることで、検出対象の検出を可能としている。しかしながら、従来の画像処理装置は、このような算出処理を行うので、検出対象を検出するための計算負荷が大きくなってしまう。

これに対して、本開示の画像処理装置１０は、検出対象の色に拘わらず、カメラ１５が取得したカラー画像（俯瞰画像５１）に基づいて、輝度画像５２に加えて彩度画像５３を作成し、それらを合成して解析画像５５を作成する。ここで、白色以外の検出対象は、人間の目視でははっきりと認識できる場合、輝度値が低くても彩度値が高いことが考えられる。そして、画像処理装置１０は、輝度画像５２と彩度画像５３とを合成することで、輝度値が高い箇所と、彩度値が高い箇所と、の双方を強調した解析画像５５を作成できる。これにより、画像処理装置１０は、解析画像５５を解析するだけで、輝度が高い箇所と彩度が高い箇所との双方、すなわち白色の検出対象と白色以外の検出対象との双方を検出することができ、検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。

また、画像処理装置１０は、彩度画像５３を、俯瞰画像５１（カラー画像）の画素毎の彩度値の大きさ（彩度分布）を輝度値の大きさに置き換えて、その置き換えた画素毎の輝度値の大きさで示すモノクロ画像としている。このため、画像処理装置１０は、輝度画像５２と彩度画像５３との双方とも輝度値の大きさで示すモノクロ画像とすることができ、それらを合成した解析画像５５も輝度値の大きさで示すモノクロ画像とすることができる。これにより、画像処理装置１０は、従来の輝度画像５２を解析して検出対象を検出するものと全く同じ方法で、解析画像５５を解析して検出対象を検出できる。よって、画像処理装置１０は、従来と同様に解析画像５５を解析するだけの簡易な工程で、検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。

さらに、画像処理装置１０は、彩度画像５３に代えて、彩度抽出画像５４と輝度画像５２とを合成して、解析画像５５を作成している。ここで、彩度画像５３は、元となる俯瞰画像５１（カラー画像）において、例えば、地面が夕日で照らされていたりライトで照明されていたりする等のように有色の光が当てられていると、検出対象とは異なる領域（図４の例では影２）の彩度が高められたり、全体の彩度が高められたりする。そして、このような彩度画像５３を輝度画像５２に合成して解析画像５５を作成すると、その解析画像５５において検出対象ではない領域の輝度値も高くなって、検出対象の適切な検出が困難となる場合がある。これに対して、画像処理装置１０は、彩度画像５３における検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成し、その彩度抽出画像５４と輝度画像５２とを合成して解析画像５５を作成している。このため、画像処理装置１０は、有色の光が当てられている彩度画像５３であっても、彩度抽出画像５４において検出対象よりも大きな図柄が除去されているので、解析画像５５において輝度値の高い検出対象よりも大きな領域をなくすことができ、検出対象の適切な検出を可能とすることができる。

本開示に係る画像処理装置の一実施例の画像処理装置１０は、以下の各作用効果を得ることができる。

画像処理装置１０は、カメラ１５が取得したカラー画像（実施例１では俯瞰画像５１）における輝度分布を示す輝度画像５２を作成する輝度画像作成部２２と、カラー画像における彩度分布を示す彩度画像５３を作成する彩度画像作成部２３と、輝度画像５２と彩度画像５３とを合成して所定の対象物を検出するための解析画像５５を作成する解析画像作成部２５と、を備える。このため、画像処理装置１０は、輝度値が高い箇所と彩度値が高い箇所との双方を強調した解析画像５５を作成できるので、その解析画像５５を解析するだけで検出対象の色に拘わらず検出対象の適切な検出を可能とすることができる。これにより、画像処理装置１０は、検出対象の色に拘わらず輝度画像５２と彩度画像５３とから作成した解析画像５５を解析するだけでよいので、従来の画像処理装置と比較して計算負荷が高くなることを防止しつつ、検出対象の適切な検出を可能とすることができる。

特に、画像処理装置１０は、カラー画像（俯瞰画像５１）に基づいて、画素毎に、正規化したＳ値（彩度値）を求め、そのＳ値に係数Ａを乗算して輝度画像５２のスケールに合わせた輝度値であるＳｂ値を求めている。そして、画像処理装置１０は、各画素のＳｂ値を用いて彩度画像５３を作成している。このため、画像処理装置１０は、カラー画像（俯瞰画像５１）が暗い環境下で取得されたものであっても、明るい環境下で取得された場合と同様の彩度分布を、変換した画素毎の輝度値で示した彩度画像５３を作成できる。これにより、画像処理装置１０は、カラー画像（俯瞰画像５１）を取得した際の明るさに拘わらず、検出対象の適切な検出を可能とすることができる。

また、画像処理装置１０は、彩度画像５３において、検出対象に相当する図柄を抽出した彩度抽出画像５４を作成する抽出画像作成部２４を備え、解析画像作成部２５は、彩度画像５３に代えて彩度抽出画像５４を輝度画像５２と合成して解析画像５５を作成する。このため、画像処理装置１０は、有色の光が当てられている彩度画像５３であっても、彩度抽出画像５４において検出対象に相当する図柄が抽出されているので、解析画像５５において輝度値の高い検出対象とは異なる領域をなくすことができ、検出対象の適切な検出を可能とすることができる。

さらに、画像処理装置１０は、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成する。このため、画像処理装置１０は、簡単な工程で検出対象よりも大きな図柄を除去した彩度抽出画像５４を作成することができ、解析画像５５において輝度値の高い検出対象よりも大きな領域をなくすことができ、検出対象の適切な検出を可能とすることができる。

画像処理装置１０は、カラー画像を、上方から平面視（俯瞰）する俯瞰画像５１としている。このため、画像処理装置１０は、車両１において、運転を支援するための俯瞰画像５１における検出対象の適切な検出を可能とすることができ、より適切な運転の支援を可能とすることができる。

したがって、本開示に係る画像処理装置としての実施例１の画像処理装置１０は、計算負荷の増加を抑制しつつ所定の対象物の検出が容易となる画像を作成することができる。

以上、本開示の画像処理装置を実施例１に基づき説明してきたが、具体的な構成については実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

例えば、実施例１では、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで、検出対象よりも大きな図柄を除去して彩度抽出画像５４を作成するものとしている（図１２、図１３参照）。しかしながら、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで、検出対象よりも小さな図柄も併せて除去した彩度抽出画像５４、すなわち検出対象とは異なる大きさの図柄を除去した彩度抽出画像５４を作成するものとしてもよく、実施例１の構成に限定されない。この一例を、図６、図１２に加えて、図１５から図１７を用いて説明する。

抽出画像作成部２４は、検出対象を除去することのない最も大きな回数だけ収縮処理を行った後に、膨張処理を行って彩度画像５３としての処理画像５６１（図１５参照）を作成する。図６に示す彩度画像５３の例では、検出対象としての図柄Ｄ２が４画素の幅とされた線状とされているので、１回の収縮処理を行った後に１回の膨張処理を行う。すると、抽出画像作成部２４は、図１５に示すように、図柄Ｄ１が元の図６の彩度画像５３と同じものとされ、図柄Ｄ２が元の図６の彩度画像５３から中央の輝度値が低下されたものとされ、図柄Ｄ３が除去された処理画像５６１を作成する。その後、抽出画像作成部２４は、図６に示す元の彩度画像５３から図１５に示す処理画像５６１（それらの各画素の彩度値（輝度値））を減算することで、図１６に示す処理画像５６２（彩度画像５３）を作成する。そして、抽出画像作成部２４は、図１２に示す彩度抽出画像５４から図１６に示す処理画像５６３（それらの各画素の彩度値（輝度値））を減算することで、図１７に示す彩度抽出画像５４を作成する。この図１７の彩度抽出画像５４は、彩度画像５３から検出対象としての図柄Ｄ２とは異なる大きさの図柄（Ｄ１、Ｄ３）を除去したものとなる。画像処理装置１０は、このように作成した彩度抽出画像５４を輝度画像５２に合成して解析画像５５を作成することで、検出対象のより適切な検出を可能とすることができる。

また、実施例１では、抽出画像作成部２４が、彩度画像５３に対して収縮処理と膨張処理とを行うことで彩度抽出画像５４を作成している。すなわち、実施例１では、抽出画像作成部２４が、検出対象よりも大きな図柄を除去（上記したように併せて小さな図柄を除去する場合も含む）することで、結果として検出対象を抽出した彩度抽出画像５４を作成するものとしている。しかしながら、抽出画像作成部２４は、彩度画像５３において検出対象に相当する図柄を抽出した彩度抽出画像５４を作成するものであればよく、実施例１の構成に限定されない。この一例として、抽出画像作成部２４は、彩度画像５３を画像解析することで検出対象に相当する大きさの図柄を抽出することで、彩度抽出画像５４を作成するものにできる。この場合、抽出画像作成部２４は、彩度画像５３に対してエッジ抽出処理を施し、エッジ抽出処理で得られた画像において検出対象の大きさや形状を示す理論比較領域を抽出することで、検出対象（図柄）を抽出する。なお、抽出画像作成部２４は、検出対象に相当する図柄を抽出するものであれば、他の方法で抽出してもよく、この構成に限定されない。このような構成とすると、画像処理装置１０は、簡単な工程で検出対象に相当する図柄を抽出した彩度抽出画像５４を作成することができ、解析画像５５において輝度値の高い検出対象とは異なる領域をなくすことができ、検出対象の適切な検出を可能とすることができる。

さらに、実施例１では、抽出画像作成部２４が、３×３の枠とされた９画素のサイズのフィルタＦを用いて収縮処理および膨張処理を行っている。しかしながら、フィルタＦは、中心の枠に位置する画素の彩度値（輝度値）に、周辺の複数の枠に位置する彩度値（輝度値）を採用することで、収縮処理および膨張処理を行うものであれば、枠の数（画素数）は適宜設定すればよく、実施例１の構成に限定されない。

実施例１では、抽出画像作成部２４が、Ｓｂ値を求める際にＳ値（彩度値）に乗算する係数Ａを２５５としている。しかしながら、係数Ａは、輝度値（輝度画像５２）と彩度値（彩度画像５３）とのバランスを考慮して適宜設定すればよく、実施例１の構成に限定されない。

実施例１では、抽出画像作成部２４が、彩度画像作成部２３が作成した彩度画像５３に対して抽出処理を行うことで、彩度抽出画像５４を作成している。しかしながら、抽出画像作成部２４は、彩度画像５３に基づいて彩度抽出画像５４を作成するものであれば、彩度画像５３を平滑化した後に抽出処理を行って彩度抽出画像５４を作成してもよく、実施例１の構成に限定されない。このような構成とすると、彩度画像作成部２３が作成した彩度画像５３に多くのノイズが含まれている場合であっても、検出対象に相当する図柄をより適切に抽出した彩度抽出画像５４を作成することができる。

実施例１では、抽出画像作成部２４が、彩度画像作成部２３が作成した彩度画像５３に対して収縮処理および膨張処理を行うことで、彩度抽出画像５４を作成している。しかしながら、抽出画像作成部２４は、彩度画像５３に基づいて彩度抽出画像５４を作成するものであれば、彩度画像５３を２値化（２値化処理）した後に収縮処理および膨張処理を行って彩度抽出画像５４を作成してもよく、実施例１の構成に限定されない。このような構成とすると、収縮処理および膨張処理を簡易なものとしつつ、検出対象とは異なる大きさの図柄の除去を容易なものにできる。

実施例１では、輝度画像５２と彩度画像５３との元となるカラー画像として、俯瞰画像５１を用いている。しかしながら、カラー画像は、輝度画像作成部２２が輝度画像５２を作成する元となるとともに、彩度画像作成部２３が彩度画像５３を作成する元となるものであれば、車両１の周囲の一部の画像を取得するカメラが取得したものでもよく、車両１とは異なる箇所に設けられたカメラが取得したものでもよく、実施例１の構成に限定されない。

３ （検出対象の一例としての）線 １０ 画像処理装置 １５ カメラ ２２ 輝度画像作成部 ２３ 彩度画像作成部 ２４ 抽出画像作成部 ２５ 解析画像作成部 ５１ （カラー画像の一例としての）俯瞰画像 ５２ 輝度画像 ５３ 彩度画像 ５４ 彩度抽出画像 ５５ 解析画像

Claims (4)

1. カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、
   前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、
   前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、
   前記彩度画像に対して収縮処理と膨張処理とを行うことで、前記彩度画像から検出対象よりも大きな図柄を除去した彩度抽出画像を作成する抽出画像作成部と、を備え、
   前記解析画像作成部は、前記彩度画像に代えて前記彩度抽出画像を前記輝度画像と合成して前記解析画像を作成することを特徴とする画像処理装置。
2. 前記抽出画像作成部は、前記彩度画像に対して前記収縮処理と前記膨張処理とを行うことで、前記検出対象とは異なる大きさの図柄を除去して前記彩度抽出画像を作成することを特徴とする請求項１に記載の画像処理装置。
3. カメラが取得したカラー画像における輝度分布を示す輝度画像を作成する輝度画像作成部と、
   前記カラー画像における彩度分布を示す彩度画像を作成する彩度画像作成部と、
   前記輝度画像と前記彩度画像とを合成して所定の対象物を検出するための解析画像を作成する解析画像作成部と、
   前記彩度画像において、検出対象に相当する図柄を抽出した彩度抽出画像を作成する抽出画像作成部と、を備え、
   前記抽出画像作成部は、前記彩度画像を画像解析することで前記検出対象に相当する大きさの図柄を抽出して前記彩度抽出画像を作成し、
   前記解析画像作成部は、前記彩度画像に代えて前記彩度抽出画像を前記輝度画像と合成して前記解析画像を作成することを特徴とする画像処理装置。
4. 前記カラー画像は、上方から平面視する俯瞰画像であることを特徴とする請求項１から請求項３までのいずれか１項に記載の画像処理装置。

Images