JP7043910B2

JP7043910B2 - 画像処理装置、撮像装置、機器制御システム、移動体、画像処理方法、プログラム

Info

Publication number: JP7043910B2
Application number: JP2018051007A
Authority: JP
Inventors: 康紘野村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-03-19
Filing date: 2018-03-19
Publication date: 2022-03-30
Anticipated expiration: 2038-03-19
Also published as: JP2019164460A

Description

本開示は、画像処理装置、撮像装置、機器制御システム、移動体、画像処理方法、プログラムに関する。

従来、カラー画像から道路標識等の対象物を認識する方法が検討されている。例えば、カラー画像の対象物の色や形状等から特定領域の画像を抽出し、この抽出画像とテンプレート画像のパターンマッチングによって対象物をパターン認識する認識方法が知られている（特許文献１参照）。また、パターン認識を使用しない方法としては、色相、彩度等の色情報を用いてカラー画像から抽出した対象領域を分割し、各領域の色情報の特徴量と対象物の教師データを比較することで、規定色の対象物を画像認識する認識方法が知られている（特許文献２参照）。

特許第３００６４７１号公報特開２００６－２５９８８５号公報

しかしながら、特許文献１に記載の認識方法では、テンプレート画像を用意しなければならず、さらにマッチング処理の負荷が大きくなっていた。また、特許文献２に記載の認識方法では、教師データを作成するために対象物の特徴データを事前に学習させておかなければならなかった。

本開示はかかる点に鑑みてなされたものであり、テンプレート画像の用意や事前の教師学習なしに、規定色の対象物を精度良く認識することができる画像処理装置、撮像装置、機器制御システム、移動体、画像処理方法、プログラムを提供することを目的の１つとする。

本開示の一態様の画像処理装置は、カラー画像から規定色で着色された対象物を認識する画像処理装置であって、カラー画像から規定色の色情報を持ったデータを特定する色情報特定部と、カラー画像から形状情報を持ったデータを特定する形状情報特定部と、カラー画像内で規定色の色情報を持ったデータを評価する色情報評価部と、カラー画像内で形状情報を持ったデータを評価する形状情報評価部と、色情報及び形状情報の各評価結果に基づいて対象物を認識する対象物認識部とを備え、前記形状情報評価部は、外形形状評価部と内部形状評価部とを備え、前記外形形状評価部は、前記カラー画像の輝度に基づいて、前記対象物の外形形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した外形形状情報を持ったデータを評価し、前記内部形状評価部は、前記カラー画像の輝度に基づいて、前記対象物の内部形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した内部形状情報を持ったデータを評価する、ことを特徴とする。

本開示によれば、規定色の色情報を持ったデータと形状情報を持ったデータが個別の評価指標に基づいて評価されて、各評価結果を組み合わせることで、規定色の観点及び形状の観点から見てカラー画像内で最も類似した箇所が対象物として精度良く認識される。

本実施の形態の移動体の全体構成図である。本実施の形態の機器制御システムのブロック図である。本実施の形態の撮像装置のハードウェア構成を示すブロック図である。本実施の形態の画像処理のフローチャートの一例を示す図である。本実施の形態の色情報特定部の特定処理の一例を示す図である。本実施の形態の色情報評価部の評価処理の一例を示す図である。本実施の形態のエッジの勾配方向の判別処理の一理を示す図である。本実施の形態の外形形状評価部の評価処理の一例を示す図である。本実施の形態の内部形状評価部の評価処理の一例を示す図である。本実施の形態の対象物認識部の認識処理の一例を示す図である。

以下、本実施の形態の機器制御システムを備えた移動体について説明する。図１は、本実施の形態の移動体の全体構成図である。なお、以下の説明では、移動体としての自動車の運転支援等を実施する機器制御システムについて説明するが、本開示の技術が適用可能な機器制御システムであれば、特に限定されない。

図１に示すように、機器制御システムは自動車１０に搭載されており、車体前側に撮像装置１１を取り付けて、撮像装置１１で道路標識等の対象物Ｔを認識して自動車１０に対する運転支援を実施するように構成されている。撮像装置１１は車載機器１２に接続されており、対象物Ｔの認識結果に応じて車載機器１２の動作が制御される。例えば、道路脇に設置された円形状の車両進入禁止標識を対象物Ｔとして認識して、進入禁止区域内に自動車１０を進入させないように、車載機器１２のディスプレイ等で進入禁止区域の存在を表示してドライバに知らせている。

ところで、道路標識等の対象物Ｔを認識する方法としては、テンプレートマッチングや特徴量解析等が一般的である。テンプレートマッチングでは、対象物Ｔに対応したテンプレート画像を用意しなければならず、特徴量解析では対象物Ｔの特徴を事前学習した教師データを用意しなければならない。そこで、本実施の形態では、対象物の色情報と形状情報を持ったデータをカラー画像から特定して色情報と形状情報を個別に評価している。色情報及び形状情報の各評価結果を組み合わせることで、テンプレート画像や教師データを使用することなく道路標識等の対象物Ｔを精度よく認識することが可能になっている。

以下、図２を参照して、機器制御システムの画像処理の詳細構成について説明する。図２は、本実施の形態の機器制御システムのブロック図である。

図２に示すように、撮像装置１１には、車両前方の対象物Ｔのカラー画像を撮像するカラー撮像部１５と、カラー画像から規定色を含む対象物Ｔを認識する画像処理装置２０とが設けられている。カラー撮像部１５は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサを内蔵して構成されており、自動車１０（図１参照）の前方を撮像したカラー画像を取得して画像処理装置２０に出力している。カラー撮像部１５は、特に水平方向に広い撮像範囲を有し、道路の左右両端や右左折の入口付近まで一度に撮像可能に設計されている。

画像処理装置２０は、画像ＥＣＵ（Electronic Control Unit）等であり、カラー撮像部１５から入力されたカラー画像に対して各種画像処理を実施して対象物Ｔを認識している。画像処理装置２０には、カラー撮像部１５からカラー画像が一定間隔で入力される画像入力部２１と、カラー画像の色空間をＲＧＢ表示系からＹＣｂＣｒ表示系に変換する色空間変換部２２とが設けられている。画像入力部２１では、カラー撮像部１５からカラー画像が入力される度に、カラー画像が所定の記憶領域に記憶される。色空間変換部２２では、ＲＧＢの撮像画像がＹＣｂＣｒ変換によって輝度と色差の色情報成分を有するカラー画像に変換される。

画像処理装置２０には、カラー画像から規定色の色情報を持ったデータ（画素データ）を特定する色情報特定部２３と、カラー画像内で規定色の色情報を持ったデータを評価する色情報評価部２４とが設けられている。色情報特定部２３では、ＹＣｂＣｒ表示系のカラー画像の色差成分（Ｃｂ、Ｃｒ）から対象物Ｔの規定色の色情報を持ったデータが特定される。色情報評価部２４では、一定領域における規定色の色情報を持ったデータの割合が評価され、対象物Ｔの規定色に相当する色情報を持ったデータが検出される。ここで、規定色の色情報を持ったデータとは、規定色に完全一致したデータに限らず、実質的に規定色と見なせるデータを含んでいる。

画像処理装置２０には、カラー画像から形状情報としてエッジの勾配方向を持ったデータを特定する形状情報特定部２５と、カラー画像内でエッジの勾配方向を持ったデータを評価する形状情報評価部２６とが設けられている。形状情報評価部２６には、対象物Ｔの外形形状に相当するエッジの勾配方向を持ったデータを評価する外形形状評価部２７と、対象物Ｔの内部形状に相当するエッジの勾配方向を持ったデータを評価する内部形状評価部２８とが設けられている。形状情報特定部２５では、ＹＣｂＣｒ表示系のカラー画像の輝度成分（Ｙ）に基づいてエッジ検出が実施されて、形状情報としてエッジの勾配方向を持ったデータが特定される。

形状情報評価部２６では、エッジの勾配方向を持ったデータが外形形状評価部２７及び内部形状評価部２８に入力される。外形形状評価部２７では、例えば、対象物Ｔの外形形状に相当するエッジの勾配方向を持ったデータから得られる円形度が評価される。内部形状評価部２８では、一定領域において対象物Ｔの内部形状に相当するエッジの勾配方向を持ったデータの割合が評価される。これらにより、対象物Ｔの外形形状に相当するエッジの勾配方向を持ったデータ、対象物Ｔの内部形状に相当するエッジの勾配方向を持ったデータがそれぞれ検出される。

さらに、画像処理装置２０には、色情報及び形状情報の各評価結果に基づいてカラー画像内の対象物Ｔを認識する対象物認識部２９と、対象物Ｔの認識結果を車載機器１２に出力する結果出力部３０とが設けられている。対象物認識部２９では、カラー画像で各評価部２４、２７、２８の各評価値が評価指標に近くなるような箇所が対象物Ｔとして認識される。そして、対象物認識部２９で対象物Ｔが認識されると、結果出力部３０から車載機器１２に認識結果が出力されて、車載機器１２では認識結果に基づいてディスプレイ等の報知装置の動作が制御される。

また、本実施の形態においては、色空間変換部２２でＹＣｂＣｒ変換を用いて色空間が変換されたが、この構成に限定されない。ＨＳＩ（Hue Saturation Intensity）変換やＨＳＶ（Hue Saturation Value）変換等の他の変換方法が用いられてもよい。カラー撮像部１５で撮像されたカラー画像がＲＧＢ形式ではなくＹＵＶ形式であれば、色空間の変換処理を省略して、画像入力部２１から色情報特定部２３及び形状情報特定部２５にカラー画像が出力されてもよい。

続いて、上記した撮像装置のハードウェア構成について説明する。図３は、本実施の形態の撮像装置のハードウェア構成を示すブロック図である。

図３に示すように、撮像装置１１で対象物Ｔが撮像されると、被写体光が撮像光学系４１を通じてＣＣＤ（Charge Coupled Device）４３に入射される。撮像光学系４１とＣＣＤ４３の間にはメカシャッタ４２が配置されており、このメカシャッタ４２によってＣＣＤ４３への入射光が遮断可能になっている。ＣＣＤ４３は撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ４３から出力された画像情報は、ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路４４によりノイズ成分が除去され、Ａ／Ｄ変換器４５によりデジタル値に変換された後に画像処理回路４８に出力される。

画像処理回路４８は、画像データを一時格納するＳＤＲＡＭ（Synchronous DRAM）５２を用いて、ＹＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理等の各種画像処理を行う。なお、ホワイトバランス制御処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路４８は、信号処理された画像データに基づき、標識認識等の処理を行う。

信号処理、画像処理が施された画像情報は圧縮伸長回路５３を経由し、Ｉ／Ｆ５４を介して後段の物体認識システム等に送られる。また、ＣＣＤ４３、ＣＤＳ回路４４及びＡ／Ｄ変換器４５は、タイミング信号を発生するタイミング信号発生器４７を介してＣＰＵ（Central Processing Unit）４９によってタイミングが制御されている。さらに、画像処理回路４８、画像圧縮伸長回路５３もＣＰＵ４９によって制御されている。

撮像装置１１において、ＣＰＵ４９はプログラムに従って各種演算処理を行い、プログラム等を格納した読み出し専用メモリであるＲＯＭ（Read Only Memory）５１及び各種処理過程で利用するワークエリア、各種データ格納エリア等を有する読み書き自在のメモリであるＲＡＭ（Random Access Memory）５０等を内蔵し、これらがバスラインによって相互接続されている。このように、画像入力部２１、色空間変換部２２、色情報特定部２３、色情報評価部２４、形状情報特定部２５、外形形状評価部２７、内部形状評価部２８、対象物認識部２９、結果出力部３０は各種処理を実行するプロセッサやメモリ等により構成されている。

続いて、図４から図１０を参照して、画像処理について説明する。図４は、本実施の形態の画像処理のフローチャートの一例を示す図である。図５は、本実施の形態の色情報特定部の特定処理の一例を示す図である。図６は、本実施の形態の色情報評価部の評価処理の一例を示す図である。図７は、本実施の形態のエッジの勾配方向の判別処理の一理を示す図である。図８は、本実施の形態の外形形状評価部の評価処理の一例を示す図である。図９は、本実施の形態の内部形状評価部の評価処理の一例を示す図である。図１０は、本実施の形態の対象物認識部の認識処理の一例を示す図である。図４から図１０では図２の符号を適宜使用して説明する。

なお、以下の説明では、主に車両進入禁止標識を対象物として検出する一例について説明するが、この構成に限定されない。標識の種類に応じて後述する評価領域や評価形状を適宜変更することで、速度制限標識や指定方向外進行禁止標等の車両進入禁止標識以外の標識にも本開示の技術を適用することが可能である。

図４に示すように、カラー撮像部１５から画像処理装置２０にカラー画像が入力されると、画像入力部２１によって一定時間毎に所定の記憶領域に記憶される（ステップＳ０１）。次に、色空間変換部２２によってＲＧＢのカラー画像がＹＣｂＣｒ変換を用いて輝度及び色差の各成分情報を有するカラー画像に変換される（ステップＳ０２）。変換後のカラー画像は色情報特定部２３及び形状情報特定部２５に入力される。色情報特定部２３ではカラー画像の色差成分（Ｃｂ、Ｃｒ）から、対象物Ｔの規定色として標識の基調色の色差成分を持ったデータが特定される（ステップＳ０３）。

例えば、図５Ａに示すように、車両進入禁止標識は赤地に横向きの白線が付されたものであるため、色情報特定部２３ではカラー画像から赤色の色差成分を持ったデータが特定される。この場合、図５Ｂに示すように、各データの色差成分が赤色の許容範囲内か否かで判別されて、許容範囲内のデータと許容範囲外のデータとでカラー画像を二値化することで情報量を削減することが可能である。さらに、二値化後のカラー画像を任意の画素ブロック毎に分けて、各画素ブロック内に含まれる有効画素数に応じて縮小処理を行うことで情報量をさらに削減することが可能である。

次に、色情報評価部２４ではカラー画像内で探索枠３５（図６Ａ参照）を移動させながら、各探索位置で探索枠３５内の一定領域で基調色の色差成分を持ったデータの割合が評価される（ステップＳ０４）。例えば、図６Ｂに示すように、車両進入禁止標識に探索枠３５が合されたときに、標識内の白線を避けた上下２箇所に相当するように、探索枠３５に矩形状の評価領域３９ａ、３９ｂが設定される。カラー画像内で探索枠３５を１画素ずつ移動させる度に、各探索位置で評価領域３９ａ、３９ｂ内で赤色の色差成分を持ったデータ数が算出され、当該データが評価領域３９ａ、３９ｂを占める割合が評価される。

次に、ステップＳ０３の処理と並行して、形状情報特定部２５ではカラー画像の輝度成分（Ｙ）によってエッジ検出が行われて、形状情報としてエッジの勾配方向を持ったデータが特定される（ステップＳ０５）。エッジ検出は既知のＳｏｂｅｌフィルタによって水平方向Ｓ_ｘ、垂直方向Ｓ_ｙのエッジが算出され、それらを合わせたエッジ強度Ｓ_ｘｙが閾値未満の場合はエッジ無しとして扱われる。エッジ強度Ｓ_ｘｙは、例えば、次式（１）で表される。

エッジの方向判別は、例えば、図７に示すような判別処理で実施される。エッジの有無は閾値ｔｈＥｄｇｅとの比較で判別され、水平エッジ及び垂直エッジは係数ｋを用いて判別される。本判別処理によってエッジの有無と共に、エッジの勾配方向が水平方向、垂直方向、左下がり方向、右下がり方向で判別される。このとき、エッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジを０－４の数値で表して、形状情報を３ｂｉｔで保持することができ、メモリ等のリソースを効果的に削減することが可能になっている。

次に、外形形状評価部２７では画像内で探索枠３５（図６Ａ参照）を移動させながら、各探索位置でエッジの勾配方向を用いて円形度が評価される（ステップＳ０６）。例えば、図８に示すように、車両進入禁止標識をエッジの勾配方向でモデル化すると、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジによって円形の外形形状が表され、中央の水平エッジによって帯状の白線で示す内部形状が表されている。標識の外形形状が円形形状であれば、左下がりエッジと右下がりエッジが上下及び左右で対称的となるため、左下がりエッジ、右下がりエッジが出現する座標情報に基づいて円形度が評価される。

より具体的には、勾配方向を記憶した画像を探索枠３５内でＸ方向に１ラインずつ走査して、左下がりエッジ、右下がりエッジが出現するＸ座標が記録される。このＸ座標に対して標識の左上半部であれば、１ライン目の左下がりエッジよりも２ライン目の左下がりエッジの座標値が小さくなり、２ライン目の左下がりエッジよりも３ライン目の左下がりエッジの座標値が小さくなるはずである。逆に標識の右上半部であれば、１ライン目の右下がりエッジよりも２ライン目の右下がりエッジの座標値が大きくなり、２ライン目の右下がりエッジよりも３ライン目の右下がりエッジの座標値が大きくなるはずである。

円の上半部ではＹ方向に向かって左下がりエッジと右下がりエッジのＸ方向の間隔が大きくなるような位置関係が理想的である。逆に円の下半部ではＹ方向に向かって右下がりエッジと左下がりエッジのＸ方向の間隔が小さくなるような位置関係が理想的である。このように、隣り合う２ラインずつペアにして、左下がりエッジ及び右下がりエッジの位置関係が理想的な位置関係、すなわちＸ座標の理想的な大小関係になっているかが評価される。画像内で探索枠３５を１画素ずつ移動させる度に、各探索位置でＸ軸座標の大小関係から外形形状の円形度が求められる。

図の例では、１ライン目の左下がりエッジはＸ方向で６番目の座標、２ライン目の左下がりエッジはＸ方向で４番目の座標であり、探索枠３５の１ライン目と２ライン目では円形の左上半部の条件を満たしている。また、１ライン目の右下がりエッジはＸ方向で１０番目の座標、２ライン目の右下がりエッジはＸ方向で１１番目の座標であり、探索枠３５の１ライン目と２ライン目では円形の右上半部の条件を満たしている。このような円形の左上半部、右上半部、左下半部、右下半部の各条件を満たす度に円形度が１に近づくように評価される。

なお、本実施の形態では、勾配方向を記憶した画像を探索枠３５内でＹ方向に走査して、左下がりエッジ、右下がりエッジが出現するＹ座標を記録して、左下がりエッジ及び右下がりエッジのＹ座標の位置関係から評価することも可能である。この場合は、円の左半部ではＸ方向に向かって左下がりエッジと右下がりエッジのＹ方向の間隔が大きく、円の右半部ではＸ方向に向かって右下がりエッジと左下がりエッジのＹ方向の間隔が小さくなるような位置関係が理想的である。さらに、本実施の形態では、ＸＹの両方向について評価して円の信頼性を高めることも可能である。

次に、ステップＳ０６の処理と並行して、内部形状評価部２８では画像内で探索枠３５（図６Ａ参照）を移動させながら、各探索位置で探索枠３５内の一定領域で内部形状に相当するエッジの勾配方向を持ったデータの割合が評価される（ステップＳ０７）。例えば、図９Ａは、図６Ｂに示すようなもの、すなわち一重円の領域の中央に横方向に延びる帯状の領域を有する車両進入禁止標識のエッジの勾配方向のモデルを示している。車両進入禁止標識は中央の横線を示す水平エッジが特徴であるため、標識に探索枠３５が合されたときに、標識中央に相当するように探索枠３５に矩形状の評価領域３９ｃが設定される。画像内で探索枠３５を１画素ずつ移動させる度に、各探索位置で評価領域３９ｃ内の水平エッジを持ったデータ数が算出され、当該データが評価領域３９ｃを占める割合が求められる。

また、図９Ｂは、二重円の領域の中心に「３０」の数値を有する速度制限標識のエッジの勾配方向のモデルを示している。この速度制限標識をエッジの勾配方向でモデル化したものは、中央領域の文字がエッジの勾配方向によって複雑な分布で表される。この場合、中央の評価領域３９ｄ内でエッジ無しのデータ数が算出され、当該データが中央領域を占める割合が求められる。これにより、円形標識が速度制限標識であることを評価することも可能である。

次に、対象物認識部２９では色情報評価部２４、外形形状評価部２７、内部形状評価部２８の評価結果に基づいてカラー画像内の対象物Ｔとして標識が認識される（ステップＳ０８）。この場合、カラー画像内の探索位置毎に色情報評価部２４、外形形状評価部２７、内部形状評価部２８で評価され、各評価結果が評価指標に合うような探索位置で標識が認識される。例えば、図１０に示すように、色情報評価部２４で基調色が赤色、外形形状評価部２７で外形形状が円形、内部形状評価部２８で内部形状が横線であると評価された探索位置で対象物Ｔとして車両進入禁止標識が認識される。

より詳細には、色情報評価部２４、外形形状評価部２７、内部形状評価部２８で探索位置毎に求められた評価値の合算値から、カラー画像内で最も評価が高くなるような探索位置が求められる。例えば、色情報評価部２４、外形形状評価部２７、内部形状評価部２８の評価結果が各評価指標に合うほど評価値を高くする場合には、各評価値の合算値が極大となるようなカラー画像内の探索位置で標識が認識される。逆に、色情報評価部２４、外形形状評価部２７、内部形状評価部２８の評価結果が各評価指標に合うほど評価値を低くする場合には、各評価値の合算値が極小となるようなカラー画像内の探索位置で標識が認識される。

また、色情報評価部２４、外形形状評価部２７、内部形状評価部２８の各評価値にそれぞれ重み付けを合算させてもよい。この場合、内部形状評価部２８の評価値が、色情報評価部２４及び外形形状評価部２７の評価値よりも高くなるように重み付けをすることで、より認識精度を向上させることも可能である。さらに、色情報評価部２４、外形形状評価部２７、内部形状評価部２８の各評価値に対して閾値を設定して、全ての評価値が閾値条件を満たした場合にのみ、各評価値の合算値を極値（極大値、極小値）として標識の認識に使用するようにしてもよい。

また、カラー画像内の対象物Ｔの大きさは撮像装置１１と対象物Ｔの距離に応じて変化する。このため、上記の各評価処理ではサイズが異なる探索枠３５が用意され、カラー画像に対して複数サイズの探索枠３５が動かされて探索位置毎に評価されている。これにより、対象物Ｔからの撮像距離にバラツキが合っても、対象物Ｔを認識することが可能になっている。なお、速度制限標識を認識した場合には、中央領域に対してテンプレートマッチング等で解析することで文字判別して、速度制限標識から速度制限情報を抽出することも可能である。

次に、標識が認識されると、結果出力部３０から車載機器１２に認識結果が出力される（ステップＳ０９）。そして、車載機器１２では、認識結果として標識情報をディスプレイに表示してドライバに知らせている。なお、車載機器１２では、ディスプレイの表示の代わりに、例えば、スピーカーから標識情報を音声出力してもよいし、ブザーから警告音を出力してもよい。このような画像処理装置２０では、フレームメモリを使用せずにメモリ容量が小さなラインバッファを持つ構成で処理可能であり、色情報、形状情報の特定過程で情報量を削減して省リソースを実現可能である。また、プロセッサによるソフトウェア処理ではなく、ＦＰＧＡ（Field-Programmable Gate Array）によるハードウェア処理でも実現可能である。

以上のように、本実施の形態では、対象物Ｔの規定色の色情報を持ったデータ、対象物Ｔの外形形状の形状情報を持ったデータ、対象物Ｔの内部形状の形状情報を持ったデータが個別の評価指標に基づいて評価される。そして、各評価指標で評価された評価結果を組み合わせることで、規定色の観点、外形形状の観点、内部形状の観点から見てカラー画像内で最も類似した箇所が対象物Ｔとして認識される。よって、テンプレート画像の用意や事前の教師学習なし対象物Ｔを精度良く認識することが可能になっている。

なお、上記した本実施の形態では、撮像装置に画像処理装置が設けられる構成にしたが、この構成に限定されない。画像処理装置は撮像装置と別体に構成されていてもよいし、別の装置に設けられていてもよい。

また、上記した本実施の形態では、外形形状評価部及び内部形状評価部によって形状情報を持ったデータを評価する構成にしたが、この構成に限定されなない。外形形状評価部及び内部形状評価部のいずれか一方によって形状情報を持ったデータを評価する構成にしてもよい。

また、上記した本実施の形態では、円形の標識を認識する構成にしたが、この構成に限定されない。本開示の技術を応用することで三角形状や四角形状の標識を認識することもできる。また、支柱に取り付けたプレートの標識を認識する構成に限定されず、路面に描画された標識を認識する構成でもよい。

また、上記した本実施の形態では、対象物として標識を例示して説明したが、この構成に限定されない。対象物は規定色で着色されて認識対象になるものであれば標識以外でもよい。

また、上記した本実施の形態では、移動体として自動車を例示して説明したが、この構成に限定されない。移動体は、画像処理装置を搭載可能なものであればよく、例えば、航空機、船舶、工場内の特殊車両でもよい。

また、上記した本実施の形態では、機器制御システムが移動体に搭載される構成にしたが、この構成に限定されない。機器制御システムは、画像処理装置による認識結果に応じて機器の動作を制御する構成であれば、移動体以外の他の装置に搭載されてもよい。

また、上記した本実施の形態では、色情報評価部が一定領域における規定色の色情報を持ったデータの割合を評価する構成にしたが、この構成に限定されない。色情報評価部は、カラー画像内で規定色の色情報を持ったデータを評価する構成であれば、どのように色情報を持ったデータを評価してもよい。

また、上記した本実施の形態では、色情報評価部が規定色として１つの色情報（例えば、赤色）を持ったデータを評価する構成にしたが、この構成に限定されない。色情報評価部は、規定色として複数の色情報を持ったデータを評価してもよい。

また、上記した本実施の形態では、外形形状評価部が対象物の外形形状に相当するエッジの勾配方向を持ったデータから得られる円形度を評価する構成にしたが、この構成に限定されない。外形形状評価部は、対象物の外形形状に相当するエッジの勾配方向を持ったデータを評価する構成であれば、どのようにエッジの勾配方向を持ったデータを評価してもよい。

また、上記した本実施の形態では、内部形状評価部が一定領域において対象物の内部形状に相当するエッジの勾配方向を持ったデータの割合を評価する構成にしたが、この構成に限定されない。内部形状評価部は、対象物の内部形状に相当するエッジの勾配方向を持ったデータを評価する構成であれば、どのようにエッジの勾配方向を持ったデータを評価してもよい。

また、上記した本実施の形態では、形状情報としてエッジの勾配方向を例示して説明したが、この構成に限定されない。対象物の外形形状や内部形状を評価可能な形状情報であれば、エッジの勾配方向以外の形状情報でもよい。

また、上記した本実施の形態では、対象物認識部が各評価部の評価値の合算値から対象物を認識する構成にしたが、この構成に限定されない。対象物認識部は、各評価部の評価結果に基づいて対象物を認識する構成であれば、どのように対象物を認識してもよい。

また、本実施の形態のプログラムは記憶媒体に記憶されてもよい。記憶媒体は、特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記憶媒体であってもよい。

また、本実施の形態及び変形例を説明したが、他の実施の形態として、上記実施の形態及び変形例を全体的又は部分的に組み合わせたものでもよい。

また、本実施の形態は上記の実施の形態及び変形例に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらに、技術の進歩又は派生する別技術によって、技術的思想を別の仕方で実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。

下記に、上記の実施の形態における特徴点を整理する。
上記実施の形態に記載の画像処理装置は、カラー画像から規定色で着色された対象物を認識する画像処理装置であって、カラー画像から規定色の色情報を持ったデータを特定する色情報特定部と、カラー画像から形状情報を持ったデータを特定する形状情報特定部と、カラー画像内で規定色の色情報を持ったデータを評価する色情報評価部と、カラー画像内で形状情報を持ったデータを評価する形状情報評価部と、色情報及び形状情報の各評価結果に基づいて対象物を認識する対象物認識部とを備えたことを特徴とする。

上記実施の形態に記載の画像処理方法は、カラー画像から規定色で着色された対象物を認識する画像処理方法であって、カラー画像から規定色の色情報を持ったデータを特定するステップと、カラー画像から形状情報を持ったデータを特定するステップと、カラー画像内で規定色の色情報を持ったデータを評価するステップと、カラー画像内で形状情報を持ったデータを評価するステップと、色情報及び形状情報の各評価結果に基づいて対象物を認識するステップとを有することを特徴とする。

これらの構成によれば、規定色の色情報を持ったデータと形状情報を持ったデータが個別の評価指標に基づいて評価されて、それぞれの評価結果を組み合わせることで、色の観点及び形状の観点に基づいてカラー画像から精度よく対象物を認識することができる。

上記実施の形態に記載の画像処理装置において、色情報評価部は、一定領域における規定色の色情報を持ったデータの割合を評価する。この構成によれば、対象物の規定色を精度よく評価することができる。

上記実施の形態に記載の画像処理装置において、形状情報評価部は、対象物の外形形状に相当する形状情報を持ったデータを評価する外形形状評価部と、対象物の内部形状に相当する形状情報を持ったデータを評価する内部形状評価部とを有する。この構成によれば、規定色の色情報の評価結果、対象物の外形形状の評価結果、対象物の内部形状の評価結果を組み合わせることで、より精度よく対象物を認識することができる。

上記実施の形態に記載の画像処理装置において、外形形状評価部は、対象物の外形形状に相当する形状情報を持ったデータから得られる円形度を評価する。この構成によれば、円形形状の対象物の外形形状を精度よく評価することができる。

上記実施の形態に記載の画像処理装置において、内部形状評価部は、一定領域において対象物の内部形状に相当する形状情報を持ったデータの割合を評価する。この構成によれば、対象物の内部形状を精度よく評価することができる。

上記実施の形態に記載の画像処理装置において、形状情報はカラー画像の輝度から特定されるエッジの勾配方向である。この構成によれば、エッジの勾配方向によって対象物の特徴形状を認識することができる。

上記実施の形態に記載の画像処理装置において、色情報特定部は、カラー画像を二値化して規定色の色情報を持ったデータを特定する。この構成によれば、情報量を削減して処理負担を軽減することができる。

上記実施の形態に記載の画像処理装置において、対象物が標識であり、規定色が標識の基調色である。この構成によれば、カラー画像から規定の基調色の標識を精度よく認識することができる。

上記実施の形態に記載の撮像装置は、対象物のカラー画像を撮像するカラー撮像部と、上記の画像処理装置とを備えている。この構成によれば、撮像装置によって対象物を認識することができる。

上記実施の形態に記載の機器制御システムは、上記の撮像装置と、撮像装置による認識結果に応じて動作が制御される機器とを備えている。この構成によれば、機器に対して対象物の認識結果に適した動作を実施させることができる。

上記実施の形態に記載の移動体は、機器は車載機器であり、上記の機器制御システムによって車載機器の動作が制御される。この構成によれば、移動体の移動中に車載機器に対して対象物の認識結果に適した制御を実施させることができる。

上記実施の形態に記載のプログラムは、カラー画像から規定色で着色された対象物を認識する画像処理装置のプログラムであって、カラー画像から規定色の色情報を持ったデータを特定するステップと、カラー画像から形状情報を持ったデータを特定するステップと、カラー画像内で規定色の色情報を持ったデータを評価するステップと、カラー画像内で形状情報を持ったデータを評価するステップと、色情報及び形状情報の各評価結果に基づいて対象物を認識するステップとを画像処理装置に実行させる。この構成によれば、画像処理装置にプログラムをインストールすることで、画像処理装置に複数の評価指標に基づいて、カラー画像から精度よく対象物を認識する機能を追加することができる。

１０：自動車（移動体）
１１：撮像装置
１２：車載機器（機器）
１５：カラー撮像部
２０：画像処理装置
２３：色情報特定部
２４：色情報評価部
２５：形状情報特定部
２６：形状情報評価部
２７：外形形状評価部
２８：内部形状評価部
２９：対象物認識部
Ｔ：対象物

Claims

カラー画像から規定色で着色された対象物を認識する画像処理装置であって、
カラー画像から規定色の色情報を持ったデータを特定する色情報特定部と、
カラー画像から形状情報を持ったデータを特定する形状情報特定部と、
カラー画像内で規定色の色情報を持ったデータを評価する色情報評価部と、
カラー画像内で形状情報を持ったデータを評価する形状情報評価部と、
色情報及び形状情報の各評価結果に基づいて対象物を認識する対象物認識部とを備え、
前記形状情報評価部は、外形形状評価部と内部形状評価部とを備え、
前記外形形状評価部は、前記カラー画像の輝度に基づいて、前記対象物の外形形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した外形形状情報を持ったデータを評価し、
前記内部形状評価部は、前記カラー画像の輝度に基づいて、前記対象物の内部形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した内部形状情報を持ったデータを評価する、
ことを特徴とする画像処理装置。
前記色情報評価部は、一定領域における規定色の色情報を持ったデータの割合を評価することを特徴とする請求項１に記載の画像処理装置。
前記外形形状評価部は、対象物の外形形状に相当する形状情報を持ったデータから得られる円形度を評価することを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記内部形状評価部は、一定領域において対象物の内部形状に相当する形状情報を持ったデータの割合を評価することを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
前記色情報特定部は、カラー画像を二値化して規定色の色情報を持ったデータを特定することを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
対象物が標識であり、規定色が標識の基調色であることを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
前記内部形状評価部の評価値が、前記色情報評価部及び前記外形形状評価部の評価値よりも高くなるように重み付けを行う重み付け部をさらに有することを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
前記色情報評価部、前記外形形状評価部、前記内部形状評価部の各評価値に対して閾値を設定して、全ての評価値が閾値条件を満たした場合にのみ、各評価値の合算値を極値として、対象物の認識に使用する重み付け部をさらに有することを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
対象物のカラー画像を撮像するカラー撮像部と、
請求項１から請求項８のいずれかに記載の画像処理装置とを備えたことを特徴とする撮像装置。
請求項９に記載の撮像装置と、
前記撮像装置による認識結果に応じて動作が制御される機器とを備えたことを特徴とする機器制御システム。
前記機器は車載機器であり、
請求項１０に記載の機器制御システムによって前記車載機器の動作が制御されることを特徴とする移動体。
カラー画像から規定色で着色された対象物を認識する画像処理方法であって、
カラー画像から規定色の色情報を持ったデータを特定するステップと、
カラー画像から形状情報を持ったデータを特定するステップと、
カラー画像内で規定色の色情報を持ったデータを評価するステップと、
カラー画像内で形状情報を持ったデータを評価するステップと、
色情報及び形状情報の各評価結果に基づいて対象物を認識するステップとを有し、
形状情報の評価ステップは、外形形状の評価ステップと内部形状の評価ステップとを有し、
外形形状の評価ステップでは、前記カラー画像の輝度に基づいて、前記対象物の外形形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した外形形状情報を持ったデータを評価し、
内部形状の評価ステップでは、前記カラー画像の輝度に基づいて、前記対象物の内部形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した内部形状情報を持ったデータを評価する、
ことを特徴とする画像処理方法。
カラー画像から規定色で着色された対象物を認識する画像処理装置のプログラムであって、
カラー画像から規定色の色情報を持ったデータを特定するステップと、
カラー画像から形状情報を持ったデータを特定するステップと、
カラー画像内で規定色の色情報を持ったデータを評価するステップと、
カラー画像内で形状情報を持ったデータを評価するステップと、
色情報及び形状情報の各評価結果に基づいて対象物を認識するステップとを有し、
形状情報の評価ステップは、外形形状の評価ステップと内部形状の評価ステップとを有し、
外形形状の評価ステップでは、前記カラー画像の輝度に基づいて、前記対象物の外形形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した外形形状情報を持ったデータを評価し、
内部形状の評価ステップでは、前記カラー画像の輝度に基づいて、前記対象物の内部形状に相当するエッジの勾配方向をエッジ無し、水平エッジ、垂直エッジ、左下がりエッジ、右下がりエッジの数値で表した内部形状情報を持ったデータを評価する、
ような各処理ステップを前記画像処理装置に実行させることを特徴とするプログラム。