JP6631691B2 - 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラムに関する。

自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、人や自動車を高速に検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車も既に発売されている。自動的にブレーキをかけるには人や他車までの距離を正確に測定する必要があり、そのためには、ミリ波レーダ、レーザーレーダによる測距、ステレオカメラによる測距などが実用化されている。

ステレオカメラによる測距においては、一般的に左右２つの撮像画像から視差演算処理を実行して視差画像を生成する。この視差画像上に出現する視差値を使うことにより、撮像画像に映っている物体までの距離情報を計測することができる。また、視差画像の視差塊の大きさを用いて、物体の高さや横幅、物体の奥行き情報を検知することができる。また、視差と座標の関係性により、三次元的な物体の存在位置を把握することもできる。

ステレオカメラによる測距に関し、例えば特許文献１には、監視領域を含む景色を撮像し、一対の画像を時系列的に出力するステレオカメラと、一対の画像に基づいて、ステレオマッチングにより距離データを算出するステレオ画像処理部と、距離データに基づいて、監視領域内に存在する立体物を認識する認識部等を有する移動物体検出装置が開示されている。

特開２００６−１３４０３５号公報

本発明は、対象物の認識に係る処理速度を速め、対象物の誤認識を低減させることを目的とする。本発明の画像処理装置は、ｘ座標情報と距離情報を有し、頻度値が対応付けられた画素で構成される第１のマップを生成する第１のマップ生成手段と、第１のマップにおいて所定の条件を満たす画素である注目画素を探索する探索手段と、第１のマップにおいて注目画素の周辺に位置する画素を、注目画素とともに有効化する有効化手段と、を備えることを特徴とする。

本発明によれば、対象物の認識に係る処理速度を速め、対象物の誤認識を低減させることが可能になる。

本発明の実施形態における機器制御システム概略構成図である。 本発明の実施形態における撮像装置の概略構成図である。 本発明の実施形態における画像処理装置の機能ブロック図である。 本発明の実施形態におけるＶマップ生成処理について説明する模式図である。 本発明の実施形態におけるＶマップ生成処理について説明する模式図である。 本発明の実施形態におけるＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるリアルＵマップ生成処理について説明する模式図である。 本発明の実施形態におけるリアルＵマップ生成処理について説明する模式図である。 本発明の実施形態における画像処理について説明する模式図である。 本発明の実施形態における画像処理について説明する模式図である。 本発明の実施形態における有効化範囲の変更処理例について説明する模式図である。 本発明の実施形態における有効化範囲の変更処理例について説明する模式図である。 本発明の実施形態における処理手順を示すフローチャートである。 従来技術の課題を説明するための模式図である。 従来技術の課題を説明するための模式図である。 従来技術の課題を説明するための模式図である。

本発明の実施形態における画像処理装置に関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化乃至省略する。また、以下に記載する実施形態は本発明の最良の形態であって、本発明に係る特許請求の範囲を限定するものではない。

本実施形態においては、画像処理装置が、移動体としての車両に取り付けられたステレオカメラ等の撮像装置により撮像された、該車両の前方を走行する他の車両等の物体を認識する例を用いて説明する。他方、移動体としては車両に限定されず、船舶、航空機等にも適用可能である。

そして、例えば画像処理装置による処理結果を用いて車両の運行等を制御する。なお、ここでの制御には車両等それ自体を制御する概念に加え、車両等が備える所定の機器、例えばブレーキシステム、操舵システム、エンジン制御システム等の各ユニットを制御する概念も含まれる。

また、画像処理装置は例えば情報処理装置等として単独で構成されるものであっても、画像処理装置が有する処理機能がステレオカメラ等の撮像装置が有する処理基板等に組み込まれて構成されるものであってもよい。

＜本実施形態における機器制御システムについて＞
本実施形態における機器制御システムについて図１を参照して説明する。ここでは、機器として車両を制御するシステムを例にその概略を説明する。車両１は矢印Ａ方向がフロントノーズであるとする。車両１は、撮像ユニット２、画像処理ユニット３、制御ユニット４を備えている。撮像ユニット２は例えば車内のルームミラー付近に設置され、フロントガラス５越しに車両１の前方を走行する他の車両等を撮像する。

撮像ユニット２により撮像された画像に基づいて画像処理ユニット３が物体を認識し、その認識結果を利用して制御ユニット４により車両の走行スピード、他の車両との走行間隔、走行レーン、ブレーキのタイミング等を制御する。なお、撮像ユニット、画像処理ユニット、制御ユニットなる用語は、ここでの記載内容と他の記載内容とを区別するために便宜的につけたものであり、ユニットとしたことについて他意はない。すなわち、撮像ユニット、画像処理ユニット、制御ユニットは、それぞれ、撮像装置又は撮像手段、画像処理装置又は画像処理手段、制御装置又は制御手段と読み替えてもよい。

＜本実施形態における撮像装置について＞
本実施形態における撮像装置について図２を参照して説明する。本実施形態における撮像装置はステレオカメラ１０と、画像処理基板２０で構成されている。

ステレオカメラ１０は、２台のカメラが平行に組み付けられて構成される。ステレオカメラ１０は、左レンズ１１Ｌ、右レンズ１１Ｒに対応して、画像センサ１２Ｌ及び画像センサコントローラ１３Ｌ、画像センサ１２Ｒ及び画像センサコントローラ１３Ｒを備えている。なお、本実施形態においては、２台のカメラによりステレオカメラ１０が構成されているが、本発明としては、３台以上のカメラで構成されることを妨げない。

画像センサコントローラ１３Ｌ、１３Ｒは、画像センサ１２Ｌ、１２Ｒの露光制御、Ａ／Ｄ変換、画像読み出し制御、外部回路との通信、画像データの送信の役割を担う。ステレオカメラ１０は、画像処理基板２０とデータバス２７、シリアルバス２８で接続されている。ステレオカメラ１０から、輝度画像データと視差画像データが出力される。

ステレオカメラ１０から出力された輝度画像データはデータバス２７を介して画像センサ１２Ｌ、１２Ｒから画像処理基板２０に転送される。また、シリアルバス２８は、画像処理基板２０からのセンサ露光制御値変更、画像読み出しパラメータ変更、各種設定データの送受信を行う。

画像処理基板２０は、ＣＰＵ２１、ＦＰＧＡ２２、ＲＡＭ２３、ＲＯＭ２４、シリアルＩ／Ｆ２５、データＩ／Ｆ２６、データバス２７、シリアルバス２８を備えている。

ＣＰＵ２１は画像処理基板２０の全体の動作制御、画像処理、及び画像認識処理を実行する。ＦＰＧＡ２２はＲＡＭ２３に保存された画像データに対してリアルタイム性が要求される処理を実行する。ＦＰＧＡ２２は、例えばガンマ補正、歪み補正すなわち左右画像の平行化、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ２３に書き戻す。

ＣＰＵ２１はステレオカメラ１０の画像センサコントローラ１３Ｌ、１３Ｒの制御及び画像処理基板２０の全体的な制御を担う。また、ＣＰＵ２１は、路面形状検出、ガードレール検出、オブジェクト検出を実行するプログラムをＲＯＭ２４からロードして、ＲＡＭ２３に蓄えられた輝度画像及び視差画像を入力として各種処理を実行する。さらに、ＣＰＵ２１は、検出データをシリアルＩ／Ｆ２５又はデータＩ／Ｆ２６から外部へ出力する。

ＣＰＵ２１は、処理の実行に際し、データＩ／Ｆ２６を利用して、車速、加速度、舵角、ヨーレートなど車両の情報を入力して路面形状検出などの各種処理のパラメータとして使用する。外部に出力されるデータは自動緊急ブレーキや自動速度制御等の車両の制御を実行するための入力データとして使用される。なお、ＣＰＵ２１やＦＰＧＡ２２で実現される機能の一部は、画像処理基板２０の外部に持たせてもよい。

＜本実施形態における画像処理装置の機能ブロックについて＞
本実施形態における画像処理装置の機能ブロックについて図３を参照して説明する。本実施形態における画像処理装置３０は、図３に示すように、第１のマップ生成部３１、探索部３２、有効化部３３、及び第２のマップ生成部３４を備えて構成されている。

本実施形態における機能ブロックを説明する前提として、画像処理装置３０が、２つの撮像手段である２台のカメラからなるステレオカメラ１０により撮像された撮像画像から視差画像を生成する処理について説明する。本処理は、図２に示したＦＰＧＡ２２によりその機能が実現される。

より具体的には、画像処理装置３０は、ステレオカメラ１０から取得した輝度画像データから視差画像を得るために、ステレオカメラ１０で撮像した撮像画像間の対応画像部分の視差値を演算する。

ここでの視差値とは、ステレオカメラ１０で撮像した一方の画像を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。そして、三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。視差値は距離値と等価として扱えるため、本実施形態においては、視差画像を距離画像の一例として、また、視差情報を距離情報の一例として説明する。

ステレオカメラ１０からは撮影画像として輝度画像データが出力されるが、このときステレオカメラ１０がカラーの場合は、ＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を行う。例えば以下の式〔１〕により輝度信号を得る。

Ｙ＝０.３Ｒ＋０.５９Ｇ＋０.１１Ｂ・・・〔１〕
なお、ステレオカメラ１０から取得した輝度画像データに対して、画像処理装置３０は、平行化画像生成処理を行う。この平行化画像生成処理は、ステレオカメラ１０を構成する２つのカメラにおける光学系の歪みや左右のカメラの相対的な位置関係から、各カメラから出力されるステレオ画像を、２つのカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する処理である。

このように平行化画像生成処理を行った後、画像処理装置３０は、視差画像データを生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つのカメラのうちの一方のカメラから取得した輝度画像データを基準画像データとし、他方のカメラから取得した輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。

具体的には、画像処理装置３０は、基準画像データのある行について、一つの注目画素を中心とした複数画素、例えば１６画素×１画素からなるブロックを定義する。一方、画像処理装置３０は、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。

そして、画像処理装置３０は、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、画像処理装置３０は、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。

マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値である輝度値を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値である輝度値と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値である輝度値との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があるといえる。

画像処理装置３０でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）などの方法を用いることができる。

なお、マッチング処理では画素単位での視差値しか算出できないため、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。ただし、このサブピクセルレベルの推定視差値には誤差が発生するため、この推定誤差を減少させるＥＥＣ（推定誤差補正）などを用いてもよい。

第１のマップ生成部３１は、ｘ、ｙの座標情報を有し、かつ、距離情報を保有する画素で構成される距離画像から、ｘ座標情報と距離情報を有し、頻度値が対応付けられた画素で構成される第１のマップを生成するマップ生成手段である。第１のマップ生成部３１は、図２に示したＣＰＵ２１によりその機能が実現される。本実施形態において「第１のマップ」はＵマップに相当するが、後述する「第２のマップ」と便宜上区別するための名称にすぎない。

また、第１のマップ生成部３１は、第１のマップを生成するにあたり、Ｖマップを生成する。さらに、第１のマップ生成部３１は、第１のマップから、第１のマップのｘ軸方向を実距離に変換した第２のマップを生成する。本実施形態において「第２のマップ」は、リアルＵマップに相当するが、前述の「第１のマップ」と便宜上区別するための名称にすぎない。なお、本実施形態においては、複数のマップは互いに順序立てて作成されるものとして説明しているが、これに限られない。例えば、第２のマップを、２つの撮像手段によって得られる２つの撮像画像から直接生成しても良い。

第１のマップ生成部３１によるＶマップ生成処理について図４Ａ−４Ｂを参照して説明する。第１のマップ生成部３１は、生成された視差画像に基づいてＶマップを生成する。Ｖマップの生成は、視差画像における路面位置を推定し、路面上に存在する物体を認識するために行われる。路面位置を特定することで路面からの高さ情報を得ることができ、路面上に存在する物体の大きさを特定することができる。

視差画像データに含まれる各視差画像データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ、ｙ、ｄ）で示される。第１のマップ生成部３１は、この組（ｘ、ｙ、ｄ）のうち、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度を設定して、２次元のヒストグラムを生成する。この２次元のヒストグラムがＶマップに相当する。つまり、第１のマップ生成部３１は、視差画像の各画素において、（ｄ、ｙ）を持つときにその度数を一つカウントアップする。

図４Ａは、路面１０３上を車両１０１が矢印Ｃ方向に走行しており、路面１０３の左側に電柱１０２が存在する様子を撮像した撮像画像である。これを第１のマップ生成部３１により生成したＶマップが図４Ｂである。図４Ｂに示すように、視差画像からＶマップに変換するとき、路面から一定の高さにある視差値をＶマップ上に対応付けてクラスタリングすることによって、路面上の物体を認識することができる。クラスタリングにより、Ｖマップ上において車両１０１ｖ、電柱１０２ｖ、路面１０３ｖを認識することができる。

また、視差値をＶマップ上に対応付ける領域（以下「投票領域」という。）を設定する必要がある。本実施形態における図４Ｂに斜線で示すＢ領域は、路面１０３より下の部分を示している。路面１０３より下の部分において視差が検出されることはないため、Ｂ領域には視差値の対応付けはされない。その他、カメラを搭載した車両の走行状態によって、路面推定範囲が変化すること等を考慮して投票領域を決定することが好ましい。

また、第１のマップ生成部３１は、路面１０３の形状を検出する路面形状検出処理を行う。これは、Ｖマップにおいて路面と推定される位置を直線近似する処理である。直線近似の方法としては、例えば最小二乗法やハフ変換を用いればよい。例えば、路面が平坦な場合は一本の直線で近似可能であるが、途中で勾配が変わる場合には、マップの区間を分割して精度よく直線近似する必要がある。

なお、Ｖマップにおいて路面形状検出処理を行う場合、上記のように投票領域の制限を行っても、視差の大きい領域と視差の小さい領域の２領域に分けて路面形状検出を行ってもよい。

第１のマップ生成部３１は、路面１０３の高さを算出してテーブル化する路面高さテーブル算出処理を行う。Ｖマップから路面を表す直線式が得られ、視差ｄが決まればそのときのｙ座標が決定される。このｙ座標が路面の高さとなり、これを必要な視差の範囲でテーブル化する。

次に、第１のマップ生成部３１によるＵマップ生成処理の概略について図５Ａ−５Ｃを参照して説明する。第１のマップ生成部３１は、例えばガードレールや路面に沿った立ち壁等の存在を推定するためにＵマップを生成する。第１のマップ生成部３１は、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ、ｙ、ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を生成する。この２次元ヒストグラム情報がＵマップである。

本実施形態においては、第１のマップ生成部３１は、上述の路面高さテーブルによってテーブル化された各路面部分の高さに基づいて、路面からの高さが所定の高さの範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ、ｙ、ｄ）について頻度Ｕマップを生成する。

図５Ａは、片側１車線の道路上のうち、左車線を車両１０１ａが矢印Ｄ方向に走行し、右車線を車両１０１ｂが矢印Ｅ方向に走行している状態を撮像した撮像画像である。また、道路両脇には、ガードレール１０５ａ、１０５ｂが設置されている。

図５Ｂは、図５Ａに示す撮像画像から変換された頻度Ｕマップを示す図である。ガードレール１０５ａ、１０５ｂは左右両端から中央上部に延びる直線上になる。ここでは、Ｕマップ変換後のガードレール１０５ａ、１０５ｂを１０５ａｕ、１０５ｂｕと表記している。

他方、車両１０１ａ、車両１０１ｂはガードレール１０５ａｕ、１０５ｂｕの間で、水平線分と、車の側面が見えて視差が検出されている場合は斜め線が水平線分に連結した形状となる。ここでは、Ｕマップ変換後の車両１０１ａ、車両１０１ｂを１０１ａｕ、１０１ｂｕと表記している。

図５Ｃは、高さＵマップを示した図である。第１のマップ生成部３１は、頻度Ｕマップの生成と同時に高さＵマップを生成する。第１のマップ生成部３１は、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ、ｙ、ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を生成する。この２次元ヒストグラム情報が高さＵマップである。このときの高さの値は路面からの高さが最高のものである。

図５Ｃにハッチングの濃さで分けて示すように、車両１０１ａｕ、１０１ｂｕのハッチングはガードレール１０５ａｕ、１０５ｂｕのそれより濃くなっており、車両１０１ａｕ、１０１ｂｕの高さはガードレール１０５ａｕ、１０５ｂｕの高さよりも大きくなる。これにより物体の高さ情報を物体認識に使用することができる。

第２のマップ生成部３４は、Ｕマップのｘ軸方向を実距離に変換したリアルＵマップを生成する第２のマップ生成手段である。リアルＵマップ生成処理について図６Ａ−６Ｂを参照して説明する。リアルＵマップは、上述したＵマップの横軸を画像の画素単位から実際の距離単位に変換し、縦軸の視差値を距離に応じた間引き率が適用された間引き視差に変換したものである。なお、図６Ａは図５Ｂと同じ図である。ここでは横軸を実距離に変換した例を示しているが、実距離相当の単位に変換できればよい。

縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、最近距離（１０ｍ未満）については、１／８に間引いたものである。

つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差情報が少ない、距離の分解能も小さいため間引きを少なくし、近距離の場合は物体が大きく写るため、視差情報が多く距離の分解能も大きいため間引きを多くする。

図６Ｂは第２のマップ生成部３４により生成されたリアルＵマップの例である。本図は、路面や路面上を走行する車両等を上から俯瞰したような状態となっている。ガードレール１０５ａｕ、１０５ｂｕは垂直の線状で表され、変換後のガードレール１０５ａｕ、１０５ｂｕを１０５ａｒｕ、１０５ｂｒｕとしている。また、車両１０１ａｕ、１０１ｂｕの形も実際の形状に近いものに変換されている。変換後の車両１０１ａｕ、１０１ｂｕを１０１ａｒｕ、１０１ｂｒｕと表記している。

なお、図５Ｃ同様、リアルＵマップについても頻度マップだけでなく、高さリアルＵマップを生成することができる。

探索部３２は、Ｕマップにおいて所定の条件を満たす画素である注目画素を探索する探索手段である。所定の条件とは、例えば、探索した画素が保有する高さ情報が所定の閾値以上であり、探索した画素を含む周辺領域の画素密度が所定の密度閾値以上である等の条件である。

具体的には、探索された画素を含めた所定の範囲にマスク処理を施し、同マスク内に所定の閾値以上の画素が存在する場合に、探索された画素を注目画素とすることが好ましい。例えば探索された画素を含む周辺の画素領域に５×５ピクセルのマスクを設定した場合、同マスク内に６ピクセル以上の画素が存在する場合に、探索された画素を注目画素とすればよい。また、所定の閾値以上の画素が存在する場合に限らず、同マスク内の所定割合以上の領域を複数の画素が占めている場合に、探索された画素を注目画素としてもよい。
例えば、探索された画素を含むマスク内の５０％以上の領域を複数の画素が占めている場合に、探索された画素を注目画素とすればよい。

また、本実施形態においては、探索部３２は、Ｕマップのｙ軸方向に沿ってステレオカメラ１０に近い側から遠い側に向かって注目画素を探索する。ステレオカメラに近い側から探索するのは、本実施形態においては、ステレオカメラ等の撮像視点と距離が近い画素を注目画素として捉えたいからである。注目画素がステレオカメラから近い側にあるか否かは、当該画素が保有する距離情報で判定できる。そして、ステレオカメラの撮像視点と距離が近い画素を注目画素として判定するために上記の距離閾値等を用いればよい。

また、本実施形態において、探索部３２はＵマップにおいて画素列ごとに探索された画素より遠い側の画素を非探索対象とする。つまり、探索部３２は、ある画素列において注目画素を探索した場合、その画素列についての画素の探索は行わず、次の画素列において画素の探索を行う。これにより、探索対象の画素列において探索された注目画素以降の探索は行わないため、画素探索に要する時間を削減できる。よって、処理速度の高速化を図ることが可能になる。実際の処理の一例としては、注目画素が保有する距離情報が上記距離閾値を越えているものを非探索対象等とすればよい。

有効化部３３は、Ｕマップにおいて注目画素の周辺に位置する画素を、注目画素とともに有効化する有効化手段である。本実施形態において「有効化」とは、探索部３２により探索された画素を、対象物を認識するための画素として採用または決定等することをいう。

本実施形態によれば、探索部３２により画素列ごとに探索された、注目画素について有効化処理を行い、探索された注目画素より遠い画素は上述の通り探索されず、よって有効化されることもない。よって、従来は対象物でない物体に相当する画素や、誤マッチングによる画素まで処理対象としていたところ、本実施形態では、そのような画素に対する処理は省略されるため、処理の高速化とともに対象物の誤認識を低減することができる。

また、有効化部３３は、探索部３２により探索された注目画素のｙ軸方向における第１の範囲内に位置する画素を有効化する。これは、対象物を認識するためには、対象物の大きさに見合う画素塊として有効化することが好ましいからである。

また、有効化部３３は、注目画素の距離情報に応じて第１の範囲を変更する。例えば、撮像視点からある一定の距離までの近距離領域における注目画素の距離のｍ％の画素領域を有効化範囲とすればよい。これに対して上記の一定の距離を超える撮像視点から遠い遠距離領域における注目画素の距離の２ｍ％の画素領域を有効化範囲とすればよい。遠距離領域では、視差の分散から画素が伸びる傾向があるため、近距離領域より長い領域を有効化範囲とすることが好ましい。

他方、有効化部３３は、リアルＵマップに変換された注目画素を、リアルＵマップ上で有効化することもできる。この場合、有効化部３３は、リアルＵマップに変換された注目画素のｘ軸方向における第２の範囲内に位置する画素を有効化する。そして、有効化部３３は、注目画素の距離情報が小さいときに、第２の範囲を大きくすることもできる。例えば、撮像視点からある一定の距離までの近距離領域における注目画素の幅の２ｎ％の画素領域を有効化範囲とすればよい。これに対して上記の一定の距離を超える撮像視点から遠い遠距離領域における注目画素の幅のｎ％の画素領域を有効化範囲とすればよい。なお、注目画素の周辺に位置する画素を追加画素として有効化してもよい。近距離領域では、物体が大きく写るため、視差データが多く、距離分解能も大きい。近距離領域では視差がばらける傾向があるため、近距離領域における有効化範囲を遠距離領域の有効化範囲より大きくすることが好ましい。

上記のように、有効化部３３は、探索部３２によりＵマップにおいて探索された画素がリアルＵマップ上に変換された変換後の画素を有効化することが好ましい。なお、このことはＵマップにおいて探索された画素をＵマップ上で有効化することを妨げるものではない。

一方、Ｕマップにおいて探索された画素をＵマップ上で有効化した後、有効化された画素をリアルＵマップ上に変換した場合、リアルＵマップ上で有効化された画素塊に歪みが生じたり、変換処理に時間がかかることがある。よって、Ｕマップにおいて探索された画素を注目画素としてリアルＵマップに変換してから変換後の画素を有効化処理することにより、処理精度を高く、処理時間も軽減させることができる。

なお、有効化部３３による注目画素の有効化処理の後、画像処理装置３０は、対象物の認識処理を行う。リアルＵマップで有効化した画素塊の位置、幅と最小視差から視差画像で認識すべき範囲を決定することができる。本実施形態では、上述の通り注目画素が有効化され、注目画素以外の非探索画素については有効化されないため、有効化した画素塊等から決定される認識範囲には、認識精度を低下させる要素が含まれず、その結果、誤認識を低減することが可能になる。

＜本実施形態における画像処理の具体例について＞
本実施形態における画像処理について図７Ａ−７Ｂに係る具体例を参照して説明する。説明の前提として、従来技術における課題についても図１０Ａ−１０Ｃに示す具体例を参照して説明する。図１０Ａは、図５Ａに示した撮像画像のガードレール１０５ａ、１０５ｂ外側に樹木２０１ａ、２０１ｂを追加して描かれたものである。

図１０Ｂは、図１０Ａの撮像画像を基に生成された視差画像から生成したＵマップを示す図である。図１０Ｂには、樹木２０１ａ、２０１ｂに対応する画素領域２０１ａｕ、２０１ｂｕが表示されている。

図１０Ｃは、図１０ＢのＵマップから変換されたリアルＵマップを示す図である。図１０Ｃに示すように、Ｕマップにおける画素領域２０１ａｕ、２０１ｂｕに対応する画素領域２０１ａｒｕ、２０１ｂｒｕが表示されている。

上述において、従来はＵマップ上の全ての領域について画素探索を行っていたため、ガードレール１０５ａ、１０５ｂより外側の樹木２０１ａ、２０１ｂに対応する画素領域２０１ａｕ、２０１ｂｕについても探索対象としていた。道路を走行する車両が必要とする情報は、通常は前方を走行する他の車両や道路を横断する人などの情報であり、ガードレール外の樹木の情報は不要であり、樹木等も探索対象とすれば、それだけ処理時間がかかる。

そこで、本実施形態においては、図７Ａに示すように、Ｕマップのｙ軸方向に図の左の画素列から順に、図の下側の撮影視点から図の上側の遠距離方向に向かって（矢印参照）、探索部３２が注目画素を探索する。そして、上述した所定の条件を満たす注目画素を探索すると（濃いハッチング部参照）、これを図７Ｂに示すリアルＵマップ上に変換し、有効化部３３が変換後の画素の周辺領域の画素を有効化する。なお、図７Ｂ有効化後の画素を示したものであるが、図７Ａに示す各画素と対応するものではなく
、便宜的に示したものにすぎない。

本実施形態では、注目画素以降の画素（薄いハッチング部参照）は非探索画素として、探索対象としないことにより、その分の処理時間を低減することができる。また、非探索画素として、注目画素以降の画素をそもそも探索対象としないため、リアルＵマップ上に変換されることもなく、仮に変換された場合の処理結果を使用した場合における誤認識を低減することができる。

＜本実施形態における有効化範囲の変更処理例について＞
本実施形態における有効化範囲の変更処理例について図８Ａ−８Ｂを参照して説明する。まず、撮影視点から遠距離領域における注目画素ＰＦについては、近距離領域における注目画素ＰＮのより、有効化範囲を大きくする処理について図８Ａを参照して説明する。本例では、符号ｄｎを便宜的に近距離と遠距離との境界線とする。すなわち、ｄｎより下側（手前側）を近距離領域とし、ｄｎより上側（奥側）を遠距離領域とする。

近距離領域における注目画素ＰＮについては、その距離のｍ％の領域を有効化範囲とする。他方、遠距離領域における注目画素ＰＦについては、その距離の２ｍ％の領域を有効化範囲とする。すなわち、遠距離領域における注目画素ＰＦの有効化範囲は、近距離領域における注目画素ＰＮの有効化範囲より大きい。視差が分散し、画素が伸びやすい遠距離領域では、ｙ軸方向の有効化範囲を大きくすることで誤認識を低減させ、遠距離領域のような懸念のない近距離領域では、ｙ軸方向の有効化範囲を小さくすることで処理速度を向上させることができる。

次に、撮影視点から近距離領域における注目画素ＰＮについては、遠距離領域における注目画素ＰＦのより、有効化範囲を大きくする処理について図８Ｂを参照して説明する。符号ｄｎは図８Ａと同様に近距離と遠距離との境界線である。

遠距離領域における注目画素ＰＦについては、その幅のｎ％の領域を有効化範囲とする。他方、近距離領域における注目画素ＰＮについては、その幅の２ｎ％の領域を有効化範囲とする。すなわち、近距離領域における注目画素ＰＮの有効化範囲は、遠距離領域における注目画素ＰＦの有効化範囲より大きい。視差がばらけやすい近距離領域では、ｘ軸方向の有効化範囲を大きくすることで、誤認識を低減させ、近距離領域のような懸念のない遠距離領域では、ｘ軸方向の有効化範囲を小さくすることで、処理速度を向上させることができる。

＜本実施形態における処理手順について＞
本実施形態における処理手順について図９を参照して説明する。まず、画像処理装置３０は、ステレオカメラ１０で撮像された撮像画像から視差画像を生成する（ステップＳ１）。次に、第１のマップ生成部３１は、生成された視差画像を基に、Ｖマップ、Ｕマップを生成し、第２のマップ生成部３４は、ＵマップからリアルＵマップを生成する（ステップＳ２）。

探索部３２は、生成されたＵマップにおいてｙ軸方向に画素列を探索する（ステップＳ３）。探索部３２により上記の条件を満たす注目画素が探索された場合（ステップＳ４、ＹＥＳ）、探索された注目画素をリアルＵマップ上に変換する（ステップＳ５）。他方、探索部３２により上記の条件を満たす注目画素が探索されない場合（ステップＳ４、ＮＯ）、画像処理装置３０は全ての画素列が探索されたか否かを判定する（ステップＳ７）。画像処理装置３０により全ての画素列が探索された場合（ステップＳ７、ＹＥＳ）、処理を終了し、そうでない場合（ステップＳ７、ＮＯ）、次の画素列を探索する（ステップＳ３）。

一方、有効化部３３がリアルＵマップ上に変換された注目画素を有効化すると（ステップＳ６）、画像処理装置３０は全ての画素列が探索されたか否かを判定する（ステップＳ７）。画像処理装置３０により全ての画素列が探索された場合（ステップＳ７、ＹＥＳ）、処理を終了し、そうでない場合（ステップＳ７、ＮＯ）、次の画素列を探索する（ステップＳ３）。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の画像処理装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また、上述した本実施形態においては、ステレオカメラを前提として記載しているが、これに限られない。例えば、レーザーレーダ等の距離情報と視差画像を組み合わせて距離画像を生成し、生成された距離画像に対して本実施形態の画像処理装置を適用することができる。

本国際特許出願は２０１６年３月１０日に出願した日本国特許出願第２０１６−０４６９７５号に基づきその優先権を主張するものであり、日本国特許出願第２０１６−０４６９７５号の全内容を本願に援用する。

１ 車両
２ 撮像ユニット
３ 画像処理ユニット
４ 制御ユニット
５ フロントガラス
１０ ステレオカメラ
１１Ｌ 左レンズ
１１Ｒ 右レンズ
１２Ｌ、１２Ｒ 画像センサ
１３Ｌ、１３Ｒ 画像センサコントローラ
２０ 画像処理基板
２１ ＣＰＵ
２２ ＦＰＧＡ
２３ ＲＡＭ
２４ ＲＯＭ
２５ シリアルＩ／Ｆ
２６ データＩ／Ｆ
２７ データバス
２８ シリアルバス
３０ 画像処理装置
３１ 第１のマップ生成部
３２ 探索部
３３ 有効化部
３４ 第２のマップ生成部

Claims (12)

1. ｘ座標情報と距離情報と頻度値が対応付けられた画素で構成される第１のマップを生成する第１のマップ生成手段と、
   前記第１のマップにおいて所定の条件を満たす前記画素である注目画素を、距離情報で示される距離が近い側から遠い側に向かって探索する探索手段と、
   前記第１のマップにおいて前記注目画素の周辺に位置する画素を、前記注目画素とともに有効化する有効化手段と、
   を備えることを特徴とする画像処理装置。
2. 前記有効化手段は、前記注目画素から距離情報方向における第１の範囲内に位置する画素を有効化することを特徴とする請求項１記載の画像処理装置。
3. 前記有効化手段は、前記注目画素の距離情報に応じて前記第１の範囲を変更することを特徴とする請求項３記載の画像処理装置。
4. 前記第１のマップのｘ軸方向を実距離相当の単位に変換した第２のマップを生成する第２のマップ生成手段をさらに備え、
   前記有効化手段は、前記第２のマップに変換された前記注目画素を、前記第２のマップ上で有効化することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
5. 前記有効化手段は、前記第２のマップに変換された前記注目画素のｘ軸方向における第２の範囲内に位置する画素を有効化することを特徴とする請求項５記載の画像処理装置。
6. 前記有効化手段は、前記注目画素の距離情報が小さいときに、前記第２の範囲を大きくすることを特徴とする請求項６記載の画像処理装置。
7. 前記探索手段は、探索した前記画素が保有する高さ情報が所定の閾値以上であり、及び／又は探索した前記画素を含む周辺領域の画素密度が所定の密度閾値以上であることを前記所定の条件として前記注目画素を探索することを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
8. ｘ座標情報と距離情報と頻度値が対応付けられた画素で構成されるマップを生成するマップ生成手段と、
   前記マップにおいて所定の条件を満たす前記画素である注目画素を、距離情報で示される距離が近い側から遠い側に向かって探索する探索手段と、
   前記マップにおいて前記注目画素の周辺に位置する画素を、前記注目画素とともに有効化する有効化手段と、
   前記有効化手段により有効化された画素に基づいて対象物を検出する検出手段と、
   前記検出手段による検出結果に基づいて所定の機器を制御する制御手段と、
   を備えることを特徴とする機器制御システム。
9. ２つの撮像手段と、
   前記２つの撮像手段により撮像された撮像画像から、ｘ座標情報と距離情報と頻度値が対応付けられた画素で構成されるマップを生成するマップ生成手段と、
   前記マップにおいて所定の条件を満たす前記画素である注目画素を、距離情報で示される距離が近い側から遠い側に向かって探索する探索手段と、
   前記マップにおいて前記注目画素の周辺に位置する画素を、前記注目画素とともに有効化する有効化手段と、
   を備えることを特徴とする撮像装置。
10. コンピュータが、ｘ座標情報と距離情報と頻度値が対応付けられた画素で構成されるマップを生成するステップと、
    コンピュータが、前記マップにおいて所定の条件を満たす前記画素である注目画素を、距離情報で示される距離が近い側から遠い側に向かって探索するステップと、
    コンピュータが、前記マップにおいて前記注目画素の周辺に位置する画素を、前記注目画素とともに有効化するステップと、
    を備えることを特徴とする画像処理方法。
11. ｘ座標情報と距離情報と頻度値が対応付けられた画素で構成されるマップを生成する処理と、
    前記マップにおいて所定の条件を満たす前記画素である注目画素を、距離情報で示される距離が近い側から遠い側に向かって探索する処理と、
    前記マップにおいて前記注目画素の周辺に位置する画素を、前記注目画素とともに有効化する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
12. 請求項９に記載の機器制御システムを有し、前記制御手段により制御される移動体。

Images