JP5132750B2 - 運転者支援システムのための実世界の交通場面からの視覚特性の行動ベース学習 - Google Patents

Description

広義では、本発明は、コンピュータ・ビジョンおよび機械学習の分野に関する。対象となる応用分野は、たとえば、市街地で自由に自動車を運転しているときに遭遇するような、現実感のある実世界の交通環境である。

本発明は、自動車、モータバイク、ボート、飛行機、または他の任意の、人間の「運転者」を有する、陸、海、または空用の乗り物に含まれうる、視覚センサベースのコンピューティングモジュールに実装可能である。

本発明に関連する「行動」は、乗り物の内部センサまたは外部センサで感知される、運転者が引き起こす乗り物の状態変化から検出される、運転者の行動であると理解されたい。この、運転者が引き起こす乗り物の状態変化は、（たとえば、ＣＡＮバスで送信される）内部感知を行わずに推定することも可能である。たとえば、オプティカルフローに基づいて自動車のエゴモーションを計算することによって状態変化を取得することが可能であり、これに必要なのはカメラデータだけである。

現在ある多くの、運転者支援および自律運転のシステムは、特定のタスクに注目し、意図的にこれらのタスクに合わせて作り込まれている。以下では、いくつかの既知のアプローチを簡単に紹介し、これらがどのタスクに注目しているか、どのセンサを用いているか、どのような情報を処理するか、ならびに本発明がこれらとどのように異なるかを説明する。

既存のシステムのいくつか（たとえば、先行技術文献１に記載のシステム）は、車線逸脱警報システムまたは車線維持システムとして説明できる。これらは、車線を検出するために用いるセンサに関しては様々であるが（たとえば、先行技術文献１の場合は、カメラと地図データ付きＧＰＳ）、場面内の車線区分線に関する情報の抽出および処理に専念する点が共通する。この情報は、自動車の実際の位置または走行経路と比較され、逸脱が大きい場合には、運転者に警告が出されるか、システムが操舵角を制御することにより自動車の走行経路を自律的に修正する。

これらとは異なり、本発明によるシステムは、自動車が、通常は、車線区分線をまたがず、車線区分線の間を走行し、時々は車線区分線をまたぐ場合もあるが、きわめてまれであることを、学習するように設計される。したがって、本発明によるシステムは、上記の状態から外れた場合には必ず運転者に警告信号を出すことが可能である。また、本発明によるシステムは、運転者が修正操舵行動によって上記の状態を積極的に維持することも、学習するため、上記の状態から外れた場合には、そのような操舵行動を自律的に行うことさえも可能である。しかしながら、このことは、本発明によるシステムの能力のほんの一部であり、本発明によるシステムは、車線区分線の処理に限定されず、自律的操舵行動に限定されない。たとえば、本発明によるシステムは、制動や加速などの行動も考慮する。具体的には、本発明によるシステムは、先行技術文献１のシステムとは異なり、視覚センサ（カメラ）のみを必要とし、ＧＰＳや地図データは不要である。

多くの既存システム（たとえば、先行技術文献２、３、４、５、６、７、８、９、および１０のシステム）は、他の車両、または一般に障害物（たとえば、先行技術文献１１参照）を検出するために、自車の前方の領域を監視する。使用するセンサは、カメラから、レーザレーダおよび超音波レーダ、さらには赤外線カメラにまで及ぶ。これらのシステムは、衝突を防ぐために、通常は、自車前方の車両群の相対的な速度または距離に注目する点が共通である。したがって、これらのシステムは、相対的な速度または距離が危険なレベルになった場合には、運転者が制動する必要があることを知らせる警告信号を運転者に出すか、自車の効果器を制御して自律的に制動する。

本発明はさらに、オプションで、考慮される視覚的キューの１つとして、（たとえば、ステレオカメラによって得られるような）不一致を含めることを提案しているため、本発明のこの態様によるシステムは、運転者が、通常は、自車前方の車両群との距離を一定の範囲内に保つことを、学習することが可能である。具体的には、この態様によるシステムは、運転者が、通常は、自車前方の不一致値が大きくなりすぎるとき（すなわち、何かが自車に近づき過ぎているとき）に制動することを、学習する。したがって、本願発明者らのシステムは、そのような状況が発生した場合には、運転者が制動する必要があることを知らせる警告を運転者に出すか、さらには自車の効果器を制御して自律的な制動を開始することも可能である。しかしながら、主要な相違点は、本願発明者らのシステムが、障害物ではない（たとえば、赤信号など）物に対する反応として制動が適切であることを、学習することも可能である点である。具体的には、この態様における本発明は、先行技術文献［４］のシステムとは異なり、その場面の他の車両または部品に信号発信装置が取り付けられていることを必要とせず、本願発明者らは、カメラのみをセンサとして用いる。

他の既存システムは、これら２種類のシステムを組み合わせたものであって、車線区分線と車両前方の障害物との両方の検出に重点を置いている（たとえば、先行技術文献１２および１３参照）。これらのシステムは、カメラをセンサとして使用し、自動車が車線を維持し、他の車両と衝突しないように、操舵角ならびに車速を自律的に制御する。先行技術文献１３のシステムでも、自律的な加速が考慮されており、これは、自動車が前方の別の自動車に自律的に追従することを可能にする。しかしながら、これらのシステムには、非障害物に反応できないという点で、先に述べたシステムと同様の制限がある。これに対し、本発明は、一態様において、たとえば、交通信号灯が赤または青になったかどうかに応じて制動または加速することを、学習することを提案する。一般に、本発明によるシステムは、異なる複数の行動の様々な原因を同時に学習する能力を有する。

最後に、場面の様々に異なる態様に重点を置くシステムが提案されている（たとえば、先行技術文献１４および１５のシステム）。これの範囲に含まれるのは、たとえば、車線、他の車両、路上標識、道路標識などであり、これらは、ステレオカメラまたは３Ｄカメラの画像を解析することにより得られる。システムは、それらに適切に反応するために、操舵角および速度の両方を自律的に制御する。これらのシステムは、特定の種類の対象物のみには制限されないという点で本願発明者らのシステムと同様の能力を有するように見えるが、本発明は、一態様では、これらの能力を実現するためにまったく異なる方法を用いている。すなわち、本願発明者らのシステムは、これらの能力を、システムが後に運用される環境と類似する実世界の交通環境から直接学習する。特定のタスクまたは関心対象物の範囲、ならびにこれらのそれぞれに関連する情報の内容を設計者が定義するシステムとは異なり、本願発明者らのシステムは、すべての関連情報を自動的に学習し、したがって、実世界での運用時に遭遇するデータの相当な変化に対して、よりロバストであることを含めて、設計者が考慮しなかった状況においても正しく反応することが期待できる。

Mori et al., "Vehicle and lane recognizing device", patent JP2007004669 (A) Kamimura et al., "Safety device for vehicle", patent JP6270780 (A) Breuer et al., "Driver assist system", patent EP2077212 (A1) wama et al., "Vehicle periphery monitoring device", patent JP2007018142 (A) Shimizu et al., "Braking control device", patent JP2008044520 (A) Jeon, "Anti-lock brake system control device...", patent KR20050006760 (A) Shelton et al., "Vehicle collision prevention system...", patent GB2394076 (A) Hanusch, "Electronic vehicle anti-collision system", patent DE19648826 (A1) Izumi et al., "Attitude control device for vehicle", patent JP10264795 (A) Yoshioka et al., "Moving object identifying device...", patent JP10100820 (A) Mochizuki, "Obstacle detection device for vehicle", patent JP2005231450 (A) Mullen, "Driver emulative vehicle control system", patent US5684697 (A) Lohner et al., "Automatic following guidance system...", patent US6370471 (B1) Yang, "Automatic driving system of vehicle", patent CN1218355 (A) Lang et al., "Means of transport with a three-dim...", patent WO20040221546 (A2)

本発明は、視覚ベースの運転者支援システムの、より効率的な場面解析のアプローチを提案する。

この目的は、独立請求項の特徴を用いて達成される。従属請求項は、本発明の中心概念をさらに発展させる。

本発明の一態様は、運転者支援システムを運用するための、コンピュータに実装される方法に関し、前記方法は、
車両の環境を視覚感知するステップと、
車両のマン・マシン・インタフェースを操作している運転者の影響を受ける可能性がある、車両の状態を表すパラメータの少なくとも１つの変化率を感知するステップと、
感知された変化率の特定のカテゴリに関連付けられ、したがって、運転者の特定行動に関連付けられた視覚的特徴を見つけるために、視覚感知によって収集された情報を、少なくとも１つの感知された変化率をその様々なカテゴリに分類することによって構造化するステップと、を含む。

構造化情報に応じて、視覚的信号または聴覚的信号を生成することが可能であるか、運転者支援システムが、車両の効果器（たとえば、ステアリングホイール、アクセル、またはブレーキなど）を制御することが可能である。

構造化ステップは、
視覚感知されたデータストリームを、少なくとも１つの感知された変化率の少なくとも２つのカテゴリ（たとえば、「左折」、「右折」、または「加速」）に（好ましくは、感知された変化率が、事前定義された閾値を超えた場合のみ）分割するステップを含むことが可能である。

視覚感知されたデータストリームのうちの、感知された変化率が存在しなかったか、感知された変化率が、事前定義された閾値を超えなかった時間帯における複数部分に対して、１つの追加カテゴリを与えることが可能である。

本方法は、感知された変化率が、あるカテゴリの、運転者の行動の発生を示していた間に、様々な視覚的特徴のうちのある視覚的特徴が発生していた頻度を示すヒストグラムを用意するステップを含むことが可能である。

本発明はまた、前記請求項のいずれか一項に記載の方法を実行するように設計されたコンピュータユニットに関する。

本発明はさらに、そのようなコンピュータユニットを備え、さらに、本システムが車両を自律的に制御できるように、視覚的または聴覚的表示手段、および／または車両の少なくとも１つの効果器に制御コマンドを供給するインタフェースをさらに備える運転者支援システムに関する。

当業者が、以下の、本発明の実施形態の詳細説明を、添付図面の各図と併せて読めば、本発明によって達成される、さらなる目的、特徴、および利点が明らかになるであろう。

４つの閾値（実線）で定義され、運転者が車両のマン・マシン・インタフェースに影響を及ぼすことにより感知される、運転者の基本的な行動タイプを示す図である。 本発明によるコンピューティングユニットによって生成および格納される、局所色ヒストグラムの二次元配列を示す図である。 ２つの局所色ヒストグラムの比較を示す図である。 本発明によるシステムを有する車両を示す図である。 本発明の方法の一例を示すフローチャートである。 本発明の方法の一例を示すフローチャートである。

本発明は、運転者支援システムおよび自律運転用途の分野に資することを意図するものである。両分野とも、自動車に搭載された技術的システムを用いて、周辺環境を監視する。これは、たとえば、少なくとも１つのカメラなど、様々なセンサにより達成される。そのようにして取得されたロー・センサ・データから、本システムは、関連情報、すなわち、現在の環境的状況で自動車を安全に運転できるようにするために知ることが重要な情報を抽出しなければならない。この情報に基づいて、本システムは、最終的には、この状況での適切な行動に関する予想を形成し、分野に応じて、これらの予想を人間の運転者の実際の行動と比較して、逸脱が大きい場合には、警告信号を出す。あるいは、本システムは、自動車の効果器を制御することにより、本システムが適切と見なす行動を積極的に開始することが可能である。車線逸脱警報システムおよび車線維持システムは、それぞれ、このような技術的システムの例である。

本発明が重点を置く重要な態様は、センサで取得されたデータからの関連情報の抽出である。実世界の交通環境は非常に複雑であり、したがって、センサデータには膨大な量の情報が含まれるが、それにもかかわらず明らかなのは、この情報の大半が、これらの環境で自動車を運転することには、ほとんど、あるいはまったく関係がないということであり、したがって、抽出およびさらなる処理が必要な情報は、それらの情報のうちのごく限られた一部分でしかないということである。既存の運転者支援システムまたは自律運転システムは、典型的には、この特性を、むしろ直接的に活用しており、関連情報が何であるかがはっきりしている非常に具体的な個別タスクを考慮対象としている。たとえば、車線維持システムは、明らかに、自動車の近傍の車線の位置に関する情報を抽出して処理する必要があり、衝突回避システムは、自動車の前方の物体との距離を監視する必要がある。他のシステムも同様である。したがって、そのようなシステムの特徴は、設計対象とされた特定タスクに完全に合わせて作り込まれることにより、設計に含まれない、場面の他の態様は考慮できなくても、本質的に、対象タスクに関して満足の行く結果を達成することである。

これに対し、本発明は、より全体論的なアプローチに従う。特定のタスクに注目して、この特定タスクに関連すると見なされる情報だけを処理するようにシステムを意図的に制限するのではなく、本発明によるシステムは、利用可能な全情報を並列処理し、それらの利用可能情報のうちのどの態様が一般に運転に関連するかを、時間とともに学習する。より厳密には、本システムは、運転者が特定の行動（たとえば、制動、加速、左折、または右折）を実行する状況で取得されるすべてのセンサ情報を、そのような行動がない場合に取得されるセンサ情報と比較して、それらの違いに注目する。これらの違いに統計的有意性があれば、それらが考慮対象の行動に関連があることになる。このアプローチの利点として、センサ情報のうちのどの態様がどの行動タイプに関連するかを本システムが学習した後は、本システムが有する、行動関連性で定義された視覚場面の表現は、非常に疎なものでありながら、場面全体にわたって広範囲の非常に様々な態様をカバーし、それらのすべてが特定の行動タイプに関連するものとして認識される。結果として、その表現を用いて、所与の視覚場面においてどの行動が最も適切かについての予想を導出することが可能であり、これを、運転者の実際の行動と比較したり、システム自体が自律的に開始したりすることが可能である。このようにして、本システムは、既存の運転者支援システムおよび自律運転システムと同様のタスクを実行することが可能であり、その際、本システムは、設計者が重要と見なした、わずかな態様の情報を処理することに限定されることなく、現在の状況に関する様々な態様をすべて考慮して判断を行う。それとともに、そのようなシステムを形成することは、センサ情報のうちのどの態様が関連するかを、それらのシステムが自動的に学習するという理由で、都合の良い方法である。

本発明の一般的な状況：
本発明は、以下のように動作する。車両（たとえば、自動車）に搭載された技術的システムが、一方では、運転者がマン・マシン・インタフェース（たとえば、自動車の速度、操舵角などのパラメータに影響を及ぼすインタフェース（ペダル、ステアリングホイール、…）など）に及ばす影響に関して人間の運転者の行動を観察し、他方では、自動車の前方の視覚場面を観察する。

さらに、自動車の（たとえば、ＣＡＮ）バスから自動車内部パラメータを取得することが可能であり、自動車前方の視覚画面をカメラで監視することが可能である（運転者の行動は、オプティカルフローから直接推定可能である）。以下の供給信号、すなわち、
・運転者行動（すなわち、運転者が引き起こした、車両の状態変化）、
・自動車内部パラメータ（任意）（エンジン回転速度、…）、および
・外部世界の視覚解析
から、システムは、それ以上の監視を行うことなく、視覚画面のうちのどの要素が運転者の様々な行動の特徴かを、特徴的な視覚的特徴、ならびに視野内の典型的な位置に関して学習する。たとえば、本システムは、いろいろある中でも特に、運転者が制動を行って自動車を停止させるという重要な部分的状況は、視野の右上部分に赤色の交通信号灯が存在することと相関がある、ということを学習することが可能である。

本発明の詳細：
本発明によるシステムを、図４に典型的に示す。メモリ２と機能的に接続されたコンピュータユニット１が、自動車または他の車両の搭載可能であり、この車両には、センサ４、６からの自動車内部パラメータを供給するバス３（たとえば、ＣＡＮバス）が備えられている。さらに、視覚センサ５（たとえば、ステレオカメラなど）が、車両前方の領域を監視し、視覚データをコンピューティングユニットに供給する。

バスは、センサ６、センサ４、および／またはセンサ７によって感知される各種物理特性に関して、自動車の現在の状態についての情報をコンピュータユニットに提供する。センサ６は、車両内部パラメータ（エンジン速度）を測定し、センサ４は、車両のマン・マシン・インタフェース（ステアリングホイール）に対する運転者の活動の効果を検出し、センサ７は、運転者の仕草を検出する。具体的には、自動車の速度およびヨーレートが提供され、これらは、これらのレート（速度）に対応するセンサで感知される。速度およびヨーレートは、自動車を物理体として表現するのに十分であり、速度およびヨーレートが、運転者が自動車のステアリングホイール、スロットル、およびブレーキペダルをどのように制御するかの直接的な結果である場合に、速度およびヨーレートは、運転者の行動を反映するものである。カメラは、ＲＧＢ色空間にある左右のカラー画像からなるステレオ画像対を本システムに提供することが好ましい。

バスデータ、左ステレオ画像、および右ステレオ画像は、同期しているものとする。すなわち、それらが同じ状況に対応している場合には、それらのタイムスタンプは同じであるものとする。実際には、本システムへの入力は、同期しているバスデータおよびステレオ画像対の複数のストリームからなり、各ストリームは、自由な実世界の交通環境における長時間の運転中に記録されている。

次に、図５ａおよび図５ｂのフローチャートを参照して、本発明による信号処理プロセスを説明する。

第１のステップＳ１では、コンピューティングユニットは、各入力ストリームを一連のサブストリームにセグメント化する。各サブストリームは、前述のセンサで感知される、運転者の特定タイプの行動に対応する。ここで考慮対象となる行動のタイプは、たとえば、「減速」、「加速」、「左折」、および「右折」である。

したがって、このセグメント化は、これらの行動タイプを定義する閾値を速度およびヨーレートに適用することにより（図１を参照）、バスデータに基づいて実行される。

これらの基本的なタイプを細分することによって、よりきめ細かい分類を行うことが可能である（たとえば、「弱い減速」や「強い減速」）。なお、これらの行動タイプは、実際には、運転者の行動によって引き起こされる車両の状態変化に対応する。基本的な前提として、運転者は、何らかの理由があって行動を変化させる。すなわち、運転者が行動を変化させるのは、そのような変化を要求または提案する、視覚場面内の何かに反応するからである。セグメント化の結果として得られたサブストリームのそれぞれに対応する画像は、したがって、運転者が何に反応したかを表現している可能性が高い。すなわち、それらの画像は、行動に関連する何らかの情報を含んでいる可能性が高い。これに対し、それら以外の画像は、明らかに、運転者の行動に影響を及ぼすほど重要なものを何も表現していない。

そこで、ステップＳ２では、たとえば、４つの、画像の集合が存在し、各集合は、特定の行動タイプに対応するすべての画像からなり、さらに、他のすべての画像を含む第５の集合が存在する。

特定の行動タイプに対応する画像集合のそれぞれについて、何が行動関連情報であるかを特定するために、それらの画像集合のそれぞれを第５の画像集合と比較する。運転者が特定タイプの行動を行っていることをシステムが感知している間は頻繁に発生し、運転者がその行動を行わないときにはごくまれにしか発生しない視覚情報は、この行動タイプの特徴であって、関連情報である可能性が高く、これは、両方の場合に同程度に発生する視覚情報とは異なる。画像集合を体系的に比較できるようにするために、ステップＳ３では、各画像集合を、局所特徴ヒストグラムの二次元配列で表す（図２を参照）。この二次元配列は、画像の全幅および全高にまたがっており、各場所において、その場所で特定の特徴が観察された頻度の記録をその画像集合全体にわたって保持するヒストグラムを含んでいる。より厳密には、この頻度は、特定の特徴が観察されたサブストリームの数であって、カウントされた画像自体の数ではない。すなわち、同じサブストリームに対応する視覚情報は、同じ状況を意味するものであることから、１つとして扱われる。考慮対象の視覚的キューが複数ある場合（たとえば、色、不一致、有向エッジなど）、各視覚的キューは、それぞれがヒストグラムの二次元配列を有する。ここでは、本願発明者らは、ＲＧＢ色空間を基準とする色を唯一の視覚的キューと見なすことにより、画像集合ごとに局所色ヒストグラムの単一の二次元配列を与えるものとする。ここでは、配列の分解能として可能な最もきめ細かいレベルの粒状度を選択した。すなわち、画像の各画素が、それぞれの（色）ヒストグラムを有する。

画像集合をヒストグラム配列で表すことの利点は、ヒストグラム配列同士の比較が容易に可能であると同時に、観察された様々な特徴およびこれらが対応する視野内の場所に関するすべての情報が保持されることである。ステップＳ４およびＳ５で、特定の行動タイプに対応する画像集合のヒストグラム配列と、第５の画像集合のヒストグラム配列とを比較することにより、本システムは、視野内のどの場所が最も特徴的な場所かを特定することが可能になり、各場所において、観察された最も特徴的な特徴がどれかを特定することが可能になる。たとえば、減速行動に対応する画像集合のヒストグラム配列と、第５の画像集合のヒストグラム配列とを比較することにより、本システムは、赤色の交通信号灯について事前に何も知っていなくても、（いろいろある中でも特に）視野の右上部分にある赤色が減速行動の特徴であることを見つけることが可能である。ある特定の場所における最も特徴的な特徴を特定するために、本システムは、ステップＳ４において、ヒストグラム配列のうちの対応する局所ヒストグラムを、第５のヒストグラム配列のうちの対応する局所ヒストグラムと、以下のように比較する。

本システムは、第１の局所ヒストグラムにある各色について、他の局所ヒストグラムにある色に比べていかに似ていないか（異なるか）を計算する。その際、色空間におけるそれらの距離、ならびにそれらのそれぞれの発生数を考慮する（図３を参照）。このようにして得られた、最も相違度値が大きい色を、ステップＳ４において、その場所における最も特徴的な特徴であると判断する。ステップＳ５では、同様にして、視野内の最も特徴的な場所を特定する。すなわち、各場所ごとに、本システムは、再度、対応する局所ヒストグラム同士を比較し、各色について相違度値を計算するが、最大値を取得するのではなく、すべての色にわたる相違度値の合計を計算する。これは、局所ヒストグラム同士が、全体としていかに異なるかの指標である。結果として、この場所において計算された相違度値の合計が各画素に割り当てられた画像（これは、この場所がいかに特徴的かを表す）と、この場所において最も特徴的な特徴であると判定された色が各画素に割り当てられた別の画像とが得られる。

様々なタイプの行動について、どの特徴および場所が最も特徴的であるかを本システムが学習すると、本システムは、この知識を利用して、所与の視覚場面における適切な行動についての予想を導出する。これを達成するために、様々な場所がいかに特徴的かを表す画像を、ステップＳ６（図５ｂ）で閾値処理して、最も特徴的ないくつかの場所が残り、それより特徴的ではない場所が抑圧されるようにする。残った特徴的な場所のそれぞれについて、本システムは、ステップＳ７で、最も特徴的ないくつかの特徴と固定された局所近傍とを含む画像で表された、その場所における最も特徴的な色を考慮する。ステップＳ８では、所与の視覚画面の局所近傍画素のそれぞれにおいて現在観察されている色と、最も特徴的な色との類似度を、色空間におけるそれらの距離に基づいて計算し、そのように計算された最も高い類似度値を、考慮されている場所における応答値とすることにより、応答画像を取得する。ステップＳ９で、視野全体にわたるすべての応答値を合計することにより、本システムは、その所与の視覚画面が特定タイプの行動の特徴とどれほど一致しているかを推定することが可能である。ここで考慮した４つの行動タイプのすべてについて、この手続きが完了すると、結果として、ステップＳ１０において、応答値の合計が４つ（各行動タイプにつき１つ）が得られる。そして、ステップＳ１１で、応答値の合計が最も高い行動を、本システムが予想する、所与の視覚場面における最も適切な行動であると判断する。この予想された行動は、（たとえば、ＣＡＮバスデータを読み取ることにより）運転者の実際の行動と比較することが可能であり、あるいは、本システムが、自動車の効果器を直接制御することにより、自律的に開始することが可能である。性能の信頼性を上げるためには、色だけでなく、いくつかの視覚的キューを考慮することが好ましい。

本発明の各態様：
１．本発明の一態様は、センサ群によって得られる膨大な量の情報のうちのどの態様が自動車の運転と関連があり、どの態様が関連がないかをシステムが学習する方法にある。コンピュータ・ビジョンおよび関連研究分野の既存アプローチと異なり、本システムは、行動文脈を考慮せずにそれらの情報を直接解析することを避ける。その代わりに、本システムは、観察された、人間の運転者の行動を利用してセンサ情報を構造化することにより、センサ情報のうちの、運転者の特定行動に関連する諸態様が、運転者がその行動を実行している間に得られたセンサ情報と、運転者がその行動を実行していないときに得られたセンサ情報との間の統計的に有意な相違として得られるように、センサ情報の複雑さを最適な形に分類する。
２．本システムは、運転者が特定の行動を実行している間に得られたセンサ情報と、運転者がその行動を実行していないときに得られたセンサ情報とを収集、表現、および比較するために、局所特徴ヒストグラムの二次元配列を用いる。本システムが様々なタイプの視覚的特徴（たとえば、色、不一致、および有向エッジ）を考慮する場合、これらのそれぞれは、それぞれのヒストグラム配列を有する。
３．本システムは、センサ情報のうちの、本システムが運転者の様々な行動に関して学習した関連態様に基づき、この知識を用いて、所与の視覚場面での適切な行動についての予想を導出する。
４．本システムは、これらの予想を、（たとえば、ＣＡＮバスデータを読み取ることにより）運転者の実際の行動と比較して、逸脱が大きい場合には、警告信号を出す。
５．本システムは、自動車の効果器を直接制御することにより、所与の視覚場面における（本システムの予想に従う）最も適切な行動を自律的に開始する。

応用分野：
本発明は、運転者支援システムおよび自律運転用途に使用されることを意図するものである。

用語集：
（運転者の）行動：ブレーキをかける、加速する、左にステアリングを切る、右にステアリングを切る
（自動車の）ＣＡＮバス：速度、操舵角、…などの自動車データを与えるインタフェース
コンピュータ・ビジョン：
ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｍｐｕｔｅｒ＿ｖｉｓｉｏｎを参照
不一致：
ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｂｉｎｏｃｕｌａｒ＿ｄｉｓｐａｒｉｔｙを参照
ヒストグラム：「ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈｉｓｔｏｇｒａｍ」を参照
（視野内の）場所：本出願では、画像の各画素が場所を表す
機械学習：
ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｍａｃｈｉｎｅ＿ｌｅａｒｎｉｎｇを参照
ＲＧＢ色空間：
「ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／ＲＧＢ＿ｃｏｌｏｒ＿ｓｐａｃｅ」を参照
（運転者支援システムにおける）タスク：車線を維持する、前方車との衝突を避ける、…
視覚的キュー：（一般概念としての）色、不一致、有向エッジなど
視覚的特徴：画像における、具体的な色、不一致値、有向エッジなど

Claims (11)

1. 運転者支援システムをセットアップおよび運用するための、コンピュータに実装される方法であって、
   車両の環境の視覚情報を取得するステップと、
   前記車両の運転操作を、前記車両の状態を表す少なくとも１つのパラメータの変化率として検知するステップと、
   前記視覚情報に含まれる画像特徴を前記運転操作に対応付けるため、前記検知された変化率をその大きさ又は前記パラメータ毎の大きさの組み合わせにより種々のカテゴリに分類し、前記取得された視覚情報の画像特徴を前記カテゴリに対応付ける対応情報を生成するステップと、
   を含み、
   前記生成するステップでは、前記カテゴリに対応する前記変化率が検知されたときに取得された第１の前記視覚情報および前記カテゴリに対応する前記変化率が検知されていないときに取得された第２の前記視覚情報について、前記第１及び第２の視覚情報に含まれる位置毎に、予め定義された少なくとも一つの視覚的特徴の発生頻度を算出し、対応する位置間における当該視覚的特徴の相違の程度及び当該相違の発生頻度に基づいて、前記画像特徴を抽出する、
   方法。
2. 前記対応情報に基づき、現在の前記視覚情報に含まれる前記画像特徴に対応する前記カテゴリを特定するステップと、
   前記特定するステップにおいて前記カテゴリのいずれかが特定されたときに、視覚的信号または聴覚的信号を生成するか、若しくは、前記特定されたカテゴリに対応する前記変化率が実現されるように、ステアリングホイール、アクセル、またはブレーキを含む前記車両の効果器を制御するステップと、
   をさらに含む、
   請求項１に記載の方法。
3. 前記変化率のカテゴリは、「左折」、「右折」、または「加速」の運転操作に対応する少なくとも２つのカテゴリを含み、
   前記生成するステップは、前記視覚情報のデータストリームを、いずれかの前記カテゴリに対応する前記変化率が所定の閾値を超えるのを検知した期間において取得されたサブストリームに分割するステップを含み、
   前記サブストリームは前記第１の視覚情報として用いられるものである、
   請求項１又は２に記載の方法。
4. 前記変化率が検知されない期間、または、前記カテゴリに対応する変化率が前記所定の閾値を超えない期間において取得された前記視覚情報のデータストリームが、前記第２の視覚情報として用いられる、
   請求項１乃至３のいずれかに記載の方法。
5. 前記生成するステップは、前記サブストリームに基づいて、前記視覚的特徴の発生頻度を表わすヒストグラムを生成するステップを含む、
   請求項３に記載の方法。
6. 前記画像特徴は、前記第１の視覚情報として用いられる前記各サブストリームと、前記第２の視覚情報として用いられるデータストリームとを比較することにより取得される、
   請求項５に記載の方法。
7. 請求項１乃至６のいずれかに記載の方法を実行するよう構成されたコンピュータユニット。
8. 請求項７に記載のコンピュータユニットを備えた運転者支援システムであって、
   視覚的または聴覚的通知手段、および／または、前記車両の少なくとも１つの効果器に制御コマンドを供給するインタフェースを、さらに備える、
   運転者支援システム。
9. コンピュータ装置で実行された場合に、請求項１乃至６のいずれかに記載の方法を実行するコンピュータ・ソフトウェア・プログラム。
10. 請求項８に記載の運転者支援システムを備える、陸、海、または空用の乗り物。
11. 請求項８に記載の運転者支援システムを備える自律ロボット。

Images