JP6449699B2 - 環境認識システム - Google Patents

Description

本発明は、移動体の環境を検知する技術に関する。

自車両に搭載されたレーダーまたは撮像装置などのセンサによってその周囲における通行人または他車両などの交通参加者の存在を検知し、自車両および当該検知された交通参加者の相対位置および相対速度（進行方向含む。）に基づき、両者の接触可能性を予測する技術的手法が提案されている（たとえば特許文献１参照）。

特開２０１２−１７９９２９号公報

しかし、自車両の前方において駐車または停車している大型車両に隠れていた人間が突然現れるなど、自車両の周辺における交通参加者の存在が急に検知される場合、自車両と交通参加者との接触可能性の予測が困難になる。このため、当該予測結果に基づく自車両の制動および操舵制御など、自車両とその周囲に存在する交通参加者との接触回避のための車両挙動制御が困難になる可能性がある。

そこで、本発明は、車両などの移動体とその周辺に存在する交通参加者との接触などのリスクのさらなる低減を図ることができるシステムを提供することを解決課題とする。

本発明の環境認識システムは、移動体の周辺において想定される複数のシーンのそれぞれを構成する環境要素を記述する複数の参照記号列のそれぞれを記憶するデータベースと、前記移動体の周囲のシーンを検知したうえで、前記シーンを構成する環境要素を記述する記号列を生成する第１演算処理要素と、前記第１演算処理要素により生成された記号列と、前記データベースに記憶されている前記複数の参照記号列のそれぞれとの類似度を評価する第２演算処理要素と、を備え、前記環境要素には、前記移動体の周辺に存在する複数の交通参加者のうち一の交通参加者の、前記複数の交通参加者のうち他の交通参加者を基準とした相対位置、行動および向きが含まれていることを特徴とする。

本発明の環境認識システムによれば、環境認識結果としての記号列との類似度の評価結果に応じて、複数の参照記号列によって記述されている複数の参照シーンのそれぞれが出現した蓋然性の高低が検知される。これにより、移動体の周辺において出現した蓋然性がある参照シーンを構成する環境要素としての交通参加者などの状態に鑑みて、移動体と当該交通参加者との接触などのリスクの確実な低減が図られる。

本発明の環境認識システムにおいて、前記第２演算処理要素が、前記複数の参照記号列のうち、前記第１演算処理要素により生成された前回の記号列との類似度が所定値以上または所定順位以内である一部の参照記号列についてのみ、前記第１演算処理要素により生成された今回の記号列との類似度を評価することが好ましい。

当該構成の環境認識システムによれば、データベースに記憶されているすべての参照シーンのうち、検知されたシーンとの類似度が算出される対象となる参照シーンの数が絞り込まれるので、類似度算出に要する第２演算処理要素の演算処理負荷の軽減、ひいては演算処理速度の向上が図られる。これにより、複数の参照シーンのそれぞれが出現した蓋然性の高低が迅速に検知され、当該検知結果が迅速に利用可能になるため、移動体と当該交通参加者との接触などのリスクの確実な低減が図られる。

本発明の環境認識システムにおいて、前記第２演算処理要素が、前記複数の参照記号列のうち、前記第１演算処理要素により生成された記号列との類似度が第１位である第１参照記号列と、当該類似度が第２位である第２参照記号列との当該類似度の差が閾値以下である場合、前記第１参照記号列および前記第２参照記号列のうち、最近の指定回数にわたる選定履歴の中で選定回数が最多である参照記号列または前回選定された参照記号列を選定することが好ましい。

当該構成の環境認識システムによれば、検知されたシーンに鑑みて移動体の周辺において出現した蓋然性が相対的に高い参照シーンに応じて当該移動体の潜在的リスクが評価されるので、当該評価結果の利用によって移動体のリスクの確実な低減が図られる。

本発明の一実施形態としての環境認識システムの構成説明図。 本発明の一実施形態としての環境認識システムの機能説明図。 図３Ａは第１の参照シーンに関する説明図。図３Ｂは第１の参照シーンを記述する参照記号列に関する説明図。 図４Ａは第２の参照シーンに関する説明図。図４Ｂは第２の参照シーンを記述する参照記号列に関する説明図。 図５Ａは第３の参照シーンに関する説明図。図５Ｂは第３の参照シーンを記述する参照記号列に関する説明図。 図６Ａは第４の参照シーンに関する説明図。図６Ｂは第４の参照シーンを記述する参照記号列に関する説明図。 図７Ａは第１の検知シーンに関する説明図。図７Ｂは第１の検知シーンを記述する記号列に関する説明図。 図８Ａは第２の検知シーンに関する説明図。図８Ｂは第２の検知シーンを記述する記号列に関する説明図。 図９Ａは第３の検知シーンに関する説明図。図９Ｂは第３の検知シーンを記述する記号列に関する説明図。 図１０Ａは第４の検知シーンに関する説明図。図１０Ｂは第４の検知シーンを記述する記号列に関する説明図。 図１１Ａは検知シーンの第１例に関する説明図。図１１Ｂは検知シーンの変換結果としての鳥瞰図の第１例に関する説明図。図１１Ｃは鳥瞰図からの注意点抽出結果の第１例に関する説明図。 図１２Ａは検知シーンの第２例に関する説明図。図１２Ｂは検知シーンの変換結果としての鳥瞰図の第２例に関する説明図。図１２Ｃは鳥瞰図からの注意点抽出結果の第２例に関する説明図。

（構成）
図１に示されている環境認識システム１は、交通参加者の１つである移動体としての四輪自動車、二輪自動車および自転車などの自車両に搭載されているコンピュータ（ＣＰＵ（演算処理装置），ＲＯＭ，ＲＡＭ（記憶装置），Ｉ／Ｏ回路等により構成されている。）により構成されている。環境認識システム１は、歩行者のほか、車両の運転者または乗員により携帯されるスマホまたはタブレットなどの携帯情報端末によって構成されてもよい。移動体は、車両脚式移動ロボットなど自律的に移動しうる装置であってもよい。自車両には、外界センサ２１および内界センサ２２のほか、操舵装置３１および制動装置３２が、環境認識システム１と有線または無線通信可能な形態で搭載されている。

環境認識システム１は、ナビゲーションや自車両の位置に基づく道路地図情報を提供する外部のシステムと通信により接続されていても良く、環境に関する情報をそれらから得ることもできる。

外界センサ２１は自車両の周囲の様子を検知するためのセンサであり、撮像装置（画像センサ）、測距センサ、測位センサ（ＧＰＳおよび必要に応じてジャイロセンサ）および外気温センサなどにより構成されている。内界センサ２２は、操舵装置３１および制動装置３２など、自車両に搭載されている各装置の動作状態を検知するためのセンサにより構成されている。

環境認識システム１は、データベース１０と、第１演算処理要素１１と、第２演算処理要素１２と、第３演算処理要素１３と、を備えている。

各要素１１〜１３は、後述する担当演算処理を実行するよう構成されている。各要素が担当演算処理を実行するように「構成されている」とは、要素を構成するＣＰＵ等の演算処理装置が、ＲＯＭ、ＲＡＭ等のメモリ又は記録媒体から必要な情報に加えてソフトウェアを読み出し、当該情報に対して当該ソフトウェアにしたがって演算処理を実行するように「プログラムされている」または「デザイン（設計）されている」ことを意味する。各構成要素が共通のプロセッサ（演算処理装置）により構成されてもよく、各構成要素が相互通信可能な複数のプロセッサにより構成されてもよい。

データベース１０には、複数の参照シーンのそれぞれを記述する参照記号列が保存されている。図３Ａ、図４Ａ、図５Ａおよび図６Ａのそれぞれに示されている参照シーンを記述する参照記号列は、図３Ｂ、図４Ｂ、図５Ｂおよび図６Ｂのそれぞれに示されている様式にしたがって表現されている。

異なるシーン名称（「自転車」「右折」など）によって区別される各参照記号列は、大項目「環境（Ｐｌａｃｅ）」「交通参加者（ＴｒａｆｆｉｃＰａｒｔｉｃｉｐａｎｔｓ）」および「移動体（Ｍｅ）」に区分される。大項目「環境」は、小項目「道路形状（ＲｏａｄＳｈａｐｅ）」「横断歩道（ＰｅｄｅｓｔｒｉａｎＣｒｏｓｓｉｎｇ）」「勾配（Ｓｌｏｐｅ）」「工事箇所（Ｃｏｎｓｔｒｕｃｔｉｏｎ）」「混雑（Ｃｒｏｗｄｅｄ）」「天候（Ｗｅａｔｈｅｒ）」および「昼夜（Ｄａｙ−Ｎｉｇｈｔ）」に区分されている。大項目「交通参加者」は、小項目「種類（Ｔｙｐｅ）」「位置（Ｐｏｓｉｔｉｏｎ）」および「行動（Ｂｅｈａｖｉｏｒ）」ならびに中項目「他の交通参加者」に区分され、中項目「他の交通参加者」はさらに小項目「種類」および「相対位置（ＲＰｏｓｉｔｉｏｎ）」「行動（Ｂｅｈａｖｉｏｒ）」および「向き（Ｄｉｒｅｃｔｉｏｎ）」に区分されている。大項目「交通参加者」および中項目「他の交通参加者」の数は、同一シーンに含まれる交通参加者に対応して増減されてもよい。大項目「移動体」は、小項目「種類」「位置」および「行動」ならびに中項目「他の交通参加者」に区分され、中項目「他の交通参加者」はさらに小項目「種類」「相対位置」「移動方向（Ｄｉｒｅｃｔｉｏｎ）」および「行動」に区分されている。各小項目に該当する環境要素が言語記号もしくは算術記号などのその他の記号またはこれらの組み合わせによって記述されることで、当該環境要素により構成されている参照シーンが当該記号を含む一連の記号列により記述される。

（参照シーン１）
図３Ａには、走行車線および対向車線を含む直線道路の中央分離帯（レーンマーク）に跨るように走行している移動体（自車両）の左前方において、停止している乗用車の右側をすり抜けるように自転車が走行している参照シーンが示されている。この参照シーンに応じて、前記様式にしたがって、図３Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。

大項目「環境」に関して、小項目「道路形状」に区分されている環境要素は、移動体が走行している道路の形状を表わす言語記号「直線（２）」により記述されている。「（２）」は、移動体の走行が許容されている車線（走行車線および対向車線）の数を意味する。尚、道路に対して、車線左（左側通行の場合、右側通行の場合は車線右）から順に番号が割り当てられる。小項目「速度域」に区分されている環境要素は、移動体が走行している道路が存在する地域を表わす言語記号「居住地域」により記述されている。小項目「横断歩道」「勾配」「工事箇所」および「混雑」のそれぞれに区分されている環境要素は、移動体の走行道路において当該小項目に該当する環境要素が存在しないことに応じて、言語記号「無」により記述されている。小項目「天候」および「昼夜」のそれぞれに対応する環境要素は、言語記号「晴」「雨」および「昼」「夜」のそれぞれにより記述されている。

大項目「交通参加者（その１）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その１としての自転車が、移動体の走行車線前方のほぼ中央を前方に走行していることに応じて、言語記号「自転車」「１−１中央」および「前方移動」のそれぞれにより記述されている。「１−１」は複数車線を有する道路のうち自転車の走行している車線を表わす記号である。中項目「他の交通参加者」に関して、小項目「種類」および「相対位置」のそれぞれに対応する環境要素は、自転車の左側に交通参加者その２としての乗用車が停止していることに応じて、言語記号「乗用車」および「左側」により記述されている。「行動」は、停止している乗用車（その２）に対して、追い越しているので「追い越し」と記述される。「向き」は、停止している乗用車と同じ方向なので「同じ」と記述される。尚、他の交通参加者は、自車両に対する記述されない。

大項目「交通参加者（その２）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その２としての乗用車が、移動体の走行車線の左前方で停止していることに応じて、言語記号「乗用車」「１−１左側」および「前方移動」のそれぞれにより記述されている。中項目「他の交通参加者」に関して、小項目「種類」および「相対位置」のそれぞれに対応する環境要素は、乗用車の右側に交通参加者その１としての自転車が前方移動していることに応じて、言語記号「自転車」および「右側」により記述されている。「行動」は、自転車（その１）に対して、何もしていないので「ＮＵＬＬ」と記述される。「向き」は自転車と同じなので、「同じ」と記述される。

大項目「移動体」に関して、小項目「種類」「位置」および「行動」のそれぞれにより区分されている環境要素は、移動体である乗用車（自車両）がレーンマーク（中央分離線）を跨ぐようにして前方に走行していることに応じて、言語記号「乗用車」「レーンマーク上」および「前方移動」のそれぞれにより記述されている。中項目「他の交通参加者（その１）」に関して、小項目「種類」「相対位置」「方向」および「行動」のそれぞれに区分されている環境要素は、移動体が、その左前方を同方向に走行している交通参加者その１としての自転車を追従していることに応じて、言語記号「自転車」「左前方」「同じ」および「追従」により記述されている。中項目「他の交通参加者（その２）」に関して、小項目「種類」「相対位置」「方向」および「行動」のそれぞれに区分されている環境要素は、移動体が、その左前方で停止している交通参加者その２としての乗用車を追い越そうとしていることに応じて、言語記号「乗用車」「左前方」「同じ」および「追い越し」により記述されている。

なお、交通参加者および移動体の小項目「位置」または「相対位置」に該当する環境要素が、経緯度または方位および距離などを表わす数字、記号または数字および記号の組み合わせによって記述されてもよい。交通参加者および移動体の小項目「行動」に該当する環境要素が、移動方向および速さを表わす数字、記号または数字および記号の組み合わせによって記述されてもよい。

（参照シーン２）
図４Ａには、走行車線を走行している移動体（自車両）の左前方において自転車が走行し、かつ、対向車線を乗用車（対向者）が走行している参照シーンが示されている。この参照シーンに応じて、前記様式にしたがって、図４Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。

大項目「環境」に関して、小項目「道路形状」に区分されている環境要素は、移動体が走行している道路の形状を表わす言語記号「直線（１）」により記述されている。「（１）」は移動体の走行が許容されている車線（走行車線のみ）の数を意味する。

大項目「交通参加者（その２）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その２としての乗用車が対向車線のほぼ中央をその前方に走行していることに応じて、言語記号「乗用車」「１−２中央」および「前方移動」のそれぞれにより記述されている。中項目「他の交通参加者」に関して、小項目「種類」および「相対位置」のそれぞれに対応する環境要素は、当該乗用車の右前方に交通参加者その１としての自転車が前方移動していることに応じて、言語記号「自転車」および「右前方」により記述されている。「行動」は、乗用車に対して、何もしていないので「ＮＵＬＬ」、向きは「対向」と記述される。

大項目「移動体」の中項目「他の交通参加者（その２）」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに区分されている環境要素は、移動体が、その対向車線を前方に走行している交通参加者その２としての乗用車とすれ違おうとしているが、相互に影響が無いことに応じて、言語記号「乗用車」「右前方」「ＮＵＬＬ」および「対向」により記述されている。

（参照シーン３）
図５Ａには、中央分離帯（レーンマーク）に跨るように走行している移動体（自車両）の左前方にバスが停止し、移動体の右前方であって対向車線の外側で歩行者が前方に移動している参照シーンが示されている。この参照シーンに応じて、前記様式にしたがって、図５Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。

大項目「環境」に関して、小項目「速度域」に区分されている環境要素は、移動体が走行している道路が存在する地域を表わす言語記号「市街地、居住地域」により記述されている。

大項目「交通参加者（その１）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その１としてのバスが走行車線の左側で停止していることに応じて、言語記号「バス（または大型車両）」「１−１左側」および「停止」のそれぞれにより記述されている。中項目「他の交通参加者」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、当該バスの右前方に交通参加者その２としての歩行者が前方移動していることに応じて、言語記号「歩行者」「右前方」「無」および「対向」により記述されている。

大項目「交通参加者（その２）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その２としての歩行者が対向車線の外側で前方に移動していることに応じて、言語記号「歩行者」「１−２外側」および「前方移動」のそれぞれにより記述されている。中項目「他の交通参加者」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、当該歩行者の左後方に交通参加者その２としてのバスが停止していることに応じて、言語記号「バス」「左後方」「ＮＵＬＬ」および「対向」により記述されている。

（参照シーン４）
図６Ａには、交差路（または十字路）の付近にいる移動体（自車両）からみて、当該交差路をまっすぐ渡った先の道路における対向車線をトラックが走行している参照シーンが示されている。この参照シーンに応じて、前記様式にしたがって、図６Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。

大項目「環境」に関して、小項目「道路形状」に区分されている環境要素は、移動体（自車両）が走行している道路の形状を表わす言語記号「交差路（４）」により記述されている。「（４）」は、交差路に通じる車線のうち、現在の走行車線も含めて移動体が走行可能な車線の数を表わす。小項目「速度域」に区分されている環境要素は、移動体が走行している道路が存在する地域を表わす言語記号「郊外」により記述されている。小項目「横断歩道」に区分されている環境要素は、当該交差路に４つの横断歩道が存在することに応じて、記号または数字「１、２、３、４」により記述されている。

大項目「交通参加者（その１）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その１としてのトラックが、移動体（自車両）からみて交差路の前方道路の対向車線のほぼ中央を前方に走行していることに応じて、言語記号「自転車」「３−２中央」および「前方移動」のそれぞれにより記述されている。「３−２」のうち「３」は交差路をまっすぐ渡った先の道路を意味し、「２」は対向車線を意味する。中項目「他の交通参加者」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は「ＮＵＬＬ」より記述されている。

なお、図３Ａ、図４Ａ、図５Ａおよび図６Ａのそれぞれに示されている参照シーンとは異なる複数の参照シーンのそれぞれを記述する参照記号列がデータベース１０に記憶されていてもよい。図６Ｂと同様に、図３Ｂ、図４Ｂおよび図５Ｂのそれぞれに示されている様式にしたがって、移動体とは別の交通参加者に関して、当該移動体に関する環境要素が他の交通参加者の環境要素として記号により記述されてもよい。図３Ｂ、図４Ｂ、図５Ｂおよび図６Ｂのそれぞれに示されているように各章項目に対応する環境要素の記述には日本語の言語記号が含まれているが、英語または独語などの他国の言語における同義の言語記号が含まれてもよい。環境要素の記述には、数字のほか、学術記号、つなぎ記号、音楽記号または括弧記号などの記号と言語記号との組み合わせが含まれてもよい。英語等の言語記号のうち、同義または類義の複数の言語記号の中の少なくとも１つにより参照シーン（これを構成する環境要素）が記述されてもよい。

（機能）
前記構成を有する環境認識システム１の機能について説明する。第１演算処理要素１１によって当該移動体の周囲のシーンが検知される（図２／ＳＴＥＰ０２）。

具体的には、移動体の周囲のシーンを構成する環境要素のうち、速度域（走行道路が存在する地域の属性）、道路形状、横断歩道の有無、勾配の有無および構造物の有無は、ＧＰＳによって測定される移動体の位置に基づき、移動体の記憶装置に格納されている道路地図情報が参照されることにより検知される。あるいは、道路形状を認識した結果を用いてもよい。環境要素のうち、工事箇所、混雑（交通渋滞）の有無、天候および昼夜の別は、外界センサ２１を構成する撮像装置を通じて取得される撮像画像の画素値（明度など）が解析されることによって検知されてもよい。工事箇所、混雑の有無、天候および昼夜の別のうち一部または全部は、当該環境要素を表わすデータがサーバから環境認識システム１を構成するコンピュータに送信されることによって検知されてもよい。

交通参加者の種類は、外界センサ２１を構成する撮像装置により撮像された画像から物体に該当する画像領域が画素値に基づいて抽出され、当該画像領域を対象としてパターンマッチングが実行されることによって検知される。交通参加者としての車両（四輪自動車、二輪自動車、自転車など）に搭載されている情報端末、または、当該車両の乗員により携帯されている情報端末との直接的または基地局を介した間接的な通信によって交通参加者の種類が検知されてもよい。

車線（走行レーン）に対する交通参加者の相対位置は、撮像装置を通じて取得された撮像画像に含まれる車線に該当する画像領域に対する、交通参加者に該当する画像領域の重心の相対位置として検知される。撮像画像において車線に該当する画像領域は、当該車線の左右を画定するレーンマークが抽出されることにより検知される。移動体座標系（移動体に対して位置および姿勢が固定されている座標系）における交通参加者の位置は、移動体に搭載されているレーダーまたはステレオカメラの視差を用いて測定される。移動体座標系における交通参加者の位置は、当該交通参加者に付随する情報端末との通信によって検知された世界座標系における座標値と、移動体の世界座標系における座標値とに基づいて算出されてもよい。一の交通参加者に対する他の交通参加者の相対位置は、移動体座標系における当該交通参加者の導体位置として検知される。

交通参加者の行動（速度）は、移動体の速度に加えて、撮像画像における交通参加者に該当する画像領域のサイズの変化速度に基づいて測定される。あるいは、相対位置と相対角に基づくトラッキングの結果としての推定速度を用いてもよい。交通参加者の行動は、前記のように測定される移動体座標系における当該交通参加者の位置の時系列的変化に基づいて測定されてもよい。

移動体の種類は、当該移動体の記憶装置に格納されている識別子が読み取られることにより検知される。車線における移動体の位置は、移動体に搭載されている撮像装置を通じて取得された撮像画像における車線に該当する画像領域の位置に基づいて検知される。車線における移動体の位置は、ＧＰＳによって測定される移動体の位置に基づき、移動体の記憶装置に格納されている道路地図情報が参照されることにより検知されてもよい。移動体の行動は、内界センサ２２を構成する速度センサを通じて測定される速度のほか、内界センサ２２を通じて検知される方向指示器、操舵装置３１および制動装置３２などの車載装置の動作状態に基づいて検知される。

これにより、たとえば図７Ａ、図８Ａ、図９Ａおよび図１０Ａのそれぞれに示されているシーンが時系列的に検知される。図７Ａには、走行車線を走行している移動体からみて当該走行車線の左前方に自転車が走行し、この自転車のさらに前方に乗用車が停止しているシーンが示されている。図８Ａには、走行車線を走行している移動体からみて当該走行車線の前方ほぼ中央を自転車が走行し、この自転車の左前方に乗用車が停止している一方、対向車線を乗用車が走行しているシーンが示されている。図９Ａには、走行車線を走行している移動体からみて当該走行車線の前方右側を自転車が走行し、この自転車の左前方に乗用車が停止している一方、対向車線を乗用車が走行しているシーンが示されている。図１０Ａには、走行車線において停止する程度に減速した移動体からみて当該走行車線の前方右側を自転車が走行し、この自転車の左前方に乗用車が停止している一方、対向車線を乗用車が走行しているシーンが示されている。

第１演算処理要素１１により、環境認識結果としての各シーンを記述する記号列が生成される（図２／ＳＴＥＰ０４）。

（環境認識結果１）
たとえば図７Ａに示されているシーンに応じて、前記様式にしたがって、図７Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。

大項目「環境」に関して、小項目「道路形状」に区分されている環境要素は、移動体が走行している道路の形状を表わす言語記号「直線（１）」により記述されている。小項目「横断歩道」「勾配」「工事箇所」および「混雑」のそれぞれに区分されている環境要素は、移動体の走行道路において当該小項目に該当する環境要素が存在しないことに応じて、言語記号「無」により記述されている。小項目「速度域」は、道路地図情報に記載された居住地域、市街地、郊外路等が記述される。小項目「天候」および「昼夜」のそれぞれに対応する環境要素は、言語記号「晴」および「昼」のそれぞれにより記述されている。

大項目「交通参加者（その１）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その１としての自転車が、移動体の走行車線の左前方で前方に走行していることに応じて、言語記号「自転車」「１−１左側」および「前方移動」のそれぞれにより記述されている。尚、パターンマッチングの結果や通信において当該交通参加者の情報が得られない場合、各環境要素は「ＮＵＬＬ」と記述される。中項目「他の交通参加者」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、自転車の前方に交通参加者その２としての乗用車が停止していることに応じて、言語記号「乗用車」「前方」「ＮＵＬＬ」および「同じ」により記述されている。

大項目「交通参加者（その２）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その２としての乗用車が、走行車線の左前方で停止していることに応じて、言語記号「乗用車」「１−１左側」および「停止」のそれぞれにより記述されている。中項目「他の交通参加者」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、乗用車の後方に交通参加者その１としての自転車が前方移動していることに応じて、言語記号「自転車」「後方」「ＮＵＬＬ」および「同じ」により記述されている。

大項目「移動体」に関して、小項目「種類」「位置」および「行動」のそれぞれにより区分されている環境要素は、移動体である乗用車（自車両）が走行車線のほぼ中央を前方に走行していることに応じて、言語記号「乗用車」「１−１中央」および「前方移動」のそれぞれにより記述されている。中項目「他の交通参加者（その１）」に関して、小項目「種類」「相対位置」「移動方向」および「行動」のそれぞれに区分されている環境要素は、移動体が、その左前方を同方向に走行している交通参加者その１としての自転車を追従していることに応じて、言語記号「自転車」「左前方」「同じ」および「追従」により記述されている。中項目「他の交通参加者（その２）」に関して、小項目「種類」「相対位置」および「行動」のそれぞれに区分されている環境要素は、移動体が、その左前方で停止している交通参加者その２に対してこの時点では、特段の行動をしていないことに応じて、言語記号「乗用車」「左前方」および「ＮＵＬＬ」により記述されている。

（環境認識結果２）
図８Ａに示されているシーンに応じて、前記様式にしたがって、図８Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。図８Ａのシーンでは、図７Ａのシーンと比較して、対向車線を走行する乗用車が現われているなどの相違があるため、当該相違に応じて図８Ｂのうち太枠で囲まれた箇所の記述が、図７Ｂの記述とは異なっている。

具体的には、大項目「交通参加者（その３）」に関して、小項目「種類」「位置」および「行動」のそれぞれに対応する環境要素は、交通参加者その３としての乗用車が、対向車線のほぼ中央でその前方に移動していることに応じて、言語記号「乗用車」「１−２中央」および「前方移動」のそれぞれにより記述されている。中項目「他の交通参加者（その１）」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、当該乗用車の右前方に交通参加者その１としての自転車がその前方に走行していることに応じて、言語記号「自転車」「右前方」「ＮＵＬＬ」および「対向」により記述されている。中項目「他の交通参加者（その２）」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、当該乗用車の右前方に交通参加者その１としての乗用車が停止していることに応じて、言語記号「乗用車」「右前方」「ＮＵＬＬ」および「対向」により記述されている。

大項目「交通参加者（その１）」に関して、小項目「位置」に対応する環境要素は、交通参加者その１としての自転車が走行車線のほぼ中央でその前方に移動していることに応じて、言語記号「１−１中央」により記述されている。中項目「他の交通参加者（その３）」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、当該自転車の右前方に交通参加者その３としての乗用車がその前方に走行していることに応じて、言語記号「乗用車」「右前方」「ＮＵＬＬ」および「対向」により記述されている。

大項目「交通参加者（その２）」の中項目「他の交通参加者（その３）」に関して、小項目「種類」「相対位置」「行動」および「向き」のそれぞれに対応する環境要素は、交通参加者その２としての乗用車の右前方に交通参加者その３としての乗用車がその前方に走行していることに応じて、言語記号「乗用車」「右前方」「ＮＵＬＬ」および「対向」により記述されている。

大項目「移動体」の中項目「他の交通参加者（その３）」に関して、小項目「種類」「相対位置」および「行動」のそれぞれに区分されている環境要素は、移動体が、その右前方で走行している交通参加者その３としての乗用車（対向者）に対してこの時点では、特段の行動をしていないことに応じて、言語記号「乗用車」「右前方」および「ＮＵＬＬ」により記述されている。

（環境認識結果３）
図９Ａに示されているシーンに応じて、前記様式にしたがって、図９Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。図９Ａのシーンでは、図８Ａのシーンと比較して、走行車線を走行する移動体および自転車（交通参加者その１）が右に寄ったことに応じて図９Ｂのうち太枠で囲まれた箇所の記述が、図８Ｂの記述とは異なっている。

具体的には、大項目「交通参加者（その１）」に関して、小項目「位置」に対応する環境要素は、交通参加者その１としての自転車が走行車線の右側でその前方に移動していることに応じて、言語記号「１−１右側」により記述されている。大項目「移動体」に関して、小項目「位置」に区分されている環境要素は、移動体が走行車線の右側で走行していることに応じて、言語記号「１−１右側」により記述されている。大項目交通参加者の中項目「他の交通参加者」その２の乗用車に関して、小項目「行動」は、交通参加者その１としての自転車が停止している交通参加者（その２）の乗用車を追い越していることから「追い越し」と記述される。

（環境認識結果４）
図１０Ａに示されているシーンに応じて、前記様式にしたがって、図１０Ｂに示されているように各小項目に対応する環境要素が記述されている記号列が生成される。図１０Ａのシーンでは、図９Ａのシーンと比較して、移動体が減速して停止したことに応じて図１０Ｂのうち太枠で囲まれた箇所の記述が、図９Ｂの記述とは異なっている。

具体的には、大項目「交通参加者」その１の中項目「他の交通参加者」その２の乗用車に対して左に位置することから、小項目「相対位置」は「左」と記述される。大項目「交通参加者」その２の中項目「他の交通参加者」その１の自転車は右に位置することから「右」と記述される。大項目「移動体」に関して、小項目「行動」に区分されている環境要素は、移動体が走行車線の右側で停止していることに応じて、言語記号「停止」により記述されている。

第２演算処理要素１２により、第１演算処理要素１１によって取得された環境認識結果としての記号列と、データベース１０に保存されている参照記号列との類似度が評価される（図２／ＳＴＥＰ０６）。具体的には、記号列および参照記号列との編集距離が算出され、当該編集距離が短いほど類似度が高く評価され、当該編集距離が長いほど類似度が低く評価される。なお、記号列および参照記号列のそれぞれの一部に数字により記述されている場合、当該数字の偏差と、その他の記号の編集距離との総和または重み付き線形和が大きいほど類似度が高く評価されてもよい。当該数字が移動体とこれとは異なる交通参加者との接触可能性に関する相対速度または距離である場合、当該数字の偏差の重み係数は、記号の編集距離の重み係数よりも値が大きく設定されてもよい。

たとえば、環境認識結果１〜４のそれぞれについて、参照シーン１〜４（図３Ａ、図４Ａ、図５Ａおよび図６Ａ）に対応する参照記号列（図３Ｂ、図４Ｂ、図５Ｂおよび図６Ｂ参照）との編集距離の算出結果が表１にまとめて示されている。編集距離は次の関係式（１）にしたがって算出される。

編集距離＝１−｛レーベンシュタイン距離（環境認識結果、参照シーン）｝
÷Max（環境認識結果サイズ,参照シーンサイズ）
（「サイズ」はテキスト総数を意味する。） ‥（１）。

なお、レーベンシュタイン距離はＪａｃｃａｒｄ距離に置き換えられても良い。更には、記号列がＸＭＬ等で各項目をタグとし、木構造を構成し、参考文献（「テキストおよび構造の類似度に基づいたＸＭＬデータに対する効率的な類似検索」小柳、天笠、北川、ＤＥＩＭ Ｆｏｒｕｍ ２０１４ Ｄ７−５））に記載の方法による構造の類似性と構造内の編集距離による類似性を用いて算出してもよい。

表１から次のことがわかる。環境認識結果１に対応するシーン（図７Ａ参照）は、参照シーン１（図３Ａ参照）に最も類似している。環境認識結果１に対応するシーン（図７Ａ参照）は、参照シーン２（図４Ａ参照）にも類似しており、その類似度は比較的高い。環境認識結果２〜４のそれぞれに対応するシーン（図８Ａ、図９Ａおよび図１０Ａ参照）は、参照シーン２（図４Ａ参照）と最も類似している。

第２演算処理要素１２により、類似度が最も高い参照記号列が選定され、当該選定された一の参照記号列に基づき、移動体の潜在的リスクが評価される（図２／ＳＴＥＰ０８）。具体的には、参照記号列を構成する少なくとも一部の記号に基づき、データベース１０には、参照シーンに対するアクションを予め定義しておく。具体的には、「加速抑止」「減速」「対向者通過を待て」等の実行指令をルールとして定義する。現状の操作を続けているか、速度を上げようとする操作した場合には、減速装置を実際に制動しない範囲で加圧し、明らかに接触の可能性が高くなると判断された場合は、制動を掛ける。もしくは、リスクを低減するために操舵による接触の回避において接触の可能性を低減が十分でないと判断された場合には、操舵量を増すように制御する。尚、接触危険度はＴＴＣを算定し、上記ルールの実行指令に従って、減速加速度を決定する。

続いて、第３演算処理要素１３によって、第２演算処理要素１２により評価された潜在的リスクの高低に応じて、移動体の操縦者または前記移動体の周辺に対する報知、および、移動体の速度変更のうち少なくとも１つの実行指令が生成される（図２／ＳＴＥＰ１０）。

具体的には、潜在リスクを表わす数値が、第１指定範囲に含まれている場合は移動体の制動および操舵の両方が実行されるような指令が生成され、これに応じて移動体に搭載されている操舵装置３１および制動装置３２のそれぞれの動作が制御されることにより、リスクの低減が図られる。潜在リスクを表わす数値が、第１指定範囲の下限値より小さい値を上限値として有する第２指定範囲に含まれている場合は移動体の制動および操舵の一方が実行されるような指令が生成され、これに応じて移動体に搭載されている操舵装置３１および制動装置３２のうち一方の動作が制御されることにより、リスクの低減が図られる。潜在リスクを表わす数値が、第２指定範囲の下限値より小さい値を上限値として有する第３指定範囲に含まれている場合は潜在的リスクの報知が実行されるような指令が生成され、これに応じて移動体に搭載されている報知装置の動作が制御されることにより、視覚、聴覚もしくは触覚またはこれらの組み合わせにより人間が検知可能な形態で報知が出力される。

（効果）
本発明の環境認識システム１によれば、環境認識結果としての記号列との類似度の評価結果に応じて、複数の参照記号列によって記述されている複数の参照シーンのそれぞれが出現した蓋然性の高低が検知される（表１および図２／ＳＴＥＰ０６参照）。これにより、移動体の周辺において出現した蓋然性がある参照シーンを構成する環境要素としての交通参加者などの状態に鑑みて、移動体と当該交通参加者との接触などのリスクの確実な低減が図られる。複数の参照シーンのうち、検知されたシーンに鑑みて移動体の周辺において出現した蓋然性が相対的に高い参照シーンに応じて当該移動体の潜在的リスクが評価されるので、当該評価結果の利用によって移動体のリスクの確実な低減が図られる（図２／ＳＴＥＰ０８参照）。移動体の潜在的リスクの高低に応じて、移動体の操縦者もしくは移動体としての人間または移動体の周辺に存在する交通参加者に対する報知、および移動体の速度変更のうち少なくとも１つの実行指令が生成されることにより、移動体が他の交通参加者と接触する等のリスクのさらに確実な低減が図られる（図２／ＳＴＥＰ１０参照）。環境変化、たとえば、明るさの変化により交通参加者の認識が確実でない場合、「種類」が未知でも、全体的に参照シーンとの類似性から潜在的リスクを測ることができる。参照シーンに登場する交通参加者の数が異なっても、環境認識システムの環境認識結果内に参照シーンが部分集合として存在することが分かれば、あるいは、逆に参照シーンの部分集合として、環境認識結果が存在することが分かれば、少なくとも潜在的リスクがあり得ることを接触可能性を検知するよりも早い時点で操作者に通知でき、危険な状況に近づかないようにできる。

（本発明の他の実施形態）
データベース１０には参照記号列が多数記憶されているため、記号列が生成されるたびに当該記号列とすべての参照記号列との類似度が算出されると、当該算出のための第２演算処理要素１２の演算処理負荷および時間が多大になり、後述する実行指令の生成に遅れが生じる可能性がある。そこで、データベース１０に記憶されているすべての参照記号列の中から、前回の記号列との類似度が所定値以上であるまたは類似度に鑑みた順位が所定順位以内である所定数の参照記号列のみについて、今回の記号列との類似度が算出されてもよい。たとえば、環境認識結果１との編集距離が短い順で２位以内であった参照記号列１および２についてのみ、環境認識結果２との編集距離が算出されてもよい（表１参照）。

当該構成の環境認識システムによれば、検知されたシーンとの類似度が算出される対象となる参照シーンの数が絞り込まれるので、類似度算出に要する第２演算処理要素１２の演算処理負荷の軽減、ひいては演算処理速度の向上が図られる。これにより、複数の参照シーンのそれぞれが出現した蓋然性の高低が迅速に検知され、当該検知結果が迅速に利用可能になるため、移動体と当該交通参加者との接触などのリスクの確実な低減が図られる。

第２演算処理要素１２により、データベース１０に記憶されているすべての参照記号列のうち、記号列との類似度が第１位である第１参照記号列と、当該類似度が第２位である第２参照記号列との当該類似度の差が閾値以下であるか否かが判定される。その結果、当該差が閾値以下であると判定された場合、第１および第２参照記号列のうち、最近の指定回数にわたる選定履歴の中で選定回数が最多である参照記号列または前回選定された参照記号列が選定されてもよい。

当該構成の環境認識システムによれば、検知されたシーンに鑑みて移動体の周辺において出現した蓋然性が相対的に高い参照シーンに応じて当該移動体の潜在的リスクが評価されるので、当該評価結果の利用によって移動体のリスクの確実な低減が図られる。

第１演算処理要素１１により、シーンにおいて移動体の移動可能領域に存在する物体の一部が要注意箇所として抽出され、第２演算処理要素１２により、潜在的シーンに加えて、当該抽出要注意箇所に基づいて潜在的リスクが評価されてもよい。

具体的には、まず、外界センサ２１を構成する撮像装置を通じて取得された撮像画像が自車両座標系における鳥瞰図に変換される。当該変換に際して、撮像画像を構成する各画素の画素値としての距離情報が用いられる。撮像装置がステレオカメラである場合、基準画像と参照画像との視差が利用されることにより、基準画像を構成する各画素に対して距離情報が画素値として与えられる。撮像装置が単一の２次元画像センサである場合、３次元画像センサが併用されることにより、たとえば特開２０１１−０３３４９７号公報に開示されている方法にしたがって、２次元画像を構成する各画素に対して距離情報が画素値として与えられる。また、外界センサ２１は、３次元の奥行き情報を画素で検出できる装置、たとえば、レンジファインダ、ＴＯＦカメラ等に置き換えられる。

これにより、たとえば図１１Ａおよび図１２Ａのそれぞれに示されているような撮像画像が、図１１Ｂおよび図１２Ｂのそれぞれに示されているような鳥瞰図に変換される。当該鳥瞰図において、白色部分は路面（車両の移動可能領域に相当する。）であると検知された場所に相当し、黒色部分はトラックなどの交通参加者または電柱、建造物または遮音壁などの構造物が存在すると検知された場所に相当し、灰色部分は検知対象外の場所に相当する。撮像画像における路面の存在箇所は、当該撮像画像を構成する各画素の画素値である色相、彩度および明度に基づいて検知される。あるいは、道路地図情報に含まれる車線幅情報、形状情報を用いてもよい。

図１１Ｃおよび図１２Ｃのそれぞれに示されている鳥瞰図において交通参加者または構造物を表わす一塊の黒色部分のうち、自車両からみて奥側に存在する箇所が抽出される（●および○参照）。移動体に搭載されている記憶装置に格納されている道路地図情報に含まれている道路画像が鳥瞰図に重ねられ、前記のように抽出された箇所のうち、当該重複箇所に存在する箇所が要注意箇所として抽出される（図１１Ｃおよび図１２Ｃの○参照）。鳥瞰図および道路画像の重ね合わせに際して、自車両の位置の測定結果（世界座標系における座標値）が用いられる。そして、要注意箇所の数が多いほど潜在的リスクが高く評価され、これに代えてまたは加えて、自車両から要注意箇所が近いほど潜在的リスクが高く評価される。

当該構成の環境認識システム１によれば、シーンに含まれている物体の陰（オクルージョン領域）から交通参加者等の他の物体が移動体の移動可能領域に唐突に出現する蓋然性がある要注意箇所の存在が勘案されることにより、移動体の潜在的リスクの評価精度の向上が図られる。これにより、当該潜在的リスクの評価結果の利用によって移動体のリスクのさらに確実な低減が図られる。

１‥環境認識システム、１０‥データベース、１１‥第１演算処理要素、１２‥第２演算処理要素、１３‥第３演算処理要素、２１‥外界センサ、２２‥内界センサ、３１‥操舵装置、３２‥制動装置。

Claims (3)

1. 移動体の周辺において想定される複数のシーンのそれぞれを構成する環境要素を記述する複数の参照記号列のそれぞれを記憶するデータベースと、
   前記移動体の周囲のシーンを検知したうえで、前記シーンを構成する環境要素を記述する記号列を生成する第１演算処理要素と、
   前記第１演算処理要素により生成された記号列と、前記データベースに記憶されている前記複数の参照記号列のそれぞれとの類似度を評価する第２演算処理要素と、を備え、
   前記環境要素には、前記移動体の周辺に存在する複数の交通参加者のうち一の交通参加者の、前記複数の交通参加者のうち他の交通参加者を基準とした相対位置、行動および向きが含まれていることを特徴とする環境認識システム。
2. 請求項１記載の環境認識システムにおいて、
   前記第２演算処理要素が、前記複数の参照記号列のうち、前記第１演算処理要素により生成された前回の記号列との類似度が所定値以上または所定順位以内である一部の参照記号列についてのみ、前記第１演算処理要素により生成された今回の記号列との類似度を評価することを特徴とする環境認識システム。
3. 請求項１または２記載の環境認識システムにおいて、
   前記第２演算処理要素が、前記複数の参照記号列のうち、前記第１演算処理要素により生成された記号列との類似度が第１位である第１参照記号列と、当該類似度が第２位である第２参照記号列との当該類似度の差が閾値以下である場合、前記第１参照記号列および前記第２参照記号列のうち、最近の指定回数にわたる選定履歴の中で選定回数が最多である参照記号列または前回選定された参照記号列を選定することを特徴とする環境認識システム。