JP7399158B2 - センシングシステムおよび車両 - Google Patents

Description

本発明は、車載用のセンシングシステムに関する。

自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングするセンシングシステムが利用される。センシングシステムは、センサと、センサの出力を解析する演算処理装置を含む。

特開２０１６－０３０５２７号公報

従来、センサとしては、可視光カメラ、赤外線カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦカメラやミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択されていた。

そして、センサの出力画像に写っている物体の形状等にもとづいて、物体の種類（自動車、歩行者）などを判定し、衝突の可能性などを計算する。しかしながら、物体の種類は非常に多く、また物体の向きや物体までの距離はさまざまである。たとえば物体までの距離が遠い場合、画像に写る物体の像は非常に小さくなり、それを判別することは難しくなる。また物体がどの方向に移動しているのかを画像から判断することは難しい。また、物体がセンサの死角に存在する場合、検出することができない。

本発明はこうした状況においてなされたものであり、そのある態様の例示的な目的のひとつは、従来と異なる新規な方式のセンシングシステムの提供にある。

本発明のある態様は、路面に自車の進行方向に伸びる第１パターンを描画する照明装置と、カメラと、カメラの画像に写る、第１パターンと他の交通参加者が路面に描画した第２パターンにもとづいて、自車と他の交通参加者の状態を検出する演算処理装置と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム等の間で変換したものもまた、本発明の態様として有効である。

本発明によれば、従来と異なる新規な方式のセンシングシステムの提供できる。

実施の形態に係るセンシングシステムのブロック図である。 例示的な走行シーンを説明する図である。 図２のシーンにおいて車両のカメラが撮影する画像を示す図である。 図４（ａ）、（ｂ）は、距離情報を含むパターンを説明する図である。 図５（ａ）～（ｃ）は、速度情報を含むパターンを示す図である。 別の走行シーンを説明する図である。 図６のシーンにおいて車両のカメラが撮影する画像を示す図である。 図８（ａ）は、歩行者に関連して描画されるパターンを示す図であり、図８（ｂ）は、車載のシステムによる歩行者の検知を説明する図である。 図９（ａ）～（ｄ）は、パターンの変形例を示す図である。 障害物の存在を知らせるパターンを示す図である。 変形例３に係るセンシングシステムを示す図である。

（実施の形態の概要）
本明細書に開示される一実施の形態は、車載用のセンシングシステムに関する。センシングシステムは、路面に自車の進行方向に伸びる第１パターンを描画する照明装置と、カメラと、カメラの画像に写る、第１パターンと他の交通参加者が路面に描画した第２パターンにもとづいて、自車と他の交通参加者の状態を検出する演算処理装置と、を備える。

カメラの主たる被写体は、他の交通参加者ではなく、他の交通参加者によって路面に描画されたパターンであり、物体の像そのものでなく、その物体が路面に描画したパターンが撮影される。そして、自車が描画したパターンと他の交通参加者が描画したパターンの幾何学的な関係にもとづいて、自車と物体の状態を検出することができる。物体像の解析が不要であるため、カメラの解像度は低くてもよく、また路面に描画されたパターン、すなわち光を検出すればよいため、カメラの感度も低くてよい。

演算処理装置は、第１パターンと第２パターンの交差を検出してもよい。２つの交差の検出は、極めて簡単な画像処理によって行うことができるという利点がある。

他の交通参加者は車両であり、第２パターンは、他の交通参加者の進行方向に伸びるように描画されてもよい。第１パターンと第２パターンが交差する場合、自車と他の交通参加者が同じ地点（すなわち２つのパターンの交点）に向かって進行すること、ひいては衝突の可能性があることを推定できる。

他の交通参加者は歩行者であり、第２パターンは、歩行者を取り囲む仮想ラインの少なくとも一部を含んでもよい。第１パターンと第２パターンが交差する場合、自車の進行方向に歩行者が存在すること、ひいては衝突の可能性があることを推定できる。

歩行者の周囲の第２パターンは、交通インフラに備えられた照明装置により描画されてもよい。あるいは歩行者が携行する照明装置によって描画されてもよい。

第１パターンは、赤外線のビームにより描画されてもよい。この場合、歩行者や運転者に煩わしさを与えずに、車両同士のセンシングが可能となる。

第１パターンは、可視光のビームにより描画されてもよい。この場合、歩行者などに、自車の進行方向を明示的に示すことができるという副次的な効果が生ずる。

第１パターンは、自車からの距離の情報を含んでもよい。たとえば、第１パターンにメモリを付してもよいし、パターンを複数の部分に分割し、自車からの距離によって各部分の波長が決められてもよい。

第１パターンは、自車の速度情報を含んでもよい。たとえば速度によって、第１パターンの波長を変化させてもよいし、第１パターンを変調して車速情報を載せてもよいし、第１パターンの長さに、速度情報を反映させてもよい。

カメラによって歩行者が検出されたとき、照明装置は、歩行者の周辺に第３パターンを描画してもよい。自分自身を取り囲む第２パターンを描画する照明を歩行者が携行していない場合に、その歩行者を検知した車両の照明装置が代わりに描画することで、他の車両がその歩行者を検出しやすくなる。

（実施の形態）
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。

図１は、実施の形態に係るセンシングシステム１００のブロック図である。センシングシステム１００は車両２００に搭載される。センシングシステム１００は、照明装置１１０、カメラ１２０、演算処理装置１３０を備える。

照明装置１１０は、路面２に自車２００の進行方向に伸びるパターンＰＴＮを描画する。照明装置１１０は、ヘッドランプ２１０に内蔵されてもよい。照明装置１１０は、左右のヘッドランプ２１０に内蔵される２個の光源を含み、２個の光源が生成する２つのビームによって、パターンＰＴＮが形成されてもよい。ここでは、パターンＰＴＮを単純な矩形で示すがその形状は特に限定されない。

カメラ１２０は、主として車両前方の路面２を撮影する。カメラ１２０は、照明装置１１０が描画するパターンＰＴＮに対して感度を有している。言い換えれば、照明装置１１０が照射するビーム、すなわちパターンＰＴＮの色（波長）は特に限定されず、カメラ１２０によって撮影可能であればよい。

一実施例において、パターンＰＴＮは、赤外線のビームにより描画されてもよい。この場合、歩行者や運転者は、パターンＰＴＮを視認できなくなるため、煩わしさを与えずに、車両同士のセンシングが可能となる。

一実施例において、パターンＰＴＮは、可視光のビームにより描画されてもよい。この場合、歩行者などに、自車の進行方向を明示的に示すことができるという副次的な効果が生ずる。

カメラ１２０の設置場所は特に限定されず、図１に示すように、ルームミラーの裏であってもよいし、フロントグリルであってもよいし、フロントバンパーであってもよい。あるいはカメラ１２０は、照明装置１１０とともにヘッドランプ２１０に収容されてもよい。

カメラ１２０の画像ＩＭＧには、自車の照明装置１１０が描画したパターンＰＴＮと他の交通参加者（車両、歩行者のみでなく、信号機などの交通インフラや、壁や建物、障害物などを含む）が路面２に描画したパターン（図１に不図示）が写る。

演算処理装置１３０は、カメラ１２０の画像ＩＭＧを受け、画像に写るパターンＰＴＮにもとづいて、自車と他の交通参加者の状態を検出する。

以上がセンシングシステム１００の構成である。センシングシステム１００を搭載した車両によって、交通システムあるいは交通社会が形成される。このシステム／社会では、多くの車両に、図１に示すセンシングシステム１００が搭載されている。

以下、いくつかのシーンを参照しながら、センシングシステム１００によるセンシングについて説明する。

図２は、例示的な走行シーンを説明する図である。車両２０１と車両２０２には、同じセンシングシステム１００が搭載されており各車両２０１，２０２は、進行方向に向かって伸びるパターンＰＴＮ１，ＰＴＮ２を路面に描画している。

図２の走行シーンでは、２つの車両２０１，２０２はビル４によって隔てられているため、各車両の運転者は、お互いの車両の存在を目視により確認することはできない。

図３は、図２のシーンにおいて車両２０１のカメラ１２０が撮影する画像ＩＭＧ１を示す図である。この画像ＩＭＧ１には、自車２０１が照射したパターンＰＴＮ１と、他車２０２が照射したパターンＰＴＮ２が写っている。

演算処理装置１３０は、画像処理によって、自車および他の交通参加者が路面に描画するパターンＰＴＮ１，ＰＴＮ２のみを容易に抽出することができる。そしてパターンＰＴＮ２にもとづいて、見えない車両２０２の存在を検知できる。またこのパターンＰＴＮ２は、進行方向に伸びるものであるから、図中、右から左に車両２０２が進行していることを推定できる。さらに演算処理装置１３０は、複数のパターンＰＴＮ１，ＰＴＮ２が交差するか否かを判定する。この例では、２つのパターンＰＴＮ１，ＰＴＮ２が交差している。パターンＰＴＮ１，ＰＴＮ２の交差の検出は、極めて簡単な画像処理によって行うことができる。

２つのパターンＰＴＮ１とＰＴＮ２が交差する場合、自車２０１と他の交通参加者（車両２０２）が同じ地点（２つのパターンの交点）Ｐ１に向かって進行すること、ひいては衝突の可能性があることを推定できる。演算処理装置１３０は、衝突の可能性がある場合に、運転者に報知し、回避行動を促すことができる。あるいはセンシングシステム１００を搭載する車両が、自動運転システムを搭載する場合、センシングシステム１００の出力に応じて、ステアリングおよびアクセル、ブレーキの少なくともひとつを制御し、操舵、加速、減速、停止などが可能となる。

ここでは車両２０１からみた画像について説明したが、他方の車両２０２においても同様な処理が行われる。車両２０２のセンシングシステム１００のカメラ１２０は、自車２０２が形成するパターンＰＴＮ２と、それと直交する他車２０１が形成するパターンＰＴＮ１を含む画像を生成する。これにより車両２０２のセンシングシステム１００は、自車から見て左方向から右方向に向かって、車両２０１が走行していることを推定することができる。

照明装置１１０は、パターンＰＴＮに距離情報を載せてもよい。図４（ａ）、（ｂ）は、距離情報を含むパターンＰＴＮを説明する図である。図４（ａ）のパターンＰＴＮは、所定の間隔ごとに、スペースを有する。図４（ｂ）のパターンは、自車からの距離に応じて波長（色）が異なっている。この例では、手前側ほど波長が短いが、その逆であってもよい。パターンＰＴＮに距離情報を含めることにより、図３のシーンにおいて、自車２０１と点Ｐ１までの距離、他車２０２と点Ｐ１までの距離を、カメラ画像ＩＭＧから取得することが可能となる。

照明装置１１０は、パターンＰＴＮに、速度情報を載せてもよい。図５（ａ）～（ｃ）は、速度情報を含むパターンＰＴＮを示す図である。図５（ａ）では、パターンＰＴＮの長さが速度と相関を有する。図５（ｂ）では、パターンＰＴＮの幅が速度と相関を有する。図５（ｃ）では、パターンＰＴＮの点滅周波数が、速度と相関を有する。あるいは、パターンＰＴＮの波長（色）を、車速に応じて変化させてもよい。

パターンＰＴＮに、距離と車速情報の両方を載せることにより、以下の効果を得ることができる。すなわち、図３の画像から、自車２０１と点Ｐ１までの距離がパターンＰＴＮ１から取得でき、自車の速度は、車両のシステムから取得できる。また、パターンＰＴＮ２から、他車２０２と点Ｐ１の距離および他車２０２の速度が取得できる。したがって、他車２０２が点Ｐ１に到着するまでの所要時間が計算でき、また自車２０１が点Ｐ１に到着するまでの時間も計算できる。したがって、これらの時間にもとづいて衝突の可能性を判定したり、ブレーキの緊急度やブレーキの強さを制御することが可能となる。

図６は、別の走行シーンを説明する図である。車両２０１と車両２０２は、対向車線を反対向きに走行している。

図７は、図６のシーンにおいて車両２０１のカメラ１２０が撮影する画像ＩＭＧ１を示す図である。この画像ＩＭＧ１にも、自車２０１が照射したパターンＰＴＮ１と、他車２０２が照射したパターンＰＴＮ２が写っている。このシーンでは、演算処理装置１３０は、パターンＰＴＮ２にもとづいて、対向車２０２が存在することを検出できる。この検出には、対向車２０２そのものの像を利用していないことに留意されたい。言い換えれば、対向車２０２を撮影しなくても、路面に描画されたパターンＰＴＮ２にもとづいて、対向車２０２を間接的に検出することができる。

図７の画像ＩＭＧ１では、パターンＰＴＮ１とパターンＰＴＮ２は交差していない。したがって演算処理装置１３０は、衝突の可能性が低いと判定することができる。

これまでの説明では、車両２００が、パターンＰＴＮを描画する場合を説明したが、車両以外の交通参加者もパターンを描画することができる。

図８（ａ）は、歩行者３００に関連して描画されるパターンＰＴＮ３を示す図である。歩行者の速度は自動車の速度に比べると十分に低く、歩行者の進行方向にパターンを描画しても、あまり意味をなさない。むしろ、歩行者の前方のみでなく、あらゆる方向の車両に自分自身の存在を知らせることを優先すべきといえる。この観点から、歩行者３００に関するパターンＰＴＮ３は、歩行者３００を取り囲むように路面に描画される。パターンＰＴＮ３は円形であってもよいし、多角形であってもよい。パターンＰＴＮ３は、歩行者自身が携行する専用の照明装置１４０により描画してもよい。なお、このパターンＰＴＮ３は必ずしも歩行者３００を取り囲んでいる必要はなく、歩行者３００を取り囲む仮想ラインの少なくとも一部を含んいればよい。

あるいは、信号機などの交通インフラに、歩行者を検出するカメラと、歩行者を示すパターンＰＴＮ３を描画するための照明装置を設置してもよい。

図８（ｂ）は、車載のシステム１００による歩行者３００の検知を説明する図である。車両２００に搭載されるセンシングシステム１００は、所定の形状、所定の色（波長）のパターンＰＴＮ３を検出することにより歩行者３００の存在を間接的に検出できる。また演算処理装置１３０は、パターンＰＴＮ１とパターンＰＴＮ３の位置関係により、歩行者３００が、自車の進行方向に位置することを検出できる。さらに、演算処理装置１３０は、パターンＰＴＮ１とＰＴＮ３が交差するか否かを判定することで、歩行者との衝突の可能性を判定することができる。

以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
これまでの説明では、照明装置１１０が描画するパターンを矩形としたがその限りでない。図９（ａ）～（ｄ）は、パターンＰＴＮの変形例を示す図である。図９（ａ）に示すように、パターンＰＴＮは楕円であってもよい。あるいは図９（ｂ）に示すように台形であってもよいし、あるいは三角形であってもよい。図９（ｃ）に示すように、前方ほど幅が広くてもよい。図９（ｄ）に示すようにパターンＰＴＮは、複数の部分に分割されていてもよい。たとえば図９（ｄ）のパターンＰＴＮは、車幅を示すように、左右の２本に分割されている。図９のようにパターンＰＴＮを左右に分割する場合、左側の部分を左側の灯具に内蔵する光源によって描画し、右側の部分を右側の灯具に内蔵する光源によって描画してもよい。

またパターンＰＴＮは、車種（乗用車、トラック、オートバイ、原動機付き自動二輪車など）や車格、ボディーサイズや排気量、などに応じて異なっていてもよい。

（変形例２）
障害物の近傍の路面に障害物の存在を示すパターンを描画するようにしてもよい。図１０は、障害物の存在を知らせるパターンＰＴＮ４を示す図である。たとえば現状では、故障車２２０がその存在を後続車に知らせるために、三角停止板（三角表示板）や発煙筒が利用されている。これらに代えて、あるいは加えて、路面に所定の形状および色を有するパターンＰＴＮ４を描画する照明装置１５０を用いることができる。

この照明装置１５０は、故障車の存在を知らせる以外に、さまざまなシーンに用いることができる。たとえば工事現場において、１車線が通行禁止になっている場合に、それを示すために照明１５０を用いることができる。

（変形例３）
図１１は、変形例３に係るセンシングシステム１００Ａを示す図である。センシングシステム１００Ａは、上述のセンシングシステム１００に加えて、先行車２４０の後ろ側の路面にパターンＰＴＮ５を描画する照明装置１６０をさらに備える。このパターンＰＴＮ５は、進行方向と垂直に伸びている。これにより、後続車は、前方に照射したパターンＰＴＮが、先行車２４０のパターンＰＴＮ５と交差した場合に、追突の可能性があると判定できる。

（変形例４）
図８（ａ）に示す歩行者３００に関するパターンＰＴＮ３を、他の車両に搭載される照明装置が描画してもよい。センシングシステム１００は、カメラ１２０によって歩行者３００が検出されたとき、照明装置１１０に対して、歩行者３００を取り囲むパターンＰＮＴ３を描画させてもよい。歩行者３００が照明装置１４０を携行していない場合に、あるいは上述の交通インフラが照明装置を備えない場合に、歩行者を検知した車両の照明装置がパターンＰＴＮ３を代わりに描画することで、他の車両がその歩行者を検出しやすくなる。

実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

本発明は、車載用のセンシングシステムに関する。

２ 路面
１００ センシングシステム
１１０ 照明装置
１２０ カメラ
１３０ 演算処理装置
１４０ 照明装置
１５０ 照明装置
１６０ 照明装置
２００ 車両
２１０ ヘッドランプ
３００ 歩行者

Claims (10)

1. 路面に自車の進行方向に伸びる第１パターンを描画する照明装置と、
   カメラと、
   前記カメラの画像に写る、前記第１パターンと他の交通参加者が路面に描画した第２パターンにもとづいて、前記自車と前記他の交通参加者の状態を検出する演算処理装置と、
   を備え、
   前記他の交通参加者は歩行者であり、前記第２パターンは、前記歩行者が所持する別の照明装置によって前記歩行者を取り囲む仮想ラインの少なくとも一部を含むように描画されたものであることを特徴とするセンシングシステム。
2. 前記演算処理装置は、前記第１パターンと前記第２パターンの交差を検出することを特徴とする請求項１に記載のセンシングシステム。
3. 前記他の交通参加者は車両であり、前記第２パターンは、前記他の交通参加者である前記車両の進行方向に伸びるように描画されることを特徴とする請求項１または２に記載のセンシングシステム。
4. 前記第１パターンは、赤外線であることを特徴とする請求項１から３のいずれかに記載のセンシングシステム。
5. 前記第１パターンは、可視光であることを特徴とする請求項１から３のいずれかに記載のセンシングシステム。
6. 前記第１パターンは、自車からの距離の情報を含むことを特徴とする請求項１から５のいずれかに記載のセンシングシステム。
7. 前記第１パターンは、自車の速度情報を含むことを特徴とする請求項１から６のいずれかに記載のセンシングシステム。
8. 前記カメラによって歩行者が検出されたとき、前記照明装置は、前記歩行者を取り囲むように、第３パターンを描画することを特徴とする請求項１から７のいずれかに記載のセンシングシステム。
9. 路面に自車の進行方向に伸びる第１パターンを描画する照明装置と、
   カメラと、
   前記カメラの画像に写る、前記第１パターンと他の交通参加者が路面に描画した第２パターンにもとづいて、前記自車と前記他の交通参加者の状態を検出する演算処理装置と、
   を備え、
   前記カメラによって歩行者が検出されたとき、前記照明装置は、前記歩行者を取り囲むように、第３パターンを描画することを特徴とするセンシングシステム。
10. 請求項１から９のいずれかに記載のセンシングシステムと、
    前記センシングシステムの出力に応じて、ステアリングおよびアクセル、ブレーキの少なくともひとつを制御する自動運転システムと、
    を備えることを特徴とする車両。

Images