JP4043416B2 - 安全移動支援装置 - Google Patents
安全移動支援装置 Download PDFInfo
- Publication number
- JP4043416B2 JP4043416B2 JP2003203494A JP2003203494A JP4043416B2 JP 4043416 B2 JP4043416 B2 JP 4043416B2 JP 2003203494 A JP2003203494 A JP 2003203494A JP 2003203494 A JP2003203494 A JP 2003203494A JP 4043416 B2 JP4043416 B2 JP 4043416B2
- Authority
- JP
- Japan
- Prior art keywords
- movable
- moving body
- safe
- space
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
- B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Description
【０００１】
【発明の属する技術分野】
本発明は、車両等或いはその他の移動体を安全に移動乃至走行させるための支援を行なう安全移動支援装置に関する。
【０００２】
【従来の技術】
車両周辺の走行領域を監視して障害物を検出するとともに、自車両の速度や進行方向を基にその障害物の危険度を求め、接触・衝突等の事故の危険を運転者に知らせる車両用予防安全装置が既に提案されている。この提案の装置は、自車両の周辺にある複数の危険対象物に対し、障害物の大きさ、種類、その未来行動、運転者の運転状態等々を勘案して危険度を評価、判断、処理し、車両の走行に関する安全を確保するものであるとされている。また、走行環境出力手段により、前方の走行路面に対応する実空間座標上に障害物の大きさに対応した障害度が抽出データとして表わされ、さらに自車両の走行状態に応じて、実空間座標上における危険度係数の分布を設定し、抽出データと危険度係数から危険度の２次元分布が得られるので、複数の車両が周辺を同時に走行している場合にも危険度の評価が多方向で同時にでき、更に、危険度の評価においては、障害物の大きさも考慮されているためより安全なものとなる、と開示されている（特許文献１）。
【０００３】
また、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物としての側壁を確実に検出することができ、且つ、側壁の有無、位置、方向を処理が容易なデータ形態で検出できるようにした車輌用車外監視装置等も提案されている。このようなデータを用いることにより、より高度な危険警報や事故回避の機能を実現することができるとされている（特許文献２）。
【０００４】
一方、車外の対象を撮像したステレオ画像対の対応位置のずれ量から三角測量の原理によって画像全体に渡る距離分布を求め、この距離分布の情報に対応する被写体の各部分の３次元位置を計算し、計算した３次元位置の情報を用いて複数の立体物を検出し、該検出した複数の立体物の自車輌側の縁と自車輌側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出し、算出した左右の隙間距離に係わる情報を運転者に知らせるようにした技術も提案されている。この提案では、技術車輌が狭路を通過する前に進行方向に存在する様々な立体物を確実に検出して自車輌との隙間距離を運転者に知らせることにより、運転者の負担を軽減して安全を確保するものであるとされている。また、運転者に検出結果、即ち危険度に応じた警告を行なうための表示の例として、そのまま進行すると接触する警告として該当する側に赤色の点灯表示を行い、障害物との隙間距離が０よりも大きく２０ｃｍ程度以下の場合には、運転者の不用意なハンドル操作によって接触が起こる危険性があるという警告として該当する側に黄色の点灯表示を行い、隙間距離が２０ｃｍ程度よりも大きい場合は、そのまま進行しても接触のおそれが十分に少ないことを示すため、該当する側を緑色で点灯表示することが開示されている（特許文献３）。
【０００５】
更に、上記のものと略々同趣旨の目的で、自車両前方の障害物を検出すると同時に自車両が障害物を避けて通り抜けられるか否かを自動的に判定することのできる車両用障害物検出装置も提案されている。この提案では、撮像された自車両の前方の画面内に、所定距離前方で自車両の通り抜けるために必要な空間枠を設定し、この空間枠内の所定複数箇所に比較対象領域となるウインドウを設定し、当該ウインドウにより捕えられた対象物までの距離を検出して、この距離検出結果から所定距離前方の路面における自車両の通り抜け可能性を判定し、この結果、自車両の通り抜けが不可能と判定された場合には運転者に警告する旨開示されている。上述の空間枠内のウインドウにより、自車両の前方の所定距離よりも短い距離が検出された場合に、自車両の通り抜けが不可能と判定される。即ち、自車両前方の障害物を検出すると同時に自車両が障害物を避けて通り抜けられるか否かを自動的に判定すると共に、通り抜け不可能であることを報知するというものである（特許文献４）。
【０００６】
更にまた、自車両の走行方向に存在する複数の車両や障害物との衝突の可能性を的確かつ素早く評価して確実な衝突防止を図ろとした衝突防止装置も既に提案されている。この提案では、マイクロプロセッサにより、メモリに記憶された３次元的な位置情報を利用して実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを実際の道路形状と合致するよう修正・変更して道路形状を認識すること、舵角と車速の情報に基づいて自車の走行経路を推定すること、走行速度に依存した運転者の一般的特性をより緻密に走行経路の領域に反映させ、通常の運転に、より合致した自然な衝突危険性の判断を行なうこと等が開示されている（特許文献５）。
【０００７】
【特許文献１】
特許第3153839号公報（段落０００１，０００５，００１５）
【特許文献２】
特許第3324821号公報（段落０２２３）
【特許文献３】
特開平7-192199号公報（段落００２１，０１６０）
【特許文献４】
特許第3212235号公報（段落０００９，００５５）
【特許文献５】
特開平10-283593（段落００２５，００４８）
【０００８】
【発明が解決しようとする課題】
上述した従来の提案になる技術は、何れも、車両等の移動体の移動乃至走行に係る障害物の認識や障害の回避乃至そのための警告表示等に力点を置いたものであり、移動体の移動乃至走行に係る安全が確保された経路そのものを明確且つ直接的に呈示して移動体の移動における安全確保をしながら積極的に移動するための支援機能を望むといった要請には必ずしも十全に応え得るものではない。また、一応安全が確保されると推定される経路が複数通り算定されるような場合に、そのうちの最適な経路を識別して呈示し積極的に移動乃至走行を支援するといった技術課題の認識も特段掲げられず、当然ながら、そのような課題に応える技術思想は示されていない。
【０００９】
本発明は叙上のような状況に鑑みてなされたものであり、移動体の移動乃至走行に係る安全が確保された経路そのものを明確且つ直接的に呈示して移動体の移動における安全確保をしながら積極的に移動するための支援機能を実現するための安全移動支援装置を提供することを目的とし、更には、安全が確保されると推定される経路が複数通り算定されるような場合にも、それらのうちの最適な経路を識別して呈示し積極的に移動乃至走行を支援するといった機能を実現するための安全移動支援装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の態様に係る安全移動支援装置は、移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報をカメラによって撮影される画像に基づいて取得するための環境３次元情報取得手段と、上記移動体の状態に関する移動体状態情報を取得するための移動体状態情報取得手段と、上記環境３次元情報取得手段から得た環境３次元情報及び上記移動体状態情報取得手段から得た移動体状態情報に基づいて上記移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定する安全移動可能空間算定手段と、を備え、上記安全移動可能空間算定手段での算定においては、上記環境３次元情報に基づいて面データの生成を行い、上記移動体状態情報から当該移動体の位置姿勢を参照して上記環境３次元情報の座標系に当該移動体を配置して当該移動体と上記面データとの接触部を推定し、続いて上記面データと上記接触部とに基づいてその接触部につながる面をトラッキングして面の連続性を評価して当該移動体が移動可能な候補となる移動可能面を抽出し、さらに当該移動体の寸法情報に基づいて上記移動可能面上で上記移動体を配置可能な空間を抽出することによって、上記移動可能面のうち当該移動体が存在し得る領域を算定するように構成されたものである。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の第１の構成に係る安全移動支援装置の機能ブロック図である。
【００２２】
同図の安全移動支援装置は、環境３次元情報取得手段１、移動体状態情報取得手段２、及び、安全移動可能空間算定手段３を有し、車両等或いはその他の移動体を安全に移動乃至走行させるための支援を行なう装置である。
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、及び、安全移動可能空間算定手段３は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。すなわち、この安全移動支援装置は、車両等の移動体に搭載されるものとして適用されるだけでなく、監視カメラシステムや交通管制システム等といった、移動体の状況を外部から認識し安全の判断や必要な制御等を行なうシステム等としても適用し得るものである。
【００２３】
環境３次元情報取得手段１は、当該移動体乃至当該移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報を取得するものであり、必要に応じて、その環境３次元情報を時系列に取得することができるようになっている。
【００２４】
ここで、環境３次元情報取得手段１は、その環境３次元情報を、レーザやミリ波等を用いたTime of Flight 方式、ステレオカメラ（多眼ステレオカメラを含む）を利用した方式、Shape From Motion による方式、パターン投影法による方式、及び、GPS （ Global Positioning System ）と地図情報とを利用した方式等のうちの一または複数の方式により取得するものである。例えば、GPS と地図情報とを利用した方式を用いる場合には、GPS により取得された位置情報を基に、地図情報から建物等の環境３次元情報を取得することが可能になる。
【００２５】
尚、取得する環境３次元情報は、点群データ、ボリュームデータ（「コンピュータビジュアリゼーション，共立出版（株）発行」（以下、参考文献１という）等参照）、或いは、サーフィスデータ（参考文献１等参照）など何れのフォーマットによるデータであっても良い。
【００２６】
移動体状態情報取得手段２は、当該移動体の状態に関する移動体状態情報を取得するものであり、必要に応じて、その移動体状態情報を時系列に取得することができるようになっている。
ここで、移動体状態情報とは、当該移動体の位置姿勢、速度、角速度、ボディのひずみ、操舵角、加速度、角加速度、推進力、ブレーキ等による制動力、駆動力伝達系のギア比、環境温度（移動体内外温度等）、湿度（移動体内外湿度等）、燃料の残量、及び、バッテリーの残容量等といった動的なものや、最大トルク、寸法（全長、全幅、全高、最低地上高、アンテナ高等）、接地面積、重量、ABS （ Anti lock Braking System ）等の特殊機能の有無、及び、最小回転半径等といった静的なもの等のうちの一または複数のものに係る情報を意味する。上述のような静的な情報については、これらをメモリに保持しておくようにしてもよい。
【００２７】
安全移動可能空間算定手段３は、環境３次元情報取得手段１から得た環境３次元情報及び移動体状態情報取得手段２から得た移動体状態情報に基づいて、当該移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定するものであり、当該移動体が移動可能な領域の所定平面への投影である移動可能面を算定する手段、その移動可能面上の状態を算定する手段、その移動可能面のうち当該移動体が存在し得る領域を算定する手段、又は、その移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段のうちの一または複数のものを備えている。
【００２８】
ここで、この安全移動可能空間算定手段３が行なう安全移動可能空間の算定に係る処理をより詳しく説明する。
図２は、その算定に係る処理の一例を示すフローチャートである。
まず、安全移動可能空間算定手段３は、環境３次元情報取得手段１により取得された環境３次元情報から面データの生成を行なう（Ｓ１）。尚、面データは、３次元空間内の物体の表面を多数の平面片で近似したものである三角形パッチや四角形パッチ等で表現されているもの、曲面関数により近似したもので表現されているもの、或いはナーブ等を用いて表現されているものなど何れのものであっても良い。
【００２９】
続いて、移動体状態情報取得手段２により取得された移動体状態情報から当該移動体の位置姿勢等を参照し、前述の環境３次元情報の座標系に当該移動体を配置し、現在の当該移動体との接触部を推定する（Ｓ２）。
続いて、Ｓ１で生成された面データとＳ２で推定された接触部とに基づいて、その接触部につながる面（平面、曲面、又はそれら両方を含む）をトラッキングして面の連続性を評価し、当該移動体が移動可能と思われる移動可能面を抽出する（Ｓ３）。これにより、当該移動体が移動可能な領域の所定平面への投影である移動可能面が算定されることになる。
【００３０】
続いて、前述の移動体状態情報から当該移動体の寸法等を参照し、Ｓ３で抽出された移動可能面上で当該移動体を配置可能な空間を抽出する（Ｓ４）。これにより、移動可能面のうち当該移動体が存在し得る領域が算定されることになる。このＳ４では、例えば、当該移動体が車両である場合に、その車両が通り抜けることができない大きさのトンネルや道路等に係る空間は抽出されないことになる。
【００３１】
続いて、前述の移動体状態情報を参照し、Ｓ４で抽出された当該移動体を配置可能な空間のうち、当該移動体が安全に移動可能な安全移動可能空間を抽出する（Ｓ５）。このＳ５では、例えば、前述の移動体状態情報から当該移動体の位置姿勢、速度、角速度、ボディのひずみ、操舵角、加速度、角加速度、推進力、ブレーキ等による制動力、駆動力伝達系のギア比、最大トルク、最低地上高等の寸法、重量、ABS 等の特殊機能の有無、及び、最小回転半径等を参照して、安全に移動乃至走行可能な面の傾きの算出や、乗り越えることが可能な段差の算出等を行い、所定の閾値処理により、当該移動体を配置可能な空間のうち、当該移動体が安全に移動可能な安全移動可能空間を判定し抽出する、等といった処理を行なう。
【００３２】
このような図２に示した処理により、安全移動可能空間算定手段３は、安全移動可能空間を算定する。
図３(a),(b),(c),(d) は、安全移動可能空間算定手段３により安全移動可能空間が算定されるまでの処理の経過の様子を示したイメージ図である。但し、同図(a) 乃至(d) は、当該移動体を車両とし、当該車両に対する安全移動可能空間の算定が行われた場合の例を示している。
【００３３】
同図(a) は、環境３次元情報取得手段１により取得された環境３次元情報、すなわち、当該車両乃至当該車両に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報を表している。
【００３４】
同図(b) は、前述のＳ１において、同図(a) の環境３次元情報から生成された面データを表している。
同図(c) は、前述のＳ２において、移動体状態情報取得手段２により取得された移動体状態情報（当該車両の状態に関する状態情報）から当該車両の位置姿勢等が参照され、同図(a) の環境３次元情報の座標系に当該車両が配置される等して推定された、現在の当該車両との接触部４ａ、４ｂを表わすと共に、前述のＳ３において、その接触部４ａ、４ｂと同図(b) の面データとに基づいて、その接触部４ａ、４ｂにつながる面がトラッキングされ面の連続性が評価される等して抽出された、当該車両が移動（走行）可能と思われる移動可能面（走行可能面）５、すなわち、当該車両が移動可能な領域の所定平面への投影である移動可能面５を表している。
【００３５】
同図(d) は、前述のＳ４において、前述の移動体状態情報から当該車両の寸法等が参照される等して抽出された、同図(c) の移動可能面５上で当該車両を配置可能な空間６ａ、６ｂ、すなわち、移動可能面５のうち当該車両が存在し得る領域６ａ、６ｂを表わすと共に、前述のＳ５において、前述の移動体状態情報が参照される等して、当該車両を配置可能な空間６ａ、６ｂの中から抽出された、当該車両が安全に移動可能な安全移動可能空間となる空間６ａを表している。
【００３６】
このように、本例において、前述の図２に示した処理が行われることによって、当該車両が安全に移動可能な安全移動可能空間６ａが算定される。
また、安全移動可能空間算定手段３が、前述の、移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段を有している場合には、未来の、当該移動体が安全に移動可能な安全移動可能空間を予測して算定することが可能である。
【００３７】
この場合、安全移動可能空間算定手段３は、環境３次元情報取得手段１により時系列に取得された複数の環境３次元情報から所望時間後の環境３次元情報を予測して算定すると共に、移動体状態情報取得手段２により時系列に取得された複数の移動体状態情報から所望時間後の移動体状態情報を予測して算定し、これら予測して算定した環境３次元情報と移動体状態情報とに基づいて、前述の図２に示した処理を行なうことによって、所望時間後の安全移動可能空間を予測して算定することが可能である。
【００３８】
図４(a),(b),(c) は、時系列に取得された複数の環境３次元情報から算定される所望時間後の環境３次元情報の一例を説明する図である。
同図(a) は、時刻Ｔ１に、環境３次元情報取得手段１により取得された環境３次元情報に基づく距離データの水平断面図であり、７は環境３次元情報の取得範囲を示し、８、９ａは時刻Ｔ１の距離データを示している。
【００３９】
尚、１０ａ（同図(a) の斜線部分）は、仮に、この時刻Ｔ１に環境３次元情報取得手段１により取得された環境３次元情報と移動体状態情報取得手段２により取得された移動体状態情報とにより移動可能面を算定した場合のその移動可能面を示している。
【００４０】
同図(b) は、時刻Ｔ１の後の時刻Ｔ２に、環境３次元情報取得手段１により取得された環境３次元情報に基づく距離データの水平断面図であり、９ｂは時刻Ｔ２の距離データを示している。
尚、１０ｂ（同図(b) の斜線部分）は、仮に、この時刻Ｔ２に環境３次元情報取得手段１により取得された環境３次元情報と移動体状態情報取得手段２により取得された移動体状態情報とにより移動可能面を算定した場合のその移動可能面を示している。
【００４１】
同図(c) は、時刻Ｔ２の後の時刻Ｔ３に、環境３次元情報取得手段１により取得された環境３次元情報に基づく距離データの水平断面図であり、９ｃは時刻Ｔ３の距離データを示している。また、９ｄは、時刻Ｔ１、Ｔ２、Ｔ３の距離データ９ａ、９ｂ、９ｃから予測して算定された、未来の時刻Ｔ４における距離データを示している。
【００４２】
このように、安全移動可能空間算定手段３は、環境３次元情報取得手段１により取得された、時刻Ｔ１、Ｔ２、及び、Ｔ３の環境３次元情報から、未来の時刻Ｔ４における環境３次元情報を予測して算定するものである。
尚、１０ｃ（同図(c) の斜線部分）は、仮に、この時刻Ｔ３に環境３次元情報取得手段１により取得された環境３次元情報と移動体状態情報取得手段２により取得された移動体状態情報とにより移動可能面を算定した場合のその移動可能面を示している。
【００４３】
また、安全移動可能空間算定手段３は、同様にして、移動体状態情報取得手段２により取得された、時刻Ｔ１、Ｔ２、Ｔ３の移動体状態情報から、未来の時刻Ｔ４における移動体状態情報を予測して算定し、これら予測した環境３次元情報と移動体状態情報から、安全移動可能空間を算定することにより、未来の時刻Ｔ４における安全移動可能空間を予測することが可能になる。
【００４４】
以上、第１の構成に係る安全移動支援装置によれば、安全移動可能空間が算定されるようになるので、移動体の移動乃至走行に係る安全が確保された空間を取得することができ、移動体を安全に移動乃至走行させるための支援を行なうことができる。
【００４５】
次に、本発明の第２の構成に係る安全移動支援装置について説明する。
図５は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、及び、安全移動可能空間算定手段３´を有し、車両等或いはその他の移動体をより安全に移動乃至走行させるための支援を行なう装置である。
【００４６】
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、及び、安全移動可能空間算定手段３´は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。すなわち、この安全移動支援装置は、第１の構成に係る安全移動支援装置と同様に、車両等の移動体に搭載されるものとして適用されるだけでなく、監視カメラシステムや交通管制システム等といった、移動体の状況を外部から認識し安全の判断や必要な制御等を行なうシステム等としても適用し得るものである。
【００４７】
環境３次元情報取得手段１及び移動体状態情報取得手段２は、図１に示したものと同じであるので、ここでは説明を省略する。
テクスチャ取得手段１１は、当該移動体乃至当該移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間に係るテクスチャを取得するものであり、必要に応じて、そのテクスチャを表すデータを時系列に取得することができるようになっている。
【００４８】
ここで、テクスチャ取得手段１１は、そのテクスチャを、可視光撮像素子、赤外光撮像素子、高感度撮像素子、又は、高ダイナミックレンジ撮像素子等のうちの一または複数のものにより取得するものであってもよく、また、このような撮像素子を用いて取得した映像に最も相関が高いと判定される既成の一のテクスチャを予め準備された複数の候補から選定するような構成を備えてもよい。
【００４９】
安全移動可能空間算定手段３´は、環境３次元情報取得手段１から得た環境３次元情報及び移動体状態情報取得手段２から得た移動体状態情報並びにテクスチャ取得手段１１から得たテクスチャに基づいて、当該移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定するものであり、図１に示した安全移動可能空間算定手段３と同じように、当該移動体が移動可能な領域の所定平面への投影である移動可能面を算定する手段、上記移動可能面上の状態を算定する手段、上記移動可能面のうち当該移動体が存在し得る領域を算定する手段、又は、上記移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段のうちの一または複数のものを備えている。
【００５０】
ここで、この安全移動可能空間算定手段３´が行なう安全移動可能空間の算定に係る処理をより詳しく説明する。
図６は、その算定に係る処理の一例を示すフローチャートである。
同図において、Ｓ１乃至Ｓ４の処理は、図２に示したＳ１乃至Ｓ４の処理と同じであるので、ここでは詳しい説明を省略する。
【００５１】
安全移動可能空間算定手段３´は、環境３次元情報から面データを生成し（Ｓ１）、現在の当該移動体との接触部を推定し（Ｓ２）、当該移動体が移動可能と思われる移動可能面を抽出すると（Ｓ３）、続いて、その移動可能面上で当該移動体を配置可能な空間の抽出（Ｓ４）と、その移動可能面のうち当該移動体が安全に移動可能と思われる安全移動可能面の抽出（Ｓ６）を行なう。
【００５２】
ここで、Ｓ６での安全移動可能面の抽出は、Ｓ３で抽出された移動可能面と、テクスチャ取得手段１１により取得されたテクスチャを表すデータから、いわゆるテクスチャ解析（参考文献１等参照）等によって、移動可能面上の状態（凍結、湿潤、素材（アスファルト、砂利、土、コンクリート等）、温度等）を算定し、移動可能面のうち当該移動体が安全に移動可能と思われる安全移動可能面を抽出することにより、行なう。
【００５３】
尚、このＳ４とＳ６の処理は、並列或いは直列に行われても良く、直列に行われる場合には何れが先に行われるものであっても良い。
これらＳ４とＳ６の処理が終了すると、続いて、移動体状態情報取得手段２により取得された移動体状態情報と、Ｓ４で抽出された当該移動体を配置可能な空間と、Ｓ６で抽出された当該移動体が安全に移動可能と思われる安全移動可能面とから、当該移動体が安全に移動可能な安全移動可能空間を抽出する（Ｓ７）。
【００５４】
このような図６に示した処理により、安全移動可能空間算定手段３´は、安全移動可能空間を算定する。
図７は、安全移動可能空間算定手段３´により安全移動可能面が算定されるまでの処理の経過の様子を示したイメージ図である。但し、同図は、当該移動体を車両とし、当該車両に対する安全移動可能面の算定が行われた場合の例を示している。
【００５５】
同図において、１３は、テクスチャ取得手段１１により取得されたテクスチャを表すデータを表している。
１４は、環境３次元情報取得手段１により取得された環境３次元情報を表している。
【００５６】
１５は、前述のＳ１乃至Ｓ３の処理が行われ環境３次元情報１４に基づいて抽出された、当該車両が移動（走行）可能と思われる移動可能面（走行可能面）を表している。
１６は、前述のＳ６の処理において、移動可能面１５とテクスチャを表すデータ１３とから算定された、移動可能面１５上の状態である凍結の領域を表している。
【００５７】
１７は、前述のＳ６の処理が行われ抽出された、移動可能面１５のうち当該車両が安全に移動可能と思われる安全移動可能面を表している。
このように、本例において、前述の図６に示した処理が行われることによって、当該車両が安全に移動可能と思われる安全移動可能面が算定され、そして、この安全移動可能面１７と、移動体状態情報取得手段２により取得された移動体状態情報（当該車両に関する状態情報）と、前述のＳ４の処理により抽出された当該車両を配置可能な空間とから、当該車両が安全に移動可能な安全移動可能空間の抽出が可能になる。
【００５８】
また、安全移動可能空間算定手段３´が、前述の、移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段を有している場合には、未来の、当該移動体が安全に移動可能な安全移動可能空間を予測して算定することが可能である。
【００５９】
この場合、安全移動可能空間算定手段３´は、環境３次元情報取得手段１により時系列に取得された複数の環境３次元情報から所望時間後の環境３次元情報を予測して算定し、また移動体状態情報取得手段２により時系列に取得された複数の移動体状態情報から所望時間後の移動体状態情報を予測して算定し、またテクスチャ取得手段１１により時系列に取得された複数のテクスチャを表すデータから所望時間後のテクスチャを表すデータを予測して算定し、これら予測して算定した環境３次元情報と移動体状態情報とテクスチャを表すデータとに基づいて、前述の図６に示した処理を行うことによって、所望時間後の安全移動可能空間を予測して算定することが可能である。
【００６０】
以上、第２の構成に係る安全移動支援装置によれば、更に、移動体の移動可能面乃至走行可能面の状態も考慮されるようになるので、移動体の移動乃至走行に係る安全がより確保された空間を取得することができ、移動体をより安全に移動乃至走行させるための支援を行なうことができる。
【００６１】
次に、本発明の第３の構成に係る安全移動支援装置について説明する。
図８は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、前述の図５に示した安全移動支援装置が更に安定移動経路算定手段１８を有したものである。
【００６２】
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、安全移動可能空間算定手段３´、及び、安定移動経路算定手段１８は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。
【００６３】
環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、及び、安全移動可能空間算定手段３´は、図５に示したものと同じであるので、ここでは説明を省略する。
安定移動経路算定手段１８は、安全移動可能空間算定手段３´から得た安全移動可能空間を表わす情報及び移動体状態情報取得手段２から得た移動体状態情報に基づいて、当該移動体が安定して移動することが可能であると推定される経路を算定するものである。
【００６４】
例えば、移動体状態情報の速度、加速度、角速度、角加速度、寸法等を参照し、算定された１つ又は複数の安全移動可能空間から、所定の基準の下で最適になるような経路を探索することにより、当該移動体が安定して移動することが可能であると推定される経路を算定する。
【００６５】
ここで、所定の基準とは、例えば、加速度もしくは角加速度の経路積分が最小であること、当該移動体と安全移動可能空間境界との最小距離が最大になること（障害物からできるだけ離れていること）、移動可能面の凹凸が少ないこと、等といった基準がある。
【００６６】
尚、これらの最適化基準は、従来から数学的に定式化されて一般に扱われているものを適用することが可能である。
このような第３の構成に係る安全移動支援装置によれば、安全移動可能空間が複数算定されるような場合、すなわち、一応安全が確保されると推定される経路が複数通り算定されるような場合にも、それらのうちから最適な経路を取得することができる。
【００６７】
次に、本発明の第４の構成に係る安全移動支援装置について説明する。
図９は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、前述の図８に示した安全移動支援装置が更に移動体制御手段１９を有したものである。
【００６８】
環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、安全移動可能空間算定手段３´、及び、安定移動経路算定手段１８は、図８に示したものと同じであるので、ここでは説明を省略する。
移動体制御手段１９は、安定移動経路算定手段１８によって算定された、当該移動体が安定して移動することが可能であると推定される経路に沿って、当該移動体が移動し得るように制御を行なうものである。ここでは、フィードバック情報として、移動体状態情報取得手段２により取得された移動体状態情報を参照しながら、安定移動経路算定手段１８によって算定された経路に沿って、当該移動体が移動し得るように制御を行なうようにしている。
【００６９】
尚、移動体を所定の経路に沿って移動し得るようにする制御は、従来から様々な手法が提案されている。
このような第４の構成に係る安全移動支援装置によれば、移動体の移動における安全確保をしながら積極的に移動するための支援を行なうことができる。
【００７０】
次に、本発明の第５の構成に係る安全移動支援装置について説明する。
図１０は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、前述の図１に示した安全移動支援装置が更に安定移動経路算定手段１８´を有したものである。
【００７１】
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、安全移動可能空間算定手段３、及び、安定移動経路算定手段１８´は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。
【００７２】
環境３次元情報取得手段１、移動体状態情報取得手段２、安全移動可能空間算定手段３は、図１に示したものと同じであるので、ここでは説明を省略する。
安定移動経路算定手段１８´は、安全移動可能空間算定手段３から得た安全移動可能空間を表わす情報及び移動体状態情報取得手段２から得た移動体状態情報に基づいて、当該移動体が安定して移動することが可能であると推定される経路を算定するものであり、その他については、前述の安定移動経路算定手段１８（図８等参照）と同じである。
【００７３】
このような第５の構成に係る安全移動支援装置によれば、前述の第３の構成に係る安全移動支援装置と同様の効果を得ることができる。
次に、本発明の第６の構成に係る安全移動支援装置について説明する。
図１１は、その安全移動支援装置の機能ブロック図である。
【００７４】
同図の安全移動支援装置は、前述の図１０に示した安全移動支援装置が更に移動体制御手段１９´を有したものである。
環境３次元情報取得手段１、移動体状態情報取得手段２、安全移動可能空間算定手段３、及び、安定移動経路算定手段１８´は、図１０に示したものと同じであるので、ここでは説明を省略する。
【００７５】
移動体制御手段１９´は、安定移動経路算定手段１８´によって算定された、当該移動体が安定して移動することが可能であると推定される経路に沿って、当該移動体が移動し得るように制御を行なうものであり、その他については、前述の移動体制御手段１９（図９参照）と同じである。
【００７６】
このような第６の構成に係る安全移動支援装置によれば、前述の第４の構成に係る安全移動支援装置と同様の効果を得ることができる。
ここで、この第５の構成（又は第１或いは第４の構成でもある）に係る安全移動支援装置を、実際に車両に搭載させたときのシステムの具体例について説明する。
【００７７】
図１２は、そのシステムの構成を示した図である。
本システムは、後述するステレオアダプタ２１と撮像装置２２とを含んでなるステレオカメラ２３、処理装置２４、制御装置２５、入力装置２６、警告装置２７、運転装置２８、表示装置２９、車速センサ３０、測距レーダ３１、照度センサ３２、外部カメラ３３、ＧＰＳ３４、ＶＩＣＳ３５、外部通信装置３６、ステレオカメラ支持装置３７、カメラ姿勢センサ３８、及び、車両姿勢センサ３９等を備えている。そして、ステレオカメラ支持装置３７には、ステレオカメラ結合装置４０及び支持制御装置４１が設けられている。
【００７８】
ここで、ステレオカメラ２３及び処理装置２４は、環境３次元情報取得手段１に対応する構成であり、車速センサ３０、測距レーダ３１、照度センサ３２、車両姿勢センサ３９、及び、制御装置２５は、移動体状態情報取得手段２に対応する構成である。また、制御装置２５は、安全移動可能空間算定手段３、安定移動経路算定手段１８´、及び、移動体制御手段１９´にも対応する構成である。
【００７９】
ステレオアダプタ２１は、図１３に示すように、カメラ等の撮像装置２２内部にある撮像光学系２２Ａの前方に取り付けられ撮像素子２２Ｂに視差画像４３を形成するために用いられるものであり、同一被写体４４からの光を所定距離離間した２つの受光部位（ミラー２１Ａ−１，２１Ａ−２）で受光し、この受光した各々の光を撮像装置２２の撮像光学系２２Ａに導く光学系（ミラー２１Ｂ−１，２１Ｂ−２）が設けられている。
【００８０】
ステレオアダプタ２１と撮像装置２２（あるいはそれらに加えて処理装置２４）を含んで構成されるステレオカメラ２３は、ステレオカメラ支持装置３７によって種々の方向を撮像することが可能に構成されている。
このステレオカメラ２３は、図１４(a),(b),(c),(d) に示すように、車両４２の車内および車外の任意の位置（ハッチングして示す位置）に装着することが可能である。車両４２の車外に装着する際は、車両のボンネット、ピラー、ヘッドライト等に装着可能であり、車外の風景をさまざまな方向から撮影することが可能である。また、車両４２の車内に装着する際は、ダッシュボート上、ルームミラー等に装着可能である。
【００８１】
処理装置２４は、ステレオアダプタ２１を通して撮像装置２２から撮影された画像から３次元再構成等の処理を行い、環境３次元情報を取得する。
制御装置２５は、内部にＣＰＵ及び制御プログラムや当該車両に係る仕様データ等を記録したメモリ等を備え、ＣＰＵが制御プログラムを読み出し実行することによって、本システム全体の動作を制御するものである。
【００８２】
例えば、制御装置２５は、前述のＳ１乃至Ｓ５の処理を行い、すなわち、ステレオカメラ２３及び処理装置２４によって得られた環境３次元情報と、車速センサ３０によって検出された速度，車両姿勢センサ３９によって検出された当該車両の位置姿勢，及び，前述の仕様データから得られる当該車両の寸法データ等といった当該車両の状態情報（移動体状態情報）とから、当該車両が安全に移動可能な安全移動可能空間を抽出し、続いて、その安全移動可能空間を表わす情報及び前述の当該車両の状態情報に基づいて、当該車両が安定して移動することが可能であると推定される経路を算定し、続いて、その経路に沿って、当該車両が移動し得るように、運転装置２８を制御する、等といった処理を行う。また、このときに、抽出した安全移動可能空間や算定した経路を、必要に応じて、表示装置２９に表示させることも可能になっている。また、制御装置２５は、必要に応じて、前述の環境３次元情報に基づく距離情報と、前述の車速センサ３０により検出された当該車両の速度に係る情報とを分析して、警告装置２７に警告を発生させたり、運転装置２８を制御して運転者に安全運転を促すことも可能になっている。ここで、警告装置２７は、音声装置２７Ａ，振動装置２７Ｂなどから成り、例えば、音声装置２７Ａはスピーカ等からの音声、振動装置２７Ｂは運転席シートの振動により運転者に警告を発するものである。
【００８３】
また、入力装置２６は、例えば、リモコン等の入力機器を用いて制御装置２５に指示を与え、モード等の切り換えを行なうことができる。
また、ステレオカメラ支持装置３７の構成要素であるステレオカメラ結合装置４０は、ステレオカメラ２３を車両４２に結合して支持する。また、ステレオカメラ支持装置３７の構成要素である支持制御装置４１は、ステレオカメラ結合装置４０に信号を出力して、ステレオカメラ２３の撮像方向を制御する。
【００８４】
また、車両姿勢センサ３９は、前述したように車両の姿勢または位置を検出し、道路に対する車両の傾きを検出する。そして、この車両姿勢センサ３９の検出値、処理装置２４で処理された画像情報、ＧＰＳ３４の情報等に基づいて、支持制御装置４１が、ステレオカメラ２３の撮像範囲、即ち撮像視野を何処に定めるかを制御する。即ち、車両が傾くことによって撮像視野が適正な状態からずれた場合は、元の撮像視野になるようにステレオカメラ結合装置４０に対して制御信号を出力する。この際、支持制御装置４１は、カメラの姿勢または位置を検出するセンサであるカメラ姿勢センサ３８の検出出力値に基づいて現在のカメラの状態を把握し、制御信号を生成する。そして、ステレオカメラ結合装置４０はこの制御信号に基づいて内部に設けられた調整機構を駆動し、ステレオカメラ２３を所望の方向に設定する。
【００８５】
尚、この制御に必要な各種の情報及び検出信号は制御装置２５を介して支持制御装置４１に入力される。但し、この形態に限定されず、支持制御装置４１が直接制御に必要な各種の情報及び検出信号を受け取るように構成しても良く、制御装置２５と支持制御装置４１とが適宜機能を分担して制御に必要な各種の情報及び検出信号を受け取るように構成しても良い。
【００８６】
また、本システムにおいて、例えば、環境３次元情報取得手段１に対応する構成を、監視カメラの如く水平面上での位置を固定されながら自己に向かってくる乃至は自己から遠ざかるように相対移動する移動体の環境３次元情報を取得するように設置されるようにすることも可能である。または、環境３次元情報取得手段１に対応する構成、移動体状態情報取得手段２に対応する構成、及び、安全移動可能空間算定手段３に対応する構成のうちの一または複数のものを、車両の外部に設けるようにすることも可能である。但し、これらの場合には、車両の外部に設けられた構成との間で行なうデータの送受は、外部通信装置３６を介して行われることになる。
【００８７】
以上、本発明の安全移動支援装置について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【００８８】
【発明の効果】
以上、詳細に説明したように、本発明によれば、移動体の移動乃至走行に係る安全が確保された経路そのものを明確且つ直接的に呈示して移動体の移動における安全確保をしながら積極的に移動するための支援機能を実現するための安全移動支援装置を提供することができ、更には、安全が確保されると推定される経路が複数通り算定されるような場合にも、それらのうちの最適な経路を識別して呈示し積極的に移動乃至走行を支援するといった機能を実現するための安全移動支援装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の構成に係る安全移動支援装置の機能ブロック図である。
【図２】第１の構成に係る安全移動支援装置の安全移動可能空間算定手段が行なう安全移動可能空間の算定に係る処理の一例を示すフローチャートである。
【図３】 (a),(b),(c),(d) は、第１の構成に係る安全移動支援装置の安全移動可能空間算定手段により安全移動可能空間が算定されるまでの処理の経過の様子を示したイメージ図である。
【図４】 (a),(b),(c) は、時系列に取得された複数の環境３次元情報から算定される所望時間後の環境３次元情報の一例を説明する図である。
【図５】本発明の第２の構成に係る安全移動支援装置の機能ブロック図である。
【図６】第２の構成に係る安全移動支援装置の安全移動可能空間算定手段が行なう安全移動可能空間の算定に係る処理の一例を示すフローチャートである。
【図７】第２の構成に係る安全移動支援装置の安全移動可能空間算定手段により安全移動可能面が算定されるまでの処理の経過の様子を示したイメージ図である。
【図８】本発明の第３の構成に係る安全移動支援装置の機能ブロック図である。
【図９】本発明の第４の構成に係る安全移動支援装置の機能ブロック図である。
【図１０】本発明の第５の構成に係る安全移動支援装置の機能ブロック図である。
【図１１】本発明の第６の構成に係る安全移動支援装置の機能ブロック図である。
【図１２】本発明の第６の構成に係る安全移動支援装置を、実際に車両に搭載させたときのシステムの具体例の構成を示した図である。
【図１３】ステレオカメラの構成例を示した図である。
【図１４】 (a),(b),(c),(d) は、ステレオカメラの装着例を示した図である。
【符号の説明】
１ 環境３次元情報取得手段
２ 移動体状態情報取得手段
３、３´ 安全移動可能空間算定手段
４ａ、４ｂ 接触部
５ 移動可能面
６ａ、６ｂ 車両を配置可能な空間
７ 環境３次元情報の取得範囲
８ 距離データ
９ａ、９ｂ、９ｃ、９ｄ 距離データ
１０ａ、１０ｂ、１０ｃ 移動可能面
１１ テクスチャ取得手段
１３ テクスチャを表すデータ
１４ 環境３次元情報
１５ 移動可能面
１６ 凍結領域
１７ 安全移動可能面
１８、１８´ 安定移動経路算定手段
１９、１９´ 移動体制御手段
２１ ステレオアダプタ
２２ 撮像装置
２３ ステレオカメラ
２４ 処理装置
２５ 制御装置
２６ 入力装置
２７ 警告装置
２７ａ 音声装置
２７ｂ 振動装置
２８ 運転装置
２９ 表示装置
３０ 車速センサ
３１ 測距レーダ
３２ 照度センサ
３３ 外部カメラ
３４ ＧＰＳ
３５ ＶＩＣＳ
３６ 外部通信装置
３７ ステレオカメラ支持装置
３８ カメラ姿勢センサ
３９ 車両姿勢センサ
４０ ステレオカメラ結合装置
４１ 支持制御装置
４２ 車両
４３ 視差画像
４４ 被写体
【発明の属する技術分野】
本発明は、車両等或いはその他の移動体を安全に移動乃至走行させるための支援を行なう安全移動支援装置に関する。
【０００２】
【従来の技術】
車両周辺の走行領域を監視して障害物を検出するとともに、自車両の速度や進行方向を基にその障害物の危険度を求め、接触・衝突等の事故の危険を運転者に知らせる車両用予防安全装置が既に提案されている。この提案の装置は、自車両の周辺にある複数の危険対象物に対し、障害物の大きさ、種類、その未来行動、運転者の運転状態等々を勘案して危険度を評価、判断、処理し、車両の走行に関する安全を確保するものであるとされている。また、走行環境出力手段により、前方の走行路面に対応する実空間座標上に障害物の大きさに対応した障害度が抽出データとして表わされ、さらに自車両の走行状態に応じて、実空間座標上における危険度係数の分布を設定し、抽出データと危険度係数から危険度の２次元分布が得られるので、複数の車両が周辺を同時に走行している場合にも危険度の評価が多方向で同時にでき、更に、危険度の評価においては、障害物の大きさも考慮されているためより安全なものとなる、と開示されている（特許文献１）。
【０００３】
また、ガードレール、植え込み、パイロン列等の道路の境界となる連続した立体物としての側壁を確実に検出することができ、且つ、側壁の有無、位置、方向を処理が容易なデータ形態で検出できるようにした車輌用車外監視装置等も提案されている。このようなデータを用いることにより、より高度な危険警報や事故回避の機能を実現することができるとされている（特許文献２）。
【０００４】
一方、車外の対象を撮像したステレオ画像対の対応位置のずれ量から三角測量の原理によって画像全体に渡る距離分布を求め、この距離分布の情報に対応する被写体の各部分の３次元位置を計算し、計算した３次元位置の情報を用いて複数の立体物を検出し、該検出した複数の立体物の自車輌側の縁と自車輌側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出し、算出した左右の隙間距離に係わる情報を運転者に知らせるようにした技術も提案されている。この提案では、技術車輌が狭路を通過する前に進行方向に存在する様々な立体物を確実に検出して自車輌との隙間距離を運転者に知らせることにより、運転者の負担を軽減して安全を確保するものであるとされている。また、運転者に検出結果、即ち危険度に応じた警告を行なうための表示の例として、そのまま進行すると接触する警告として該当する側に赤色の点灯表示を行い、障害物との隙間距離が０よりも大きく２０ｃｍ程度以下の場合には、運転者の不用意なハンドル操作によって接触が起こる危険性があるという警告として該当する側に黄色の点灯表示を行い、隙間距離が２０ｃｍ程度よりも大きい場合は、そのまま進行しても接触のおそれが十分に少ないことを示すため、該当する側を緑色で点灯表示することが開示されている（特許文献３）。
【０００５】
更に、上記のものと略々同趣旨の目的で、自車両前方の障害物を検出すると同時に自車両が障害物を避けて通り抜けられるか否かを自動的に判定することのできる車両用障害物検出装置も提案されている。この提案では、撮像された自車両の前方の画面内に、所定距離前方で自車両の通り抜けるために必要な空間枠を設定し、この空間枠内の所定複数箇所に比較対象領域となるウインドウを設定し、当該ウインドウにより捕えられた対象物までの距離を検出して、この距離検出結果から所定距離前方の路面における自車両の通り抜け可能性を判定し、この結果、自車両の通り抜けが不可能と判定された場合には運転者に警告する旨開示されている。上述の空間枠内のウインドウにより、自車両の前方の所定距離よりも短い距離が検出された場合に、自車両の通り抜けが不可能と判定される。即ち、自車両前方の障害物を検出すると同時に自車両が障害物を避けて通り抜けられるか否かを自動的に判定すると共に、通り抜け不可能であることを報知するというものである（特許文献４）。
【０００６】
更にまた、自車両の走行方向に存在する複数の車両や障害物との衝突の可能性を的確かつ素早く評価して確実な衝突防止を図ろとした衝突防止装置も既に提案されている。この提案では、マイクロプロセッサにより、メモリに記憶された３次元的な位置情報を利用して実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを実際の道路形状と合致するよう修正・変更して道路形状を認識すること、舵角と車速の情報に基づいて自車の走行経路を推定すること、走行速度に依存した運転者の一般的特性をより緻密に走行経路の領域に反映させ、通常の運転に、より合致した自然な衝突危険性の判断を行なうこと等が開示されている（特許文献５）。
【０００７】
【特許文献１】
特許第3153839号公報（段落０００１，０００５，００１５）
【特許文献２】
特許第3324821号公報（段落０２２３）
【特許文献３】
特開平7-192199号公報（段落００２１，０１６０）
【特許文献４】
特許第3212235号公報（段落０００９，００５５）
【特許文献５】
特開平10-283593（段落００２５，００４８）
【０００８】
【発明が解決しようとする課題】
上述した従来の提案になる技術は、何れも、車両等の移動体の移動乃至走行に係る障害物の認識や障害の回避乃至そのための警告表示等に力点を置いたものであり、移動体の移動乃至走行に係る安全が確保された経路そのものを明確且つ直接的に呈示して移動体の移動における安全確保をしながら積極的に移動するための支援機能を望むといった要請には必ずしも十全に応え得るものではない。また、一応安全が確保されると推定される経路が複数通り算定されるような場合に、そのうちの最適な経路を識別して呈示し積極的に移動乃至走行を支援するといった技術課題の認識も特段掲げられず、当然ながら、そのような課題に応える技術思想は示されていない。
【０００９】
本発明は叙上のような状況に鑑みてなされたものであり、移動体の移動乃至走行に係る安全が確保された経路そのものを明確且つ直接的に呈示して移動体の移動における安全確保をしながら積極的に移動するための支援機能を実現するための安全移動支援装置を提供することを目的とし、更には、安全が確保されると推定される経路が複数通り算定されるような場合にも、それらのうちの最適な経路を識別して呈示し積極的に移動乃至走行を支援するといった機能を実現するための安全移動支援装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の態様に係る安全移動支援装置は、移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報をカメラによって撮影される画像に基づいて取得するための環境３次元情報取得手段と、上記移動体の状態に関する移動体状態情報を取得するための移動体状態情報取得手段と、上記環境３次元情報取得手段から得た環境３次元情報及び上記移動体状態情報取得手段から得た移動体状態情報に基づいて上記移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定する安全移動可能空間算定手段と、を備え、上記安全移動可能空間算定手段での算定においては、上記環境３次元情報に基づいて面データの生成を行い、上記移動体状態情報から当該移動体の位置姿勢を参照して上記環境３次元情報の座標系に当該移動体を配置して当該移動体と上記面データとの接触部を推定し、続いて上記面データと上記接触部とに基づいてその接触部につながる面をトラッキングして面の連続性を評価して当該移動体が移動可能な候補となる移動可能面を抽出し、さらに当該移動体の寸法情報に基づいて上記移動可能面上で上記移動体を配置可能な空間を抽出することによって、上記移動可能面のうち当該移動体が存在し得る領域を算定するように構成されたものである。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の第１の構成に係る安全移動支援装置の機能ブロック図である。
【００２２】
同図の安全移動支援装置は、環境３次元情報取得手段１、移動体状態情報取得手段２、及び、安全移動可能空間算定手段３を有し、車両等或いはその他の移動体を安全に移動乃至走行させるための支援を行なう装置である。
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、及び、安全移動可能空間算定手段３は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。すなわち、この安全移動支援装置は、車両等の移動体に搭載されるものとして適用されるだけでなく、監視カメラシステムや交通管制システム等といった、移動体の状況を外部から認識し安全の判断や必要な制御等を行なうシステム等としても適用し得るものである。
【００２３】
環境３次元情報取得手段１は、当該移動体乃至当該移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報を取得するものであり、必要に応じて、その環境３次元情報を時系列に取得することができるようになっている。
【００２４】
ここで、環境３次元情報取得手段１は、その環境３次元情報を、レーザやミリ波等を用いたTime of Flight 方式、ステレオカメラ（多眼ステレオカメラを含む）を利用した方式、Shape From Motion による方式、パターン投影法による方式、及び、GPS （ Global Positioning System ）と地図情報とを利用した方式等のうちの一または複数の方式により取得するものである。例えば、GPS と地図情報とを利用した方式を用いる場合には、GPS により取得された位置情報を基に、地図情報から建物等の環境３次元情報を取得することが可能になる。
【００２５】
尚、取得する環境３次元情報は、点群データ、ボリュームデータ（「コンピュータビジュアリゼーション，共立出版（株）発行」（以下、参考文献１という）等参照）、或いは、サーフィスデータ（参考文献１等参照）など何れのフォーマットによるデータであっても良い。
【００２６】
移動体状態情報取得手段２は、当該移動体の状態に関する移動体状態情報を取得するものであり、必要に応じて、その移動体状態情報を時系列に取得することができるようになっている。
ここで、移動体状態情報とは、当該移動体の位置姿勢、速度、角速度、ボディのひずみ、操舵角、加速度、角加速度、推進力、ブレーキ等による制動力、駆動力伝達系のギア比、環境温度（移動体内外温度等）、湿度（移動体内外湿度等）、燃料の残量、及び、バッテリーの残容量等といった動的なものや、最大トルク、寸法（全長、全幅、全高、最低地上高、アンテナ高等）、接地面積、重量、ABS （ Anti lock Braking System ）等の特殊機能の有無、及び、最小回転半径等といった静的なもの等のうちの一または複数のものに係る情報を意味する。上述のような静的な情報については、これらをメモリに保持しておくようにしてもよい。
【００２７】
安全移動可能空間算定手段３は、環境３次元情報取得手段１から得た環境３次元情報及び移動体状態情報取得手段２から得た移動体状態情報に基づいて、当該移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定するものであり、当該移動体が移動可能な領域の所定平面への投影である移動可能面を算定する手段、その移動可能面上の状態を算定する手段、その移動可能面のうち当該移動体が存在し得る領域を算定する手段、又は、その移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段のうちの一または複数のものを備えている。
【００２８】
ここで、この安全移動可能空間算定手段３が行なう安全移動可能空間の算定に係る処理をより詳しく説明する。
図２は、その算定に係る処理の一例を示すフローチャートである。
まず、安全移動可能空間算定手段３は、環境３次元情報取得手段１により取得された環境３次元情報から面データの生成を行なう（Ｓ１）。尚、面データは、３次元空間内の物体の表面を多数の平面片で近似したものである三角形パッチや四角形パッチ等で表現されているもの、曲面関数により近似したもので表現されているもの、或いはナーブ等を用いて表現されているものなど何れのものであっても良い。
【００２９】
続いて、移動体状態情報取得手段２により取得された移動体状態情報から当該移動体の位置姿勢等を参照し、前述の環境３次元情報の座標系に当該移動体を配置し、現在の当該移動体との接触部を推定する（Ｓ２）。
続いて、Ｓ１で生成された面データとＳ２で推定された接触部とに基づいて、その接触部につながる面（平面、曲面、又はそれら両方を含む）をトラッキングして面の連続性を評価し、当該移動体が移動可能と思われる移動可能面を抽出する（Ｓ３）。これにより、当該移動体が移動可能な領域の所定平面への投影である移動可能面が算定されることになる。
【００３０】
続いて、前述の移動体状態情報から当該移動体の寸法等を参照し、Ｓ３で抽出された移動可能面上で当該移動体を配置可能な空間を抽出する（Ｓ４）。これにより、移動可能面のうち当該移動体が存在し得る領域が算定されることになる。このＳ４では、例えば、当該移動体が車両である場合に、その車両が通り抜けることができない大きさのトンネルや道路等に係る空間は抽出されないことになる。
【００３１】
続いて、前述の移動体状態情報を参照し、Ｓ４で抽出された当該移動体を配置可能な空間のうち、当該移動体が安全に移動可能な安全移動可能空間を抽出する（Ｓ５）。このＳ５では、例えば、前述の移動体状態情報から当該移動体の位置姿勢、速度、角速度、ボディのひずみ、操舵角、加速度、角加速度、推進力、ブレーキ等による制動力、駆動力伝達系のギア比、最大トルク、最低地上高等の寸法、重量、ABS 等の特殊機能の有無、及び、最小回転半径等を参照して、安全に移動乃至走行可能な面の傾きの算出や、乗り越えることが可能な段差の算出等を行い、所定の閾値処理により、当該移動体を配置可能な空間のうち、当該移動体が安全に移動可能な安全移動可能空間を判定し抽出する、等といった処理を行なう。
【００３２】
このような図２に示した処理により、安全移動可能空間算定手段３は、安全移動可能空間を算定する。
図３(a),(b),(c),(d) は、安全移動可能空間算定手段３により安全移動可能空間が算定されるまでの処理の経過の様子を示したイメージ図である。但し、同図(a) 乃至(d) は、当該移動体を車両とし、当該車両に対する安全移動可能空間の算定が行われた場合の例を示している。
【００３３】
同図(a) は、環境３次元情報取得手段１により取得された環境３次元情報、すなわち、当該車両乃至当該車両に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報を表している。
【００３４】
同図(b) は、前述のＳ１において、同図(a) の環境３次元情報から生成された面データを表している。
同図(c) は、前述のＳ２において、移動体状態情報取得手段２により取得された移動体状態情報（当該車両の状態に関する状態情報）から当該車両の位置姿勢等が参照され、同図(a) の環境３次元情報の座標系に当該車両が配置される等して推定された、現在の当該車両との接触部４ａ、４ｂを表わすと共に、前述のＳ３において、その接触部４ａ、４ｂと同図(b) の面データとに基づいて、その接触部４ａ、４ｂにつながる面がトラッキングされ面の連続性が評価される等して抽出された、当該車両が移動（走行）可能と思われる移動可能面（走行可能面）５、すなわち、当該車両が移動可能な領域の所定平面への投影である移動可能面５を表している。
【００３５】
同図(d) は、前述のＳ４において、前述の移動体状態情報から当該車両の寸法等が参照される等して抽出された、同図(c) の移動可能面５上で当該車両を配置可能な空間６ａ、６ｂ、すなわち、移動可能面５のうち当該車両が存在し得る領域６ａ、６ｂを表わすと共に、前述のＳ５において、前述の移動体状態情報が参照される等して、当該車両を配置可能な空間６ａ、６ｂの中から抽出された、当該車両が安全に移動可能な安全移動可能空間となる空間６ａを表している。
【００３６】
このように、本例において、前述の図２に示した処理が行われることによって、当該車両が安全に移動可能な安全移動可能空間６ａが算定される。
また、安全移動可能空間算定手段３が、前述の、移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段を有している場合には、未来の、当該移動体が安全に移動可能な安全移動可能空間を予測して算定することが可能である。
【００３７】
この場合、安全移動可能空間算定手段３は、環境３次元情報取得手段１により時系列に取得された複数の環境３次元情報から所望時間後の環境３次元情報を予測して算定すると共に、移動体状態情報取得手段２により時系列に取得された複数の移動体状態情報から所望時間後の移動体状態情報を予測して算定し、これら予測して算定した環境３次元情報と移動体状態情報とに基づいて、前述の図２に示した処理を行なうことによって、所望時間後の安全移動可能空間を予測して算定することが可能である。
【００３８】
図４(a),(b),(c) は、時系列に取得された複数の環境３次元情報から算定される所望時間後の環境３次元情報の一例を説明する図である。
同図(a) は、時刻Ｔ１に、環境３次元情報取得手段１により取得された環境３次元情報に基づく距離データの水平断面図であり、７は環境３次元情報の取得範囲を示し、８、９ａは時刻Ｔ１の距離データを示している。
【００３９】
尚、１０ａ（同図(a) の斜線部分）は、仮に、この時刻Ｔ１に環境３次元情報取得手段１により取得された環境３次元情報と移動体状態情報取得手段２により取得された移動体状態情報とにより移動可能面を算定した場合のその移動可能面を示している。
【００４０】
同図(b) は、時刻Ｔ１の後の時刻Ｔ２に、環境３次元情報取得手段１により取得された環境３次元情報に基づく距離データの水平断面図であり、９ｂは時刻Ｔ２の距離データを示している。
尚、１０ｂ（同図(b) の斜線部分）は、仮に、この時刻Ｔ２に環境３次元情報取得手段１により取得された環境３次元情報と移動体状態情報取得手段２により取得された移動体状態情報とにより移動可能面を算定した場合のその移動可能面を示している。
【００４１】
同図(c) は、時刻Ｔ２の後の時刻Ｔ３に、環境３次元情報取得手段１により取得された環境３次元情報に基づく距離データの水平断面図であり、９ｃは時刻Ｔ３の距離データを示している。また、９ｄは、時刻Ｔ１、Ｔ２、Ｔ３の距離データ９ａ、９ｂ、９ｃから予測して算定された、未来の時刻Ｔ４における距離データを示している。
【００４２】
このように、安全移動可能空間算定手段３は、環境３次元情報取得手段１により取得された、時刻Ｔ１、Ｔ２、及び、Ｔ３の環境３次元情報から、未来の時刻Ｔ４における環境３次元情報を予測して算定するものである。
尚、１０ｃ（同図(c) の斜線部分）は、仮に、この時刻Ｔ３に環境３次元情報取得手段１により取得された環境３次元情報と移動体状態情報取得手段２により取得された移動体状態情報とにより移動可能面を算定した場合のその移動可能面を示している。
【００４３】
また、安全移動可能空間算定手段３は、同様にして、移動体状態情報取得手段２により取得された、時刻Ｔ１、Ｔ２、Ｔ３の移動体状態情報から、未来の時刻Ｔ４における移動体状態情報を予測して算定し、これら予測した環境３次元情報と移動体状態情報から、安全移動可能空間を算定することにより、未来の時刻Ｔ４における安全移動可能空間を予測することが可能になる。
【００４４】
以上、第１の構成に係る安全移動支援装置によれば、安全移動可能空間が算定されるようになるので、移動体の移動乃至走行に係る安全が確保された空間を取得することができ、移動体を安全に移動乃至走行させるための支援を行なうことができる。
【００４５】
次に、本発明の第２の構成に係る安全移動支援装置について説明する。
図５は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、及び、安全移動可能空間算定手段３´を有し、車両等或いはその他の移動体をより安全に移動乃至走行させるための支援を行なう装置である。
【００４６】
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、及び、安全移動可能空間算定手段３´は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。すなわち、この安全移動支援装置は、第１の構成に係る安全移動支援装置と同様に、車両等の移動体に搭載されるものとして適用されるだけでなく、監視カメラシステムや交通管制システム等といった、移動体の状況を外部から認識し安全の判断や必要な制御等を行なうシステム等としても適用し得るものである。
【００４７】
環境３次元情報取得手段１及び移動体状態情報取得手段２は、図１に示したものと同じであるので、ここでは説明を省略する。
テクスチャ取得手段１１は、当該移動体乃至当該移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間に係るテクスチャを取得するものであり、必要に応じて、そのテクスチャを表すデータを時系列に取得することができるようになっている。
【００４８】
ここで、テクスチャ取得手段１１は、そのテクスチャを、可視光撮像素子、赤外光撮像素子、高感度撮像素子、又は、高ダイナミックレンジ撮像素子等のうちの一または複数のものにより取得するものであってもよく、また、このような撮像素子を用いて取得した映像に最も相関が高いと判定される既成の一のテクスチャを予め準備された複数の候補から選定するような構成を備えてもよい。
【００４９】
安全移動可能空間算定手段３´は、環境３次元情報取得手段１から得た環境３次元情報及び移動体状態情報取得手段２から得た移動体状態情報並びにテクスチャ取得手段１１から得たテクスチャに基づいて、当該移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定するものであり、図１に示した安全移動可能空間算定手段３と同じように、当該移動体が移動可能な領域の所定平面への投影である移動可能面を算定する手段、上記移動可能面上の状態を算定する手段、上記移動可能面のうち当該移動体が存在し得る領域を算定する手段、又は、上記移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段のうちの一または複数のものを備えている。
【００５０】
ここで、この安全移動可能空間算定手段３´が行なう安全移動可能空間の算定に係る処理をより詳しく説明する。
図６は、その算定に係る処理の一例を示すフローチャートである。
同図において、Ｓ１乃至Ｓ４の処理は、図２に示したＳ１乃至Ｓ４の処理と同じであるので、ここでは詳しい説明を省略する。
【００５１】
安全移動可能空間算定手段３´は、環境３次元情報から面データを生成し（Ｓ１）、現在の当該移動体との接触部を推定し（Ｓ２）、当該移動体が移動可能と思われる移動可能面を抽出すると（Ｓ３）、続いて、その移動可能面上で当該移動体を配置可能な空間の抽出（Ｓ４）と、その移動可能面のうち当該移動体が安全に移動可能と思われる安全移動可能面の抽出（Ｓ６）を行なう。
【００５２】
ここで、Ｓ６での安全移動可能面の抽出は、Ｓ３で抽出された移動可能面と、テクスチャ取得手段１１により取得されたテクスチャを表すデータから、いわゆるテクスチャ解析（参考文献１等参照）等によって、移動可能面上の状態（凍結、湿潤、素材（アスファルト、砂利、土、コンクリート等）、温度等）を算定し、移動可能面のうち当該移動体が安全に移動可能と思われる安全移動可能面を抽出することにより、行なう。
【００５３】
尚、このＳ４とＳ６の処理は、並列或いは直列に行われても良く、直列に行われる場合には何れが先に行われるものであっても良い。
これらＳ４とＳ６の処理が終了すると、続いて、移動体状態情報取得手段２により取得された移動体状態情報と、Ｓ４で抽出された当該移動体を配置可能な空間と、Ｓ６で抽出された当該移動体が安全に移動可能と思われる安全移動可能面とから、当該移動体が安全に移動可能な安全移動可能空間を抽出する（Ｓ７）。
【００５４】
このような図６に示した処理により、安全移動可能空間算定手段３´は、安全移動可能空間を算定する。
図７は、安全移動可能空間算定手段３´により安全移動可能面が算定されるまでの処理の経過の様子を示したイメージ図である。但し、同図は、当該移動体を車両とし、当該車両に対する安全移動可能面の算定が行われた場合の例を示している。
【００５５】
同図において、１３は、テクスチャ取得手段１１により取得されたテクスチャを表すデータを表している。
１４は、環境３次元情報取得手段１により取得された環境３次元情報を表している。
【００５６】
１５は、前述のＳ１乃至Ｓ３の処理が行われ環境３次元情報１４に基づいて抽出された、当該車両が移動（走行）可能と思われる移動可能面（走行可能面）を表している。
１６は、前述のＳ６の処理において、移動可能面１５とテクスチャを表すデータ１３とから算定された、移動可能面１５上の状態である凍結の領域を表している。
【００５７】
１７は、前述のＳ６の処理が行われ抽出された、移動可能面１５のうち当該車両が安全に移動可能と思われる安全移動可能面を表している。
このように、本例において、前述の図６に示した処理が行われることによって、当該車両が安全に移動可能と思われる安全移動可能面が算定され、そして、この安全移動可能面１７と、移動体状態情報取得手段２により取得された移動体状態情報（当該車両に関する状態情報）と、前述のＳ４の処理により抽出された当該車両を配置可能な空間とから、当該車両が安全に移動可能な安全移動可能空間の抽出が可能になる。
【００５８】
また、安全移動可能空間算定手段３´が、前述の、移動可能面、移動可能面上の状態、及び、移動可能面のうち当該移動体が存在し得る領域のうちの少なくとも何れかのものに関してそれらの時間的推移を推定する手段を有している場合には、未来の、当該移動体が安全に移動可能な安全移動可能空間を予測して算定することが可能である。
【００５９】
この場合、安全移動可能空間算定手段３´は、環境３次元情報取得手段１により時系列に取得された複数の環境３次元情報から所望時間後の環境３次元情報を予測して算定し、また移動体状態情報取得手段２により時系列に取得された複数の移動体状態情報から所望時間後の移動体状態情報を予測して算定し、またテクスチャ取得手段１１により時系列に取得された複数のテクスチャを表すデータから所望時間後のテクスチャを表すデータを予測して算定し、これら予測して算定した環境３次元情報と移動体状態情報とテクスチャを表すデータとに基づいて、前述の図６に示した処理を行うことによって、所望時間後の安全移動可能空間を予測して算定することが可能である。
【００６０】
以上、第２の構成に係る安全移動支援装置によれば、更に、移動体の移動可能面乃至走行可能面の状態も考慮されるようになるので、移動体の移動乃至走行に係る安全がより確保された空間を取得することができ、移動体をより安全に移動乃至走行させるための支援を行なうことができる。
【００６１】
次に、本発明の第３の構成に係る安全移動支援装置について説明する。
図８は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、前述の図５に示した安全移動支援装置が更に安定移動経路算定手段１８を有したものである。
【００６２】
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、安全移動可能空間算定手段３´、及び、安定移動経路算定手段１８は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。
【００６３】
環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、及び、安全移動可能空間算定手段３´は、図５に示したものと同じであるので、ここでは説明を省略する。
安定移動経路算定手段１８は、安全移動可能空間算定手段３´から得た安全移動可能空間を表わす情報及び移動体状態情報取得手段２から得た移動体状態情報に基づいて、当該移動体が安定して移動することが可能であると推定される経路を算定するものである。
【００６４】
例えば、移動体状態情報の速度、加速度、角速度、角加速度、寸法等を参照し、算定された１つ又は複数の安全移動可能空間から、所定の基準の下で最適になるような経路を探索することにより、当該移動体が安定して移動することが可能であると推定される経路を算定する。
【００６５】
ここで、所定の基準とは、例えば、加速度もしくは角加速度の経路積分が最小であること、当該移動体と安全移動可能空間境界との最小距離が最大になること（障害物からできるだけ離れていること）、移動可能面の凹凸が少ないこと、等といった基準がある。
【００６６】
尚、これらの最適化基準は、従来から数学的に定式化されて一般に扱われているものを適用することが可能である。
このような第３の構成に係る安全移動支援装置によれば、安全移動可能空間が複数算定されるような場合、すなわち、一応安全が確保されると推定される経路が複数通り算定されるような場合にも、それらのうちから最適な経路を取得することができる。
【００６７】
次に、本発明の第４の構成に係る安全移動支援装置について説明する。
図９は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、前述の図８に示した安全移動支援装置が更に移動体制御手段１９を有したものである。
【００６８】
環境３次元情報取得手段１、移動体状態情報取得手段２、テクスチャ取得手段１１、安全移動可能空間算定手段３´、及び、安定移動経路算定手段１８は、図８に示したものと同じであるので、ここでは説明を省略する。
移動体制御手段１９は、安定移動経路算定手段１８によって算定された、当該移動体が安定して移動することが可能であると推定される経路に沿って、当該移動体が移動し得るように制御を行なうものである。ここでは、フィードバック情報として、移動体状態情報取得手段２により取得された移動体状態情報を参照しながら、安定移動経路算定手段１８によって算定された経路に沿って、当該移動体が移動し得るように制御を行なうようにしている。
【００６９】
尚、移動体を所定の経路に沿って移動し得るようにする制御は、従来から様々な手法が提案されている。
このような第４の構成に係る安全移動支援装置によれば、移動体の移動における安全確保をしながら積極的に移動するための支援を行なうことができる。
【００７０】
次に、本発明の第５の構成に係る安全移動支援装置について説明する。
図１０は、その安全移動支援装置の機能ブロック図である。
同図の安全移動支援装置は、前述の図１に示した安全移動支援装置が更に安定移動経路算定手段１８´を有したものである。
【００７１】
尚、環境３次元情報取得手段１、移動体状態情報取得手段２、安全移動可能空間算定手段３、及び、安定移動経路算定手段１８´は、支援対象となる移動体の内部に配置されるものであっても良いし、又は、そららのうちの一または複数のものが、当該移動体の外部に配置されるものであっても良い。
【００７２】
環境３次元情報取得手段１、移動体状態情報取得手段２、安全移動可能空間算定手段３は、図１に示したものと同じであるので、ここでは説明を省略する。
安定移動経路算定手段１８´は、安全移動可能空間算定手段３から得た安全移動可能空間を表わす情報及び移動体状態情報取得手段２から得た移動体状態情報に基づいて、当該移動体が安定して移動することが可能であると推定される経路を算定するものであり、その他については、前述の安定移動経路算定手段１８（図８等参照）と同じである。
【００７３】
このような第５の構成に係る安全移動支援装置によれば、前述の第３の構成に係る安全移動支援装置と同様の効果を得ることができる。
次に、本発明の第６の構成に係る安全移動支援装置について説明する。
図１１は、その安全移動支援装置の機能ブロック図である。
【００７４】
同図の安全移動支援装置は、前述の図１０に示した安全移動支援装置が更に移動体制御手段１９´を有したものである。
環境３次元情報取得手段１、移動体状態情報取得手段２、安全移動可能空間算定手段３、及び、安定移動経路算定手段１８´は、図１０に示したものと同じであるので、ここでは説明を省略する。
【００７５】
移動体制御手段１９´は、安定移動経路算定手段１８´によって算定された、当該移動体が安定して移動することが可能であると推定される経路に沿って、当該移動体が移動し得るように制御を行なうものであり、その他については、前述の移動体制御手段１９（図９参照）と同じである。
【００７６】
このような第６の構成に係る安全移動支援装置によれば、前述の第４の構成に係る安全移動支援装置と同様の効果を得ることができる。
ここで、この第５の構成（又は第１或いは第４の構成でもある）に係る安全移動支援装置を、実際に車両に搭載させたときのシステムの具体例について説明する。
【００７７】
図１２は、そのシステムの構成を示した図である。
本システムは、後述するステレオアダプタ２１と撮像装置２２とを含んでなるステレオカメラ２３、処理装置２４、制御装置２５、入力装置２６、警告装置２７、運転装置２８、表示装置２９、車速センサ３０、測距レーダ３１、照度センサ３２、外部カメラ３３、ＧＰＳ３４、ＶＩＣＳ３５、外部通信装置３６、ステレオカメラ支持装置３７、カメラ姿勢センサ３８、及び、車両姿勢センサ３９等を備えている。そして、ステレオカメラ支持装置３７には、ステレオカメラ結合装置４０及び支持制御装置４１が設けられている。
【００７８】
ここで、ステレオカメラ２３及び処理装置２４は、環境３次元情報取得手段１に対応する構成であり、車速センサ３０、測距レーダ３１、照度センサ３２、車両姿勢センサ３９、及び、制御装置２５は、移動体状態情報取得手段２に対応する構成である。また、制御装置２５は、安全移動可能空間算定手段３、安定移動経路算定手段１８´、及び、移動体制御手段１９´にも対応する構成である。
【００７９】
ステレオアダプタ２１は、図１３に示すように、カメラ等の撮像装置２２内部にある撮像光学系２２Ａの前方に取り付けられ撮像素子２２Ｂに視差画像４３を形成するために用いられるものであり、同一被写体４４からの光を所定距離離間した２つの受光部位（ミラー２１Ａ−１，２１Ａ−２）で受光し、この受光した各々の光を撮像装置２２の撮像光学系２２Ａに導く光学系（ミラー２１Ｂ−１，２１Ｂ−２）が設けられている。
【００８０】
ステレオアダプタ２１と撮像装置２２（あるいはそれらに加えて処理装置２４）を含んで構成されるステレオカメラ２３は、ステレオカメラ支持装置３７によって種々の方向を撮像することが可能に構成されている。
このステレオカメラ２３は、図１４(a),(b),(c),(d) に示すように、車両４２の車内および車外の任意の位置（ハッチングして示す位置）に装着することが可能である。車両４２の車外に装着する際は、車両のボンネット、ピラー、ヘッドライト等に装着可能であり、車外の風景をさまざまな方向から撮影することが可能である。また、車両４２の車内に装着する際は、ダッシュボート上、ルームミラー等に装着可能である。
【００８１】
処理装置２４は、ステレオアダプタ２１を通して撮像装置２２から撮影された画像から３次元再構成等の処理を行い、環境３次元情報を取得する。
制御装置２５は、内部にＣＰＵ及び制御プログラムや当該車両に係る仕様データ等を記録したメモリ等を備え、ＣＰＵが制御プログラムを読み出し実行することによって、本システム全体の動作を制御するものである。
【００８２】
例えば、制御装置２５は、前述のＳ１乃至Ｓ５の処理を行い、すなわち、ステレオカメラ２３及び処理装置２４によって得られた環境３次元情報と、車速センサ３０によって検出された速度，車両姿勢センサ３９によって検出された当該車両の位置姿勢，及び，前述の仕様データから得られる当該車両の寸法データ等といった当該車両の状態情報（移動体状態情報）とから、当該車両が安全に移動可能な安全移動可能空間を抽出し、続いて、その安全移動可能空間を表わす情報及び前述の当該車両の状態情報に基づいて、当該車両が安定して移動することが可能であると推定される経路を算定し、続いて、その経路に沿って、当該車両が移動し得るように、運転装置２８を制御する、等といった処理を行う。また、このときに、抽出した安全移動可能空間や算定した経路を、必要に応じて、表示装置２９に表示させることも可能になっている。また、制御装置２５は、必要に応じて、前述の環境３次元情報に基づく距離情報と、前述の車速センサ３０により検出された当該車両の速度に係る情報とを分析して、警告装置２７に警告を発生させたり、運転装置２８を制御して運転者に安全運転を促すことも可能になっている。ここで、警告装置２７は、音声装置２７Ａ，振動装置２７Ｂなどから成り、例えば、音声装置２７Ａはスピーカ等からの音声、振動装置２７Ｂは運転席シートの振動により運転者に警告を発するものである。
【００８３】
また、入力装置２６は、例えば、リモコン等の入力機器を用いて制御装置２５に指示を与え、モード等の切り換えを行なうことができる。
また、ステレオカメラ支持装置３７の構成要素であるステレオカメラ結合装置４０は、ステレオカメラ２３を車両４２に結合して支持する。また、ステレオカメラ支持装置３７の構成要素である支持制御装置４１は、ステレオカメラ結合装置４０に信号を出力して、ステレオカメラ２３の撮像方向を制御する。
【００８４】
また、車両姿勢センサ３９は、前述したように車両の姿勢または位置を検出し、道路に対する車両の傾きを検出する。そして、この車両姿勢センサ３９の検出値、処理装置２４で処理された画像情報、ＧＰＳ３４の情報等に基づいて、支持制御装置４１が、ステレオカメラ２３の撮像範囲、即ち撮像視野を何処に定めるかを制御する。即ち、車両が傾くことによって撮像視野が適正な状態からずれた場合は、元の撮像視野になるようにステレオカメラ結合装置４０に対して制御信号を出力する。この際、支持制御装置４１は、カメラの姿勢または位置を検出するセンサであるカメラ姿勢センサ３８の検出出力値に基づいて現在のカメラの状態を把握し、制御信号を生成する。そして、ステレオカメラ結合装置４０はこの制御信号に基づいて内部に設けられた調整機構を駆動し、ステレオカメラ２３を所望の方向に設定する。
【００８５】
尚、この制御に必要な各種の情報及び検出信号は制御装置２５を介して支持制御装置４１に入力される。但し、この形態に限定されず、支持制御装置４１が直接制御に必要な各種の情報及び検出信号を受け取るように構成しても良く、制御装置２５と支持制御装置４１とが適宜機能を分担して制御に必要な各種の情報及び検出信号を受け取るように構成しても良い。
【００８６】
また、本システムにおいて、例えば、環境３次元情報取得手段１に対応する構成を、監視カメラの如く水平面上での位置を固定されながら自己に向かってくる乃至は自己から遠ざかるように相対移動する移動体の環境３次元情報を取得するように設置されるようにすることも可能である。または、環境３次元情報取得手段１に対応する構成、移動体状態情報取得手段２に対応する構成、及び、安全移動可能空間算定手段３に対応する構成のうちの一または複数のものを、車両の外部に設けるようにすることも可能である。但し、これらの場合には、車両の外部に設けられた構成との間で行なうデータの送受は、外部通信装置３６を介して行われることになる。
【００８７】
以上、本発明の安全移動支援装置について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。
【００８８】
【発明の効果】
以上、詳細に説明したように、本発明によれば、移動体の移動乃至走行に係る安全が確保された経路そのものを明確且つ直接的に呈示して移動体の移動における安全確保をしながら積極的に移動するための支援機能を実現するための安全移動支援装置を提供することができ、更には、安全が確保されると推定される経路が複数通り算定されるような場合にも、それらのうちの最適な経路を識別して呈示し積極的に移動乃至走行を支援するといった機能を実現するための安全移動支援装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の構成に係る安全移動支援装置の機能ブロック図である。
【図２】第１の構成に係る安全移動支援装置の安全移動可能空間算定手段が行なう安全移動可能空間の算定に係る処理の一例を示すフローチャートである。
【図３】 (a),(b),(c),(d) は、第１の構成に係る安全移動支援装置の安全移動可能空間算定手段により安全移動可能空間が算定されるまでの処理の経過の様子を示したイメージ図である。
【図４】 (a),(b),(c) は、時系列に取得された複数の環境３次元情報から算定される所望時間後の環境３次元情報の一例を説明する図である。
【図５】本発明の第２の構成に係る安全移動支援装置の機能ブロック図である。
【図６】第２の構成に係る安全移動支援装置の安全移動可能空間算定手段が行なう安全移動可能空間の算定に係る処理の一例を示すフローチャートである。
【図７】第２の構成に係る安全移動支援装置の安全移動可能空間算定手段により安全移動可能面が算定されるまでの処理の経過の様子を示したイメージ図である。
【図８】本発明の第３の構成に係る安全移動支援装置の機能ブロック図である。
【図９】本発明の第４の構成に係る安全移動支援装置の機能ブロック図である。
【図１０】本発明の第５の構成に係る安全移動支援装置の機能ブロック図である。
【図１１】本発明の第６の構成に係る安全移動支援装置の機能ブロック図である。
【図１２】本発明の第６の構成に係る安全移動支援装置を、実際に車両に搭載させたときのシステムの具体例の構成を示した図である。
【図１３】ステレオカメラの構成例を示した図である。
【図１４】 (a),(b),(c),(d) は、ステレオカメラの装着例を示した図である。
【符号の説明】
１ 環境３次元情報取得手段
２ 移動体状態情報取得手段
３、３´ 安全移動可能空間算定手段
４ａ、４ｂ 接触部
５ 移動可能面
６ａ、６ｂ 車両を配置可能な空間
７ 環境３次元情報の取得範囲
８ 距離データ
９ａ、９ｂ、９ｃ、９ｄ 距離データ
１０ａ、１０ｂ、１０ｃ 移動可能面
１１ テクスチャ取得手段
１３ テクスチャを表すデータ
１４ 環境３次元情報
１５ 移動可能面
１６ 凍結領域
１７ 安全移動可能面
１８、１８´ 安定移動経路算定手段
１９、１９´ 移動体制御手段
２１ ステレオアダプタ
２２ 撮像装置
２３ ステレオカメラ
２４ 処理装置
２５ 制御装置
２６ 入力装置
２７ 警告装置
２７ａ 音声装置
２７ｂ 振動装置
２８ 運転装置
２９ 表示装置
３０ 車速センサ
３１ 測距レーダ
３２ 照度センサ
３３ 外部カメラ
３４ ＧＰＳ
３５ ＶＩＣＳ
３６ 外部通信装置
３７ ステレオカメラ支持装置
３８ カメラ姿勢センサ
３９ 車両姿勢センサ
４０ ステレオカメラ結合装置
４１ 支持制御装置
４２ 車両
４３ 視差画像
４４ 被写体
Claims (1)
- 移動体に関して想定された移動軌跡を所定の有限の広がりを持って囲む仮想空間内における現実の物象の状態に対応する環境３次元情報をカメラによって撮影される画像に基づいて取得するための環境３次元情報取得手段と、
上記移動体の状態に関する移動体状態情報を取得するための移動体状態情報取得手段と、
上記環境３次元情報取得手段から得た環境３次元情報及び上記移動体状態情報取得手段から得た移動体状態情報に基づいて上記移動体がその中で安全に移動することが可能であると推定される有限の広がりを持った仮想空間である安全移動可能空間を算定する安全移動可能空間算定手段と、
を備え、
上記安全移動可能空間算定手段での算定においては、上記環境３次元情報に基づいて面データの生成を行い、上記移動体状態情報から当該移動体の位置姿勢を参照して上記環境３次元情報の座標系に当該移動体を配置して当該移動体と上記面データとの接触部を推定し、続いて上記面データと上記接触部とに基づいてその接触部につながる面をトラッキングして面の連続性を評価して当該移動体が移動可能な候補となる移動可能面を抽出し、さらに当該移動体の寸法情報に基づいて上記移動可能面上で上記移動体を配置可能な空間を抽出することによって、上記移動可能面のうち当該移動体が存在し得る領域を算定する、
ことを特徴とする安全移動支援装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003203494A JP4043416B2 (ja) | 2003-07-30 | 2003-07-30 | 安全移動支援装置 |
| EP04770848A EP1650725A4 (en) | 2003-07-30 | 2004-07-21 | SECURE MOVEMENT SUPPORT ASSEMBLY |
| US10/565,917 US20060212222A1 (en) | 2003-07-30 | 2004-07-21 | Safe movement support device |
| CNB2004800224223A CN100552742C (zh) | 2003-07-30 | 2004-07-21 | 安全运动支持装置 |
| PCT/JP2004/010338 WO2005013236A1 (ja) | 2003-07-30 | 2004-07-21 | 安全移動支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003203494A JP4043416B2 (ja) | 2003-07-30 | 2003-07-30 | 安全移動支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005049963A JP2005049963A (ja) | 2005-02-24 |
| JP4043416B2 true JP4043416B2 (ja) | 2008-02-06 |
Family
ID=34113612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003203494A Expired - Fee Related JP4043416B2 (ja) | 2003-07-30 | 2003-07-30 | 安全移動支援装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20060212222A1 (ja) |
| EP (1) | EP1650725A4 (ja) |
| JP (1) | JP4043416B2 (ja) |
| CN (1) | CN100552742C (ja) |
| WO (1) | WO2005013236A1 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8862379B2 (en) * | 2004-09-20 | 2014-10-14 | The Boeing Company | Vehicle collision shield |
| JP4573242B2 (ja) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
| JP2006160193A (ja) * | 2004-12-10 | 2006-06-22 | Alpine Electronics Inc | 車両運転支援装置 |
| DE102005045017A1 (de) * | 2005-09-21 | 2007-03-22 | Robert Bosch Gmbh | Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs |
| JP2007240275A (ja) * | 2006-03-07 | 2007-09-20 | Olympus Corp | 距離計測装置・撮像装置、距離計測方法・撮像方法、距離計測プログラム・撮像プログラムおよび記憶媒体 |
| JP4462333B2 (ja) | 2007-11-13 | 2010-05-12 | 株式会社デンソー | 走行支援装置 |
| US8917904B2 (en) * | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
| JP5436086B2 (ja) * | 2009-08-03 | 2014-03-05 | アルパイン株式会社 | 車両周辺画像表示装置および車両周辺画像表示方法 |
| JP5442353B2 (ja) * | 2009-08-10 | 2014-03-12 | 株式会社Ｉｈｉ | 車両操縦用画像表示装置および方法 |
| JP5442354B2 (ja) * | 2009-08-10 | 2014-03-12 | 株式会社Ｉｈｉ | 車両操縦用画像表示装置および方法 |
| JP5017392B2 (ja) * | 2010-02-24 | 2012-09-05 | クラリオン株式会社 | 位置推定装置および位置推定方法 |
| JP5552339B2 (ja) * | 2010-03-12 | 2014-07-16 | トヨタ自動車株式会社 | 車両制御装置 |
| EP2431711B1 (en) | 2010-09-08 | 2014-11-12 | Harman Becker Automotive Systems GmbH | Vehicle navigation system |
| EP2498059B1 (en) * | 2011-03-09 | 2020-04-29 | Harman Becker Automotive Systems GmbH | Navigation route calculation using three-dimensional models |
| EP2543964B1 (en) * | 2011-07-06 | 2015-09-02 | Harman Becker Automotive Systems GmbH | Road Surface of a three-dimensional Landmark |
| JP5709675B2 (ja) * | 2011-07-07 | 2015-04-30 | クラリオン株式会社 | 車両周囲画像撮像システム |
| JP5824968B2 (ja) * | 2011-08-24 | 2015-12-02 | 日産自動車株式会社 | 走行制御装置 |
| JP2014067320A (ja) * | 2012-09-27 | 2014-04-17 | Hitachi Automotive Systems Ltd | ステレオカメラ装置 |
| EP2728306A1 (en) | 2012-11-05 | 2014-05-07 | Hexagon Technology Center GmbH | Method and device for determining three-dimensional coordinates of an object |
| SE537621C2 (sv) * | 2013-09-10 | 2015-08-11 | Scania Cv Ab | Detektering av objekt genom användning av en 3D-kamera och en radar |
| KR101480647B1 (ko) * | 2013-11-15 | 2015-01-09 | 현대자동차주식회사 | 협로 주행을 위한 조향 위험도 판단 시스템 및 그 판단 방법 |
| JP6731135B2 (ja) * | 2014-05-30 | 2020-07-29 | パナソニックセミコンダクターソリューションズ株式会社 | センシングシステム及び運転支援システム |
| US9428194B2 (en) * | 2014-12-11 | 2016-08-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Splash condition detection for vehicles |
| ES2819239T3 (es) * | 2015-05-30 | 2021-04-15 | Leia Inc | Sistema de visualización de un vehículo |
| DE102016121523A1 (de) * | 2015-11-17 | 2017-05-18 | Lacos Computerservice Gmbh | Verfahren zum prädikativen Erzeugen von Daten zur Steuerung eines Fahrweges und eines Betriebsablaufes für landwirtschaftliche Fahrzeuge und Maschinen |
| KR101619838B1 (ko) * | 2015-12-09 | 2016-05-13 | 공간정보기술 주식회사 | 다수 스테레오 카메라를 이용한 피사체 공간이동 추적 시스템 |
| JP2018092334A (ja) * | 2016-12-01 | 2018-06-14 | 本田技研工業株式会社 | 走行制御装置 |
| JP6827202B2 (ja) * | 2017-03-24 | 2021-02-10 | パナソニックＩｐマネジメント株式会社 | 情報表示装置、情報表示方法及びプログラム |
| JP7035448B2 (ja) * | 2017-10-26 | 2022-03-15 | 株式会社アイシン | 移動体 |
| JP7085259B2 (ja) * | 2018-06-22 | 2022-06-16 | 株式会社Soken | 車両制御装置 |
| EP3806044A4 (en) * | 2019-04-23 | 2021-08-18 | SZ DJI Technology Co., Ltd. | DATA PROCESSING METHOD, SETUP AND DEVICE AND MOBILE PLATFORM |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3324821B2 (ja) | 1993-03-12 | 2002-09-17 | 富士重工業株式会社 | 車輌用車外監視装置 |
| JP3153839B2 (ja) | 1993-08-23 | 2001-04-09 | 三菱電機株式会社 | 車両用予防安全装置 |
| JP2853077B2 (ja) * | 1993-09-17 | 1999-02-03 | 本田技研工業株式会社 | 自動走行車両 |
| JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
| JP3212235B2 (ja) | 1995-02-10 | 2001-09-25 | 三菱電機株式会社 | 車両用障害物検出装置 |
| JP3277837B2 (ja) | 1996-03-15 | 2002-04-22 | トヨタ自動車株式会社 | 変速機の制御装置 |
| JPH10283593A (ja) | 1997-04-04 | 1998-10-23 | Fuji Heavy Ind Ltd | 車両の衝突防止装置 |
| JPH11144185A (ja) * | 1997-09-03 | 1999-05-28 | Honda Motor Co Ltd | 自動運転制御誘導システム |
| JP4162806B2 (ja) * | 1999-05-26 | 2008-10-08 | 富士重工業株式会社 | 車両運動制御装置 |
| JP4256992B2 (ja) * | 1999-09-09 | 2009-04-22 | 株式会社東芝 | 障害物検出装置 |
| JP2001109519A (ja) * | 1999-10-05 | 2001-04-20 | Komatsu Ltd | 車両の走行管制装置 |
| JP4366674B2 (ja) * | 2000-03-28 | 2009-11-18 | マツダ株式会社 | 車両用制御装置 |
| DE10128792B4 (de) * | 2001-05-08 | 2005-06-09 | Daimlerchrysler Ag | Kollisionsschutz für Fahrzeuge |
| US6772062B2 (en) * | 2001-05-31 | 2004-08-03 | The Regents Of The University Of California | Intelligent ultra high speed distributed sensing system and method for sensing roadway markers for intelligent vehicle guidance and control |
| JP2003063340A (ja) * | 2001-08-28 | 2003-03-05 | Aisin Seiki Co Ltd | 運転補助装置 |
| JP2003123196A (ja) * | 2001-10-10 | 2003-04-25 | Denso Corp | 車両の周辺監視装置及びプログラム |
| JP3742923B2 (ja) * | 2001-10-19 | 2006-02-08 | 日産自動車株式会社 | 車両用走行車線判断装置 |
| JP3985615B2 (ja) * | 2002-07-16 | 2007-10-03 | 日産自動車株式会社 | 前方車両追跡システムおよび前方車両追跡方法 |
| JP3870924B2 (ja) * | 2003-04-04 | 2007-01-24 | 日産自動車株式会社 | 情報提供装置、情報提供システムおよび情報提供用プログラム |
| US7510038B2 (en) * | 2003-06-11 | 2009-03-31 | Delphi Technologies, Inc. | Steering system with lane keeping integration |
-
2003
- 2003-07-30 JP JP2003203494A patent/JP4043416B2/ja not_active Expired - Fee Related
-
2004
- 2004-07-21 US US10/565,917 patent/US20060212222A1/en not_active Abandoned
- 2004-07-21 CN CNB2004800224223A patent/CN100552742C/zh not_active Expired - Fee Related
- 2004-07-21 WO PCT/JP2004/010338 patent/WO2005013236A1/ja active Application Filing
- 2004-07-21 EP EP04770848A patent/EP1650725A4/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1650725A4 (en) | 2007-09-19 |
| EP1650725A1 (en) | 2006-04-26 |
| US20060212222A1 (en) | 2006-09-21 |
| WO2005013236A1 (ja) | 2005-02-10 |
| CN1833263A (zh) | 2006-09-13 |
| CN100552742C (zh) | 2009-10-21 |
| JP2005049963A (ja) | 2005-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4043416B2 (ja) | 安全移動支援装置 | |
| CN109215433B (zh) | 用于自动驾驶仿真的基于视觉的驾驶场景生成器 | |
| JP6997106B2 (ja) | 車両をナビゲートするためのシステム、方法およびコンピュータプログラム | |
| CN108496178B (zh) | 用于估计未来路径的系统和方法 | |
| EP3378707B1 (en) | Collision prediction and forward airbag deployment system for autonomous driving vehicles | |
| CN111027420B (zh) | 用于模仿前车的系统和方法 | |
| KR20190080885A (ko) | 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법 | |
| KR20190062390A (ko) | 검출된 배리어에 기반한 차량의 항법 | |
| EP4030378A1 (en) | Road profile along a predicted path | |
| WO2017057055A1 (ja) | 情報処理装置、情報端末、及び、情報処理方法 | |
| US20110128136A1 (en) | On-vehicle device and recognition support system | |
| JP2010072807A (ja) | 道路境界検出判断装置 | |
| WO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| US11703599B2 (en) | Partial point cloud-based pedestrians' velocity estimation method | |
| CN113994408A (zh) | 信息处理装置、信息处理方法和程序 | |
| US11609333B2 (en) | Point cloud feature-based obstacle filter system | |
| CN112540593A (zh) | 用于自动驾驶车辆的用于配准点云的方法和装置 | |
| US20220253065A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| JP6922169B2 (ja) | 情報処理装置および方法、車両、並びに情報処理システム | |
| KR20240038680A (ko) | 자율 주행 장치 및 방법 | |
| CN112567726B (zh) | 信息处理设备，信息处理方法和计算机可读记录介质 | |
| WO2021176825A1 (ja) | センシングシステム | |
| JP5083959B2 (ja) | 車両の運転支援装置 | |
| US20220299648A1 (en) | Neighbor-based point cloud filter system | |
| JP7290942B2 (ja) | 監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |