JPWO2019039280A1 - 情報処理装置、情報処理方法、プログラム、及び、車両 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、車両 Download PDF

Info

Publication number
JPWO2019039280A1
JPWO2019039280A1 JP2019538058A JP2019538058A JPWO2019039280A1 JP WO2019039280 A1 JPWO2019039280 A1 JP WO2019039280A1 JP 2019538058 A JP2019538058 A JP 2019538058A JP 2019538058 A JP2019538058 A JP 2019538058A JP WO2019039280 A1 JPWO2019039280 A1 JP WO2019039280A1
Authority
JP
Japan
Prior art keywords
contact
vehicle
obstacle
unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019538058A
Other languages
English (en)
Other versions
JP7192771B2 (ja
Inventor
隆盛 山口
隆盛 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019039280A1 publication Critical patent/JPWO2019039280A1/ja
Application granted granted Critical
Publication of JP7192771B2 publication Critical patent/JP7192771B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R2021/01302Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over monitoring vehicle body vibrations or noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本技術は、車両と障害物の接触の検出精度を向上させることができるようにする情報処理装置、情報処理方法、プログラム、及び、車両に関する。情報処理装置は、車両の周囲の障害物の検出を行う障害物検出部と、前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測部と、前記車両と物体の接触により発生する事象の検出を行う事象検出部と、前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出部とを備える。本技術は、例えば、車両に適用できる。

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、車両に関し、特に、車両と障害物の接触の検出を行う場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、車両に関する。
従来、距離画像を用いて、車両への障害物の接触可能性を判断する技術が提案されている(例えば、特許文献1参照)。
特開平10−283462号公報
しかしながら、特許文献1に記載の発明では、車両と障害物が実際に接触したか否かを検出する精度を向上させることは検討されていない。
本技術は、このような状況に鑑みてなされたものであり、車両と障害物の接触の検出精度を向上させるようにするものである。
本技術の第1の側面の情報処理装置は、車両の周囲の障害物の検出を行う障害物検出部と、前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測部と、前記車両と物体の接触により発生する事象の検出を行う事象検出部と、前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出部とを備える。
本技術の第1の側面の情報処理方法は、情報処理装置が、車両の周囲の障害物の検出を行い、前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行い、前記車両と物体の接触により発生する事象の検出を行い、前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う。
本技術の第1の側面のプログラムは、車両の周囲の障害物の検出を行う障害物検出ステップと、前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測ステップと、前記車両と物体の接触により発生する事象の検出を行う事象検出ステップと、前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出ステップとを含む処理をコンピュータに実行させる。
本技術の第2の側面の車両は、周囲の障害物の検出、及び、物体との接触により発生する事象の検出に用いるデータを取得するデータ取得部と、取得された前記データに基づいて、前記障害物の検出を行う障害物検出部と、前記障害物の検出結果に基づいて、前記障害物との接触の予測を行う接触予測部と、取得された前記データに基づいて、前記事象の検出を行う事象検出部と、前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記障害物との接触の検出を行う接触検出部とを備える。
本技術の第1の側面においては、車両の周囲の障害物の検出が行われ、前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測が行われ、前記車両と物体の接触により発生する事象の検出が行われ、前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出が行われる。
本技術の第2の側面においては、周囲の障害物の検出、及び、物体との接触により発生する事象の検出に用いるデータが取得され、取得された前記データに基づいて、前記障害物の検出が行われ、前記障害物の検出結果に基づいて、前記障害物との接触の予測が行われ、取得された前記データに基づいて、前記事象の検出が行われ、前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記障害物との接触の検出が行われる。
本技術の第1又は第2の側面によれば、車両と障害物の接触を検出することができる。特に、本技術の第1又は第2の側面によれば、車両と障害物の接触の検出精度を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 本技術を適用した接触検出システムの第1の実施の形態を示すブロック図である。 接触検出処理の第1の実施の形態を説明するためのフローチャートである。 自車と障害物の予測経路の例を示す図である。 障害物の接触判定の例を示す図である。 本技術を適用した接触検出システムの第2の実施の形態を示すブロック図である。 接触検出処理の第2の実施の形態を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.車両制御システムの構成例
2.第1の実施の形態
3.第2の実施の形態
4.変形例
5.その他
<<1.車両制御システムの構成例>
図1は、本技術が適用され得る移動体制御システムの一例である車両制御システム100の概略的な機能の構成例を示すブロック図である。
車両制御システム100は、車両10に設けられ、車両10の各種の制御を行うシステムである。なお、以下、車両10を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、車両10の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、車両10の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、車両10の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、車両10の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、車両10の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両10と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両10に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、車両10の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、車両10の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、車両10の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両10の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、車両10の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両10の衝突警告、又は、車両10のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、車両10の外部の情報の検出処理を行う。例えば、車外情報検出部141は、車両10の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、車両10の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、車両10の状態の検出処理を行う。検出対象となる車両10の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、車両10及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両10の周囲の信号の位置及び状態、車両10の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10に関する状況の認識処理を行う。例えば、状況認識部153は、車両10の状況、車両10の周囲の状況、及び、車両10の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、車両10の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる車両10の状況には、例えば、車両10の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる車両10の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10に関する状況の予測処理を行う。例えば、状況予測部154は、車両10の状況、車両10の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる車両10の状況には、例えば、車両10の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両10の周囲の状況には、例えば、車両10の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための車両10の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した車両10の行動を示すデータを動作計画部163等に供給する。
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための車両10の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した車両10の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、車両10の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両10の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両10の動作を計画する。緊急事態回避部171は、計画した車両10の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された車両10の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された車両10の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
<<2.第1の実施の形態>>
次に、図2乃至図5を参照して、本技術の第1の実施の形態について説明する。
なお、この第1の実施の形態は、図1の車両制御システム100のうち、主に検出部131及び状況分析部133の処理に関連するものである。
<接触検出システムの構成例>
図2は、本技術を適用した接触検出システムの第1の実施の形態である接触検出システム200の構成例を示すブロック図である。
接触検出システム200は、接触検出システム200が設けられている車両10と障害物との接触の検出処理を行うシステムである。例えば、接触検出システム200は、車両10と障害物が軽く触れる程度から車両10と障害物の激しい衝突まで、その程度に関わらず車両10と障害物の接触を検出する。なお、例えば、接触検出システム200が検出する接触の程度の範囲を限定するようにしてもよい。
接触検出システム200は、センサ部201、撮像部202、音声収集部203、及び、情報処理部204を備える。
センサ部201は、例えば、車両10の状態を検出するための各種のセンサを備える。例えば、センサ部201は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。また、センサ部201は、例えば、車両10の周囲の物体を検出するための周囲情報検出センサを備える。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR、ソナー等からなる。センサ部201は、各センサから出力されるセンサデータを、情報処理部204の車両状態検出部211、障害物検出部212、及び、記録制御部214に供給する。
撮像部202は、車両10の周囲を撮影する撮像装置を備え、撮影により得られた画像データを、情報処理部204の車両状態検出部211、障害物検出部212、及び、記録制御部214に供給する。
なお、撮像装置の設置数及び設置位置は、任意に設定することができる。ただし、障害物の接触を確実に検出するために、車両10の周囲の全方向をくまなく撮影できるように撮像装置を設置することが望ましい。特に、運転者の死角となる方向を撮影できるように撮像装置を設置することが望ましい。
音声収集部203は、車両10の周囲の音声を収集するマイクロフォンを備え、収集した音声を示す音声データを、情報処理部204の記録制御部214及び接触音検出部215に供給する。
なお、マイクロフォンの設置数及び設置位置は、任意に設定することができる。ただし、障害物が車両10のボディに接触したときに発生する接触音を接触位置に関わらず確実に検出できるようにマイクロフォンを設置することが望ましい。
例えば、マイクロフォンは車両10の室内に設置される。これにより、運転者等の搭乗者と同様の条件で接触音を検出することが可能になる。
例えば、マイクロフォンは車両10のボディに接触するように設置される。これにより、車両10のボディに対する接触音の検出精度が向上する。
なお、車両10のエンジン音又はモータ音によるノイズの影響を防止するために、エンジン又はモータから離れた位置にマイクロフォンを設置することが望ましい。
なお、センサ部201、撮像部202、及び、音声収集部203は、例えば、図1のデータ取得部102の一部に対応する。
情報処理部204は、車両10と障害物の接触の検出処理を行う。情報処理部204は、車両状態検出部211、障害物検出部212、接触予測部213、記録制御部214、接触音検出部215、及び、接触検出部216を備える。
車両状態検出部211は、センサ部201からのセンサデータに基づいて、車両10の状態、特に車両10の動きの検出を行い、検出結果を接触予測部213に供給する。
障害物検出部212は、センサ部201からのセンサデータ、及び、撮像部202からの画像データに基づいて、車両10の周囲の障害物の検出を行い、検出結果を接触予測部213に供給する。
接触予測部213は、車両10の状態の検出結果、及び、車両10の周囲の障害物の検出結果に基づいて、車両10及び障害物の動きを予測する。また、接触予測部213は、車両10及び障害物の動きの予測結果に基づいて、車両10と障害物との接触の予測を行い、予測結果を記録制御部214及び接触検出部216に供給する。
記録制御部214は、車両10と障害物との接触の予測結果に基づいて、センサデータ、画像データ、及び、音声データの記録を制御する。
接触音検出部215は、音声収集部203からの音声データに基づいて、車両10と障害物が接触したときに発生する接触音の検出を行う。また、接触音検出部215は、接触音に基づいて、車両10に接触した可能性のある物体の種類の推定を行う。接触音検出部215は、接触音の検出結果、及び、物体の種類の推定結果を接触検出部216に供給する。
接触検出部216は、接触予測部213による車両10と障害物との接触の予測結果、並びに、接触音検出部215による接触音の検出結果及び物体の種類の推定結果に基づいて、車両10と障害物の接触の検出を行う。接触検出部216は、例えば、図1の行動計画部162及び動作計画部163等に検出結果を供給する。
<接触検出処理>
次に、図3のフローチャートを参照して、接触検出システム200により実行される接触検出処理について説明する。なお、この処理は、車両10を起動し、運転を開始するための操作が行われたとき、例えば、車両10のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両10のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップS1において、車両状態検出部211は、車両10の動きの検出を開始する。具体的には、車両状態検出部211は、センサ部201からのセンサデータに基づいて、車両10の動きの検出を開始する。例えば、車両10の速度、加速度、及び、移動方向等の検出が開始される。また、車両状態検出部211は、検出結果を接触予測部213に供給する処理を開始する。
ステップS2において、障害物検出部212は、車両10の周囲の障害物の検出を開始する。具体的には、障害物検出部212は、センサ部201からのセンサデータ、及び、撮像部202からの画像データに基づいて、車両10の周囲の障害物の検出を開始する。例えば、障害物の有無、位置、大きさ、動き(例えば、速度、加速度、移動方向等)、種類(例えば、子供、大人、老人、自動車、トラック、バス、自転車等)等の検出が開始される。また、障害物検出部212は、検出結果を接触予測部213に供給する処理を開始する。
なお、障害物の検出方法には、任意の手法を用いることができる。また、検出対象とする障害物の種類や、障害物の分類方法も任意に設定することが可能である。例えば、車両10の周囲において検出された物体を全て障害物として検出するようにしてもよいし、或いは、車両10の走行の障害になる可能性のある物体のみを障害物として検出するようにしてもよい。
ステップS3において、接触音検出部215は、接触音の検出を開始する。具体的には、接触音検出部215は、音声収集部203からの音声データに基づいて、接触音の検出を開始する。例えば、接触音の有無、大きさ、発生位置等の検出が開始される。また、接触音検出部215は、接触音を検出した場合、検出した接触音の波形等に基づいて、車両10に接触した可能性のある物体の種類の推定を開始する。さらに、接触音検出部215は、接触音の検出結果、及び、物体の種類の推定結果の接触検出部216への供給を開始する。
なお、接触音の検出方法及び物体の種類の推定方法には、任意の手法を用いることができる。
ステップS4において、接触予測部213は、車両10及び障害物の動きを予測する。具体的には、接触予測部213は、車両状態検出部211により検出されたこれまでの車両10の動きに基づいて、今後の車両10の動きを予測する。また、接触予測部213は、障害物検出部212により検出されたこれまでの障害物の動きに基づいて、今後の障害物の動きを予測する。なお、複数の障害物が検出されている場合、各障害物の今後の動きが予測される。
この処理により、例えば、図4に示されるように、時刻t0乃至時刻t3までの車両10及び障害物の動きに基づいて、時刻t3から時刻t4までの車両10及び障害物の経路が予測される。
なお、車両10及び障害物の動きの予測方法には、任意の手法を用いることができる。
ステップS5において、接触予測部213は、障害物に接触する可能性があるか否かを判定する。例えば、接触予測部213は、現時点から所定の時間が経過するまでの期間に車両10との間の距離が所定の閾値未満となると予測される障害物が存在しない場合、障害物に接触する可能性がないと判定する。そして、接触予測部213は、障害物に接触する可能性がないことを接触検出部216に通知し、処理はステップS6に進む。
例えば、図4の時刻t3から時刻t4までの期間における車両10と障害物との間の最短距離Dminが所定の閾値以上である場合、障害物に接触する可能性がないと判定される。
なお、障害物に接触する可能性があるか否かの判定の対象とする期間は、例えば、次に接触予測部213による予測処理が行われるまでの期間に設定される。
ステップS6において、接触検出部216は、接触音検出部215による検出結果に基づいて、接触音が検出されたか否かを判定する。接触音が検出されていないと判定された場合、処理はステップS4に戻る。
その後、ステップS5において、障害物に接触する可能性があると判定されるか、ステップS6において、接触音が検出されたと判定されるまで、ステップS4乃至ステップS6の処理が繰り返し実行される。
一方、ステップS6において、接触音が検出されたと判定された場合、処理はステップS7に進む。
ステップS7において、接触検出部216は、障害物の接触の未発生を通知する。例えば、接触検出部216は、障害物との接触が発生していないことを示すデータを、図1の行動計画部162及び動作計画部163等に供給する。
これにより、例えば、障害物との接触が誤検出され、車両10の動作が不適切に制御されることが防止される。また、例えば、発生した音声が、障害物との接触により発生した接触音でないことを運転者等の搭乗者に通知することができる。
その後、処理はステップS4に戻り、ステップS5において、障害物に接触する可能性があると判定されるまで、ステップS4乃至ステップS7の処理が繰り返し実行される。
一方、ステップS5において、例えば、接触予測部213は、現時点から所定の時間が経過するまでの期間に車両10との間の距離が所定の閾値未満となると予測される障害物が存在する場合、障害物に接触する可能性があると判定する。そして、接触予測部213は、障害物に接触する可能性があることを記録制御部214及び接触検出部216に通知し、処理はステップS8に進む。
ステップS8において、記録制御部214は、データの記録を開始する。具体的には、記録制御部214は、センサ部201からのセンサデータ、撮像部202からの画像データ、及び、音声収集部203からの音声データのうち必要なデータを抽出して、図1の記憶部111に記録する処理を開始する。なお、記録対象となるデータは、例えば、車両の動き、障害物の検出、及び、接触音の検出等に用いるデータであって、後で障害物との接触又は非接触の検証や証明、障害物との接触の原因の究明等に必要なデータとされる。
ステップS9において、ステップS6の処理と同様に、接触音が検出されたか否かが判定される。接触音が検出されたと判定された場合、処理はステップS10に進む。
ステップS10において、接触検出部216は、障害物の種類と接触音から推定される物体の種類が一致するか否かを判定する。具体的には、接触検出部216は、障害物検出部212により検出された障害物の種類と、接触音検出部215により接触音に基づいて推定された物体の種類とを比較する。接触検出部216は、両者が一致しない場合、障害物の種類と接触音から推定される物体の種類が一致しないと判定し、処理はステップS11に進む。
ステップS11において、ステップS7の処理と同様に、障害物の接触の未発生が通知される。
その後、処理はステップS12に進む。
一方、ステップS9において、接触音が検出されていないと判定された場合、ステップS10及びステップS11の処理はスキップされ、処理はステップS12に進む。
ステップS12において、ステップS4の処理と同様に、車両10及び障害物の動きが予測される。
ステップS13において、ステップS5の処理と同様に、障害物に接触する可能性があるか否かが判定される。障害物に接触する可能性があると判定された場合、処理はステップS9に戻る。
その後、ステップS10において、障害物の種類と接触音から推定される物体の種類が一致すると判定されるか、ステップS13において、障害物と接触する可能性がないと判定されるまで、ステップS9乃至ステップS13の処理が繰り返し実行される。
一方、ステップS13において、障害物に接触する可能性がないと判定された場合、すなわち、障害物に接触する可能性がある状態から障害物に接触する可能性がない状態に遷移した場合、処理はステップS14に進む。
ステップS14において、記録制御部214は、データの記録を停止する。すなわち、記録制御部214は、ステップS8の処理において開始したデータの記録を停止する。
その後、処理はステップS4に戻り、ステップS4以降の処理が実行される。
一方、ステップS10において、障害物の種類と接触音から推定される物体の種類が一致すると判定された場合、処理はステップS15に進む。
ステップS15において、接触検出部216は、障害物の接触の発生を通知する。例えば、接触検出部216は、障害物との接触が発生したこと、及び、接触した障害物の種類等を示すデータを、図1の行動計画部162及び動作計画部163等に供給する。
その後、例えば、車両10の安全な位置への待避、停車、事故処理等の障害物との接触に対応した処理が自動的に行われる。
そして、接触検出処理は終了する。
以上のようにして、車両10と障害物の接触の検出精度を向上させることができる。
例えば、図5の上のグラフに示されるように、車両10と障害物の間の最短距離が遷移した場合、最短距離が閾値TH以上となる時刻t1以前の期間と、時刻t2以降の期間において、障害物に接触する可能性がないと判定される。そして、その期間内に接触音が検出されても、障害物との接触が発生していないと判定される。
一方、最短距離が閾値TH未満となる時刻t1から時刻t2までの期間において、障害物に接触する可能性があると判定される。そして、その期間内に接触音が検出された場合、障害物との接触が発生していると判定される。
これにより、障害物との接触の可能性がない場合に接触音が誤検出されることにより、障害物との接触が誤検出されることが防止される。また、例えば、障害物がセンサ部201や撮像部202の死角に入り、障害物の位置の検出が困難な場合でも、障害物との接触の可能性があるときに、接触音に基づいて確実に障害物との接触が検出される。
また、障害物との接触の可能性があると予測される間、センサデータ、画像データ、及び、音声データのうち必要なデータが抽出されて記録されるため、障害物との接触又は非接触の検証や証明、障害物との接触の原因の究明等が容易になる。さらに、障害物との接触の可能性があると予測される間だけデータの記録が行われるため、記録するデータの容量が削減される。
また、障害物との接触の検出精度が向上するため、車内の搭乗者が自動運転中に周囲の環境に注意を払う必要性が低減する。
<<3.第2の実施の形態>>
次に、図6及び図7を参照して、本技術の第2の実施の形態について説明する。
<接触検出システムの構成例>
図6は、本技術を適用した接触検出システムの第2の実施の形態である接触検出システム300の構成例を示すブロック図である。なお、図中、図2と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
接触検出システム300は、図2の接触検出システム200と比較して、情報処理部204の代わりに情報処理部301が設けられている点が異なる。情報処理部301は、情報処理部204と比較して、接触音検出方向制御部311が追加されている点が異なる。
接触音検出方向制御部311は、障害物の動きの予測結果を接触予測部213から取得する。そして、接触音検出方向制御部311は、予測される障害物の位置(動き)に基づいて、音声収集部203及び接触音検出部215を制御して、音声を検出する方向の制御を行う。
<接触検出処理>
次に、図7のフローチャートを参照して、接触検出システム300により実行される接触検出処理について説明する。なお、この処理は、図3の接触検出処理と同様の条件で開始及び終了する。
ステップS101乃至ステップS107において、図3のステップS1乃至ステップS7と同様の処理が行われる。
そして、ステップS105において、接触予測部213は、障害物が接触する可能性があると判定した場合、障害物に接触する可能性があることを記録制御部214及び接触検出部216に通知する。また、接触予測部213は、障害物の動きの予測結果を接触音検出方向制御部311に供給する。その後、処理はステップS108に進む。
ステップS108において、図3のステップS8の処理と同様に、データの記録が開始される。
ステップS109において、接触音検出方向制御部311は、接触音の検出方向の制御を開始する。すなわち、接触音検出方向制御部311は、予測される障害物の位置に基づいて、障害物の方向に近い音声ほど検出されやすくなり、障害物の方向から遠い音声ほど検出されにくくなるように、音声収集部203及び接触音検出部215を制御する。
例えば、接触音検出方向制御部311は、音声収集部203が備えるマイクロフォンの物理的な向き又は指向性の向きを、予測される障害物の方向に向けるように制御する。
例えば、音声収集部203が複数のマイクロフォンを備える場合、接触音検出方向制御部311は、予測される障害物の方向に近い指向性を有するマイクロフォンほど感度を高くし、予測される障害物の方向から遠い指向性を有するマイクロフォンほど感度を低くする。
例えば、接触音検出部215は、接触音検出方向制御部311の制御の下に、予測される障害物の方向に近い音声ほど重視して(例えば、より大きな重みを付加して)、接触音の検出処理を行う。
これにより、接触音の検出精度が向上する。すなわち、車両10と障害物との接触により発生する接触音がより確実に検出され、それ以外の音声が接触音として誤検出されることが抑制される。
ステップS110乃至ステップS115において、図3のステップS9乃至ステップS14と同様の処理が行われる。
ステップS116において、接触音検出方向制御部311は、接触音の検出方向の制御を停止する。
その後、処理はステップS104に戻り、ステップS104以降の処理が実行される。
一方、ステップS111において、障害物の種類と接触音から推定される物体の種類が一致すると判定された場合、処理はステップS117に進む。
ステップS117において、図3のステップS15の処理と同様に、障害物の接触の発生が通知され、接触検出処理が終了する。
以上のようにして、接触音の検出精度が向上し、その結果、車両10と障害物との接触の検出精度が向上する。
<<4.変形例>>
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
なお、以上の説明では、車両10と障害物の接触の検出に接触音の検出結果を用いる例を示したが、接触音以外の車両10と障害物の接触により発生する事象の検出結果を用いるようにしてもよい。具体的には、例えば、振動センサ等により検出される車両10のボディの振動や、接触センサ等により検出される車両10のボディへの物体の接触の検出結果を用いることが可能である。例えば、障害物に接触する可能性があると予測される間に、車両10のボディの振動、又は、ボディへの物体の接触が検出された場合、車両10と障害物が接触したと判定するようにしてもよい。
また、例えば、接触音、ボディの振動、ボディへの物体の接触等の事象のうち複数の事象の検出結果を組み合わせて、車両10と障害物の接触を検出するようにしてもよい。
さらに、例えば、接触予測部213により障害物と接触する可能性がないと予測される間、接触検出部216が、障害物との接触の検出処理を停止するようにしてもよい。
また、以上の説明では、接触する可能性のある障害物の種類と、接触音から推定される物体の種類とが一致するか否かを判定するようにしたが、この判定処理を省略することも可能である。すなわち、障害物に接触する可能性があると予測される間に接触音が検出された場合、上記の判定処理を行わずに、車両10と障害物が接触したと判定するようにしてもよい。
さらに、例えば、接触音検出部215は、接触音の検出精度を向上させるために、接触音の検出を行う前に、想定されるノイズを音声収集部203から供給される音声データから除去するようにしてもよい。
例えば、接触音検出部215は、車両10のエンジン又はモータの回転数に基づいてエンジン音又はモータ音を予測し、予測したエンジン音又はモータ音を音声データから選択的に除去するようにしてもよい。また、例えば、接触音検出部215は、車両10の速度に基づいてロードノイズを予測し、予測したロードノイズを音声データから選択的に除去するようにしてもよい。さらに、例えば、接触音検出部215は、風切り音を音声データから選択的に除去するようにしてもよい。また、例えば、接触音検出部215は、マイクロフォンが車室内に設けられている場合、車内のカーステレオ、ラジオ、会話等の音声を音声データから選択的に除去するようにしてもよい。この構成によれば、ノイズ発生源によらず音声収集部203の設置場所を設定できるので、接触音がより効果的に検出できるようになる。
<<5.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ500において、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
入力部506は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体511を駆動する。
以上のように構成されるコンピュータ500では、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ500(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ500では、プログラムは、リムーバブル記録媒体511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
(1)
車両の周囲の障害物の検出を行う障害物検出部と、
前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測部と、
前記車両と物体の接触により発生する事象の検出を行う事象検出部と、
前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出部と
を備える情報処理装置。
(2)
前記事象は、接触音、前記車両のボディの振動、及び、前記ボディへの物体の接触のうち少なくとも1つを含む
前記(1)に記載の情報処理装置。
(3)
前記接触検出部は、前記障害物の種類と前記接触音から推定される物体の種類とが一致するか否かに基づいて、前記車両と前記障害物が接触したか否かを判定する
前記(2)に記載の情報処理装置。
(4)
前記車両と前記障害物が接触する可能性があると予測される間、前記障害物の位置に基づいて、前記接触音を検出する方向を制御する接触音検出方向制御部を
さらに備える前記(2)又は(3)に記載の情報処理装置。
(5)
前記接触検出部は、前記車両と前記障害物が接触する可能性があると予測される間に前記事象が検出された場合、前記車両と前記障害物が接触したと判定する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記接触検出部は、前記車両と前記障害物が接触する可能性があると予測される間以外のときに前記事象が検出された場合、前記車両と前記障害物の接触が発生していないと判定する
前記(5)に記載の情報処理装置。
(7)
前記車両と前記障害物が接触する可能性があると予測される間、前記障害物及び前記事象の検出に用いるデータの少なくとも一部を記録するように制御する記録制御部を
さらに備える前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記車両の動きの検出を行う車両状態検出部を
さらに備え、
前記障害物検出部は、前記障害物の動きの検出を行い、
前記接触予測部は、検出された前記車両及び前記障害物の動きに基づいて、前記車両と前記障害物の接触の予測を行う
前記(1)乃至(7)のいずれかに記載の情報処理装置。
(9)
情報処理装置が、
車両の周囲の障害物の検出を行い、
前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行い、
前記車両と物体の接触により発生する事象の検出を行い、
前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う
情報処理方法。
(10)
車両の周囲の障害物の検出を行う障害物検出ステップと、
前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測ステップと、
前記車両と物体の接触により発生する事象の検出を行う事象検出ステップと、
前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出ステップと
を含む処理をコンピュータに実行させるためのプログラム。
(11)
周囲の障害物の検出、及び、物体との接触により発生する事象の検出に用いるデータを取得するデータ取得部と、
取得された前記データに基づいて、前記障害物の検出を行う障害物検出部と、
前記障害物の検出結果に基づいて、前記障害物との接触の予測を行う接触予測部と、
取得された前記データに基づいて、前記事象の検出を行う事象検出部と、
前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記障害物との接触の検出を行う接触検出部と
を備える車両。
10 車両, 100 車両制御システム, 131 検出部, 133 状況分析部, 200 接触検出システム, 201 センサ部, 202 撮像部, 203 音声収集部, 204 情報処理部, 211 車両状態検出部, 212 障害物検出部, 213 接触予測部, 214 記録制御部, 215 接触音検出部, 216 接触検出部, 300 接触検出システム, 301 情報処理部, 311 接触音検出方向制御部

Claims (11)

  1. 車両の周囲の障害物の検出を行う障害物検出部と、
    前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測部と、
    前記車両と物体の接触により発生する事象の検出を行う事象検出部と、
    前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出部と
    を備える情報処理装置。
  2. 前記事象は、接触音、前記車両のボディの振動、及び、前記ボディへの物体の接触のうち少なくとも1つを含む
    請求項1に記載の情報処理装置。
  3. 前記接触検出部は、前記障害物の種類と前記接触音から推定される物体の種類とが一致するか否かに基づいて、前記車両と前記障害物が接触したか否かを判定する
    請求項2に記載の情報処理装置。
  4. 前記車両と前記障害物が接触する可能性があると予測される間、前記障害物の位置に基づいて、前記接触音を検出する方向を制御する接触音検出方向制御部を
    さらに備える請求項2に記載の情報処理装置。
  5. 前記接触検出部は、前記車両と前記障害物が接触する可能性があると予測される間に前記事象が検出された場合、前記車両と前記障害物が接触したと判定する
    請求項1に記載の情報処理装置。
  6. 前記接触検出部は、前記車両と前記障害物が接触する可能性があると予測される間以外のときに前記事象が検出された場合、前記車両と前記障害物の接触が発生していないと判定する
    請求項5に記載の情報処理装置。
  7. 前記車両と前記障害物が接触する可能性があると予測される間、前記障害物及び前記事象の検出に用いるデータの少なくとも一部を記録するように制御する記録制御部を
    さらに備える請求項1に記載の情報処理装置。
  8. 前記車両の動きの検出を行う車両状態検出部を
    さらに備え、
    前記障害物検出部は、前記障害物の動きの検出を行い、
    前記接触予測部は、検出された前記車両及び前記障害物の動きに基づいて、前記車両と前記障害物の接触の予測を行う
    請求項1に記載の情報処理装置。
  9. 情報処理装置が、
    車両の周囲の障害物の検出を行い、
    前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行い、
    前記車両と物体の接触により発生する事象の検出を行い、
    前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う
    情報処理方法。
  10. 車両の周囲の障害物の検出を行う障害物検出ステップと、
    前記障害物の検出結果に基づいて、前記車両と前記障害物の接触の予測を行う接触予測ステップと、
    前記車両と物体の接触により発生する事象の検出を行う事象検出ステップと、
    前記車両と前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記車両と前記障害物の接触の検出を行う接触検出ステップと
    を含む処理をコンピュータに実行させるためのプログラム。
  11. 周囲の障害物の検出、及び、物体との接触により発生する事象の検出に用いるデータを取得するデータ取得部と、
    取得された前記データに基づいて、前記障害物の検出を行う障害物検出部と、
    前記障害物の検出結果に基づいて、前記障害物との接触の予測を行う接触予測部と、
    取得された前記データに基づいて、前記事象の検出を行う事象検出部と、
    前記障害物が接触する可能性があると予測される間、前記事象の検出結果に基づいて、前記障害物との接触の検出を行う接触検出部と
    を備える車両。
JP2019538058A 2017-08-22 2018-08-08 情報処理装置、情報処理方法、プログラム、及び、車両 Active JP7192771B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017159456 2017-08-22
JP2017159456 2017-08-22
PCT/JP2018/029732 WO2019039280A1 (ja) 2017-08-22 2018-08-08 情報処理装置、情報処理方法、プログラム、及び、車両

Publications (2)

Publication Number Publication Date
JPWO2019039280A1 true JPWO2019039280A1 (ja) 2020-11-05
JP7192771B2 JP7192771B2 (ja) 2022-12-20

Family

ID=65438749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019538058A Active JP7192771B2 (ja) 2017-08-22 2018-08-08 情報処理装置、情報処理方法、プログラム、及び、車両

Country Status (4)

Country Link
US (1) US11135987B2 (ja)
JP (1) JP7192771B2 (ja)
DE (1) DE112018004773B4 (ja)
WO (1) WO2019039280A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7439127B2 (ja) 2019-04-08 2024-02-27 ツェットエフ、フリードリッヒスハーフェン、アクチエンゲゼルシャフト 自動運転車両のための低衝撃検出
KR102382112B1 (ko) * 2020-01-28 2022-04-05 한양대학교 에리카산학협력단 자율주행 차량의 가상 공간 합체 시스템
CN113548003A (zh) * 2021-08-27 2021-10-26 温桂体 一种新型车辆行驶安全仪

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757199A (ja) * 1993-06-30 1995-03-03 Mitsubishi Motors Corp 物体認識装置
JPH09136673A (ja) * 1995-11-15 1997-05-27 Nippon Soken Inc 車両用事故状況記録装置
JP2005170073A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 車両乗員保護装置
JP2010287190A (ja) * 2009-06-15 2010-12-24 Fujitsu Ten Ltd 運転情報記録装置および運転情報処理プログラム
JP2015143068A (ja) * 2014-01-31 2015-08-06 株式会社デンソー 重大事故検知装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2901112B2 (ja) * 1991-09-19 1999-06-07 矢崎総業株式会社 車両周辺監視装置
JP4082471B2 (ja) 1997-04-04 2008-04-30 富士重工業株式会社 車外監視装置
JP2003182509A (ja) 2001-12-19 2003-07-03 Toyota Motor Corp 乗員保護システム
DE10334699A1 (de) 2003-07-30 2005-02-17 Robert Bosch Gmbh Vorrichtung zur Betätigung einer Aktuatorik zum Schutz eines Fußgängers
DE10348386A1 (de) 2003-10-17 2005-05-19 Robert Bosch Gmbh Vorrichtung zur Ansteuerung von Personenschutzmitteln
JP2006008108A (ja) 2004-05-27 2006-01-12 Honda Motor Co Ltd 車体強度制御装置
JP2016134090A (ja) * 2015-01-21 2016-07-25 株式会社東芝 画像処理装置及びそれを用いた運転支援システム
JP6514624B2 (ja) * 2015-11-02 2019-05-15 クラリオン株式会社 障害物検知装置
JP6304272B2 (ja) * 2016-02-04 2018-04-04 トヨタ自動車株式会社 車両用注意喚起装置
DE102017206293A1 (de) 2017-04-12 2018-10-18 Robert Bosch Gmbh Personenschutzsystem für ein Fahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757199A (ja) * 1993-06-30 1995-03-03 Mitsubishi Motors Corp 物体認識装置
JPH09136673A (ja) * 1995-11-15 1997-05-27 Nippon Soken Inc 車両用事故状況記録装置
JP2005170073A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 車両乗員保護装置
JP2010287190A (ja) * 2009-06-15 2010-12-24 Fujitsu Ten Ltd 運転情報記録装置および運転情報処理プログラム
JP2015143068A (ja) * 2014-01-31 2015-08-06 株式会社デンソー 重大事故検知装置

Also Published As

Publication number Publication date
US11135987B2 (en) 2021-10-05
DE112018004773B4 (de) 2023-05-17
US20200189506A1 (en) 2020-06-18
DE112018004773T5 (de) 2020-06-10
JP7192771B2 (ja) 2022-12-20
WO2019039280A1 (ja) 2019-02-28

Similar Documents

Publication Publication Date Title
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
WO2020129688A1 (ja) 車両制御装置、車両制御方法、車両、情報処理装置、情報処理方法、及び、プログラム
WO2021065559A1 (ja) 情報処理システム、および情報処理方法、並びに情報処理装置
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20220277556A1 (en) Information processing device, information processing method, and program
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
EP3998769A1 (en) Abnormality detection device, abnormality detection method, program, and information processing system
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221121

R151 Written notification of patent or utility model registration

Ref document number: 7192771

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151