JP6696697B2 - 情報処理装置、車両、情報処理方法およびプログラム - Google Patents

情報処理装置、車両、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6696697B2
JP6696697B2 JP2017056408A JP2017056408A JP6696697B2 JP 6696697 B2 JP6696697 B2 JP 6696697B2 JP 2017056408 A JP2017056408 A JP 2017056408A JP 2017056408 A JP2017056408 A JP 2017056408A JP 6696697 B2 JP6696697 B2 JP 6696697B2
Authority
JP
Japan
Prior art keywords
information
existence probability
sensor
position information
unmeasured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017056408A
Other languages
English (en)
Other versions
JP2017215939A (ja
Inventor
雄磨 佐野
雄磨 佐野
学 西山
学 西山
友樹 渡辺
友樹 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to US15/622,824 priority Critical patent/US11222438B2/en
Publication of JP2017215939A publication Critical patent/JP2017215939A/ja
Application granted granted Critical
Publication of JP6696697B2 publication Critical patent/JP6696697B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Description

本発明の実施形態は、情報処理装置、車両、情報処理方法およびプログラムに関する。
レーザーセンサなどの距離センサを用いて取得した位置情報に基づいて、自車周辺に存在する障害物（物体）を示す障害物マップを生成する際に、位置情報を取得できなかった領域についても障害物の存在確率を算出する必要がある。
例えば、過去に障害物があった領域が死角になった場合はその領域の障害物の存在確率を減少させ、過去に通行可能だった位置が死角になった場合はその領域の障害物の存在確率を増加させる技術が知られている。また、例えば、レーザーセンサの計測結果から周辺物体の存在確率とその信頼度を算出し、周辺物体を検知できなかった方向の信頼度を検知できた方向の信頼度よりも低く設定する技術が知られている。
特許第５６７８７９３号公報 特許第５７１２９００号公報
しかしながら、上述した従来の技術では、障害物の存在確率の信頼性が不十分であるという問題がある。
実施形態の情報処理装置は処理部を備える。処理部は、特性が異なる複数のセンサごとに、該センサによって計測された物体の位置情報を用いて、移動体の周囲に存在する物体の第１存在確率を算出し、複数のセンサごとに、物体の位置情報が得られなかったことを示す未計測情報を取得し、第１存在確率と未計測情報とに基づいて、物体の第２存在確率を決定する。
第１の実施形態の情報処理装置を説明するための図。 第１の実施形態の情報処理装置の構成を示す図。 第１の実施形態の自車両の周囲の領域を示す図。 第１の実施形態の障害物存在確率の算出方法を説明するための図。 第１の実施形態の障害物存在確率の算出方法を説明するための図。 第１の実施形態の障害物存在確率の算出方法を説明するための図。 第１の実施形態の障害物存在確率の算出方法を説明するための図。 第１の実施形態の障害物存在確率の時系列統合を説明するための図。 第１の実施形態の未計測情報の記録方法を説明するための図。 第１の実施形態の未計測情報の記録方法を説明するための図。 第１の実施形態の最終確率の算出方法を説明するための図。 第１の実施形態の情報処理装置の動作例を示す図。 第２の実施形態の情報処理装置の構成を示す図。 第２の実施形態の撮像画像の一例を示す図。 第２の実施形態の属性情報の一例を示す図。 第２の実施形態の上面画像への変換方法を説明するための図。 第２の実施形態の第２の障害物存在確率の算出を説明するための図。 第３の実施形態の情報処理装置の構成を示す図。 第３の実施形態の寄与度情報の表示例を示す図。 第３の実施形態の出力機能による処理例を示すフローチャート。 第４の実施形態の情報処理装置の構成の一例を示す図。 変形例の情報処理装置の構成の一例を示す図。
以下、添付図面を参照しながら、実施形態に係る情報処理装置、車両、情報処理方法およびプログラムの実施形態を詳細に説明する。
（第１の実施形態）
図１に示すように、本実施形態の情報処理装置１０は車両に搭載される。情報処理装置１０は、例えば専用又は汎用コンピュータである。なお、例えば情報処理装置１０は車両には搭載されずに、クラウド上で情報処理装置１０による処理が実行される形態であってもよい。また、情報処理装置が搭載される移動体の種類は車両に限らず任意であり、例えばロボットやドローンなどであってもよい。この情報処理装置１０が搭載される車両は、例えば人による運転操作を介して走行する通常の車両であってもよいし、人による運転操作を介さずに自動的に走行することができる（自律走行することができる）自動運転車両であってもよい。本実施形態では、情報処理装置１０が搭載される車両は自動運転車両である場合を例に挙げて説明する。
図２は、本実施形態の情報処理装置１０の構成の一例を示す図である。図２に示すように、情報処理装置１０は、処理回路１００、記憶回路２０、通信部３０、各部を接続するバス４０を備える。
処理回路１００は「処理部」の一例であり、特性が異なる複数のセンサごとに、該センサによって計測された物体の位置情報を用いて、移動体（この例では車両）の周囲に存在する物体の第１存在確率を算出し、複数のセンサごとに、位置情報が得られなかったことを示す未計測情報を取得し、第１存在確率と未計測情報とに基づいて、物体の第２存在確率を決定する。より具体的な内容については後述するが、処理回路１００は、取得機能１００ａ、算出機能１００ｂ、未計測情報記録機能１００ｃ、および、決定機能１００ｄを備える。これらの各処理機能の具体的な内容については後述する。なお、図２の例では、本実施形態に関する機能を主に例示しているが、処理回路１００が有する機能はこれらに限られるものではない。
情報処理装置１０にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路２０へ記憶されている。処理回路１００はプログラムを記憶回路２０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読み出した状態の処理回路１００は、図２の処理回路１００内に示された各機能を有することになる。
なお、図２においては単一の処理回路１００にて、取得機能１００ａ、算出機能１００ｂ、未計測情報記録機能１００ｃ、決定機能１００ｄ、にて行われる処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１００を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。各処理機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
なお、処理回路１００が有する取得機能１００ａは「取得部」の一例であり、算出機能１００ｂは「算出部」の一例であり、未計測情報記録機能１００ｃは「未計測情報記録部」の一例であり、決定機能１００ｄは「決定部」の一例である。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））の回路を意味する。プロセッサは記憶回路２０に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路２０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
記憶回路２０は、処理回路１００が行う各処理機能に伴うデータ等を必要に応じて記憶する。本実施形態の記憶回路２０は、プログラムと、各種の処理に用いられるデータと、を記憶する。例えば、記憶回路２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。また、記憶回路２０は、情報処理装置１０の外部の記憶装置で代替されてもよい。記憶回路２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体であってもよい。また、記憶媒体は１つに限られず、複数の媒体から、上述した実施形態における処理が実行される場合も、実施形態における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
通信部３０は、有線または無線で接続された外部装置と情報の入出力を行うインタフェースである。通信部３０は、ネットワークに接続して通信を行ってもよい。
入力装置５０は、操作者（この例では運転者）からの各種指示や情報入力を受け付ける。入力装置５０は、例えば、マウスやトラックボール等のポインティングデバイス、あるいはキーボード等の入力デバイスである。
ディスプレイ６０は、車両に関する各種の情報を表示する。ディスプレイ６０は、例えば、液晶表示器等の表示デバイスである。
センサ７０は、自動運転を実現するための外界認識センサである。センサ７０には、音波によって物体を探知するソナー、車両周辺の奥行き方向の情報を取得するためのステレオカメラ、周囲の状況から走行している場所を正確に特定するための位置特定用カメラ、車両周辺に存在する物体までの距離を測定するためのミリ波レーダーやレーザーセンサ、車両の位置を取得するポジションセンサーなどが含まれるが、これらに限られるものではない。本実施形態では、特性の異なる複数のセンサ７０が搭載されており、自車両の周囲に存在する物体の位置情報（自車両からの距離と角度）を検出するためのＬｉｄａｒセンサ(以下の説明では「第１のセンサ」と称する場合がある)と、ミリ波レーダーセンサ（以下の説明では「第２のセンサ」と称する場合がある）と、が少なくとも搭載されている。以下の説明では、第１のセンサと第２のセンサとを区別しない場合は、単にセンサ７０と称する。
車両制御部８０は、車両を自動的に運転するために、センサ７０から得られる情報や、後述する処理で得られる障害物マップに基づいて周辺の状況を判断して、アクセル量、ブレーキ量、操舵角などの制御を行う。具体的には、障害物を避けて現在走行中の車線を保ち、かつ前方車両との車間距離を所定距離以上保つように車両の制御を行う。
本実施形態の入力装置５０、ディスプレイ６０、センサ７０、車両制御部８０は、有線または無線で情報処理装置１０に接続している。
次に、処理回路１００が有する各機能について説明する。取得機能１００ａは、車両に搭載された特性の異なる複数のセンサ７０ごとに、該センサ７０によって計測された、車両の周囲に存在する物体の位置情報を取得する。本実施形態では、取得機能１００ａは、Ｌｉｄａｒセンサ（第１のセンサ）により計測された位置情報（以下の説明では「第１の位置情報」と称する場合がある）と、ミリ波レーダーセンサ（第２のセンサ）により計測された位置情報（以下の説明では「第２の位置情報」と称する場合がある）と、を取得する。
取得機能１００ａは、上述の第１のセンサから上述の第１の位置情報を取得し、上述の第２のセンサから上述の第２の位置情報を取得する。また、この例では、記憶回路２０には、車両（自車両）の周囲を分割して得られる複数の領域を特定可能な領域情報が予め格納されており、取得機能１００ａは、記憶回路２０から上述の領域情報を取得することができる。なお、これに限らず、例えば領域情報は外部の記憶装置に記憶される形態であってもよい。さらに、取得機能１００ａは、例えばＧＰＳ(Global Positioning System)等を用いて、自車両の位置と姿勢を示す自己位置姿勢情報を取得する。取得機能１００ａは、以上のようにして取得した第１の位置情報、第２の位置情報、領域情報、および、自己位置姿勢情報を含む情報（以下の説明では「物体位置関連情報」と称する場合がある）を、算出機能１００ｂおよび未計測情報記録機能１００ｃの各々へ送る。
本実施形態では、自車両の周囲に存在する物体の位置情報として、自車位置を原点とした座標系において物体に対応する点の座標情報を取得することを考える。上述したように、本実施形態では、Ｌｉｄａｒセンサ（第１のセンサ）とミリ波レーダーセンサ（第２のセンサ）によって２種類の位置情報（第１の位置情報、第２の位置情報）を取得する。ミリ波レーダーセンサは、ミリ波帯の電波を自車の周囲に放射し、物体からの反射波と放射波を比較することにより、自車両から物体までの距離を計測する。また、Ｌｉｄａｒセンサは、ミリ波よりも波長が短いレーザー光をセンサから照射し、物体からの反射光と照射光の位相のずれからセンサから物体までの距離を計測する。ミリ波レーダーセンサは、Ｌｉｄａｒセンサと比べて、より遠くまで距離情報を計測することが可能である一方で、歩行者のような電波を吸収しやすい物体に関しては距離を計測するのが困難であるという特徴がある。なお、距離センサは、Ｌｉｄａｒセンサやミリ波レーダーセンサに限ったものではなく、超音波センサ、ステレオカメラ、単眼カメラを用いた三次元再構成技術などの手段によって自車両の周囲に存在する物体の位置情報を計測することもできる。
また、自己位置姿勢情報については、車両に搭載されたＧＰＳを用いて、自車の位置を表す座標情報を取得し、同様に車両に搭載されたＩＭＵ(Inertial Measurement Unit)を用いて、自車の姿勢情報を取得することができる。なお、自車の位置を表す座標情報については、ある位置を基準としたワールド座標（世界座標）であるとする。
次に、自車両の周囲の分割について説明する。図３は、自車両の周囲を格子状に分割して得られる複数の領域の一例（領域情報により特定される複数の領域の一例）を示す図である。なお、図３の例では、自車両の周囲を格子状に分割しているが、分割形状は任意であり、格子形状に限られるものではない。図３の例では、自車の進行方向をｚ軸、高さ方向をｙ軸、ｙ軸およびｚ軸に直交する軸をｘ軸と設定している。図３に示すように、自車位置を中心とする所定範囲の空間（自車の周囲の空間）を、ｘｚ平面上にて格子状の複数の領域に分割する。領域情報は、この分割により得られた各領域の大きさと位置を示す情報である。なお、自車の周囲に存在する物体に対応する点の座標は、図３におけるｘ方向の座標（ｘ座標）とｚ方向の座標（ｚ座標）で表される。
以上のように、取得機能１００ａは、Ｌｉｄａｒセンサ（第１のセンサ）により計測された第１の位置情報、ミリ波レーダーセンサ（第２のセンサ）により計測された第２の位置情報、自己位置姿勢情報、および、領域情報を取得し、その取得した各情報を含む物体位置関連情報を、算出機能１００ｂおよび未計測情報記録機能１００ｃの各々へ送る。
算出機能１００ｂは、車両の周囲を分割して得られる複数の領域の各々に対し、車両に搭載された特性の異なる複数のセンサごとに（この例では第１のセンサおよび第２のセンサごとに）、該センサによって計測された、車両の周囲に存在する物体の位置情報に基づいて、物体が存在する確率を示す障害物存在確率を算出する。この例では、算出機能１００ｂによって算出される障害物存在確率は「第１存在確率」に対応する。なお、物体が存在する確率とは、自車両が走行可能な確率と同義であると考えてもよいが、物体が存在する確率が高いほど、自車両が走行可能な確率は低くなるという関係になる。この例では、算出機能１００ｂは、取得機能１００ａから受け取った物体位置関連情報を用いて、第１のセンサおよび第２のセンサごとに、車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を算出する。
本実施形態では、算出機能１００ｂは、レイキャスティングに基づいて、自車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を、０．０から１．０の範囲で算出する。なお、障害物存在確率は連続値に限らず、例えば２値（物体が存在することを示す値、または、物体が存在しないことを示す値）で表現してもよい。以下、図４〜図７を用いて詳細に説明する。図４は、自車両が塀に囲まれた丁字路に差し掛かったシーンにおいて計測された物体（自車両の周囲に存在する物体）の点を示している。まずは、自車両の周囲に存在する物体の点の位置情報が直交座標で取得されている場合は、以下の式１に示すように直交座標（ｘ，ｚ）から極座標（ｒ,θ）に変換する。点の位置情報が極座標で取得されている場合には以上の座標変換は不要である。
図４のシーンに対して、極座標にて自車両の周囲の空間を複数の領域に分割し、物体（障害物）の存在を設定した様子を図５に示す。図５において、横方向（左右方向）は自車両からの角度方向を示し、縦方向（上下方向）は自車両からの距離を示している。図５は、自車両の前方の空間に対して、２０度ごとの角度方向に分割（９分割）した場合の例である。次に、算出機能１００ｂは、９つの角度方向ごとに、自車両から最も近い位置に存在する物体の点を検出し、当該点が含まれる領域を求める。ここでは、角度方向ごとに、自車両から最も近い位置に存在する物体の点が含まれる領域に対しては、障害物存在確率を最大値（１．０）に設定する。これは、当該領域に障害物が存在することを意味し、「占有領域」と呼ぶ。また、各角度方向において、自車両から最も近い位置に存在する点が含まれる領域よりも自車両に近い領域に対しては、障害物存在確率を最小値（０．０）に設定する。これは、当該領域に障害物が存在しないことを意味し、「走行可能領域」と呼ぶ。さらに、各角度方向において、自車両から最も近い位置に存在する点が含まれる領域よりも自車両から遠い領域に対しては、障害物存在確率を中間値(０．５)に設定する。これは、自車両から見て物体よりも奥の状態は該物体に遮蔽されて確認できないために状態が不明であることを意味し、「不明領域」と呼ぶ。
次に、算出機能１００ｂは、極座標系にて生成した各領域の障害物存在確率を直交座標系に変換する。図６は、極座標系における矩形領域と直交座標系における矩形領域との関係を直交座標系にて示した図である。図６の直線で示した矩形領域は直交座標系において矩形に分割された領域であり、破線で示した領域は極座標系において矩形に分割された領域を直交座標系に表示したものである。図６に示すような位置関係において、直交座標系の各領域に対して、ニアレストネイバー法で極座標系において矩形分割された領域のうち位置が最も近い領域の障害物存在確率を当該領域の障害物存在確率として設定する。また、直交座標系の各領域に対して、極座標系において矩形に分割された領域のうち、近傍に位置する領域の障害物存在確率を、バイリニア法を用いて補間することで当該領域の障害物存在確率として設定することもできる。これらの方法は、極座標系から直交座標への座標変換の一例であり、これらの方法に限定されるものではない。図４に示すシーンにおいて極座標系にて生成した各領域の障害物存在確率（図５）を、直交座標系に変換した結果の各領域の障害物存在確率を図７に示す。図４のシーンに対して直交座標系では、自車が直進する道路脇の塀に相当する領域は障害物存在確率が最大値に設定され(図７では「黒」で表示)、その奥は障害物存在確率が中間値（図７では「灰色」で表示）に設定され、状態が不明である。また、障害物が存在する領域と自車両との間に存在する領域については、障害物存在確率が最小値に設定されている（図７では「白」で表示）。
ここまで、現在の位置情報から各領域の障害物存在確率を算出したが、次に、現在の位置情報から算出した障害物存在確率と、過去の障害物存在確率とを時系列的に統合する。図８を用いて、障害物存在確率の時系列統合について説明する。図８は、時刻ｔ−１、および、時刻ｔの各々において、自車両を中心とする周囲の空間を分割して得られる複数の領域を示している。時刻ｔ−１の領域Ｎｔ−１と時刻ｔの領域Ｎｔは、それぞれの時刻で自車両からの相対位置は異なるが、ワールド座標系においては同じ位置を示している。障害物存在確率の時系列統合においては、時刻ｔと、その直前の時刻である時刻ｔ−１との間の自車両の移動量を自己位置姿勢情報から算出し、自車両の移動量に基づいて時刻ｔにおける各領域に対応する時刻ｔ−１における領域を求める。図８の例では、時刻ｔの領域Ｎｔに対応する時刻ｔ−１の領域Ｎｔ−１を求める。そして、領域Ｎｔにおいて算出した障害物存在確率（現在の位置情報に基づいて算出した障害物存在確率）と、領域Ｎｔ−１において既に算出された過去の障害物存在確率とを統合する。障害物存在確率の時系列統合は、以下の式２に示すようにベイズの定理に従って行われる。
なお、上記式２において、ｐ（ｍｉ｜ｚｔ）は現在の位置情報に基づく障害物存在確率、ｐ（ｍｉ｜ｚ１，．．．，ｚｔ−１）は、過去の位置情報に基づく障害物存在確率、ｐ（ｍｉ｜ｚ１，．．．，ｚｔ）は、現在までの位置情報に基づく障害物存在確率を表している。各領域の障害物存在確率を時系列に統合することで、例えば任意のタイミングでセンサがノイズを含む値を観測した場合であっても、障害物存在確率をロバストに算出することが可能である。以上のようにして、算出機能１００ｂは、複数のセンサ７０ごとに、該センサ７０によって計測された位置情報に基づいて、車両の周囲を分割して得られる複数の領域の各々に対して、物体が存在する確率を算出する。以上のようにして、算出機能１００ｂは、第１のセンサによって計測された第１の位置情報に基づいて、車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を算出するとともに、第２のセンサによって計測された第２の位置情報に基づいて、車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を算出する。そして、その算出結果を決定機能１００ｄへ送る。
次に、未計測情報記録機能１００ｃについて説明する。未計測情報記録機能１００ｃは、センサ７０ごとに、位置情報が得られなかった方向に対応する領域に対して、位置情報が得られなかったことを示す未計測情報を記録する。本実施形態では、未計測情報記録機能１００ｃは、第１のセンサ（Ｌｉｄａｒセンサ）および第２のセンサ（ミリ波レーダーセンサ）ごとに、それぞれによって位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して未計測情報を記録する。未計測情報は、位置情報が得られなかった回数を表してもよいし、位置情報が得られなかった時刻を表してもよい。この例では、未計測情報記録機能１００ｃは、位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して、位置情報が得られなかった時刻を未計測情報として記録する場合を例に挙げて説明するが、これに限らず、例えば未計測情報記録機能１００ｃは、位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して、位置情報が得られなかった回数（現在までの累積値）を未計測情報として記録する形態であってもよい。
本実施形態では、未計測情報記録機能１００ｃは、第１のセンサによって位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して、位置情報（第１の位置情報）が得られなかった時刻を未計測情報として記録する。また、未計測情報記録機能１００ｃは、第２のセンサによって位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して、位置情報（第２の位置情報）が得られなかった時刻を未計測情報として記録する。つまり、未計測情報記録機能１００ｃは、第１のセンサおよび第２のセンサごとに、各領域（自車両の周囲を分割して得られる複数の領域の各々）の未計測情報を記録する。以下は、第１のセンサを用いて各領域の未計測情報を記録した結果を「第１の未計測情報記録」と称し、第２のセンサを用いて各領域の未計測情報を記録した結果を「第２の未計測情報記録」と称する場合がある。
ここでは、第１のセンサおよび第２のセンサの何れも、１ライン分のレーザーを照射（ライン方向に走査）して物体までの距離を計測し、物体の位置情報を取得する構成であることを想定すると、自車両から見てセンサの計測範囲内に物体（立体物）が存在しない場合は距離が計測できないため、当該方向については物体の位置情報を取得することが出来ない。この例では、未計測情報記録機能１００ｃは、自車両の周囲を分割して得られる複数の領域のうち、任意の角度方向に含まれる全領域において位置情報を取得できなかった際に、その角度方向に含まれる全領域に対して、そのときの時刻（位置情報を取得できなかったときの時刻）を未計測情報として記録する。時刻は必ずしも何時何分何秒といった形式である必要は無く、各センシングタイミングにおいて位置情報が取得できたか否かを示す情報とその時間的な順序（時系列順）が分かる形式であればよい。なお、位置情報を取得できないとは、センサ７０から照射した光の反射波がセンサ７０へ戻って来ない場合だけでなく、反射波がセンサ７０へ戻ってきても反射率が著しく低い場合も含まれる。
図９および図１０を用いて、未計測情報の例を説明する。図９は、前方に障害物のない直線道路を走行している際のシーンを示している。図９のシーンに対して、極座標系にて矩形に分割された各領域と、自車両の周囲に存在する物体（障害物）の点との関係を図１０（Ａ）に示す。自車両から車道脇の塀に向かう方向(進行方向に対応する角度Ｎとは異なる角度)については物体の点が計測されるが、進行方向(角度Ｎ)には塀が存在しないため物体の点を計測することができない。図１０（Ａ）の角度Ｎに含まれる全領域において物体の位置情報を取得できないため、角度Ｎに含まれる全領域（図１０（Ａ）の灰色領域）に対して、現在の時刻を未計測情報として記録する。図１０（Ｂ）は、図１０（Ａ）の情報を直交座標系に変換した結果を示す図である。図１０（Ｂ）において、斜線で示された領域が未計測情報を記録された領域である。未計測情報として記録された時刻は領域ごとに保持され、その後しばらくの間保持される。例えば、過去１０回分のセンシング結果に対する未計測情報を保持する場合は、各領域において過去１０回のセンシング結果に対して、位置情報を取得できなかった回（未計測の回）が存在する場合は、そのときの時刻を示す情報が保持される。以上のようにして、未計測情報記録機能１００ｃは、第１のセンサおよび第２のセンサごとに、各領域の未計測情報を記録した結果（第１の未計測情報記録、第２の未計測情報記録）を生成し、その生成した結果を決定機能１００ｄへ送る。
決定機能１００ｄは、障害物存在確率と、未計測記録情報とに基づいて、障害物存在確率の最終確率（「第２存在確率」に対応）を算出する。より具体的には、決定機能１００ｄは、センサ７０ごとに算出した障害物存在確率と、センサ７０ごとに記録した未計測記録情報とに基づいて、物体が存在する確率の最終確率を決定する。より具体的には、決定機能１００ｄは、自車両の周囲を分割して得られる複数の領域ごとに、複数のセンサ７０ごとに算出した障害物存在確率と、複数のセンサ７０ごとに記録した未計測情報とに基づいて、該領域の障害物存在確率（該領域に物体が存在する確率の最終確率）を決定する。例えば決定機能１００ｄは、複数の領域ごとに、位置情報が得られなかった回数が最も少ないセンサの位置情報に基づいて算出された障害物存在確率を、最終確率として決定することができる。この例では、決定機能１００ｄは、複数の領域ごとに、第１のセンサおよび第２のセンサのうち、位置情報が得られなかった時刻の数（位置情報が得られなかった回数に相当）が最も少ないセンサの位置情報に基づいて算出された障害物存在確率を、最終確率として決定することができる。
また、例えば決定機能１００ｄは、複数の領域ごとに、複数のセンサごとに算出した障害物存在確率の未計測情報に応じた重み付き加算を行って最終確率を決定することもできる。より具体的には、決定機能１００ｄは、複数のセンサ７０のうち位置情報が得られなかった回数が少ないセンサ７０ほど該センサ７０の位置情報に基づいて算出された障害物存在確率の重みを高めて、最終確率を決定する。この例では、決定機能１００ｄは、第１のセンサおよび第２のセンサのうち位置情報が得られなかった時刻の数が少ないセンサ７０ほど該センサ７０の位置情報に基づいて算出された障害物存在確率の重みを高めて、最終確率を決定することができる。
さらに、決定機能１００ｄは、位置情報が得られなかった時刻の数が多いセンサ７０ほど該センサ７０によって計測された位置情報に基づいて算出された障害物存在確率の重みを低くし、位置情報が得られなかった時刻が新しいセンサ７０ほど該センサ７０によって計測された位置情報に基づいて算出された障害物存在確率の重みを低くして、最終確率を決定することもできる。例えば何れかの領域において、第１のセンサによって計測された位置情報（第１の位置情報）が得られなかった時刻の数と、第２のセンサによって計測された位置情報（第２の位置情報）が得られなかった時刻の数とが同じである場合、第１のセンサおよび第２のセンサのうち、位置情報が得られなかった時刻が古いセンサ７０の位置情報に基づいて算出された障害物存在確率を、最終確率として決定することもできる。
なお、障害物存在確率の分割と、未計測情報の計測の分割とは、必ずしも一致しなくていい。つまり、障害物存在確率が算出される領域と、未計測情報が記録される領域とは必ずしも一致しなくてよい。障害物存在確率が算出される領域と、未計測情報が記録される領域とが一致しない形態において、最終確率を決定する場合は、例えば互いに対応する位置関係にある領域間の障害物存在確率と未計測情報から最終確率を決定することもできる。
図１１を用いて、最終確率の算出方法を説明する。図１１の例では、第１の未計測情報記録、および、第２の未計測情報記録の各々は、自車両の周辺を分割して得られる複数の領域ごとに、過去１０回分のセンシングにおける未計測情報（この例では位置情報が得られなかった時刻）を記録している場合を例に挙げて説明する。
図１１（Ａ）は、複数の領域のうちの何れかの注目領域において、第１のセンサ（ＬｉＤＡＲセンサ）によって計測された第１の位置情報に基づく障害物存在確率（時系列に統合した結果）は０．５、第１の位置情報が得られなかった時刻の数はｔ−９〜ｔまでの１０回である。また、第２のセンサ（ミリ波レーダー）によって計測された第２の位置情報に基づく障害物存在確率は０．０であり、第２の位置情報が得られなかった時刻の数は０である。図１１(Ａ)の例は、図９のようなシーンにおいて、自車両の進行方向に存在する領域に起こり得る。このとき、第１のセンサであるＬｉＤＡＲセンサの計測範囲には物体（立体物）が存在しないため、ＬｉＤＡＲセンサは位置情報を計測できず障害物存在確率は不明を表す０．５となる一方で、第２のセンサであるミリ波レーダーは、図９の範囲よりもさらに遠方に存在する物体（立体物）を検出することができるので、位置情報が得られなかった時刻は発生せず障害物存在確率は０．０となる。
図１１(Ａ)の例では、決定機能１００ｄは、複数の領域ごとに、位置情報が得られなかった時刻の数（位置情報が得られなかった回数）が最も少ないセンサ７０の位置情報に基づいて算出された障害物存在確率を、最終確率として決定する。これは、位置情報が得られなかった時刻の数が多いセンサ７０の位置情報に基づいて算出した障害物存在確率は不確かな情報であるとして、位置情報が得られなかった時刻の数が少ない（位置情報が得られなかった回数が少ない）センサ７０の位置情報に基づいて算出した障害物存在確率の方を信頼して最終確率とするものである。
また別の例として、図１１（Ｂ）は、注目領域において、第１のセンサ（ＬｉＤＡＲセンサ）によって計測された第１の位置情報に基づく障害物存在確率は０．５、第１の位置情報が得られなかった時刻の数はｔ−４〜ｔまでの５回である。また、第２のセンサ（ミリ波レーダー）によって計測された第２の位置情報に基づく障害物存在確率は０．０、第２の位置情報が得られなかった時刻の数はｔ−９〜t−５までの５回である。この場合、第１の位置情報が得られなかった時刻の数と、第２の位置情報が得られなかった時刻の数は等しいが、位置情報が得られなかったタイミングはＬｉＤＡＲセンサよりもミリ波レーダーセンサの方が古いことがわかる。位置情報が得られなかったタイミングが直近のセンサ７０の方が、位置情報が得られなかったタイミングがより古いセンサ７０に比べて、該センサ７０の位置情報に基づいて算出した障害物存在確率はより不確かであると言える。そこで、図１１（Ｂ）の例では、位置情報が得られなかった時刻の数（未計測回数）は同じでも、位置情報が得られなかった時刻がより古いミリ波レーダーの位置情報に基づく障害物存在確率を最終確率として決定する。
さらに別の例として、図１１（Ｃ）は、注目領域において、第１のセンサ（ＬｉＤＡＲセンサ）によって計測された第１の位置情報に基づく障害物存在確率は１．０、第１の位置情報が得られなかった時刻の数はｔ−１〜ｔまでの２回である。また、第２のセンサ（ミリ波レーダー）によって計測された第２の位置情報に基づく障害物存在確率は０．０、第２の位置情報が得られなかった時刻の数はｔ−７〜tまでの８回である。図１１（Ｃ）では、それぞれのセンサ７０において位置情報が得られなかった時刻が存在するため、位置情報が得られなかった時刻の数が少ないセンサ７０ほど該センサ７０の位置情報に基づいて算出された確率の重みを高めて、第１の位置情報に基づく障害物存在確率と、第２の位置情報に基づく障害物存在確率とを重み付き加算することで最終確率を決定している。以上のようにして、決定機能１００ｄは、複数の領域ごとに最終確率を決定することで障害物マップを得ることができる。
図１２は、本実施形態の情報処理装置１０（処理回路１００）の動作例を示すフローチャートである。なお、各ステップの具体的な内容は上述したとおりであるので、適宜に説明を省略する。図１２に示すように、取得機能１００ａは、上述の物体位置関連情報を取得する（ステップＳ１）。次に、算出機能１００ｂは、複数のセンサ７０ごとに、該センサ７０によって計測された位置情報に基づいて、自車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を算出する（ステップＳ２）。次に、未計測情報記録機能１００ｃは、複数のセンサ７０ごとに、それぞれ位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して未計測情報を記録する（ステップＳ３）。次に、算出機能１００ｄは、自車両の周囲を分割して得られる複数の領域ごとに、複数のセンサ７０ごとに算出した障害物存在確率と、センサ７０ごとの未計測情報（第１の未計測情報記録、第２の未計測情報記録）とに基づいて、最終確率を決定する（ステップＳ４）。
以上に説明したように、本実施形態では、車両に搭載された特性の異なる複数のセンサ７０ごとに、該センサ７０によって計測された位置情報に基づいて、自車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を算出する。また、複数のセンサ７０ごとに、該センサ７０の位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して未計測情報を記録する。そして、自車両の周囲を分割して得られる複数の領域ごとに、複数のセンサ７０ごとに算出した障害物存在確率と、複数のセンサ７０ごとに記録した未計測情報とに基づいて、障害物存在確率の最終確率を決定するので、１つのセンサ７０のみを用いて最終確率を算出する構成に比べて、最終確率の信頼性を十分に高めることができる。
（第２の実施形態）
次に、第２の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。
この例では、センサ７０には、車両の周囲を撮像する撮像部（カメラ）が含まれる。ここでは、撮像とは、レンズなどの光学系により結像された被写体の像を、電気信号に変換することを指す。
図１３は、本実施形態の情報処理装置１０の構成の一例を示す図である。具体的な内容は後述するが、本実施形態では、処理回路１００は、撮像部による撮像で得られた撮像画像に基づいて、移動体の周囲に存在する物体の第３存在確率を算出し、第１存在確率と、第３存在確率と、未計測情報と、に基づいて、第２存在確率を決定する。図１３に示すように、処理回路１００は、属性判定機能１００ｅと、第２の算出機能１００ｆと、をさらに備える点で上述の第１の実施形態と相違する。
また、本実施形態では、取得機能１００ａは、１種類の距離センサ（例えばＬｉＤＡＲセンサ、ミリ波レーダーセンサなど）によって計測された位置情報（自車両の周囲に存在する物体の位置情報）を取得する。未計測情報記録機能１００ｃは、該１種類のセンサに対応する未計測情報を記録する。
属性判定機能１００ｅは、「属性判定部」の一例であり、自車両の周囲を撮像する撮像部による撮像で得られた撮像画像に基づいて、自車両の周囲を分割して得られる複数の領域ごとの属性を判定する。
ここで、上記撮像部は、自車両に取り付けられ、自車両の周囲を撮像する。図１４は、撮像部による撮像で得られた撮像画像の一例を示す図である。図１４は、車両の前方を撮像して得られた撮像画像であり、この撮像画像には、車道、車道の脇の歩道、さらに駐車車両や建物が映り込んでいる。撮像部は、自車両の走行に関する範囲を撮像し、その撮像で得られた図１４に示すような撮像画像を、属性判定機能１００ｅへ送る。
属性判定機能１００ｅは、撮像画像に映り込んだオブジェクトに対して、画素レベルで属性を判定（識別）する。この属性判定（属性識別）は、機械学習を用いることで実現可能である。機械学習を用いた画像の属性識別については一般に多くの方式が知られており、例えばJ.Long, et.al,‘‘Fully Convolutional Networks for Semantic Segmentation’’, CVPR2015やV.Badrinarayanan, et. al, ‘‘SegNet: A Deep Convolutional Encoder-Decoder Architecture for Robust Semantic Pixel-Wise Labelling’’, CVPR2015などの方式を用いることで、画素レベルで属性を判定（識別）することができる。方式の詳細については各文献を参照されたい。
属性判定機能１００ｅは、図１４の撮像画像に含まれる複数の画素ごとに属性を判定し、その判定結果を示す属性情報を生成する。より具体的には、属性判定機能１００ｅは、図１４の撮像画像に含まれる画素ごとに、該画素の属性を判定する。そして、各画素の画素値を、判定した属性を表す値に設定することで、図１５に示すような属性情報を生成する。属性判定機能１００ｅは、生成した属性情報を第２の算出機能１００ｆへ送る。
第２の算出機能１００ｆは、自車両の周囲を分割して得られる複数の領域ごとに、属性判定機能１００ｅにより判定された属性に基づいて、障害物存在確率を算出する。以下の説明では、第２の算出機能１００ｆにより算出される障害物存在確率を「第２の障害物存在確率」と称する場合がある。この例では、第２の障害物存在確率は「第３存在確率」に対応する。ここでは、第２の算出機能１００ｆは、撮像部と道路面との位置関係を示す位置関係情報に基づいて、属性判定機能１００ｅにより生成された属性情報を道路面に投影した後、道路面の上方から見た画像を示す上面画像に変換し、自車両の周辺を分割して得られる複数の領域の各々に対応する上面画像の領域ごとに、物体が存在する確率（第２の障害物存在確率）を算出する。
道路面に投影した画像から上面画像への変換は、一般的にInverse Perspective Mappingと呼ばれ広く知られた方法を用いることで実現可能である。Inverse Perspective Mappingの概要について、図１６を用いて説明する。なお、第１の実施形態の時と同様に、進行方向をｚ軸、高さ方向をｙ軸、ｚ軸とｙ軸に直交する方向をｘ軸とする。まず、障害物存在確率を把握すべき範囲に含まれる領域の座標を（ｘｉ、ｚｉ)とする。撮像部の道路面に対する位置姿勢は既知であるため、撮像部と道路面との位置関係情報を用いた透視投影変換によって、領域の座標(ｘｉ、ｚｉ)に対応する撮像画像の画素ｐ１を求めることができる。同様に、上面画像（上面図）の視点として指定した位置と道路面との位置関係情報を用いた透視投影変換を行うことで、領域の座標（ｘｉ、ｚｉ）に対応する上面画像の画素ｐ２を求めることができる。上面画像の画素ｐ２の画素値として属性情報の画素ｐ１の画素値を割り当てることで、上面画像の各画素の画素値を設定することができる。
図１７（Ａ）は、図１５の属性情報を上面画像に変換した画像を示す図である。撮像画像から生成された属性情報が、上方から路面を見下ろしたときの視点に対応する画像（上面画像）に変換されている。なお、図１７における矩形領域は第１の実施形態において説明した自車両の周囲の空間を矩形に分割した領域と同じ位置と範囲を示す領域である。さらに、第２の算出機能１００ｆは、上面画像に含まれる複数の領域ごとに、該領域の属性に基づいて、該領域に物体が存在する確率（第２の障害物存在確率）を算出する。本実施形態では、図１７（Ｂ）に示すように、属性が車道と識別（判定）された領域のみ物体（障害物）が存在せずに自車両が走行可能であるとして、第２の障害物存在確率を最小値（０．０）に設定し、属性が車道以外と識別された領域は自車両が走行不可能であるとして、第２の障害物存在確率を最大値（１．０)に設定する。なお、属性情報から第２の障害物存在確率への変換については、最小値（０．０）と最大値（１．０）の２択ではなく、識別結果に従って、第２の障害物存在確率の値が多段階に設定されてもよい。要するに、第２の算出機能１００ｆは、属性が車道である領域の第２の障害物存在確率を、属性が車道以外である領域の第２の障害物存在確率よりも低い値に設定する形態であればよい。以上のようにして、第２の算出機能１００ｆは、自車両の周囲を分割して得られる複数の領域ごとに、属性判定機能１００ｅにより判定された属性に基づいて、第２の障害物存在確率を算出し、その算出結果を決定機能１００ｄへ送る。
決定機能１００ｄは、自車両の周囲を分割して得られる複数の領域ごとに、算出機能１００ｂにより算出された障害物存在確率と、第２の算出機能１００ｆにより算出された第２の障害物存在確率と、未計測情報と、に基づいて、障害物存在確率の最終確率を決定する。上述したように、本実施形態では、取得機能１００ａは１種類のセンサによって計測された位置情報を取得し、未計測情報記録機能１００ｃは該１種類のセンサに対応する未計測情報を記録するので、決定機能１００ｄへは、該１種類のセンサに対応する障害物存在確率（算出機能１００ｂにより算出された各領域の障害物存在確率）と未計測情報が送られる。
最終確率の決定方法としては、例えば決定機能１００ｄは、未計測情報が閾値Ｎｔｈ以上の場合は、第２の算出機能１００ｆにより算出された第２の障害物存在確率を最終確率として決定（選択決定）することができる。また、例えば決定機能１００ｄは、算出機能１００ｂにより算出された障害物存在確率と、第２の算出機能１００ｆにより算出された第２の障害物存在確率との未計測情報に応じた重み付き加算を行って最終確率を決定することもできる。なお、この場合は、未計測回数が多いほど（位置情報を得ることができなかった時刻の数が多いほど）、第２の算出機能１００ｆにより算出された第２の障害物存在確率の重みが大きく、算出機能１００ｂにより算出された障害物存在確率の重みが小さくなるように重みを設定することができる。また、決定機能１００ｄは、複数の領域のうち自車両から遠い領域ほど、第２の算出機能１００ｆにより算出された第２の障害物存在確率の重みを小さくすることもできる。これは、自車両から遠い領域ほど、上述した属性情報から上面画像への変換で位置誤差が大きくなるためである。以上のようにして、決定機能１００ｄは、各領域の最終確率を決定することができる。
以上に説明したように、本実施形態では、車両に搭載されたセンサによって計測された位置情報に基づいて、自車両の周囲を分割して得られる複数の領域の各々の障害物存在確率を算出し、該センサの位置情報が得られなかった度に、位置情報が得られなかった方向に対応する領域に対して未計測情報を記録する。また、車両の周囲を撮像する撮像部による撮像で得られた撮像画像に基づいて、自車両の周囲を分割して得られる複数の領域の各々の属性を判定し、複数の領域ごとに、判定した属性に基づいて、第２の障害物存在確率を算出する。そして、複数の領域ごとに、障害物存在確率と、第２の障害物存在確率と、未計測情報と、に基づいて、物体が存在する確率の最終確率を決定するので、１つのセンサ７０のみを用いて最終確率を算出する構成に比べて、最終確率の信頼性を十分に高めることができる。
（第３の実施形態）
次に、第３の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。
図１８は、本実施形態の情報処理装置１０の構成の一例を示す図である。図１８に示すように、処理回路１００は、出力機能１００ｇをさらに備える点で上述の第１の実施形態と相違する。出力機能１００ｇは、最終確率の決定におけるセンサ７０の寄与度を特定可能な情報を示す寄与度情報を出力する。
決定機能１００ｄは、第１の実施形態と同様に、互いに特性の異なる複数のセンサ７０ごとに算出した障害物存在確率と、該複数のセンサごとに記録した未計測情報とに基づいて、障害物存在確率の最終確率を算出して出力機能１００ｇへ送る。このとき、決定機能１００ｄは、図１１（Ａ）や図１１（Ｂ）のように、複数のセンサ７０ごとに算出した障害物存在確率のうち何れか１つを選択して最終確率とした場合は、最終確率に加えて、どのセンサ７０に対応する障害物存在確率を選択したかを示す情報（センサ７０の寄与度を示す情報）を出力機能１００ｇへ送る。また、図１１（Ｃ）のように、複数のセンサ７０ごとに算出した障害物存在確率に対して、重みを付けて合成することで最終確率を算出する場合は、最終確率に加えてセンサ７０ごとの重みを示す情報（センサ７０の寄与度を示す情報）を出力機能１００ｇへ送る。
本実施形態では、出力機能１００ｇは、センサ７０の寄与度を特定可能な情報（以下の説明では「寄与度情報」と称する場合がある）を画像としてディスプレイ６０上に表示（出力の一例）する場合を例に挙げて説明する。図１９（Ａ）は、図１１（Ａ）や図１１（Ｂ）のように、複数のセンサ７０ごとに算出した障害物存在確率のうち何れか１つを選択して最終確率とする場合の情報提示例である。図１９（Ａ）に示す画面の左側には決定機能１００ｄにより決定された各領域の最終確率を示す障害物マップが示されている。この例では、出力機能１００ｅは、自車両の周囲を分割して得られる複数の領域ごとに該領域の最終確率を示す障害物マップを出力（表示）することができる。画面の右側には、各領域の寄与度を特定可能な情報を示す寄与度情報が示されている。ここでは、寄与度情報は画像情報で表され、自車両を分割して得られる複数の領域は、寄与度情報に含まれる複数の画素領域（１以上の画素を含む領域）と１対１に対応している。この例では、複数の領域ごとに、該領域の画素値が、複数のセンサ７０のうち何れのセンサ７０を選択（何れのセンサ７０に対応する障害物存在確率を選択）したかを表す値に設定されている。図１９（Ａ）は、センサ７０が２種類の場合の例であり、各領域の画素値は、一方のセンサ７０が選択された場合は「白」の階調に対応する値に設定され、他方のセンサ７０が選択された場合は「黒」の階調に対応する値に設定されている。なお、各領域の画素値はモノクロに限られるものではなく例えばカラーで表示してもよい。カラーで表示することで、例えば３種類以上のセンサ７０を利用する場合であっても、領域ごとに何れのセンサ７０を選択したかを容易に判別することが可能である。
図１９（Ｂ）は、図１１（Ｃ）のように、複数のセンサ７０ごとに算出した障害物存在確率に対して、重みを付けて合成することで最終確率を算出する場合の情報提示例である。図１９（Ｂ）に示す画面の左側には決定機能１００ｄにより決定された各領域の最終確率を示す障害物マップが示されている。画面の右側には、各領域の寄与度を特定可能な情報を示す寄与度情報が示されている。この例では、複数の領域ごとに、該領域の画素値が、各センサ７０の重み（各センサ７０に対応する障害物存在確率の重み）に応じた値に設定されている。図１９（Ｂ）は、センサ７０が２種類の場合の例であり、各領域の階調が「白」に近いほど一方のセンサ７０の重みが強く、「黒」に近いほど他方のセンサ７０の重みが強いことを意味している。図１９（Ａ）と同様に、カラーで重みを表現してもよい。また、本実施形態は上述の第２の実施形態に対しても適用可能であり、出力機能１００ｇは、センサ７０および撮像部の寄与度を特定可能な寄与度情報を画像としてディスプレイ６０上に表示することもできる。この場合、上記と同様に、複数の領域ごとに、該領域の画素値が、センサ７０および撮像部のうち何れを選択したかを表す値に設定されてもよいし、センサ７０および撮像部の各々の重みに応じた値に設定されてもよい。
図２０は、寄与度情報（この例では図１９のような画像情報）に含まれる複数の画素の各々の画素値を決定する場合の処理例（出力機能１００ｇによる処理例）を示すフローチャートである。図２０の例では、何れか１つの画素領域の処理についてのみ記載しているが、他の画素領域についても同様に考えることができる。図２０に示すように、出力機能１００ｇは、決定機能１００ｄからの情報（各センサの寄与度を示す情報）に基づいて、処理対象の画素領域における各センサの寄与度を判定する（ステップＳ１０）。そして、出力機能１００ｇは、ステップＳ１０で判定した寄与度に応じて、処理対象の画素領域に含まれる１以上の画素の画素値を決定する（ステップＳ１１）。寄与度に応じた画素値の決め方は上述したとおりである。
以上のようにして、本例における出力機能１００ｇは、複数の領域ごとに該領域の最終確率を示す障害物マップを寄与度情報とともに表示する。つまり、本実施形態の情報処理装置１０は、複数のセンサの計測情報を用いて算出された移動体の周囲に存在する物体の存在確率に関する情報（障害物マップ等）を表示する表示手段を備える。表示手段は、存在確率に対するセンサの寄与度に関する情報（寄与度情報）を表示することもできる。上述したように、存在確率は、センサで位置情報が得られなかったことを示す未計測情報に基づいて算出されたものである。この例では、出力機能１００ｇが「表示手段」に対応すると考えてもよいし、ディスプレイ６０が「表示手段」に対応すると考えてもよいし、出力機能１００ｇとディスプレイ６０との組み合わせが「表示手段」に対応すると考えてもよい。なお、出力機能１００ｇは、寄与度情報を表示せずに障害物マップのみを表示することもできる。また、例えば記録機能１００ｈが障害物マップを生成する機能を有していてもよいし、障害物マップを生成する機能が記録機能１００ｈとは別に設けられていてもよい。例えば前述の決定機能１００ｄが障害物マップを生成する機能を有する形態であってもよい。
（第４の実施形態）
次に、第４の実施形態について説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。
図２１は、本実施形態の情報処理装置１０の構成の一例を示す図である。図２１に示すように、本実施形態の処理回路１００は、「記録部」の一例である記録機能１００ｈをさらに有する点で上述の第１の実施形態と相異する。ここでは、記録機能１００ｈは、自車両の周囲を分割して得られる複数の領域ごとに該領域の最終確率を示す障害物マップを記録（例えば記憶回路２０に記録）する。つまり、本実施形態の情報処理装置１０は、第２存在確率（最終確率）を記憶する記憶部（例えば記憶回路２０）を更に備える。また、例えば上述の第３の実施形態のように、処理回路１００は、前述の出力機能１００ｇをさらに有する形態であってもよい。
車両制御部８０は、記録機能１００ｈにより記録された障害物マップに基づいて、障害物を回避した走行経路を推定する。なお、この推定方法としては、公知の様々な技術を利用可能である。そして、車両制御部８０は、その推定された走行経路に従って車両を走行させる（自律走行させる）制御を行う。
例えば図２２に示すように、情報処理装置１０は制御機能１００ｉをさらに有する形態であってもよい。制御機能１００ｉは「制御部」の一例であり、最終確率（第２存在確率）に基づいて、車両の制御情報を算出する。この例では、制御機能１００ｉは、前述の障害物マップに基づいて、前述の走行経路（制御情報の一例）を算出（推定）する。なお、例えば車両制御部８０が設けられずに、制御機能１００ｉが車両制御部８０の機能を兼ねる形態であってもよい。
以上、本発明の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
また、上述の各実施形態および各変形例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例の情報処理装置１０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。
さらに、上述の各実施形態および各変形例は、任意に組み合わせることも可能である。
１０ 情報処理装置
２０ 記憶回路
３０ 通信部
４０ バス
５０ 入力装置
６０ ディスプレイ
７０ センサ
８０ 車両制御部
１００ 処理回路
１００ａ取得機能
１００ｂ算出機能
１００ｃ未計測情報記録機能
１００ｄ決定機能
１００ｅ属性判定機能
１００ｆ第２の算出機能
１００ｇ出力機能
１００ｈ記録機能
１００ｉ制御機能

Claims (16)

  1. 特性が異なる複数のセンサごとに、該センサによって計測された物体の位置情報を用いて、移動体の周囲に存在する物体の第１存在確率を算出し、
    前記複数のセンサごとに、前記位置情報が得られなかった回数を特定する未計測情報を取得し、
    前記第１存在確率と前記未計測情報とに基づいて、前記物体の第２存在確率を決定する処理部を備える、
    情報処理装置。
  2. 前記処理部は、前記位置情報が得られなかった回数が最も少ないセンサの前記位置情報に基づいて算出された前記第１存在確率を、前記第２存在確率として決定する、
    請求項１に記載の情報処理装置。
  3. 前記処理部は、前記複数のセンサごとに算出した前記第１存在確率の前記未計測情報に応じた重み付き加算を行って前記第２存在確率を決定する、
    請求項１に記載の情報処理装置。
  4. 前記処理部は、前記位置情報が得られなかった回数が少ないセンサほど該センサの前記第１存在確率の重みを高めて、前記第２存在確率を決定する、
    請求項３に記載の情報処理装置。
  5. 前記未計測情報は、前記位置情報が得られなかった時刻を表す、
    請求項１に記載の情報処理装置。
  6. 前記処理部は、前記位置情報が得られなかった時刻の数が最も少ないセンサの前記第１存在確率を、前記第２存在確率として決定する、
    請求項５に記載の情報処理装置。
  7. 前記処理部は、前記位置情報が得られなかった時刻の数が多いセンサほど該センサの前記第１存在確率の重みを低くし、前記位置情報が得られなかった時刻が新しいセンサほど該センサの前記第１存在確率の重みを低くして、前記第２存在確率を決定する、
    請求項５に記載の情報処理装置。
  8. 前記処理部は、撮像部による撮像で得られた撮像画像に基づいて、前記移動体の周囲に存在する物体の第３存在確率を算出し、
    前記第１存在確率と前記第３存在確率と前記未計測情報とに基づいて、前記第２存在確率を決定する、
    請求項１に記載の情報処理装置。
  9. 前記第２存在確率を記憶する記憶部を更に備える、
    請求項１乃至８のうちの何れか１項に記載の情報処理装置。
  10. 前記第２存在確率に基づいて、前記移動体の制御情報を算出する制御部をさらに備える、
    請求項１乃至９のうちの何れか１項に記載の情報処理装置。
  11. 前記複数のセンサをさらに備える、
    請求項１乃至１０のうちの何れか１項に記載の情報処理装置。
  12. 請求項１乃至１１のうちの何れか１項に記載の情報処理装置を搭載した車両。
  13. 複数のセンサごとに取得される、前記センサによって物体の位置情報が得られなかった回数を特定する未計測情報を用いて算出された移動体の周囲に存在する物体の存在確率に関する情報を表示手段に表示する出力制御手段を備える、
    情報処理装置。
  14. 前記出力制御手段は、前記存在確率に対する前記センサの寄与度に関する情報を前記表示手段に表示する、
    請求項１３に記載の情報処理装置。
  15. 特性が異なる複数のセンサごとに、該センサによって計測された物体の位置情報を用いて、移動体の周囲に存在する物体の第１存在確率を算出し、
    前記複数のセンサごとに、前記位置情報が得られなかった回数を特定する未計測情報を取得し、
    前記第１存在確率と前記未計測情報とに基づいて、前記物体の第２存在確率を決定する処理ステップを有する、
    情報処理方法。
  16. コンピュータに、
    特性が異なる複数のセンサごとに、該センサによって計測された物体の位置情報を用いて、移動体の周囲に存在する物体の第１存在確率を算出し、
    前記複数のセンサごとに、前記位置情報が得られなかった回数を特定する未計測情報を取得し、
    前記第１存在確率と前記未計測情報とに基づいて、前記物体の第２存在確率を決定する処理ステップを実行させるためのプログラム。
JP2017056408A 2016-05-27 2017-03-22 情報処理装置、車両、情報処理方法およびプログラム Active JP6696697B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/622,824 US11222438B2 (en) 2016-05-27 2017-06-14 Information processing apparatus, vehicle, and information processing method for presence probability of object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016106506 2016-05-27
JP2016106506 2016-05-27

Publications (2)

Publication Number Publication Date
JP2017215939A JP2017215939A (ja) 2017-12-07
JP6696697B2 true JP6696697B2 (ja) 2020-05-20

Family

ID=60419003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017056408A Active JP6696697B2 (ja) 2016-05-27 2017-03-22 情報処理装置、車両、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US11132611B2 (ja)
JP (1) JP6696697B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3252658B1 (en) 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
US11204610B2 (en) 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
JP6804991B2 (ja) 2017-01-05 2020-12-23 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
JP6685941B2 (ja) 2017-01-05 2020-04-22 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
JP6808590B2 (ja) 2017-08-08 2021-01-06 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび移動体
US11514371B2 (en) * 2018-03-13 2022-11-29 Woven Planet North America, Inc. Low latency image processing using byproduct decompressed images
JP7069944B2 (ja) * 2018-03-28 2022-05-18 住友電気工業株式会社 環境検出装置、環境検出システム、環境検出方法、及びコンピュータプログラム
JP7182895B2 (ja) * 2018-04-13 2022-12-05 株式会社東芝 情報処理装置、プログラム、および情報処理方法
CN108733909A (zh) * 2018-05-16 2018-11-02 中国科学院遥感与数字地球研究所 一种冰盖融化区探测方法
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
JP7203514B2 (ja) * 2018-05-31 2023-01-13 株式会社デンソーテン 走行領域判定装置、走行領域判定方法、および路面画像機械学習モデルの生成方法
US10642275B2 (en) 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control
CN112313663A (zh) 2018-06-18 2021-02-02 祖克斯有限公司 遮挡感知规划
JP7121361B2 (ja) * 2018-06-29 2022-08-18 国立大学法人金沢大学 自律移動体
CN112136021A (zh) 2018-12-29 2020-12-25 北京嘀嘀无限科技发展有限公司 用于构建基于地标的高清地图的系统和方法
CN109747542B (zh) * 2019-01-24 2022-02-22 四川长虹电器股份有限公司 用于遮挡后车视野下提醒后车交通灯状态的系统及方法
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
EP3905105A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
US11622226B2 (en) * 2020-12-03 2023-04-04 Qualcomm Incorporated Determining an object presence using information from vehicle user equipments

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS526752B2 (ja) 1973-12-21 1977-02-24
JPS5386962A (en) 1977-01-11 1978-07-31 Kubota Ltd Gear transmission
US5325449A (en) 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JP2000292538A (ja) * 1999-04-07 2000-10-20 Mitsubishi Electric Corp 車両用障害物検出装置
JP4523095B2 (ja) * 1999-10-21 2010-08-11 富士通テン株式会社 情報処理装置、情報統合装置および情報処理方法
US6542809B2 (en) 2001-02-26 2003-04-01 Honeywell International Inc. Method and system for displaying target vehicle position information
JP3918791B2 (ja) * 2003-09-11 2007-05-23 トヨタ自動車株式会社 物体検出装置
JP3931879B2 (ja) * 2003-11-28 2007-06-20 株式会社デンソー センサフュージョンシステム及びそれを用いた車両制御装置
JP4281632B2 (ja) * 2004-06-23 2009-06-17 トヨタ自動車株式会社 物標検出装置
US7142150B2 (en) * 2004-12-15 2006-11-28 Deere & Company Method and system for detecting an object using a composite evidence grid
US7266477B2 (en) * 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
US7313502B2 (en) 2006-02-23 2007-12-25 Rockwell Automation Technologies, Inc. System and method to combine and weight multiple sensors with overlapping sensing range to create a measurement system utilized in a high integrity or safety environment
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP5047709B2 (ja) 2007-07-04 2012-10-10 株式会社日立製作所 移動装置、システム、移動方法及び移動プログラム
JP2009031884A (ja) 2007-07-25 2009-02-12 Toyota Motor Corp 自律移動体、自律移動体におけるマップ情報作成方法および自律移動体における移動経路特定方法
JP5304128B2 (ja) * 2008-09-16 2013-10-02 村田機械株式会社 環境地図修正装置及び自律移動装置
JP4819166B2 (ja) 2010-01-25 2011-11-24 富士通テン株式会社 情報処理装置、情報入手装置、情報統合装置、制御装置および物体検出装置
JP5206752B2 (ja) 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
JP5678793B2 (ja) 2011-05-11 2015-03-04 トヨタ自動車株式会社 周辺監視装置および周辺監視方法並びに運転支援装置
JP5712900B2 (ja) 2011-11-08 2015-05-07 トヨタ自動車株式会社 周辺物体検出装置
US9626599B2 (en) * 2012-04-09 2017-04-18 GM Global Technology Operations LLC Reconfigurable clear path detection system
JP5724955B2 (ja) * 2012-06-22 2015-05-27 トヨタ自動車株式会社 物体検出装置、情報処理装置、物体検出方法
JP6200421B2 (ja) * 2012-07-17 2017-09-20 日産自動車株式会社 運転支援システム及び運転支援方法
US9157743B2 (en) * 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
JP6194450B2 (ja) * 2013-04-15 2017-09-13 株式会社メガチップス 状態推定装置、プログラムおよび集積回路
JP5929870B2 (ja) 2013-10-17 2016-06-08 株式会社デンソー 物標検出装置
DE102013223803A1 (de) 2013-11-21 2015-05-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Segmentierung eines Belegungsgitters für ein Umfeldmodell eines Fahrerassistenzsystems für ein Fahrzeug
US10328932B2 (en) * 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
FR3022049B1 (fr) 2014-06-06 2016-07-22 Inria Inst Nat De Rech En Informatique Et En Automatique Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
JP6430777B2 (ja) * 2014-10-22 2018-11-28 株式会社デンソー 物体検知装置
JP6559535B2 (ja) 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
JP6239664B2 (ja) * 2016-03-16 2017-11-29 株式会社デンソーアイティーラボラトリ 周辺環境推定装置及び周辺環境推定方法

Also Published As

Publication number Publication date
US11132611B2 (en) 2021-09-28
JP2017215939A (ja) 2017-12-07
US20170344888A1 (en) 2017-11-30

Similar Documents

Publication Publication Date Title
JP6696697B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
JP6672212B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
US11222438B2 (en) Information processing apparatus, vehicle, and information processing method for presence probability of object
JP6984215B2 (ja) 信号処理装置、および信号処理方法、プログラム、並びに移動体
US20230072637A1 (en) Vehicle Drivable Area Detection Method, System, and Autonomous Vehicle Using the System
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
US20200334843A1 (en) Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
CN113366486B (zh) 使用区域外上下文的对象分类
JP6062122B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP7182895B2 (ja) 情報処理装置、プログラム、および情報処理方法
US10885353B2 (en) Information processing apparatus, moving object, information processing method, and computer program product
KR101864127B1 (ko) 무인 차량을 위한 주변 환경 매핑 방법 및 장치
US10343603B2 (en) Image processing device and image processing method
US10643348B2 (en) Information processing apparatus, moving object, information processing method, and computer program product
WO2024042607A1 (ja) 外界認識装置及び外界認識方法
US20230037900A1 (en) Device and Method for Determining Objects Around a Vehicle
EP4194883A1 (en) Device and method for determining objects around a vehicle
US20220180549A1 (en) Three-dimensional location prediction from images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200417

R150 Certificate of patent or registration of utility model

Ref document number: 6696697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150