JPWO2020110915A1 - 情報処理装置、および情報処理システム、並びに情報処理方法 - Google Patents
情報処理装置、および情報処理システム、並びに情報処理方法 Download PDFInfo
- Publication number
- JPWO2020110915A1 JPWO2020110915A1 JP2020557649A JP2020557649A JPWO2020110915A1 JP WO2020110915 A1 JPWO2020110915 A1 JP WO2020110915A1 JP 2020557649 A JP2020557649 A JP 2020557649A JP 2020557649 A JP2020557649 A JP 2020557649A JP WO2020110915 A1 JPWO2020110915 A1 JP WO2020110915A1
- Authority
- JP
- Japan
- Prior art keywords
- information
- unknown object
- unit
- vehicle
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 157
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000004891 communication Methods 0.000 claims abstract description 297
- 238000000034 method Methods 0.000 claims abstract description 135
- 238000010191 image analysis Methods 0.000 claims abstract description 64
- 230000002093 peripheral effect Effects 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims description 148
- 230000008569 process Effects 0.000 claims description 122
- 230000004044 response Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 115
- 238000007726 management method Methods 0.000 description 28
- 230000011218 segmentation Effects 0.000 description 17
- 238000000605 extraction Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 244000025254 Cannabis sativa Species 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
例えば特許文献1(特開2013−25423号公報)は、隊列を組んで走行する複数車両間で相互に位置情報を送受信して所定間隔を維持して走行する構成を開示している。
移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置にある。
移動装置の現在位置を取得する自己位置取得部と、
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置にある。
地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
前記ダイナミックマップを参照する移動装置を有し、
前記管理サーバは、
前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システムにある。
情報処理装置において実行する情報処理方法であり、
画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法にある。
具体的には、例えば、車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。
本構成により、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.本開示の構成の概要について
2.車両に搭載される情報処理装置の構成と処理の一例(実施例1)について
3.車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて
4.不明物体情報の送信に基づいて車両制御を実行させる実施例(実施例2)について
5.不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例(実施例3)について
6.不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例(実施例4)について
7.複数の車両の取得情報を利用した処理を行う実施例(実施例5)につい
8.情報処理装置の構成例について
9.本開示の構成のまとめ
まず、図1を参照して本開示の構成の概要について説明する。
本開示は、例えば車両等の移動装置にカメラを搭載し、カメラの撮影画像の解析により走行路上の物体(オブジェクト)識別を行う。さらに、この画像に基づく物体識別に併せて他の車両、あるいはその他の路側通信ユニット(RSU:Roadside Unit)や、サーバとの通信を行い、これらの通信情報に基づいて物体識別を行う。これらの処理により、確実な物体(オブジェクト)識別を実現し、車両等の移動装置の安全走行を可能とするものである。
図1には道路を走行する複数の車両10を示している。車両10は、運転者による運転操作により走行する従来型の車両の他、運転者による運転操作が不要な自動運転車両も含まれる。
車両間の通信は、V2V通信(車車間通信)と呼ばれる。また車両と路側通信ユニット(RSU)等のインフラ設備との通信は、V2I通信(車対インフラ通信)と呼ばれる。また、これらを総称してV2X通信と呼ぶ。V2X通信には、車両と車両、車両とインフラ設備、車両とサーバとの通信等が含まれる。
図1に示す車両10は、上記のV2X通信を行う車両である。
なお、自己位置情報は、GPSを利用して取得する位置情報、あるいは管理サーバ20の提供するダイナミックマップ(DM)を用いて取得することができる。
管理サーバ20が生成、更新したダイナミックマップ(DM)は車両10に提供され、車両10は、このマップに基づいて自己位置や、走行経路等の決定等を行うことが可能となる。自動運転車両は、ダイナミックマップ(DM)を参照することで、最適ルートを選択して走行を行うことができる。
具体的には、例えば車両10が自動運転車両の場合は、識別された物体へ衝突しないように進行方向の制御や、停止、減速等の制御を行う。また、運転者が運転する車両の場合は、運転者が確認可能なモニタ上に走行路上の物体を表示して、運転者に警告する。例えば物体表示領域の点滅や警報音の出力等を行い、運転者に注意を促す処理を行う。
次に、図2以下を参照して車両に搭載される情報処理装置の構成と処理の一例(実施例1)について説明する。
図2には、車両に搭載される情報処理装置の構成例を示している。なお、以下では、図2に示す左側の車両A,10aが走行中、図2に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
車両A,10aはカメラ101を有しており、例えば進行方向の画像を撮影する。撮影画像は、画像解析部102に入力される。
画像解析部102は、カメラ101の撮影画像の解析を実行して、画像内の物体(オブジェクト)の識別処理を行う。すなわち、撮影画像の各画像領域に撮影されている物体が何であるかの物体識別(オブジェクト識別)を実行する。
パターンマッチングは、例えば人や車等の形状や特徴情報を含むパターンデータを記憶部に格納し、この記憶部に格納されたパターンデータと撮影画像上の画像領域の被写体を比較して各被写体を識別する処理である。
画像解析部102は、辞書データと、画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う。この結果として、図3に示すオブジェクトの種類に応じて色分けされた画像が生成される。
建物(ビル、家)=赤
車=紫
植物(木、草)=緑
道路=ピンク
歩道=青
これらは、辞書データに基づいて識別されたオブジェクトの種類に応じて色分けした結果である。
さらに、画像解析部102は、物体識別結果に併せて物体識別結果の信頼度を示す信頼度スコアを併せて生成する。
信頼度スコアは、撮影画像から識別された識別物体単位でその物体識別の信頼度を示すスコアである。
図4に示す例は、最低信頼度を0、最高信頼度を100とした信頼度=0〜100の信頼度スコアを設定した例である。
(1)識別結果=建物(ビル、家)、信頼度スコア=35、
(2)識別結果=車、信頼度スコア=80、
(3)識別結果=植物(木、草)、信頼度スコア=60、
(4)識別結果=植物(木、草)、信頼度スコア=65、
(5)識別結果=道路、信頼度スコア=85、
(6)識別結果=歩道、信頼度スコア=52、
(7)識別結果=車、信頼度スコア=10→不明物体(不明オブジェクト)
例えば、
(7)識別結果=車、信頼度スコア=10
この識別結果の信頼度スコアは10であり、このように極めて低い信頼度の物体については、不明物体と判定される。
なお、具体的には信頼度のしきい値、例えばしきい値=20を設定し、このしきい値以下あるいはしきい値未満の信頼度スコアが設定された物体は、「不明物体」と判定する。
図2に示すように、画像解析部102の生成した物体識別結果と、物体識別信頼度スコアは、不明物体領域抽出部103に入力される。
図5に示すように、不明物体領域抽出部103は、画像解析部102から「物体識別結果」と、「物体識別信頼度スコア」を入力する。
物体識別信頼度スコアは、不明物体領域抽出部103の信頼度スコアしきい値処理部121に入力される。
不明物体領域情報生成部122は、画像解析部102から入力した「物体識別結果」中、しきい値以下の信頼度の設定された低信頼度領域に該当する物体を不明物体と判定し、この不明物体が占有する画像領域を示す「不明物体領域情報」を生成して不明物体特定部104に出力する。
不明物体特定部104の詳細構成と処理について、図6を参照して説明する。
不明物体特定部104は、さらに、通信部105を介して、現在の自車両の周囲の物体、例えば他の車両等を含む様々な物体の位置情報を含む「周辺物体情報」を取得し、この「周辺物体情報」を第2座標変換部135に入力する。
第1座標変換部131と、第2座標変換部132は、これら各々の位置情報を共通の1つの座標を持つ座標位置情報に変換する。
マッチング処理部は、「不明物体領域情報」と「周辺物体位置情報」との一致領域を検出する。
例えば、画像解析において不明物体と判定された特定の車両位置を検出する。
マッチング処理部133は、通信部を介して入力済みの「周辺物体情報」に基づいて、画像解析で不明物体と判定された車両を特定する。
不明物体特定部104は、さらに、マッチング処理部133が特定した車両に対してV2V通信(車車間通信)を利用して「不明物体情報」を、通信部105を介して送信する。
車両B,10bの通信部202は、車両A,10aから「不明物体情報」を受信する。
この受信処理によって、車両B,10bは、自車両が周囲車両から不明物体と認識されたとことを確認することができる。
通信制御部203は、通信部202の通信制御を行い、通信部202を介して送信(マルチキャスト送信)中の車両情報の送信態様を変更する処理を行う。
結果として車両A,10aも画像解析で不明と判定された物体、すなわち車両B,10bの位置や車種等を正確に把握することが可能となる。
図7には、
(A)車両Aから車両Bへの送信データ(ユニキャスト通信による送信データ内容)
(B)車両Bの通常通信モードの車両情報送信データ(マルチキャスト通信による送信データ内容)
これらの各通信データを示している。
このデータは、各車両が、常時、または間欠的にマルチキャスト送信するデータであり、周囲の車両が受信可能なデータである。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
例えば制御情報に含まれる目標位置、目標速度、計画経路等、自車の制御、計画に関する情報等は、主として自動運転車両において走行開始時に設定される情報であり、自動運転車両以外の車両等の場合、これらの情報は送信されない場合がある。
また、センサ情報についても、各車両によって装着センサが異なるため、各車両によって送信データは異なる。
また、IPアドレス等を取得することで車両Bに対する直接通信(ユニキャスト通信)を行うことが可能となる。
このデータ(A)は、車両Aが画像解析で不明物体と判定した領域が車両Bであることを検出し、この車両Bに「不明物体」と認識されたことを通知するために送信するデータである。
送信先ID(ユニキャスト通信のデータ送信先のID)=通信相手の車両識別子(車両ID)、IPアドレス、MACアドレス
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス
不明物体情報=不明物体と判定されたことを示す通知情報
なお、不明物体情報には、画像解析において解析された情報を含めてもよい。例えば不明物体領域のサイズ情報等を含めてもよい。
車両B,10bの通信部202が車両A,10aから受信した「不明物体情報」は、通信制御部203に入力され、通信制御部203が、通信部202の通信制御を行い、通信部202を介してマルチキャスト送信中の車両情報の送信態様を変更する処理を行う。
図8は、車両B,10bが、周囲車両から「不明物体情報」を受信した際に通信制御部203が実行する送信データの送信態様変更例を示す図である。
なお、図8の表には、さらに最下段に通信態様の変更例も示している。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
例えば、図8に示す送信データ(1)〜(5)単位で、以下のような送信データ変更処理を行う。
周囲車両から「不明物体情報」を受信した場合、通信制御部203は、状況に応じて、車両識別子(車両ID)、IPアドレス、MACアドレスの選択的送信を行う。ただし、車両識別子(車両ID)は必ず送信する。
具体的には、例えば、車両識別子(車両ID)、IPアドレスの2つのデータを送信する処理を行う。このような限定的な送信処理を行うことで、通信データを削減し、送信先に確実にデータを送信できる確率を高めることができる。
また、通信制御部203は、データ送信時の利用可能な通信帯域情報等を取得し、利用可能な帯域が十分であれば車両識別子(車両ID)、IPアドレス、MACアドレスの全てを送信し、十分でない場合は、これらの中から選択した情報のみの送信を行うといった処理を実行する。
この自己位置、速度、姿勢についても上記(1)と同様、通信制御部203は、利用可能な通信帯域等の状況と各データに対応付けて設定された送信優先度に応じた選択的送信処理を行う。具体的には、例えば、利用可能な通信帯域が少ない場合は、自己位置のみを送信する処理を行う。このような限定的な送信処理を行うことで、送信先に確実に自己位置情報を通知できる確率を高めることができる。
(4)制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報、
(5)センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報、
これらの各情報についても上記(1)、(2)と同様、通信制御部203は、利用可能な通信帯域等の状況と各データに対応付けて設定された送信優先度に応じた選択的送信処理を行う。具体的には、例えば、利用可能な通信帯域が少ない場合は、車種と大きさのみを送信するといった処理を行う。このような限定的な送信処理を行うことで、送信先に確実に車種と大きさを通知できる確率を高めることができる。
通常通信モードでは、予め規定された出力、頻度、帯域を利用したマルチキャスト送信を実行する。
周囲車両から「不明物体情報」を受信すると、通信制御部203は、通常通信モードを緊急通信モードに変更し、上述した送信データの優先度に応じた選択送信を行うとともに、通信態様も変更する。具体的には、例えば出力、頻度、帯域の少なくともいずれかをアップさせる制御を行ってマルチキャスト送信を実行する。
例えば通信頻度制御、QoSにおける優先度制御、タイムスロット割り当て処理の制御等により、送信データの受信確率を高める通信制御を実行する。
次に、図9以下を参照して、本実施例1において車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて説明する。
この構成図は、先に図2を参照して説明した車両A,10aの情報処理装置の構成と同様の構成である。
情報処理装置A,100は、カメラ(撮像部)101、画像解析部102、不明物体領域抽出部103、不明物体特定部104、通信部105を有する。
通信部105は、例えばユニキャスト送信等を実行する送信部105aと、例えばマルチキャスト通信データの受信処理を行う受信部105bを有する。
画像解析部102は、カメラ(撮像部)101の撮影画像を入力し、撮影画像に含まれる物体の識別処理を実行する。例えば前述したようにパターンマッチングやセマンティック・セグメンテーション等の既存技術を利用した物体識別を実行する。
画像解析部102は、物体識別処理の結果である「物体識別結果」と、物体識別の信頼度を示す「物体信頼度スコア」のペアデータを、識別結果単位で生成して不明物体領域抽出部103に出力する。
図10に示す構成図は、先に図2を参照して説明した車両B,10bの情報処理装置の構成と同様の構成である。
マルチキャスト送信される車両情報は、例えば先に図7(B)を参照して説明したデータである。
通信部202の受信部202bが受信した「不明物体情報」は、通信制御部203に入力される。
この処理は、先に図8を参照して説明した処理である。
すなわち、車両B,10bの送信するマルチキャスト送信データが、周囲車両に確実に受信できるような通信制御を行う。
具体的には、例えば送信データの制限処理、すなわち優先度に応じて選択されたデータのみの送信処理や、送信出力、帯域、送信頻度を上げる通信態様変更処理等を実行する。
図11に示すフローチャートは、図9に示す情報処理装置A,100、すなわち、車両A,10aに搭載された情報処理装置A,100の実行する処理のシーケンスを説明するフローチャートである。
また、図12に示すフローチャートは、図10に示す情報処理装置B,200、すなわち、車両B,10bに搭載された情報処理装置B,200の実行する処理のシーケンスを説明するフローチャートである。
図11、図12に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
以下、フローチャートの各ステップの処理について説明する。
まず、情報処理装置A,100は、撮影画像を取得する。
この処理は、図9に示す情報処理装置A,100のカメラ(撮像部)101が実行する処理である。カメラ(撮像部)101は、車両の例えば進行方向の画像を撮影する。
カメラ(撮像部)101による撮影画像は、画像解析部102に入力される。
次に、ステップS102において、カメラ(撮像部)101による撮影画像の画像解析処理を実行する。
この処理は画像解析部102が実行する処理である。
画像解析部102は、物体識別処理の結果である「物体識別結果」と、物体識別の信頼度を示す「物体信頼度スコア」のペアデータを、識別結果単位で生成して不明物体領域抽出部103に出力する。
次に、ステップS103において、カメラ(撮像部)101の撮影画像から不明物体領域を抽出する。
この処理は、不明物体領域抽出部103が実行する。
次に、ステップS104において、周囲物体情報の取得処理を実行する
この処理は、不明物体特定部104が実行する。
不明物体特定部104は、不明物体領域抽出部103から「不明物体領域情報」を入力し、さらに、通信部105の受信部105bを介して「周辺物体情報」を入力する。なお「周辺物体情報」にはV2V(車車間通信)による他車からの受信データの他、図1に示す路側通信ユニット(RSU)30や管理サーバ20からの受信データが含まれる。
次に、不明物体特定部104は、ステップS103において抽出された全ての不明物体領域について、ステップS105〜S109の処理を順次、または並列に実行する。
すなわち不明物体領域と一致する周辺物体、例えば車両を検出する。
マッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合は、ステップS108に進む。
一方、マッチングが失敗、すなわち不明物体領域と一致する周辺物体が検出できなかった場合は、ステップS109に進み、この不明物体領域に対する処理は終了する。
まず、情報処理装置B,200は、ステップS201において自己位置情報を取得する。
この処理は、図10に示す自己位置取得部20が実行する処理である。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
次に、ステップS202において、「不明物体情報」を受信したか否かを判定する。
例えば、図11に示すフローチャートを参照して説明したステップS108において送信される「不明物体情報」である。
一方、ステップS202において、「不明物体情報」を受信したと判定した場合は、ステップS204に進む。
ステップS202において、「不明物体情報」を受信していないと判定した場合は、ステップS203に進み、ステップS203において、ステップS201で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
一方、ステップS202において、「不明物体情報」を受信したと判定した場合は、ステップS204に進む。
ステップS204では、マルチキャスト送信データの送信態様を緊急通信モードに変更する。具体的には、送信データの優先度に応じた選択処理や通信頻度、出力、帯域の変更等の通信制御を行う。
この処理は、先に図8を参照して説明した送信データの送信態様変更処理であり、図10に示す通信制御部203において実行される。
緊急通信モードでは、図8を参照して説明したように、各送信データに予め設定された送信優先度情報に従って選択される重要データの選択的送信や、出力、頻度、帯域の変更、QoSにおける優先度制御、タイムスロット割り当て処理等の通信制御を行う。これらの通信制御により、重要な車両情報を周囲車両が受信できる確率を高めることが可能となる。
次に実施例2として、不明物体情報の送信に基づいて車両制御を実行させる実施例について説明する。
具体的には、例えば走行速度の低下、あるいは停止処理など、衝突回避のための走行制御等を実行する。
以下、この実施例2について説明する。
本実施例2では、車両B,10bに搭載される情報処理装置の構成が異なる。
図13に示すように、車両B,10bは車両制御部211を有する。
図14に示すように、車両B,10bに搭載される情報処理装置210は、、自己位置取得部201、通信部202、車両制御部211を有する。通信部202は、例えばマルチキャスト送信等を実行する送信部202aと、例えばユニキャスト通信データの受信処理を行う受信部202bを有する。
マルチキャスト送信される車両情報は、例えば先に図7(B)を参照して説明したデータである。
通信部202の受信部202bが受信した「不明物体情報」は、車両制御部211に入力される。
車両制御部211の実行する処理の具体例について、図15を参照して説明する。
制御例1は、各種制限の設定であり、例えば、速度制限、加速度制限、走行場所制限等の制限処理である。速度制限とは、一定の速度以下での走行に制限する処理であり、停止処理も含まれる。加速度制限は、現在の速度以上に加速することを制限する処理である。走行場所制限は、左車線のみ等、走行路を制限する処理である。
車両制御部211が、このような走行制御を行うことで、突然の加速や速度変更、あるいは走行ルート変更等による衝突の可能性を低減させることが可能となる。
この処理により、障害物や他車両との衝突の可能性を低減できる。
例えば車両B,10bが、車両A,10aからの送信データを受信できない場合、車両B,10bの車両制御部211による車両制御は実行されないことになる。
このような場合、管理サーバ20は、管理サーバが生成し更新するダイナミックロードマップに車両B,10bが不明物体、あるいは危険車両であることを示す情報を追記する。
まず、情報処理装置B,200は、自己位置情報を取得する。
この処理は、図14に示す自己位置取得部20が実行する処理である。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
次に、ステップS222において、ステップS221で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
次に、ステップS223において、「不明物体情報」を受信したか否かを判定する。
例えば、図11に示すフローチャートを参照して説明したステップS108において送信される「不明物体情報」である。
一方、ステップS223において、「不明物体情報」を受信したと判定した場合は、ステップS224に進む。
ステップS223において、「不明物体情報」を受信したと判定した場合は、ステップS224において、車両制御を実行する。
この処理は、図14に示す車両制御部211が実行する処理である。
次に実施例3として、不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例について説明する。
以下、この実施例3について説明する。
車両A,10aの車両制御部121は、不明物体特定部104が特定した不明物体、すなわち不明車両に対して送信する車両制御情報を生成して通信部105を介して車両B,10bに送信(ユニキャスト送信)する。
車両B,10bの通信部202は、車両A,10aから受信した車両制御情報を車両制御部211に入力する。
具体的には、速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行する。
図18に示すフローチャートは、図17に示す車両A,10aに搭載された情報処理装置Aの実行する処理のシーケンスを説明するフローチャートである。
また、図19に示すフローチャートは、図17に示す車両B,10bに搭載された情報処理装置の実行する処理のシーケンスを説明するフローチャートである。
図18、図19に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
以下、フローチャートの各ステップの処理について説明する。
以下、この相違点を中心として説明する。
ステップS101〜S107の処理は、先に実施例1の処理シーケンスとして説明した図11に示すフローのステップS101〜S107の処理と同様の処理であるので説明を省略する。
なお、ステップS105〜S109の処理は、ステップS103において抽出された全ての不明物体領域について順次、または並列に実行する処理である。
次に、本実施例3に特有の処理であるステップS108bの処理について説明する。
ステップS108bは、ステップS106〜S107においてマッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合に実行する処理である。
このステップS108の処理は、図17に示す車両A,10aの不明物体特定部104と車両制御部121が実行する処理である。
なお、アドレスは特定車両から受信するマルチキャスト通信データから取得する。
これらの車両制御情報は、車両A,10aの通信部105を介して車両B,10bに送信される。
なお、図19に示すフローは、先に実施例2として説明した図16に示すフローを一部変更したフローである。変更点は、図16に示すフローのステップS223〜S224を、図19に示すフローのステップS223b〜S224bへの変更である。
以下、図19に示すフローの各ステップの処理について説明する。
まず、情報処理装置B,200は、自己位置情報を取得する。
この処理は、図17に示す車両B,10bの自己位置取得部20が実行する処理である。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
次に、ステップS222において、ステップS221で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
次に、ステップS223bにおいて、「車両制御情報」を受信したか否かを判定する。
例えば、図18に示すフローチャートを参照して説明したステップS108bにおいて送信される「車両制御情報」である。
一方、ステップS223bにおいて、「車両制御情報」を受信したと判定した場合は、ステップS224bに進む。
ステップS223bにおいて、「車両制御情報」を受信したと判定した場合は、ステップS224bにおいて、車両制御を実行する。
この処理は、図17に示す車両制御部211が実行する処理である。
この車両制御は、先に図15を参照して説明した例えば速度制限、加速度制限、走行場所制限、マージン拡大処理等、他車両との衝突等の自己発生可能性を低減させるための制御である。
次に実施例4として、不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例について説明する。
以下に説明する実施例は、これら実施例1〜3の変形例であり、「不明物体情報」や「車両制御情報」を送信する必要があるか否かを判定し、送信要の判定がなされた場合にのみ、情報送信を実行する実施例である。
本実施例4は、上述した実施例1〜3に併せて実行することが可能である。
図20以下を参照して本実施例4について説明する。
なお、以下の説明では、「不明物体情報」の送信例について説明するが、本実施例は、「車両制御情報」を送信する場合にも適用可能である。
図20に示す構成は、先に図2や図9を参照して説明した車両A,10aの情報処理装置Aの構成に、不明物体情報送信要否判定部141を追加した構成である。
その他の構成は、先に図2や図9を参照して説明した車両A,10aの情報処理装置Aの構成と同様の構成である。
図21には、不明物体情報送信要否判定部141が実行する情報送信要否判定処理の複数の具体例を示している。不明物体情報送信要否判定部141は、図21に示す判定例1〜5の少なくともいずれかの判定処理を実行する。
例えば、不明物体領域のサイズが通常の車両サイズに相当する場合は送信すると判定し、明らかに異なる場合は非送信とする。
例えば、不明物体領域の物体識別信頼度スコアが規定しきい値以下(不明度が高い)の場合に送信する。また規定しきい値より大きい場合(不明度が低い)場合は非送信とする。または信頼度スコアが低い順に順次、送信する設定としてもよい。
例えば、セグメンテーション結果と信頼度スコアを用いた学習を実行して不明物体領域を順次、解消する処理を行い、この処理後に不明物体領域が残存する場合は送信する。残存しない場合は非送信とする。具体的には、例えば不明物体領域を分割して各分割領域で物体識別を行うといった処理を実行する。
例えば、不明物体領域が路面に接しているか否か、歩道に接しているか否か、自車との距離が近いか遠いか等に基づいて送信要否を判定する。
例えば、帯域使用率×物体識別信頼度スコアの値に応じて送信要否を判定する。具体的には、
帯域使用率×物体識別信頼度スコアの値<しきい値(Th)
上記判定式を満たす場合に送信し、満たさない場合は非送信とする。
以下、フローチャートの各ステップの処理について説明する。
以下、この相違点を中心として説明する。
ステップS101〜S107の処理は、先に実施例1の処理シーケンスとして説明した図11に示すフローのステップS101〜S107の処理と同様の処理であるので説明を省略する。
なお、ステップS105〜S109の処理は、ステップS103において抽出された全ての不明物体領域について順次、または並列に実行する処理である。
次に、本実施例4に特有の処理であるステップS301の処理について説明する。
ステップS301は、ステップS106〜S107においてマッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合に実行する処理である。
ステップS301の判定処理において、不明物体情報送信要否判定部141が、特定車両に対して「不明物体情報」を送信要と判定した場合(ステップS302=Yes)は、ステップS303に進み、ステップS303において、特定車両に対して「不明物体情報」を送信する。
次に、実施例5として、複数の車両の取得情報を利用した処理を行う実施例について説明する。
本実施例5について、図23を参照して説明する。
これらの複数車両が全て、車両B,10bを不明物体と判定するといった状況が想定される。
車両B,10bは、これら複数車両から不明物体情報を受信した場合、1台のみから不明物体情報を受信した場合より緊急度を上げたマルチキャスト送信を行う。すなわち重要度の高いデータの選択送信や送信頻度アップ等の処理を実行する。なお、重要度の高いデータとは例えば位置データやサイズ情報である。
このような処理を行うことで、複数の車両に車両B,10bの重要な車両情報のみを確実に通知することが可能となる。
複数車両から同じ内容の「車両制御情報」を受信した場合には、その共通の「車両制御情報」に従った処理を行う。
また、複数車両から異なる内容の「車両制御情報」を受信した場合の処理としては、緊急停止処理を行うといった処理を行うことが好ましい。
あるいは、車両制御情報を送信した各車両の位置が推定可能な場合は、最も近い距離にある1台の車両から受信した車両制御情報に従った制御を行う構成としてもよい。
また、管理サーバ20が不明物体とされた車両B,10bから車両情報を受信できた場合は、この車両情報を他の各車両に提供する構成としてもよい。
各車両は、管理サーバ20が更新したダイナミックマップを参照することで、不明物体の詳細を確認することが可能となる。
なお、管理サーバ20は、不明物体に対応する車両から受信する車両情報に基づいて不明物体対応車両の詳細情報を記録することができる。
次に、上述した処理を実行する情報処理装置の具体的なハードウェア構成例について、図24を参照して説明する。車両A,10aや車両B,10bに搭載される情報処理装置として適用可能なハードウェア構成例について説明する。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置。
前記不明物体特定部によって特定された不明物体に対して、不明物体であると判定されたことを示す不明物体情報を送信する(1)に記載の情報処理装置。
前記通信部は、
前記第2の移動装置に対して、該第2の移動装置の移動制御を実行させるための制御情報を送信する(1)または(2)に記載の情報処理装置。
前記通信部は、
前記第2の移動装置に対して、該第2の移動装置をリモート制御するためのリモート制御情報を送信する(1)〜(3)いずれかに記載の情報処理装置。
前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する(1)〜(4)いずれかに記載の情報処理装置。
前記不明物体からの受信情報を含む(5)に記載の情報処理装置。
前記不明物体からの受信情報を含み、該受信情報には前記不明物体に対する通信に利用可能なアドレス情報を含み、
前記通信部は、前記アドレス情報を利用して前記不明物体に対する情報送信を行う(5)または(6)に記載の情報処理装置。
前記通信部を介した前記不明物体に対する情報送信の要否を判定する情報送信要否判定部を有し、
前記情報送信要否判定部は、
不明物体のサイズ、または前記画像解析部における物体識別の信頼度スコア、または前記移動装置との距離、または現在の通信状況の少なくともいずれかに基づいて情報送信の要否を判定する(1)〜(7)いずれかに記載の情報処理装置。
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置。
前記通信部を介した不明物体情報の受信に応じて、
前記通信部を介した移動装置情報の送信態様を通常通信モードから緊急通信モードに変更する(9)に記載の情報処理装置。
前記通信部を介した不明物体情報の受信に応じて、
前記移動装置情報を構成する各情報に対応付けられた送信優先度に従って送信優先度の高い情報のみを選択して送信する(9)または(10)に記載の情報処理装置。
前記通信部を介した不明物体情報の受信に応じて、
前記移動装置情報の送信頻度、または送信帯域、または送信出力の少なくともいずれか通常時より上昇させる通信態様変更処理を実行する(9)〜(11)いずれかに記載の情報処理装置。
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御部を有する情報処理装置。
前記移動装置の速度制御、または加速度制御、または走行場所制御、障害物との離間距離であるマージン制御の少なくともいずれかを実行する(13)に記載の情報処理装置。
前記移動装置制御部は、
リモート制御情報である移動装置制御情報に従った移動装置制御を実行する(13)または(14)に記載の情報処理装置。
前記ダイナミックマップを参照する移動装置を有し、
前記管理サーバは、
前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システム。
前記不明物体に対応する移動装置から受信する移動装置情報に基づいて前記ダイナミックマップ上に前記不明物体の詳細を記録する(16)に記載の情報処理システム。
画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法。
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法。
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法。
具体的には、例えば、車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。
本構成により、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
20 管理サーバ
30 路側通信ユニット(RSU)
50 ネットワーク
100 情報処理装置A
101 カメラ(撮像部)
102 画像解析部
103 不明物体領域抽出部
104 不明物体特定部
105 通信部
121 車両制御部
141 不明物体情報送信要否判定部
200 情報処理装置B
201 自己位置取得部
202 通信部
203 通信制御部
211 車両制御部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
Claims (20)
- 移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置。 - 前記通信部は、
前記不明物体特定部によって特定された不明物体に対して、不明物体であると判定されたことを示す不明物体情報を送信する請求項1に記載の情報処理装置。 - 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
前記通信部は、
前記第2の移動装置に対して、該第2の移動装置の移動制御を実行させるための制御情報を送信する請求項1に記載の情報処理装置。 - 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
前記通信部は、
前記第2の移動装置に対して、該第2の移動装置をリモート制御するためのリモート制御情報を送信する請求項1に記載の情報処理装置。 - 前記不明物体特定部は、
前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する請求項1に記載の情報処理装置。 - 前記周辺物体情報は、
前記不明物体からの受信情報を含む請求項5に記載の情報処理装置。 - 前記周辺物体情報は、
前記不明物体からの受信情報を含み、該受信情報には前記不明物体に対する通信に利用可能なアドレス情報を含み、
前記通信部は、前記アドレス情報を利用して前記不明物体に対する情報送信を行う請求項5に記載の情報処理装置。 - 前記情報処理装置は、さらに、
前記通信部を介した前記不明物体に対する情報送信の要否を判定する情報送信要否判定部を有し、
前記情報送信要否判定部は、
不明物体のサイズ、または前記画像解析部における物体識別の信頼度スコア、または前記移動装置との距離、または現在の通信状況の少なくともいずれかに基づいて情報送信の要否を判定する請求項1に記載の情報処理装置。 - 移動装置の現在位置を取得する自己位置取得部と、
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置。 - 前記通信制御部は、
前記通信部を介した不明物体情報の受信に応じて、
前記通信部を介した移動装置情報の送信態様を通常通信モードから緊急通信モードに変更する請求項9に記載の情報処理装置。 - 前記通信制御部は、
前記通信部を介した不明物体情報の受信に応じて、
前記移動装置情報を構成する各情報に対応付けられた送信優先度に従って送信優先度の高い情報のみを選択して送信する請求項9に記載の情報処理装置。 - 前記通信制御部は、
前記通信部を介した不明物体情報の受信に応じて、
前記移動装置情報の送信頻度、または送信帯域、または送信出力の少なくともいずれか通常時より上昇させる通信態様変更処理を実行する請求項9に記載の情報処理装置。 - 移動装置の現在位置を取得する自己位置取得部と、
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御部を有する情報処理装置。 - 前記移動装置制御部は、
前記移動装置の速度制御、または加速度制御、または走行場所制御、障害物との離間距離であるマージン制御の少なくともいずれかを実行する請求項13に記載の情報処理装置。 - 前記通信部を介して受信する前記移動装置制御情報は、前記移動装置をリモート制御する移動装置制御情報であり、
前記移動装置制御部は、
リモート制御情報である移動装置制御情報に従った移動装置制御を実行する請求項13に記載の情報処理装置。 - 地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
前記ダイナミックマップを参照する移動装置を有し、
前記管理サーバは、
前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システム。 - 前記管理サーバは、
前記不明物体に対応する移動装置から受信する移動装置情報に基づいて前記ダイナミックマップ上に前記不明物体の詳細を記録する請求項16に記載の情報処理システム。 - 情報処理装置において実行する情報処理方法であり、
画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法。 - 情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法。 - 情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018224881 | 2018-11-30 | ||
JP2018224881 | 2018-11-30 | ||
PCT/JP2019/045696 WO2020110915A1 (ja) | 2018-11-30 | 2019-11-21 | 情報処理装置、および情報処理システム、並びに情報処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020110915A1 true JPWO2020110915A1 (ja) | 2021-10-14 |
Family
ID=70853331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020557649A Pending JPWO2020110915A1 (ja) | 2018-11-30 | 2019-11-21 | 情報処理装置、および情報処理システム、並びに情報処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220019813A1 (ja) |
JP (1) | JPWO2020110915A1 (ja) |
CN (1) | CN113168767B (ja) |
DE (1) | DE112019005949T5 (ja) |
WO (1) | WO2020110915A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102327185B1 (ko) * | 2019-12-24 | 2021-11-17 | 한국도로공사 | 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법 |
US20220081004A1 (en) * | 2020-09-15 | 2022-03-17 | Tusimple, Inc. | DETECTING AN UNKNOWN OBJECT BY A LEAD AUTONOMOUS VEHICLE (AV) AND UPDATING ROUTING PLANS FOR FOLLOWING AVs |
US11987261B2 (en) | 2020-09-15 | 2024-05-21 | Tusimple, Inc. | Detecting a road structure change by a lead autonomous vehicle (AV) and updating routing plans for the lead AV and following AVs |
JP2022077757A (ja) * | 2020-11-12 | 2022-05-24 | 本田技研工業株式会社 | 車両報知装置および車両報知システム |
JP2024044266A (ja) | 2022-09-21 | 2024-04-02 | 株式会社Subaru | 車両用前方認識装置、及び車両制御ユニット |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3639196B2 (ja) * | 2000-08-07 | 2005-04-20 | 株式会社日立製作所 | 車両特定装置 |
JP3895225B2 (ja) * | 2002-07-10 | 2007-03-22 | 本田技研工業株式会社 | 車両用警告システム |
KR20060119968A (ko) * | 2003-09-10 | 2006-11-24 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 형상 인식 장치 및 방법 |
JP2006318093A (ja) * | 2005-05-11 | 2006-11-24 | Mazda Motor Corp | 車両用移動物体検出装置 |
US7706978B2 (en) * | 2005-09-02 | 2010-04-27 | Delphi Technologies, Inc. | Method for estimating unknown parameters for a vehicle object detection system |
JP4799236B2 (ja) * | 2006-03-23 | 2011-10-26 | 富士重工業株式会社 | 車載表示システム |
JP4614098B2 (ja) * | 2006-03-28 | 2011-01-19 | アイシン・エィ・ダブリュ株式会社 | 周辺状況認識装置及び方法 |
JP2008149786A (ja) * | 2006-12-14 | 2008-07-03 | Mazda Motor Corp | 車両用運転支援装置及び車両用運転支援システム |
JP2009211397A (ja) * | 2008-03-04 | 2009-09-17 | Toyota Infotechnology Center Co Ltd | 無線通信方法及び車両通信システム |
JP5226461B2 (ja) * | 2008-10-22 | 2013-07-03 | 株式会社東海理化電機製作所 | 車両位置算出システム |
JP4853545B2 (ja) * | 2009-05-25 | 2012-01-11 | 株式会社デンソー | 車載通信装置および通信システム |
US20120147188A1 (en) * | 2009-09-03 | 2012-06-14 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP5565385B2 (ja) | 2011-07-16 | 2014-08-06 | 株式会社デンソー | 車両用無線通信装置および通信システム |
JP2013228843A (ja) * | 2012-04-25 | 2013-11-07 | Clarion Co Ltd | 車両情報通信システム |
KR101491256B1 (ko) * | 2013-05-28 | 2015-02-06 | 현대자동차주식회사 | 무선통신을 이용한 차선인식 장치 및 방법 |
DE102013210729A1 (de) * | 2013-06-10 | 2014-12-11 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs |
CN104036275B (zh) * | 2014-05-22 | 2017-11-28 | 东软集团股份有限公司 | 一种车辆盲区内目标对象的检测方法及其装置 |
WO2016016922A1 (ja) * | 2014-07-28 | 2016-02-04 | 三菱電機株式会社 | 走行支援システム及び走行支援方法 |
CN104346955A (zh) * | 2014-10-16 | 2015-02-11 | 浙江吉利汽车研究院有限公司 | 基于人车通信的行人避撞方法和避撞系统 |
JP2016101031A (ja) * | 2014-11-25 | 2016-05-30 | アイシン精機株式会社 | 三相モータのステータ |
KR20170117098A (ko) * | 2015-02-10 | 2017-10-20 | 라이더 시스템즈 엘엘씨 | 자동차에 대한 근접성 인식 시스템 |
JP6443160B2 (ja) * | 2015-03-23 | 2018-12-26 | 株式会社デンソー | 自動走行制御装置、又は、自動走行制御システム |
DE102015220640A1 (de) * | 2015-10-22 | 2017-04-27 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Verringern eines Kollisionsrisikos einer Kollision eines Kraftfahrzeugs mit einem Objekt |
JP2017097510A (ja) * | 2015-11-20 | 2017-06-01 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
CN108701409A (zh) * | 2016-03-01 | 2018-10-23 | 株式会社理光 | 移动体管理装置、移动体管理方法以及存储介质 |
JP6613999B2 (ja) * | 2016-04-08 | 2019-12-04 | 株式会社デンソー | 運転支援システム |
EP3273423B1 (en) * | 2016-07-21 | 2019-03-13 | Continental Automotive GmbH | Device and method for a vehicle for recognizing a pedestrian |
JP6478414B2 (ja) * | 2016-09-13 | 2019-03-06 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、および車両制御プログラム |
JP6791718B2 (ja) * | 2016-10-21 | 2020-11-25 | 株式会社デンソーテン | 通信装置、車載システムおよび通信方法 |
JP2018097534A (ja) * | 2016-12-12 | 2018-06-21 | トヨタ自動車株式会社 | 工事関連情報推定システム |
US10929462B2 (en) * | 2017-02-02 | 2021-02-23 | Futurewei Technologies, Inc. | Object recognition in autonomous vehicles |
CN107554430B (zh) * | 2017-09-20 | 2020-01-17 | 京东方科技集团股份有限公司 | 车辆盲区可视化方法、装置、终端、系统及车辆 |
-
2019
- 2019-11-21 JP JP2020557649A patent/JPWO2020110915A1/ja active Pending
- 2019-11-21 WO PCT/JP2019/045696 patent/WO2020110915A1/ja active Application Filing
- 2019-11-21 DE DE112019005949.1T patent/DE112019005949T5/de active Pending
- 2019-11-21 CN CN201980076738.7A patent/CN113168767B/zh active Active
- 2019-11-21 US US17/309,362 patent/US20220019813A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220019813A1 (en) | 2022-01-20 |
CN113168767B (zh) | 2023-08-15 |
CN113168767A (zh) | 2021-07-23 |
DE112019005949T5 (de) | 2021-08-19 |
WO2020110915A1 (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11314249B2 (en) | Teleoperation system and method for trajectory modification of autonomous vehicles | |
EP3371668B1 (en) | Teleoperation system and method for trajectory modification of autonomous vehicles | |
US10459440B2 (en) | System and method for remotely assisting autonomous vehicle operation | |
JP6962926B2 (ja) | 自律車両の軌道修正のための遠隔操作システムおよび方法 | |
JPWO2020110915A1 (ja) | 情報処理装置、および情報処理システム、並びに情報処理方法 | |
JP7456442B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
JPWO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
JPWO2019181284A1 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP2020095481A (ja) | 車両の制御装置及び自動運転システム | |
JPWO2019188391A1 (ja) | 制御装置、制御方法、並びにプログラム | |
US20220095086A1 (en) | Method and apparatus for indicating, obtaining, and sending automated driving information | |
WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2020241303A1 (ja) | 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法 | |
KR20210057886A (ko) | 차량 충돌 방지 장치 및 그 방법 | |
CN111532276A (zh) | 对自动化车辆的周围环境模型的再利用 | |
WO2021153176A1 (ja) | 自律移動装置、自律移動制御方法、並びにプログラム | |
WO2021070768A1 (ja) | 情報処理装置、および情報処理システム、並びに情報処理方法 | |
WO2020213275A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US20230289980A1 (en) | Learning model generation method, information processing device, and information processing system | |
KR102350197B1 (ko) | 주행경로 설정장치 및 주행경로 설정방법 | |
WO2020100540A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JPWO2020122057A1 (ja) | 画像処理装置、画像処理方法および画像処理システム | |
JP2022028989A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
WO2020261703A1 (ja) | 情報処理装置と情報処理方法およびプログラム | |
US20230206596A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240419 |