JPWO2020110915A1 - 情報処理装置、および情報処理システム、並びに情報処理方法 - Google Patents

情報処理装置、および情報処理システム、並びに情報処理方法 Download PDF

Info

Publication number
JPWO2020110915A1
JPWO2020110915A1 JP2020557649A JP2020557649A JPWO2020110915A1 JP WO2020110915 A1 JPWO2020110915 A1 JP WO2020110915A1 JP 2020557649 A JP2020557649 A JP 2020557649A JP 2020557649 A JP2020557649 A JP 2020557649A JP WO2020110915 A1 JPWO2020110915 A1 JP WO2020110915A1
Authority
JP
Japan
Prior art keywords
information
unknown object
unit
vehicle
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020557649A
Other languages
English (en)
Inventor
竜太 佐藤
佑介 日永田
山本 祐輝
啓太郎 山本
承夏 梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020110915A1 publication Critical patent/JPWO2020110915A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法を実現する。車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。

Description

本開示は、情報処理装置、および情報処理システム、並びに情報処理方法に関する。さらに詳細には、車両等の移動装置に搭載したカメラの撮影画像の解析情報や移動装置間の通信情報を利用したオブジェクト識別を実行することで、車両等の移動装置の安全走行を可能とする情報処理装置、および情報処理システム、並びに情報処理方法に関する。
車両の安全走行のために、車両に備えたカメラの撮影画像を解析して、走行路上のオブジェクト(物体)の検出や識別を行う技術の開発が盛んに行われている。
例えば、撮影画像内のオブジェクトを識別する技術としてセマンティック・セグメンテーションがある。セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状やその他の特徴情報に基づくオブジェクト識別用の辞書データ(学習済みデータ)と、画像内のオブジェクトとの一致度に基づいて、画像の構成画素(ピクセル)各々が、車、人等、どのオブジェクトカテゴリに属する画素であるかを識別する技術である。しかし、このオブジェクト識別処理の欠点として、辞書に登録されていない形状や特徴を持つ未登録物体の識別が困難または不可能になるという問題がある。
一方、車両間で通信を行い、他の車両から受信した情報に基づいて自車両の走行制御を行う技術についても様々な提案がなされている。
例えば特許文献1(特開2013−25423号公報)は、隊列を組んで走行する複数車両間で相互に位置情報を送受信して所定間隔を維持して走行する構成を開示している。
しかし、この技術は限定された隊列を構成する車両間での通信情報を適用して、車両間の間隔を維持するための構成を開示しているに過ぎず、車両前方に存在する不明オブジェクトの識別を行う構成を開示するるものではない。
特開2013−25423号公報
本開示は、車両等の移動装置に搭載したカメラの撮影画像の解析とともに移動装置間の通信情報を利用したオブジェクト識別を実行することで、より確実なオブジェクト識別を行い、移動装置の安全走行を可能とする情報処理装置、および情報処理システム、並びに情報処理方法を提供することを目的とする。
本開示の第1の側面は、
移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置にある。
さらに、本開示の第2の側面は、
移動装置の現在位置を取得する自己位置取得部と、
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置にある。
さらに、本開示の第3の側面は、
地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
前記ダイナミックマップを参照する移動装置を有し、
前記管理サーバは、
前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システムにある。
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法にある。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
具体的には、例えば、車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。
本構成により、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の構成と処理の概要について説明する図である。 本開示の第1実施例の構成と処理の一例について説明する図である。 セマンティック・セグメンテーションについて説明する図である。 セマンティック・セグメンテーションと物体識別信頼度スコアについて説明する図である。 不明物体領域値湧出部の構成と処理について説明する図である。 不明物体特定部の構成と処理について説明する図である。 車両間の通信データの例について説明する図である。 不明物体情報受信時の送信データの変更例について説明する図である。 車両Aに搭載される情報処理装置Aの構成例について説明する図である。 車両Bに搭載される情報処理装置Bの構成例について説明する図である。 車両Aに搭載される情報処理装置Aが実行する処理のシーケンスについて説明するフローチャートを示す図である。 車両Bに搭載される情報処理装置Bが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第2実施例の構成と処理について説明する図である。 本開示の第2実施例の情報処理装置Bの構成例について説明する図である。 本開示の第2実施例の情報処理装置Bの車両制御部の処理について説明する図である。 本開示の第2実施例の情報処理装置Bが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第3実施例の構成と処理について説明する図である。 本開示の第3実施例の情報処理装置Aが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第3実施例の情報処理装置Bが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第4実施例の構成と処理について説明する図である。 本開示の第4実施例の車両Aの不明物体情報送信要否判定部が実行する処理について説明する図である。 本開示の第4実施例の情報処理装置Aが実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の第5実施例の構成と処理について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、および情報処理システム、並びに情報処理方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の構成の概要について
2.車両に搭載される情報処理装置の構成と処理の一例(実施例1)について
3.車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて
4.不明物体情報の送信に基づいて車両制御を実行させる実施例(実施例2)について
5.不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例(実施例3)について
6.不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例(実施例4)について
7.複数の車両の取得情報を利用した処理を行う実施例(実施例5)につい
8.情報処理装置の構成例について
9.本開示の構成のまとめ
[1.本開示の構成の概要について]
まず、図1を参照して本開示の構成の概要について説明する。
本開示は、例えば車両等の移動装置にカメラを搭載し、カメラの撮影画像の解析により走行路上の物体(オブジェクト)識別を行う。さらに、この画像に基づく物体識別に併せて他の車両、あるいはその他の路側通信ユニット(RSU:Roadside Unit)や、サーバとの通信を行い、これらの通信情報に基づいて物体識別を行う。これらの処理により、確実な物体(オブジェクト)識別を実現し、車両等の移動装置の安全走行を可能とするものである。
なお、以下の説明では、本開示の処理を実行する情報処理装置を搭載した移動装置を車両(自動車)として説明するが、これは一例であり、本開示の処理は、車両以外の様々な移動装置、例えば走行型ロボット、ドローン等の移動装置にも利用可能である。
図1を参照して、本開示の構成例と処理の概要について説明する。
図1には道路を走行する複数の車両10を示している。車両10は、運転者による運転操作により走行する従来型の車両の他、運転者による運転操作が不要な自動運転車両も含まれる。
図1には車両10、管理サーバ20、路側通信ユニット(RSU:Roadside Unit)30を示している。これらは、ネットワーク50を介して相互に通信可能な構成を有する。
車両間の通信は、V2V通信(車車間通信)と呼ばれる。また車両と路側通信ユニット(RSU)等のインフラ設備との通信は、V2I通信(車対インフラ通信)と呼ばれる。また、これらを総称してV2X通信と呼ぶ。V2X通信には、車両と車両、車両とインフラ設備、車両とサーバとの通信等が含まれる。
図1に示す車両10は、上記のV2X通信を行う車両である。
各車両10は、自己位置情報、車種や車両サイズ、識別子(ID)等の車両情報を、随時、あるいは間欠的に他の車両に送信(マルチキャスト送信)する。
なお、自己位置情報は、GPSを利用して取得する位置情報、あるいは管理サーバ20の提供するダイナミックマップ(DM)を用いて取得することができる。
ダイナミックマップ(DM)とは、静的な地図情報の他、逐次変化する交通情報、例えば渋滞情報や事故情報等を地図上に反映させたマップである。管理サーバ20は、車両や路側通信ユニット(RSU)等のインフラ設備から受信する情報等を用いて、最新の道路状況を繁栄させたダイナミックマップを生成、更新し、記憶部に保持する。
管理サーバ20が生成、更新したダイナミックマップ(DM)は車両10に提供され、車両10は、このマップに基づいて自己位置や、走行経路等の決定等を行うことが可能となる。自動運転車両は、ダイナミックマップ(DM)を参照することで、最適ルートを選択して走行を行うことができる。
なお、車両10は、カメラを搭載し、走行経路上の対向車等の物体(オブジェクト)を識別して、物体への衝突を回避させるための制御を行う構成を持つ。
具体的には、例えば車両10が自動運転車両の場合は、識別された物体へ衝突しないように進行方向の制御や、停止、減速等の制御を行う。また、運転者が運転する車両の場合は、運転者が確認可能なモニタ上に走行路上の物体を表示して、運転者に警告する。例えば物体表示領域の点滅や警報音の出力等を行い、運転者に注意を促す処理を行う。
[2.車両に搭載される情報処理装置の構成と処理の一例(実施例1)について]
次に、図2以下を参照して車両に搭載される情報処理装置の構成と処理の一例(実施例1)について説明する。
図2には、車両に搭載される情報処理装置の構成例を示している。なお、以下では、図2に示す左側の車両A,10aが走行中、図2に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
図2に示すブロック図は、上記処理を行うために利用される構成である。これらの構成は、各車両に搭載された情報処理装置の一部の構成に相当する。
まず、車両A,10aに搭載された情報処理装置の構成について説明する。
車両A,10aはカメラ101を有しており、例えば進行方向の画像を撮影する。撮影画像は、画像解析部102に入力される。
画像解析部102は、カメラ101の撮影画像の解析を実行して、画像内の物体(オブジェクト)の識別処理を行う。すなわち、撮影画像の各画像領域に撮影されている物体が何であるかの物体識別(オブジェクト識別)を実行する。
画像解析部102の実行する物体識別(オブジェクト識別)処理は、既存の手法、例えば、パターンマッチングや、セマンティック・セグメンテーション等の手法を適用して実行される。
パターンマッチングは、例えば人や車等の形状や特徴情報を含むパターンデータを記憶部に格納し、この記憶部に格納されたパターンデータと撮影画像上の画像領域の被写体を比較して各被写体を識別する処理である。
セマンティック・セグメンテーションは、様々な実際のオブジェクトの形状、その他の特徴情報に基づくオブジェクト識別用の辞書データ(学習済みデータ)を記憶部に格納し、この辞書データと撮影画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う技術である。ただし、セマンティック・セグメンテーションでは撮影画像の画素(ピクセル)単位で物体識別を行うためにより緻密な学習データを利用する。
図3以下を参照して、セマンティック・セグメンテーションの概要について説明する。図3には、車両10aに備えられたカメラ101によって撮影された画像に対するセマンティック・セグメンテーションの結果の一例を示している。なお、図に示す画像は、白黒画像として示しているが、実際はカラー画像である。
画像解析部102は、様々な実際のオブジェクトの形状、その他の特徴情報に基づくオブジェクト識別用の辞書データ(学習済みデータ)を参照して撮影画像の画素単位のオブジェクト識別を行う。
画像解析部102は、辞書データと、画像内のオブジェクトとの一致度に基づいて、画像内のオブジェクトが何であるかのオブジェクト識別を行う。この結果として、図3に示すオブジェクトの種類に応じて色分けされた画像が生成される。
図3に示す画像は、以下のようなオブジェクト種類に応じた色分けがなされている。
建物(ビル、家)=赤
車=紫
植物(木、草)=緑
道路=ピンク
歩道=青
これらは、辞書データに基づいて識別されたオブジェクトの種類に応じて色分けした結果である。
例えば自動運転車両は、このようなオブジェクト識別結果を利用して進行方向にある衝突可能性のあるオブジェクトを回避する運転制御を行うことで安全走行を可能としている。
画像解析部102は、上述したように、セマンティック・セグメンテーションや、パターンマッチング等の既存技術を使用した物体識別処理を行う。
さらに、画像解析部102は、物体識別結果に併せて物体識別結果の信頼度を示す信頼度スコアを併せて生成する。
信頼度スコアは、撮影画像から識別された識別物体単位でその物体識別の信頼度を示すスコアである。
セマンティック・セグメンテーション処理結果である物体識別結果の各々に識別信頼度を対応付けたデータ例を図4に示す。
図4に示す例は、最低信頼度を0、最高信頼度を100とした信頼度=0〜100の信頼度スコアを設定した例である。
図に示す例では、各識別物体に対応して、以下の信頼度スコアが設定されている。
(1)識別結果=建物(ビル、家)、信頼度スコア=35、
(2)識別結果=車、信頼度スコア=80、
(3)識別結果=植物(木、草)、信頼度スコア=60、
(4)識別結果=植物(木、草)、信頼度スコア=65、
(5)識別結果=道路、信頼度スコア=85、
(6)識別結果=歩道、信頼度スコア=52、
(7)識別結果=車、信頼度スコア=10→不明物体(不明オブジェクト)
信頼度スコアが高いものは、その識別結果が正しいと判断できるが、識別結果が低いものは、識別結果を信用できない場合がある。
例えば、
(7)識別結果=車、信頼度スコア=10
この識別結果の信頼度スコアは10であり、このように極めて低い信頼度の物体については、不明物体と判定される。
なお、具体的には信頼度のしきい値、例えばしきい値=20を設定し、このしきい値以下あるいはしきい値未満の信頼度スコアが設定された物体は、「不明物体」と判定する。
なお、図4は、セマンティック・セグメンテーションの適用例であるが、画像解析部102は、セマンティック・セグメンテーションに限らず、その他の手法、例えばパターンマッチング等の様々な手法を用いてカメラ撮影画像からの物体識別を行う構成としてもよい。ただし、その他の手法を適用した場合も物体識別結果と、各識別結果に対応する信頼度スコアを併せて生成する。
図2に示すように、画像解析部102の生成した物体識別結果と、物体識別信頼度スコアは、不明物体領域抽出部103に入力される。
不明物体領域抽出部103は、画像解析部102から入力する「物体識別結果」と、「物体識別信頼度スコア」を利用して、カメラ101の撮影画像から、不明物体領域を抽出する。
図5を参照して不明物体領域抽出部103の詳細構成と詳細処理について説明する。
図5に示すように、不明物体領域抽出部103は、画像解析部102から「物体識別結果」と、「物体識別信頼度スコア」を入力する。
物体識別信頼度スコアは、不明物体領域抽出部103の信頼度スコアしきい値処理部121に入力される。
信頼度スコアしきい値処理部121は、「物体識別信頼度スコア」が予め規定したしきい値、例えば「しきい値=20」と各識別物体に対応して設定された信頼度スコアを比較し、しきい値以下の信頼度の設定された「低信頼度領域情報」を生成して不明物体領域情報生成部122に出力する。
不明物体領域情報生成部122は、画像解析部102から「物体識別結果」を入力するとともに、信頼度スコアしきい値処理部121から、しきい値以下の信頼度の設定された画像領域を示す「低信頼度領域情報」を入力する。
不明物体領域情報生成部122は、画像解析部102から入力した「物体識別結果」中、しきい値以下の信頼度の設定された低信頼度領域に該当する物体を不明物体と判定し、この不明物体が占有する画像領域を示す「不明物体領域情報」を生成して不明物体特定部104に出力する。
不明物体特定部104は、不明物体領域情報生成部122が生成した「不明物体領域情報」を入力して、この「不明物体領域情報」が示す領域、すなわち、物体識別信頼度スコアがしきい値以下の画像領域にある不明物体の位置等、不明物体を特定する処理を実行する。
不明物体特定部104の詳細構成と処理について、図6を参照して説明する。
図6に示すように、不明物体特定部104には、不明物体領域情報生成部122が生成した「不明物体領域情報」が入力される。「不明物体領域情報」は、不明物体特定部104の第1座標変換部131に入力される。
不明物体特定部104は、さらに、通信部105を介して、現在の自車両の周囲の物体、例えば他の車両等を含む様々な物体の位置情報を含む「周辺物体情報」を取得し、この「周辺物体情報」を第2座標変換部135に入力する。
通信部105は、現在の自車両の周囲の車両とのV2V通信(車車間通信)を実行しており、周囲車両から各車両の位置情報を含む車両情報(車両位置、車両ID、車種、車サイズ、V2V通信用アドレス等)を受信する。さらに、図1を参照して説明した管理サーバ20や路側通信ユニット(RSU)30との通信も実行し、これらからダイナミックマップ(DM)を含む周囲の状況を確認可能な情報、具体的には様々な物体の位置情報(3次元位置情報)を取得する。
図6に示すように、不明物体特定部104は、不明物体領域情報生成部122が生成した「不明物体領域情報」を第1座標変換部131に入力し、通信部105を介して取得した「周辺物体情報」を第2座標変換部135に入力する。
不明物体領域情報生成部122が生成した「不明物体領域情報」と、通信部105を介して取得した「周辺物体情報」に含まれる周辺物体位置情報は、それぞれ独自の座標に対応した位置情報であり、直接、これらの2つの位置情報の照合を行うことができない。
第1座標変換部131と、第2座標変換部132は、これら各々の位置情報を共通の1つの座標を持つ座標位置情報に変換する。
その後、共通の座標位置情報に変換された「不明物体領域情報」と「周辺物体情報」に含まれる周辺物体位置情報はマッチング処理部133に入力される。
マッチング処理部は、「不明物体領域情報」と「周辺物体位置情報」との一致領域を検出する。
例えば、画像解析において不明物体と判定された特定の車両位置を検出する。
マッチング処理部133は、これらの処理によって不明物体と判定された特定の車両位置を検出し、さらに、この検出位置情報に対応する車両に関する情報を、通信部を介して入力済みの「周辺物体情報」を参照して取得する。
マッチング処理部133は、通信部を介して入力済みの「周辺物体情報」に基づいて、画像解析で不明物体と判定された車両を特定する。
不明物体特定部104は、さらに、マッチング処理部133が特定した車両に対してV2V通信(車車間通信)を利用して「不明物体情報」を、通信部105を介して送信する。
なお、不明物体特定部104が通信部105を介して入力する「周辺物体情報」には、前述したように、各車両に対する通信(ユニキャスト通信)に利用可能な各車両のアドレス情報が含まれている。すなわち、車両とのV2V通信(車車間通信)により、周囲車両から各車両の位置情報を含む車両情報(車両位置、車両ID、車種、車サイズ、V2V通信用アドレス等)を受信している。このアドレス情報を利用して、特定された物体である他の車両に対して、「不明物体情報」を送信することができる。
このように図2に示す車両A,10aは、車両A,10aにおける画像解析において不明物体と判定された図2に示す車両B,10bに対して、通信部105を介して「不明物体情報」を送信する。
次に、図2を参照して、図2に示す車両B,10bに搭載された情報処理装置の構成と処理について説明する。
車両B,10bの通信部202は、車両A,10aから「不明物体情報」を受信する。
この受信処理によって、車両B,10bは、自車両が周囲車両から不明物体と認識されたとことを確認することができる。
車両B,10bの通信部202が車両A,10aから受信した「不明物体情報」は、通信制御部203に入力される。
通信制御部203は、通信部202の通信制御を行い、通信部202を介して送信(マルチキャスト送信)中の車両情報の送信態様を変更する処理を行う。
なお、通信部202を介して送信(マルチキャスト送信)中の車両情報とは、車両B,10bのGPS等の自己位置取得部201が取得した車両の自己位置情報を含む車両情報(車両位置、車両ID、車種、車サイズ、V2V通信用アドレス等)である。これらの車両情報は、常時、または間欠的に通信部202を介してマルチキャスト送信されている。
通信制御部203は、通信部202の通信制御を行い、これら通信部202を介して送信中の車両情報の送信態様を変更する。具体的には、通信帯域や通信頻度、通信出力の上昇、さらに送信データの優先度に応じた選択処理等の通信制御を実行する。
この通信制御により、車両B,10bの周囲車両は、車両B,10bからマルチキャスト送信される優先度の高い重要な車両情報、例えば車両位置情報や車種等を確実に受信することが可能となり、車両B,10bの実態を正しく把握することが可能となる。
結果として車両A,10aも画像解析で不明と判定された物体、すなわち車両B,10bの位置や車種等を正確に把握することが可能となる。
車両A,10aが車両B,10bに対して送信(ユニキャスト送信)する「不明物体情報」の通信データの内容と、車両B,10bがマルチキャスト送信する車両情報の具体例について、図7を参照して説明する。
図7には、
(A)車両Aから車両Bへの送信データ(ユニキャスト通信による送信データ内容)
(B)車両Bの通常通信モードの車両情報送信データ(マルチキャスト通信による送信データ内容)
これらの各通信データを示している。
まず、(B)車両Bの通常通信モードの車両情報送信データ(マルチキャスト通信による送信データ内容)について説明する。
このデータは、各車両が、常時、または間欠的にマルチキャスト送信するデータであり、周囲の車両が受信可能なデータである。
このマルチキャスト送信データは、例えば以下のデータによって構成される。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
なお、これらの送信データは一例であり、これらの全てを含むことは必須ではない。
例えば制御情報に含まれる目標位置、目標速度、計画経路等、自車の制御、計画に関する情報等は、主として自動運転車両において走行開始時に設定される情報であり、自動運転車両以外の車両等の場合、これらの情報は送信されない場合がある。
また、センサ情報についても、各車両によって装着センサが異なるため、各車両によって送信データは異なる。
これらのマルチキャスト送信データは周囲車両が受信可能であり、周囲車両は、これらのマルチキャスト送信データを解析することで、車両Bの実態を正確に把握することが可能となる。
また、IPアドレス等を取得することで車両Bに対する直接通信(ユニキャスト通信)を行うことが可能となる。
次に、(A)車両Aから車両Bへの送信データ(ユニキャスト通信による送信データ内容)について説明する。
このデータ(A)は、車両Aが画像解析で不明物体と判定した領域が車両Bであることを検出し、この車両Bに「不明物体」と認識されたことを通知するために送信するデータである。
このデータ(A)は例えば以下のデータによって構成される。
送信先ID(ユニキャスト通信のデータ送信先のID)=通信相手の車両識別子(車両ID)、IPアドレス、MACアドレス
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス
不明物体情報=不明物体と判定されたことを示す通知情報
なお、不明物体情報には、画像解析において解析された情報を含めてもよい。例えば不明物体領域のサイズ情報等を含めてもよい。
このデータ(A)を受信した車両Bは、周囲車両である車両Aが自車を不明物体として判定したことを知ることができる。
車両B,10bの通信部202が車両A,10aから受信した「不明物体情報」は、通信制御部203に入力され、通信制御部203が、通信部202の通信制御を行い、通信部202を介してマルチキャスト送信中の車両情報の送信態様を変更する処理を行う。
図8を参照して、車両B,10bの通信制御部203が実行する送信データの送信態様の変更処理例について説明するる
図8は、車両B,10bが、周囲車両から「不明物体情報」を受信した際に通信制御部203が実行する送信データの送信態様変更例を示す図である。
図8には、図7(B)と同様の車両情報のマルチキャスト送信データの(B1)項目と、(B2)内容、さらに、(B3)として、「不明物体情報」受信時の変更例を示している。
なお、図8の表には、さらに最下段に通信態様の変更例も示している。
先に図7(B)を参照して説明したように、マルチキャスト送信データは、例えば以下のデータによって構成される。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
車両B,10bが、車両A,10a等の周囲車両から「不明物体情報」を受信すると、通信制御部203は、通信部202を介して通常通信モードで送信中のマルチキャスト送信データについて、緊急通信モードでの送信に切り替える処理を行う。
例えば、図8に示す送信データ(1)〜(5)単位で、以下のような送信データ変更処理を行う。
(1)送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス
周囲車両から「不明物体情報」を受信した場合、通信制御部203は、状況に応じて、車両識別子(車両ID)、IPアドレス、MACアドレスの選択的送信を行う。ただし、車両識別子(車両ID)は必ず送信する。
具体的には、例えば、車両識別子(車両ID)、IPアドレスの2つのデータを送信する処理を行う。このような限定的な送信処理を行うことで、通信データを削減し、送信先に確実にデータを送信できる確率を高めることができる。
なお、各データには、送信優先度が予め設定されており、通信制御部203は送信優先度の高い順に送信データを選択して送信する。
また、通信制御部203は、データ送信時の利用可能な通信帯域情報等を取得し、利用可能な帯域が十分であれば車両識別子(車両ID)、IPアドレス、MACアドレスの全てを送信し、十分でない場合は、これらの中から選択した情報のみの送信を行うといった処理を実行する。
(2)自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報、
この自己位置、速度、姿勢についても上記(1)と同様、通信制御部203は、利用可能な通信帯域等の状況と各データに対応付けて設定された送信優先度に応じた選択的送信処理を行う。具体的には、例えば、利用可能な通信帯域が少ない場合は、自己位置のみを送信する処理を行う。このような限定的な送信処理を行うことで、送信先に確実に自己位置情報を通知できる確率を高めることができる。
(3)車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報、
(4)制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報、
(5)センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報、
これらの各情報についても上記(1)、(2)と同様、通信制御部203は、利用可能な通信帯域等の状況と各データに対応付けて設定された送信優先度に応じた選択的送信処理を行う。具体的には、例えば、利用可能な通信帯域が少ない場合は、車種と大きさのみを送信するといった処理を行う。このような限定的な送信処理を行うことで、送信先に確実に車種と大きさを通知できる確率を高めることができる。
(6)通信態様の変更処理は以下のような変更処理となる。
通常通信モードでは、予め規定された出力、頻度、帯域を利用したマルチキャスト送信を実行する。
周囲車両から「不明物体情報」を受信すると、通信制御部203は、通常通信モードを緊急通信モードに変更し、上述した送信データの優先度に応じた選択送信を行うとともに、通信態様も変更する。具体的には、例えば出力、頻度、帯域の少なくともいずれかをアップさせる制御を行ってマルチキャスト送信を実行する。
例えば通信頻度制御、QoSにおける優先度制御、タイムスロット割り当て処理の制御等により、送信データの受信確率を高める通信制御を実行する。
このような処理を行うことで、自車に関する優先度の高い重要な車両情報を周囲の車両に確実に通知することが可能となる。
[3.車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて]
次に、図9以下を参照して、本実施例1において車両に搭載される情報処理装置の構成例と、情報処理装置の実行する処理のシーケンスについて説明する。
図9は、車両A,10aに搭載された情報処理装置A,100の構成例を示すブロック図である。
この構成図は、先に図2を参照して説明した車両A,10aの情報処理装置の構成と同様の構成である。
情報処理装置A,100は、カメラ(撮像部)101、画像解析部102、不明物体領域抽出部103、不明物体特定部104、通信部105を有する。
通信部105は、例えばユニキャスト送信等を実行する送信部105aと、例えばマルチキャスト通信データの受信処理を行う受信部105bを有する。
カメラ(撮像部)101は、車両の例えば進行方向の画像を撮影する。
画像解析部102は、カメラ(撮像部)101の撮影画像を入力し、撮影画像に含まれる物体の識別処理を実行する。例えば前述したようにパターンマッチングやセマンティック・セグメンテーション等の既存技術を利用した物体識別を実行する。
画像解析部102は、物体識別処理の結果である「物体識別結果」と、物体識別の信頼度を示す「物体信頼度スコア」のペアデータを、識別結果単位で生成して不明物体領域抽出部103に出力する。
不明物体領域抽出部103は、画像解析部102から入力した「物体識別結果」と、「物体信頼度スコア」を入力し、「物体信頼度スコア」が予め規定したしきい値以下の領域を抽出し、この抽出領域を「不明物体領域情報」として、不明物体特定部104に出力する。
不明物体特定部104は、不明物体領域抽出部103から「不明物体領域情報」を入力し、さらに、通信部105の受信部105bを介して「周辺物体情報」を入力する。受信部105bを介して入力する「周辺物体情報」にはV2V(車車間通信)による他車からの受信データの他、図1に示す路側通信ユニット(RSU)30や管理サーバ20からの受信データも含まれる。
不明物体特定部104は、これらの各データを利用して、先に図6を参照して説明した処理を実行して、「不明物体領域情報」の示す座標位置を特定し、特定された座標位置に存在する物体、例えば他車を特定する。この特定情報を「不明物体情報」として生成し、「不明物体情報」を、通信部105の送信部105aを介して送信する処理を行う。
なお、通信部105の受信部105bを介して入力する「周辺物体情報」には、各車両に対する通信(ユニキャスト通信)に利用可能な各車両のアドレス情報が含まれており、このアドレス情報を利用して、特定された物体である特定車両に対して、「不明物体情報」を送信する。
次に、図10を参照して、車両B,10bに搭載された情報処理装置B,200の構成と処理について説明する。
図10に示す構成図は、先に図2を参照して説明した車両B,10bの情報処理装置の構成と同様の構成である。
情報処理装置B,200は、自己位置取得部201、通信部202、通信制御部203を有する。通信部202は、例えばマルチキャスト送信等を実行する送信部202aと、例えばユニキャスト通信データの受信処理を行う受信部202bを有する。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。取得した自己位置情報は、通信部202の送信部202aを介してその他の車両情報とともにマルチキャスト送信される。
マルチキャスト送信される車両情報は、例えば先に図7(B)を参照して説明したデータである。
通信部202の受信部202bは、例えば、他の周囲車両がユニキャスト送信した「不明物体情報」を受信する。
通信部202の受信部202bが受信した「不明物体情報」は、通信制御部203に入力される。
通信制御部203は、「不明物体情報」の入力を検出すると、通信部202を制御して、マルチキャスト送信データである車両情報の送信データ内容の変更や送信態様の変更等を行う。
この処理は、先に図8を参照して説明した処理である。
すなわち、車両B,10bの送信するマルチキャスト送信データが、周囲車両に確実に受信できるような通信制御を行う。
具体的には、例えば送信データの制限処理、すなわち優先度に応じて選択されたデータのみの送信処理や、送信出力、帯域、送信頻度を上げる通信態様変更処理等を実行する。
次に、図11、図12に示すフローチャートを参照して、図9、図10を参照して説明した情報処理装置の実行する処理シーケンスについて説明する。
図11に示すフローチャートは、図9に示す情報処理装置A,100、すなわち、車両A,10aに搭載された情報処理装置A,100の実行する処理のシーケンスを説明するフローチャートである。
また、図12に示すフローチャートは、図10に示す情報処理装置B,200、すなわち、車両B,10bに搭載された情報処理装置B,200の実行する処理のシーケンスを説明するフローチャートである。
図11、図12に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
まず、図11にに示すフローチャートを参照して、図9に示す情報処理装置A,100、すなわち、車両A,10aに搭載された情報処理装置A,100の実行する処理シーケンスについて説明する。
以下、フローチャートの各ステップの処理について説明する。
(ステップS101)
まず、情報処理装置A,100は、撮影画像を取得する。
この処理は、図9に示す情報処理装置A,100のカメラ(撮像部)101が実行する処理である。カメラ(撮像部)101は、車両の例えば進行方向の画像を撮影する。
カメラ(撮像部)101による撮影画像は、画像解析部102に入力される。
(ステップS102)
次に、ステップS102において、カメラ(撮像部)101による撮影画像の画像解析処理を実行する。
この処理は画像解析部102が実行する処理である。
画像解析部102は、カメラ(撮像部)101の撮影画像を入力し、撮影画像に含まれる物体の識別処理を実行する。例えば前述したようにパターンマッチングやセマンティック・セグメンテーション等の既存技術を利用した物体識別を実行する。
画像解析部102は、物体識別処理の結果である「物体識別結果」と、物体識別の信頼度を示す「物体信頼度スコア」のペアデータを、識別結果単位で生成して不明物体領域抽出部103に出力する。
(ステップS103)
次に、ステップS103において、カメラ(撮像部)101の撮影画像から不明物体領域を抽出する。
この処理は、不明物体領域抽出部103が実行する。
不明物体領域抽出部103は、画像解析部102から入力した「物体識別結果」と、「物体信頼度スコア」を入力し、「物体信頼度スコア」が予め規定したしきい値以下の領域を抽出し、この抽出領域を「不明物体領域情報」として、不明物体特定部104に出力する。
(ステップS104)
次に、ステップS104において、周囲物体情報の取得処理を実行する
この処理は、不明物体特定部104が実行する。
不明物体特定部104は、不明物体領域抽出部103から「不明物体領域情報」を入力し、さらに、通信部105の受信部105bを介して「周辺物体情報」を入力する。なお「周辺物体情報」にはV2V(車車間通信)による他車からの受信データの他、図1に示す路側通信ユニット(RSU)30や管理サーバ20からの受信データが含まれる。
(ステップS105〜S109)
次に、不明物体特定部104は、ステップS103において抽出された全ての不明物体領域について、ステップS105〜S109の処理を順次、または並列に実行する。
まず、ステップS106において、ステップS103で抽出した不明物体領域とステップS104で取得した周辺物体の位置情報のマッチング処理を行う。
すなわち不明物体領域と一致する周辺物体、例えば車両を検出する。
ステップS107では、マッチングが成功したか否か、すなわち不明物体領域と一致する周辺物体が検出できたか否かを判定する。
マッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合は、ステップS108に進む。
一方、マッチングが失敗、すなわち不明物体領域と一致する周辺物体が検出できなかった場合は、ステップS109に進み、この不明物体領域に対する処理は終了する。
マッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合は、ステップS108に進み、ステップS108において、不明物体領域と一致する周辺物体を特定し、その特定物体、例えば特定車両に対して、「不明物体情報」を送信する。
特定車両に対する「不明物体情報」の送信は、その特定車両から受信したマルチキャスト送信データに含まれるアドレス情報を利用して、その特定車両に対するユニキャスト送信として実行する。
このユニキャスト送信による送信データには、先に図7(A)を参照して説明した通り、送信先ID、送信元ID(自己ID)と、不明物体情報、すなわち、不明物体と判定されたことを示す通知情報が含まれる。
車両Aの情報処理装置A,100は、このステップS105〜S109の処理を、ステップS103において抽出された全ての不明物体領域について、順次、または並列に実行する。
次に、図12に示すフローチャートを参照して、図10に示す情報処理装置B,200、すなわち、車両B,10bに搭載された情報処理装置B,200の実行する処理シーケンスについて説明する。
(ステップS201)
まず、情報処理装置B,200は、ステップS201において自己位置情報を取得する。
この処理は、図10に示す自己位置取得部20が実行する処理である。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
(ステップS202)
次に、ステップS202において、「不明物体情報」を受信したか否かを判定する。
例えば、図11に示すフローチャートを参照して説明したステップS108において送信される「不明物体情報」である。
ステップS202において、「不明物体情報」を受信していないと判定した場合は、ステップS203に進む。
一方、ステップS202において、「不明物体情報」を受信したと判定した場合は、ステップS204に進む。
(ステップS203)
ステップS202において、「不明物体情報」を受信していないと判定した場合は、ステップS203に進み、ステップS203において、ステップS201で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
このマルチキャスト送信データは、先に図7(B)を参照して説明したデータであり、例えば以下のデータによって構成される。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
(ステップS204)
一方、ステップS202において、「不明物体情報」を受信したと判定した場合は、ステップS204に進む。
ステップS204では、マルチキャスト送信データの送信態様を緊急通信モードに変更する。具体的には、送信データの優先度に応じた選択処理や通信頻度、出力、帯域の変更等の通信制御を行う。
この処理は、先に図8を参照して説明した送信データの送信態様変更処理であり、図10に示す通信制御部203において実行される。
なお、通常通信モードでは、予め規定された出力、頻度、帯域を利用したマルチキャスト送信によって予め規定されたデータ、例えば図7(B)に示すデータの送信を実行する。
緊急通信モードでは、図8を参照して説明したように、各送信データに予め設定された送信優先度情報に従って選択される重要データの選択的送信や、出力、頻度、帯域の変更、QoSにおける優先度制御、タイムスロット割り当て処理等の通信制御を行う。これらの通信制御により、重要な車両情報を周囲車両が受信できる確率を高めることが可能となる。
[4.不明物体情報の送信に基づいて車両制御を実行させる実施例(実施例2)について]
次に実施例2として、不明物体情報の送信に基づいて車両制御を実行させる実施例について説明する。
先に説明した実施例では、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「不明物体情報」を送信し、車両B,10bは、「不明物体情報」の受信に応じて、マルチキャスト送信中の車両情報の送信データの内容や送信態様を変更する処理を行う実施例であった。
以下に説明する実施例2は、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「不明物体情報」を送信する点は同じである。本実施例2において、車両B,10bは、「不明物体情報」の受信に応じて、車両B,10bの走行制御を実行する。
具体的には、例えば走行速度の低下、あるいは停止処理など、衝突回避のための走行制御等を実行する。
以下、この実施例2について説明する。
図13は、本実施例2の車両に搭載される情報処理装置の構成例を示す図である。先に説明した実施例と同様、図13に示す左側の車両A,10aが走行中、図13に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
本実施例2において、車両A,10aに搭載される情報処理装置は、先に図2を参照して説明した構成と同様の構成を有する。
本実施例2では、車両B,10bに搭載される情報処理装置の構成が異なる。
図13に示すように、車両B,10bは車両制御部211を有する。
車両B,10bに搭載される情報処理装置210の構成について、図14を参照して説明する。
図14に示すように、車両B,10bに搭載される情報処理装置210は、、自己位置取得部201、通信部202、車両制御部211を有する。通信部202は、例えばマルチキャスト送信等を実行する送信部202aと、例えばユニキャスト通信データの受信処理を行う受信部202bを有する。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。取得した自己位置情報は、通信部202の送信部202aを介してその他の車両情報とともにマルチキャスト送信される。
マルチキャスト送信される車両情報は、例えば先に図7(B)を参照して説明したデータである。
通信部202の受信部202bは、例えば、他の周囲車両がユニキャスト送信した「不明物体情報」を受信する。
通信部202の受信部202bが受信した「不明物体情報」は、車両制御部211に入力される。
車両制御部211は、「不明物体情報」の受信に応じて、車両B,10bの走行制御、具体的には、減速や停止等の処理を行う。
車両制御部211の実行する処理の具体例について、図15を参照して説明する。
車両制御部211は、図15に示す制御例1、または制御例2の少なくともいずれかの処理を実行する。
制御例1は、各種制限の設定であり、例えば、速度制限、加速度制限、走行場所制限等の制限処理である。速度制限とは、一定の速度以下での走行に制限する処理であり、停止処理も含まれる。加速度制限は、現在の速度以上に加速することを制限する処理である。走行場所制限は、左車線のみ等、走行路を制限する処理である。
車両制御部211が、このような走行制御を行うことで、突然の加速や速度変更、あるいは走行ルート変更等による衝突の可能性を低減させることが可能となる。
制御例2は、安全マージンの変更であり、例えば、障害物とのマージン(離間距離)を大きくする処理である。自動運転車両や運転補助機構の装着された車両では、車両の衝突や接触を回避するため、障害物に規定距離まで近づくと停止させる処理や、アラート出力処理などを行う機構が装着されている。車両制御部211は、この規定距離、すなわちマージンを大きくする処理を実行する。
この処理により、障害物や他車両との衝突の可能性を低減できる。
図15には、さらに、最下段に管理サーバ20の処理を示している。
例えば車両B,10bが、車両A,10aからの送信データを受信できない場合、車両B,10bの車両制御部211による車両制御は実行されないことになる。
このような場合、管理サーバ20は、管理サーバが生成し更新するダイナミックロードマップに車両B,10bが不明物体、あるいは危険車両であることを示す情報を追記する。
この情報は、各車両が、随時、参照可能な情報であり、例えば自車両の近辺に車両B,10bが近づいた場合、ダイナミックロードマップに基づいて車両B,10bの位置やサイズ等を確認することが可能となる。
次に、図16に示すフローチャートを参照して、図14に示す情報処理装置B,210、すなわち、車両B,10bに搭載された情報処理装置B,210の実行する処理シーケンスについて説明する。
(ステップS221)
まず、情報処理装置B,200は、自己位置情報を取得する。
この処理は、図14に示す自己位置取得部20が実行する処理である。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
(ステップS222)
次に、ステップS222において、ステップS221で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
このマルチキャスト送信データは、先に図7(B)を参照して説明したデータであり、例えば以下のデータによって構成される。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
(ステップS223)
次に、ステップS223において、「不明物体情報」を受信したか否かを判定する。
例えば、図11に示すフローチャートを参照して説明したステップS108において送信される「不明物体情報」である。
ステップS223において、「不明物体情報」を受信していないと判定した場合は処理を終了する。
一方、ステップS223において、「不明物体情報」を受信したと判定した場合は、ステップS224に進む。
(ステップS224)
ステップS223において、「不明物体情報」を受信したと判定した場合は、ステップS224において、車両制御を実行する。
この処理は、図14に示す車両制御部211が実行する処理である。
車両制御部211は、先に図15を参照して説明した処理、例えば速度制限、加速度制限、走行場所制限、マージン拡大処理等、他車両との衝突等の自己発生可能性を低減させるために有効となる走行制御を実行する。
[5.不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例(実施例3)について]
次に実施例3として、不明車両に対して車両制御情報を送信して、相手車両のリモート制御を実行する実施例について説明する。
先に説明した実施例2では、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「不明物体情報」を送信し、車両B,10bが「不明物体情報」の受信に応じて、車両B,10b自信が走行制御を実行する実施例であった。
以下に説明する実施例3は、車両A,10aが画像解析において車両B,10bを不明物体と判断した場合、車両B,10bに「車両制御情報」を送信する。車両B,10bは、受信した「車両制御情報」に基づいて車両B,10bの走行制御を実行する。すなわち、車両A,10aが車両B,10bの走行を、直接的にリモート制御する。
以下、この実施例3について説明する。
図17は、本実施例3の車両に搭載される情報処理装置の構成例を示す図である。先に説明した実施例と同様、図17に示す左側の車両A,10aが走行中、図17に示す右側の車両B,10bに近づいているという状況において、車両A,10aと車両B,10bがV2V通信(車車間通信)を利用して通信を行う処理例について説明する。
本実施例3において、車両A,10aに搭載される情報処理装置は、先に図2を参照して説明した構成に、車両制御部121を追加した構成となる。車両B,10bに搭載される情報処理装置は、先に図113、図14を参照して説明した実施例2の構成と同様である。ただし、車両B,10bの車両制御部211は、車両A,10aから受信する車両制御情報(リモート制御情報)に従って車両制御を行う。
車両A,10aの車両制御部121の処理について説明する。
車両A,10aの車両制御部121は、不明物体特定部104が特定した不明物体、すなわち不明車両に対して送信する車両制御情報を生成して通信部105を介して車両B,10bに送信(ユニキャスト送信)する。
送信する車両制御情報は、先に図15を参照して説明した制御例1,2に示す制御を車両B,10bに実行させるための情報である。すなわち速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行させるための制御情報である。
これらの車両制御情報は、車両A,10aの通信部105を介して車両B,10bに送信される。
車両B,10bの通信部202は、車両A,10aから受信した車両制御情報を車両制御部211に入力する。
車両制御部211は、車両A,10aから受信した車両制御情報に従って車両B,10bの制御を行う。
具体的には、速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行する。
本実施例3の車両A,10a、および車両B,10bに搭載された情報処理装置の実行する処理シーケンスについて図18、図19に示すフローチャートを参照して説明する。
図18に示すフローチャートは、図17に示す車両A,10aに搭載された情報処理装置Aの実行する処理のシーケンスを説明するフローチャートである。
また、図19に示すフローチャートは、図17に示す車両B,10bに搭載された情報処理装置の実行する処理のシーケンスを説明するフローチャートである。
図18、図19に示すフローチャートに従った処理は、例えば、情報処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
まず、図18に示すフローチャートを参照して、図17に示す車両A,10aに搭載された情報処理装置Aの実行する処理シーケンスについて説明する。
以下、フローチャートの各ステップの処理について説明する。
なお、図18に示すフローチャートは、先に実施例1の処理シーケンスとして説明した図11に示すフローとほぼ同様のフローであり、相違点は、図11に示すフローのステップS108の処理を、図18に示すフローのステップS108bの処理に置き換えた点である。その他の処理は、図11に示すフローと同様の処理である。
以下、この相違点を中心として説明する。
(ステップS101〜S107)
ステップS101〜S107の処理は、先に実施例1の処理シーケンスとして説明した図11に示すフローのステップS101〜S107の処理と同様の処理であるので説明を省略する。
なお、ステップS105〜S109の処理は、ステップS103において抽出された全ての不明物体領域について順次、または並列に実行する処理である。
(ステップS108b)
次に、本実施例3に特有の処理であるステップS108bの処理について説明する。
ステップS108bは、ステップS106〜S107においてマッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合に実行する処理である。
ステップS108bにおいて、不明物体領域と一致する周辺物体を特定し、その特定物体、例えば特定車両に対して、「車両制御情報」を送信する。
このステップS108の処理は、図17に示す車両A,10aの不明物体特定部104と車両制御部121が実行する処理である。
不明物体特定部104は、不明物体領域と一致する周辺物体を特定し、特定された周辺物体である特定車両に対してデータ送信を行うためのアドレスを取得し、この取得アドレスを設定してその特定車両に「車両制御情報」を送信する。
なお、アドレスは特定車両から受信するマルチキャスト通信データから取得する。
車両制御部121は、不明物体特定部104が特定した不明物体、すなわち不明車両に対して送信する車両制御情報を生成して通信部105を介して車両B,10bに送信(ユニキャスト送信)する。
送信する車両制御情報は、先に図15を参照して説明した制御例1,2に示す制御を車両B,10bに実行させるためのリモート制御情報である。すなわち速度制限による減速や停止、る加速度制限、走行場所制限、あるいは障害物とのマージンの拡大処理などを実行させるための具体的な制御情報である。
これらの車両制御情報は、車両A,10aの通信部105を介して車両B,10bに送信される。
次に、図19に示すフローチャートを参照して、図17に示す車両B,10bに搭載された情報処理装置Bの実行する処理シーケンスについて説明する。
なお、図19に示すフローは、先に実施例2として説明した図16に示すフローを一部変更したフローである。変更点は、図16に示すフローのステップS223〜S224を、図19に示すフローのステップS223b〜S224bへの変更である。
以下、図19に示すフローの各ステップの処理について説明する。
(ステップS221)
まず、情報処理装置B,200は、自己位置情報を取得する。
この処理は、図17に示す車両B,10bの自己位置取得部20が実行する処理である。
自己位置取得部201は、GPSや管理サーバ20の提供するダイナミックマップ等を利用して自己位置を取得する。
(ステップS222)
次に、ステップS222において、ステップS221で取得した自己位置情報を、通常通信モードでマルチキャスト送信する。
このマルチキャスト送信データは、先に図7(B)を参照して説明したデータであり、例えば以下のデータによって構成される。
送信元ID(自己ID)=車両識別子(車両ID)、IPアドレス、MACアドレス等、通信用のアドレス情報である。
自己位置、速度、姿勢=自車の位置、速度、姿勢に関する情報である。
車種情報=車種、大きさ、車体テクスチャ等の自車のプロパティ情報である。
制御情報=目標位置、目標速度、計画経路等、自車の制御、計画に関する情報である。
センサ情報=カメラ、LIDAR(レーザ型の測距センサ)、ソーナー、IMU(慣性計測ユニット)等の各種センサの取得情報である。
(ステップS223b)
次に、ステップS223bにおいて、「車両制御情報」を受信したか否かを判定する。
例えば、図18に示すフローチャートを参照して説明したステップS108bにおいて送信される「車両制御情報」である。
ステップS223bにおいて、「車両制御情報」を受信していないと判定した場合は処理を終了する。
一方、ステップS223bにおいて、「車両制御情報」を受信したと判定した場合は、ステップS224bに進む。
(ステップS224b)
ステップS223bにおいて、「車両制御情報」を受信したと判定した場合は、ステップS224bにおいて、車両制御を実行する。
この処理は、図17に示す車両制御部211が実行する処理である。
車両制御部211は、車両A,10aから受信した車両制御情報(リモート制御情報)に従って車両制御を実行する。この車両制御情報は、車両A,10aの車両制御部121が生成した車両制御情報である。すなわち、車両B,10bは車両A,10aの車両制御部121が生成した車両制御情報に従って制御されることになる。
この車両制御は、先に図15を参照して説明した例えば速度制限、加速度制限、走行場所制限、マージン拡大処理等、他車両との衝突等の自己発生可能性を低減させるための制御である。
[6.不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例(実施例4)について]
次に実施例4として、不明車両に対する情報送信の要否を判定して送信要の場合のみ情報送信を実行する実施例について説明する。
上述した実施例1〜3では、不明物体であると判定した特定車両に対して、「不明物体情報」、または「車両制御情報」を送信する実施例について説明した。
以下に説明する実施例は、これら実施例1〜3の変形例であり、「不明物体情報」や「車両制御情報」を送信する必要があるか否かを判定し、送信要の判定がなされた場合にのみ、情報送信を実行する実施例である。
本実施例4は、上述した実施例1〜3に併せて実行することが可能である。
図20以下を参照して本実施例4について説明する。
なお、以下の説明では、「不明物体情報」の送信例について説明するが、本実施例は、「車両制御情報」を送信する場合にも適用可能である。
図20は、本実施例4の処理を実行する車両A,10aに搭載された情報処理装置Aの構成を示す図である。
図20に示す構成は、先に図2や図9を参照して説明した車両A,10aの情報処理装置Aの構成に、不明物体情報送信要否判定部141を追加した構成である。
その他の構成は、先に図2や図9を参照して説明した車両A,10aの情報処理装置Aの構成と同様の構成である。
不明物体情報送信要否判定部141は、不明物体特定部104から、不明物体情報を入力し、通信部105から通信帯域使用率情報を入力し、これらの入力情報に基づいて、不明物体に対して「不明物体情報」の送信を実行すべきか否かを判定する。
不明物体情報送信要否判定部141が実行する情報送信要否判定処理の具体例について、図21を参照して説明する。
図21には、不明物体情報送信要否判定部141が実行する情報送信要否判定処理の複数の具体例を示している。不明物体情報送信要否判定部141は、図21に示す判定例1〜5の少なくともいずれかの判定処理を実行する。
判定例1は、不明物体領域のサイズに基づいて情報(不明物体情報)送信の要否を判定する処理例である。
例えば、不明物体領域のサイズが通常の車両サイズに相当する場合は送信すると判定し、明らかに異なる場合は非送信とする。
判定例2は、不明物体領域の物体識別信頼度スコアに基づいて情報(不明物体情報)送信の要否を判定する処理例である。
例えば、不明物体領域の物体識別信頼度スコアが規定しきい値以下(不明度が高い)の場合に送信する。また規定しきい値より大きい場合(不明度が低い)場合は非送信とする。または信頼度スコアが低い順に順次、送信する設定としてもよい。
判定例3は、セグメンテーション結果と不明物体領域の物体識別信頼度スコアを用いた学習結果に基づいて情報(不明物体情報)送信の要否を判定する処理例である。
例えば、セグメンテーション結果と信頼度スコアを用いた学習を実行して不明物体領域を順次、解消する処理を行い、この処理後に不明物体領域が残存する場合は送信する。残存しない場合は非送信とする。具体的には、例えば不明物体領域を分割して各分割領域で物体識別を行うといった処理を実行する。
判定例4は、不明物体領域の位置や自車両との距離に基づいて情報(不明物体情報)送信の要否を判定する処理例である。
例えば、不明物体領域が路面に接しているか否か、歩道に接しているか否か、自車との距離が近いか遠いか等に基づいて送信要否を判定する。
判定例5は、現在、通信部が実行している通信処理の帯域使用率と不明物体領域の物体識別信頼度スコアに基づいて判定する処理例である。
例えば、帯域使用率×物体識別信頼度スコアの値に応じて送信要否を判定する。具体的には、
帯域使用率×物体識別信頼度スコアの値<しきい値(Th)
上記判定式を満たす場合に送信し、満たさない場合は非送信とする。
不明物体情報送信要否判定部141は、このように図21に示す判定例1〜5の少なくともいずれかの処理を実行して、情報(不明物体情報)送信の要否を判定する。
次に、図22に示すフローチャートを参照して、図20に示す本実施例4の車両A,10aに搭載された情報処理装置Aの実行する処理シーケンスについて説明する。
以下、フローチャートの各ステップの処理について説明する。
なお、図22に示すフローチャートは、先に実施例1の処理シーケンスとして説明した図11に示すフローとほぼ同様のフローであり、相違点は、図11に示すフローのステップS108の処理を、図22に示すフローのステップS301〜S303の処理に置き換えた点である。その他の処理は、図11に示すフローと同様の処理である。
以下、この相違点を中心として説明する。
(ステップS101〜S107)
ステップS101〜S107の処理は、先に実施例1の処理シーケンスとして説明した図11に示すフローのステップS101〜S107の処理と同様の処理であるので説明を省略する。
なお、ステップS105〜S109の処理は、ステップS103において抽出された全ての不明物体領域について順次、または並列に実行する処理である。
(ステップS301)
次に、本実施例4に特有の処理であるステップS301の処理について説明する。
ステップS301は、ステップS106〜S107においてマッチングが成功、すなわち不明物体領域と一致する周辺物体が検出できた場合に実行する処理である。
ステップS301において、マッチングした特定の物体、すなわち不明物体領域と一致する周辺物体である特定車両に対して、「不明物体情報」を送信するか否かを判定する送信要否判定処理を実行する。
このステップS301の処理は、図20に示す車両A,10aの不明物体情報送信要否判定部141が実行する処理である。
不明物体情報送信要否判定部141は、先に図21を参照して説明した判定例1〜5の少なくともいずれかの判定処理を実行して、特定車両に対して「不明物体情報」を送信するか否かを判定する。
(ステップS302〜S303)
ステップS301の判定処理において、不明物体情報送信要否判定部141が、特定車両に対して「不明物体情報」を送信要と判定した場合(ステップS302=Yes)は、ステップS303に進み、ステップS303において、特定車両に対して「不明物体情報」を送信する。
一方、ステップS301の判定処理において、不明物体情報送信要否判定部141が、特定車両に対して「不明物体情報」を送信不要と判定した場合(ステップS302=Yes)は、ステップS303における「不明物体情報」送信処理を実行することなく処理を終了する。
これらの処理を行うことで、画像解析によって検出された物体の不明度が高い場合や、通信の使用帯域率が低く利用可能な通信帯域に余裕がある場合など、特定条件を満たす場合にのみ「不明物体情報」の送信処理が実行されることになり、必要度の低い情報送信が抑制され、通信の輻輳等の発生を防止できる。
なお、上述の実施例4の説明では、「不明物体情報」の送信例について説明したが、本実施例4は、「車両制御情報」を送信する場合にも適用可能である。
[7.複数の車両の取得情報を利用した処理を行う実施例(実施例5)について]
次に、実施例5として、複数の車両の取得情報を利用した処理を行う実施例について説明する。
本実施例5は、上述した実施例1〜4の処理に併せて実行することが可能な実施例である。
本実施例5について、図23を参照して説明する。
実施例1〜4では、いずれも1台の車両A,10aが車両B,10bを不明物体と判定し、車両B,10bに様々な情報(不明物体情報や車両制御情報)を送信する実施例として説明した。
実際の交通状況を考えると、例えば図23に示すように、車両B,10bを不明物体と判定する車両は、1台の車両A,10aのみならず、そのの近辺を走行している車両C,10cや、車両D,10d等、複数の車両であることが想定される。
これらの複数車両が全て、車両B,10bを不明物体と判定するといった状況が想定される。
このように複数の車両が車両B,10bを不明物体と判定した場合、各車両が車両B,10bに対して情報(不明物体情報や車両制御情報)を送信することになる。
車両B,10bは、これら複数車両から不明物体情報を受信した場合、1台のみから不明物体情報を受信した場合より緊急度を上げたマルチキャスト送信を行う。すなわち重要度の高いデータの選択送信や送信頻度アップ等の処理を実行する。なお、重要度の高いデータとは例えば位置データやサイズ情報である。
前述したようにマルチキャスト送信対象となるデータの各々には送信優先度情報が予め設定されており、車両B,10bの通信制御部は各データの送信優先度の高いデータを優先的に選択して送信する。
このような処理を行うことで、複数の車両に車両B,10bの重要な車両情報のみを確実に通知することが可能となる。
また、車両B,10bが、複数車両から「車両制御情報」を受信した場合には、以下の処理を行う。
複数車両から同じ内容の「車両制御情報」を受信した場合には、その共通の「車両制御情報」に従った処理を行う。
また、複数車両から異なる内容の「車両制御情報」を受信した場合の処理としては、緊急停止処理を行うといった処理を行うことが好ましい。
あるいは、車両制御情報を送信した各車両の位置が推定可能な場合は、最も近い距離にある1台の車両から受信した車両制御情報に従った制御を行う構成としてもよい。
さらに、複数の車両が送信する情報、すなわち「不明物体情報」や「車両制御情報」を管理サーバ20が受信し、管理サーバ20において、各車両からの情報に基づいて、車両B,10bの位置を解析して、解析した位置情報を各車両に提供する構成としてもよい。
また、管理サーバ20が不明物体とされた車両B,10bから車両情報を受信できた場合は、この車両情報を他の各車両に提供する構成としてもよい。
例えば、管理サーバ20は、地図上に現在の交通状況を反映させたダイナミックマップの生成、更新を実行するとともに、各車両の送信する不明物体情報に基づいて、ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行する。
各車両は、管理サーバ20が更新したダイナミックマップを参照することで、不明物体の詳細を確認することが可能となる。
なお、管理サーバ20は、不明物体に対応する車両から受信する車両情報に基づいて不明物体対応車両の詳細情報を記録することができる。
[8.情報処理装置の構成例について]
次に、上述した処理を実行する情報処理装置の具体的なハードウェア構成例について、図24を参照して説明する。車両A,10aや車両B,10bに搭載される情報処理装置として適用可能なハードウェア構成例について説明する。
図24は、情報処理装置のハードウェア構成例を示す図である。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等のデータ取得部などよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。なお、出力部307は、移動装置の駆動部に対する駆動情報も出力する。
CPU301は、入力部306から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[9.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置。
(2) 前記通信部は、
前記不明物体特定部によって特定された不明物体に対して、不明物体であると判定されたことを示す不明物体情報を送信する(1)に記載の情報処理装置。
(3) 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
前記通信部は、
前記第2の移動装置に対して、該第2の移動装置の移動制御を実行させるための制御情報を送信する(1)または(2)に記載の情報処理装置。
(4) 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
前記通信部は、
前記第2の移動装置に対して、該第2の移動装置をリモート制御するためのリモート制御情報を送信する(1)〜(3)いずれかに記載の情報処理装置。
(5) 前記不明物体特定部は、
前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する(1)〜(4)いずれかに記載の情報処理装置。
(6) 前記周辺物体情報は、
前記不明物体からの受信情報を含む(5)に記載の情報処理装置。
(7) 前記周辺物体情報は、
前記不明物体からの受信情報を含み、該受信情報には前記不明物体に対する通信に利用可能なアドレス情報を含み、
前記通信部は、前記アドレス情報を利用して前記不明物体に対する情報送信を行う(5)または(6)に記載の情報処理装置。
(8) 前記情報処理装置は、さらに、
前記通信部を介した前記不明物体に対する情報送信の要否を判定する情報送信要否判定部を有し、
前記情報送信要否判定部は、
不明物体のサイズ、または前記画像解析部における物体識別の信頼度スコア、または前記移動装置との距離、または現在の通信状況の少なくともいずれかに基づいて情報送信の要否を判定する(1)〜(7)いずれかに記載の情報処理装置。
(9) 移動装置の現在位置を取得する自己位置取得部と、
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置。
(10) 前記通信制御部は、
前記通信部を介した不明物体情報の受信に応じて、
前記通信部を介した移動装置情報の送信態様を通常通信モードから緊急通信モードに変更する(9)に記載の情報処理装置。
(11) 前記通信制御部は、
前記通信部を介した不明物体情報の受信に応じて、
前記移動装置情報を構成する各情報に対応付けられた送信優先度に従って送信優先度の高い情報のみを選択して送信する(9)または(10)に記載の情報処理装置。
(12) 前記通信制御部は、
前記通信部を介した不明物体情報の受信に応じて、
前記移動装置情報の送信頻度、または送信帯域、または送信出力の少なくともいずれか通常時より上昇させる通信態様変更処理を実行する(9)〜(11)いずれかに記載の情報処理装置。
(13) 移動装置の現在位置を取得する自己位置取得部と、
前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御部を有する情報処理装置。
(14) 前記移動装置制御部は、
前記移動装置の速度制御、または加速度制御、または走行場所制御、障害物との離間距離であるマージン制御の少なくともいずれかを実行する(13)に記載の情報処理装置。
(15) 前記通信部を介して受信する前記移動装置制御情報は、前記移動装置をリモート制御する移動装置制御情報であり、
前記移動装置制御部は、
リモート制御情報である移動装置制御情報に従った移動装置制御を実行する(13)または(14)に記載の情報処理装置。
(16) 地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
前記ダイナミックマップを参照する移動装置を有し、
前記管理サーバは、
前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システム。
(17) 前記管理サーバは、
前記不明物体に対応する移動装置から受信する移動装置情報に基づいて前記ダイナミックマップ上に前記不明物体の詳細を記録する(16)に記載の情報処理システム。
(18) 情報処理装置において実行する情報処理方法であり、
画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法。
(19) 情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法。
(20) 情報処理装置において実行する情報処理方法であり、
自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
具体的には、例えば、車両装着カメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、不明物体特定部によって特定された第2車両等の不明物体に対して、情報送信を行う通信部を有する。不明物体特定部は、通信部を介して受信する周辺物体情報を用いて不明物体領域と判定された画像領域の不明物体である第2車両を特定する。通信部は第2車両に対して不明物体情報、または第2車両の走行制御のための制御情報を送信する。
本構成により、画像解析と車両間通信情報を利用して物体識別を行い、安全走行を可能とする装置、方法が実現される。
10 車両
20 管理サーバ
30 路側通信ユニット(RSU)
50 ネットワーク
100 情報処理装置A
101 カメラ(撮像部)
102 画像解析部
103 不明物体領域抽出部
104 不明物体特定部
105 通信部
121 車両制御部
141 不明物体情報送信要否判定部
200 情報処理装置B
201 自己位置取得部
202 通信部
203 通信制御部
211 車両制御部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア

Claims (20)

  1. 移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析部と、
    前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定部と、
    前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信部を有し、
    前記不明物体特定部は、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理装置。
  2. 前記通信部は、
    前記不明物体特定部によって特定された不明物体に対して、不明物体であると判定されたことを示す不明物体情報を送信する請求項1に記載の情報処理装置。
  3. 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
    前記通信部は、
    前記第2の移動装置に対して、該第2の移動装置の移動制御を実行させるための制御情報を送信する請求項1に記載の情報処理装置。
  4. 前記不明物体特定部によって特定された不明物体は第2の移動装置であり、
    前記通信部は、
    前記第2の移動装置に対して、該第2の移動装置をリモート制御するためのリモート制御情報を送信する請求項1に記載の情報処理装置。
  5. 前記不明物体特定部は、
    前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する請求項1に記載の情報処理装置。
  6. 前記周辺物体情報は、
    前記不明物体からの受信情報を含む請求項5に記載の情報処理装置。
  7. 前記周辺物体情報は、
    前記不明物体からの受信情報を含み、該受信情報には前記不明物体に対する通信に利用可能なアドレス情報を含み、
    前記通信部は、前記アドレス情報を利用して前記不明物体に対する情報送信を行う請求項5に記載の情報処理装置。
  8. 前記情報処理装置は、さらに、
    前記通信部を介した前記不明物体に対する情報送信の要否を判定する情報送信要否判定部を有し、
    前記情報送信要否判定部は、
    不明物体のサイズ、または前記画像解析部における物体識別の信頼度スコア、または前記移動装置との距離、または現在の通信状況の少なくともいずれかに基づいて情報送信の要否を判定する請求項1に記載の情報処理装置。
  9. 移動装置の現在位置を取得する自己位置取得部と、
    前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
    前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御部を有する情報処理装置。
  10. 前記通信制御部は、
    前記通信部を介した不明物体情報の受信に応じて、
    前記通信部を介した移動装置情報の送信態様を通常通信モードから緊急通信モードに変更する請求項9に記載の情報処理装置。
  11. 前記通信制御部は、
    前記通信部を介した不明物体情報の受信に応じて、
    前記移動装置情報を構成する各情報に対応付けられた送信優先度に従って送信優先度の高い情報のみを選択して送信する請求項9に記載の情報処理装置。
  12. 前記通信制御部は、
    前記通信部を介した不明物体情報の受信に応じて、
    前記移動装置情報の送信頻度、または送信帯域、または送信出力の少なくともいずれか通常時より上昇させる通信態様変更処理を実行する請求項9に記載の情報処理装置。
  13. 移動装置の現在位置を取得する自己位置取得部と、
    前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信部と、
    前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御部を有する情報処理装置。
  14. 前記移動装置制御部は、
    前記移動装置の速度制御、または加速度制御、または走行場所制御、障害物との離間距離であるマージン制御の少なくともいずれかを実行する請求項13に記載の情報処理装置。
  15. 前記通信部を介して受信する前記移動装置制御情報は、前記移動装置をリモート制御する移動装置制御情報であり、
    前記移動装置制御部は、
    リモート制御情報である移動装置制御情報に従った移動装置制御を実行する請求項13に記載の情報処理装置。
  16. 地図上に交通情報を反映させたダイナミックマップの生成、更新を実行する管理サーバと、
    前記ダイナミックマップを参照する移動装置を有し、
    前記管理サーバは、
    前記移動装置の送信する不明物体情報に基づいて、前記ダイナミックマップ上に不明物体の詳細を記録するマップ更新処理を実行し、
    前記移動装置は、更新されたダイナミックマップを参照して前記不明物体の詳細を確認することを可能とした情報処理システム。
  17. 前記管理サーバは、
    前記不明物体に対応する移動装置から受信する移動装置情報に基づいて前記ダイナミックマップ上に前記不明物体の詳細を記録する請求項16に記載の情報処理システム。
  18. 情報処理装置において実行する情報処理方法であり、
    画像解析部が、移動装置に装着したカメラが撮影した画像を解析して画像内の物体識別を実行する画像解析ステップと、
    不明物体特定部が、前記画像解析部による解析の結果、不明物体領域と判定された画像領域の不明物体を特定する不明物体特定ステップと、
    通信部が、前記不明物体特定部によって特定された不明物体に対して、情報送信を行う通信ステップを有し、
    前記不明物体特定ステップは、前記通信部を介して受信する周辺物体情報を用いて、不明物体領域と判定された画像領域の不明物体を特定する情報処理方法。
  19. 情報処理装置において実行する情報処理方法であり、
    自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
    通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
    通信制御部が、前記通信部を介した不明物体情報の受信に応じて、前記通信部を介した移動装置情報の送信態様を変更する通信制御ステップを実行する情報処理方法。
  20. 情報処理装置において実行する情報処理方法であり、
    自己位置取得部が、移動装置の現在位置を取得する自己位置取得ステップと、
    通信部が、前記自己位置取得部の取得した自己位置情報を含む移動装置情報を送信する通信ステップと、
    移動装置制御部が、前記通信部を介した不明物体情報、または移動装置制御情報の受信に応じて、前記移動装置の移動制御を実行する移動装置制御ステップを実行する情報処理方法。
JP2020557649A 2018-11-30 2019-11-21 情報処理装置、および情報処理システム、並びに情報処理方法 Pending JPWO2020110915A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018224881 2018-11-30
JP2018224881 2018-11-30
PCT/JP2019/045696 WO2020110915A1 (ja) 2018-11-30 2019-11-21 情報処理装置、および情報処理システム、並びに情報処理方法

Publications (1)

Publication Number Publication Date
JPWO2020110915A1 true JPWO2020110915A1 (ja) 2021-10-14

Family

ID=70853331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020557649A Pending JPWO2020110915A1 (ja) 2018-11-30 2019-11-21 情報処理装置、および情報処理システム、並びに情報処理方法

Country Status (5)

Country Link
US (1) US20220019813A1 (ja)
JP (1) JPWO2020110915A1 (ja)
CN (1) CN113168767B (ja)
DE (1) DE112019005949T5 (ja)
WO (1) WO2020110915A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327185B1 (ko) * 2019-12-24 2021-11-17 한국도로공사 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
US20220081004A1 (en) * 2020-09-15 2022-03-17 Tusimple, Inc. DETECTING AN UNKNOWN OBJECT BY A LEAD AUTONOMOUS VEHICLE (AV) AND UPDATING ROUTING PLANS FOR FOLLOWING AVs
US11987261B2 (en) 2020-09-15 2024-05-21 Tusimple, Inc. Detecting a road structure change by a lead autonomous vehicle (AV) and updating routing plans for the lead AV and following AVs
JP2022077757A (ja) * 2020-11-12 2022-05-24 本田技研工業株式会社 車両報知装置および車両報知システム
JP2024044266A (ja) 2022-09-21 2024-04-02 株式会社Subaru 車両用前方認識装置、及び車両制御ユニット

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639196B2 (ja) * 2000-08-07 2005-04-20 株式会社日立製作所 車両特定装置
JP3895225B2 (ja) * 2002-07-10 2007-03-22 本田技研工業株式会社 車両用警告システム
KR20060119968A (ko) * 2003-09-10 2006-11-24 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 형상 인식 장치 및 방법
JP2006318093A (ja) * 2005-05-11 2006-11-24 Mazda Motor Corp 車両用移動物体検出装置
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
JP4799236B2 (ja) * 2006-03-23 2011-10-26 富士重工業株式会社 車載表示システム
JP4614098B2 (ja) * 2006-03-28 2011-01-19 アイシン・エィ・ダブリュ株式会社 周辺状況認識装置及び方法
JP2008149786A (ja) * 2006-12-14 2008-07-03 Mazda Motor Corp 車両用運転支援装置及び車両用運転支援システム
JP2009211397A (ja) * 2008-03-04 2009-09-17 Toyota Infotechnology Center Co Ltd 無線通信方法及び車両通信システム
JP5226461B2 (ja) * 2008-10-22 2013-07-03 株式会社東海理化電機製作所 車両位置算出システム
JP4853545B2 (ja) * 2009-05-25 2012-01-11 株式会社デンソー 車載通信装置および通信システム
US20120147188A1 (en) * 2009-09-03 2012-06-14 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP5565385B2 (ja) 2011-07-16 2014-08-06 株式会社デンソー 車両用無線通信装置および通信システム
JP2013228843A (ja) * 2012-04-25 2013-11-07 Clarion Co Ltd 車両情報通信システム
KR101491256B1 (ko) * 2013-05-28 2015-02-06 현대자동차주식회사 무선통신을 이용한 차선인식 장치 및 방법
DE102013210729A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
CN104036275B (zh) * 2014-05-22 2017-11-28 东软集团股份有限公司 一种车辆盲区内目标对象的检测方法及其装置
WO2016016922A1 (ja) * 2014-07-28 2016-02-04 三菱電機株式会社 走行支援システム及び走行支援方法
CN104346955A (zh) * 2014-10-16 2015-02-11 浙江吉利汽车研究院有限公司 基于人车通信的行人避撞方法和避撞系统
JP2016101031A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 三相モータのステータ
KR20170117098A (ko) * 2015-02-10 2017-10-20 라이더 시스템즈 엘엘씨 자동차에 대한 근접성 인식 시스템
JP6443160B2 (ja) * 2015-03-23 2018-12-26 株式会社デンソー 自動走行制御装置、又は、自動走行制御システム
DE102015220640A1 (de) * 2015-10-22 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verringern eines Kollisionsrisikos einer Kollision eines Kraftfahrzeugs mit einem Objekt
JP2017097510A (ja) * 2015-11-20 2017-06-01 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
CN108701409A (zh) * 2016-03-01 2018-10-23 株式会社理光 移动体管理装置、移动体管理方法以及存储介质
JP6613999B2 (ja) * 2016-04-08 2019-12-04 株式会社デンソー 運転支援システム
EP3273423B1 (en) * 2016-07-21 2019-03-13 Continental Automotive GmbH Device and method for a vehicle for recognizing a pedestrian
JP6478414B2 (ja) * 2016-09-13 2019-03-06 本田技研工業株式会社 車両制御装置、車両制御方法、および車両制御プログラム
JP6791718B2 (ja) * 2016-10-21 2020-11-25 株式会社デンソーテン 通信装置、車載システムおよび通信方法
JP2018097534A (ja) * 2016-12-12 2018-06-21 トヨタ自動車株式会社 工事関連情報推定システム
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
CN107554430B (zh) * 2017-09-20 2020-01-17 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆

Also Published As

Publication number Publication date
US20220019813A1 (en) 2022-01-20
CN113168767B (zh) 2023-08-15
CN113168767A (zh) 2021-07-23
DE112019005949T5 (de) 2021-08-19
WO2020110915A1 (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US11314249B2 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
EP3371668B1 (en) Teleoperation system and method for trajectory modification of autonomous vehicles
US10459440B2 (en) System and method for remotely assisting autonomous vehicle operation
JP6962926B2 (ja) 自律車両の軌道修正のための遠隔操作システムおよび方法
JPWO2020110915A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
JP7456442B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP2020095481A (ja) 車両の制御装置及び自動運転システム
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US20220095086A1 (en) Method and apparatus for indicating, obtaining, and sending automated driving information
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
KR20210057886A (ko) 차량 충돌 방지 장치 및 그 방법
CN111532276A (zh) 对自动化车辆的周围环境模型的再利用
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
WO2020213275A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
KR102350197B1 (ko) 주행경로 설정장치 및 주행경로 설정방법
WO2020100540A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JPWO2020122057A1 (ja) 画像処理装置、画像処理方法および画像処理システム
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020261703A1 (ja) 情報処理装置と情報処理方法およびプログラム
US20230206596A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419