JP2024062360A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2024062360A
JP2024062360A JP2023080410A JP2023080410A JP2024062360A JP 2024062360 A JP2024062360 A JP 2024062360A JP 2023080410 A JP2023080410 A JP 2023080410A JP 2023080410 A JP2023080410 A JP 2023080410A JP 2024062360 A JP2024062360 A JP 2024062360A
Authority
JP
Japan
Prior art keywords
camera
information
image
vehicle
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023080410A
Other languages
English (en)
Inventor
正義 孫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Group Corp
Original Assignee
SoftBank Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Group Corp filed Critical SoftBank Group Corp
Priority to PCT/JP2023/037929 priority Critical patent/WO2024090328A1/ja
Publication of JP2024062360A publication Critical patent/JP2024062360A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】処理負荷をかけることなく隊列の前方、後方、及び側方の各態様を認識する。【解決手段】情報処理装置は、プロセッサを備える。前記プロセッサは、隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識する。前記プロセッサは、前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識する。前記プロセッサは、前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識する。【選択図】図15

Description

本開示は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。
特許文献1には、自動運転機能を有する車両について記載されている。
特開2022-035198号公報
近年、複数の車両が隊列を成して自動運転で道路上を走行する技術が検討されている。隊列を成した複数の車両の自動運転を実現するためには、単一の車両の自動運転と同様に情報処理装置が用いられる。情報処理装置は、車両の外界から自動運転に必要な情報を取得し、取得した情報に基づいて自動運転を制御する。例えば、情報処理装置は、カメラによって車両の外界の態様が撮影されて得られた画像等に基づいて、隊列の前方の態様及び隊列の後方の態様を認識し、認識した結果に基づいて自動運転を制御する。また、自動運転で安全な走行を実現するためには、情報処理装置が、隊列の前方の態様及び隊列の後方の態様に加え、隊列の側方の態様を認識し、認識した結果に基づいて自動運転を制御することが好ましい。
しかし、隊列を成す全ての車両のそれぞれに対して隊列の側方の態様を撮影するための側方カメラを搭載した上で、情報処理装置が、各側方カメラによって隊列の側方の態様が撮影されることによって得られた全画像に基づいて隊列の側方の態様を認識するようにすると、情報処理装置に対して大きな処理負荷がかかる。車両以外の移動体が隊列を成して自動運転で安全に走行する場合についても同様のことが言える。
そこで、本開示は、隊列で移動する複数の移動体のそれぞれに設けられた各側方カメラによって隊列の側方が撮影されることで得られる全ての側方画像に基づいて情報処理装置が隊列の側方の態様を認識する場合に比べ、処理負荷をかけることなく隊列の前方、後方、及び側方の各態様を認識することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。
本開示の情報処理装置は、プロセッサを備える。本開示の情報処理装置において、前記プロセッサは、隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識し、前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識し、前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識する。
本開示の情報処理装置において、前記側方カメラは、前記前方カメラ及び前記後方カメラよりも高いフレームレートである第1フレームレートで前記側方を撮影する。
本開示の情報処理装置において、前記プロセッサは、前記第1フレームレートで前記側方が撮影されることによって前記側方画像が得られる毎に、得られた前記側方画像に基づいて前記側方の態様を認識する。
本開示の情報処理装置において、前記複数の移動体は、3つ以上の移動体であり、
前記特定移動体は、前記先頭移動体と前記最後尾移動体との間に位置する中間移動体である。
本開示の情報処理装置において、前記複数の移動体の各々は、自動運転が可能な移動体であり、前記中間移動体には、前記先頭移動体側を撮影可能な先頭側カメラ、及び前記最後尾移動体側を撮影可能な最後尾側カメラのうちの少なくとも一方が設けられており、前記プロセッサは、前記先頭側カメラによって前記先頭移動体側が撮影されることで得られた先頭移動体側画像、及び前記最後尾側カメラによって前記最後尾移動体側が撮影されることで得られた最後尾移動体側画像のうちの少なくとも一方に基づいて、前記中間移動体に対する前記自動運転を制御し、前記先頭側カメラのフレームレートである第2フレームレート及び前記最後尾側カメラのフレームレートである第3フレームレートは、前記前方カメラのフレームレート及び前記後方カメラのフレームレートよりも低い。
本開示の情報処理装置において、前記複数の移動体の各々は、自動運転が可能な移動体であり、前記プロセッサは、前記中間移動体側から前記先頭移動体側が撮影されることによって得られる先頭移動体側画像、及び前記中間移動体側から前記最後尾移動体側が撮影されることによって得られる最後尾移動体側画像のうちの少なくとも一方を用いることなく前記中間移動体に対する前記自動運転を制御する。
本開示の情報処理装置において、前記プロセッサは、前記前方画像に基づいて、前記前方に存在する前方物体の種類を認識することにより前記前方の態様を認識し、前記後方画像に基づいて、前記後方に存在する後方物体の種類を認識することにより前記後方の態様を認識する。
本開示の情報処理装置において、前記プロセッサは、前記側方画像に基づいて、前記側方に存在する側方物体を点として認識することにより前記側方の態様を認識する。
本開示の情報処理装置において、前記複数の移動体の各々は、自動運転が可能な移動体であり、前記プロセッサは、前記前方の態様、前記後方の態様、及び前記側方の態様に基づいて前記自動運転を制御する。
本開示の情報処理装置において、前記複数の移動体の各々は、自動運転が可能な移動体であり、前記プロセッサは、前記前方画像に基づいて前記前方に存在する前方物体の種類を認識することにより前記前方物体の種類を特定可能な前方物体情報を取得し、前記後方画像に基づいて前記後方に存在する後方物体の種類を認識することにより前記後方物体の種類を特定可能な後方物体情報を取得し、前方対応付け情報及び後方対応付け情報に基づいて前記自動運転を制御し、前記前方対応付け情報は、前記前方カメラのフレームレートよりも高いフレームレートである第4フレームレートで前記前方が撮影されることにより得られた第1画像に基づいて前記前方物体が点として表現された前方点情報と前記前方物体情報とが対応付けられた情報であり、前記後方対応付け情報は、前記後方カメラのフレームレートよりも高いフレームレートである第5フレームレートで前記後方が撮影されることにより得られた第2画像に基づいて前記後方物体が点として表現された後方点情報と前記後方物体情報とが対応付けられた情報である。
本開示の情報処理装置において、前記プロセッサは、前記側方画像に基づいて前記側方に存在する側方物体を点として認識することにより前記側方物体が点として表現された側方点情報を取得し、前記前方対応付け情報、前記後方対応付け情報、及び前記側方点情報に基づいて前記自動運転を制御する。
本開示の情報処理装置において、前記プロセッサは、前方認識プロセッサ、後方認識プロセッサ、及び側方認識プロセッサを含み、前記前方認識プロセッサは、前記前方画像に基づいて前記前方の態様を認識し、前記後方認識プロセッサは、前記後方画像に基づいて前記後方の態様を認識し、前記側方認識プロセッサは、前記側方画像に基づいて前記側方の態様を認識する。
本開示の情報処理装置において、前記側方認識プロセッサは、前記側方画像に基づいて、前記前方認識プロセッサ及び前記後方認識プロセッサよりも高速な処理を行うことで前記側方の態様を認識する。
本開示の情報処理方法は、隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識すること、前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識すること、及び、前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識することを含む。
本開示の情報処理プログラムは、隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識すること、前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識すること、及び、前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識することを含む処理をコンピュータに実行させるためのプログラムである。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
Central Brainを搭載した車両の一例を示す概略図である。 情報処理装置の構成の一例を示す第1のブロック図である。 情報処理装置の構成の一例を示す第2のブロック図である。 MoPUが出力する点情報の例を示す説明図である。 情報処理装置の構成の一例を示す第3のブロック図である。 情報処理装置の構成の一例を示す第4のブロック図である。 点情報とラベル情報との対応付けの一例を示す説明図である。 車両の概略構成を示す説明図である 冷却実行装置の機能構成の例を示すブロック図である。 情報処理装置の構成の一例を示す第5のブロック図である。 情報処理装置の構成の一例を示す第6のブロック図である。 物体の時系列における座標検出を模式的に示す図である。 情報処理装置の構成の一例を示す第7のブロック図である。 イベントカメラにより撮影された物体の画像を説明するための説明図である。 隊列で道路上を走行している複数の車両の態様例を示す概念図である。 第1情報処理装置、第2情報処理装置、及び第3情報処理装置の構成の一例を示す概念図である。 先頭車両に搭載されている第1情報処理装置、第1態様センサ、及び第2態様センサのそれぞれの構成の一例を示す概念図である。 第1態様センサ、第2態様センサ、第1IPU、第2IPU、第1MoPU、及び第2MoPUの処理内容の一例を示す概念図である。 中間車両に搭載されている第2情報処理装置、第3態様センサ、第4態様センサ、第5態様センサ、及び第6態様センサのそれぞれの構成の一例を示す概念図である。 第3低FRカメラ、第4低FRカメラ、第5低FRカメラ、及び第6低FRカメラ、第3IPU、第4IPU、第5IPU、及び第6IPUの処理内容の一例を示す概念図である。 第3高FRカメラ、第3レーダー、第4高FRカメラ、第4レーダー、第5高FRカメラ、第5レーダー、第6高FRカメラ、第6レーダー、第3MoPU、第4MoPU、第5MoPU、及び第6MoPUの処理内容の一例を示す概念図である。 最後尾車両に搭載されている第3情報処理装置、第7態様センサ、及び第8態様センサのそれぞれの構成の一例を示す概念図である。 第7態様センサ、第8態様センサ、第7IPU、第8IPU、第7MoPU、及び第8MoPUの処理内容の一例を示す概念図である。 第1Central Brainが隊列の自動運転の制御を実現する上で必要な情報を取得するための処理内容の一例を示す概念図である。 第2Central Brainが隊列の自動運転の制御を実現する上で必要な情報を取得するための処理内容の一例を示す概念図である。 第3Central Brainが隊列の自動運転の制御を実現する上で必要な情報を取得するための処理内容の一例を示す概念図である。 第1Central Brainが隊列の自動運転の制御を実現する上で先頭車両を制御するために行う処理内容の一例を示す概念図である。 第2Central Brainが隊列の自動運転の制御を実現する上で中間車両を制御するために行う処理内容の一例を示す概念図である。 第3Central Brainが隊列の自動運転の制御を実現する上で最後尾車両を制御するために行う処理内容の一例を示す概念図である。 先頭車両プロセッサによって行われる先頭車両IPU処理の流れの一例を示すフローチャートである。 先頭車両プロセッサによって行われる先頭車両MoPU処理の流れの一例を示すフローチャートである。 先頭車両プロセッサによって行われる第1Central Brain処理の流れの一例を示すフローチャートである。 中間車両プロセッサによって行われる中間車両IPU処理の流れの一例を示すフローチャートである。 中間車両プロセッサによって行われる中間車両MoPU処理の流れの一例を示すフローチャートである。 中間車両プロセッサによって行われる第2Central Brain処理の流れの一例を示すフローチャートである。 最後尾車両プロセッサによって行われる最後尾車両IPU処理の流れの一例を示すフローチャートである。 最後尾車両プロセッサによって行われる最後尾車両MoPU処理の流れの一例を示すフローチャートである。 最後尾車両プロセッサによって行われる第3Central Brain処理の流れの一例を示すフローチャートである。 第1Central Brainによって第1制御変数、第2制御変数、及び第3制御変数が導出される第1変形例を示す概念図である。 第1Central Brainによって第1制御変数、第2制御変数、及び第3制御変数が導出される第2変形例を示す概念図である。 第1Central Brainによって第1制御変数、第2制御変数、及び第3制御変数が導出される第3変形例を示す概念図である。 第1Central Brainによって第1制御変数、第2制御変数、及び第3制御変数が導出される第4変形例を示す概念図である。 情報処理装置又は冷却実行装置として機能するコンピュータのハードウェア構成の一例を概略的に示す説明図である。
以下、本開示の実施形態を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
(第1の実施形態)
まず、本実施形態に係る第1の実施形態について説明する。本開示に係る情報処理装置は、一例として、少なくとも一部が車両100に搭載されて、車両100の自動運転制御を行う。また、当該情報処理装置は、Autonomous DrivingをLevel6によるAI/多変量解析/ゴールシーク/戦略立案/最適確率解/最適スピード解/最適コースマネジメント/エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。車両100は「対象物」の一例である。
ここで、「Level6」とは、自動運転を表すレベルであり、完全自動運転を表すLevel5よりも更に上のレベルに相当する。Level5は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Level6とは、Level5よりも上のレベルを表すものであり、Level5よりも事故が発生する確率が低いレベルに相当する。
Level6における計算力は、Level5の計算力の1000倍程度である。したがって、Level5では実現できなかった高性能な運転制御が実現可能である。
図1は、Central Brain15を搭載した車両100の一例を示す概略図である。Central Brain15には、複数のGate Wayが通信可能に接続されている。Central Brain15は、Gate Wayを介して外部のクラウドサーバに接続されている。Central Brain15は、Gate Wayを介して外部のクラウドサーバへアクセスすることができるように構成されている。その一方で、Gate Wayの存在により、外部からCentral Brain15へ直接アクセスすることはできないように構成されている。
Central Brain15は、所定時間が経過する毎に、要求信号をクラウドサーバへ出力する。具体的には、Central Brain15は、10億分の1秒毎に、問い合わせを表す要求信号をクラウドサーバへ出力する。一例として、Central Brain15は、Gate Wayを介して取得した複数の情報に基づいて、LeveL6の自動運転を制御する。
図2は、情報処理装置10の構成の一例を示す第1のブロック図である。情報処理装置10は、IPU(Image Processing Unit)11、MoPU(Motion Processing Unit)12、Central Brain15及びメモリ16を備えている。Central Brain15は、GNPU(Graphics Neural network Processing Unit)13及びCPU(Central Processing Unit)14を含んで構成されている。
IPU11は、車両100に設置された超高解像度カメラ(図示せず)に内蔵されている。IPU11は、超高解像度カメラにより撮影された車両100の周囲に存在する物体の画像について、ベイヤ変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば10フレーム/秒のフレームレートかつ1200万画素の解像度で出力する。また、IPU11は、超高解像度カメラにより撮影された物体の画像から、撮影された物体を識別した識別情報を出力する。識別情報は、撮影された物体が何であるか(例えば、人なのか、障害物なのか)を識別するために必要な情報である。本実施形態では、IPU11は、識別情報として、撮影された物体の種別(種類)を示すラベル情報(例えば、撮影された物体が犬なのか、猫なのか、又はクマなのかを示す情報(物体の種類を特定可能な情報))を出力する。さらに、IPU11は、撮影された物体の超高解像度カメラのカメラ座標系における位置を示す位置情報を出力する。IPU11から出力された画像、ラベル情報、及び位置情報は、Central Brain15及びメモリ16に供給される。IPU11は「第2プロセッサ」の一例であり、超高解像度カメラは「第2カメラ」の一例である。
MoPU12は、車両100に設置された超高解像度カメラとは別の別カメラ(図示せず)を含む各種センサ(例えば、内界センサ(例えば、加速度センサ及び/又はジャイロセンサ等)及び外界センサ(例えば、カメラ、レーダー、及び/又は、レーザ等を用いた光学式の測距装置等))に対して用いられる。例えば、MoPU12は、車両100の外界の態様(例えば、物体)の位置及び/又は動き等を認識する処理等を行う処理装置である。例えば、MoPU12は、車両100に設置された別カメラに接続されている(一例として、MoPU12は、車両100に設置された超高解像度カメラとは別の別カメラ(図示せず)に内蔵されていたり、別カメラに接続されたりしている)。MoPU12は、超高解像度カメラと対応する方向を向いた別カメラにより100フレーム/秒以上のフレームレートで撮影された物体の画像から、撮影された物体を点として捉えた点情報(物体が点として表現された点情報)を、例えば100フレーム/秒以上のフレームレートで出力する。MoPU12から出力された点情報は、Central Brain15及びメモリ16に供給される。このように、MoPU12が点情報を出力するために用いる画像と、IPU11が識別情報を出力するために用いる画像とは、別カメラ及び超高解像度カメラが対応する方向を向いて撮影した画像(撮影を行うことで得た画像)である。ここで、「対応する方向」とは、別カメラの撮影範囲と超高解像度カメラの撮影範囲とが重複する方向である。上記の場合だと、別カメラは、超高解像度カメラの撮影範囲と重複する方向を向いて物体を撮影する。なお、超高解像度カメラ及び別カメラが対応する方向を向いて物体を撮影することは、例えば、超高解像度カメラ及び別カメラ間のカメラ座標系の対応関係を予め求めておくことにより実現される。
例えば、MoPU12は、点情報として、物体の存在位置を示す点の3次元直交座標系における少なくとも2つの座標軸の座標値を出力する。当該座標値は、一例として、物体の中心点(又は重心点)を示している。また、MoPU12は、2つの座標軸の座標値として、当該3次元直交座標系における幅方向に沿った軸(x軸)の座標値(以下、「x座標値」とする)及び高さ方向に沿った軸(y軸)の座標値(以下、「y座標値」とする)を出力する。なお、x軸は、車両100の車幅方向に沿った軸であり、y軸は、車両100の高さ方向に沿った軸である。
以上の構成により、MoPU12が出力する1秒間の点情報は100フレーム以上のx座標値及びy座標値を含むため、当該点情報に基づくと、上記3次元直交座標系におけるx軸及びy軸上の物体の動き(移動方向及び移動速度)を把握することができる。つまり、MoPU12が出力する点情報は、物体の上記3次元直交座標系における位置を示す位置情報及び物体の動きを示す動き情報を含んでいる。
以上のように、MoPU12から出力される点情報には、撮影された物体が何であるか(例えば、人なのか、障害物なのか)を識別するために必要な情報は含まれておらず、当該物体の中心点(又は重心点)のx軸及びy軸上の動き(移動方向及び移動速度)を示す情報のみが含まれている。そして、MoPU12から出力される点情報は、画像情報を含まないため、Central Brain15及びメモリ16に出力するデータ量を画期的に削減することができる。MoPU12は「第1プロセッサ」の一例であり、別カメラは「第1カメラ」の一例である。
上述の通り、本実施形態では、MoPU12が内蔵された別カメラのフレームレートは、IPU11が内蔵された超高解像度カメラのフレームレートより大きい。具体的には、別カメラのフレームレートは100フレーム/秒以上であり、超高解像度カメラのフレームレートは10フレーム/秒である。つまり、別カメラのフレームレートは、超高解像度カメラのフレームレートの10倍以上である。
Central Brain15は、MoPU12から出力された点情報及びIPU11から出力されたラベル情報を対応付ける。例えば、上記別カメラと超高解像度カメラとのフレームレート差に起因して、Central Brain15は、物体についての点情報を取得しているが、ラベル情報を取得していない状態がある。この状態では、Central Brain15は、点情報に基づいて物体のx座標値及びy座標値を認識するが、その物体が何であるかは認識していない。
その後、上記物体についてのラベル情報を取得した場合、Central Brain15は、当該ラベル情報の種別(例:PERSON)を導出する。そして、Central Brain15は、当該ラベル情報と上記で取得している点情報とを対応付ける。これにより、Central Brain15は、点情報に基づいて物体のx座標値及びy座標値を認識するとともに、その物体が何であるかを認識する。Central Brain15は「第3プロセッサ」の一例である。
ここで、Central Brain15は、超高解像度カメラ及び別カメラにより撮影された物体が、例えば、物体A及び物体Bのように複数存在する場合、次のようにして各物体についての点情報及びラベル情報を対応付ける。上記の別カメラと超高解像度カメラとのフレームレート差に起因して、Central Brain15は、物体A及び物体Bについての点情報(以下、「点情報A」及び「点情報B」とする)を取得しているが、ラベル情報を取得していない状態がある。この状態では、Central Brain15は、点情報Aに基づいて物体Aのx座標値及びy座標値を認識し、点情報Bに基づいて物体Bのx座標値及びy座標値を認識するが、それらの物体が何であるかは認識していない。
その後、一のラベル情報を取得した場合、Central Brain15は、当該一のラベル情報の種別(例:PERSON)を導出する。そして、Central Brain15は、当該一のラベル情報と共にIPU11から出力された位置情報と、取得している点情報A及び点情報Bに含まれる位置情報とに基づいて、当該一のラベル情報と対応付ける点情報を特定する。例えば、Central Brain15は、IPU11から出力された位置情報が示す物体の位置に最も近い位置を示す位置情報を含む点情報を特定し、当該点情報を当該一のラベル情報に対応付ける。上記で特定された点情報が点情報Aである場合、Central Brain15は、当該一のラベル情報と点情報Aとを対応付け、点情報Aに基づいて物体Aのx座標値及びy座標値を認識するとともに、物体Aが何であるかを認識する。
以上説明したように、Central Brain15は、超高解像度カメラ及び別カメラにより撮影された物体が複数存在する場合、IPU11から出力された位置情報と、MoPU12から出力された点情報に含まれる位置情報とに基づいて、点情報及びラベル情報の対応付けを行う。
また、Central Brain15は、IPU11から出力された画像及びラベル情報に基づいて、車両100の周囲に存在する物体(人、動物、道路、信号、標識、横断歩道、障害物、建物など)を認識する。また、Central Brain15は、MoPU12から出力された点情報に基づいて、車両100の周囲に存在する、何であるか認識された物体の位置及び動きを認識する。Central Brain15は認識した情報に基づいて、例えば、車輪を駆動するモータの制御(速度制御)、ブレーキ制御、ハンドル制御を行い、車両100の自動運転を制御する。例えば、Central Brain15は、MoPU12から出力された点情報に含まれる位置情報及び動き情報から、物体との衝突を回避するように車両100の自動運転を制御する。Central Brain15において、GNPU13は画像認識に関する処理を担ってもよく、CPU14は、車両制御に関する処理を担ってもよい。
一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。ここで、超高解像度カメラによって撮影された画像(超高解像度カメラによって撮影されることによって得られた画像)から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Level6時代の自動運転ではこれだけでは不十分である。Level6時代では、物体の動きをより高精度に認識することも必要である。MoPU12によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両100が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、超高解像度カメラでは、1秒間に10フレーム程度しか画像を取得することができず、物体の動きを解析する精度はMoPU12を搭載したカメラに比べると低い。一方、MoPU12を搭載したカメラでは、例えば100フレーム/秒の高フレームレートでの出力が可能である。
そこで、第1の実施形態に係る情報処理装置10は、IPU11及びMoPU12の2つの独立したプロセッサを備える。情報処理装置10は、超高解像度カメラに内蔵されたIPU11には、撮影した物体が何であるかを識別するために必要な情報を取得する役割を与え、別カメラに内蔵されたMoPU12には、物体の位置及び動きを検出する役割を与えている。MoPU12は、撮影した物体を点として捉え、その点の座標が上記3次元直交座標系における少なくともx軸及びy軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、超高解像度カメラからの画像によって行うことが可能であることから、MoPU12によって、例えば、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。
物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Central Brain15に出力するデータ量を大幅に抑制し、Central Brain15における計算量を大幅に低減することが可能である。例えば、1000ピクセル×1000ピクセルの画像を、1000フレーム/秒のフレームレートでCentral Brain15に出力する場合、色情報を含めると、40億ビット/秒のデータをCentral Brain15に出力することになる。MoPU12が、物体の中心点の動きを示す点情報のみを出力することで、Central Brain15に出力するデータ量を2万ビット/秒に圧縮することができる。すなわち、Central Brain15に出力するデータ量が20万分の1に圧縮される。
このように、IPU11から出力される低フレームレートかつ高解像度の画像及びラベル情報と、MoPU12から出力される高フレームレートかつ軽量の点情報とを組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。
また、情報処理装置10では、Central Brain15がMoPU12から出力された点情報及びIPU11から出力されたラベル情報を対応付けることにより、どのような物体がどのような動きをしているのかに関する情報を把握することができる。
(第2の実施形態)
次に、本実施形態に係る第2の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図3は、情報処理装置10の構成の一例を示す第2のブロック図である。図3に示すように、車両100に搭載される情報処理装置10は、左側の目に相当するMoPU12Lと、右側の目に相当するMoPU12Rと、IPU11と、Central Brain15とを備えている。
MoPU12Lは、カメラ30Lと、レーダー32Lと、赤外線カメラ34Lと、コア17Lを備えている。例えば、MoPU12Lは、コア17Lを有しており、コア17Lに、カメラ30Lと、レーダー32Lと、赤外線カメラ34Lとが接続されている。また、MoPU12Rは、カメラ30Rと、レーダー32Rと、赤外線カメラ34Rと、コア17Rを備えており、MoPU12Lと同様に構成されている。なお、以下では、MoPU12LとMoPU12Rとを区別しない場合には「MoPU12」、カメラ30Lとカメラ30Rとを区別しない場合には「カメラ30」、レーダー32Lとレーダー32Rとを区別しない場合には「レーダー32」、赤外線カメラ34Lと赤外線カメラ34Rとを区別しない場合には「赤外線カメラ34」、コア17Lとコア17Rとを区別しない場合には「コア17」と記載する。
MoPU12が備えるカメラ30は、IPU11が備える超高解像度カメラ(例えば、10フレーム/秒)よりも大きいフレーム数(120,240,480,960,又は1920フレーム/秒)で物体を撮影する。カメラ30のフレームレートは可変である。カメラ30は「第1カメラ」の一例である。
MoPU12が備えるレーダー32は、物体に照射した電磁波の当該物体からの反射波に基づく信号であるレーダー信号を取得する。MoPU12が備える赤外線カメラ34は、赤外線画像を撮影するカメラ(物体からの赤外線を撮影することで、物体を示す赤外線画像を取得するカメラ)である。
MoPU12が備えるコア17(例えば、1つ以上のCPUにより構成される)は、カメラ30が撮影した1フレームの画像(カメラ30によって撮影されることで得られた1フレームの画像)毎に特徴点を抽出し、点情報として、上記3次元直交座標系における物体のx座標値及びy座標値を出力する。コア17は、例えば、画像から抽出した物体の中心点(重心点)を特徴点とする。なお、コア17が出力する点情報は、上記実施形態と同様に、位置情報及び動き情報を含む。
IPU11は、超高解像度カメラ(図示せず)を備えており、超高解像度カメラにより撮影された物体の画像(超高解像度カメラにより物体が撮影されることによって得られた画像)、当該物体の種別を示すラベル情報、及び当該物体の超高解像度カメラのカメラ座標系における位置を示す位置情報を出力する。
Central Brain15は、MoPU12から出力された点情報と、IPU11から出力された画像、ラベル情報、及び位置情報とを取得する。そして、Central Brain15は、MoPU12から出力された点情報に含まれる位置情報とIPU11から出力された位置情報とが対応する位置に存在する物体についてのラベル情報を当該点情報に対応付ける。これにより、情報処理装置10では、ラベル情報が示す物体が何であるかという情報と、点情報が示す物体の位置及び動きとを対応付けることが可能になる。
ここで、MoPU12は、所定要因に応じてカメラ30のフレームレートを変更する。本実施形態では、MoPU12は、所定要因の一例として外部環境に関するスコアに応じてカメラ30のフレームレートを変更する。この場合、MoPU12は、車両100に対する外部環境に関するスコアを算出し、算出したスコアに応じて、カメラ30のフレームレートを変更する。そして、MoPU12は、変更したフレームレートで画像を撮影させるための制御信号をカメラ30に対して出力する。これにより、カメラ30は、制御信号が示すフレームレートで画像を撮影する(カメラ30は、制御信号が示すフレームレートで撮影を行うことで画像を取得する)。この構成により、情報処理装置10によれば、外部環境に適したフレームレートで物体の画像を撮影することができる(外部環境に適したフレームレートで物体を撮影することができる)。
なお、車両100に搭載される情報処理装置10は、図示しない複数種類のセンサを備えている。MoPU12は、複数種類のセンサから取り入れられたセンサ情報(例えば、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、又は周囲の状況(鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など)等)及び点情報に基づいて、車両100に対する外部環境に関するスコアとして、車両100の移動に関する危険度を算出する。危険度は、車両100が今後どの程度の危険な場所を走行するかの度合を示している。この場合、MoPU12は、算出した危険度に応じてカメラ30のフレームレートを変更する。車両100は「移動体」の一例である。この構成により、情報処理装置10によれば、車両100の移動に関する危険度に応じてカメラ30のフレームレートを変更することができる。センサは「検知部」の一例であり、センサ情報は「検知情報」の一例である。
例えば、MoPU12は、算出した危険度が高いほどカメラ30のフレームレートを高くする。MoPU12は、算出した危険度が第1閾値未満の場合、カメラ30のフレームレートを120フレーム/秒に変更する。また、MoPU12は、算出した危険度が第1閾値以上かつ第2閾値未満の場合、カメラ30のフレームレートを240,480,960フレーム/秒の何れかに変更する。また、MoPU12は、算出した危険度が第2閾値以上の場合、カメラ30のフレームレートを1920フレーム/秒に変更する。なお、MoPU12は、危険度が上記の何れかである場合において、選択したフレームレートでカメラ30に画像を撮影させること(選択したフレームレートでカメラ30に撮影させること)に加え、当該フレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影するように、レーダー32及び赤外線カメラ34へ制御信号を出力してもよい。
例えば、MoPU12は、算出した危険度が低いほどカメラ30のフレームレートを低くする。MoPU12は、カメラ30のフレームレートを1920フレーム/秒に設定した状態で、算出した危険度が第1閾値以上かつ第2閾値未満の場合、カメラ30のフレームレートを240,480,960フレーム/秒の何れかに変更する。また、MoPU12は、カメラ30のフレームレートを1920フレーム/秒に設定した状態で、算出した危険度が第1閾値未満の場合、カメラ30のフレームレートを120フレーム/秒に変更する。さらに、MoPU12は、カメラ30のフレームレートを240,480,960フレーム/秒の何れかに設定した状態で、算出した危険度が第1閾値未満の場合、カメラ30のフレームレートを120フレーム/秒に変更する。なお、この場合も上記と同様に、変更したカメラ30のフレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影する(変更したカメラ30のフレームレートに応じた数値でのレーダー信号の取得及び赤外線画像を得るための撮影を行う)ように、レーダー32及び赤外線カメラ34へ制御信号を出力してもよい。
また、MoPU12は、危険度を予測する情報としてロングテールインシデントAI(Artificial Intelligence) DATA(例えば、レベル5の自動運転制御方式が実装された車両のTripデータ)又は地図情報等、車両100が走行する前から既知である走行に関するビッグデータを利用して、危険度を算出してもよい。
上記では、外部環境に関するスコアとして危険度を算出したが、外部環境に関するスコアとなる指標は危険度に限定されない。例えば、MoPU12は、カメラ30に写る物体の移動方向又は速さ等に基づいて、危険度とは別の外部環境に関するスコアを算出し、そのスコアに応じて、カメラ30のフレームレートを変更してもよい。以下、MoPU12がカメラ30に写る物体の速さに関するスコアである速さスコアを算出し、速さスコアに応じて、カメラ30のフレームレートを変更する場合について説明する。一例として、速さスコアは、物体の速度が速いほど高くなり、遅いほど低くなるよう設定されている。そして、MoPU12は、算出した速さスコアが高いほどカメラ30のフレームレートを高くし、低いほどカメラ30のフレームレートを低くする。このため、MoPU12は、物体の速度が速いために算出した速さスコアが閾値以上となった場合、カメラ30のフレームレートを1920フレーム/秒に変更する。また、MoPU12は、物体の速度が遅いために算出した速さスコアが閾値未満となった場合、カメラ30のフレームレートを120フレーム/秒に変更する。なお、この場合も上記と同様に、変更したカメラ30のフレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影する(変更したカメラ30のフレームレートに応じた数値でのレーダー信号の取得及び赤外線画像を得るための撮影を行う)ように、レーダー32及び赤外線カメラ34へ制御信号を出力してもよい。
次に、MoPU12がカメラ30に写る物体の移動方向に関するスコアである方向スコアを算出し、方向スコアに応じて、カメラ30のフレームレートを変更する場合について説明する。一例として、方向スコアは、物体の移動方向が道路に近づく方向であると高くなり、道路から離れる方向であると低くなるよう設定されている。そして、MoPU12は、算出した方向スコアが高いほどカメラ30のフレームレートを高くし、低いほどカメラ30のフレームレートを低くする。具体的には、MoPU12は、AIを利用することなどにより物体の移動方向を特定し、特定した移動方向に基づいて方向スコアを算出する。そして、MoPU12は、物体の移動方向が道路に近づく方向であったために算出した方向スコアが閾値以上となった場合、カメラ30のフレームレートを1920フレーム/秒に変更する。また、MoPU12は、物体の移動方向が道路から離れる方向であったために算出した方向スコアが閾値未満となった場合、カメラ30のフレームレートを120フレーム/秒に変更する。なお、この場合も上記と同様に、変更したカメラ30のフレームレートに応じた数値でレーダー信号を取得及び赤外線画像を撮影する(変更したカメラ30のフレームレートに応じた数値でのレーダー信号の取得及び赤外線画像を得るための撮影を行う)ように、レーダー32及び赤外線カメラ34へ制御信号を出力してもよい。
また、MoPU12は、算出した外部環境に関するスコアが所定の閾値以上の物体についてのみ点情報を出力してもよい。この場合、例えば、MoPU12は、カメラ30に写る物体の移動方向に応じてその物体についての点情報を出力するか否かを判定してもよい。例えば、MoPU12は、車両100の走行に対する影響が低い物体についての点情報は出力しなくてもよい。具体的には、MoPU12は、カメラ30に写る物体の移動方向を算出し、道路から遠ざかっていく歩行者等の物体についての点情報は出力しない。一方、MoPU12は、道路に近づく物体(例えば、道路に飛び出しそうな歩行者等の物体)についての点情報は出力する。この構成により、情報処理装置10によれば、車両100の走行に対する影響が低い物体についての点情報を出力せずに済む。
また、以上の説明では、MoPU12が危険度を算出する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、MoPU12に代えてCentral Brain15が危険度を算出してもよい。この場合、Central Brain15は、複数種類のセンサから取り入れられたセンサ情報及びMoPU12から出力された点情報に基づいて、車両100に対する外部環境に関するスコアとして、車両100の移動に関する危険度を算出する。そして、Central Brain15は、算出した危険度に応じてカメラ30のフレームレートを変更する指示をMoPU12に出力する。
また、以上の説明では、MoPU12が、カメラ30が撮影した画像(カメラ30が撮影を行うことで得た画像)に基づいて点情報を出力する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、MoPU12は、カメラ30が撮影した画像(カメラ30が撮影を行うことで得た画像)に代えて、レーダー信号及び赤外線画像に基づいて点情報を出力してもよい。MoPU12は、赤外線カメラ34が撮影した物体の赤外線画像からは、カメラ30が撮影した画像(カメラ30が撮影を行うことで得た画像)と同様に物体のx座標値及びy座標値を導出することが可能である。レーダー32は、レーダー信号に基づく物体の3次元点群データを取得することが可能である。つまり、レーダー32は、上記3次元直交座標系におけるz軸の座標を検出することが可能である。ここで、z軸は、物体の奥行き方向及び車両100の進行方向に沿った軸であり、以下では、z軸の座標値を「z座標値」と記載する。この場合、MoPU12は、ステレオカメラの原理を利用して、レーダー32が物体の3次元点群データを取得したタイミングと同じタイミングで赤外線カメラ34により撮影された当該物体のx座標値及びy座標値と、当該3次元点群データが示す当該物体のz座標値とを組み合わせて、点情報として物体の3つの座標軸(x軸、y軸、及びz軸)の座標値を導出する。そして、MoPU12は、導出した点情報をCentral Brain15に出力する。
また、以上の説明では、MoPU12が点情報を導出する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、MoPU12に代えてCentral Brain15が点情報を導出してもよい。Central Brain15が点情報を導出することは、例えば、カメラ30L、カメラ30R、レーダー32、及び赤外線カメラ34が検出した情報を組み合わせることで実現される。具体例として、Central Brain15は、カメラ30Lにより撮影された物体のx座標値及びy座標値と、カメラ30Rにより撮影された物体のx座標値及びy座標値とに基づいて三点測量を行うことにより、点情報として物体の3つの座標軸(x軸、y軸、及びz軸)の座標値を導出する。
また、以上の説明では、Central Brain15が、IPU11から出力された画像及びラベル情報と、MoPU12から出力された点情報とに基づいて車両100の自動運転を制御する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、Central Brain15は、IPU11及びMoPU12から出力された上記情報に基づいて、ロボットの動作制御を行ってもよい。ロボットは、人間の代わりに作業を行う人型のスマートロボットであってもよい。この場合、Central Brain15は、IPU11及びMoPU12から出力された上記情報に基づいて、ロボットの腕、手のひら、指、及び足等の動作制御を行って、物体を握る、掴む、抱える、背負う、移動させる、運ぶ、投げる、蹴る、及び避ける等の動作を行わせる。Central Brain15がロボットの動作制御を行う場合、IPU11及びMoPU12は、ロボットの右目及び左目の位置に搭載されてもよい。つまり右目には右目用のIPU11及びMoPU12を搭載し、左目には左目用のIPU11及びMoPU12を搭載してもよい。
(第3の実施形態)
次に、本実施形態に係る第3の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
一例として、第3の実施形態に係る情報処理装置10は、第1の実施形態と同様の図2に示す構成を備えている。
第3の実施形態に係るMoPU12は、点情報として、別カメラにより撮影された画像(別カメラにより撮影が行われることで得られた画像)から認識した物体の輪郭を囲む多角形の頂点の少なくとも対角となる2点の座標値を出力する。当該座標値は、第1の実施形態と同様、上記3次元直交座標系における物体のx座標値及びy座標値である。
図4は、MoPU12が出力する点情報の例を示す説明図である。図4では、MoPU12が、別カメラにより撮影された画像(別カメラにより撮影が行われることで得られた画像)に含まれる4つの物体のそれぞれについて、当該物体の輪郭を四角形で囲んだバウンディングボックス21、22、23、24が示されている。そして、図4は、MoPU12が、物体の輪郭を囲む四角形のバウンディングボックス21、22、23、24の頂点の対角となる2点の座標値を点情報として出力した態様を例示している。このように、MoPU12は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。
また、物体を一定の大きさを持つオブジェクトとして捉える場合、MoPU12は、別カメラにより撮影された画像(別カメラにより撮影が行われることで得られた画像)から認識した物体の輪郭を囲む多角形の頂点の対角となる2点の座標値ではなく、物体の輪郭を囲む多角形の複数の頂点の座標値を点情報として出力してもよい。例えば、図4を例にすると、MoPU12は、当該物体の輪郭を四角形で囲んだバウンディングボックス21、22、23、24の4つの頂点全ての座標値を点情報として出力してもよい。
(第4の実施形態)
次に、本実施形態に係る第4の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
一例として、第4の実施形態に係る情報処理装置10は、第1の実施形態と同様の図2に示す構成を備えている。
第4の実施形態に係る情報処理装置10が搭載される車両100は、レーダー、LiDAR、高画素・望遠・超広角・360度・高性能カメラ、ビジョンセンサ、音センサ、超音波センサ、振動センサ、赤外線センサ、紫外線センサ、電波センサ、温度センサ、及び湿度センサの少なくとも1つから構成されるセンサを備えている。情報処理装置10がセンサから取り入れるセンサ情報として、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、周囲の状況(鳥、動物、サッカーボール、事故車、地震、火事、風、台風、大雨、小雨、吹雪、霧、など)等が挙げられる。センサは「検知部」の一例であり、センサ情報は「検知情報」の一例である。
第4の実施形態に係るCentral Brain15は、センサが検知したセンサ情報に基づいて、車両100の自動運転を制御するための制御変数を算出する。Central Brain15は、10億分の1秒毎にセンサ情報を取得する。具体的には、Central Brain15は、車両100の4つの車輪それぞれの車輪速、傾き、及び車輪を支持するサスペンションを制御するための制御変数を算出する。なお、車輪の傾きは、道路に対して水平な軸に対する車輪の傾き、及び道路に対して垂直な軸に対する車輪の傾きの双方を含む。この場合、Central Brain15は、4つの車輪それぞれの車輪速、道路に対して水平な軸に対する4つの車輪それぞれの傾き、道路に対して垂直な軸に対する4つの車輪それぞれの傾き、及び4つの車輪それぞれを支持するサスペンションを制御するための計16の制御変数を算出する。
そして、Central Brain15は、上記で算出した制御変数と、MoPU12から出力された点情報及びIPU11から出力されたラベル情報とに基づいて、車両100の自動運転を制御する。具体的には、Central Brain15は、上記16の制御変数に基づいて、4つの車輪にそれぞれ搭載されたインホイールモータを制御することで、車両100の4つの車輪それぞれの車輪速、傾き、及び4つの車輪それぞれを支持するサスペンションを制御して自動運転を行う。また、Central Brain15は、点情報及びラベル情報に基づいて、車両100の周囲に存在する何であるか認識された物体の位置及び動きを認識し、この認識した情報に基づいて、例えば、物体との衝突を回避するように車両100の自動運転を制御する。このようにCentral Brain15が車両100の自動運転を制御することで、例えば、車両100が山道を走行する場合には当該山道に合わせた最適なステアリングを行うことができ、車両100を駐車場に駐車する場合には当該駐車場に合わせた最適なアングルで走行することができる。
ここで、Central Brain15は、機械学習、より詳しくは深層学習(Deep Learning)を用いて、上記センサ情報及び図示しないサーバ等からネットワークを介して取得可能な情報から制御変数を推論することが可能なものであってよい。換言すると、Central Brain15はAIで構成することができる。
Central Brain15は、10億分の1秒毎の上記センサ情報及びロングテールインシデントAI dataの計算力であって、Level6を実現する上で用いられる計算力(以下、「Level6の計算力」とも称する)を用い、下記式(1)に示すような積分法による多変量解析(例えば式(2)参照)を行うことで、制御変数を求め得る。より詳しくは、Level6の計算力で各種Ultra High Resolutionのデルタ値の積分値を求めながら、エッジレベルでかつリアルタイムで各制御変数を求め、次の10億分の1秒に発生する結果(すなわち、各制御変数)を最も高い確率論値で取得し得る。これを実現するためには、例えば、空気抵抗、道路抵抗、道路要素(例えばゴミ)、及び滑り係数等の各変数(例えば、上記センサ情報及びネットワークを介して取得可能な情報)を特定可能な関数(換言すると、各変数の挙動を示す関数)のデルタ値(例えば、微小時間の変化値)を時間積分することにより得られる積分値をCentral Brain15の深層学習モデル(例えば、ニューラルネットワークに対して深層学習が行われることによって得られた学習済みモデル)に入力する。Central Brain15の深層学習モデルは、入力された積分値に対応する制御変数(例えば、最も高い確信度(すなわち、評価値)の制御変数)を出力する。制御変数の出力は10億分の1秒単位で行われる。
なお、一例として、式(1)において、“f(A)”は、例えば、空気抵抗、道路抵抗、道路要素(例えばゴミ)、及び滑り係数等の各変数の挙動を示す関数が簡略化されて表現された式である。また、一例として、式(1)は、“f(A)”の時刻aから時刻bまでの時間積分vを示す式である。式(2)中のDLは深層学習(例えば、ニューラルネットワークに対して深層学習が行われることによって最適化された深層学習モデル)を示し、dA/dtは、f(A,B,C,D,・・・,N)のデルタ値を示し、A,B,C,D,…,Nは、空気抵抗、道路抵抗、道路要素(例えばゴミ)、及び滑り係数等の各変数を示し、f(A,B,C,D,・・・,N)は、A,B,C,D,…,Nの挙動を示す関数を示し、Vは、ニューラルネットワークに対して深層学習が行われることによって最適化された深層学習モデルから出力される値(制御変数)を示す。
なお、ここでは、関数のデルタ値を時間積分することにより得られる積分値をCentral Brain15の深層学習モデルに入力する形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、空気抵抗、道路抵抗、道路要素、及び滑り係数等の各変数の挙動を示す関数のデルタ値を時間積分することにより得られる積分値(例えば、次の10億分の1秒に発生する結果)がCentral Brain15の深層学習モデルによって推論され、推論結果として、最も高い確信度(すなわち、評価値)の積分値が10億分の1秒毎にCentral Brain15によって取得されるようにしてもよい。
また、ここでは、深層学習モデルに積分値を入力したり、深層学習モデルから積分値を出力したりする形態例を挙げているが、これは、あくまでも一例に過ぎず、積分値を用いなくても本開示の技術は成立する。例えば、A,B,C,D,…,Nに相当する値を例題データとし、少なくとも1つの制御変数(例えば、次の10億分の1秒に発生する結果)に相当する値を正解データとした教師データを用いた深層学習がニューラルネットワークに対して行われることで最適化された深層学習モデルによって少なくとも1つの制御変数が推論されるようにしてもよい。
Central Brain15にて得られた制御変数は、Deep Learningの回数を増加させることによりさらに精緻化させ得る。例えば、タイヤや、モータの回転、ステアリング角度や、道路の材質、天気、ごみや二次曲線的減速時における影響、スリップ、バランス崩壊や再獲得のためのステアリングやスピードコントロールの仕方等の膨大なデータやロングテールインシデントAI dataを用いてより正確な制御変数を算出することができる。
(第5の実施形態)
次に、本実施形態に係る第5の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図5は、情報処理装置10の構成の一例を示す第3のブロック図である。なお、図5は、情報処理装置10の一部の構成のみを示している。
図5に示すように、MoPU12では、カメラ30により撮影された物体の可視光画像及び赤外線画像が、それぞれ、100フレーム/秒以上のフレームレートでコア17に入力される。当該カメラ30は、物体の可視光画像を撮影可能な可視光カメラ30A及び物体の赤外線画像を撮影可能な赤外線カメラ30Bを含んで構成されている。そして、コア17は、入力された可視光画像及び赤外線画像の少なくとも一方に基づいて、点情報をCentral Brain15に出力する。
ここで、コア17は、可視光カメラ30Aにより撮影された物体の可視光画像から物体を識別できる場合には、当該可視光画像に基づいて点情報を出力する。一方、コア17は、所定要因により当該可視光画像から物体を捉えられない場合、赤外線カメラ30Bにより撮影された物体の赤外線画像に基づいて点情報を出力する。例えば、所定要因として暗闇の影響により、コア17が可視光画像から物体を捉えられない場合が想定される。この場合には、コア17は、赤外線カメラ30Bを用いて物体の熱を検知し、その検知結果である赤外線画像に基づいて、物体の点情報を出力する。なお、これに限らず、コア17は、可視光画像及び赤外線画像に基づいて点情報を出力してもよい。
また、MoPU12は、可視光カメラ30Aにより可視光画像を撮影する(可視光画像を得るための撮影が可視光カメラ30Aによって行われる)タイミングと、赤外線カメラ30Bにより赤外線画像を撮影する(赤外線画像を得るための撮影が赤外線カメラ30Bによって行われる)タイミングとを同期させる。具体的には、MoPU12は、同じタイミングで可視光画像及び赤外線画像を撮影する(MoPU12は、可視光の撮影を赤外線の撮影を行う)ように、カメラ30へ制御信号を出力する。これにより、可視光カメラ30Aによって撮影される1秒あたりの画像数(可視光カメラ30Aが撮影を行うことによって得られる1秒あたりの画像数)と、赤外線カメラ30Bによって撮影される1秒あたりの画像数(赤外線カメラ30Bが撮影を行うことによって得られる1秒あたりの画像数)とが同期する(例えば、1920フレーム/秒)。
(第6の実施形態)
次に、本実施形態に係る第6の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図6は、情報処理装置10の構成の一例を示す第4のブロック図である。なお、図6は、情報処理装置10の一部の構成のみを示している。
図6に示すように、MoPU12では、カメラ30により撮影された物体の画像及びレーダー32により物体に照射された電磁波の物体からの反射波に基づくレーダー信号が、それぞれ、100フレーム/秒以上のフレームレートでコア17に入力される。そして、コア17は、入力された物体の画像及びレーダー信号に基づいて、点情報をCentral Brain15に出力する。コア17は、入力された物体の画像からは、物体のx座標値及びy座標値を導出することが可能である。上述の通り、レーダー32は、レーダー信号に基づく物体の3次元点群データを取得し、上記3次元直交座標系におけるz軸の座標を検出することが可能である。この場合、コア17は、ステレオカメラの原理を利用して、レーダー32が物体の3次元点群データを取得したタイミングと同じタイミングでカメラ30により撮影された当該物体のx座標値及びy座標値と、当該3次元点群データが示す当該物体のz座標値とを組み合わせて、点情報として物体の3つの座標軸(x軸、y軸、及びz軸)の座標値を導出する。なお、上記でコア17に入力された物体の画像は、可視光画像及び赤外線画像の少なくとも1つを含むものであってもよい。
また、MoPU12は、カメラ30により画像を撮影する(カメラ30が撮影を行う)タイミングと、レーダー32がレーダー信号に基づく物体の3次元点群データを取得するタイミングとを同期させる。具体的には、MoPU12は、同じタイミングで画像を撮影し、物体の3次元点群データを取得するように、カメラ30及びレーダー32へ制御信号を出力する。これにより、カメラ30によって撮影される1秒あたりの画像数(カメラ30が撮影を行うことによって得られる1秒あたりの画像数)と、レーダー32によって取得される1秒あたりの3次元点群データの数とが同期する(例えば、1920フレーム/秒)。このように、カメラ30によって撮影される1秒あたりの画像数(カメラ30が撮影を行うことによって得られる1秒あたりの画像数)及びレーダー32によって取得される1秒あたりの3次元点群データの数は、IPU11が備える超高解像度カメラのフレームレート、すなわち、超高解像度カメラによって撮影される1秒あたりの画像数(超高解像度カメラが撮影を行うことによって得られる1秒あたりの画像数)より多い。
(第7の実施形態)
次に、本実施形態に係る第7の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
一例として、第7の実施形態に係る情報処理装置10は、第1の実施形態と同様の図2に示す構成を備えている。
第7の実施形態に係るCentral Brain15は、IPU11がラベル情報を出力したタイミングと同じタイミングでMoPU12から出力された点情報を、当該ラベル情報に対応付ける。また、Central Brain15は、点情報及びラベル情報を対応付けた後にMoPU12から新たな点情報が出力された場合、新たな点情報についても当該ラベル情報と対応付ける。新たな点情報は、ラベル情報と対応付けた点情報が示す物体と同一の物体の点情報であって、当該対応付けが行われてから次のラベル情報が出力されるまでの間の一又は複数の点情報である。第7の実施形態では、上記実施形態と同様、MoPU12が内蔵された別カメラのフレームレートは100フレーム/秒以上(例えば、1920フレーム/秒)であり、IPU11が内蔵された超高解像度カメラのフレームレートは10フレーム/秒である。
図7は、点情報とラベル情報との対応付けの一例を示す説明図である。以下の説明では、MoPU12から出力される1秒あたりの点情報の数を「点情報の出力レート」と称し、IPU11から出力される1秒あたりのラベル情報の数を「ラベル情報の出力レート」と称する。
図7には、物体B14の点情報P4の出力レートの時系列が示されている。物体B14についての点情報P4の出力レートは1920フレーム/秒である。また、点情報P4は、図中右から左へ移動している。物体B14についてのラベル情報の出力レートは10フレーム/秒であり、点情報P4の出力レートよりも低い。
まず、時刻t0の時点では、物体B14についてのラベル情報はIPU11から出力されていない。そのため、時刻t0の時点では、Central Brain15は、点情報P4に基づいて物体B14の座標値(位置情報)を認識するが、物体B14が何であるかは認識していない。
次に、時刻t1の時点では、物体B14についてのラベル情報がIPU11から出力されている。そのため、Central Brain15は、当該ラベル情報に基づいて、物体B14についてラベル情報「PERSON」を導出する。そして、Central Brain15は、時刻t1において導出したラベル情報「PERSON」と、時刻t1においてMoPU12から出力された点情報P4の座標値(位置情報)とを対応付ける。これにより、時刻t1の時点では、Central Brain15は、点情報P4に基づいて物体B14の座標値(位置情報)を認識するとともに、その物体B14が何であるかを認識する。
図7では、物体B14についての次のラベル情報がIPU11から出力されるタイミングを時刻t2としている。そのため、時刻t2の時点では、Central Brain15は、IPU11から出力された当該ラベル情報に基づいて、物体B14についてラベル情報「PERSON」を導出する。そして、Central Brain15は、時刻t2において導出したラベル情報「PERSON」と、時刻t2においてMoPU12から出力された点情報P4の座標値(位置情報)とを対応付ける。
ここで、MoPU12が内蔵された別カメラとIPU11が内蔵された超高解像度カメラとのフレームレート差に起因して、時刻t1から時刻t2までの期間は、Central Brain15により物体B14についての点情報P4は取得される一方、ラベル情報は取得されない。この場合、Central Brain15は、時刻t1から時刻t2までの期間に取得した点情報P4については、点情報P4について直前の時刻t1に対応付けたラベル情報「PERSON」と対応付ける。ここで、Central Brain15が時刻t1から時刻t2までの期間に取得した点情報P4は「新たな点情報」の一例である。図7に示す例では、時刻t1から時刻t2までの期間にMoPU12から複数の点情報P4が出力されたため、Central Brain15は、複数の点情報P4を取得している。そのため、図7に示す例では、Central Brain15は、時刻t1から時刻t2までの期間に取得した複数の点情報P4の何れについても直前の時刻t1に対応付けたラベル情報「PERSON」と対応付ける。なお、図7に示す例と異なり、時刻t1から時刻t2までの期間にMoPU12から1つの点情報P4が出力された場合には、Central Brain15は、当該1つの点情報P4について直前の時刻t1に対応付けたラベル情報「PERSON」と対応付ける。
ここで、Central Brain15は、動きを追跡している物体の種別が不確定な期間が生じても、その物体の点情報が高フレームレートで継続的に出力されるため、当該物体の座標値(位置情報)を見失うリスクは低い。このため、Central Brain15は、点情報とラベル情報との対応付けを1度行った場合、次のラベル情報を取得するまでの間に取得した点情報については、直前のラベル情報を推定的に付与することが可能となる。
(第8の実施形態)
次に、本実施形態に係る第8の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
車両100の自動運転を制御する情報処理装置10が高度な演算処理を行う際に、発熱が課題となる。そこで、第8の実施形態は、情報処理装置10に対する冷却機能を有する車両100を提供する。
図8は、車両100の概略構成を示す説明図である。図8に示すように、車両100には、情報処理装置10、冷却実行装置110、及び冷却部120が搭載されている。
第8の実施形態に係る情報処理装置10は、車両100の自動運転を制御する装置であって、一例として、第1の実施形態と同様の図2に示す構成を備えている。冷却実行装置110は、情報処理装置10による物体の検出結果を取得し、当該検出結果に基づいて、情報処理装置10に対する冷却を冷却部120に実行させる。冷却部120は、空冷手段、水冷手段、及び液体窒素冷却手段等の少なくとも1つの冷却手段を用いて情報処理装置10を冷却する。以下では、情報処理装置10における冷却対象を、車両100の自動運転を制御するCentral Brain15(詳しくは、Central Brain15を構成するCPU14)として説明するが、これに限定はされない。
情報処理装置10及び冷却実行装置110は、図示しないネットワークを介して通信可能に接続されている。当該ネットワークは、車両ネットワーク、インターネット、LAN(Local Area Network)、及び移動体通信ネットワークの何れであってもよい。移動体通信ネットワークは、5G(5th Generation)通信方式、LTE(Long Term Evolution)通信方式、3G(3rd Generation)通信方式、及び6G(6th Generation)通信方式以降の通信方式の何れに準拠していてもよい。
図9は、冷却実行装置110の機能構成の例を示すブロック図である。図9に示すように、冷却実行装置110は、機能構成として、取得部112、実行部114、及び予測部116を有する。
取得部112は、情報処理装置10による物体の検出結果を取得する。例えば、当該検出結果として、取得部112は、MoPU12から出力される物体の点情報を取得する。
実行部114は、取得部112が取得した物体の検出結果に基づいて、Central Brain15に対する冷却を実行させる。例えば、実行部114は、MoPU12から出力された物体の点情報に基づいて、当該物体が移動していることを認識した場合、冷却部120によるCentral Brain15に対する冷却を開始させる。
なお、実行部114は、物体の検出結果に基づいてCentral Brain15に対する冷却を実行させることに限らず、情報処理装置10の作動状況の予測結果に基づいてCentral Brain15に対する冷却を実行させてもよい。
ここで、予測部116は、取得部112が取得した物体の検出結果に基づいて、情報処理装置10、具体的には、Central Brain15の作動状況を予測する。例えば、予測部116は、所定の記憶領域に記憶されている学習モデルを取得する。そして、予測部116は、取得部112が取得したMoPU12から出力された物体の点情報を学習モデルに入力することによって、Central Brain15の作動状況を予測する。ここで、学習モデルは、当該作動状況として、Central Brain15のコンピューティングパワーの状況及び変化量を出力する。また、予測部116は、当該作動状況と共に情報処理装置10、具体的には、Central Brain15の温度変化を予測して出力してもよい。例えば、予測部116は、取得部112が取得したMoPU12から出力された物体の点情報の数に基づいて、Central Brain15の温度変化を予測する。この場合、予測部116は、点情報の数が多いほど温度変化が大きくなると予測し、点情報の数が少ないほど温度変化が小さくなると予測する。
上記の場合、実行部114は、予測部116によるCentral Brain15の作動状況の予測結果に基づいて、冷却部120によるCentral Brain15に対する冷却を開始させる。例えば、実行部114は、当該作動状況として予測されたCentral Brain15のコンピューティングパワーの状況及び変化量が所定の閾値を超えた場合、冷却部120による冷却を開始させる。また、実行部114は、当該作動状況として予測されたCentral Brain15の温度変化に基づく温度が所定の閾値を超えた場合、冷却部120による冷却を開始させる。
また、実行部114は、予測部116によるCentral Brain15の温度変化の予測結果に応じた冷却手段を用いて、Central Brain15に対する冷却を実行させてもよい。例えば、実行部114は、予測されたCentral Brain15の温度が高いほど、多数の冷却手段を用いて冷却部120に冷却を実行させてもよい。具体例として、実行部114は、Central Brain15の温度が第1閾値を超えることが予測された場合、1つの冷却手段を用いて冷却部120に冷却を実行させる。一方、実行部114は、Central Brain15の温度が第1閾値よりも高い第2閾値を超えることが予測された場合、複数の冷却手段を用いて冷却部120に冷却を実行させる。
また、実行部114は、予測されたCentral Brain15の温度が高いほど、強力な冷却手段を用いて、Central Brain15に対する冷却を実行させてもよい。例えば、実行部114は、Central Brain15の温度が第1閾値を超えることが予測された場合、空冷手段を用いて冷却部120に冷却を実行させる。また、実行部114は、Central Brain15の温度が第1閾値よりも高い第2閾値を超えることが予測された場合、水冷手段を用いて冷却部120に冷却を実行させる。さらに、実行部114は、Central Brain15の温度が第2閾値よりも高い第3閾値を超えることが予測された場合、液体窒素冷却手段を用いて冷却部120に冷却を実行させる。
さらに、実行部114は、取得部112が取得したMoPU12から出力された物体の点情報の数に基づいて、冷却に用いる冷却手段を決定してもよい。この場合、実行部114は、点情報の数が多いほど強力な冷却手段を用いて、Central Brain15に対する冷却を実行させてもよい。例えば、実行部114は、点情報の数が第1閾値を超える場合、空冷手段を用いて冷却部120に冷却を実行させる。また、実行部114は、点情報の数が第1閾値よりも高い第2閾値を超える場合、水冷手段を用いて冷却部120に冷却を実行させる。さらに、実行部114は、点情報の数が第2閾値よりも高い第3閾値を超える場合、液体窒素冷却手段を用いて冷却部120に冷却を実行させる。
ところで、Central Brain15が作動する契機として、車道に存在する動く物体を検出した場合がある。例えば、車両100が自動運転を行っている際に車道に存在する動く物体が検出された場合、Central Brain15は、当該物体に対して車両100を制御するための演算処理を行うことがある。上述のように、車両100の自動運転を制御するCentral Brain15が高度な演算処理を行う際の発熱が課題となる。そこで、第8の実施形態に係る冷却実行装置110は、情報処理装置10による物体の検出結果に基づいてCentral Brain15の放熱を予測し、放熱の開始前又は放熱の開始と同時にCentral Brain15に対する冷却を実行させる。これにより、Central Brain15は、車両100の自動運転中に高温となることが抑制され、当該自動運転中における高度な演算が可能となる。
(第9の実施形態)
次に、本実施形態に係る第9の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
第9の実施形態に係る情報処理装置10が備えるMoPU12は、カメラ30により撮影された物体の画像から、点情報として物体のz座標値を導出する。以下、第9の実施形態に係る情報処理装置10の各態様について順に説明する。
第1態様に係る情報処理装置10は、第2の実施形態と同様の図3に示す構成を備えている。
上記第1態様において、MoPU12は、複数のカメラ30、具体的には、カメラ30L及びカメラ30Rにより撮影された物体の画像から、点情報として物体のz座標値を導出する。上述の通り、1つのMoPU12を用いた場合は、点情報として物体のx座標値及びy座標値を導出することが可能である。ここで、2つのMoPU12を用いた場合は、ステレオカメラの原理を利用して、2つのカメラ30により撮影された物体の画像に基づいて点情報として物体のz座標値を導出することが可能である。そのため、当該第1態様は、ステレオカメラの原理を利用して、MoPU12Lのカメラ30L及びMoPU12Rのカメラ30Rによりそれぞれ撮影された物体の画像に基づいて、点情報として物体のz座標値を導出する。
第2態様に係る情報処理装置10は、第2の実施形態と同様の図3に示す構成を備えている。
上記第2態様において、MoPU12は、カメラ30により撮影された物体の画像及びレーダー32により物体に照射された電磁波の物体からの反射波に基づくレーダー信号から、点情報として物体のx座標値、y座標値、及びz座標値を導出する。上述の通り、レーダー32は、レーダー信号に基づく物体の3次元点群データを取得することが可能である。つまり、レーダー32は、上記3次元直交座標系におけるz軸の座標を検出することが可能である。この場合、MoPU12は、ステレオカメラの原理を利用して、レーダー32が物体の3次元点群データを取得したタイミングと同じタイミングでカメラ30により撮影された当該物体のx座標値及びy座標値と、当該3次元点群データが示す当該物体のz座標値とを組み合わせて、点情報として物体の3つの座標軸の座標値を導出する。
第3態様に係る情報処理装置10は、図10に示す構成を備えている。図10は、情報処理装置10の構成の一例を示す第5のブロック図である。なお、図10は、情報処理装置10の一部の構成のみを示している。
上記第3態様において、MoPU12は、カメラ30により撮影された物体の画像及び照射装置130により物体に照射されたストラクチャードライトを撮影した結果から、点情報として物体のz座標値を導出する。
図10に示すように、MoPU12では、カメラ30により撮影された物体の画像及び照射装置130により物体に照射されたストラクチャードライトをカメラ140が撮影した結果であるストラクチャードライトのパターンの歪みを示す歪み情報が、それぞれ、100フレーム/秒以上のフレームレートでコア17に入力される。そして、コア17は、入力された物体の画像及び歪み情報に基づいて、点情報をCentral Brain15に出力する。
ここで、物体の3次元位置又は形状を識別する方式の1つとして、ストラクチャードライト方式がある。ストラクチャードライト方式は、ドット状にパターニングされたストラクチャードライトを物体に照射し、そのパターンの歪みから奥行き情報を取得するものである。ストラクチャードライト方式は、例えば、参考文献(http://ex-press.jp/wp-content/uploads/2018/10/018_teledyne_3rd.pdf)に開示されている。
図10に示す照射装置130は、物体にストラクチャードライトを照射する。また、カメラ140は、照射装置130により物体に照射されたストラクチャードライトを撮影する。そして、カメラ140は、撮影したストラクチャードライトのパターンの歪みに基づく歪み情報をコア17に出力する。
ここで、MoPU12は、カメラ30により画像を撮影する(カメラ30が撮影を行う)タイミングと、カメラ140によりストラクチャードライトを撮影するタイミングとを同期させる。具体的には、MoPU12は、同じタイミングで画像を撮影する(同じタイミングで物体を撮影する)ように、カメラ30及びカメラ140へ制御信号を出力する。これにより、カメラ30によって撮影される1秒あたりの画像数(カメラ30が撮影を行うことによって得られる1秒あたりの画像数)と、カメラ140によって撮影される1秒あたりの画像数(カメラ140が撮影を行うことによって得られる1秒あたりの画像数)とが同期する(例えば、1920フレーム/秒)。このように、カメラ30によって撮影される1秒あたりの画像数(カメラ30が撮影を行うことによって得られる1秒あたりの画像数)及びカメラ140によって撮影される1秒あたりの画像数(カメラ140が撮影を行うことによって得られる1秒あたりの画像数)は、IPU11が備える超高解像度カメラのフレームレート、すなわち、超高解像度カメラによって撮影される1秒あたりの画像数より多い。
そして、コア17は、カメラ140によりストラクチャードライトが撮影されたタイミングと同じタイミングでカメラ30により撮影された当該物体のx座標値及びy座標値と、当該ストラクチャードライトのパターンの歪みに基づく歪み情報とを組み合わせて、点情報として物体のz座標値を導出する。
第4態様に係る情報処理装置10は、図11に示す構成を備えている。図11は、情報処理装置10の構成の一例を示す第6のブロック図である。なお、図11は、情報処理装置10の一部の構成のみを示している。
図11に示すブロック図は、図2に示すブロック図の構成にLidarセンサ18を加えたものである。Lidarセンサ18は、3次元空間に存在する物体及び車両100が走行中の路面を含む点群データを取得するセンサである。情報処理装置10は、Lidarセンサ18により取得した点群データを用いることで、物体の奥行き方向における位置情報、すなわち、物体のz座標値を導出することができる。なお、Lidarセンサ18により取得される点群データは、MoPU12から出力される物体のx座標値及びy座標値より長い間隔で取得されることを想定する。また、MoPU12は、第9の実施形態の上記態様と同様にカメラ30を備えている。
第4態様では、MoPU12は、ステレオカメラの原理を利用して、Lidarセンサ18が物体の点群データを取得したタイミングと同じタイミングでカメラ30により撮影された当該物体のx座標値及びy座標値と、当該点群データが示す当該物体のz座標値とを組み合わせて、点情報として物体の3つの座標軸の座標値を導出する。
ここで、上記第4態様において、MoPU12は、時刻tの物体のx座標値、y座標値、及びz座標値と、時刻tの次の時点である(例えば時刻t+1)における物体のx座標値及びy座標値とから、点情報として時刻t+1における物体のz座標値を導出する。時刻tは「第1時点」の一例であり、時刻t+1は「第2時点」の一例である。第4態様では、時刻t+1における物体のz座標値は、形状情報、すなわち、ジオメトリを用いて導出する。以下、この詳細について説明する。
図12は、物体の時系列における座標検出を模式的に示す図である。図12においてJは矩形で表された物体の位置を示し、物体の位置はJ1からJ2に時系列に移動している。図12において、物体がJ1に位置する時刻tにおける物体の座標値が(x1、y1、z1)であり、物体がJ2に位置する時刻t+1における物体の座標値が(x2、y2、z2)である。
まず、時刻tについて説明する。
MoPU12は、カメラ30により撮影された物体の画像から、当該物体のx座標値及びy座標値を導出する。続いて、MoPU12は、Lidarセンサ18から取得した点群データが示す当該物体のz座標値と上記x座標値及びy座標値とを統合して、時刻tにおける当該物体の3次元座標値(x1、y1、z1)を導出する。
次に、時刻t+1について説明する。
MoPU12は、空間のジオメトリと、時刻tから時刻t+1への物体のx座標値及びy座標値の変化とに基づいて、時刻t+1における当該物体のz座標値を導出する。空間のジオメトリには、IPU11が備える超高解像度カメラにより撮影された画像(超高解像度カメラにより撮影が行われることで得られた画像)及びLidarセンサ18の点群データから得られる路面の形状と、車両100の形状とが含まれる。
路面の形状を示すジオメトリは、時刻tの時点であらかじめ生成しておく。MoPU12は、路面の形状を示すジオメトリと合わせて車両100の形状を示すジオメトリを利用することで、路面上を車両100が走行する場合をシミュレーションでき、x軸、y軸、及びz軸の各軸の移動量を推定できる。
そのため、MoPU12は、カメラ30により撮影された物体の画像から、時刻t+1における当該物体のx座標値及びy座標値を導出する。MoPU12は、当該物体が時刻tのx座標値及びy座標値(x1、y1)から時刻t+1のx座標値及びy座標値(x2、y2)に変化したときのz軸の移動量をシミュレーションから算出することで、時刻t+1における当該物体のz座標値を導出することができる。そして、MoPU12は、上記x座標値及びy座標値とz座標値とを統合して、時刻t+1における当該物体の3次元座標値(x2、y2、z2)を導出する。
図12に示すように、物体は、平面座標の移動(すなわち、x軸及びy軸)と共に奥行き方向に移動しているため、車両100の自動運転を高精度に制御するためにはz軸方向の移動も検知する必要がある。ここで、MoPU12は、Lidarセンサ18の点群データから導出可能な物体のz座標値を、当該物体のx座標値及びy座標値ほど高速に取得できない場合もある。そのため、上記第4態様では、MoPU12は、時刻tの物体のx座標値、y座標値、及びz座標値と時刻t+1における物体のx座標値及びy座標値とから、時刻t+1における物体のz座標値を導出することとしている。これにより、上記第4態様に係る情報処理装置10によれば、MoPU12により、高速フレームショットによる2次元の動き検知と共に3次元の動き検知が、高性能かつ低用量のデータで実現できる。
また、以上の説明では、MoPU12がカメラ30により撮影された物体の画像から、点情報として物体のz座標値を導出する場合を例示したが、開示の技術は、この態様に限定されるものではない。例えば、MoPU12に代えてCentral Brain15が点情報として物体のz座標値を導出してもよい。この場合、Central Brain15は、カメラ30により撮影された物体の画像に対して、以上の説明でMoPU12が実行していた処理を行うことにより、点情報として物体のz座標値を導出する。一例として、Central Brain15は、複数のカメラ30、具体的には、カメラ30L及びカメラ30Rにより撮影された物体の画像から、点情報として物体のz座標値を導出する。この場合、Central Brain15は、ステレオカメラの原理を利用して、MoPU12Lのカメラ30L及びMoPU12Rのカメラ30Rによりそれぞれ撮影された物体の画像に基づいて、点情報として物体のz座標値を導出する。
(第10の実施形態)
次に、本実施形態に係る第10の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。
図13は、情報処理装置10の構成の一例を示す第7のブロック図である。なお、図13は、情報処理装置10の一部の構成のみを示している。
図13に示すように、MoPU12では、イベントカメラ30Cにより撮影された物体の画像(以下、「イベント画像」と記載することもある)がコア17に入力される。そして、コア17は、入力されたイベント画像に基づいて、点情報をCentral Brain15に出力する。なお、イベントカメラは、例えば、参考文献(https://dendenblog.xyz/event-based-camera/)に開示されている。
図14は、イベントカメラ30Cにより撮影された物体の画像(イベント画像)を説明するための説明図である。図14(A)は、イベントカメラ30Cによる撮影対象となる物体を示す図である。図14(B)は、イベント画像の一例を示す図である。図14(C)は、イベント画像が表す、現時刻に撮影された画像(現時刻に撮影が行われることによって得られた画像)と前時刻に撮影された画像(前時刻に撮影が行われることによって得られた画像)との差異部分の重心を点情報として算出した例を示す図である。イベント画像は、現時刻に撮影された画像(現時刻に撮影が行われることによって得られた画像)と前時刻に撮影された画像(前時刻に撮影が行われることによって得られた画像)との差異部分が点として抽出される。このため、イベントカメラ30Cを利用した場合には、例えば、図14(B)に示されるように、図14(A)に示される人物領域のうちの移動している各箇所の点が抽出されてしまう。
これに対し、コア17は、図14(C)に示されるように、物体である人物を抽出した後に、人物領域を表す特徴点の座標(例えば、1点のみ)を抽出する。これにより、Central Brain15及びメモリ16に転送されるデータ量を抑制させることできる。イベント画像は、物体である人物を任意のフレームレートで抽出できるため、イベントカメラ30Cの場合は、上記実施形態でMoPU12に搭載されたカメラ30の最大フレームレート(例:1920フレーム/秒)以上のフレームレートで抽出することもでき、物体の点情報を精度良く捉えることができる。
なお、第10の実施形態に係る情報処理装置10は、上記実施形態と同様に、MoPU12がイベントカメラ30Cに加えて、可視光カメラ30Aを備えてもよい。この場合、MoPU12では、可視光カメラ30Aにより撮影された物体の可視光画像及びイベント画像が、それぞれコア17に入力される。そして、コア17は、入力された可視光画像及びイベント画像の少なくとも一方に基づいて、点情報をCentral Brain15に出力する。
例えば、コア17は、可視光カメラ30Aにより撮影された物体の可視光画像から物体を識別できる場合には、当該可視光画像に基づいて点情報を出力する。一方、コア17は、所定要因により当該可視光画像から物体を捉えられない場合、イベント画像に基づいて点情報を出力する。所定要因は、物体の移動速度が所定値以上の場合及び単位時間あたりにおける環境光の光量変化が所定値以上の場合の少なくとも1つを含む。例えば、物体の動作が高速で当該可視光画像から物体を捉えられない場合、コア17は、イベント画像に基づいて物体を識別して、点情報として当該物体のx座標値及びy座標値を出力する。また、逆光等の急激な環境光の光量変化により当該可視光画像から物体を捉えられない場合、コア17は、イベント画像に基づいて物体を識別して、点情報として当該物体のx座標値及びy座標値を出力する。この構成により、情報処理装置10によれば、所定要因に応じて、物体を撮影するカメラ30を使い分けることができる。
(第11の実施形態)
次に、第11の実施形態について、上記実施形態との重複部分を省略又は簡略しつつ説明する。また、本第11の実施形態でも、上記各実施形態と同様に、MoPUがIPUよりも高速な処理を行うことを前提として説明する。
図15は、隊列200を成した状態で道路202上を走行している複数の車両204の一例を示す平面視概略図である。図15に示す例では、複数の車両204の一例として、3台の車両204が示されており、3台の車両204は、隊列200の先頭に位置する先頭車両204A、隊列200の中間に位置する中間車両204B、及び隊列200の最後尾に位置する最後尾車両204Cである。先頭車両204A、中間車両204B、及び最後尾車両204Cは、隊列200を成して道路202上を自動運転で走行する。中間車両204Bは、先頭車両204Aに追従して走行し、最後尾車両204Cは、中間車両204Bに追従して走行する。例えば、先頭車両204A、中間車両204B、及び最後尾車両204Cは、互いに一定の間隔を維持した状態で走行する。
ここで、隊列200は、本開示の「隊列」の一例である。また、複数の車両204は、本開示の「隊列で移動する複数の移動体」の一例である。また、先頭車両204Aは、本開示の「先頭移動体」の一例である。また、中間車両204Bは、本開示の「特定移動体」及び「中間移動体」の一例である。更に、最後尾車両204Cは、本開示の「最後尾移動体」の一例である。
隊列200には、情報処理装置206が用いられる。隊列200の自動運転(すなわち、先頭車両204A、中間車両204B、及び最後尾車両204Cの自動運転)は、情報処理装置206が用いられることによって実現される。情報処理装置206は、本開示の「情報処理装置」及び「コンピュータ」の一例である。
情報処理装置206は、第1情報処理装置206A、第2情報処理装置206B、及び第3情報処理装置206Cを含む。第1情報処理装置206Aは、先頭車両204Aに用いられ、第2情報処理装置206Bは、中間車両204Bに用いられ、第3情報処理装置206Cは、最後尾車両204Cに用いられる。図15に示す例では、第1情報処理装置206Aは、先頭車両204Aに搭載されており、第2情報処理装置206Bは、中間車両204Bに搭載されており、第3情報処理装置206Cは、最後尾車両204Cに搭載されている。
先頭車両204Aには、第1態様センサ208及び第2態様センサ210が搭載されている。第1態様センサ208及び第2態様センサ210は、第1情報処理装置206Aに接続されている。第1態様センサ208は、先頭車両204Aの前方の態様に関する情報を取得するセンサである。第2態様センサ210は、先頭車両204Aの後方の態様に関する情報を取得するセンサである。先頭車両204Aの前方の態様の一例としては、第1前方物体が挙げられる。第1前方物体とは、先頭車両204Aの前方に存在する少なくとも1つの物体を指す。先頭車両204Aの後方の態様の一例としては、第1後方物体が挙げられる。第1後方物体とは、先頭車両204Aの後方に存在する少なくとも1つの物体(換言すると、先頭車両204Aから見て中間車両204B側に存在する少なくとも1つの物体)を指す。
中間車両204Bには、第3態様センサ212、第4態様センサ214、第5態様センサ216、及び第6態様センサ218が搭載されている。第3態様センサ212、第4態様センサ214、第5態様センサ216、及び第6態様センサ218は、第2情報処理装置206Bに接続されている。
第3態様センサ212は、中間車両204Bの前方の態様に関する情報を取得するセンサである。第4態様センサ214は、中間車両204Bの後方の態様に関する情報を取得するセンサである。第5態様センサ216は、中間車両204Bの左側方の態様に関する情報を取得するセンサである。第6態様センサ218は、中間車両204Bの右側方の態様に関する情報を取得するセンサである。中間車両204Bの左側方及び中間車両204Bの右側方は、本開示の技術に係る「側方」の一例である。
中間車両204Bの前方の態様の一例としては、第2前方物体が挙げられる。第2前方物体とは、中間車両204Bの前方に存在する少なくとも1つの物体(換言すると、中間車両204Bから見て先頭車両204A側に存在する少なくとも1つの物体)を指す。中間車両204Bの後方の態様の一例としては、第2後方物体が挙げられる。第2後方物体とは、中間車両204Bの後方に存在する少なくとも1つの物体(換言すると、中間車両204Bから見て最後尾車両204C側に存在する少なくとも1つの物体)を指す。
中間車両204Bの左側方の態様の一例としては、左側方物体が挙げられる。左側方物体とは、中間車両204Bの左側方に存在する少なくとも1つの物体を指す。中間車両204Bの右側方の態様の一例としては、右側方物体が挙げられる。右側方物体とは、中間車両204Bの右側方に存在する少なくとも1つの物体を指す。
最後尾車両204Cには、第7態様センサ220及び第8態様センサ222が搭載されている。第7態様センサ220及び第8態様センサ222は、第3情報処理装置206Cに接続されている。第7態様センサ220は、最後尾車両204Cの前方の態様に関する情報を取得するセンサである。第8態様センサ222は、最後尾車両204Cの後方の態様に関する情報を取得するセンサである。最後尾車両204Cの前方の態様の一例としては、第3前方物体が挙げられる。第3前方物体とは、最後尾車両204Cの前方に存在する少なくとも1つの物体(換言すると、最後尾車両204Cから見て中間車両204B側に存在する少なくとも1つの物体)を指す。最後尾車両204Cの後方の態様の一例としては、第3後方物体が挙げられる。第3後方物体とは、最後尾車両204Cの後方に存在する少なくとも1つの物体を指す。
なお、本第11の実施形態において、先頭車両204Aの前方は、換言すると、隊列200の前方である。また、本第11の実施形態において、中間車両204Bの左側方は、換言すると、隊列200の左側方である。また、本第11の実施形態において、中間車両204Bの右側方は、換言すると、隊列200の右側方である。更に、本第11の実施形態において、最後尾車両204Cの後方は、換言すると、隊列200の後方である。
図16は、第1情報処理装置206A、第2情報処理装置206B、及び第3情報処理装置206Cの構成の一例を示す概念図である。
第1情報処理装置206Aは、先頭車両プロセッサ224、先頭車両メモリ226、及び先頭車両通信I/F228を備えている。ここで、I/Fとは、“Interface”の略称を指す。
先頭車両メモリ226は、コンピュータ読み取り可能な非一時的格納媒体(例えば、フラッシュメモリ等の不揮発性メモリ)である。先頭車両メモリ226には、先頭車両プログラム230が格納されている。先頭車両プログラム230は、本開示の「情報処理プログラム」の一例である。
先頭車両プロセッサ224は、先頭車両制御処理を行う。先頭車両制御処理は、先頭車両プロセッサ224によって先頭車両メモリ226から先頭車両プログラム230が読み出されて実行されることで実現される。詳しくは後述するが、先頭車両制御処理は、先頭車両IPU処理、先頭車両MoPU処理、及び第1Central Brain処理を含む。
先頭車両通信I/F228は、通信プロセッサ及びアンテナ等を含む通信用のインタフェースであり、図1に示すGatewayに含まれている。先頭車両通信I/F228は、異なる車両204(図1参照)間での通信を司る。先頭車両通信I/F228に対して適用される通信規格の一例としては、Wi-Fi(登録商標)又は5G(5th Generation Mobile Communication System)等の無線通信規格が挙げられる。
第2情報処理装置206Bは、中間車両プロセッサ232、中間車両メモリ234、及び中間車両通信I/F236を備えている。
中間車両メモリ234は、コンピュータ読み取り可能な非一時的格納媒体(例えば、フラッシュメモリ等の不揮発性メモリ)である。中間車両メモリ234には、中間車両プログラム238が格納されている。中間車両プログラム238は、本開示の「情報処理プログラム」の一例である。
中間車両プロセッサ232は、中間車両制御処理を行う。中間車両制御処理は、中間車両プロセッサ232によって中間車両メモリ234から中間車両プログラム238が読み出されて実行されることで実現される。詳しくは後述するが、中間車両制御処理は、中間車両IPU処理、中間車両MoPU処理、及び第2Central Brain処理を含む。
中間車両通信I/F236は、先頭車両通信I/F228と同一の構成であり、異なる車両204(図1参照)間での通信を司る。
第3情報処理装置206Cは、最後尾車両プロセッサ240、最後尾車両メモリ242、及び最後尾車両通信I/F244を備えている。
最後尾車両メモリ242は、コンピュータ読み取り可能な非一時的格納媒体(例えば、フラッシュメモリ等の不揮発性メモリ)である。最後尾車両メモリ242には、最後尾車両プログラム246が格納されている。最後尾車両プログラム246は、本開示の「情報処理プログラム」の一例である。
最後尾車両プロセッサ240は、最後尾車両制御処理を行う。最後尾車両制御処理は、最後尾車両プロセッサ240によって最後尾車両メモリ242から最後尾車両プログラム246が読み出されて実行されることで実現される。詳しくは後述するが、最後尾車両制御処理は、最後尾車両IPU処理、最後尾車両MoPU処理、及び第3Central Brain処理を含む。
最後尾車両通信I/F244は、先頭車両通信I/F228と同一の構成であり、異なる車両204(図1参照)間での通信を司る。
なお、上述した先頭車両プロセッサ224、中間車両プロセッサ232、及び最後尾車両プロセッサ240は、本開示の「プロセッサ」の一例である。
図17は、先頭車両204Aに搭載されている第1情報処理装置206A、第1態様センサ208、及び第2態様センサ210のそれぞれの構成の一例を示す概念図である。
第1情報処理装置206Aにおいて、先頭車両プロセッサ224は、第1Central Brain224A、第1IPU224B、第2IPU224C、第1MoPU224D、及び第2MoPU224Eを含む。第1Central Brain224Aは、上記各実施形態で説明したCentral Brain15に対応する処理装置である。第1IPU224B及び第2IPU224Cのそれぞれは、上記各実施形態で説明したIPU11に対応する処理装置である。第1MoPU224D及び第2MoPU224Eのそれぞれは、上記各実施形態で説明したMoPU12に対応する処理装置である。図17に示す例において、第1IPU224Bは、本開示の「前方認識プロセッサ」の一例である。
第1態様センサ208は、第1低FRカメラ208A、第1高FRカメラ208B、及び第1レーダー208Cを含む。第1低FRカメラ208Aは、本開示の「前方カメラ」の一例である。
ここで、FRとは、“Frame Rate”の略称を指す。第1低FRカメラ208Aは、例えば、図2等に示すIPU11に対して用いられる高解像度カメラである。第1高FRカメラ208Bは、図2等に示すMoPU12に対して用いられるカメラである。第1低FRカメラ208Aは、第1低FRカメラ208Aのフレームレートである第1低フレームレートで先頭車両204Aの前方を撮影する。第1高FRカメラ208Bは、第1高FRカメラ208Bのフレームレートである第1高フレームレートで先頭車両204Aの前方を撮影する。第1低フレームレートと第1高フレームレートとの間には、“第1低フレームレート<第1高フレームレート”という関係が成立している。第1低フレームレートは、例えば、10フレーム/秒以上のフレームレートであり、第1高フレームレートは、例えば、100フレーム/秒以上のフレームレートである。
第1低FRカメラ208Aの撮影方向及び撮影範囲と第1高FRカメラ208Bの撮影方向及び撮影範囲は一致している。第1低FRカメラ208A及び第1高FRカメラ208Bは、画角θ1で先頭車両204Aの前方を撮影する。
第1レーダー208Cは、上記第2の実施形態で説明したレーダー32に対応するレーダーであり、先頭車両204Aの前方に向けて電磁波を照射し、照射した電磁波が第1前方物体で反射して得られた反射波である第1前方物体反射波を受信する。
第2態様センサ210は、第2低FRカメラ210A、第2高FRカメラ210B、及び第2レーダー210Cを含む。第2低FRカメラ210Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第2高FRカメラ210Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。第2低FRカメラ210Aは、第2低フレームレートで先頭車両204Aの後方(すなわち、先頭車両204Aから見て中間車両204B側)を撮影する。第2高FRカメラ210Bは、第2高フレームレートで先頭車両204Aの後方を撮影する。第2低フレームレートは、第1低フレームレートと同じであり、第2高フレームレートは、第1高フレームレートと同じである。
第2低FRカメラ210Aの撮影方向及び撮影範囲と第2高FRカメラ210Bの撮影方向及び撮影範囲は一致している。第2低FRカメラ210A及び第2高FRカメラ210Bは、画角θ2で先頭車両204Aの後方を撮影する。画角θ2の一例としては、画角θ1と同じ画角が挙げられる。
第2レーダー210Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、先頭車両204Aの後方に向けて電磁波を照射し、照射した電磁波が第1後方物体で反射して得られた反射波である第1後方物体反射波を受信する。
図18は、第1態様センサ208、第2態様センサ210、第1IPU224B、第2IPU224C、第1MoPU224D、及び第2MoPU224Eの処理内容の一例を示す概念図である。
第1低FRカメラ208Aは、第1低フレームレートで先頭車両204Aの前方を撮影することにより、先頭車両204Aの前方の態様を示す画像である第1低FRカメラ画像208A1を生成する。第1低FRカメラ画像208A1は、本開示の「前方画像」の一例である。
第1IPU224Bは、第1低フレームレートに従って規定された時間間隔で、第1低FRカメラ208Aから第1低FRカメラ画像208A1を取得する。そして、第1IPU224Bは、第1低FRカメラ画像208A1を取得する毎に、第1低FRカメラ画像208A1に基づいて、先頭車両204Aの前方の態様を認識し、認識した結果を示す第1ラベル情報248を生成する。第1ラベル情報248は、上記第1の実施形態等で説明したラベル情報と同一概念の情報である。第1ラベル情報248の一例としては、第1前方物体の種類が特定可能にラベル化された情報が挙げられる。
第2低FRカメラ210Aは、第2低フレームレートで先頭車両204Aの後方を撮影することにより、先頭車両204Aの後方の態様を示す画像である第2低FRカメラ画像210A1を生成する。
第2IPU224Cは、第2低フレームレートに従って規定された時間間隔で、第2低FRカメラ210Aから第2低FRカメラ画像210A1を取得する。そして、第2IPU224Cは、第2低FRカメラ画像210A1を取得する毎に、第2低FRカメラ画像210A1に基づいて、先頭車両204Aの後方の態様を認識し、認識した結果を示す第2ラベル情報250を生成する。第2ラベル情報250は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第2ラベル情報250の一例としては、第1後方物体の種類が特定可能にラベル化された情報が挙げられる。
第1高FRカメラ208Bは、第1高フレームレートで先頭車両204Aの前方を撮影することにより、前方の態様を示す画像である第1高FRカメラ画像208B1を生成する。
第1レーダー208Cは、第1高フレームレートに従って規定された時間間隔で第1前方物体反射波を受信する。そして、第1レーダー208Cは、第1前方物体反射波を受信する毎に、受信した第1前方物体反射波に基づいて、第1前方物体が存在する位置を特定可能な第1レーダー信号208C1を生成する。
第1MoPU224Dは、第1高フレームレートに従って規定された時間間隔で、第1高FRカメラ画像208B1を第1高FRカメラ208Bから取得し、かつ、第1レーダー208Cから第1レーダー信号208C1を取得する。そして、第1MoPU224Dは、第1高FRカメラ画像208B1及び第1レーダー信号208C1に基づいて、第1前方物体を認識し、認識した結果を示す第1点情報252を生成する。例えば、ここでは、第1前方物体が点として認識される。第1点情報252は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第1点情報252は、第1前方物体を点として捉えた点情報(例えば、3次元座標)である。
第2高FRカメラ210Bは、第2高フレームレートで先頭車両204Aの後方を撮影することにより、先頭車両204Aの後方の態様を示す画像である第2高FRカメラ画像210B1を生成する。
第2レーダー210Cは、第2高フレームレートに従って規定された時間間隔で第1後方物体反射波を受信する。そして、第2レーダー210Cは、第1後方物体反射波を受信する毎に、受信した第1後方物体反射波に基づいて、第1後方物体が存在する位置を特定可能な第2レーダー信号210C1を生成する。
第2MoPU224Eは、第2高フレームレートに従って規定された時間間隔で、第2高FRカメラ画像210B1を第2高FRカメラ210Bから取得し、かつ、第2レーダー210Cから第2レーダー信号210C1を取得する。そして、第2MoPU224Eは、第2高FRカメラ画像210B1及び第2レーダー信号210C1に基づいて、第1後方物体を認識し、認識した結果を示す第2点情報254を生成する。例えば、ここでは、第1後方物体が点として認識される。第2点情報254は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第2点情報254は、第1後方物体を点として捉えた点情報(例えば、3次元座標)である。
図18に示す例において、第1高FRカメラ画像208B1は、本開示の「第1画像」の一例である。また、第1高フレームレートは、本開示の「第4フレームレート」の一例である。
図19は、中間車両204Bに搭載されている第2情報処理装置206B、第3態様センサ212、第4態様センサ214、第5態様センサ216、及び第6態様センサ218のそれぞれの構成の一例を示す概念図である。
第2情報処理装置206Bにおいて、中間車両プロセッサ232は、第2Central Brain232A、第3IPU232B、第4IPU232C、第5IPU232D、第6IPU232E、第3MoPU232F、第4MoPU232G、第5MoPU232H、及び第6MoPU232Iを含む。
第2Central Brain232Aは、上記各実施形態で説明したCentral Brain15に対応する処理装置である。第3IPU232B、第4IPU232C、第5IPU232D、及び第6IPU232Eのそれぞれは、上記各実施形態で説明したIPU11に対応する処理装置である。第3MoPU232F、第4MoPU232G、第5MoPU232H、及び第6MoPU232Iのそれぞれは、上記各実施形態で説明したMoPU12に対応する処理装置である。図19に示す例において、第5MoPU232H及び第6MoPU232Iは、本開示の「側方認識プロセッサ」の一例である。
第3態様センサ212は、第3低FRカメラ212A、第3高FRカメラ212B、及び第3レーダー212Cを含む。第3低FRカメラ212Aは、本開示の「先頭側カメラ」の一例である。
第3低FRカメラ212Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第3高FRカメラ212Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。
第3低FRカメラ212Aは、中間車両204Bから見て先頭車両204A側(すなわち、中間車両204Bの前方)を第3低フレームレートで撮影する。第3高FRカメラ212Bは、中間車両204Bから見て先頭車両204A側を第3高フレームレートで撮影する。第3低フレームレートは、第1低フレームレートと同じであり、第3高フレームレートは、第1高フレームレートと同じである。
第3低FRカメラ212Aの撮影方向及び撮影範囲と第3高FRカメラ212Bの撮影方向及び撮影範囲は一致している。第3低FRカメラ212A及び第3高FRカメラ212Bは、画角θ1で先頭車両204A側を撮影する。
第3レーダー212Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、先頭車両204A側に向けて電磁波を照射し、照射した電磁波が第2前方物体で反射して得られた反射波である第2前方物体反射波を受信する。
第4態様センサ214は、第4低FRカメラ214A、第4高FRカメラ214B、及び第4レーダー214Cを含む。第4低FRカメラ214Aは、本開示の「最後尾側カメラ」の一例である。
第4低FRカメラ214Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第4高FRカメラ214Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。
第4低FRカメラ214Aは、中間車両204Bから見て最後尾車両204C側(すなわち、中間車両204Bの後方)を第4低フレームレートで撮影する。第4高FRカメラ214Bは、中間車両204Bから見て最後尾車両204C側を第4高フレームレートで撮影する。第4低フレームレートは、第1低フレームレートと同じであり、第4高フレームレートは、第1高フレームレートと同じである。
第4低FRカメラ214Aの撮影方向及び撮影範囲と第4高FRカメラ214Bの撮影方向及び撮影範囲は一致している。第4低FRカメラ214A及び第4高FRカメラ214Bは、画角θ2で最後尾車両204C側を撮影する。
第4レーダー214Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、最後尾車両204C側に向けて電磁波を照射し、照射した電磁波が第2後方物体で反射して得られた反射波である第2後方物体反射波を受信する。
第5態様センサ216は、第5低FRカメラ216A、第5高FRカメラ216B、及び第5レーダー216Cを含む。第5高FRカメラ216Bは、本開示の「側方カメラ」の一例である。
第5低FRカメラ216Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第5高FRカメラ216Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。
第5低FRカメラ216Aは、第5低フレームレートで中間車両204Bの左側方(換言すると、隊列200の左側方)を撮影する。第5高FRカメラ216Bは、第5高フレームレートで中間車両204Bの左側方を撮影する。第5低フレームレートは、第1低フレームレートと同じであり、第5高フレームレートは、第1高フレームレートと同じである。
第5低FRカメラ216Aの撮影方向及び撮影範囲と第5高FRカメラ216Bの撮影方向及び撮影範囲は一致している。第5低FRカメラ216A及び第5高FRカメラ216Bは、画角θ3で中間車両204Bの左側方を撮影する。画角θ3は、画角θ1及びθ2よりも広い画角である。画角θ3には、隊列200の左側方の全体が被写体として含まれる。
第5レーダー216Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、中間車両204Bの左側方に向けて電磁波を照射し、照射した電磁波が左側方物体で反射して得られた反射波である左側方物体反射波を受信する。
第6態様センサ218は、第6低FRカメラ218A、第6高FRカメラ218B、及び第6レーダー218Cを含む。第6高FRカメラ218Bは、本開示の「側方カメラ」の一例である。
第6低FRカメラ218Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第6高FRカメラ218Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。
第6低FRカメラ218Aは、第6低フレームレートで中間車両204Bの右側方(換言すると、隊列200の右側方)を撮影する。第6高FRカメラ218Bは、第6高フレームレートで中間車両204Bの右側方を撮影する。第6低フレームレートは、第1低フレームレートと同じであり、第6高フレームレートは、第1高フレームレートと同じである。
第6低FRカメラ218Aの撮影方向及び撮影範囲と第6高FRカメラ218Bの撮影方向及び撮影範囲は一致している。第6低FRカメラ218A及び第6高FRカメラ218Bは、画角θ4で中間車両204Bの右側方を撮影する。画角θ4は、画角θ1及びθ2よりも広い画角である。画角θ4には、隊列200の右側方の全体が被写体として含まれる。
第6レーダー218Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、中間車両204Bの右側方に向けて電磁波を照射し、照射した電磁波が右側方物体で反射して得られた反射波である右側方物体反射波を受信する。
図20は、第3低FRカメラ212A、第4低FRカメラ214A、第5低FRカメラ216A、及び第6低FRカメラ218A、第3IPU232B、第4IPU232C、第5IPU232D、及び第6IPU232Eの処理内容の一例を示す概念図である。
第3低FRカメラ212Aは、中間車両204Bから見て先頭車両204A側(以下、単に「先頭車両204A側」と称する)を第3低フレームレートで撮影することにより、先頭車両204A側の態様を示す画像である第3低FRカメラ画像212A1を生成する。
第3IPU232Bは、第3低フレームレートに従って規定された時間間隔で、第3低FRカメラ212Aから第3低FRカメラ画像212A1を取得する。そして、第3IPU232Bは、第3低FRカメラ画像212A1を取得する毎に、第3低FRカメラ画像212A1に基づいて、先頭車両204A側の態様を認識し、認識した結果を示す第3ラベル情報256を生成する。第3ラベル情報256は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第3ラベル情報256の一例としては、第2前方物体の種類が特定可能にラベル化された情報が挙げられる。
第4低FRカメラ214Aは、中間車両204Bから見て最後尾車両204C側(以下、単に「最後尾車両204C側」と称する)を第4低フレームレートで撮影することにより、最後尾車両204C側の態様を示す画像である第4低FRカメラ画像214A1を生成する。
第4IPU232Cは、第4低フレームレートに従って規定された時間間隔で、第4低FRカメラ214Aから第4低FRカメラ画像214A1を取得する。そして、第4IPU232Cは、第4低FRカメラ画像214A1を取得する毎に、第4低FRカメラ画像214A1に基づいて、最後尾車両204C側の態様を認識し、認識した結果を示す第4ラベル情報258を生成する。第4ラベル情報258は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第4ラベル情報258の一例としては、第2後方物体の種類が特定可能にラベル化された情報が挙げられる。
第5低FRカメラ216Aは、第5低フレームレートで中間車両204Bの左側方を撮影することにより、中間車両204Bの左側方の態様を示す画像である第5低FRカメラ画像216A1を生成する。
第5IPU232Dは、第5低フレームレートに従って規定された時間間隔で、第5低FRカメラ216Aから第5低FRカメラ画像216A1を取得する。そして、第5IPU232Dは、第5低FRカメラ画像216A1を取得する毎に、第5低FRカメラ画像216A1に基づいて、中間車両204Bの左側方の態様を認識し、認識した結果を示す第5ラベル情報260を生成する。第5ラベル情報260は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第5ラベル情報260の一例としては、左側方物体の種類が特定可能にラベル化された情報が挙げられる。
第6低FRカメラ218Aは、第6低フレームレートで中間車両204Bの右側方を撮影することにより、中間車両204Bの右側方の態様を示す画像である第6低FRカメラ画像218A1を生成する。
第6IPU232Eは、第6低フレームレートに従って規定された時間間隔で、第6低FRカメラ218Aから第6低FRカメラ画像218A1を取得する。そして、第6IPU232Eは、第6低FRカメラ画像218A1を取得する毎に、第6低FRカメラ画像218A1に基づいて、中間車両204Bの右側方の態様を認識し、認識した結果を示す第6ラベル情報262を生成する。第6ラベル情報262は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第6ラベル情報262の一例としては、右側方物体の種類が特定可能にラベル化された情報が挙げられる。
図20に示す例において、第5低FRカメラ画像216A1は、本開示の「先頭移動体側側画像」の一例である。また、第6低FRカメラ画像218A1は、本開示の「最後尾移動体側画像」の一例である。また、第5低フレームレートは、本開示の「第2フレームレート」の一例である。また、第6低フレームレートは、本開示の「第3フレームレート」の一例である。
図21は、第3高FRカメラ212B、第3レーダー212C、第4高FRカメラ214A、第4レーダー214C、第5高FRカメラ216A、第5レーダー216C、第6高FRカメラ218B、第6レーダー218C、第3MoPU232F、第4MoPU232G、第5MoPU232H、及び第6MoPU232Iの処理内容の一例を示す概念図である。
第3高FRカメラ212Bは、第3高フレームレートで先頭車両204A側を撮影することにより、先頭車両204A側の態様を示す画像である第3高FRカメラ画像212B1を生成する。
第3レーダー212Cは、第3高フレームレートに従って規定された時間間隔で第2前方物体反射波を受信する。そして、第3レーダー212Cは、第2前方物体反射波を受信する毎に、受信した第2前方物体反射波に基づいて、第2前方物体が存在する位置を特定可能な第3レーダー信号212C1を生成する。
第3MoPU232Fは、第3高フレームレートに従って規定された時間間隔で、第3高FRカメラ画像212B1を第3高FRカメラ212Bから取得し、かつ、第3レーダー212Cから第3レーダー信号212C1を取得する。そして、第3MoPU232Fは、第3高FRカメラ画像212B1及び第3レーダー信号212C1に基づいて、第2前方物体を認識し、認識した結果を示す第3点情報264を生成する。例えば、ここでは、第2前方物体が点として認識される。第3点情報264は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第3点情報264は、第2前方物体を点として捉えた点情報(例えば、3次元座標)である。
第4高FRカメラ214Bは、第4高フレームレートで最後尾車両204C側を撮影することにより、最後尾車両204C側の態様を示す画像である第4高FRカメラ画像214B1を生成する。
第4レーダー214Cは、第4高フレームレートに従って規定された時間間隔で第2後方物体反射波を受信する。そして、第4レーダー214Cは、第2後方物体反射波を受信する毎に、受信した第2後方物体反射波に基づいて、第2後方物体が存在する位置を特定可能な第4レーダー信号214C1を生成する。
第4MoPU232Gは、第4高フレームレートに従って規定された時間間隔で、第4高FRカメラ画像214B1を第4高FRカメラ214Bから取得し、かつ、第4レーダー214Cから第4レーダー信号214C1を取得する。そして、第4MoPU232Gは、第4高FRカメラ画像214B1及び第4レーダー信号214C1に基づいて、第2後方物体を認識し、認識した結果を示す第4点情報266を生成する。例えば、ここでは、第1後方物体が点として認識される。第4点情報266は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第4点情報266は、第2後方物体を点として捉えた点情報(例えば、3次元座標)である。
第5高FRカメラ216Bは、第5高フレームレートで中間車両204Bの左側方を撮影することにより、中間車両204Bの左側方の態様を示す画像である第5高FRカメラ画像216B1を生成する。
第5レーダー216Cは、第5高フレームレートに従って規定された時間間隔で左側方物体反射波を受信する。そして、第5レーダー216Cは、左側方物体反射波を受信する毎に、受信した左側方物体反射波に基づいて、左側方物体が存在する位置を特定可能な第5レーダー信号216C1を生成する。
第5MoPU232Hは、第5高フレームレートに従って規定された時間間隔で、第5高FRカメラ画像216B1を第5高FRカメラ216Bから取得し、かつ、第5レーダー216Cから第5レーダー信号216C1を取得する。そして、第5MoPU232Hは、第5高FRカメラ画像216B1及び第5レーダー信号216C1に基づいて、左側方物体を認識し、認識した結果を示す第5点情報268を生成する。例えば、ここでは、左側方物体が点として認識される。第5点情報268は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第5点情報268は、左側方物体を点として捉えた点情報(例えば、3次元座標)である。
第6高FRカメラ218Bは、第6高フレームレートで中間車両204Bの右側方を撮影することにより、中間車両204Bの右側方の態様を示す画像である第6高FRカメラ画像218B1を生成する。
第6レーダー218Cは、第6高フレームレートに従って規定された時間間隔で右側方物体反射波を受信する。そして、第6レーダー218Cは、右側方物体反射波を受信する毎に、受信した右側方物体反射波に基づいて、右側方物体が存在する位置を特定可能な第6レーダー信号218C1を生成する。
第6MoPU232Iは、第6高フレームレートに従って規定された時間間隔で、第6高FRカメラ画像218B1を第6高FRカメラ218Bから取得し、かつ、第6レーダー218Cから第6レーダー信号218C1を取得する。そして、第6MoPU232Iは、第6高FRカメラ画像218B1及び第6レーダー信号218C1に基づいて、右側方物体を認識し、認識した結果を示す第6点情報270を生成する。例えば、ここでは、右側方物体が点として認識される。第6点情報270は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第6点情報270は、右側方物体を点として捉えた点情報(例えば、3次元座標)である。
図21に示す例において、第5点情報268及び第6点情報270は、本開示の「側方点情報」の一例である。また、第5高フレームレート及び第6高フレームレートは、本開示の「第1フレームレート」の一例である。
図22は、最後尾車両204Cに搭載されている第3情報処理装置206C、第7態様センサ220、及び第8態様センサ222のそれぞれの構成の一例を示す概念図である。
第3情報処理装置206Cにおいて、最後尾車両プロセッサ240は、第3Central Brain240A、第7IPU240B、第8IPU240C、第7MoPU240D、及び第8MoPU240Eを含む。第3Central Brain240Aは、上記第1の実施形態等で説明したCentral Brain15に対応する処理装置である。第7IPU240B及び第8IPU240Cのそれぞれは、上記第1の実施形態等で説明したIPU11に対応する処理装置である。第7MoPU240D及び第8MoPU240Eのそれぞれは、上記第1の実施形態等で説明したMoPU12に対応する処理装置である。図22に示す例において、第8IPU240Cは、本開示の「後方認識プロセッサ」の一例である。
第7態様センサ220は、第7低FRカメラ220A、第7高FRカメラ220B、及び第7レーダー220Cを含む。
第7低FRカメラ220Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第7高FRカメラ220Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。第7低FRカメラ220Aは、第7低フレームレートで最後尾車両204Cの前方(すなわち、最後尾車両204Cから見て中間車両204B側)を撮影する。第7高FRカメラ220Bは、第7高フレームレートで最後尾車両204Cの前方を撮影する。第7低フレームレートは、第1低フレームレートと同じであり、第7高フレームレートは、第1高フレームレートと同じである。
第7低FRカメラ220Aの撮影方向及び撮影範囲と第7高FRカメラ220Bの撮影方向及び撮影範囲は一致している。第7低FRカメラ220A及び第7高FRカメラ220Bは、画角θ1で最後尾車両204Cの前方を撮影する。
第7レーダー220Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、最後尾車両204Cの前方に向けて電磁波を照射し、照射した電磁波が第3前方物体で反射して得られた反射波である第3前方物体反射波を受信する。
第8態様センサ222は、第8低FRカメラ222A、第8高FRカメラ222B、及び第8レーダー222Cを含む。第8低FRカメラ222Aは、本開示の「後方カメラ」の一例である。
第8低FRカメラ222Aは、第1低FRカメラ208Aと同様のスペックを有するカメラであり、第8高FRカメラ222Bは、第1高FRカメラ208Bと同様のスペックを有するカメラである。第8低FRカメラ222Aは、第8低フレームレートで最後尾車両204Cの後方を撮影する。第8高FRカメラ222Bは、第8高フレームレートで最後尾車両204Cの後方を撮影する。第8低フレームレートは、第1低フレームレートと同じであり、第8高フレームレートは、第1高フレームレートと同じである。
第8低FRカメラ222Aの撮影方向及び撮影範囲と第8高FRカメラ222Bの撮影方向及び撮影範囲は一致している。第8低FRカメラ222A及び第8高FRカメラ222Bは、画角θ2で最後尾車両204Cの後方を撮影する。
第8レーダー222Cは、第1レーダー208Cと同様のスペックを有するレーダーであり、最後尾車両204Cの後方に向けて電磁波を照射し、照射した電磁波が第3後方物体で反射して得られた反射波である第3後方物体反射波を受信する。
図23は、第7態様センサ220、第8態様センサ222、第7IPU240B、第8IPU240C、第7MoPU240D、及び第8MoPU240Eの処理内容の一例を示す概念図である。
第7低FRカメラ220Aは、第7低フレームレートで最後尾車両204Cの前方を撮影することにより、最後尾車両204Cの前方の態様を示す画像である第7低FRカメラ画像220A1を生成する。
第7IPU240Bは、第7低フレームレートに従って規定された時間間隔で、第7低FRカメラ220Aから第7低FRカメラ画像220A1を取得する。そして、第7IPU240Bは、第7低FRカメラ画像220A1を取得する毎に、第7低FRカメラ画像220A1に基づいて、最後尾車両204Cの前方の態様を認識し、認識した結果を示す第7ラベル情報272を生成する。第7ラベル情報272は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第7ラベル情報272の一例としては、第3前方物体の種類が特定可能にラベル化された情報が挙げられる。
第8低FRカメラ222Aは、第8低フレームレートで最後尾車両204Cの後方を撮影することにより、最後尾車両204Cの後方の態様を示す画像である第8低FRカメラ画像222A1を生成する。第8低FRカメラ画像222A1は、本開示の「後方画像」の一例である。
第8IPU240Cは、第8低フレームレートに従って規定された時間間隔で、第8低FRカメラ222Aから第8低FRカメラ画像222A1を取得する。そして、第8IPU240Cは、第8低FRカメラ画像222A1を取得する毎に、第8低FRカメラ画像222A1に基づいて、最後尾車両204Cの後方の態様を認識し、認識した結果を示す第8ラベル情報274を生成する。第8ラベル情報274は、上記第1の実施形態等で説明したラベル情報に相当する情報である。第8ラベル情報274の一例としては、第3後方物体の種類が特定可能にラベル化された情報が挙げられる。
第7高FRカメラ220Bは、第7高フレームレートで最後尾車両204Cの前方を撮影することにより、前方の態様を示す画像である第7高FRカメラ画像220B1を生成する。
第7レーダー220Cは、第7高フレームレートに従って規定された時間間隔で第3前方物体反射波を受信する。そして、第7レーダー220Cは、第3前方物体反射波を受信する毎に、受信した第3前方物体反射波に基づいて、第3前方物体が存在する位置を特定可能な第7レーダー信号220C1を生成する。
第7MoPU240Dは、第7高フレームレートに従って規定された時間間隔で、第7高FRカメラ画像220B1を第7高FRカメラ220Bから取得し、かつ、第7レーダー220Cから第7レーダー信号220C1を取得する。そして、第7MoPU240Dは、第7高FRカメラ画像220B1及び第7レーダー信号220C1に基づいて、第3前方物体を認識し、認識した結果を示す第7点情報276を生成する。例えば、ここでは、第3前方物体が点として認識される。第7点情報276は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第7点情報276は、第3前方物体を点として捉えた点情報(例えば、3次元座標)である。
第8高FRカメラ222Bは、第8高フレームレートで最後尾車両204Cの後方を撮影することにより、最後尾車両204Cの後方の態様を示す画像である第8高FRカメラ画像222B1を生成する。
第8レーダー222Cは、第8高フレームレートに従って規定された時間間隔で第3後方物体反射波を受信する。そして、第8レーダー222Cは、第3後方物体反射波を受信する毎に、受信した第3後方物体反射波に基づいて、第3後方物体が存在する位置を特定可能な第8レーダー信号222C1を生成する。
第8MoPU240Eは、第8高フレームレートに従って規定された時間間隔で、第8高FRカメラ画像222B1を第8高FRカメラ222Bから取得し、かつ、第8レーダー222Cから第8レーダー信号222C1を取得する。そして、第8MoPU240Eは、第8高FRカメラ画像222B1及び第8レーダー信号222C1に基づいて、第3後方物体を認識し、認識した結果を示す第8点情報278を生成する。例えば、ここでは、第3後方物体が点として認識される。第8点情報278は、上記第1の実施形態等で説明した点情報と同一概念の情報である。すなわち、第8点情報278は、第3後方物体を点として捉えた点情報(例えば、3次元座標)である。
図23に示す例において、第8高FRカメラ画像222B1は、本開示の「第2画像」の一例である。また、第8高フレームレートは、本開示の「第5フレームレート」の一例である。
図24は、第1Central Brain224Aが隊列200の自動運転の制御を実現する上で必要な情報を取得するための処理内容の一例を示す概念図である。
第1Central Brain224Aは、第1IPU224Bから第1ラベル情報248を取得し、第1MoPU224Dから第1点情報252を取得する。そして、第1Central Brain224Aは、第1ラベル情報248及び第1点情報252に基づいて第1対応付け情報280を生成する。第1対応付け情報280は、第1ラベル情報248と第1点情報252とが上記第1の実施形態等で説明したのと同様の要領で対応付けられた情報である。
これと同様の要領で、第1Central Brain224Aは、第2IPU224Cから取得した第2ラベル情報250と、第2MoPU224Eから取得した第2点情報254とに基づいて第2対応付け情報282を生成する。
図24に示す例において、第1対応付け情報280は、本開示の「前方対応付け情報」の一例である。また、第1点情報252は、本開示の「前方点情報」の一例である。また、第1ラベル情報248は、本開示の「前方物体情報」の一例である。
図25は、第2Central Brain232Aが隊列200の自動運転の制御を実現する上で必要な情報を取得するための処理内容の一例を示す概念図である。
第2Central Brain232Aは、第3IPU232Cから第3ラベル情報256を取得し、第3MoPU232Fから第3点情報264を取得する。そして、第2Central Brain232Aは、第3ラベル情報258及び第3点情報264に基づいて第3対応付け情報284を生成する。第3対応付け情報284は、第3ラベル情報256と第3点情報264とが上記第1の実施形態等で説明したのと同様の要領で対応付けられた情報である。
これと同様の要領で、第2Central Brain232Aは、第4IPU232Cから取得した第4ラベル情報258と第4MoPU232Gから取得した第4点情報266とに基づいて第4対応付け情報286を生成する。また、第2Central Brain232Aは、第5IPU232Dから取得した第5ラベル情報260と第5MoPU232Hから取得した第5点情報268とに基づいて第5対応付け情報288を生成する。更に、第2Central Brain232Aは、第6IPU232Eから取得した第6ラベル情報262と第6MoPU232Iから取得した第6点情報270とに基づいて第6対応付け情報290を生成する。
図26は、第3Central Brain240Aが隊列200の自動運転の制御を実現する上で必要な情報を取得するための処理内容の一例を示す概念図である。
第3Central Brain240Aは、第7IPU240Bから第7ラベル情報272を取得し、第7MoPU240Dから第7点情報276を取得する。そして、第3Central Brain240Aは、第7ラベル情報272及び第7点情報276に基づいて第7対応付け情報292を生成する。第7対応付け情報292は、第7ラベル情報272と第7点情報276とが上記第1の実施形態等で説明したのと同様の要領で対応付けられた情報である。
これと同様の要領で、第3Central Brain240Aは、第8IPU240Cから取得した第8ラベル情報274と、第8MoPU240Eから取得した第8点情報278とに基づいて第8対応付け情報294を生成する。
図26に示す例において、第8対応付け情報294は、本開示の「後方対応付け情報」の一例である。また、第8点情報278は、本開示の「後方点情報」の一例である。また、第8ラベル情報274は、本開示の「後方物体情報」の一例である。
図27は、第1Central Brain224Aが隊列200の自動運転の制御を実現する上で先頭車両204Aの自動運転を制御するために行う処理内容の一例を示す概念図である。
第1Central Brain224Aは、第2Central Brain232Aから第5対応付け情報288及び第6対応付け情報290を取得する。そして、第1Central Brain224Aは、センサ情報296、第1対応付け情報280、第2対応付け情報282、第5対応付け情報288、及び第6対応付け情報290に基づいて第1制御変数298を導出する。
センサ情報296は、上記第1の実施形態等で説明したセンサ情報と同一概念の情報であり、先頭車両204Aに搭載されている複数種類のセンサから得られる。第1制御変数298は、上記第1の実施形態等で説明した制御変数と同一概念の変数であって、隊列200の自動運転の制御を実現するために先頭車両204Aの自動運転の制御に用いられる変数である。
第1Central Brain224Aは、深層学習モデル300を有しており、深層学習モデル300を用いて第1制御変数298を導出する。
深層学習モデル300は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第1制御変数298を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報296を想定したデータとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られたデータ、並びに、第1対応付け情報280、第2対応付け情報282、第5対応付け情報288、及び第6対応付け情報290の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
第1Central Brain224Aは、センサ情報296、第1対応付け情報280、第2対応付け情報282、第5対応付け情報288、及び第6対応付け情報290を深層学習モデル300に入力する。深層学習モデル300は、入力されたセンサ情報296、第1対応付け情報280、第2対応付け情報282、第5対応付け情報288、及び第6対応付け情報290に対応する第1制御変数298(例えば、最も高い確信度の制御変数)を出力する。
なお、ここでは、深層学習モデル300を用いることによって第1制御変数298が導出される導出方法を例示しているが、これは、あくまでも一例に過ぎず、上記第4の実施形態で説明した各種の導出方法(例えば、積分法による多変量解析)を用いることによって第1制御変数298が導出されるようにしてもよい。
第1Central Brain224Aは、上記第1の実施形態等で説明したのと同様の要領で、第1制御変数298に基づいて先頭車両204Aの自動運転を制御する。
図28は、第2Central Brain232Aが隊列200の自動運転の制御を実現する上で中間車両204Bの自動運転を制御するために行う処理内容の一例を示す概念図である。
第2Central Brain232Aは、センサ情報302、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、及び第6対応付け情報290に基づいて第2制御変数304を導出する。
センサ情報302は、上記第1の実施形態等で説明したセンサ情報と同一概念の情報であり、中間車両204Bに搭載されている複数種類のセンサから得られる。第2制御変数304は、上記第1の実施形態等で説明した制御変数と同一概念の変数であって、隊列200の自動運転の制御を実現するために中間車両204Bの自動運転の制御に用いられる変数である。
第2Central Brain232Aは、深層学習モデル306を有しており、深層学習モデル306を用いて第2制御変数304を導出する。
深層学習モデル306は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第2制御変数304を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報302を想定したデータとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られたデータ、並びに、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、及び第6対応付け情報290の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
第2Central Brain232Aは、センサ情報302、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、及び第6対応付け情報290を深層学習モデル306に入力する。深層学習モデル306は、入力されたセンサ情報302、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、及び第6対応付け情報290に対応する第2制御変数304(例えば、最も高い確信度の制御変数)を出力する。
なお、ここでは、深層学習モデル306を用いることによって第2制御変数304が導出される導出方法を例示しているが、これは、あくまでも一例に過ぎず、上記第4の実施形態で説明した各種の導出方法(例えば、積分法による多変量解析)を用いることによって第2制御変数304が導出されるようにしてもよい。
第2Central Brain232Aは、上記第1の実施形態等で説明したのと同様の要領で、第2制御変数304に基づいて中間車両204Bの自動運転を制御する。
図29は、第3Central Brain240Aが隊列200の自動運転の制御を実現する上で最後尾車両204Cの自動運転を制御するために行う処理内容の一例を示す概念図である。
第3Central Brain240Aは、第2Central Brain232Aから第5対応付け情報288及び第6対応付け情報290を取得する。そして、第3Central Brain240Aは、センサ情報308、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294に基づいて第3制御変数310を導出する。
センサ情報308は、上記第1の実施形態等で説明したセンサ情報と同一概念の情報であり、最後尾車両204Cに搭載されている複数種類のセンサから得られる。第3制御変数310は、上記第1の実施形態等で説明した制御変数と同一概念の変数であって、隊列200の自動運転の制御を実現するために最後尾車両204Cの自動運転の制御に用いられる変数である。
第3Central Brain240Aは、深層学習モデル312を有しており、深層学習モデル312を用いて第3制御変数310を導出する。
深層学習モデル312は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第3制御変数310を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報308を想定したデータとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られたデータ、並びに、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
第3Central Brain240Aは、センサ情報308、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294を深層学習モデル312に入力する。深層学習モデル312は、入力されたセンサ情報308、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294に対応する第3制御変数310(例えば、最も高い確信度の制御変数)を出力する。
なお、ここでは、深層学習モデル312を用いることによって第3制御変数310が導出される導出方法を例示しているが、これは、あくまでも一例に過ぎず、上記第4の実施形態で説明した各種の導出方法(例えば、積分法による多変量解析)を用いることによって第3制御変数310が導出されるようにしてもよい。
第3Central Brain240Aは、上記第1の実施形態等で説明したのと同様の要領で、第3制御変数310に基づいて最後尾車両204Cの自動運転を制御する。
次に、本第11の実施形態に係る情報処理装置206の作用について図30~図38を参照しながら説明する。
図30は、先頭車両プロセッサ224によって行われる先頭車両IPU処理の流れの一例を示すフローチャートである。
図30に示す先頭車両IPU処理では、先ず、ステップST10で、第1IPU224Bは、第1低FRカメラ208Aから第1低FRカメラ画像208A1を取得する。また、第2IPU224Cは、第2低FRカメラ210Aから第2低FRカメラ画像210A1を取得する。ステップST10の処理が実行された後、先頭車両IPU処理はステップST12へ移行する。
ステップST12で、第1IPU224Bは、第1低FRカメラ画像208A1に基づいて、先頭車両204Aの前方の態様(例えば、第1前方物体の種類)を認識する。また、第2IPU224Cは、第2低FRカメラ画像210A1に基づいて、先頭車両204Aの後方の態様(例えば、第1後方物体の種類)を認識する。ステップST12の処理が実行された後、先頭車両IPU処理はステップST14へ移行する。
ステップST14で、第1IPU224Bは、先頭車両204Aの前方の態様を認識した結果を示す第1ラベル情報248を生成する。また、第2IPU224Cは、先頭車両204Aの後方の態様を認識した結果を示す第2ラベル情報250を生成する。ステップST14の処理が実行された後、先頭車両IPU処理はステップST16へ移行する。
ステップST16で、先頭車両プロセッサ224は、先頭車両IPU処理が終了する条件を満足したか否かを判定する。先頭車両IPU処理が終了する条件の一例としては、先頭車両プロセッサ224に対して、先頭車両IPU処理を終了させる指示が与えられた、という条件が挙げられる。ステップST16において、先頭車両IPU処理が終了する条件を満足していない場合は、判定が否定されて、先頭車両IPU処理は、ステップST10へ移行する。ステップST16において、先頭車両IPU処理が終了する条件を満足した場合は、判定が肯定されて、先頭車両IPU処理が終了する。
図31は、先頭車両プロセッサ224によって行われる先頭車両MoPU処理の流れの一例を示すフローチャートである。
図31に示す先頭車両MoPU処理では、先ず、ステップST50で、第1MoPU224Dは、第1高FRカメラ208Bから第1高FRカメラ画像208B1を取得する。また、第1MoPU224Dは、第1レーダー208Cから第1レーダー信号208C1を取得する。また、第2MoPU224Eは、第2高FRカメラ210Bから第2高FRカメラ画像210B1を取得する。更に、第2MoPU224Eは、第2レーダー210Cから第2レーダー信号210C1を取得する。ステップST50の処理が実行された後、先頭車両MoPU処理はステップST52へ移行する。
ステップST52で、第1MoPU224Dは、第1高FRカメラ画像208B1及び第1レーダー信号208C1に基づいて、先頭車両204Aの前方の態様(例えば、第1前方物体)を点として認識する。また、第2MoPU224Eは、第2高FRカメラ画像210B1及び第2レーダー信号210C1に基づいて、先頭車両204Aの後方の態様(例えば、第1後方物体)を点として認識する。ステップST52の処理が実行された後、先頭車両MoPU処理はステップST54へ移行する。
ステップST54で、第1MoPU224Dは、先頭車両204Aの前方の態様を点として認識した結果を示す第1点情報252を生成する。また、第2MoPU224Eは、先頭車両204Aの後方の態様を点として認識した結果を示す第2点情報254を生成する。ステップST54の処理が実行された後、先頭車両MoPU処理はステップST56へ移行する。
ステップST56で、先頭車両プロセッサ224は、先頭車両MoPU処理が終了する条件を満足したか否かを判定する。先頭車両MoPU処理が終了する条件の一例としては、先頭車両プロセッサ224に対して、先頭車両MoPU処理を終了させる指示が与えられた、という条件が挙げられる。ステップST56において、先頭車両MoPU処理が終了する条件を満足していない場合は、判定が否定されて、先頭車両MoPU処理は、ステップST50へ移行する。ステップST56において、先頭車両MoPU処理が終了する条件を満足した場合は、判定が肯定されて、先頭車両MoPU処理が終了する。
図32は、先頭車両プロセッサ224によって行われる第1Central Brain処理の流れの一例を示すフローチャートである。
図32に示す第1Central Brain処理では、先ず、ステップST100で、第1Central Brain224Aは、第1IPU224Bから第1ラベル情報248を取得し、かつ、第2IPU224Cから第2ラベル情報250を取得する。ステップST100の処理が実行された後、第1Central Brain処理はステップST102へ移行する。
ステップST102で、第1Central Brain224Aは、第1MoPU224Dから第1点情報252を取得し、かつ、第2MoPU224Eから第2点情報254を取得する。ステップST102の処理が実行された後、第1Central Brain処理はステップST104へ移行する。
ステップST104で、第1Central Brain224Aは、第1ラベル情報248と第1点情報252とを対応付けることにより第1対応付け情報280を生成する。また、第1Central Brain224Aは、第2ラベル情報250と第2点情報254とを対応付けることにより第2対応付け情報282を生成する。ステップST104の処理が実行された後、第1Central Brain処理はステップST106へ移行する。
ステップST106で、第1Central Brain224Aは、第2Central Brain232Aから第5対応付け情報288及び第6対応付け情報290を取得する。ステップST106の処理が実行された後、第1Central Brain処理はステップST108へ移行する。
ステップST108で、第1Central Brain224Aは、先頭車両204Aの複数種類のセンサからセンサ情報296を取得する。ステップST108の処理が実行された後、第1Central Brain処理はステップST110へ移行する。
ステップST110で、第1Central Brain224Aは、センサ情報296、第1対応付け情報280、第2対応付け情報282、第5対応付け情報288、及び第6対応付け情報290に基づいて第1制御変数298を導出する。ステップST110の処理が実行された後、第1Central Brain処理はステップST112へ移行する。
ステップST112で、第1Central Brain224Aは、第1制御変数298に基づいて先頭車両204Aの自動運転を制御する。ステップST112の処理が実行された後、第1Central Brain処理はステップST114へ移行する。
ステップST114で、第1Central Brain224Aは、第1Central Brain処理が終了する条件を満足したか否かを判定する。第1Central Brain処理が終了する条件の一例としては、先頭車両プロセッサ224に対して、第1Central Brain処理を終了させる指示が与えられた、という条件が挙げられる。ステップST114において、第1Central Brain処理が終了する条件を満足していない場合は、判定が否定されて、第1Central Brain処理は、ステップST100へ移行する。ステップST114において、第1Central Brain処理が終了する条件を満足した場合は、判定が肯定されて、第1Central Brain処理が終了する。
図33は、中間車両プロセッサ232によって行われる中間車両IPU処理の流れの一例を示すフローチャートである。
図33に示す中間車両IPU処理では、先ず、ステップST150で、第3IPU232Bは、第3低FRカメラ212Aから第3低FRカメラ画像212A1を取得する。また、第4IPU232Cは、第4低FRカメラ214Aから第4低FRカメラ画像214A1を取得する。また、第5IPU232Dは、第5低FRカメラ216Aから第5低FRカメラ画像216A1を取得する。更に、第6IPU232Eは、第6低FRカメラ218Aから第6低FRカメラ画像218A1を取得する。ステップST150の処理が実行された後、中間車両IPU処理はステップST152へ移行する。
ステップST152で、第3IPU232Bは、第3低FRカメラ画像212A1に基づいて、中間車両204Bの前方の態様(例えば、第2前方物体の種類)を認識する。また、第4IPU232Cは、第4低FRカメラ画像214A1に基づいて、中間車両204Bの後方の態様(例えば、第2後方物体の種類)を認識する。また、第5IPU232Dは、第5低FRカメラ画像216A1に基づいて、中間車両204Bの左側方の態様(例えば、左側方物体の種類)を認識する。更に、第6IPU232Eは、第6低FRカメラ画像218A1に基づいて、中間車両204Bの右側方の態様(例えば、右側方物体の種類)を認識する。ステップST152の処理が実行された後、中間車両IPU処理はステップST154へ移行する。
ステップST154で、第3IPU232Bは、中間車両204Bの前方の態様を認識した結果を示す第3ラベル情報256を生成する。また、第4IPU232Cは、中間車両204Bの後方の態様を認識した結果を示す第4ラベル情報258を生成する。また、第5IPU232Dは、中間車両204Bの左側方の態様を認識した結果を示す第5ラベル情報260を生成する。更に、第6IPU232Eは、中間車両204Bの右側方の態様を認識した結果を示す第6ラベル情報262を生成する。ステップST154の処理が実行された後、中間車両IPU処理はステップST156へ移行する。
ステップST156で、中間車両プロセッサ232は、中間車両IPU処理が終了する条件を満足したか否かを判定する。中間車両IPU処理が終了する条件の一例としては、中間車両プロセッサ232に対して、中間車両IPU処理を終了させる指示が与えられた、という条件が挙げられる。ステップST156において、中間車両IPU処理が終了する条件を満足していない場合は、判定が否定されて、中間車両IPU処理は、ステップST150へ移行する。ステップST156において、中間車両IPU処理が終了する条件を満足した場合は、判定が肯定されて、中間車両IPU処理が終了する。
図34は、中間車両プロセッサ232によって行われる中間車両MoPU処理の流れの一例を示すフローチャートである。
図34に示す中間車両MoPU処理では、先ず、ステップST200で、第3MoPU232Fは、第3高FRカメラ212Bから第3高FRカメラ画像212B1を取得する。また、第3MoPU232Fは、第3レーダー212Cから第3レーダー信号212C1を取得する。また、第4MoPU232Gは、第4高FRカメラ214Bから第4高FRカメラ画像214B1を取得する。また、第4MoPU232Gは、第4レーダー214Cから第4レーダー信号214C1を取得する。また、第5MoPU232Hは、第5高FRカメラ216Bから第5高FRカメラ画像216B1を取得する。また、第5MoPU232Hは、第5レーダー216Cから第5レーダー信号216C1を取得する。また、第6MoPU232Iは、第6高FRカメラ218Bから第6高FRカメラ画像218B1を取得する。更に、第6MoPU232Iは、第6レーダー218Cから第6レーダー信号218C1を取得する。ステップST200の処理が実行された後、中間車両MoPU処理はステップST202へ移行する。
ステップST202で、第3MoPU232Fは、第3高FRカメラ画像212B1及び第3レーダー信号212C1に基づいて、中間車両204Bの前方の態様(例えば、第2前方物体)を点として認識する。また、第4MoPU232Gは、第4高FRカメラ画像214B1及び第4レーダー信号214C1に基づいて、中間車両204Bの後方の態様(例えば、第2後方物体)を点として認識する。また、第5MoPU232Hは、第5高FRカメラ画像216B1及び第5レーダー信号216C1に基づいて、中間車両204Bの左側方の態様(例えば、左側方物体)を点として認識する。更に、第6MoPU232Iは、第6高FRカメラ画像218B1及び第6レーダー信号218C1に基づいて、中間車両204Bの右側方の態様(例えば、右側方物体)を点として認識する。ステップST202の処理が実行された後、中間車両MoPU処理はステップST204へ移行する。
ステップST204で、第3MoPU232Fは、中間車両204Bの前方の態様を点として認識した結果を示す第3点情報264を生成する。また、第4MoPU232Gは、中間車両204Bの後方の態様を点として認識した結果を示す第4点情報266を生成する。また、第5MoPU232Hは、中間車両204Bの左側方の態様を点として認識した結果を示す第5点情報268を生成する。更に、第6MoPU232Iは、中間車両204Bの右側方の態様を点として認識した結果を示す第6点情報270を生成する。ステップST204の処理が実行された後、中間車両MoPU処理はステップST206へ移行する。
ステップST206で、中間車両プロセッサ232は、中間車両MoPU処理が終了する条件を満足したか否かを判定する。中間車両MoPU処理が終了する条件の一例としては、中間車両プロセッサ232に対して、中間車両MoPU処理を終了させる指示が与えられた、という条件が挙げられる。ステップST206において、中間車両MoPU処理が終了する条件を満足していない場合は、判定が否定されて、中間車両MoPU処理は、ステップST200へ移行する。ステップST206において、中間車両MoPU処理が終了する条件を満足した場合は、判定が肯定されて、中間車両MoPU処理が終了する。
図35は、中間車両プロセッサ232によって行われる第2Central Brain処理の流れの一例を示すフローチャートである。
図35に示す第2Central Brain処理では、先ず、ステップST250で、第2Central Brain232Aは、第3IPU232Bから第3ラベル情報256を取得し、第4IPU232Cから第4ラベル情報258を取得し、第5IPU232Dから第5ラベル情報260を取得し、かつ、第6IPU232Eから第6ラベル情報262を取得する。ステップST250の処理が実行された後、第2Central Brain処理はステップST252へ移行する。
ステップST252で、第2Central Brain232Aは、第3MoPU232Fから第3点情報264を取得し、第4MoPU232Gから第4点情報266を取得し、第5MoPU232Hから第5点情報268を取得し、かつ、第6MoPU232Iから第6点情報270を取得する。ステップST252の処理が実行された後、第2Central Brain処理はステップST254へ移行する。
ステップST254で、第2Central Brain232Aは、第3ラベル情報256と第3点情報264とを対応付けることにより第3対応付け情報284を生成する。また、第2Central Brain232Aは、第4ラベル情報258と第4点情報266とを対応付けることにより第4対応付け情報286を生成する。また、第2Central Brain232Aは、第5ラベル情報260と第5点情報268とを対応付けることにより第5対応付け情報288を生成する。更に、第2Central Brain232Aは、第6ラベル情報262と第6点情報270とを対応付けることにより第6対応付け情報290を生成する。ステップST254の処理が実行された後、第2Central Brain処理はステップST256へ移行する。
ステップST256で、第2Central Brain232Aは、中間車両204Bの複数種類のセンサからセンサ情報302を取得する。ステップST256の処理が実行された後、第2Central Brain処理はステップST258へ移行する。
ステップST258で、第2Central Brain232Aは、センサ情報302、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、及び第6対応付け情報290に基づいて第2制御変数304を導出する。ステップST258の処理が実行された後、第2Central Brain処理はステップST260へ移行する。
ステップST260で、第2Central Brain232Aは、第2制御変数304に基づいて中間車両204Bの自動運転を制御する。ステップST260の処理が実行された後、第2Central Brain処理はステップST262へ移行する。
ステップST262で、第2Central Brain232Aは、第2Central Brain処理が終了する条件を満足したか否かを判定する。第2Central Brain処理が終了する条件の一例としては、中間車両プロセッサ232に対して、第2Central Brain処理を終了させる指示が与えられた、という条件が挙げられる。ステップST262において、第2Central Brain処理が終了する条件を満足していない場合は、判定が否定されて、第2Central Brain処理は、ステップST250へ移行する。ステップST262において、第2Central Brain処理が終了する条件を満足した場合は、判定が肯定されて、第2Central Brain処理が終了する。
図36は、最後尾車両プロセッサ240によって行われる最後尾車両IPU処理の流れの一例を示すフローチャートである。
図36に示す最後尾車両IPU処理では、先ず、ステップST300で、第7IPU240Bは、第7低FRカメラ220Aから第7低FRカメラ画像220A1を取得する。また、第8IPU240Cは、第8低FRカメラ222Aから第8低FRカメラ222A1を取得する。ステップST300の処理が実行された後、最後尾車両IPU処理はステップST302へ移行する。
ステップST302で、第7IPU240Bは、第7低FRカメラ画像220A1に基づいて、最後尾車両204Cの前方の態様(例えば、第3前方物体の種類)を認識する。また、第8IPU240Cは、第8低FRカメラ画像222A1に基づいて、最後尾車両204Cの後方の態様(例えば、第3後方物体の種類)を認識する。ステップST302の処理が実行された後、最後尾車両IPU処理はステップST304へ移行する。
ステップST304で、第7IPU240Bは、最後尾車両204Cの前方の態様を認識した結果を示す第7ラベル情報272を生成する。また、第8IPU240Cは、最後尾車両204Cの後方の態様を認識した結果を示す第8ラベル情報274を生成する。ステップST304の処理が実行された後、最後尾車両IPU処理はステップST306へ移行する。
ステップST306で、最後尾車両プロセッサ240は、最後尾車両IPU処理が終了する条件を満足したか否かを判定する。最後尾車両IPU処理が終了する条件の一例としては、最後尾車両プロセッサ240に対して、最後尾車両IPU処理を終了させる指示が与えられた、という条件が挙げられる。ステップST306において、最後尾車両IPU処理が終了する条件を満足していない場合は、判定が否定されて、最後尾車両IPU処理は、ステップST300へ移行する。ステップST306において、最後尾車両IPU処理が終了する条件を満足した場合は、判定が肯定されて、最後尾車両IPU処理が終了する。
図37は、最後尾車両プロセッサ240によって行われる最後尾車両MoPU処理の流れの一例を示すフローチャートである。
図37に示す最後尾車両MoPU処理では、先ず、ステップST350で、第7MoPU240Dは、第7高FRカメラ220Bから第7高FRカメラ画像220B1を取得する。また、第7MoPU240Dは、第7レーダー220Cから第7レーダー信号220C1を取得する。また、第8MoPU240Eは、第8高FRカメラ222Bから第8高FRカメラ画像222B1を取得する。更に、第8MoPU240Eは、第8レーダー222Cから第8レーダー信号222C1を取得する。ステップST350の処理が実行された後、最後尾車両MoPU処理はステップST352へ移行する。
ステップST352で、第7MoPU240Dは、第7高FRカメラ画像220B1及び第7レーダー信号220C1に基づいて、最後尾車両204Cの前方の態様(例えば、第3前方物体)を点として認識する。また、第8MoPU240Eは、第8高FRカメラ画像222B1及び第8レーダー信号222C1に基づいて、最後尾車両204Cの後方の態様(例えば、第3後方物体)を点として認識する。ステップST352の処理が実行された後、最後尾車両MoPU処理はステップST354へ移行する。
ステップST354で、第7MoPU240Dは、最後尾車両204Cの前方の態様を点として認識した結果を示す第7点情報276を生成する。また、第8MoPU240Eは、最後尾車両204Cの後方の態様を点として認識した結果を示す第8点情報278を生成する。ステップST354の処理が実行された後、最後尾車両MoPU処理はステップST356へ移行する。
ステップST356で、最後尾車両プロセッサ240は、最後尾車両MoPU処理が終了する条件を満足したか否かを判定する。最後尾車両MoPU処理が終了する条件の一例としては、最後尾車両プロセッサ240に対して、最後尾車両MoPU処理を終了させる指示が与えられた、という条件が挙げられる。ステップST356において、最後尾車両MoPU処理が終了する条件を満足していない場合は、判定が否定されて、最後尾車両MoPU処理は、ステップST350へ移行する。ステップST356において、最後尾車両MoPU処理が終了する条件を満足した場合は、判定が肯定されて、最後尾車両MoPU処理が終了する。
図38は、最後尾車両プロセッサ240によって行われる第3Central Brain処理の流れの一例を示すフローチャートである。
図38に示す第3Central Brain処理では、先ず、ステップST400で、第3Central Brain240Aは、第7IPU240Bから第7ラベル情報272を取得し、かつ、第8IPU240Cから第8ラベル情報274を取得する。ステップST400の処理が実行された後、第3Central Brain処理はステップST402へ移行する。
ステップST402で、第3Central Brain240Aは、第7MoPU240Dから第7点情報276を取得し、かつ、第8MoPU240Eから第8点情報278を取得する。ステップST402の処理が実行された後、第3Central Brain処理はステップST404へ移行する。
ステップST404で、第3Central Brain240Aは、第7ラベル情報272と第7点情報276とを対応付けることにより第7対応付け情報292を生成する。また、第3Central Brain240Aは、第8ラベル情報274と第8点情報278とを対応付けることにより第8対応付け情報294を生成する。ステップST404の処理が実行された後、第3Central Brain処理はステップST406へ移行する。
ステップST406で、第3Central Brain240Aは、第2Central Brain232Aから第5対応付け情報288及び第6対応付け情報290を取得する。ステップST406の処理が実行された後、第3Central Brain処理はステップST408へ移行する。
ステップST408で、第3Central Brain240Aは、最後尾車両204Cの複数種類のセンサからセンサ情報308を取得する。ステップST408の処理が実行された後、第3Central Brain処理はステップST410へ移行する。
ステップST410で、第3Central Brain240Aは、センサ情報308、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294に基づいて第3制御変数310を導出する。ステップST410の処理が実行された後、第3Central Brain処理はステップST412へ移行する。
ステップST412で、第3Central Brain240Aは、第3制御変数310に基づいて最後尾車両204Cの自動運転を制御する。ステップST412の処理が実行された後、第3Central Brain処理はステップST414へ移行する。
ステップST414で、第3Central Brain240Aは、第3Central Brain処理が終了する条件を満足したか否かを判定する。第3Central Brain処理が終了する条件の一例としては、最後尾車両プロセッサ240に対して、第3Central Brain処理を終了させる指示が与えられた、という条件が挙げられる。ステップST414において、第3Central Brain処理が終了する条件を満足していない場合は、判定が否定されて、第3Central Brain処理は、ステップST400へ移行する。ステップST414において、第3Central Brain処理が終了する条件を満足した場合は、判定が肯定されて、第3Central Brain処理が終了する。
以上説明したように、本第11の実施形態では、第1IPU224Bによって第1低FRカメラ画像208A1に基づいて隊列200の前方の態様が認識される。また、第8IPU240Dによって第8低FRカメラ画像222A1に基づいて隊列200の後方の態様が認識される。更に、第5MoPU232H1によって第5高FRカメラ画像216B1に基づいて隊列200の左側方の態様が認識され、かつ、第6MoPU232Iによって第6高FRカメラ画像218B1に基づいて隊列200の右側方の態様が認識される。
ここで、第5高FRカメラ画像216Bは、中間車両204Bに搭載されている第5高FRカメラ216Bによって隊列200の左側方が撮影されることで得られる画像であり、第6高FRカメラ画像218B1は、中間車両204Bに搭載されている第6高FRカメラ218Bによって隊列200の右側方が撮影されることで得られる画像である。すなわち、隊列200を成す全ての車両204のそれぞれに設けられた各カメラによって隊列200の側方が撮影されるわけではなく、隊列200を構成している1台の中間車両204Bに搭載されている第5高FRカメラ216B及び第6高FRカメラ218Bによって隊列200の側方(ここでは、一例として、隊列200の左側方及び右側方)が撮影される。
従って、本第11の実施形態によれば、隊列200を成す全ての車両204のそれぞれに設けられた各カメラによって隊列200の側方が撮影されるで得られる全ての画像に基づいて情報処理装置206が隊列200の側方の態様を認識する場合に比べ、情報処理装置206は、処理負荷をかけることなく隊列200の前方、後方、及び側方の各態様を認識することができる。
また、本第11の実施形態では、先頭車両204A及び最後尾車両204Cではなく中間車両204Bに第5高FRカメラ216A及び第6高FRカメラ218Bが設けられている。そして、第5高FRカメラ216Aによって隊列200の左側方が撮影されることで得られた第5高FRカメラ画像218B1に基づいて隊列200の左側方の態様が認識され、第6高FRカメラ218Bによって隊列200の右側方が撮影されることにで得られた第6高FRカメラ画像218B1に基づいて隊列200の右側方の態様が認識される。本第11の実施形態では、隊列200の左側方の態様及び隊列200の右側方の態様が認識された結果に基づいて隊列200の自動運転が制御される。従って、隊列200が自動運転される場合、隊列200全体の中間位置の側方の態様が情報処理装置206によって把握されるので、中間車両204Bではなく先頭車両204A又は最後尾車両204Cに第5高FRカメラ216A及び第6高FRカメラ218Bが設けられる場合に比べ、隊列200全体を精度良く移動させることができる。
また、本第11の実施形態では、第1低FRカメラ208A及び第8低FRカメラ222Aのフレームレートよりも高いフレームレートである第5高フレームレート及び第6高フレームレートで第5高FRカメラ216B及び第6高FRカメラ218Bによって隊列200の側方が撮影される。従って、本第11の実施形態によれば、第5MoPU232H及び第6MoPU232Iは、第1IPU224Bが第1低FRカメラ画像208A1に基づいて隊列200の前方の態様を認識する時間間隔及び第8IPU240Cが第8低FRカメラ画像222A1に基づいて隊列200の後方の態様を認識する時間間隔よりも短い時間間隔で隊列200の側方の態様を認識することができる。
また、本第11の実施形態では、第5高FRカメラ216B及び第6高FRカメラ218Bと同一のフレームレートで隊列200の側方を撮影する側方カメラが隊列200を成す全ての車両204のそれぞれに設けられた状況下で、全ての側方カメラによって撮影が行われることで得られる全ての画像が処理されるわけではない。すなわち、中間車両204Bのみに設けられた第5高FRカメラ216B及び第6高FRカメラ218Bのみによって隊列200の側方が撮影されることで得られた第5高FRカメラ画像216B1及び第6高FRカメラ画像218B1に基づいて第5MoPU232H及び第6MoPU232Iによって隊列200の側方の態様が認識される。従って、本第11の実施形態によれば、隊列200を成す全ての車両204のそれぞれに設けられた各側方カメラによって隊列200の側方が撮影されることで得られる全ての画像に基づいて情報処理装置206が隊列200の側方を認識する場合に比べ、情報処理装置206にかかる処理負荷を抑えることができる。
また、本第11の実施形態では、第5MoPU232Hは、第1低FRカメラ208A及び第8低FRカメラ222Aのフレームレートよりも高いフレームレートである第5高フレームレートで隊列200の左側方が撮影されることによって第5高FRカメラ画像216B1が得られる毎に、得られた第5高FRカメラ画像216B1に基づいて隊列200の左側方の態様を認識する。また、第6MoPU232Iは、第1低FRカメラ208A及び第8低FRカメラ222Aのフレームレートよりも高いフレームレートである第6高フレームレートで隊列200の右側方が撮影されることによって第6高FRカメラ画像218B1が得られる毎に、得られた第6高FRカメラ画像218B1に基づいて隊列200の右側方の態様を認識する。従って、本第11の実施形態によれば、情報処理装置206は、隊列200の側方を精緻に認識することができる。
また、本第11の実施形態では、第1IPU224Bによって第1低FRカメラ画像208A1に基づいて第1前方物体の種類が認識されることで隊列200の前方の態様が認識され、かつ、第8IPU240Cによって第8低FRカメラ画像222A1に基づいて第3後方物体の種類が認識されることで隊列200の後方の態様が認識される。従って、本第11の実施形態によれば、情報処理装置206等は、隊列200の前方及び後方の各態様を高精度に把握することができる。
また、本第11の実施形態では、第1IPU224Bによって隊列200の前方の態様が認識され、第8IPU240Cによって隊列200の後方の態様が認識され、かつ、第5MoPU232H及び第6MoPU232Iによって隊列200の側方の態様が認識される。そして、隊列200の前方の態様、隊列200の後方の態様、及び隊列200の側方の態様に基づいて隊列200の自動運転(例えば、先頭車両204A、中間車両204B、及び最後尾車両204Cのそれぞれの自動運転)が制御される。従って、本第11の実施形態によれば、隊列200の安全な自動運転を実現することができる。
また、本第11の実施形態では、第1対応付け情報280及び第8対応付け情報294に基づいて隊列200の自動運転が制御される。第1対応付け情報280は、隊列200の前方の態様に対する認識結果を示しており、第1前方物体の種類を特定可能な第1ラベル情報248と第1前方物体が点として表現された第1点情報252とが対応付けられた情報である。また、第8対応付け情報294は、隊列200の後方の態様に対する認識結果を示しており、第3後方物体の種類を特定可能な第8ラベル情報274と第3後方物体が点として表現された第8点情報278とが対応付けられた情報である。従って、本第11の実施形態によれば、第1対応付け情報280及び第8対応付け情報294に基づいて隊列200の自動運転が制御されることにより、隊列200の前後方向への安全な自動運転を実現することができる。
また、本第11の実施形態では、第5対応付け情報288及び第6対応付け情報290に基づいて隊列200の自動運転が制御される。第5対応付け情報288は、隊列200の左側方の態様に対する認識結果を示しており、左側方物体の種類を特定可能な第5ラベル情報260と左側方物体が点として表現された第5点情報268とが対応付けられた情報である。また、第6対応付け情報290は、隊列200の右側方の態様に対する認識結果を示しており、右側方物体の種類を特定可能な第6ラベル情報262と右側方物体が点として表現された第6点情報270とが対応付けられた情報である。従って、本第11の実施形態によれば、第5対応付け情報288及び第6対応付け情報290に基づいて隊列200の自動運転が制御されることにより、自動運転で移動する隊列200の左側方及び右側方の安全を確保することができる。
なお、ここでは、第5対応付け情報288及び第6対応付け情報290に基づいて隊列200の自動運転が制御される例を挙げているが、これは、あくまでも一例に過ぎず、第5ラベル情報260又は第5点情報268と、第6ラベル情報262又は第6点情報270とに基づいて隊列200の自動運転が制御されるようにしてもよい。
また、本第11の実施形態では、第1IPU224Bによって隊列200の前方の態様が認識され、第8IPU240Cによって隊列200の後方の態様が認識され、第5MoPU232H及び第6MoPU232Iによって隊列200の側方の態様が認識される。従って、本第11の実施形態によれば、隊列200の前方の態様、隊列200の後方の態様、及び隊列200の側方の態様が情報処理装置206に搭載されている単一のプロセッサのみによって認識される場合に比べ、情報処理装置206に搭載されている1つのプロセッサにかかる処理負荷を軽減することができる。
また、本第11の実施形態では、第5MoPU232H及び第6MoPU232Iによって、第5高FRカメラ画像216B1及び第6高FRカメラ画像218B1に基づいて、第1IPU224B及び第8IPU240Cよりも高速な処理が行われることで隊列200の側方の態様が認識される。従って、本第11の実施形態によれば、第5MoPU232H及び第6MoPU232Iは、第1IPU224Bによって隊列200の前方の態様が認識されるのに要する時間及び第8IPU240Cによって隊列200の後方の態様が認識されるのに要する時間よりも短時間で隊列200の側方の態様を認識することができる。
なお、上記第11の実施形態では、第3高フレームレート及び第4高フレームレートが第1高フレームレート及び第2高フレームレートと同一のフレームレートである場合について説明したが、本開示の技術はこれに限定されない。例えば、第3高フレームレート及び第4高フレームレートは、第1高フレームレート及び第2高フレームレートよりも低くてもよい。この場合の第3高フレームレート及び第4高フレームレートの一例としては、第1低フレームレート及び第2低フレームレート以下のフレームレートが挙げられる。このように、第3高フレームレート及び第4高フレームレートを第1高フレームレート及び第2高フレームレートよりも低くすることで、中間車両プロセッサ232にかかる処理負荷を軽減することができる。この結果、情報処理装置206全体の処理負荷も軽減される。
上記第11の実施形態では、第1Central Brain224Aによって第1制御変数298が導出され、第2Central Brain232Aによって第2制御変数304が導出され、第3Central Brain240Aによって第3制御変数310が導出される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、第1制御変数298、第2制御変数304、及び第3制御変数310の2つ以上が1つのプロセッサによって導出されるようにしてもよい。
図39には、第1Central Brain224Aによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出される形態例が示されている。図39に示す例において、第1Central Brain224Aは、深層学習モデル314を有しており、深層学習モデル314を用いて第1制御変数298、第2制御変数304、及び第3制御変数310を導出する。
深層学習モデル314は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第1制御変数298、第2制御変数304、及び第3制御変数310を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報296、302及び308の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、並びに、第1対応付け情報280、第2対応付け情報282、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
第1Central Brain224Aは、センサ情報296、302及び308、並びに、第1対応付け情報280、第2対応付け情報282、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294を深層学習モデル314に入力する。深層学習モデル314は、入力されたセンサ情報296、302及び308、並びに、第1対応付け情報280、第2対応付け情報282、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294に対応する第1制御変数298、第2制御変数304、及び第3制御変数310(例えば、最も高い確信度の制御変数)を出力する。
なお、ここでは、深層学習モデル314を用いることによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出される導出方法を例示しているが、これは、あくまでも一例に過ぎず、上記第4の実施形態で説明した各種の導出方法(例えば、積分法による多変量解析)を用いることによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出されるようにしてもよい。
第1Central Brain224Aによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出されると、上記第11の実施形態と同様に、第1制御変数298は、第1Central Brain224Aによって先頭車両204Aの自動運転の制御に用いられ、第2制御変数304は、第2Central Brain232Aによって中間車両204Bの自動運転の制御に用いられ、第3制御変数310は、第3Central Brain240Aによって最後尾車両204Cの自動運転の制御に用いられる。
上記第11の実施形態では、第5低FRカメラ画像216A1に基づいて隊列200の左側方に存在する左側方物体の種類が認識され、かつ、第5高FRカメラ画像216B1に基づいて隊列200の左側方に存在する左側方物体が点として認識される形態例が示されている。また、上記第11の実施形態では、第6低FRカメラ画像218A1に基づいて隊列200の右側方に存在する右側方物体の種類が認識され、かつ、第6高FRカメラ画像218B1に基づいて隊列200の右側方に存在する右側方物体が点として認識される形態例が示されている。しかし、本開示の技術はこれに限定されない。例えば、隊列200の左側方に存在する左側方物体の種類を認識する処理が行われずに、第5高FRカメラ画像216B1に基づいて隊列200の左側方に存在する左側方物体を点として認識する処理が行われるようにしてもよい。また、隊列200の右側方に存在する右側方物体の種類を認識する処理が行われずに、第6高FRカメラ画像218B1に基づいて隊列200の右側方に存在する右側方物体を点として認識する処理が行われるようにしてもよい。これにより、情報処理装置206は、隊列200の左側方の態様として隊列200の左側方に存在する左側方物体の種類を認識し、かつ、隊列200の右側方の態様として隊列200の右側方に存在する右側方物体の種類を認識する場合に比べ、軽い処理負荷で隊列200の左側方及び右側方の各態様を認識することができる。
また、このようにすることで、例えば、図40に示すように、自動運転の制御に必要な制御変数(図40に示す例では、一例として、第1制御変数298、第2制御変数304、及び第3制御変数310)を導出する場合に、第5対応付け情報288に代えて第5点情報268を用い、かつ、第6対応付け情報290に代えて第6点情報270を用いることができる。
図40に示す例では、深層学習モデル316を用いることによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出される。深層学習モデル316は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第1制御変数298、第2制御変数304、及び第3制御変数310を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報296、302及び308の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、第1対応付け情報280、第2対応付け情報282、第3対応付け情報284、第4対応付け情報286、第7対応付け情報292、及び第8対応付け情報294の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、並びに、第5点情報268及び第6点情報270の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
このように、第5対応付け情報288に代えて第5点情報268を用い、かつ、第6対応付け情報290に代えて第6点情報270を用いることにより、制御変数の導出に係る処理負荷を軽減することができる。また、深層学習モデル314を作る場合に比べ、深層学習モデル316を作るのに要する負荷(例えば、深層学習にかかる負荷)も軽減することができる。また、第5対応付け情報288に代えて第5点情報268を用い、かつ、第6対応付け情報290に代えて第6点情報270を用いることにより、第5ラベル情報260及び第6ラベル情報262は不要となる。この場合、第5低FRカメラ画像216A1及び第6低FRカメラ画像218A1の処理が不要となるので、第5IPU232D及び第6IPU232Eも不要なる。また、第5低FRカメラ2216A及び第6低FRカメラ218Aも不要となる。よって、第2情報処理装置206Bにかかる処理負荷を軽減することができる。また、中間車両204Bに搭載する部品点数を削減することができ、この結果、コストの削減に寄与することができる。
なお、ここでは、第5対応付け情報288に代えて第5点情報268を用い、かつ、第6対応付け情報290に代えて第6点情報270を用いる形態例を挙げたが、第5対応付け情報288に代えて第5ラベル情報260を用い、第6対応付け情報290に代えて第6ラベル情報262を用いてもよい。
図40に示す例では、センサ情報296、302及び308、第1対応付け情報280、第2対応付け情報282、第3対応付け情報284、第4対応付け情報286、第7対応付け情報292、及び第8対応付け情報294、並びに、第5点情報268及び第6点情報270に基づいて第1制御変数298、第2制御変数304、及び第3制御変数310が導出される形態例が示されているが、本開示の技術はこれに限定されない。例えば、図41に示すように、センサ情報296、302及び308、第1対応付け情報280、第2対応付け情報282、第7対応付け情報292、及び第8対応付け情報294、並びに、第5点情報268及び第6点情報270に基づいて第1制御変数298、第2制御変数304、及び第3制御変数310が導出されるようにしてもよい。
この場合、深層学習モデル318を用いることによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出される。深層学習モデル318は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第1制御変数298、第2制御変数304、及び第3制御変数310を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報296、302及び308の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、第1対応付け情報280、第2対応付け情報282、第7対応付け情報292、及び第8対応付け情報294の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、並びに、第5点情報268及び第6点情報270の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
このように、図41に示す例では、第3対応付け情報284及び第4対応付け情報286は用いられないので、第3ラベル情報256、第3点情報264、第4ラベル情報258、及び第4点情報266は不要となる。よって、第3低FRカメラ画像212A1、第3高FRカメラ画像212B1、第4低FRカメラ画像214A1、第4高FRカメラ画像214B1、第3レーダー信号212C1、第4レーダー信号214C1の処理は不要となるので、第3IPU232B、第3MoPU232F、第4IPU232C、及び第4MoPU232Gは不要となる。また、第3低FRカメラ画像212A1、第3高FRカメラ画像212B1、第4低FRカメラ画像214A1、第4高FRカメラ画像214B1、第3レーダー信号212C1、第4レーダー信号214C1は不要なので、第3低FRカメラ212A、第3高FRカメラ212B、第4低FRカメラ214A、第4高FRカメラ214B、第3レーダー212C、及び第4レーダー214Cは不要となる。これにより、第2情報処理装置206Bにかかる処理負荷を軽減することができる。また、中間車両204Bに搭載する部品点数を削減することができ、この結果、コストの削減に寄与することができる。
図41に示す例では、第3対応付け情報284及び第4対応付け情報286を用いない形態例を挙げたが、これは、あくまでも一例に過ぎず、第3対応付け情報284又は第4対応付け情報286を用いてもよい。また、第3対応付け情報284に代えて第3ラベル情報256又は第3点情報264を用いてもよいし、第4対応付け情報286に代えて第4ラベル情報258又は第4点情報266を用いてもよい。
図41に示す例では、センサ情報296、302及び308、第1対応付け情報280、第2対応付け情報282、第7対応付け情報292、及び第8対応付け情報294、並びに、第5点情報268及び第6点情報270に基づいて第1制御変数298、第2制御変数304、及び第3制御変数310が導出される形態例が示されているが、本開示の技術はこれに限定されない。例えば、図42に示すように、センサ情報296、302及び308、第1対応付け情報280及び第8対応付け情報294、並びに、第5点情報268及び第6点情報270に基づいて第1制御変数298、第2制御変数304、及び第3制御変数310が導出されるようにしてもよい。
この場合、深層学習モデル320を用いることによって第1制御変数298、第2制御変数304、及び第3制御変数310が導出される。深層学習モデル320は、ニューラルネットワークに対して教師データを用いた深層学習が行われることによって得られた学習済みモデルである。ここで用いられる教師データの一例としては、例題データと第1制御変数298、第2制御変数304、及び第3制御変数310を想定した正解データとが対応付けられたデータセットが挙げられる。例題データの一例としては、センサ情報296、302及び308の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、第1対応付け情報280及び第8対応付け情報294の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データ、並びに、第5点情報268及び第6点情報270の各々を想定した各データとして実機による試験及び/又はコンピュータ・シミュレーション等によって事前に得られた各データが挙げられる。
このように、図42に示す例では、第2対応付け情報282及び第7対応付け情報292は用いられないので、第2ラベル情報250、第2点情報254、第7ラベル情報272、及び第7点情報276は不要となる。よって、第2低FRカメラ画像210A1、第2高FRカメラ画像210B1、第2レーダー信号210C1、第7低FRカメラ画像220A1、第7高FRカメラ画像220B1、及び第7レーダー信号220C1の処理は不要となるので、第2IPU224C、第2MoPU224E、第7IPU240B、及び第7MoPU240Dは不要となる。第2低FRカメラ画像210A1、第2高FRカメラ画像210B1、第2レーダー信号210C1、第7低FRカメラ画像220A1、第7高FRカメラ画像220B1、及び第7レーダー信号220C1は不要なので、第2低FRカメラ210A、第2高FRカメラ210B、第2レーダー210C、第7低FRカメラ220A、第7高FRカメラ220B、及び第7レーダー220Cは不要となる。これにより、第1情報処理装置206B及び第3情報処理装置206Cにかかる処理負荷を軽減することができる。また、先頭車両204A及び最後尾車両204Cに搭載する部品点数を削減することができ、この結果、コストの削減に寄与することができる。
また、図42に示す例では、第2対応付け情報282及び第7対応付け情報292が用いられない形態例を挙げたが、第2対応付け情報282又は第7対応付け情報292が用いられるようにしてもよい。また、第2対応付け情報282に代えて第2ラベル情報250又は第2点情報254が用いられるようにしてもよい。また、第7対応付け情報292に代えて第7ラベル情報272又は第7点情報276が用いられるようにしてもよい。
上記の各形態例では、第1対応付け情報280、第2対応付け情報282、第3対応付け情報284、第4対応付け情報286、第5対応付け情報288、第6対応付け情報290、第7対応付け情報292、及び第8対応付け情報294を例示したが、本開示の技術はこれに限定されない。例えば、第1対応付け情報280に代えて第1ラベル情報248又は第1点情報252を用いても本開示の技術は成立する。また、第2対応付け情報282に代えて第2ラベル情報250又は第2点情報254を用いても本開示の技術は成立する。また、第3対応付け情報284に代えて第3ラベル情報256又は第3点情報264を用いても本開示の技術は成立する。また、第4対応付け情報286に代えて第4ラベル情報258又は第4点情報266を用いても本開示の技術は成立する。また、第5対応付け情報288に代えて第5ラベル情報260又は第5点情報268を用いても本開示の技術は成立する。また、第6対応付け情報290に代えて第6ラベル情報262又は第6点情報270を用いても本開示の技術は成立する。また、第7対応付け情報292に代えて第7ラベル情報272又は第7点情報276を用いても本開示の技術は成立する。また、第8対応付け情報294に代えて第8ラベル情報274又は第8点情報278を用いも本開示の技術は成立する。
上記の各形態例では、一台の中間車両204Bを例示したが、本開示の技術はこれに限定されず、中間車両204Bは複数台であってもよい。この場合、複数台の中間車両204Bのうちの少なくとも一台に第5態様センサ216及び第6態様センサ218が搭載されるようにする。例えば、隊列200の中央部に位置する少なくとも1台の中間車両204Bに第5態様センサ216及び第6態様センサ218が搭載されるようにする。第5態様センサ216及び第6態様センサ218が搭載される車両206は、隊列200を成す全ての車両206のうち、全ての車両206の台数未満の車両206であればよい。第5態様センサ216及び第6態様センサ218が搭載される車両206は、中間車両204Bであることが好ましい。
上記の各形態例では、隊列200が、先頭車両204A、中間車両204B、及び最後尾車両204Cによって成されているが、中間車両204Bは無くてもよい。この場合、先頭車両204A又は最後尾車両204Cに第5態様センサ216及び第6態様センサ218が搭載されるようにすればよく、第5態様センサ216及び第6態様センサ218によって得られる情報の処理は、第1情報処理装置206A又は第2情報処理装置206Cによって行われるようにすればよい。
上記の各形態例では、先頭車両プロセッサ224が先頭車両制御処理を行っているが、先頭車両プロセッサ224以外の少なくとも1つのプロセッサが先頭車両制御処理を行うようにしてもよいし、先頭車両プロセッサ224と先頭車両プロセッサ224以外の少なくとも1つのプロセッサとが先頭車両制御処理を分散して行うようにしてもよい。また、上記の各形態例では、中間車両プロセッサ232が中間車両制御処理を行っているが、先頭車両プロセッサ224以外の少なくとも1つのプロセッサが中間車両制御処理を行うようにしてもよいし、中間車両プロセッサ232と中間車両プロセッサ232以外の少なくとも1つのプロセッサとが中間車両制御処理を分散して行うようにしてもよい。また、上記の各形態例では、最後尾車両プロセッサ240が最後尾車両制御処理を行っているが、最後尾車両プロセッサ240以外の少なくとも1つのプロセッサが最後尾車両制御処理を行うようにしてもよいし、最後尾車両プロセッサ240と最後尾車両プロセッサ240以外の少なくとも1つのプロセッサとが最後尾車両制御処理を分散して行うようにしてもよい。
上記の各形態例では、隊列200に情報処理装置10が搭載されている場合について説明したが、本開示の技術はこれに限定されない。情報処理装置10の少なくとも一部は、隊列200以外の場所に設けられた外部装置(例えば、サーバ)であってもよく、外部装置によって先頭車両制御処理、中間車両制御処理、及び最後尾車両制御処理の少なくとも一部が行われるようにしてもよい。
上記の各形態例では、車両204を例示したが、これは、あくまでも一例に過ぎず、本開示の技術は、車両204以外の移動体に対しても適用可能である。車両204以外の移動体としては、例えば、航空機、船舶、又は走行ロボット(例えば、商品等の運搬等に使用される走行ロボット、又は、清掃等に使用される走行ロボット)等が挙げられる。
図43は、情報処理装置10又は冷却実行装置110として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装
置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
上記実施形態において、各プロセッサ(例:IPU11、MoPU12、及びCentral Brain15)が実行するとした処理はあくまで例示であり、各処理を実行するプロセッサは限定されない。例えば、上記実施形態でMoPU12が実行するとした処理を、MoPU12に代えて、Central Brain15が実行してもよいし、IPU11、MoPU12、及びCentral Brain15以外の他のプロセッサが実行してもよい。
<付記1>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
を備える、
情報処理装置。
(2)
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサを備える、
(1)に記載の情報処理装置。
(3)
前記第1カメラのフレームレートは可変であり、
前記第1プロセッサは、所定要因に応じて前記第1カメラのフレームレートを変更する、
(1)又は(2)に記載の情報処理装置。
(4)
前記第1プロセッサは、所定の対象物に対する外部環境に関するスコアを算出する、
(3)に記載の情報処理装置。
(5)
前記第1プロセッサは、算出した前記外部環境に関するスコアに応じて、前記第1カメラのフレームレートを変更する、
(4)に記載の情報処理装置。
(6)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する、
処理をコンピュータが実行する情報処理方法。
(7)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する、
処理を実行させるための情報処理プログラム。
<付記2>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体の存在位置を示す点の3次元直交座標系における少なくとも2つの座標軸の座標値を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記座標値及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備える、
情報処理装置。
(2)
前記第1プロセッサは、前記第1カメラにより撮影された画像から認識した前記物体の輪郭を囲む多角形の頂点の少なくとも対角となる2点の前記座標値を出力する、
(1)に記載の情報処理装置。
(3)
前記第1プロセッサは、前記第1カメラにより撮影された画像から認識した前記物体の輪郭を囲む多角形の複数の頂点の前記座標値を出力する、
(2)に記載の情報処理装置。
(4)
第1カメラにより撮影された物体の画像から、撮影された前記物体の存在位置を示す点の3次元直交座標系における少なくとも2つの座標軸の座標値を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記座標値及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。
(5)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体の存在位置を示す点の3次元直交座標系における少なくとも2つの座標軸の座標値を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記座標値及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。
<付記3>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付け、前記点情報及び前記識別情報に基づいて、移動体の自動運転を制御する第3プロセッサと、
を備える、
情報処理装置。
(2)
前記第3プロセッサは、
検知部が検知した検知情報に基づいて、前記移動体の自動運転を制御するための制御変数を算出し、
算出した前記制御変数と、前記点情報及び前記識別情報とに基づいて、前記移動体の自動運転を制御する、
(1)に記載の情報処理装置。
(3)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、前記点情報及び前記識別情報に基づいて、移動体の自動運転を制御する、
処理をコンピュータが実行する情報処理方法。
(4)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、前記点情報及び前記識別情報に基づいて、移動体の自動運転を制御する、
処理を実行させるための情報処理プログラム。
<付記4>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備え、
前記第1カメラのフレームレートは、前記第2カメラのフレームレートより大きい、
情報処理装置。
(2)
前記第1カメラのフレームレートは、前記第2カメラのフレームレートの10倍以上である、
(1)に記載の情報処理装置。
(3)
前記第1カメラのフレームレートは100フレーム/秒以上であり、前記第2カメラのフレームレートは10フレーム/秒である、
(2)に記載の情報処理装置。
(4)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラよりフレームレートが小さく、かつ前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。
(5)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラよりフレームレートが小さく、かつ前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。
<付記5>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備え、
前記第1プロセッサは、検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
情報処理装置。
(2)
前記第1カメラのフレームレートは可変であり、
前記第1プロセッサは、算出した前記危険度に応じて前記第1カメラのフレームレートを変更する、
(1)に記載の情報処理装置。
(3)
前記危険度は、前記移動体が今後どの程度の危険な場所を走行するかの度合を示す、
(1)又は(2)に記載の情報処理装置。
(4)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備え、
前記第3プロセッサは、検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
情報処理装置。
(5)
前記第1カメラのフレームレートは可変であり、
前記第3プロセッサは、算出した前記危険度に応じて前記第1カメラのフレームレートを変更する指示を前記第1プロセッサに出力する、
(4)に記載の情報処理装置。
(6)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
処理をコンピュータが実行する情報処理方法。
(7)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
検知部が検知した検知情報及び前記点情報に基づいて、所定の移動体に対する外部環境に関するスコアとして、前記移動体の移動に関する危険度を算出する、
処理を実行させるための情報処理プログラム。
<付記6>
(1)
第1カメラにより撮影された物体の可視光画像及び赤外線画像の少なくとも一方に基づいて、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備える、
情報処理装置。
(2)
前記第1プロセッサは、所定要因により前記第1カメラに含まれる可視光カメラにより撮影された前記物体の可視光画像から前記物体を捉えられない場合、前記第1カメラに含まれる赤外線カメラにより撮影された前記物体の赤外線画像に基づいて前記点情報を出力する、
(1)に記載の情報処理装置。
(3)
前記第1プロセッサは、前記可視光カメラにより前記可視光画像を撮影するタイミングと、前記赤外線カメラにより前記赤外線画像を撮影するタイミングとを同期させる、
(2)に記載の情報処理装置。
(4)
第1カメラにより撮影された物体の可視光画像及び赤外線画像の少なくとも一方に基づいて、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。
(5)
コンピュータに、
第1カメラにより撮影された物体の可視光画像及び赤外線画像の少なくとも一方に基づいて、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。
<付記7>
(1)
第1カメラにより撮影された物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備える、
情報処理装置。
(2)
前記第1プロセッサは、前記第1カメラにより前記画像を撮影するタイミングと、前記レーダーが前記レーダー信号に基づく前記物体の3次元点群データを取得するタイミングとを同期させる、
(1)に記載の情報処理装置。
(3)
前記第1カメラによって撮影される単位時間あたりの画像数及び前記レーダーによって取得される単位時間あたりの3次元点群データの数は、前記第2カメラによって撮影される単位時間あたりの画像数より多い、
(1)又は(2)に記載の情報処理装置。
(4)
第1カメラにより撮影された物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。
(5)
コンピュータに、
第1カメラにより撮影された物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。
<付記8>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体の種別を示すラベル情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記ラベル情報を対応付ける第3プロセッサと、
を備える、
情報処理装置。
(2)
前記第3プロセッサは、前記点情報が示す前記物体の位置情報と、前記位置情報が示す位置に存在する前記物体についての前記ラベル情報とを対応付ける、
(1)に記載の情報処理装置。
(3)
前記第3プロセッサは、前記第2プロセッサが前記ラベル情報を出力したタイミングと同じタイミングで前記第1プロセッサから出力された前記点情報を前記ラベル情報に対応付ける、
(2)に記載の情報処理装置。
(4)
前記第3プロセッサは、前記点情報及び前記ラベル情報を対応付けた後に前記第1プロセッサから新たな前記点情報が出力された場合、新たな前記点情報についても前記ラベル情報と対応付ける、
(2)又は(3)に記載の情報処理装置。
(5)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体の種別を示すラベル情報を出力し、
前記点情報及び前記ラベル情報を対応付ける、
処理をコンピュータが実行する情報処理方法。
(6)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体の種別を示すラベル情報を出力し、
前記点情報及び前記ラベル情報を対応付ける、
処理を実行させるための情報処理プログラム。
<付記9>
(1)
対応する方向を向いた複数のカメラで撮影された物体の画像から前記物体を点として捉えた点情報及び前記物体を識別した識別情報を出力するとともに、前記点情報及び前記識別情報を対応付ける情報処理装置による前記物体の検出結果を取得する取得部と、
前記取得部が取得した前記検出結果に基づいて、前記情報処理装置に対する冷却を実行させる実行部と、
を備える、
冷却実行装置。
(2)
前記取得部が取得した前記検出結果に基づいて、前記情報処理装置の作動状況を予測する予測部を備え、
前記実行部は、前記予測部による前記情報処理装置の作動状況の予測結果に基づいて、前記情報処理装置に対する冷却を実行させる、
(1)に記載の冷却実行装置。
(3)
前記予測部は、前記情報処理装置の温度変化を予測し、
前記実行部は、前記予測部による前記情報処理装置の温度変化の予測結果に応じた冷却手段を用いて、前記情報処理装置に対する冷却を実行させる、
(2)に記載の冷却実行装置。
(4)
前記取得部が取得する前記検出結果は、前記点情報である、
(1)から(3)の何れか1つに記載の冷却実行装置。
(5)
対応する方向を向いた複数のカメラで撮影された物体の画像から前記物体を点として捉えた点情報及び前記物体を識別した識別情報を出力するとともに、前記点情報及び前記識別情報を対応付ける情報処理装置による前記物体の検出結果を取得し、
取得した前記検出結果に基づいて、前記情報処理装置に対する冷却を実行させる、
処理をコンピュータが実行する冷却実行方法。
(6)
コンピュータに、
対応する方向を向いた複数のカメラで撮影された物体の画像から前記物体を点として捉えた点情報及び前記物体を識別した識別情報を出力するとともに、前記点情報及び前記識別情報を対応付ける情報処理装置による前記物体の検出結果を取得し、
取得した前記検出結果に基づいて、前記情報処理装置に対する冷却を実行させる、
処理を実行させるための冷却実行プログラム。
<付記10>
(1)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備え、
前記第1プロセッサは、前記第1カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の3次元直交座標系における前記物体の奥行き方向の座標値を導出する、
情報処理装置。
(2)
前記第1プロセッサは、複数の前記第1カメラにより撮影された前記物体の画像から、前記点情報として前記奥行き方向の座標値を導出する、
(1)に記載の情報処理装置。
(3)
前記第1プロセッサは、前記第1カメラにより撮影された前記物体の画像及びレーダーにより前記物体に照射された電磁波の前記物体からの反射波に基づくレーダー信号から、前記点情報として前記物体の幅方向、高さ方向、及び前記奥行き方向の座標値を導出する、
(1)又は(2)に記載の情報処理装置。
(4)
前記第1プロセッサは、前記第1カメラにより撮影された前記物体の画像及び照射装置により前記物体に照射されたストラクチャードライトを撮影した結果から、前記点情報として前記物体の幅方向、高さ方向、及び前記奥行き方向の座標値を導出する、
(1)から(3)の何れか1つに記載の情報処理装置。
(5)
前記第1プロセッサは、第1時点の前記3次元直交座標系における前記物体の幅方向、高さ方向、及び前記奥行き方向の座標値と、前記第1時点の次の時点である第2時点における前記幅方向及び前記高さ方向の座標値とから、前記点情報として前記第2時点における前記奥行き方向の座標値を導出する、
(1)から(4)の何れか1つに記載の情報処理装置。
(6)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備え、
前記第3プロセッサは、前記第1カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の3次元直交座標系における前記物体の奥行き方向の座標値を導出する、
情報処理装置。
(7)
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
前記第1カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の3次元直交座標系における前記物体の奥行き方向の座標値を導出する、
処理をコンピュータが実行する情報処理方法。
(8)
コンピュータに、
第1カメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記第1カメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付け、
前記第1カメラにより撮影された前記物体の画像から、前記点情報として前記物体の存在位置を示す点の3次元直交座標系における前記物体の奥行き方向の座標値を導出する、
処理を実行させるための情報処理プログラム。
<付記11>
(1)
イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力する第1プロセッサと、
前記イベントカメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力する第2プロセッサと、
前記第1プロセッサから出力された前記点情報及び前記第2プロセッサから出力された前記識別情報を対応付ける第3プロセッサと、
を備える、
情報処理装置。
(2)
前記第1プロセッサは、所定要因により可視光カメラにより撮影された前記物体の可視光画像から前記物体を捉えられない場合、前記イベントカメラにより撮影された前記物体の画像に基づいて前記点情報を出力する、
(1)に記載の情報処理装置。
(3)
前記所定要因は、前記物体の移動速度が所定値以上の場合及び単位時間あたりにおける環境光の光量変化が所定値以上の場合の少なくとも1つを含む、
(2)に記載の情報処理装置。
(4)
前記イベントカメラは、現時刻に撮影された画像と前時刻に撮影された画像との差異部分を表すイベント画像を出力するカメラである、
(1)から(3)の何れか1つに記載の情報処理装置。
(5)
イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記イベントカメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理をコンピュータが実行する情報処理方法。
(6)
コンピュータに、
イベントカメラにより撮影された物体の画像から、撮影された前記物体を点として捉えた点情報を出力し、
前記イベントカメラと対応する方向を向いた第2カメラにより撮影された前記物体の画像から、撮影された前記物体を識別した識別情報を出力し、
前記点情報及び前記識別情報を対応付ける、
処理を実行させるための情報処理プログラム。
<付記12>
(1)
プロセッサを備え、
前記プロセッサは、
隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識し、
前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識し、
前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識する
情報処理装置。
(2)
前記側方カメラは、前記前方カメラ及び前記後方カメラよりも高いフレームレートである第1フレームレートで前記側方を撮影する
(1)に記載の情報処理装置。
(3)
前記プロセッサは、前記第1フレームレートで前記側方が撮影されることによって前記側方画像が得られる毎に、得られた前記側方画像に基づいて前記側方の態様を認識する
(2)に記載の情報処理装置。
(4)
前記複数の移動体は、3つ以上の移動体であり、
前記特定移動体は、前記先頭移動体と前記最後尾移動体との間に位置する中間移動体である
(1)から(3)の何れか1つに記載の情報処理装置。
(5)
前記複数の移動体の各々は、自動運転が可能な移動体であり、
前記中間移動体には、前記先頭移動体側を撮影可能な先頭側カメラ、及び前記最後尾移動体側を撮影可能な最後尾側カメラのうちの少なくとも一方が設けられており、
前記プロセッサは、前記先頭側カメラによって前記先頭移動体側が撮影されることで得られた先頭移動体側画像、及び前記最後尾側カメラによって前記最後尾移動体側が撮影されることで得られた最後尾移動体側画像のうちの少なくとも一方に基づいて、前記中間移動体に対する前記自動運転を制御し、
前記先頭側カメラのフレームレートである第2フレームレート及び前記最後尾側カメラのフレームレートである第3フレームレートは、前記前方カメラのフレームレート及び前記後方カメラのフレームレートよりも低い
(4)に記載の情報処理装置。
(6)
前記複数の移動体の各々は、自動運転が可能な移動体であり、
前記プロセッサは、前記中間移動体側から前記先頭移動体側が撮影されることによって得られる先頭移動体側画像、及び前記中間移動体側から前記最後尾移動体側が撮影されることによって得られる最後尾移動体側画像のうちの少なくとも一方を用いることなく前記中間移動体に対する前記自動運転を制御する
(4)に記載の情報処理装置。
(7)
前記プロセッサは、
前記前方画像に基づいて、前記前方に存在する前方物体の種類を認識することにより前記前方の態様を認識し、
前記後方画像に基づいて、前記後方に存在する後方物体の種類を認識することにより前記後方の態様を認識する
(1)から(6)の何れか1つに記載の情報処理装置。
(8)
前記プロセッサは、前記側方画像に基づいて、前記側方に存在する側方物体を点として認識することにより前記側方の態様を認識する
(1)から(6)の何れか1つに記載の情報処理装置。
(9)
前記複数の移動体の各々は、自動運転が可能な移動体であり、
前記プロセッサは、前記前方の態様、前記後方の態様、及び前記側方の態様に基づいて前記自動運転を制御する
(1)から(8)の何れか1つに記載の情報処理装置。
(10)
前記複数の移動体の各々は、自動運転が可能な移動体であり、
前記プロセッサは、
前記前方画像に基づいて前記前方に存在する前方物体の種類を認識することにより前記前方物体の種類を特定可能な前方物体情報を取得し、
前記後方画像に基づいて前記後方に存在する後方物体の種類を認識することにより前記後方物体の種類を特定可能な後方物体情報を取得し、
前方対応付け情報及び後方対応付け情報に基づいて前記自動運転を制御し、
前記前方対応付け情報は、前記前方カメラのフレームレートよりも高いフレームレートである第4フレームレートで前記前方が撮影されることにより得られた第1画像に基づいて前記前方物体が点として表現された前方点情報と前記前方物体情報とが対応付けられた情報であり、
前記後方対応付け情報は、前記後方カメラのフレームレートよりも高いフレームレートである第5フレームレートで前記後方が撮影されることにより得られた第2画像に基づいて前記後方物体が点として表現された後方点情報と前記後方物体情報とが対応付けられた情報である
(1)から(9)の何れか1つに記載の情報処理装置。
(11)
前記プロセッサは、
前記側方画像に基づいて前記側方に存在する側方物体を点として認識することにより前記側方物体が点として表現された側方点情報を取得し、
前記前方対応付け情報、前記後方対応付け情報、及び前記側方点情報に基づいて前記自動運転を制御する
(10)に記載の情報処理装置。
(12)
前記プロセッサは、前方認識プロセッサ、後方認識プロセッサ、及び側方認識プロセッサを含み、
前記前方認識プロセッサは、前記前方画像に基づいて前記前方の態様を認識し、
前記後方認識プロセッサは、前記後方画像に基づいて前記後方の態様を認識し、
前記側方認識プロセッサは、前記側方画像に基づいて前記側方の態様を認識する
(1)から(11)の何れか1つに記載の情報処理装置。
(13)
前記側方認識プロセッサは、前記側方画像に基づいて、前記前方認識プロセッサ及び前記後方認識プロセッサよりも高速な処理を行うことで前記側方の態様を認識する
(12)に記載の情報処理装置。
(14)
隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識すること、
前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識すること、及び、
前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識することを含む
情報処理方法。
(15)
隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識すること、
前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識すること、及び、
前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識することを含む処理をコンピュータに実行させるための情報処理プログラム。
10 情報処理装置
11 IPU(第2プロセッサ)
12 MoPU(第1プロセッサ)
15 Central Brain(第3プロセッサ)
110 冷却実行装置

Claims (15)

  1. プロセッサを備え、
    前記プロセッサは、
    隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識し、
    前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識し、
    前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識する
    情報処理装置。
  2. 前記側方カメラは、前記前方カメラ及び前記後方カメラよりも高いフレームレートである第1フレームレートで前記側方を撮影する
    請求項1に記載の情報処理装置。
  3. 前記プロセッサは、前記第1フレームレートで前記側方が撮影されることによって前記側方画像が得られる毎に、得られた前記側方画像に基づいて前記側方の態様を認識する
    請求項2に記載の情報処理装置。
  4. 前記複数の移動体は、3つ以上の移動体であり、
    前記特定移動体は、前記先頭移動体と前記最後尾移動体との間に位置する中間移動体である
    請求項1に記載の情報処理装置。
  5. 前記複数の移動体の各々は、自動運転が可能な移動体であり、
    前記中間移動体には、前記先頭移動体側を撮影可能な先頭側カメラ、及び前記最後尾移動体側を撮影可能な最後尾側カメラのうちの少なくとも一方が設けられており、
    前記プロセッサは、前記先頭側カメラによって前記先頭移動体側が撮影されることで得られた先頭移動体側画像、及び前記最後尾側カメラによって前記最後尾移動体側が撮影されることで得られた最後尾移動体側画像のうちの少なくとも一方に基づいて、前記中間移動体に対する前記自動運転を制御し、
    前記先頭側カメラのフレームレートである第2フレームレート及び前記最後尾側カメラのフレームレートである第3フレームレートは、前記前方カメラのフレームレート及び前記後方カメラのフレームレートよりも低い
    請求項4に記載の情報処理装置。
  6. 前記複数の移動体の各々は、自動運転が可能な移動体であり、
    前記プロセッサは、前記中間移動体側から前記先頭移動体側が撮影されることによって得られる先頭移動体側画像、及び前記中間移動体側から前記最後尾移動体側が撮影されることによって得られる最後尾移動体側画像のうちの少なくとも一方を用いることなく前記中間移動体に対する前記自動運転を制御する
    請求項4に記載の情報処理装置。
  7. 前記プロセッサは、
    前記前方画像に基づいて、前記前方に存在する前方物体の種類を認識することにより前記前方の態様を認識し、
    前記後方画像に基づいて、前記後方に存在する後方物体の種類を認識することにより前記後方の態様を認識する
    請求項1に記載の情報処理装置。
  8. 前記プロセッサは、前記側方画像に基づいて、前記側方に存在する側方物体を点として認識することにより前記側方の態様を認識する
    請求項1に記載の情報処理装置。
  9. 前記複数の移動体の各々は、自動運転が可能な移動体であり、
    前記プロセッサは、前記前方の態様、前記後方の態様、及び前記側方の態様に基づいて前記自動運転を制御する
    請求項1に記載の情報処理装置。
  10. 前記複数の移動体の各々は、自動運転が可能な移動体であり、
    前記プロセッサは、
    前記前方画像に基づいて前記前方に存在する前方物体の種類を認識することにより前記前方物体の種類を特定可能な前方物体情報を取得し、
    前記後方画像に基づいて前記後方に存在する後方物体の種類を認識することにより前記後方物体の種類を特定可能な後方物体情報を取得し、
    前方対応付け情報及び後方対応付け情報に基づいて前記自動運転を制御し、
    前記前方対応付け情報は、前記前方カメラのフレームレートよりも高いフレームレートである第4フレームレートで前記前方が撮影されることにより得られた第1画像に基づいて前記前方物体が点として表現された前方点情報と前記前方物体情報とが対応付けられた情報であり、
    前記後方対応付け情報は、前記後方カメラのフレームレートよりも高いフレームレートである第5フレームレートで前記後方が撮影されることにより得られた第2画像に基づいて前記後方物体が点として表現された後方点情報と前記後方物体情報とが対応付けられた情報である
    請求項1に記載の情報処理装置。
  11. 前記プロセッサは、
    前記側方画像に基づいて前記側方に存在する側方物体を点として認識することにより前記側方物体が点として表現された側方点情報を取得し、
    前記前方対応付け情報、前記後方対応付け情報、及び前記側方点情報に基づいて前記自動運転を制御する
    請求項10に記載の情報処理装置。
  12. 前記プロセッサは、前方認識プロセッサ、後方認識プロセッサ、及び側方認識プロセッサを含み、
    前記前方認識プロセッサは、前記前方画像に基づいて前記前方の態様を認識し、
    前記後方認識プロセッサは、前記後方画像に基づいて前記後方の態様を認識し、
    前記側方認識プロセッサは、前記側方画像に基づいて前記側方の態様を認識する
    請求項1に記載の情報処理装置。
  13. 前記側方認識プロセッサは、前記側方画像に基づいて、前記前方認識プロセッサ及び前記後方認識プロセッサよりも高速な処理を行うことで前記側方の態様を認識する
    請求項12に記載の情報処理装置。
  14. 隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識すること、
    前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識すること、及び、
    前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識することを含む
    情報処理方法。
  15. 隊列で移動する複数の移動体のうちの先頭移動体に設けられた前方カメラであって、前記隊列の前方を撮影可能な前方カメラによって前記前方が撮影されることで得られた前方画像に基づいて前記前方の態様を認識すること、
    前記複数の移動体のうちの最後尾移動体に設けられた後方カメラであって、前記隊列の後方を撮影可能な後方カメラによって前記後方が撮影されることで得られた後方画像に基づいて前記後方の態様を認識すること、及び、
    前記複数の移動体のうち、前記複数の移動体の個数未満の移動体である特定移動体に設けられた側方カメラであって、前記隊列の側方を撮影可能な側方カメラによって前記側方が撮影されることで得られた側方画像に基づいて前記側方の態様を認識することを含む処理をコンピュータに実行させるための情報処理プログラム。
JP2023080410A 2022-10-24 2023-05-15 情報処理装置、情報処理方法、及び情報処理プログラム Pending JP2024062360A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/037929 WO2024090328A1 (ja) 2022-10-24 2023-10-19 情報処理装置、情報処理方法、及び情報処理プログラム

Applications Claiming Priority (20)

Application Number Priority Date Filing Date Title
JP2022170165 2022-10-24
JP2022170165 2022-10-24
JP2022172777 2022-10-27
JP2022172777 2022-10-27
JP2022175679 2022-11-01
JP2022175679 2022-11-01
JP2022181362 2022-11-11
JP2022181362 2022-11-11
JP2022182131 2022-11-14
JP2022182131 2022-11-14
JP2022186040 2022-11-21
JP2022186040 2022-11-21
JP2022187648 2022-11-24
JP2022187648 2022-11-24
JP2022187649 2022-11-24
JP2022187649 2022-11-24
JP2022189546 2022-11-28
JP2022189546 2022-11-28
JP2023036967 2023-03-09
JP2023036967 2023-03-09

Publications (1)

Publication Number Publication Date
JP2024062360A true JP2024062360A (ja) 2024-05-09

Family

ID=90970450

Family Applications (26)

Application Number Title Priority Date Filing Date
JP2023059411A Pending JP2024062342A (ja) 2022-10-24 2023-03-31 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023066684A Pending JP2024062344A (ja) 2022-10-24 2023-04-14 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023066683A Pending JP2024062343A (ja) 2022-10-24 2023-04-14 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023066685A Pending JP2024062345A (ja) 2022-10-24 2023-04-14 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023068062A Pending JP2024062347A (ja) 2022-10-24 2023-04-18 情報処理装置、情報処理方法及び情報処理プログラム
JP2023069618A Pending JP2024062348A (ja) 2022-10-24 2023-04-20 情報処理装置
JP2023070394A Pending JP2024062349A (ja) 2022-10-24 2023-04-21 情報処理装置
JP2023075259A Pending JP2024062351A (ja) 2022-10-24 2023-04-28 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076261A Pending JP2024062353A (ja) 2022-10-24 2023-05-02 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076253A Pending JP2024062352A (ja) 2022-10-24 2023-05-02 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076943A Pending JP2024062354A (ja) 2022-10-24 2023-05-08 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076944A Pending JP2024062355A (ja) 2022-10-24 2023-05-08 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023078139A Pending JP2024062357A (ja) 2022-10-24 2023-05-10 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023078024A Pending JP2024062356A (ja) 2022-10-24 2023-05-10 冷却実行装置、冷却実行方法、及び冷却実行プログラム
JP2023080353A Pending JP2024062358A (ja) 2022-10-24 2023-05-15 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023080410A Pending JP2024062360A (ja) 2022-10-24 2023-05-15 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023080388A Pending JP2024062359A (ja) 2022-10-24 2023-05-15 冷却実行装置、冷却実行方法、及び冷却実行プログラム
JP2023082445A Pending JP2024062361A (ja) 2022-10-24 2023-05-18 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023084121A Pending JP2024062362A (ja) 2022-10-24 2023-05-22 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023084860A Pending JP2024062363A (ja) 2022-10-24 2023-05-23 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023087263A Pending JP2024062365A (ja) 2022-10-24 2023-05-26 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023088201A Pending JP2024062366A (ja) 2022-10-24 2023-05-29 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023088202A Pending JP2024062367A (ja) 2022-10-24 2023-05-29 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023090418A Pending JP2024062369A (ja) 2022-10-24 2023-05-31 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023093420A Pending JP2024062372A (ja) 2022-10-24 2023-06-06 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023104424A Pending JP2024062374A (ja) 2022-10-24 2023-06-26 情報処理装置、情報処理方法、及び情報処理プログラム

Family Applications Before (15)

Application Number Title Priority Date Filing Date
JP2023059411A Pending JP2024062342A (ja) 2022-10-24 2023-03-31 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023066684A Pending JP2024062344A (ja) 2022-10-24 2023-04-14 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023066683A Pending JP2024062343A (ja) 2022-10-24 2023-04-14 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023066685A Pending JP2024062345A (ja) 2022-10-24 2023-04-14 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023068062A Pending JP2024062347A (ja) 2022-10-24 2023-04-18 情報処理装置、情報処理方法及び情報処理プログラム
JP2023069618A Pending JP2024062348A (ja) 2022-10-24 2023-04-20 情報処理装置
JP2023070394A Pending JP2024062349A (ja) 2022-10-24 2023-04-21 情報処理装置
JP2023075259A Pending JP2024062351A (ja) 2022-10-24 2023-04-28 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076261A Pending JP2024062353A (ja) 2022-10-24 2023-05-02 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076253A Pending JP2024062352A (ja) 2022-10-24 2023-05-02 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076943A Pending JP2024062354A (ja) 2022-10-24 2023-05-08 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023076944A Pending JP2024062355A (ja) 2022-10-24 2023-05-08 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023078139A Pending JP2024062357A (ja) 2022-10-24 2023-05-10 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023078024A Pending JP2024062356A (ja) 2022-10-24 2023-05-10 冷却実行装置、冷却実行方法、及び冷却実行プログラム
JP2023080353A Pending JP2024062358A (ja) 2022-10-24 2023-05-15 情報処理装置、情報処理方法、及び情報処理プログラム

Family Applications After (10)

Application Number Title Priority Date Filing Date
JP2023080388A Pending JP2024062359A (ja) 2022-10-24 2023-05-15 冷却実行装置、冷却実行方法、及び冷却実行プログラム
JP2023082445A Pending JP2024062361A (ja) 2022-10-24 2023-05-18 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023084121A Pending JP2024062362A (ja) 2022-10-24 2023-05-22 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023084860A Pending JP2024062363A (ja) 2022-10-24 2023-05-23 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023087263A Pending JP2024062365A (ja) 2022-10-24 2023-05-26 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023088201A Pending JP2024062366A (ja) 2022-10-24 2023-05-29 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023088202A Pending JP2024062367A (ja) 2022-10-24 2023-05-29 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023090418A Pending JP2024062369A (ja) 2022-10-24 2023-05-31 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023093420A Pending JP2024062372A (ja) 2022-10-24 2023-06-06 情報処理装置、情報処理方法、及び情報処理プログラム
JP2023104424A Pending JP2024062374A (ja) 2022-10-24 2023-06-26 情報処理装置、情報処理方法、及び情報処理プログラム

Country Status (1)

Country Link
JP (26) JP2024062342A (ja)

Also Published As

Publication number Publication date
JP2024062357A (ja) 2024-05-09
JP2024062367A (ja) 2024-05-09
JP2024062365A (ja) 2024-05-09
JP2024062353A (ja) 2024-05-09
JP2024062369A (ja) 2024-05-09
JP2024062358A (ja) 2024-05-09
JP2024062342A (ja) 2024-05-09
JP2024062347A (ja) 2024-05-09
JP2024062374A (ja) 2024-05-09
JP2024062372A (ja) 2024-05-09
JP2024062361A (ja) 2024-05-09
JP2024062351A (ja) 2024-05-09
JP2024062359A (ja) 2024-05-09
JP2024062354A (ja) 2024-05-09
JP2024062349A (ja) 2024-05-09
JP2024062363A (ja) 2024-05-09
JP2024062356A (ja) 2024-05-09
JP2024062348A (ja) 2024-05-09
JP2024062344A (ja) 2024-05-09
JP2024062345A (ja) 2024-05-09
JP2024062355A (ja) 2024-05-09
JP2024062362A (ja) 2024-05-09
JP2024062366A (ja) 2024-05-09
JP2024062343A (ja) 2024-05-09
JP2024062352A (ja) 2024-05-09

Similar Documents

Publication Publication Date Title
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
Petrovskaya et al. Model based vehicle tracking in urban environments
WO2024090328A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2024062360A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2024090389A1 (ja) 冷却実行装置、冷却実行方法、冷却実行プログラム、及び車両
JP2024062332A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2024062323A (ja) 情報処理装置及びプログラム
JP2024066383A (ja) 情報処理装置