JP7548225B2 - 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法 - Google Patents

自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法 Download PDF

Info

Publication number
JP7548225B2
JP7548225B2 JP2021522216A JP2021522216A JP7548225B2 JP 7548225 B2 JP7548225 B2 JP 7548225B2 JP 2021522216 A JP2021522216 A JP 2021522216A JP 2021522216 A JP2021522216 A JP 2021522216A JP 7548225 B2 JP7548225 B2 JP 7548225B2
Authority
JP
Japan
Prior art keywords
route
automatic driving
safety
driving control
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021522216A
Other languages
English (en)
Other versions
JPWO2020241303A1 (ja
Inventor
将臣 鍋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020241303A1 publication Critical patent/JPWO2020241303A1/ja
Application granted granted Critical
Publication of JP7548225B2 publication Critical patent/JP7548225B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本開示は、自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法に関する。さらに詳細には、自動走行ロボットや自動走行車両の安全な走行を可能とする自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法に関する。
昨今、自動走行型のロボットや自動走行型車両の開発や利用が急速に進んでいる。例えば倉庫やオフィス内で荷物を搭載して無人で走行するロボットや、道路を走行する自動運転車両等の開発や利用が進んでいる
自動走行型のロボットや自動走行型車両は他のロボットや車両、歩行者等との衝突を回避して安全に走行することが要求される。
なお、自動走行ロボットの安全走行技術を開示した従来技術として例えば特許文献1(特開2010-055498号公報)がある。
この文献は、センサ等によって人等の障害物を検出して、検出情報に応じて障害物を避ける経路設定を行って走行することで、障害物との衝突を防止した安全走行を実現する構成を開示している。
しかし、例えば歩行者は物陰や脇道から飛び出してくることがある。この場合、自動走行ロボットのセンサは物陰や脇道にいる人を検出できない場合が多く、このような場合には衝突を防止できない。
特開2010-055498号公報
本開示は、例えば上記問題点に鑑みてなされたものであり、自動走行ロボットや車両のセンサ検出ができない領域から飛び出す人等の移動オブジェクトに対する衝突可能性を低減させた安全な走行を実現する自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法を提供することを目的とする。
本開示の第1の側面は、
他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定部と、
前記走行経路決定部の生成した安全優先経路に従って、自装置を走行させる制御を実行する走行制御部を有する自動走行制御装置にある。
さらに、本開示の第2の側面は、
自動走行装置と、
前記自動走行装置に対して安全優先経路を送信するサーバを有し、
前記サーバは、
前記自動走行装置と他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して、生成した安全優先経路情報を前記自動走行装置に送信し、
前記自動走行装置は、
前記サーバから、前記安全優先経路情報を受信して、受信した安全優先経路に従って、自装置を走行させる制御を実行する自動走行制御システムにある。
さらに、本開示の第3の側面は、
自動走行制御装置において実行する自動走行制御方法であり、
走行経路決定部が、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定ステップと、
走行制御部が、前記走行経路決定部の生成した安全優先経路に従って、自装置を走行させる制御を実行する走行制御ステップを実行する自動走行制御方法にある。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して走行する自動走行制御装置が実現される。
具体的には、例えば、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定部と、走行経路決定部の生成した安全優先経路に従って自装置を走行させる制御を実行する走行制御部を有する。走行経路決定部は、トポロジー地図上の最小コスト経路に基づいてメトリック地図上のコスト優先経路を生成し、メトリック地図上のコスト優先経路を修正して危険領域を迂回する安全優先経路を生成する。
本構成により、、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して走行する自動走行制御装置が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
自動走行制御における問題点について説明する図である。 自動走行制御における問題点について説明する図である。 本開示の自動走行制御の概要について説明する図である。 本開示の自動走行制御装置の構成例を示す図である。 自動走行制御システムの構成例について説明する図である。 本開示の自動走行制御装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 トポロジー地図について説明する図である。 メトリック地図の具体例について説明する図である。 安全優先経路の生成処理の具体例について説明する図である。 本開示の自動走行制御装置が実行する処理のシーケンスと利用するデータについて説明する図である。 ダイナミックマップ(DM)について説明する図である。 安全優先経路の生成処理の具体例について説明する図である。 安全優先経路の生成処理の具体例について説明する図である。 安全優先経路の生成処理の具体例について説明する図である。 様々な危険領域に対応した安全優先経路の設定例について説明する図である。 様々な危険領域に対応した安全優先経路の設定例について説明する図である。 様々な危険領域に対応した安全優先経路の設定例について説明する図である。 駐車場の危険領域に対応した安全優先経路の設定例について説明する図である。 駐車場の危険領域に対応した安全優先経路の設定例について説明する図である。 駐車場の危険領域に対応した安全優先経路の設定例について説明する図である。 駐車場の危険領域に対応した安全優先経路の設定例について説明する図である。 本開示の自動走行制御装置の構成例について説明する図である。 車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 表示部の表示データの例を示す図である。 本開示の自動走行制御装置やサーバのハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法の詳細について説明する。なお、説明は以下の項目に従って行なう。
1.自動走行制御における問題点と本開示の自動走行制御処理の概要について
2.本開示の自動走行制御装置および自動走行制御システムの構成例について
3.本開示の自動走行制御装置が実行する処理について
4.安全優先経路の生成処理の具体例について
5.様々な危険領域に対応した安全優先経路の設定例について
6.駐車場の危険領域に対応した安全優先経路の設定例につい
7.自動走行制御装置の構成例について
8.車両制御システムの構成例と、車両のセンシング領域の例について
9.表示部の表示データの例について
10.各装置のハードウェア構成例について
11.本開示の構成のまとめ
[1.自動走行制御における問題点と本開示の自動走行制御処理の概要について]
まず、自動走行制御における問題点と本開示の自動走行制御処理の概要について説明する。
図1は、自動走行ロボット10の走行例を示す図である。自動走行ロボット10の進行方向(矢印方向)には、T字路が構成されており、右側から人が走ってきている。
このまま、自動走行ロボット10が走行し、人が走り続けた場合、T字路の交差部で衝突してしまう。
多くの自動走行ロボット10にはカメラやレーダ等のセンサが装着され、センサが進行方向の障害物を検知した場合、緊急停止等の制御がなされる。
しかし、自動走行ロボット10に装着されたカメラやレーダ等のセンサは、壁等によって遮られた領域内の人や障害物については検出ができない。
従って、自動走行ロボット10は、T字路の脇道から走ってくる人をセンサによって検出できるのは、図2に示すように自動走行ロボット10がT字路に侵入する直前の地点になってしまう。自動走行ロボット10が、図2に示す位置でT字路の脇道から走ってくる人をセンサによって検出して急停止したとしても、自動走行ロボット10と人は衝突、あるいは接触する可能性が高い。
本開示は、このような事態の発生を防止することを可能としたものである。
図3を参照して本開示の自動走行制御装置の実行する走行制御処理の一例について説明する。
図3に示す自動走行ロボット20は、本開示の自動走行制御装置の一例である。
自動走行ロボット20は、予め取得した地図情報に基づいて、例えば図に示す合流点21等、人やその他のロボット、車両等の移動オブジェクトとの衝突危険性の高い地点(危険領域)の情報を予め取得し、このような危険領域での移動オブジェクトとの衝突可能性を低減させる最適走行経路をに従って走行を行う。
図3に示す安全優先経路32である。
図3に示す安全優先経路32は、自動走行ロボット20と人などの移動オブジェクトとの衝突危険性の高い地点(危険領域)である合流点31から離れた位置を走行経路として設定した経路である。
図3に示す安全優先経路32は、危険領域である合流点31から離れた位置では、通路の中央部を走行経路としているが、危険領域である合流点31の近くでは走行経路を合流点31から遠い位置になるように設定した安全優先型の走行経路である。
このような安全優先経路の決定処理は事前に実行される。例えば、自動走行ロボット20の走行開始前に実行する。あるいは、自動走行ロボット20がT字路の合流点31等の危険領域に近づく前、遅くとも、自動走行ロボット20がT字路の合流点31前で停止不可能となる直前までには実行される。
本開示の自動走行制御装置は、このように道路や走行路の合流点等、移動オブジェクトとの衝突可能性が高い危険領域を避ける安全優先型の走行経路である安全優先経路を事前に決定し、決定した安全優先経路に従って走行を実行する。この処理により、センサによる障害物検出ができない場合でも人やその他のロボット、自動車等の移動オブジェクトとの衝突可能性を低減することができる。
なお、本開示の自動走行制御装置は、図3に示すような自動走行ロボットの他、自動運転車両等、人による直接的な走行制御がなされない自動走行処理を行う装置全般を含む。
[2.本開示の自動走行制御装置および自動走行制御システムの構成例について]
次に、本開示の自動走行制御装置および自動走行制御システムの構成例について説明する。
図4は、本開示の自動走行制御装置100の構成例を示す図である。なお、図4に示す自動走行制御装置100の構成は、自動走行制御装置100の一部構成を示すものである。図4に示す自動走行制御装置100は例えば図3に示す自動走行ロボット20の一部の構成に相当する。
図4に示すように、自動走行制御装置100は、走行経路決定部101、走行制御部102を有する。走行経路決定部101は地図データ111を入力して、自動走行制御装置100が走行する走行経路を決定し走行経路データ112を生成する。
走行経路決定部101が生成する走行経路データ112は、例えば先に図3を参照して説明した合流点31等の危険地域を避けた安全優先経路である。
なお、走行経路決定部101は他の自動走行制御装置の走行経路を考慮した走行経路決定処理を実行する構成としてもよい。他の自動走行制御装置の走行経路情報については、外部サーバから取得、あるいは走行装置間の通信によって取得する。
走行制御部102は、走行経路決定部101が生成した走行経路データ112を入力し、走行経路データ112に従って自動走行制御装置100を走行させる走行制御を行う。
走行制御部102は、さらに、自動走行制御装置100の有するカメラやレーダ等のセンサ検出情報に基づく走行制御を実行する。
センサ検出により日走行路に障害物が検出された場合は、必ずしも走行経路決定部101が生成した走行経路データ112に従って走行するのではなく、緊急停止や障害物を避けた緊急的な経路を設定して走行を行う。
なお、走行経路決定部101が、走行経路データ112を生成する地図データ111は、自動走行制御装置100内の記憶部に格納した構成でもよいし、外部サーバから入力する構成としてもよい。
なお、図1に示す自動走行制御装置100は、走行経路決定部101と、走行制御部102を有するが、走行経路決定部101については、自動走行制御装置100内に設けず、外部サーバ内に設定する構成としてもよい。
このような構成を有する自動走行制御システム120の構成例について図5を参照して説明する。
図5には、自動走行制御装置(自動走行ロボット)100a,bと、ロボット管理サーバ121と、地図情報提供サーバ122を示している。これらの各構成要素はネットワークを介して相互通信可能な構成を有する。
ロボット管理サーバ121は、先に図4を参照して説明した走行経路決定部101の処理、すなわち、危険領域を避けた安全な走行経路を決定する処理を実行し、走行経路データを生成する。
ロボット管理サーバ121は、ネットワークによって通信可能な自動走行制御装置(自動走行ロボット)100a,b各々の走行経路を決定して、決定ルートからなる走行経路データを各自動走行制御装置(自動走行ロボット)100a,bに送信する。
各自動走行制御装置(自動走行ロボット)100a,bは、ロボット管理サーバ121から受信した走行経路データに従って走行処理を実行する。
なお、ロボット管理サーバ121はロボット情報125を有する。ロボット情報125には、各自動走行制御装置(自動走行ロボット)100a,bの識別情報、現在位置情報、決定した走行ルート情報等が記録される。
地図情報提供サーバ122は地図データ127を保持しており、地図データ127をロボット管理サーバ121、自動走行制御装置(自動走行ロボット)100a,bに提供する。
なお、図5に示すネットワーク構成では、ロボット管理サーバ121と地図情報提供サーバ122を個別のサーバとして示しているが、これらは、1つのサーバとして構成することも可能である。また、ロボット管理サーバ121や地図情報提供サーバ122は複数のサーバ構成としてもよい。
[3.本開示の自動走行制御装置が実行する処理について]
次に、本開示の自動走行制御装置が実行する処理について説明する。
なお、図4、図5を参照して説明したように走行ルート決定処理は、自動走行ロボット等の自動走行制御装置が実行してもよいし、外部サーバが実行してもよい。
以下では、代表例として自動走行ロボット等の自動走行制御装置が走行ルート決定処理を行う実施例について説明する。
図6は、本開示の自動走行制御装置100が実行する処理のシーケンスについて説明するフローチャートを示す図である。
なお、図6に示すフローチャートに従った処理は、自動走行ロボット等の自動走行制御装置100の制御部(データ処理部)、具体的には図4を参照して説明した走行経路決定部101や走行制御部102が、例えば自動走行制御装置100の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
なお、図6に示すフローの一部のステップは、自動走行制御装置100と通信可能なサーバの処理として実行することも可能である。
以下、図6に示すフローの各ステップの処理について説明する。
(ステップS101)
ステップS101~S104の処理は、図4に示す構成中の走行経路決定部101が実行する処理である。
まず、自動走行制御装置100の走行経路決定部101は、ステップS101において、目的地の決定処理を実行する。
このステップS101の目的地決定処理は、例えばユーザによる自動走行制御装置100の入力部を介した入力処理によって実行可能である。また、外部装置や外部サーバから送信される目的地設定情報を、自動走行制御装置100の通信部が受信する処理としてもよく、様々な処理態様で実行される。
(ステップS102)
次に、ステップS102において、ステップS101で決定した目的地までのトポロジー地図上での経路を生成する。
トポロジー地図とは、代表的な地点=ノード(交差点など)と、ノード間接続ラインであるエッジで構成した地図情報である。
図7にトポロジー地図の一例を示す。
ステップS102では、このノードとエッジによって構成されるトポロジー地図上での走行経路、すなわち現在地から目的地までの経路を生成する。
具体的には現在地に最も近いノードから、目的地に最も近いノードまで、どのエッジを辿り、どのノードを経由して行けば良いかを設定した経路を生成する。
なお、現在地から目的地まで「走行可能か否か」を判定するためには、ノード間のエッジ構成を取得すればよい。ノードの座標や、ノード間距離(エッジ長さ)の情報は、現在地から目的地まで「走行可能か否か」を判定するためには不要である。
ただし、多くの場合、現在地から目的地までの「走行可能ルート」は複数、設定可能である。すなわち、どんなに遠回りしてもよいという前提であれば、複数のルートが設定できる。
トポロジー地図を利用して決定する走行ルートは、一般的には最短ルートである。この最短ルートを決定するため、トポロジー地図のノードやエッジには「コスト」という概念が設定される。最短ルートを選択するため、ノードとエッジのコストの総和が最も小さいものを最終的な決定ルートとすればよい。
なお、コストには、様々な設定手法があるが、最もシンプルな例は距離や傾斜情報に基づいて設定するものがある。また、できるだけ避けるべき場所はコストを上げる、といった付加的な要素を利用してもよい。
図4に示す走行経路決定部101は、ステップS102において、トポロジー地図のコストを参照して、現在地から最も早く目的地に到達する1つの経路を決定し、決定したルートからなる経路情報を生成する。
(ステップS103)
次に、走行経路決定部101は、ステップS103においてメトリック地図上のコスト優先経路を決定する。
走行経路決定部101は、ステップS102で生成したトポロジー地図上の決定経路、すなわちコストに基づいて決定した経路をメトリック地図に反映させてメトリック地図上のコスト優先経路を決定する。
例えば最短経路を持つ最小コストのコスト優先経路を決定する。
メトリック地図とは、実際の距離やサイズが反映されている地図である。なお、メトリック地図には、利用目的に応じて色々なフォーマットがある。
例えば、車輪移動体の場合に利用するメトリック地図は、通行可能か否かの情報をもつ2次元の地図(見取り図、鳥観図のような)を利用して、その通行可能領域をどう走行するかという経路を引いて生成される。
なお、トポロジー地図のノードとエッジは、メトリック地図上の位置や、道路、通路等の経路に対応付けられる。
トポロジー地図のノードは座標が不要であるが、トポロジー地図のノードのメトリック地図における対応位置に基づいて、各ノードの現実の位置(座標)が取得できる。
ただし、トポロジー地図のエッジは、ノード間の接続関係とコストのみのデータでよい。各エッジはメトリック地図の経路に対応付けられる。あるエッジは、メトリック地図上の狭く、曲がった道であり、あるエッジは広い直線の道に対応する。これらはトポロジー地図では同じ「エッジ」として表現される。ただし、狭く曲がった道の方がコストを高くなるといったコスト設定がなされる。
メトリック地図上における経路生成手法には様々な手法がある。例えば自動運転車両の利用するメトリック地図では、メトリック地図上に複数の車両走行可能な経路を作成する。例えばレールのような走行可能な経路を生成する。
さらに、経路が設定されたメトリック地図の各経路に、トポロジー地図上のエッジを対応付ける。
図8を参照して、メトリック地図上での経路決定処理の一例について説明する。
図8はメトリック地図の一例である。図8に示すメトリック地図は、走行路A、走行路B、走行路Cを有する。各走行路には、自動走行ロボット等の自動走行制御装置100が走行可能なルートを点線で示している。
走行路Aは、2本の走行可能ルートとして、ルートRa1,ルートRa2を有する。
走行路Bは、2本の走行可能ルートとして、ルートRb1,ルートRb2を有する。
走行路Cは、3本の走行可能ルートとして、ルートRc1,ルートRc2,ルートRc3を有する。
例えばトポロジー地図における現在地ノード対応位置から、目的地ノード対応位置までの走行ルートを決定する場合の処理例について説明する。
現在地ノード対応位置から目的地ノード対応位置まで走行する場合、走行路B、走行路A、走行路Cを走行する。
走行路BからはルートRb1、またはルートRb2が選択可能である。
走行路AからはルートRa1、またはルートRa2が選択可能である。
走行路CからはルートRc1、またはルートRc2、またはルートRc3が選択可能である。
これら各ルートは、トポロジー地図の各エッジに対応する。各走行路の交差部はトポロジー地図の各ノードに対応する。前述したようにトポロジー地図の各エッジ、各ノードにはコストが設定されており、ステップS102において、総コストが最も低いルートがトポロジー地図上で選択されている。
ステップS103では、この総コストが最も低いトポロジー地図上のルートに対応するルート(走行経路)をメトリック地図から選択する。
例えば、図8に示す以下のルート、すなわち、
走行路BのルートRb1~走行路AのルートRa2~走行路CのルートRc2、これらのルートによって構成される走行路を、メトリック地図上のコスト優先経路として決定する。具体的には、例えば最短経路を持つ経路を最小コストのコスト優先経路として決定する。
(ステップS104)
次に、走行経路決定部101はステップS104において、ステップS103で生成したメトリック地図上のコスト優先経路に対して、危険領域の通過や近接を回避する修正処理を行い、メトリック地図上の安全優先経路を生成する。
ステップS103で生成したメトリック地図上のコスト優先経路は、経路上の危険領域、すなわち、例えば先に図3を参照して説明した合流点31等の危険領域の回避を考慮していないコスト優先経路である。
ステップS104では、このコスト優先経路上の危険領域の位置情報を取得し、コスト優先経路上の危険領域の通過や近接を回避するように経路を修正して安全優先経路を生成する。
図9を参照してステップS104の具体的処理例について説明する。
図9には、以下の2つの経路設定例を示している。
(1)経路修正前
(2)経路修正後
図9(1)経路修正前に示すコスト優先経路131は、ステップS103においてトポロジー地図上の経路をメトリック地図上に反映させて生成した経路である。
この経路はコストを最小とした経路である。
しかしこのコスト優先経路131は、図9(1)に示すように危険領域である合流点に極めて近い位置を通過する経路であり、この経路を利用した走行を行うと合流点において人や他車両等の移動オブジェクトと衝突する可能性がある。
ステップS104では、このような合流点等の危険領域情報を地図データ111から取得し、取得した危険領域情報に基づいて経路修正を実行する。具体的にはコスト優先経路上、またはコスト優先経路に近い位置に危険領域がある場合、危険領域から離れるように経路を修正する。
なお、経路修正対象とするコスト優先経路と危険領域間の距離については、予め規定しておく。
例えば、コスト優先経路と危険領域間の距離が予め規定したしきい値距離以下である場合には、経路修正を行う。
走行経路決定部101はステップS104における経路修正により、例えば、図9(2)に示すような安全優先経路132を生成する。
図9(2)に示す安全優先経路132は、危険領域であるT字路の合流点から離れるように、危険領域(合流点)を迂回させた経路である。
危険領域(合流点)から離れるように危険領域(合流点)を迂回する安全優先経路132に従って自動走行ロボット等を走行させることで、合流点における他の移動オブジェクトとの衝突や接触の可能性を低減させることができる。
このように、走行経路決定部101はステップS104において、ステップS103で生成したメトリック地図上のコスト優先経路に対して、危険領域の通過や近接を回避する修正処理を行い、メトリック地図上の安全優先経路を生成する。
すなわち、コスト優先経路上の危険領域を回避するように経路を修正して安全優先経路を生成する。
(ステップS105)
次のステップS106は、図4に示す走行制御部102が実行する処理である。
走行制御部102は、ステップS105において、ステップS104で走行経路決定部101が決定したメトリック地図上の安全優先経路に従って、自動走行制御装置(自動走行ロボット)100を走行させる走行制御を実行する。
この走行制御により、自動走行制御装置(自動走行ロボット)100は、合流点等の危険領域を回避した経路に従った安全走行を行うことが可能となる。
このように、本開示の自動走行制御装置100は、まず、トポロジー地図上で現在地から目的地までの最小コスト経路を決定し、その後、この最小コスト経路をメトリック地図上に反映させたメトリック地図上のコスト優先経路を生成する。
さらに、メトリック地図上のコスト優先経路上、またはコスト優先経路に近い位置に危険領域がある場合、危険領域から離れるように経路を修正して安全優先経路を生成し、安全優先経路に従って自動走行制御装置(自動走行ロボット)100を走行させる走行制御を実行する。
なお、図6に示すフローに従った処理を実行する場合、様々な地図情報が必要となる。
図10を参照して、図6に示す処理を実行する際に利用するデータについて説明する。
図10に示すフローチャートは、図6に示すフローと同様のフローである。図10は、フローの各ステップの処理において利用する情報を追記した図である。
ステップS102では、前述したように、図4に示す構成中の走行経路決定部101が、ノードとエッジによって構成されるトポロジー地図上での走行経路、すなわち現在地から目的地までのコスト優先経路を生成する。
この処理においては、地図データ111内に含まれるトポロジー地図データ111aを利用する。
先に説明したように、トポロジー地図は、代表的な地点=ノード(交差点など)と、ノード間接続ラインであるエッジで構成した地図情報であり、ノードやエッジにコスト情報が設定された地図データである。先に図7を参照して説明したようなデータによって構成される。
ステップS102では、地図データ111内に含まれるトポロジー地図データ111aを利用して現在地から目的地までのコスト優先経路を生成する。
次のステップS103では、前述したように、走行経路決定部101が、メトリック地図上のコスト優先経路を生成する。
すなわち、ステップS102で生成したトポロジー地図上の決定経路、すなわちコストに基づいて決定した経路をメトリック地図に反映させてメトリック地図上のコスト優先経路を決定する。
この処理においては、地図データ111内に含まれるメトリック地図データ111bを利用する。
先に説明したように、メトリック地図とは、実際の距離やサイズが反映されている地図である。先に図8を参照して説明したように走行可能な経路が設定された地図データである。
ステップS103では、地図データ111内に含まれるメトリック地図データ111bを利用して現在地から目的地までのコスト優先経路を生成する。
次のステップS104では、前述したように、走行経路決定部101が安全優先経路を生成する。
すなわち、走行経路決定部101がステップS103で生成したメトリック地図上のコスト優先経路を安全優先経路に修正する。
この処理においては、地図データ111内に含まれる危険領域地図データ111cを利用する。
危険領域地図データ111cは、実際の距離やサイズを反映したメトリック地図上に危険領域や危険領域代表点の位置情報を記録した地図データである。
ステップS104では、地図データ111内に含まれる危険領域地図データ111cを利用して、安全優先経路を生成する。
なお、危険領域地図データ111cは、予め事前に生成しておいてもよいが、例えば自動走行制御装置100の走行予定、すなわち現在地から目的地までのコスト優先経路が決定された後、メトリック地図上でその経路に含まれる危険領域を検出して、その検出結果に基づいて危険領域地図データ111cを生成してもよい。
この処理は、自動走行制御装置100の走行経路決定部101が実行する。あるいはロボット管理サーバ121、または地図情報提供サーバ122が実行する構成としてもよい。
このように、安全優先経路を生成するまでには、様々な地図データが利用される。
なお、これらの地図データは、例えば地図情報提供サーバ122の提供するダイナミックマップから取得可能である。
図11を参照してダイナミックマップ(DM)について説明する。
図11に示すように、ダイナミックマップ(DM)は階層化された複数タイプのレイヤーの情報群で構成される。すなわち、ダイナミックマップ(DM)は、以下の4つのタイプの情報によって構成される。
タイプ1=静的データ
タイプ2=準静的データ
タイプ3=準動的データ
タイプ4=動的データ
タイプ1=静的データは、例えば中長期的に更新さる国土地理院地図等を元に生成された地図情報等のデータによって構成される。
タイプ2=準静的データは、例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ等によって構成される。
タイプ3=準動的データは、信号、渋滞、事故等、ある一定の時間単位で変化し得るデータによって構成される。
タイプ4=動的データは、車、人等の往来情報等であり、逐次変化するデータによって構成される。
これらのデータから構成されるダイナミックマップ(DM)は、例えば地図情報提供サーバ122から各自動走行制御装置100や、ロボット管理サーバ121に送信され、各自動走行制御装置100や、ロボット管理サーバ121がダイナミックマップ(DM)を解析して、走行経路の設定や、走行スピード、レーンの制御など、自動運転の制御に利用することができる。
なお、地図情報提供サーバ122は、最新情報に基づくダイナミックマップ(DM)の更新処理を継続的に実行しており、各自動走行制御装置100や、ロボット管理サーバ121は、DM利用時に最新の情報を地図情報提供サーバ122から取得して利用する。
[4.安全優先経路の生成処理の具体例について]
次に、図4に示す自動走行制御装置100の走行経路決定部101が生成する安全優先経路の生成処理の具体例について説明する。
図12は、安全優先経路の生成処理の具体例について説明する図である。
自動走行制御装置100は図に示すように幅Lの走行路を走行するものとする。
走行路の途中にT字路があり、T字路の左から人や車両等が飛び出す可能性がある。
先に説明した図6のフローのステップS103の処理に従って、コスト優先経路131が設定済みであるとする。
走行経路決定部101は、設定済みのコスト優先経路131に対して危険領域の通過や近接を回避する修正処理を行い、安全優先経路132を生成する。
この安全優先経路132の生成シーケンスについて説明する。
安全優先経路132の生成処理は、例えば、図12の右側のステップS01~S05に従って実行される。
この処理ステップについて説明する。
(ステップS201)
危険領域代表点Aの取得、または設定
まず、走行経路決定部101は、ステップS201において、危険領域代表点Aの取得、または設定処理を実行する。この危険領域代表点の位置情報は、先に図10を参照して説明した地図データ111に含まれる危険領域地図データ111cから取得できる。
危険領域代表点Aは、危険領域の中心位置や、2つの走行路の交差位置中心点など、危険領域の態様に応じて決定される。
なお、前述したように危険領域地図データ111cは、予め事前に生成しておいてもよいが、例えば自動走行制御装置100の走行予定、すなわち現在地から目的地までのコスト優先経路が決定された後、メトリック地図上でその経路に含まれる危険領域を検出して、その検出結果に基づいて危険領域地図データ111cを生成してもよい。
この場合、走行経路決定部101は、ステップS201において、危険領域地図データ111cの生成処理を行って、その後、生成した危険領域地図データ111cに含まれる危険領域各々に対する危険領域代表点Aの設定処理を行う。
危険領域代表点Aは、危険領域の中心位置や、2つの走行路の交差位置中心点など、予め規定したアルゴリズムに従って設定する。
(ステップS202)
次に、走行経路決定部101は、ステップS202において、危険領域代表点Aから、自動走行制御装置100の走行路方向へ広がり角度φを持つ2つのベクトルAB,ACを決定する。
(ステップS203)
次に、走行経路決定部101は、ステップS203において、自動走行制御装置100が走行可能で、かつ危険領域代表点Aから、最大限、離間した経路と、走行路端部までの距離dを算出する。
危険領域代表点Aから、最大限、離間した経路は、例えば図に示す例では、B1~C1のラインに示す経路である。
距離dは、自動走行制御装置100が幅Rの走行路からはみ出さないように決定する必要がある。
例えば、自動走行制御装置100の幅をWとした場合、距離dは、
d≧(W/2)
上記式を満たすように決定する。
例えば、所定のマージンαを設定して、
d=(W/2)+α
このように距離dを決定することが好ましい。
走行路端部との距離dの決定処理態様としては、その他、様々な態様が可能である。例えば、道路幅Lに基づいて、
d<(L/2)
上記式を満たすように決定する構成としてもよい。
さらに、例えば自動走行制御装置100の走行路に飛び出してくる可能性のある移動オブジェクトの属性、例えば他の移動装置、車、人、子供等の属性が取得可能な場合、この移動オブジェクトの属性に応じて危険領域代表点Aから安全優先経路までの離間距離を変更するように制御してもよい。
例えば、自動走行制御装置100の走行路に飛び出してくる可能性のある移動オブジェクトが子供である可能性が高い場合、危険領域代表点Aから安全優先経路までの離間距離を大きくする等である。
(ステップS204)
次に、走行経路決定部101は、ステップS204において、ベクトルABと走行路端部からの距離dのラインとの交点をB1、ベクトルACと走行路端部からの距離dのラインとの交点をC1として決定する。
これにより、図に示すようにベクトルAB上の点B1と、ベクトルAC上の点C1の各点が決定される。
(ステップS205)
最後に、走行経路決定部101は、ステップS205において、直線B1C1と、元のコスト優先経路を滑らかに接続して安全優先経路を生成する。
なお、上述したように、走行経路決定部101は、ステップS202において、危険領域代表点Aから、自動走行制御装置100の走行路方向へ広がり角度φを持つ2つのベクトルAB,ACを決定する処理を実行する。
この際の2つのベクトルAB,ACのなす角度φは、予め規定した値を用いてもよいが、例えば各危険領域対応の危険度に応じて変更する設定としてもよい。
なお、この角度データは危険領域に対応付けて地図データ、すなわち図10を参照して説明した危険領域地図データに記録しておいてもよい。
例えば子供の飛びたす可能性が高い危険領域では角度φを大きな設定とする。
また、道路幅に応じて角度φの設定を変えてもよい。例えば道路幅が狭い場合は角度φを大きな値とする等である。
また、危険度xや、道路幅L、次の危険領域までの距離y等に応じて予め規定した角度算出式を利用して角度φ(°)を算出する構成としてもよい。例えば以下の式が利用可能である。
φ=90°+x+(α/L)+(β×y)
なお、上記式において、
x:危険度指標値
L:道路幅
y:次の危険領域までの距離
である。
なお、図12に示す安全優先経路の生成シーケンスは一例であり、危険領域や危険領域代表点の設定態様に応じて様々な処理が実行される。
図13は、T字路が複数連続して配置されている場合の安全優先経路の構成例を示している。
図13に示すように自動走行制御装置100の進行方向に連続して2つのT字路が設定されているような場合は、2つのT字路の危険領域代表点Ap,Aqから離間した安全優先経路を設定することが必要となる。
図13に示す例では、2つのT字路の間で、元のコスト優先経路に戻ることなく、2つのT字路を通りすぎるまで、走行路の右端領域から距離dの距離を保って直線的に移動する完全走行経路が形成される。
また、T字路でははなくL字路の場合、図14に示すような安全走行経路生成処理を行う。
図14は、自動走行制御装置100の進行方向に左折するL字路が形成された例である。自動走行制御装置(自動走行ロボット)100は図に示す黒矢印方向に進み、L字路を左折する。
図14には、以下の3つの図を示している。
(1)左折前の安全優先経路
(2)左折後の安全優先経路
(3)左折前後の安全優先経路
走行経路決定部101は、まず、「(1)左折前の安全優先経路」と「(2)左折後の安全優先経路」を個別に生成する。
「(1)左折前の安全優先経路」の生成時には、左折後の走行路の入口中央部に危険領域代表点Aを地図データから取得、または地図データに基づいて決定する。さらに、左折前の走行路側に角度φの広がり角度を持つ2つのベクトルAB,ACを設定する。さらに左折前の走行路の右側端面からの距離dのラインと2つのベクトルAB,ACとの交点B1,C1を設定する。
これらの交点B1,C1を結ぶ直線を設定し、交点B1と、予め設定済みのコスト優先経路131とを滑らかに接続して安全優先経路132-1を生成する。
「(2)左折後の安全優先経路」の生成時には、左折前の走行路の入口中央部に危険領域代表点Aを地図データから取得、または地図データに基づいて決定する。さらに、左折後の走行路側に角度φの広がり角度を持つ2つのベクトルAB,ACを設定する。さらに左折後の走行路の右側端面からの距離dのラインと2つのベクトルAB,ACとの交点B1,C1を設定する。
これらの交点B1,C1を結ぶ直線を設定し、交点B1と、予め設定済みのコスト優先経路131とを滑らかに接続して安全優先経路132-2を生成する。
する。
「(3)左折前後の安全優先経路」は、左折前の安全優先経路132-1と、左折後の安全優先経路132-2を接続して生成する。
この接続処理により、図14下部に示す左折前後の安全優先経路132-3を生成する。
自動走行制御装置100は、この図14下部に示す左折前後の安全優先経路132-3に従って走行する。この走行処理により、左折前にセンサによって検出できない左折後の走行路からの対向車との衝突可能性を低減させることが可能となる。
また、左折後にセンサによって検出できない左折前の走行路からの追い越し車両との衝突可能性も低減可能となる。
なお、図14下部に示す左折前後の安全優先経路132-3の接続部は、図に示すように直角に構成してもよいが、滑らかな曲線を描くように接続する構成としてもよい。
[5.様々な危険領域に対応した安全優先経路の設定例について]
次に、様々な危険領域に対応した安全優先経路の設定例について説明する。
危険領域は自動走行制御装置100の走行路のみに限らず、様々な位置に存在し得る。以下、様々な異なるタイプの危険領域に対応した安全優先経路の設定例について説明する。
図15は、公園の出入り口を危険領域とした例である。図15には、公園の出入り口に危険領域代表点Aを設定している。
なお、前述したように、危険領域や危険領域代表点Aの位置情報は、地図データ111の構成情報である危険領域地図データ111c内に記録されている。
危険領域地図データ111cは、実際の距離やサイズを反映したメトリック地図上に危険領域や危険領域代表点Aの位置情報を記録した地図データである。
走行経路決定部101は、公園の出入り口中央部の危険領域代表点Aを地図データから取得、または地図データに基づいて決定する。さらに、走行路側に角度φの広がり角度を持つ2つのベクトルAB,ACを設定する。さらに走行路の走行許容範囲、本例では中央分離帯からの距離dのラインと2つのベクトルAB,ACとの交点B1,C1を設定する。
これらの交点B1,C1を結ぶ直線を設定し、直線B1~C1と、予め設定済みのコスト優先経路131とを滑らかに接続して安全優先経路132を生成する。
例えば、図に示す自動走行制御装置(自動運転車両)100は、この図15に示す安全優先経路132に従って走行する。この走行処理により、自動走行制御装置(自動運転車両)100は、公園から飛び出してくる子供等との衝突可能性を低減させた走行を行うことが可能となる。
図16は、例えばオフィスビル等のビルの出入り口を危険領域とした例である。図16には、ビルの出入り口に危険領域代表点Aを設定している。
走行経路決定部101は、ビルの出入り口中央部の危険領域代表点Aを地図データから取得、または地図データに基づいて決定する。さらに、走行路側に角度φの広がり角度を持つ2つのベクトルAB,ACを設定する。さらに走行路の走行許容範囲、本例では中央分離帯からの距離dのラインと2つのベクトルAB,ACとの交点B1,C1を設定する。
これらの交点B1,C1を結ぶ直線を設定し、直線B1~C1と、予め設定済みのコスト優先経路131とを滑らかに接続して安全優先経路132を生成する。
例えば、図に示す自動走行制御装置(自動運転車両)100は、この図16に示す安全優先経路132に従って走行する。この走行処理により、自動走行制御装置(自動運転車両)100は、ビルから飛び出してくる多くの人等との衝突可能性を低減させた走行を行うことが可能となる。
図17は、例えばオフィスビル内を自動走行する自動走行ロボットの例である。
自動走行制御装置(自動走行ロボット)100は、オフィスビル内の廊下を走行路として走行する。
図17には、オフィスビル内の1つのオフィスの出入り口に危険領域代表点Aを設定している。
走行経路決定部101は、オフィスの出入り口中央部の危険領域代表点Aを地図データから取得、または地図データに基づいて決定する。さらに、走行路(廊下)側に角度φの広がり角度を持つ2つのベクトルAB,ACを設定する。さらに走行路の走行許容範囲、本例では廊下の右側壁からの距離dのラインと2つのベクトルAB,ACとの交点B1,C1を設定する。
これらの交点B1,C1を結ぶ直線を設定し、直線B1~C1と、予め設定済みのコスト優先経路131とを滑らかに接続して安全優先経路132を生成する。
例えば、図に示す自動走行制御装置(自動走行ロボット)100は、この図17に示す安全優先経路132に従って走行する。この走行処理により、自動走行制御装置(自動走行ロボット)100は、オフィスから廊下に飛び出してくる多くの人等との衝突可能性を低減させた走行を行うことが可能となる。
なお、このようにオフィスビル等の経路に関する地図データは、予め生成しておく。
先に図10を参照して説明したトポロジー地図データ111a、メトリック地図データ111b、危険領域地図データ111c、これらを含む地図データ111を予め生成して処理を行う。
これらの各データは、自動走行制御装置(自動走行ロボット)100内の記憶部に格納しておいてもよいし、図5を参照して説明したロボット管理サーバ121、または地図情報提供サーバ122が保持する構成としてもよい。
あるいはその他のビル管理サーバが保持して自動走行制御装置(自動走行ロボット)100に提供する構成としてもよい。
また、ビル管理サーバが地図データに基づいて安全優先経路を決定して自動走行制御装置(自動走行ロボット)100に提供してもよい。
[6.駐車場の危険領域に対応した安全優先経路の設定例について]
次に、駐車場の危険領域に対応した安全優先経路の設定例について説明する。
例えばショッピングセンター等の駐車場は人や車の出入り等が多く、危険なポイントが多数、存在する。このような駐車場を自動走行車両が走行する場合に、上述した危険領域の通過や近接を回避した安全優先経路を設定して走行することで、人や他車との接触等を効率的に回避できる。
以下、駐車場に設定した危険領域に対応した安全優先経路の設定例について説明する。
図18は、一般的な駐車場の構成と、その駐車場内のコスト優先経路131の例を示す図である。
例えば、自動走行制御装置(自動運転車両)100は、出入口から駐車場に侵入し、駐車場内のコスト優先経路131に沿って走行し、駐車可能な空き駐車スペースに車を駐車する。
しかし、図に示すように駐車場内には、車の出入り口、人用の出入り口、建物入口ドア、障がい者用の駐車スペース等があり、これらの領域付近は人や車との接触可能性が高い危険領域である。
従って、自動走行制御装置(自動運転車両)100は、このような危険領域の通過や近接を回避する安全優先経路に沿って走行することが好ましい。
図19以下を参照して安全優先経路の設定例について説明する。
図19は、車の出入り口近辺に危険領域代表点Aを設定している。
なお、前述したように、危険領域や危険領域代表点Aの位置情報は、地図データ111の構成情報である危険領域地図データ111c内に記録されている。
この例の場合、駐車場を管理する駐車場管理サーバが、地図データ111を保持する構成としてもよい。
地図データ111には、先に図10を参照して説明したトポロジー地図データ111a、メトリック地図データ111b、危険領域地図データ111c、これらを含む。
自動走行制御装置(自動運転車両)100の走行経路決定部101は、車の出入り口近辺の危険領域代表点Aを地図データから取得、または地図データに基づいて決定する。さらに、走行路側に角度φの広がり角度を持つ2つのベクトルAB,ACを設定する。さらに走行路の走行許容範囲、本例では花壇からの距離dのラインと2つのベクトルAB,ACとの交点B1,C1を設定する。
これらの交点B1,C1を結ぶ直線を設定し、直線B1~C1と、予め設定済みのコスト優先経路131とを滑らかに接続して安全優先経路132を生成する。
例えば、図に示す自動走行制御装置(自動運転車両)100は、この図19に示す安全優先経路132に従って走行する。この走行処理により、自動走行制御装置(自動運転車両)100は、出入口付近での他車両との接触や衝突の可能性を低減させた走行を行うことが可能となる。
図20は、花壇の間の人の通路や建物入口ドアの近辺に危険領域代表点A1~A5を設定した例である。
各点についてベクトル設定等の処理を実行して、安全優先経路132を生成する。
自動走行制御装置(自動運転車両)100は、この図20に示す安全優先経路132に従って走行する。この走行処理により、自動走行制御装置(自動運転車両)100は、花壇の間の人の通路や建物入口ドアの近辺での人との接触や衝突の可能性を低減させた走行を行うことが可能となる。
図21は、障がい者用駐車スペースの近辺に危険領域代表点A1~A2を設定した例である。
各点についてベクトル設定等の処理を実行して、安全優先経路132を生成する。
自動走行制御装置(自動運転車両)100は、この図21に示す安全優先経路132に従って走行する。この走行処理により、自動走行制御装置(自動運転車両)100は、障がい者用駐車スペースから出る車との接触や衝突の可能性を低減させた走行を行うことが可能となる。
[7.自動走行制御装置の構成例について]
次に、本開示の自動走行制御装置の構成例について説明する。
図22は、自動走行ロボットや自動運転車両等の本開示の自動走行制御装置100の一構成例を示すブロック図である。
図22に示すように、自動走行制御装置100は、制御部151、入力部152、出力部153、センサ群154、駆動部155、通信部156、記憶部157を有する。
制御部151は、自動走行制御装置100において実行する処理の制御を行う。例えば記憶部157に格納されている制御プログラムに従った処理を実行する。制御部151はプログラム実行機能を有するプロセッサを有する。
なお、図4を参照して説明した走行経路決定部101、走行制御部102は、制御部151の構成要素に相当する。走行経路決定部101、走行制御部102の処理は、例えば、この制御部151において記憶部157に格納されたプログラムに従って実行可能である。
入力部152は、ユーザにより、様々なデータ入力が可能なインタフェースであり、タッチパネル、コード読み取り部、各種のスイッチ等によって構成される。
出力部153はアラートや音声を出力するスピーカ、画像出力するディスプレイ、さらにライト等を出力する出力部である。
センサ群154はカメラ、マイク、レーダ、距離センサ等の様々なセンサによって構成される。
駆動部155は自動走行制御装置を移動させるための車輪駆動部や方向制御機構等によって構成される。
通信部156は、例えばロボット管理サーバや、地図情報提供サーバ、ビル管理サーバ等の外部装置等との通信処理を実行する。
記憶部157は、制御部151において実行するプログラムの他、例えばロボット情報や、輸送機器情報を格納する。
[8.車両制御システムの構成例と、車両のセンシング領域の例について]
図23は、本技術が適用される移動装置制御システムの一例である車両制御システム211の構成例を示すブロック図である。
車両制御システム211は、車両200に設けられ、車両200の走行支援及び自動運転に関わる処理を行う。
車両制御システム211は、車両制御ECU(Electronic Control Unit)221、通信部222、地図情報蓄積部223、位置情報取得部224、外部認識センサ225、車内センサ226、車両センサ227、記録部228、走行支援・自動運転制御部229、DMS(Driver Monitoring System)230、HMI(Human Machine Interface)231、及び、車両制御部232を備える。
車両制御ECU221、通信部222、地図情報蓄積部223、位置情報取得部224、外部認識センサ225、車内センサ226、車両センサ227、記録部228、走行支援・自動運転制御部229、ドライバモニタリングシステム(DMS)230、ヒューマンマシーンインタフェース(HMI)231、及び、車両制御部232は、通信ネットワーク41を介して相互に通信可能に接続されている。通信ネットワーク241は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク241は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればCANが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム211の各部は、通信ネットワーク241を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
なお、以下、車両制御システム211の各部が、通信ネットワーク241を介して通信を行う場合、通信ネットワーク241の記載を省略するものとする。例えば、車両制御ECU221と通信部222が通信ネットワーク241を介して通信を行う場合、単にプロセッサと通信部222とが通信を行うと記載する。
車両制御ECU221は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種プロセッサにより構成される。車両制御ECU221は、車両制御システム211全体もしくは一部の機能の制御を行う。
通信部222は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部222は、複数の通信方式を用いて通信を行うことができる。
通信部222が実行可能な車外との通信について、概略的に説明する。通信部222は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部222が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部222による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
また例えば、通信部222は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、MTC(Machine Type Communication)端末である。さらに、通信部222は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
通信部222は、例えば、車両制御システム211の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部222は、さらに、地図情報、交通情報、車両200の周囲の情報等を外部から受信することができる。また例えば、通信部222は、車両200に関する情報や、車両200の周囲の情報等を外部に送信することができる。通信部222が外部に送信する車両200に関する情報としては、例えば、車両200の状態を示すデータ、認識部273による認識結果等がある。さらに例えば、通信部222は、eコール等の車両緊急通報システムに対応した通信を行う。
通信部222が実行可能な車内との通信について、概略的に説明する。通信部222は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部222は、例えば、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部222は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部222は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部222は、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
ここで、車内の機器とは、例えば、車内において通信ネットワーク241に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
例えば、通信部222は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(登録商標)(Vehicle Information and Communication System))により送信される電磁波を受信する。
地図情報蓄積部223は、外部から取得した地図及び車両200で作成した地図の一方または両方を蓄積する。例えば、地図情報蓄積部223は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両200に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ADAS(Advanced Driver Assistance System)に適合させた地図を指すものとする。
ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ252、LiDAR253等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両200で作成され、地図情報蓄積部223に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両200がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
位置情報取得部224は、GNSS衛星からGNSS信号を受信し、車両200の位置情報を取得する。受信したGNSS信号は、走行支援・自動運転制御部229に供給される。尚、位置情報取得部224は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得しても良い。
外部認識センサ225は、車両200の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム211の各部に供給する。外部認識センサ225が備えるセンサの種類や数は任意である。
例えば、外部認識センサ225は、カメラ251、レーダ252、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)253、及び、超音波センサ254を備える。これに限らず、外部認識センサ225は、カメラ251、レーダ252、LiDAR253、及び、超音波センサ254のうち1種類以上のセンサを備える構成でもよい。カメラ251、レーダ252、LiDAR253、及び、超音波センサ254の数は、現実的に車両200に設置可能な数であれば特に限定されない。また、外部認識センサ225が備えるセンサの種類は、この例に限定されず、外部認識センサ225は、他の種類のセンサを備えてもよい。外部認識センサ225が備える各センサのセンシング領域の例は、後述する。
なお、カメラ251の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ251は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ251は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
また、例えば、外部認識センサ225は、車両200に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
さらに、例えば、外部認識センサ225は、車両200の周囲の音や音源の位置の検出等に用いられるマイクロホンを備える。
車内センサ226は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム211の各部に供給する。車内センサ226が備える各種センサの種類や数は、現実的に車両200に設置可能な数であれば特に限定されない。
例えば、車内センサ226は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロホン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ226が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ226が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ226が備える生体センサは、例えば、シートやステリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
車両センサ227は、車両200の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム211の各部に供給する。車両センサ227が備える各種センサの種類や数は、現実的に車両200に設置可能な数であれば特に限定されない。
例えば、車両センサ227は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ227は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ227は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ227は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
記録部228は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部228は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)およびRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記録部228は、車両制御システム211の各部が用いる各種プログラムやデータを記録する。例えば、記録部228は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両200の情報や車内センサ226によって取得された生体情報を記録する。
走行支援・自動運転制御部229は、車両200の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部229は、分析部261、行動計画部262、及び、動作制御部263を備える。
分析部261は、車両200及び周囲の状況の分析処理を行う。分析部261は、自己位置推定部271、センサフュージョン部272、及び、認識部273を備える。
自己位置推定部271は、外部認識センサ225からのセンサデータ、及び、地図情報蓄積部223に蓄積されている高精度地図に基づいて、車両200の自己位置を推定する。例えば、自己位置推定部271は、外部認識センサ225からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両200の自己位置を推定する。車両200の位置は、例えば、後輪対車軸の中心が基準とされる。
ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両200の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部273による車両200の外部の状況の検出処理及び認識処理にも用いられる。
なお、自己位置推定部271は、GNSS信号、及び、車両センサ227からのセンサデータに基づいて、車両200の自己位置を推定してもよい。
センサフュージョン部272は、複数の異なる種類のセンサデータ(例えば、カメラ251から供給される画像データ、及び、レーダ252から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
認識部273は、車両200の外部の状況の検出を行う検出処理と、車両200の外部の状況の認識を行う認識処理と、を実行する。
例えば、認識部273は、外部認識センサ225からの情報、自己位置推定部271からの情報、センサフュージョン部272からの情報等に基づいて、車両200の外部の状況の検出処理及び認識処理を行う。
具体的には、例えば、認識部273は、車両200の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
例えば、認識部273は、LiDAR253又はレーダ252等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両200の周囲の物体を検出する。これにより、車両200の周囲の物体の有無、大きさ、形状、位置が検出される。
例えば、認識部273は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両200の周囲の物体の動きを検出する。これにより、車両200の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
例えば、認識部273は、カメラ251から供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出または認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、車両200の周囲の物体の種類を認識してもいい。
例えば、認識部273は、地図情報蓄積部223に蓄積されている地図、自己位置推定部271による自己位置の推定結果、及び、認識部273による車両200の周囲の物体の認識結果に基づいて、車両200の周囲の交通ルールの認識処理を行うことができる。認識部273は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
例えば、認識部273は、車両200の周囲の環境の認識処理を行うことができる。認識部273が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
行動計画部262は、車両200の行動計画を作成する。例えば、行動計画部262は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両200の運動特性を考慮して、車両200の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、または局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、または局所経路計画と同様の概念を表す。
経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部262は、例えば、この経路追従の処理の結果に基づき、車両200の目標速度と目標角速度を計算することができる。
動作制御部263は、行動計画部262により作成された行動計画を実現するために、車両200の動作を制御する。
例えば、動作制御部263は、後述する車両制御部232に含まれる、ステアリング制御部281、ブレーキ制御部282、及び、駆動制御部283を制御して、軌道計画により計算された軌道を車両200が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部263は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部263は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
DMS230は、車内センサ226からのセンサデータ、及び、後述するHMI231に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。この場合にDMS230の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
なお、DMS230が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS230が、車内センサ226からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
HMI231は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。
HMI231によるデータの入力について、概略的に説明する。HMI231は、人がデータを入力するための入力デバイスを備える。HMI231は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム211の各部に供給する。HMI231は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、HMI231は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI231は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム211の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
HMI231によるデータの提示について、概略的に説明する。HMI231は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI231は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。HMI231は、視覚情報として、例えば、操作画面、車両200の状態表示、警告表示、車両200の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、HMI231は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、HMI231は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。
HMI231が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI231は、車両200に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
HMI231が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
HMI231が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両200の搭乗者が接触する部分に設けられる。
車両制御部232は、車両200の各部の制御を行う。車両制御部232は、ステアリング制御部281、ブレーキ制御部282、駆動制御部283、ボディ系制御部284、ライト制御部285、及び、ホーン制御部286を備える。
ステアリング制御部281は、車両200のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部281は、例えば、ステアリングシステムの制御を行うECU等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
ブレーキ制御部282は、車両200のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部282は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット等を備える。
駆動制御部283は、車両200の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部283は、例えば、駆動システムの制御を行うECU等の制御ユニット等を備える。
ボディ系制御部284は、車両200のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部284は、例えば、ボディ系システムの制御を行うECU等の制御ユニット等を備える。
ライト制御部285は、車両200の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部285は、ライトの制御を行うECU等の制御ユニット等を備える。
ホーン制御部286は、車両200のカーホーンの状態の検出及び制御等を行う。ホーン制御部286は、例えば、カーホーンの制御を行うECU等の制御ユニット等を備える。
図24は、図23の外部認識センサ225のカメラ251、レーダ252、LiDAR253、及び、超音波センサ254等によるセンシング領域の例を示す図である。なお、図24において、車両200を上面から見た様子が模式的に示され、左端側が車両200の前端(フロント)側であり、右端側が車両200の後端(リア)側となっている。
センシング領域291F及びセンシング領域291Bは、超音波センサ254のセンシング領域の例を示している。センシング領域291Fは、複数の超音波センサ254によって車両200の前端周辺をカバーしている。センシング領域291Bは、複数の超音波センサ254によって車両200の後端周辺をカバーしている。
センシング領域291F及びセンシング領域291Bにおけるセンシング結果は、例えば、車両200の駐車支援等に用いられる。
センシング領域292F乃至センシング領域292Bは、短距離又は中距離用のレーダ252のセンシング領域の例を示している。センシング領域292Fは、車両200の前方において、センシング領域291Fより遠い位置までカバーしている。センシング領域292Bは、車両200の後方において、センシング領域291Bより遠い位置までカバーしている。センシング領域292Lは、車両200の左側面の後方の周辺をカバーしている。センシング領域292Rは、車両200の右側面の後方の周辺をカバーしている。
センシング領域292Fにおけるセンシング結果は、例えば、車両200の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域292Bにおけるセンシング結果は、例えば、車両200の後方の衝突防止機能等に用いられる。センシング領域292L及びセンシング領域292Rにおけるセンシング結果は、例えば、車両200の側方の死角における物体の検出等に用いられる。
センシング領域293F乃至センシング領域293Bは、カメラ251によるセンシング領域の例を示している。センシング領域293Fは、車両200の前方において、センシング領域292Fより遠い位置までカバーしている。センシング領域293Bは、車両200の後方において、センシング領域292Bより遠い位置までカバーしている。センシング領域293Lは、車両200の左側面の周辺をカバーしている。センシング領域293Rは、車両200の右側面の周辺をカバーしている。
センシング領域293Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域293Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域293L及びセンシング領域293Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
センシング領域294は、LiDAR253のセンシング領域の例を示している。センシング領域294は、車両200の前方において、センシング領域293Fより遠い位置までカバーしている。一方、センシング領域294は、センシング領域293Fより左右方向の範囲が狭くなっている。
センシング領域294におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
センシング領域295は、長距離用のレーダ252のセンシング領域の例を示している。
センシング領域295は、車両200の前方において、センシング領域294より遠い位置までカバーしている。一方、センシング領域295は、センシング領域294より左右方向の範囲が狭くなっている。
センシング領域295におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
なお、外部認識センサ225が含むカメラ251、レーダ252、LiDAR253、及び、超音波センサ254の各センサのセンシング領域は、図24以外に各種の構成をとってもよい。具体的には、超音波センサ254が車両200の側方もセンシングするようにしてもよいし、LiDAR253が車両200の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでも良いし、複数であってもよい。
[9.表示装置によるデータの提示について]
次に、車両に備えられた表示装置を用いたデータ表示例について説明する。
自動運転車両のユーザ(運転者)は、車両の自動運転機能が、どのような状況に基づいてどのような判断を行い、どのような制御を行うかを明確に把握することが困難であり、このことがユーザに不安を与えてしまう。
これを解決するため、例えば運転席や後部座席に設けられた表示装置に、自動運転車両の認識および判断の過程とその結果をUIとして表示することが有効となる。
ユーザはUIを見て、自動運転車両の判断や制御を視覚的かつ直感的に把握することができる。
ユーザはUIを確認することで自動運転車両の判断を理解することができ、またいかなる制御を行うかが事前に判断できるため、安心感が得られる。さらに現実の状況に即した異なる認識や判断がなされているかが明確化されることで、そうでない場合、つまり故障や異常が発生しているか否かについても判断しやすくなる。
車両の表示部に表示する具体的な表示データの例を図25に示す。
図25に示すように、自動運転車両が設定した経路計画と安全優先経路を表示部に表示する。
表示部には、ディジタル地図上に周囲360度の物体が3Dで描かれていく。車線や、横断歩道や、標識が表示される。
さらに、自動運転機能の実行/停止状態情報や、走行速度、ヨーレート、信号の認識結果等が上部に表示される。
表示される信号のアイコンは、必ずしも現実の信号とは限らない。例えば前の車がブレーキをかけた場合のように、制動制御が必要になった場合には信号アイコンの色は赤色になる。
現実の信号を認識した場合は、下部の3Dディジタル地図上に表示する。
また、下部の3Dディジタル地図に、車両進入不可のスペースを、車両侵入可領域と区別して表示する。
さらに、認識物体の種類ごとに色を変えて表示する。
車両の走行経路は、目的地までの長期の経路計画として特定色(例えば水色)の帯で識別表示する。
さらに、局所的な短期の計画経路(安全優先経路)については、異なる色(例えば白色)の断続的に表示される帯で識別表示する。
なお、短期計画経路(安全優先経路)は、障害物の危険度によって、その障害物からどれだけ距離を取るか(安全優先経路の曲率)に応じて、変動して表示されることになる。危険度は、例えば障害物の種類(歩行者や自動車)、障害物が動くものかそうでないか、自車両の走行速度によって変動する。
このように、短期計画経路(安全優先経路)を示す帯の数や長さは変動する。
さらに、周囲を走行する車両のうちトラッキング対象や、安全である車両などを区別して異なる色、例えば赤色や、緑色等の他とは異なる色で識別表示する。
例えば、周囲を走行車両中、危険車両は赤色等の他と異なる色で表示する。
また、側方に停車中の車両や、歩行者などの動く障害物のうち、危険かもしれないもの、動くかもしれないものには、その上部に△マークや!マークなどを表示する。
表示色は危険度によって濃淡をつけてもよい。特に危険なものは赤色で表示するなど。
また、自動運転を停止し、手動運転に切り替える際には、ドライバーに制御権限を渡す旨の旨の表示を行う。
路駐が多い道路や合流点など、予め短期経路を曲げておく(障害物から距離をとっておく)必要があることがわかる場合には、予め長期経路計画に反映させておいても良い。路駐が多い道路であるかなどの情報は、ダイナミックマップの情報や、VICS(登録商標)の情報などを参照して表示する。
上記のような事前の状況把握のために、既に記載されたダイナミックマップの他に、ドローンなどから得られた上空視点の映像や、衛星写真などを用いる。これらはリアルタイムで取得してもよい。
また、過去の走行時にカメラやLiDAR、ミリ波レーダ、超音波等で取得した現在走行中の同一地点の認識結果から、他車両の飛び出しや想定以上の接近があった場所については、人間が事前にチェック、あるいはプログラムによる自動判定で危険地点として、マップ上に反映した情報を表示する構成としてもよい。
さらに、事前のマップ等で得られた状況と実際の状況とが異なる状況である場合には、その異なる点について、マップ上に反映させた情報を表示することが好ましい。
また、一以上の先行車両の認識結果を事前の状況把握のために使用してもよい。
上記のダイナミックマップの情報、VICS(登録商標)の情報、ドローンの上空視点、衛星写真、自車両の過去の同一地点での認識結果、先行車両の認識結果等を組み合わせてもよい。
[10.各装置のハードウェア構成例について]
次に、図26を参照して、自動走行制御装置100や、ロボット管理サーバ121、地図情報提供サーバ122、あるいはその他のビル管理サーバ、駐車場管理サーバ等を構成する情報処理装置のハードウェア構成例について説明する。
図26に示すハードウェア構成は、これらの装置として適用可能なハードウェア構成の一例を示すものである。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定部と、
前記走行経路決定部の生成した安全優先経路に従って、自装置を走行させる制御を実行する走行制御部を有する自動走行制御装置。
(2) 前記走行経路決定部は、
危険領域を迂回する安全優先経路を生成する(1)に記載の自動走行制御装置。
(3) 前記走行経路決定部は、
メトリック地図上の最短経路に相当する最小コスト経路を修正して前記安全優先経路を生成する(1)または(2)に記載の自動走行制御装置。
(4) 前記走行経路決定部は、
トポロジー地図上の最小コスト経路を生成し、
前記トポロジー地図上の最小コスト経路に基づいてメトリック地図上のコスト優先経路を生成し、
メトリック地図上のコスト優先経路を修正してメトリック地図上の安全優先経路を生成する(1)~(3)いずれかに記載の自動走行制御装置。
(5) 前記走行経路決定部は、
走行経路上の危険領域の位置情報を取得または検出して、
危険領域を通過または近接を回避した安全優先経路を生成する(1)~(4)いずれかに記載の自動走行制御装置。
(6) 前記走行経路決定部は、
走行経路上の危険領域の位置情報を記録した危険領域地図データを参照して安全優先経路を生成する(1)~(5)いずれかに記載の自動走行制御装置。
(7) 前記走行経路決定部は、
危険領域代表点Aから広がり角度φを有する2つのベクトルAB,ACを生成し、
生成した2本のベクトルAB,ACと、自装置が走行可能な端部からの距離dのラインが交差する点B1,C1を検出しし、
前記点B1,C1の接続線を含む安全優先経路を生成する(1)~(6)いずれかに記載の自動走行制御装置。
(8) 前記走行経路決定部は、
前記点B1,C1の接続線と、メトリック地図上のコスト優先経路を接続して安全優先経路を生成する(7)に記載の自動走行制御装置。
(9) 前記走行経路決定部は、
前記危険領域で接触可能性の高い移動オブジェクトの属性に応じて前記危険領域からの距離を変更して安全優先経路を生成する(1)~(8)いずれかに記載の自動走行制御装置。
(10) 前記走行経路決定部は、
他の自動走行制御装置の走行経路を考慮した走行経路決定処理を実行する(1)~(9)いずれかに記載の自動走行制御装置。
(11) 前記走行制御部は、
走行経路決定部の生成した安全優先経路に従って自装置を走行させる制御を実行するとともに、センサ検出情報に基づく走行制御を実行する(1)~(10)いずれかに記載の自動走行制御装置。
(12) 自動走行装置と、
前記自動走行装置に対して安全優先経路を送信するサーバを有し、
前記サーバは、
前記自動走行装置と他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して、生成した安全優先経路情報を前記自動走行装置に送信し、
前記自動走行装置は、
前記サーバから、前記安全優先経路情報を受信して、受信した安全優先経路に従って、自装置を走行させる制御を実行する自動走行制御システム。
(13) 自動走行制御装置において実行する自動走行制御方法であり、
走行経路決定部が、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定ステップと、
走行制御部が、前記走行経路決定部の生成した安全優先経路に従って、自装置を走行させる制御を実行する走行制御ステップを実行する自動走行制御方法。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して走行する自動走行制御装置が実現される。
具体的には、例えば、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定部と、走行経路決定部の生成した安全優先経路に従って自装置を走行させる制御を実行する走行制御部を有する。走行経路決定部は、トポロジー地図上の最小コスト経路に基づいてメトリック地図上のコスト優先経路を生成し、メトリック地図上のコスト優先経路を修正して危険領域を迂回する安全優先経路を生成する。
本構成により、、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して走行する自動走行制御装置が実現される。
10,20 自動走行ロボット
31 合流点
100 自動走行制御装置
101 走行経路決定部
102 走行制御部
111 地図データ
111a トポロジー地図データ
111b メトリック地図データ
111c 危険領域地図データ
112 走行経路データ
121 ロボット管理サーバ
122 地図情報提供サーバ
125 ロボット情報
127 地図データ
131 コスト優先経路
132 安全優先経路
151 制御部
152 入力部
153 出力部
154 センサ群
155 駆動部
156 通信部
157 記憶部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア

Claims (10)

  1. 他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定部と、
    前記走行経路決定部の生成した安全優先経路に従って、自装置を走行させる制御を実行する走行制御部を有し、
    前記走行経路決定部は、
    トポロジー地図上の最小コスト経路を生成し、
    前記トポロジー地図上の最小コスト経路に基づいてメトリック地図上のコスト優先経路を生成し、
    メトリック地図上のコスト優先経路を修正してメトリック地図上の安全優先経路を生成する処理を実行し、
    前記走行経路決定部は、
    危険領域代表点Aから広がり角度φを有する2つのベクトルAB,ACを生成し、
    生成した2本のベクトルAB,ACと、自装置が走行可能な走行路の端部である走行路端部からの距離dのラインが交差する点B1,C1を検出し、
    前記点B1,C1の接続線を含む安全優先経路を生成する自動走行制御装置。
  2. 前記走行経路決定部は、
    危険領域を迂回する安全優先経路を生成する請求項1に記載の自動走行制御装置。
  3. 前記走行経路決定部は、
    走行経路上の危険領域の位置情報を取得または検出して、
    危険領域を通過または近接を回避した安全優先経路を生成する請求項1に記載の自動走行制御装置。
  4. 前記走行経路決定部は、
    走行経路上の危険領域の位置情報を記録した危険領域地図データを参照して安全優先経路を生成する請求項1に記載の自動走行制御装置。
  5. 前記走行経路決定部は、
    前記点B1,C1の接続線と、メトリック地図上のコスト優先経路を接続して安全優先経路を生成する請求項1に記載の自動走行制御装置。
  6. 前記走行経路決定部は、
    前記危険領域で接触可能性の高い移動オブジェクトの属性に応じて前記危険領域からの距離を変更して安全優先経路を生成する請求項1に記載の自動走行制御装置。
  7. 前記走行経路決定部は、
    他の自動走行制御装置の走行経路を考慮した走行経路決定処理を実行する請求項1に記載の自動走行制御装置。
  8. 前記走行制御部は、
    走行経路決定部の生成した安全優先経路に従って自装置を走行させる制御を実行するとともに、センサ検出情報に基づく走行制御を実行する請求項1に記載の自動走行制御装置。
  9. 自動走行装置と、
    前記自動走行装置に対して安全優先経路を送信するサーバを有し、
    前記サーバは、
    前記自動走行装置と他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成して、生成した安全優先経路情報を前記自動走行装置に送信し、
    前記自動走行装置は、
    前記サーバから、前記安全優先経路情報を受信して、受信した安全優先経路に従って、自装置を走行させる制御を実行する構成であり、
    前記サーバは、
    トポロジー地図上の最小コスト経路を生成し、
    前記トポロジー地図上の最小コスト経路に基づいてメトリック地図上のコスト優先経路を生成し、
    メトリック地図上のコスト優先経路を修正してメトリック地図上の安全優先経路を生成する処理を実行し、
    前記サーバは、
    危険領域代表点Aから広がり角度φを有する2つのベクトルAB,ACを生成し、
    生成した2本のベクトルAB,ACと、自装置が走行可能な走行路の端部である走行路端部からの距離dのラインが交差する点B1,C1を検出し、
    前記点B1,C1の接続線を含む安全優先経路を生成する自動走行制御システム。
  10. 自動走行制御装置において実行する自動走行制御方法であり、
    走行経路決定部が、他の移動オブジェクトとの接触可能性がある危険領域の通過または近接を回避した安全優先経路を生成する走行経路決定ステップと、
    走行制御部が、前記走行経路決定部の生成した安全優先経路に従って、自装置を走行させる制御を実行する走行制御ステップを実行し、
    前記走行経路決定ステップは、
    トポロジー地図上の最小コスト経路を生成し、
    前記トポロジー地図上の最小コスト経路に基づいてメトリック地図上のコスト優先経路を生成するステップと、
    メトリック地図上のコスト優先経路を修正してメトリック地図上の安全優先経路を生成するステップを有し
    前記安全優先経路を生成するステップにおいて、
    危険領域代表点Aから広がり角度φを有する2つのベクトルAB,ACを生成し、
    生成した2本のベクトルAB,ACと、自装置が走行可能な走行路の端部である走行路端部からの距離dのラインが交差する点B1,C1を検出し、
    前記点B1,C1の接続線を含む安全優先経路を生成する自動走行制御方法。
JP2021522216A 2019-05-27 2020-05-15 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法 Active JP7548225B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019098868 2019-05-27
JP2019098868 2019-05-27
PCT/JP2020/019418 WO2020241303A1 (ja) 2019-05-27 2020-05-15 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法

Publications (2)

Publication Number Publication Date
JPWO2020241303A1 JPWO2020241303A1 (ja) 2020-12-03
JP7548225B2 true JP7548225B2 (ja) 2024-09-10

Family

ID=73554102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522216A Active JP7548225B2 (ja) 2019-05-27 2020-05-15 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法

Country Status (5)

Country Link
US (1) US11747816B2 (ja)
JP (1) JP7548225B2 (ja)
CN (1) CN113841100A (ja)
DE (1) DE112020002546T5 (ja)
WO (1) WO2020241303A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022136757A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 自律走行体
CN114413919A (zh) * 2021-12-30 2022-04-29 联想(北京)有限公司 一种导航方法、装置、设备以及计算机存储介质
DE102022207185A1 (de) 2022-07-14 2024-01-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern eines Ego-Fahrzeugs
DE102022214143A1 (de) 2022-12-21 2024-06-27 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Steuern eines Ego-Fahrzeugs
WO2024172116A1 (ja) * 2023-02-17 2024-08-22 株式会社デンソー 車両制御装置、車両制御プログラム及び車両制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217491A (ja) 2008-03-10 2009-09-24 Toyota Motor Corp 移動支援装置、移動体、領域設定方法
JP2010061293A (ja) 2008-09-02 2010-03-18 Toyota Motor Corp 経路探索装置、経路探索方法、及び経路探索プログラム
JP2010092147A (ja) 2008-10-06 2010-04-22 Murata Machinery Ltd 自律移動装置
JP2012200818A (ja) 2011-03-25 2012-10-22 Advanced Telecommunication Research Institute International 歩行者の軌跡を予測して自己の回避行動を決定するロボット
US20190056743A1 (en) 2016-02-25 2019-02-21 NEC Laboratories Europe GmbH Method for motion planning for autonomous moving objects

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4717105B2 (ja) 2008-08-29 2011-07-06 株式会社日立製作所 自律移動ロボット装置及びかかる装置における飛び出し衝突回避方法
JP5062364B2 (ja) * 2009-11-27 2012-10-31 トヨタ自動車株式会社 自律移動体及びその制御方法
US11176845B2 (en) * 2012-12-11 2021-11-16 Abalta Technologies, Inc. Adaptive analysis of driver behavior
WO2018106755A1 (en) * 2016-12-06 2018-06-14 Nissan North America, Inc. Generation of solution data for autonomous vehicles to negotiate problem situations
US10490078B1 (en) * 2017-07-20 2019-11-26 State Farm Mutual Automobile Insurance Company Technology for providing real-time route safety and risk feedback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009217491A (ja) 2008-03-10 2009-09-24 Toyota Motor Corp 移動支援装置、移動体、領域設定方法
JP2010061293A (ja) 2008-09-02 2010-03-18 Toyota Motor Corp 経路探索装置、経路探索方法、及び経路探索プログラム
JP2010092147A (ja) 2008-10-06 2010-04-22 Murata Machinery Ltd 自律移動装置
JP2012200818A (ja) 2011-03-25 2012-10-22 Advanced Telecommunication Research Institute International 歩行者の軌跡を予測して自己の回避行動を決定するロボット
US20190056743A1 (en) 2016-02-25 2019-02-21 NEC Laboratories Europe GmbH Method for motion planning for autonomous moving objects

Also Published As

Publication number Publication date
JPWO2020241303A1 (ja) 2020-12-03
US11747816B2 (en) 2023-09-05
CN113841100A (zh) 2021-12-24
WO2020241303A1 (ja) 2020-12-03
DE112020002546T5 (de) 2022-02-24
US20220229438A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP7548225B2 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
JP7374098B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、情報処理システム、並びに移動体装置
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
WO2020129687A1 (ja) 車両制御装置、車両制御方法、プログラム、及び、車両
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2023153083A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び移動装置
WO2022145286A1 (ja) 情報処理装置、情報処理方法、プログラム、移動装置、及び、情報処理システム
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2022201892A1 (en) Information processing apparatus, information processing method, and program
US20240290204A1 (en) Information processing device, information processing method, and program
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2023166982A1 (ja) 情報処理装置、情報処理方法、及び、移動体
JP7507722B2 (ja) 情報処理プログラム及び情報処理方法
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023058342A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240812

R150 Certificate of patent or registration of utility model

Ref document number: 7548225

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150