JP7103313B2 - 走行ルート設定システム、走行ルート設定方法、及びプログラム - Google Patents

走行ルート設定システム、走行ルート設定方法、及びプログラム Download PDF

Info

Publication number
JP7103313B2
JP7103313B2 JP2019128181A JP2019128181A JP7103313B2 JP 7103313 B2 JP7103313 B2 JP 7103313B2 JP 2019128181 A JP2019128181 A JP 2019128181A JP 2019128181 A JP2019128181 A JP 2019128181A JP 7103313 B2 JP7103313 B2 JP 7103313B2
Authority
JP
Japan
Prior art keywords
margin value
route
stop line
backlight
sun
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019128181A
Other languages
English (en)
Other versions
JP2021014994A5 (ja
JP2021014994A (ja
Inventor
大嗣 藤田
勝之 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019128181A priority Critical patent/JP7103313B2/ja
Priority to PCT/JP2020/023047 priority patent/WO2021005954A1/ja
Priority to CN202080050286.8A priority patent/CN114096806A/zh
Publication of JP2021014994A publication Critical patent/JP2021014994A/ja
Publication of JP2021014994A5 publication Critical patent/JP2021014994A5/ja
Priority to US17/647,321 priority patent/US20220128377A1/en
Application granted granted Critical
Publication of JP7103313B2 publication Critical patent/JP7103313B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、走行ルート設定システム、走行ルート設定方法、及びプログラムに関する。
レベル4自動運転(限定区画自動運転)において、走行可能範囲内の交差点や横断歩道を走行する際は、信号認識を確実に行う必要がある。信号認識には信号の色を画像認識する方法や信号機に取り付けられたビーコン等の情報を取得して認識する方法がある。しかし、信号ビーコンの普及率は高くはない。また、信号ビーコンを用いる場合であっても、信号の色を画像認識するという手法は必要技術である。
また、レベル4自動運転では、自動運転を行えない(例えば、認識装置の仕様外となる走路環境、仕様上回避不可能な障害物等により走行継続が保証できない場合等)区画を予め設定し、その区画を避けて走行ルートを計画するという考え方がある(例えば、特許文献1)。以下、運行ができる区画を運行計画領域と呼び、それ以外を「運行設計領域外」という。
特開2017-62172号公報
しかし、太陽による逆光により、信号機(又は信号の色)が認識できなくなる、又は誤認識してしまう、という問題があった。これにより、適切な信号認識結果が得られず、進行及び停車の判断を誤る可能性がある。
本開示は上記の点に鑑みてなされたものであり、信号機の未検知及び誤認識が生ずる可能性を下げ、信号を正しく認識できるルートを設定することができる走行ルート設定システム、走行ルート設定方法、及びプログラムを提供することを目的とする。
本開示に係る走行ルート設定システムは、入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定する通過時刻推定部と、前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出する太陽位置算出部と、前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記太陽の位置とに基づいて、前記停止線の位置から見た前記信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出する逆光余裕値算出部と、前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出するルート逆光余裕値算出部と、各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定するルート決定部と、を含んで構成される。
また、本開示に係る走行ルート設定方法は、通過時刻推定部が、入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定し、太陽位置算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出し、逆光余裕値算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記太陽の位置とに基づいて、前記停止線の位置から見た前記信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、ルート逆光余裕値算出部が、前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、ルート決定部が、各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定する。
また、本開示に係るプログラムは、通過時刻推定部が、入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定し、太陽位置算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出し、逆光余裕値算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記太陽の位置とに基づいて、前記停止線の位置から見た前記信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、ルート逆光余裕値算出部が、前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、ルート決定部が、各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定することを含む処理をコンピュータに実行させるためのプログラムである。
本開示に係る走行ルート設定システム、走行ルート設定方法及びプログラムによれば、通過時刻推定部が、入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、車両位置から目的地までの各ルート上の進行方向に存在する信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、車両が当該停止線を通過する通過時刻を推定し、太陽位置算出部が、複数の停止線の各々について、当該停止線の位置と、当該停止線の通過時刻とに基づいて、当該停止線の通過時刻における太陽の位置を算出する。
そして、逆光余裕値算出部が、複数の停止線の各々について、当該停止線の位置と、信号機の位置と、太陽の位置とに基づいて、当該停止線の位置から見た信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、ルート逆光余裕値算出部が、車両位置から目的地までの各ルートについて、当該ルート上に存在する停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、ルート決定部が、各ルートについて算出されたルート逆光余裕値を用いて、車両位置から目的地までの走行ルートを決定する。
このように、車両位置から目的地までの各ルート上の進行方向に存在する信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、車両が当該停止線を通過する通過時刻を推定し、複数の停止線の各々について、当該停止線の位置と、当該停止線の通過時刻とに基づいて、当該停止線の通過時刻における太陽の位置を算出し、当該停止線の位置から見た信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、車両位置から目的地までの各ルートについて、当該ルート上に存在する停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、各ルートについて算出されたルート逆光余裕値を用いて、車両位置から目的地までの走行ルートを決定することにより、信号機の未検知及び誤認識が生ずる可能性を下げ、信号を正しく認識できるルートを設定することができる。
また、本開示に係る走行ルート設定システムは、前記車両に搭載されたカメラの画角、前記カメラの取付角、及び前記カメラの取付位置を含むカメラ情報を取得するカメラ情報取得部を更に含み、前記逆光余裕値は、前記停止線の位置から、信号機を前記カメラにより撮影した際の画像上の前記信号機と前記画像上の太陽との距離が大きいほど大きな値となるものであり、前記逆光余裕値算出部は、前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記停止線の通過時間における太陽の位置と、前記カメラ情報とに基づいて、前記逆光余裕値を算出することができる。
また、本開示に係る走行ルート設定システムは、前記逆光余裕値算出部は、前記画像上に太陽が映りこまない場合、前記逆光余裕値を、前記画像上に太陽が映り込む場合よりも大きな値とすることができる。
また、本開示に係る走行ルート設定システムの前記逆光余裕値算出部は、前記複数の停止線の各々について、前記停止線の通過時刻における太陽の位置と、前記地図情報とに基づいて、前記停止線の位置から見て、前記停止線の通過時刻における太陽を遮断する遮蔽物があるか否かを求め、前記遮蔽物がある場合、前記停止線の逆光余裕値を、前記遮蔽物が無い場合よりも大きな値とすることができる。
また、本開示に係る走行ルート設定システムは、雲の位置情報を含む天気情報を取得する天気情報取得部を更に含み、前記遮蔽物は、雲であるとすることができる。
また、本開示に係る走行ルート設定システムは、前記地図情報は、更に、地図上の建物及び自然物を含む地物の位置及び高さの情報である地物情報を含み、前記遮蔽物は、前記地物であるとすることができる。
また、本開示に係る走行ルート設定システムは、前記カメラの露光特性情報を取得するカメラ露光特性取得部を更に含み、前記逆光余裕値算出部は、前記逆光余裕値を、前記停止線の位置における前記画像上の前記信号機と太陽との距離と、前記露光特性情報とに応じた計算式を用いて算出することができる。
また、本開示に係る走行ルート設定システムの前記逆光余裕値算出部は、前記複数の停止線の各々について、前記停止線の位置における前記画像上に複数の信号機が映り込む場合、前記複数の信号機の各々について前記逆光余裕値を算出し、前記複数の信号機の各々の前記逆光余裕値のうち最大の逆光余裕値を、前記停止線の逆光余裕値とすることができる。
本開示の走行ルート設定システム、走行ルート設定方法、及びプログラムによれば、信号機の未検知及び誤認識が生ずる可能性を下げ、信号を正しく認識できるルートを設定することができる。
第1の実施形態に係る走行ルート設定システムの構成を示すブロック図である。 本開示に係るカメラ及び車載器の構成を示すブロック図である。 本開示に係る自動運転センタとして機能するコンピュータの概略構成を示すブロック図である。 第1の実施形態に係る自動運転センタの機能構成の例を示すブロック図である。 停止線の手前に車両がいる場合のカメラの位置と太陽の位置と、信号機の位置との関係を表すイメージ図である。 カメラで撮影したと想定される画像と日射信号距離との例を示すイメージ図である。 逆光余裕値と日射信号距離との関係の一例を示すイメージ図である。 全てのルートと逆光余裕値との一例を示すイメージ図である。 本開示の実施形態に係る自動運転制御処理ルーチンを示すフローチャートである。 第1の実施形態に係る走行ルート設定システムの走行ルート設定処理ルーチンを示すフローチャートである。 第2の実施形態に係る自動運転センタの機能構成の例を示すブロック図である。 地物陰により太陽が隠れる場合の一例を示すイメージ図である。 第2の実施形態に係る走行ルート設定システムの走行ルート設定処理ルーチンを示すフローチャートである。 第3の実施形態に係る自動運転センタの機能構成の例を示すブロック図である。 停止線の手前に車両がいる場合のカメラの位置と太陽の位置と、複数の信号機の位置との関係を表すイメージ図である。 カメラで撮影したと想定される画像と日射信号距離との例を示すイメージ図である。 第3の実施形態に係る走行ルート設定システムの走行ルート設定処理ルーチンを示すフローチャートである。 第4の実施形態に係る自動運転センタの機能構成の例を示すブロック図である。 第4の実施形態に係る走行ルート設定システムの走行ルート設定処理ルーチンを示すフローチャートである。 第5の実施形態に係る自動運転センタの機能構成の例を示すブロック図である。 第5の実施形態に係る走行ルート設定システムの走行ルート設定処理ルーチンを示すフローチャートである。
以下、本開示の実施形態について図面を用いて説明する。以下の実施形態では、レベル4自動運転において、自動運転センタにより決定された目的地までのルートを、車両に搭載された車載器による自動運転制御により走行する場合を例に説明する。
<本開示の第1の実施形態に係る走行ルート設定システムの構成>
図1を参照して、本開示の実施形態に係る走行ルート設定システム1の構成について説明する。図1は、本開示の実施形態に係る走行ルート設定システム1の構成を示すブロック図である。図1に示すように、第1の実施形態に係る走行ルート設定システム1は、車両に搭載されたカメラ10及び車載器20と、自動運転センタ30と、基地局40と、ネットワーク50により構成される。
基地局40は、ネットワーク50に接続され、無線通信により車載器20と通信を行う無線基地局である。ネットワーク50は、インターネットや広域イーサ網等の公衆網である。
カメラ10は、車両に搭載されたカメラである。本実施形態では、カメラ10の画角、カメラ10の取付角、及びカメラ10の取付位置は、固定されているものとする。なお、カメラ10の画角、カメラ10の取付角、及びカメラ10の取付位置は、手動又は自動の操作により動くことができるようにしてもよい。この場合、これらの情報は、自動運転センタ30に逐次登録されるように構成される。
車載器20は、自動運転制御を実行する。図2を参照して、第1の実施形態に係る車載器20の構成について説明する。具体的には、車載器20は、CPUと、RAMと、後述する自動運転制御処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。図2に示すように、本実施形態に係る車載器20は、入力部201と、自車位置推定部202と、走行制御目標生成部203と、通信部204と、画像取得部205と、制御部206とを備えて構成される。
入力部201は、ユーザから、目的地の入力を受け付ける。具体的には、入力部201は、自動運転を行う車両のユーザから、目的地の入力を受け付ける。そして、入力部201は、受け付けた目的地を、通信部204に渡す。
自車位置推定部202は、現在の車両位置を推定する。具体的には、自車位置推定部202は、例えばGPS等のセンサ(図示しない)により計測した値に基づいて、現在の車両位置を推定する。そして、自車位置推定部202は、推定した車両位置を、走行制御目標生成部203及び通信部204に渡す。
走行制御目標生成部203は、車両位置と、走行ルートとに基づいて、目的地までの自動運転制御に必要な制御情報を生成する。具体的には、走行制御目標生成部203は、通信部204から、自動運転センタ30により設定された走行ルートを取得すると、自車位置推定部202により推定された車両位置と、当該走行ルートとに基づいて自動運転制御に必要な制御情報を生成し、生成した制御情報を制御部206に渡す。制御情報には、例えば、制動力を制御するための情報である制動力制御情報、駆動を制御するための情報である駆動制御情報、操舵を制御するための操舵制御情報等の自動運転を行う際に必要な情報が含まれる。また、走行制御目標生成部203は、画像取得部205より画像を取得する度に、当該画像に基づいて制御情報を更新し、更新した制御情報を制御部206に渡す。例えば、走行制御目標生成部203は、画像が表す信号機の信号の色を認識し、信号の色の認識結果に基づいて制御情報を更新する。走行制御目標生成部203は、目的地に着くまで、制御情報の更新を行う。
通信部204は、目的地を、基地局40及びネットワーク50を介して自動運転センタ30に送信する。また、通信部204は、現在の車両位置を、基地局40及びネットワーク50を介して自動運転センタ30に送信する。また、通信部204は、自動運転センタ30から、基地局40及びネットワーク50を介して、自動運転センタ30により決定された走行ルートを受信する。そして、通信部204は、受信した走行ルートを、走行制御目標生成部203に渡す。
画像取得部205は、カメラ10により撮影された画像を取得する。そして、画像取得部205は、取得した画像を、走行制御目標生成部203に渡す。
制御部206は、走行制御目標生成部203により生成された制御情報に基づいて、自動運転制御を行う。具体的には、制御部206は、制動力制御情報に基づく制動力制御、駆動制御情報に基づく駆動制御、操舵制御情報に基づく操舵制御等の制御を実行する。
自動運転センタ30は、自動運転を行うための走行ルートを決定する。図3及び図4を参照して、第1の実施形態に係る自動運転センタ30の構成について説明する。図3は、本実施形態に係る自動運転センタ30のハードウェア構成を示すブロック図である。図1に示すように、自動運転センタ30は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16及び通信インタフェース(I/F)17を有する。各構成は、バス19を介して相互に通信可能に接続されている。
CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12又はストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12又はストレージ14に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM12又はストレージ14には、異常検知処理を実行するための異常検知プログラムが記憶されている。
ROM12は、各種プログラム及び各種データを記憶する。RAM13は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを記憶する。
入力部15は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
表示部16は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
通信インタフェース17は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
次に、自動運転センタ30の機能構成について説明する。図4は、自動運転センタ30の機能構成の例を示すブロック図である。図4に示すように、本実施形態に係る自動運転センタ30は、通信部301と、車両位置取得部302と、地図格納部303と、通過時刻推定部304と、太陽位置算出部305と、カメラ情報取得部306と、逆光余裕値算出部307と、ルート逆光余裕値算出部308と、ルート決定部309とを備えて構成される。
通信部301は、ネットワーク50を介して、車載器20と通信を行う。具体的には、通信部301は、車載器20から、目的地を受信する。そして、通信部301は、受信した目的地を、通過時刻推定部304に渡す。また、通信部301は、車載器20から、車両位置を受信する。そして、通信部301は、受信した車両位置を、車両位置取得部302に渡す。また、通信部301は、ルート決定部309より決定された走行ルートを、ネットワーク50を介して、車載器20に送信する。
車両位置取得部302は、車両の現在の車両位置を取得する。具体的には、車両位置取得部302は、通信部301から取得した車両位置を、通過時刻推定部304に渡す。なお、車両位置取得部302は、車両の現在の車両位置を、自動運転履歴等から取得する構成としてもよい。この場合、車両位置取得部302は、車両位置を自動運転履歴に格納しておく。そして、車両位置取得部302は、自動運転履歴に格納された車両位置のうち、最後の車両位置を、現在の車両位置とすればよい。
地図格納部303には、地図上の信号機の位置及び高さと、当該信号機手前の停止線の位置とを含む地図情報が格納されている。地図情報としては、例えばダイナミックマップを採用することができる。
通過時刻推定部304は、目的地と、車両位置と、地図情報とに基づいて、車両位置から目的地までの各ルート上の進行方向に存在する信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、車両が当該停止線を通過する通過時刻を推定する。
具体的には、通過時刻推定部304は、まず、地図格納部303から、地図情報を取得する。次に、通過時刻推定部304は、車両位置と目的地との間に存在する信号機手前の停止線の位置を抽出する。この時、通過時刻推定部304は、車両位置から目的地に向かう方向を進行方向として、信号機手前の停止線の位置を抽出する。次に、通過時刻推定部304は、抽出した停止線の位置の各々について、車両の通過時刻を推定する。より具体的には、通過時刻推定部304は、地図情報に基づいて車両位置と停止線の位置との道のりの長さと、通常の車両の走行速度(例えば法定速度)とを用いて、停止線の位置を通過する時刻を推定する。そして、通過時刻推定部304は、目的地と、車両位置と、地図情報と、抽出した停止線の位置の各々と、推定した停止線の位置の各々についての通過時刻とを、太陽位置算出部305に渡す。
太陽位置算出部305は、複数の停止線の各々について、停止線の位置と、当該停止線の通過時刻とに基づいて、当該停止線の通過時刻における太陽の位置を算出する。具体的には、太陽位置算出部305は、複数の停止線の各々について、当該停止線の通過時刻における当該停止線の位置に対する太陽の高度及び太陽の方向を算出する。通過時刻に日付を含め、かつ、停止線の位置に国及び地域の情報を含めておき、季節及び国並びに地域に応じた太陽の高度及び方向を算出するように構成してもよい。そして、太陽位置算出部305は、目的地と、車両位置と、地図情報と、抽出した停止線の位置の各々と、推定した停止線の位置の各々についての通過時刻と、算出した停止線の各々の通過時間における太陽の位置とを、逆光余裕値算出部307に渡す。
カメラ情報取得部306は、カメラ10の画角、カメラ10の取付角、及びカメラ10の取付位置を含むカメラ情報を取得する。具体的には、カメラ情報取得部306は、車両に搭載されたカメラ10の画角、カメラ10の取付角、及びカメラ10の取付位置を含むカメラ情報を予め保持しているデータベース(図示しない)から、当該車両に搭載されたカメラ10のカメラ情報を取得する。カメラ10の取付位置には、カメラ10の路面から垂直方向の距離(m)、カメラ10の車両中心から進行方向に対して右方向の距離(m)、及びカメラ10の車両先端から車両後端方向の距離(m)が含まれる。そして、カメラ情報取得部306は、カメラ情報を逆光余裕値算出部307に渡す。
逆光余裕値算出部307は、複数の停止線の各々について、当該停止線の位置と、当該信号機の位置と、当該太陽の位置とに基づいて、当該停止線の位置から見た信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出する。具体的には、逆光余裕値算出部307は、複数の停止線の各々について、当該停止線の位置と、当該信号機の位置と、当該停止線の通過時間における太陽の位置と、カメラ情報とに基づいて、当該停止線の位置から信号機をカメラ10により撮影した際の画像上の信号機と画像上の太陽との距離が大きいほど大きな値となる逆光余裕値を算出する。より具体的には、逆光余裕値算出部307は、まず、当該停止線の位置と、当該停止線の通過時間における太陽の位置と、当該停止線の信号機の位置と、カメラ情報とに基づいて、車両が当該停止線手前にある場合に、カメラ10が撮影した画像上の信号機の位置及び太陽の位置を算出する。図5は、停止線の手前に車両がいる場合のカメラ10の位置と太陽の位置と、信号機の位置との関係を表すイメージ図である。カメラ10のカメラ情報により、カメラ10がどこを中心としてどの範囲を撮影するか、すなわち、3次元空間上の画像平面を算出することができる。また、信号機の位置と、太陽の位置と、カメラ10の位置とが分かることにより、当該画像平面上の信号機の位置と、当該画像平面上の太陽の位置とを算出することができる。次に、逆光余裕値算出部307は、画像上の信号機の位置と、画像上の太陽の位置との距離である日射信号距離を算出する。図6にカメラ10で撮影したと想定される画像と日射信号距離との例を示す。画像上の信号機の位置としては、図6のように信号機の中心としてもよいし、逆光の影響を受ける信号機上の任意の位置を用いてもよい。次に、逆光余裕値算出部307は、日射信号距離が大きいほど大きな値となる逆光余裕値を算出する。本開示では、逆光余裕値として、0~1の範囲の値をとるものとする。この場合、逆光余裕値が1に近いほど日射信号距離が長いこととなり、逆光の影響が少なくなる。一方、逆光余裕値が0に近いほど日射信号距離が短いこととなり、逆光の影響が大きくなることが分かる。また、日射信号距離が0の場合、すなわち、画像上の信号機の位置と画像上の太陽の位置とが一致した場合、逆光の影響が最も大きいと考えられる。逆光余裕値の算出のための計算式は任意のものを採用することができる。例えば、図7のように、距離が近いうちは線形に日射信号距離と逆光余裕値とが対応し、距離が所定値以上離れた場合には、緩やかに1に近づくような計算式を採用することができる。逆光余裕値算出部307は、これらの処理を全ての停止線について行う。また、逆光余裕値算出部307は、画像上に太陽が映り込まない場合、逆光余裕値を1にする。すなわち、画像上に太陽が映り込まない場合は、逆光の影響が少ないため、逆光余裕値算出部307は、この場合に逆光余裕値を1にする。そして、逆光余裕値算出部307は、地図情報と、抽出した停止線の位置の各々と、複数の停止線の各々についての逆光余裕値を、ルート逆光余裕値算出部308に渡す。
ルート逆光余裕値算出部308は、車両位置から目的地までの各ルートについて、当該ルート上に存在する停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出する。具体的には、ルート逆光余裕値算出部308は、まず、車両位置から目的地までにおける停止線を通過するルートを全て求める。このとき、遠回りのルートは除外するが、最短ルートに限定されない。図8に、全てのルートの例を示す。図8の例では、停止線を通過するルートが3つ求められている。次に、ルート逆光余裕値算出部308は、求めた各ルートについて、当該ルートに含まれる停止線の各々の逆光余裕値に基づいて、ルート逆光余裕値を算出する。例えば、ルート逆光余裕値算出部308は、ルート内の停止線の各々の逆光余裕値を乗算した値を、ルート逆光余裕値とする。ルート逆光余裕値は、ルート内の停止線の各々の逆光余裕値の重み付け総和であってもよく、様々な求め方ができる。図8の例では、各ルートのルート逆光余裕値は、以下のように算出する。
[ルート1]
ルート1に含まれる逆光余裕値は、0.5、0、0.2、0.8であるため、ルート逆光余裕値=0.5×0×0.2×0.8=0となる。
[ルート2]
ルート2に含まれる逆光余裕値は、0.5、0.7、0.2、0.8であるため、ルート逆光余裕値=0.5×0.7×0.2×0.8=0.056となる。
[ルート3]
ルート3に含まれる逆光余裕値は、0.5、0.5、0.3であるため、ルート逆光余裕値=0.5×0.5×0.3=0.075となる。そして、ルート逆光余裕値算出部308は、地図情報と、求めた全てのルートと、ルートの各々のルート逆光余裕値とをルート決定部309に渡す。
ルート決定部309は、各ルートについて算出されたルート逆光余裕値を用いて、車両位置から目的地までの走行ルートを決定する。具体的には、ルート決定部309は、ルート逆光余裕値の最も大きいルートを、走行ルートに決定する。例えば、図8の例では、ルート逆光余裕値が最も高いルートは、ルート3である。このため、ルート決定部309は、ルート3を走行ルートに決定する。そして、ルート決定部309は、決定した走行ルート及び地図情報を、通信部301に渡す。
<本開示の第1の実施形態に係る走行ルート設定システムの作用>
図9は、本開示の実施形態に係る自動運転制御処理ルーチンを示すフローチャートである。
入力部201に目的地が入力されると、走行ルート設定システム1の車載器20において、図9に示す自動運転制御処理ルーチンが実行される。
まず、ステップS11において、入力部201は、ユーザから、目的地の入力を受け付ける。
ステップS12において、自車位置推定部202は、現在の車両位置を推定する。
ステップS13において、通信部204は、目的地及び車両位置を、基地局40及びネットワーク50を介して自動運転センタ30に送信する。
ステップS14において、通信部204は、自動運転センタ30から、基地局40及びネットワーク50を介して、上記ステップS110により決定された走行ルートを受信する。
ステップS15において、車載器20が目的地までの自動運転制御を行い、処理を終了する。このとき、カメラ10により得られた画像が表す信号機の信号の色を認識し、信号の色の認識結果を用いて自動運転制御を行う。
図10は、本開示の実施形態に係る走行ルート設定処理ルーチンを示すフローチャートである。
通信部301が目的地を受信すると、走行ルート設定システム1の自動運転センタ30において、図10に示す走行ルート設定処理ルーチンが実行される。
ステップS101において、通信部301は、車載器20から、目的地及び車両位置を受信する。
ステップS102において、通過時刻推定部304は、地図格納部303から、地図情報を取得する。
ステップS103において、通過時刻推定部304は、目的地と、車両位置と、地図情報とに基づいて、車両位置から目的地までの各ルート上の進行方向に存在する信号機の手前の停止線の位置を抽出する。
ステップS104において、通過時刻推定部304は、上記ステップS103により抽出された複数の停止線の各々について、車両が当該停止線を通過する通過時刻を推定する。
ステップS105において、太陽位置算出部305は、複数の停止線の各々について、停止線の位置と、当該停止線の通過時刻とに基づいて、当該停止線の通過時刻における太陽の位置を算出する。
ステップS106において、カメラ情報取得部306は、カメラ10の画角、カメラ10の取付角、及びカメラ10の取付位置を含むカメラ情報を取得する。
ステップS107において、逆光余裕値算出部307は、当該停止線の位置と、当該停止線の通過時間における太陽の位置と、当該停止線の信号機の位置と、カメラ情報とに基づいて、車両が当該停止線手前にある場合に、カメラ10が撮影した画像上の信号機の位置及び太陽の位置を算出し、画像上の信号機の位置と、画像上の太陽の位置との距離である日射信号距離を算出する。
ステップS108において、逆光余裕値算出部307は、日射信号距離が大きいほど大きな値となる逆光余裕値を算出する。
ステップS109において、ルート逆光余裕値算出部308は、車両位置から目的地までの各ルートについて、当該ルート上に存在する停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出する。
ステップS110において、ルート決定部309は、各ルートについて算出されたルート逆光余裕値を用いて、車両位置から目的地までの走行ルートを決定する。
ステップS111において、通信部301は、上記ステップS110より決定された走行ルート及び地図情報を、ネットワーク50を介して、車載器20に送信する。
以上説明したように、本開示の実施形態に係る走行ルート設定システムによれば、車両位置から目的地までの各ルート上の進行方向に存在する信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、車両が当該停止線を通過する通過時刻を推定し、複数の停止線の各々について、当該停止線の位置と、当該停止線の通過時刻とに基づいて、当該停止線の通過時刻における太陽の位置を算出し、当該停止線の位置から見た信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、車両位置から目的地までの各ルートについて、当該ルート上に存在する停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、各ルートについて算出されたルート逆光余裕値を用いて、車両位置から目的地までの走行ルートを決定することにより、信号機の未検知及び誤認識が生ずる可能性を下げ、信号を正しく認識できるルートを設定することができる。
また、画像上に太陽が映りこまない場合、逆光余裕値を、画像上に太陽が映り込む場合よりも大きな値とするため、実際の信号認識環境を表現した逆光余裕値を求めることができ、より信号機の未検知及び誤認識が生ずる可能性を下げ、信号を正しく認識できるルートを設定することができる。画像に太陽が映るか映らないかは信号認識に大きな違いがあるためである。このため、信号を正しく認識することができるルートを設定することができることとなる。
<本開示の第2の実施形態に係る走行ルート設定システムの構成>
次に、第2の実施形態に係る走行ルート設定システム2の構成について説明する。なお、第1の実施形態に係る走行ルート設定システム1と同様の構成については、同一の符号を付して詳細な説明は省略する。
図11に示すように、本実施形態に係る自動運転センタ31は、通信部301と、車両位置取得部302と、地図格納部303と、通過時刻推定部304と、太陽位置算出部305と、カメラ情報取得部306と、逆光余裕値算出部317と、ルート逆光余裕値算出部308と、ルート決定部309とを備えて構成される。
第2の実施形態では、地図情報は、更に、地図上の建物及び自然物を含む地物の位置及び高さの情報である地物情報を含むものとする。
逆光余裕値算出部317は、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報とに基づいて、当該停止線の位置から見て、当該停止線の通過時刻における太陽を遮断する遮蔽物があるか否かを求め、当該遮蔽物がある場合、当該停止線の逆光余裕値を、遮蔽物が無い場合よりも大きな値とするように算出する。
具体的には、逆光余裕値算出部317は、まず、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報とに基づいて、当該停止線の位置から見て、当該停止線の通過時刻における太陽を遮断する地物を求め、当該地物によりできる陰である地物陰の範囲を求める。次に、逆光余裕値算出部317は、太陽を遮断する地物が存在する停止線の各々について、当該停止線前に車両が位置する場合に、太陽が当該地物陰に隠れるか否かを判定する。この時、停止線前に車両が位置する場合のカメラ10の位置を用いて、判定してもよい。次に、逆光余裕値算出部317は、何れの停止線についても、太陽が隠れる停止線がない場合、逆光余裕値算出部307と同様に、各停止線の逆光余裕値を求める。一方、太陽が隠れる停止線がある場合、逆光余裕値算出部317は、当該停止線については、逆光余裕値を1とし、それ以外の停止線については、逆光余裕値算出部307と同様に、逆光余裕値を求める。
図12に、地物陰により太陽が隠れる場合の一例を示すイメージ図を示す。図12の例では、地物がビルであり、矢印が太陽光線の方向を示す。図12の例では、太陽光線がビルにより遮断され、地物陰であるビルの陰に車両が入っているため、逆光の影響は無いと考えられる。このように、地物により、信号機を撮影する際の逆光の影響が無いと判断される場合には、逆光余裕値を1とするのである。
そして、逆光余裕値算出部317は、地図情報と、抽出した停止線の位置の各々と、複数の停止線の各々についての逆光余裕値を、ルート逆光余裕値算出部308に渡す。
<本開示の第2の実施形態に係る走行ルート設定システムの作用>
図13は、第2の実施形態に係る走行ルート設定処理ルーチンを示すフローチャートである。なお、第1の実施形態に係る走行ルート設定処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップS201において、逆光余裕値算出部317は、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報とに基づいて、当該停止線の位置から見て、当該停止線の通過時刻における太陽を遮断する地物を求め、当該地物によりできる陰である地物陰の範囲を求める。
ステップS202において、逆光余裕値算出部317は、太陽を遮断する地物が存在する停止線の各々について、当該停止線前に車両が位置する場合に、太陽が当該地物陰に隠れるか否かを判定する。
太陽が当該地物陰に隠れる停止線が無い場合(上記ステップS202のNO)、ステップS108に進む。
一方、太陽が当該地物陰に隠れる停止線が有る場合(上記ステップS202のYES)、ステップS203において、逆光余裕値算出部317は、太陽が隠れる停止線については、逆光余裕値を1とする。
ステップS204において、逆光余裕値算出部317は、太陽が隠れる停止線以外の停止線について、ステップS108と同様に、逆光余裕値を求める。
以上説明したように、本開示の実施形態に係る走行ルート設定システムによれば、逆光余裕値算出部317は、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報とに基づいて、当該停止線の位置から見て、当該停止線の通過時刻における太陽を遮断する遮蔽物があるか否かを求め、当該遮蔽物がある場合、当該停止線の逆光余裕値を、遮蔽物が無い場合よりも大きな値とするように算出することにより、信号機の未検知及び誤認識が生ずる可能性をより下げ、信号を正しく認識できるルートを設定することができる。
<本開示の第3の実施形態に係る走行ルート設定システムの構成>
次に、第3の実施形態に係る走行ルート設定システム3の構成について説明する。なお、第1の実施形態に係る走行ルート設定システム1と同様の構成については、同一の符号を付して詳細な説明は省略する。第2の実施形態では、遮蔽物が地物である場合を例に説明したが、第3の実施形態では、遮蔽物が雲である場合を例に説明する。
図14に示すように、本実施形態に係る自動運転センタ32は、通信部301と、車両位置取得部302と、地図格納部303と、通過時刻推定部304と、太陽位置算出部305と、カメラ情報取得部306と、天気情報取得部326と、逆光余裕値算出部327と、ルート逆光余裕値算出部308と、ルート決定部309とを備えて構成される。
天気情報取得部326は、雲の位置情報を含む天気情報を取得する。具体的には、天気情報取得部326は、通信部301とネットワーク50とを介して、天気情報を配信する天気情報サーバ(図示しない)から、車両位置又は目的地の天気情報を取得する。そして、天気情報取得部326は、取得した天気情報を、逆光余裕値算出部327に渡す。
逆光余裕値算出部327は、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報と、天気情報取得部326により取得された天気情報とに基づいて、当該停止線の位置から見て、当該停止線の通過時刻における太陽を遮断する遮蔽物である雲があるか否かを求め、当該雲がある場合、当該停止線の逆光余裕値を、雲が無い場合よりも大きな値とするように算出する。具体的には、逆光余裕値算出部327は、まず、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報と、天気情報取得部326により取得された天気情報の雲の位置情報に基づいて、当該停止線の通過時刻における太陽を遮断する雲を求める。次に、逆光余裕値算出部327は、複数の停止線の各々について、当該停止線の上空において太陽を遮断する雲があるか否かを判定する。逆光余裕値算出部327は、何れの停止線についても、太陽を遮断する雲が無い場合、逆光余裕値算出部307と同様に、各停止線の逆光余裕値を求める。一方、太陽を遮断する雲が有る停止線がある場合、逆光余裕値算出部327は、当該停止線については、逆光余裕値を1とし、それ以外の停止線については、逆光余裕値算出部307と同様に、逆光余裕値を求める。そして、逆光余裕値算出部327は、地図情報と、抽出した停止線の位置の各々と、複数の停止線の各々についての逆光余裕値を、ルート逆光余裕値算出部308に渡す。
<本開示の第3の実施形態に係る走行ルート設定システムの作用>
図15は、第3の実施形態に係る走行ルート設定処理ルーチンを示すフローチャートである。なお、第1の実施形態に係る走行ルート設定処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップS301において、天気情報取得部326は、雲の位置情報を含む天気情報を取得する。
ステップS302において、逆光余裕値算出部327は、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報と、上記ステップS301により取得された天気情報の雲の位置情報に基づいて、当該停止線の通過時刻における太陽を遮断する雲を求める。
ステップS303において、逆光余裕値算出部327は、複数の停止線の各々について、当該停止線の上空において太陽を遮断する雲があるか否かを判定する。
何れの停止線についても、太陽を遮断する雲が無い場合(上記ステップS303のNO)、ステップS108に進む。
一方、太陽を遮断する雲が有る停止線が有る場合(上記ステップS303のYES)、ステップS304において、逆光余裕値算出部327は、太陽を遮断する雲が有る停止線については、逆光余裕値を1とする。
ステップS305において、逆光余裕値算出部327は、太陽を遮断する雲が有る停止線以外の停止線について、ステップS108と同様に、逆光余裕値を求める。
以上説明したように、本開示の実施形態に係る走行ルート設定システムによれば、逆光余裕値算出部317は、複数の停止線の各々について、当該停止線の通過時刻における太陽の位置と、地図情報とに基づいて、当該停止線の位置から見て、当該停止線の通過時刻における太陽を遮断する遮蔽物があるか否かを求め、当該遮蔽物がある場合、当該停止線の逆光余裕値を、遮蔽物が無い場合よりも大きな値とするように算出することにより、信号機の未検知及び誤認識が生ずる可能性をより下げ、信号を正しく認識できるルートを設定することができる。
<本開示の第4の実施形態に係る走行ルート設定システムの構成>
次に、第4の実施形態に係る走行ルート設定システム4の構成について説明する。なお、第1の実施形態に係る走行ルート設定システム1と同様の構成については、同一の符号を付して詳細な説明は省略する。
図16に示すように、本実施形態に係る自動運転センタ33は、通信部301と、車両位置取得部302と、地図格納部303と、通過時刻推定部304と、太陽位置算出部305と、カメラ情報取得部306と、逆光余裕値算出部337と、ルート逆光余裕値算出部308と、ルート決定部309とを備えて構成される。
逆光余裕値算出部337は、複数の停止線の各々について、当該停止線の位置における画像上に複数の信号機が映り込む場合、当該複数の信号機の各々について逆光余裕値を算出し、複数の信号機の各々の逆光余裕値のうち最大の逆光余裕値を、当該停止線の逆光余裕値とする。逆光余裕値算出部327は、まず、当該停止線の位置と、当該停止線の通過時間における太陽の位置と、当該停止線の複数の信号機の位置と、カメラ情報とに基づいて、車両が当該停止線手前にある場合に、カメラ10が撮影した画像上の信号機の位置及び太陽の位置を算出する。次に、逆光余裕値算出部337は、画像上に複数の信号機が映り込む停止線が有るか否かを判定する。複数の信号機が映り込む停止線が無い場合、逆光余裕値算出部337は、逆光余裕値算出部307と同様の処理を行う。
一方、複数の信号機が映り込む停止線がある場合、逆光余裕値算出部337は、複数の信号機の各々について、画像上の当該信号機の位置と、画像上の太陽の位置との距離である日射信号距離をそれぞれ算出する。図17は、停止線の手前に車両がいる場合のカメラ10の位置と太陽の位置と、複数の信号機の位置との関係を表すイメージ図である。図18は、カメラ10で撮影したと想定される画像と複数の日射信号距離との例である。図17及び図18に示すように、逆光余裕値算出部337は、複数の信号機が画像上に映り込むと想定される場合には、複数の信号機の各々について、日射信号距離を算出する。
次に、逆光余裕値算出部337は、複数の信号機の各々について逆光余裕値を算出し、複数の信号機の各々の逆光余裕値のうち最大の逆光余裕値を、停止線の逆光余裕値とする。そして、逆光余裕値算出部337は、地図情報と、抽出した停止線の位置の各々と、複数の停止線の各々についての逆光余裕値を、ルート逆光余裕値算出部308に渡す。
<本開示の第4の実施形態に係る走行ルート設定システムの作用>
図19は、第4の実施形態に係る走行ルート設定処理ルーチンを示すフローチャートである。なお、第1の実施形態に係る走行ルート設定処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップS401において、逆光余裕値算出部337は、画像上に複数の信号機が映り込む停止線が有るか否かを判定する。
複数の信号機が映り込む停止線が無い場合(上記ステップS401のNO)、ステップS107に進む。
複数の信号機が映り込む停止線がある場合(上記ステップS401のYES)、ステップS402において、逆光余裕値算出部337は、複数の信号機の各々について、画像上の当該信号機の位置と、画像上の太陽の位置との距離である日射信号距離をそれぞれ算出する。
ステップS403において、逆光余裕値算出部337は、複数の信号機の各々について逆光余裕値を算出する。
ステップS404において、逆光余裕値算出部337は、複数の信号機の各々の逆光余裕値のうち最大の逆光余裕値を、停止線の逆光余裕値とする。
以上説明したように、本開示の実施形態に係る走行ルート設定システムによれば、複数の停止線の各々について、当該停止線の位置における画像上に複数の信号機が映り込む場合、当該複数の信号機の各々について逆光余裕値を算出し、複数の信号機の各々の逆光余裕値のうち最大の逆光余裕値を、当該停止線の逆光余裕値とすることにより、信号機の未検知及び誤認識が生ずる可能性をより下げ、信号を正しく認識できるルートを設定することができる。
<本開示の第5の実施形態に係る走行ルート設定システムの構成>
次に、第5の実施形態に係る走行ルート設定システム5の構成について説明する。なお、第1の実施形態に係る走行ルート設定システム1と同様の構成については、同一の符号を付して詳細な説明は省略する。
図20に示すように、本実施形態に係る自動運転センタ34は、通信部301と、車両位置取得部302と、地図格納部303と、通過時刻推定部304と、太陽位置算出部305と、カメラ情報取得部306と、カメラ露光特性取得部346と、逆光余裕値算出部347と、ルート逆光余裕値算出部308と、ルート決定部309とを備えて構成される。
カメラ露光特性取得部346は、カメラ10の露光特性情報を取得する具体的には、カメラ露光特性取得部346は、具体的には、カメラ情報取得部306は、車両に搭載されたカメラ10の露光特性を含む露光特性情報を予め保持しているデータベース(図示しない)から取得する。そして、カメラ露光特性取得部346は、取得したカメラ10の露光特性情報を、逆光余裕値算出部347に渡す。
逆光余裕値算出部347は、複数の停止線の各々について、当該停止線の位置と、当該信号機の位置と、当該太陽の位置とに基づいて、当該停止線の逆光余裕値を、停止線の位置における画像上の信号機と太陽との距離と、露光特性情報とに応じた計算式を用いて算出する。具体的には、逆光余裕値算出部347は、逆光余裕値の算出を、日射信号距離と露光特性情報に応じた計算式を用いて行う。例えば、露光特性情報が、予め定めたルールに合致する場合に、当該ルールに該当する計算式を採用するように構成する。この場合、第1の実施形態のような図7の場合と異なる計算式を複数用意しておけばよい。そして、逆光余裕値算出部347は、地図情報と、抽出した停止線の位置の各々と、複数の停止線の各々についての逆光余裕値を、ルート逆光余裕値算出部308に渡す。
<本開示の第5の実施形態に係る走行ルート設定システムの作用>
図21は、第5の実施形態に係る走行ルート設定処理ルーチンを示すフローチャートである。なお、第1の実施形態に係る走行ルート設定処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
ステップS501において、カメラ露光特性取得部346は、カメラ10の露光特性情報を取得する。
ステップS510において、逆光余裕値算出部347は、複数の停止線の各々について、当該停止線の位置と、当該信号機の位置と、当該太陽の位置とに基づいて、当該停止線の逆光余裕値を、停止線の位置における画像上の信号機と太陽との距離と、上記ステップS501により取得した露光特性情報とに応じた計算式を用いて算出する。
以上説明したように、本開示の実施形態に係る走行ルート設定システムによれば、更に、カメラの露光特性情報を取得し、複数の停止線の各々について、当該停止線の位置と、当該信号機の位置と、当該太陽の位置とに基づいて、当該停止線の逆光余裕値を、停止線の位置における画像上の信号機と太陽との距離と、露光特性情報とに応じた計算式を用いて算出することにより、信号機の未検知及び誤認識が生ずる可能性をより下げ、信号を正しく認識できるルートを設定することができる。
なお、本開示は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述の実施形態では、走行ルート設定システムとして、各処理部を別の装置として構成したが、これに限定されるものではなく、同一の装置、例えば、車載器に全ての処理部を構成してもよい。また、入力部201が別装置に構成されてもよく、例えば、ユーザがスマートフォン等の通信端末に目的地を入力し、車載器20又は自動運転センタ30に送信する構成としてもよい。また、カメラ10の画角、カメラ10の取付角、カメラ10の取付位置、カメラ10の露光等のカメラ情報は、車両側に格納されていてもよい。この場合、自動運転センタ30は、車載器20からカメラ情報を取得する構成とすればよい。
また、上述の実施形態では、レベル4自動運転(限定区画自動運転)を背景として説明したが、これに限定されるものではなく、他の自動運転レベルにおいても適用することができる。
また、通過時刻が夜間の場合、太陽が無い、すなわち逆光の影響が無いものとして、通常の走行ルート選定を行う構成としてもよい。この場合、例えば、車両位置から最も短時間で目的地に到着するルートを選択するように構成すればよい。
なお、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行したプログラムを、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、異常検知プログラムを、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、プログラムがROM12又はストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
(付記項1)
メモリと、
前記メモリに接続された少なくとも1つのプロセッサと、
を含み、
前記プロセッサは、
入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定し、
前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出し、
前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記太陽の位置とに基づいて、前記停止線の位置から見た前記信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、
前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、
各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定する
ように構成されている異常検知装置。
(付記項2)
入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定し、
前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出し、
前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記太陽の位置とに基づいて、前記停止線の位置から見た前記信号機と太陽との距離が大きいほど大きな値となる逆光余裕値を算出し、
前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、
各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定する
ことをコンピュータに実行させる異常検知プログラムを記憶した非一時的記憶媒体。
1、2、3、4、5 走行ルート設定システム
10 カメラ
11 CPU
12 ROM
13 RAM
14 ストレージ
15 入力部
16 表示部
17 通信インタフェース
19 バス
20 車載器
30、31、32、33、34 自動運転センタ
40 基地局
50 ネットワーク
201 入力部
202 自車位置推定部
203 走行制御目標生成部
204 通信部
205 画像取得部
206 制御部
301 通信部
302 車両位置取得部
303 地図格納部
304 通過時刻推定部
305 太陽位置算出部
306 カメラ情報取得部
307、317、327、337、347 逆光余裕値算出部
308 ルート逆光余裕値算出部
309 ルート決定部
326 天気情報取得部
346 カメラ露光特性取得部

Claims (9)

  1. 入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定する通過時刻推定部(304)と、
    前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出する太陽位置算出部(305)と、
    前記車両に搭載されたカメラの画角、前記カメラの取付角、及び前記カメラの取付位置を含むカメラ情報を取得するカメラ情報取得部(306)と、
    前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記停止線の通過時刻における太陽の位置と、前記カメラ情報とに基づいて、前記信号機を前記カメラにより撮影した場合の画像上での前記信号機と前記太陽との距離を算出し、距離が大きくなるほど逆光余裕値が大きくなるように予め定められた、距離と逆光余裕値との関係に基づいて、算出した前記画像上の距離に応じた逆光余裕値を算出する逆光余裕値算出部(307、317、327、337、347)と、
    前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出するルート逆光余裕値算出部(308)と、
    各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定するルート決定部(309)と、
    を含む走行ルート設定システム。
  2. 前記逆光余裕値算出部は、前記画像上に太陽が映りこまない場合、前記逆光余裕値を、前記画像上に太陽が映り込む場合よりも大きな値とする
    請求項記載の走行ルート設定システム。
  3. 前記逆光余裕値算出部は、前記複数の停止線の各々について、前記停止線の通過時刻における太陽の位置と、前記地図情報とに基づいて、前記停止線の位置から見て、前記停止線の通過時刻における太陽を遮断する遮蔽物があるか否かを求め、前記遮蔽物がある場合、前記停止線の逆光余裕値を、前記遮蔽物が無い場合よりも大きな値とする
    請求項又は請求項記載の走行ルート設定システム。
  4. 前記地図情報は、更に、地図上の建物及び自然物を含む地物の位置及び高さの情報である地物情報を含み、
    前記遮蔽物は、前記地物である
    請求項記載の走行ルート設定システム。
  5. 雲の位置情報を含む天気情報を取得する天気情報取得部(336)
    を更に含み、
    前記遮蔽物は、雲である
    請求項記載の走行ルート設定システム。
  6. 前記逆光余裕値算出部は、前記複数の停止線の各々について、前記停止線の位置における前記画像上に複数の信号機が映り込む場合、前記複数の信号機の各々について前記逆光余裕値を算出し、前記複数の信号機の各々の前記逆光余裕値のうち最大の逆光余裕値を、前記停止線の逆光余裕値とする
    請求項~請求項の何れか1項記載の走行ルート設定システム。
  7. 前記カメラの露光特性情報を取得するカメラ露光特性取得部(346)
    を更に含み、
    前記逆光余裕値算出部は、前記逆光余裕値を、前記停止線の位置における前記画像上の前記信号機と太陽との距離と、前記露光特性情報とに応じた計算式を用いて算出する
    請求項1~請求項の何れか1項記載の走行ルート設定システム。
  8. 通過時刻推定部が、入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定し、
    太陽位置算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出し、
    カメラ情報取得部が、前記車両に搭載されたカメラの画角、前記カメラの取付角、及び前記カメラの取付位置を含むカメラ情報を取得し、
    逆光余裕値算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記停止線の通過時刻における太陽の位置と、前記カメラ情報とに基づいて、前記信号機を前記カメラにより撮影した場合の画像上での前記信号機と前記太陽との距離を算出し、距離が大きくなるほど逆光余裕値が大きくなるように予め定められた、距離と逆光余裕値との関係に基づいて、算出した前記画像上の距離に応じた逆光余裕値を算出し、
    ルート逆光余裕値算出部が、前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、
    ルート決定部が、各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定する
    走行ルート設定方法。
  9. 通過時刻推定部が、入力された目的地と、車両の位置である車両位置と、信号機の位置の情報を含む地図情報とに基づいて、前記車両位置から前記目的地までの各ルート上の進行方向に存在する前記信号機の手前の停止線の位置を抽出し、抽出された複数の停止線の各々について、前記車両が前記停止線を通過する通過時刻を推定し、
    太陽位置算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記停止線の通過時刻とに基づいて、前記停止線の通過時刻における太陽の位置を算出し、
    カメラ情報取得部が、前記車両に搭載されたカメラの画角、前記カメラの取付角、及び前記カメラの取付位置を含むカメラ情報を取得し、
    逆光余裕値算出部が、前記複数の停止線の各々について、前記停止線の位置と、前記信号機の位置と、前記停止線の通過時刻における太陽の位置と、前記カメラ情報とに基づいて、前記信号機を前記カメラにより撮影した場合の画像上での前記信号機と前記太陽との距離を算出し、距離が大きくなるほど逆光余裕値が大きくなるように予め定められた、距離と逆光余裕値との関係に基づいて、算出した前記画像上の距離に応じた逆光余裕値を算出し、
    ルート逆光余裕値算出部が、前記車両位置から前記目的地までの各ルートについて、前記ルート上に存在する前記停止線の各々の逆光余裕値に基づくルート逆光余裕値を算出し、
    ルート決定部が、各ルートについて算出された前記ルート逆光余裕値を用いて、前記車両位置から前記目的地までの走行ルートを決定する
    ことを含む処理をコンピュータに実行させるためのプログラム。
JP2019128181A 2019-07-10 2019-07-10 走行ルート設定システム、走行ルート設定方法、及びプログラム Active JP7103313B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019128181A JP7103313B2 (ja) 2019-07-10 2019-07-10 走行ルート設定システム、走行ルート設定方法、及びプログラム
PCT/JP2020/023047 WO2021005954A1 (ja) 2019-07-10 2020-06-11 走行ルート設定システム、走行ルート設定方法、及びプログラム
CN202080050286.8A CN114096806A (zh) 2019-07-10 2020-06-11 行驶路线设定系统、行驶路线设定方法以及程序
US17/647,321 US20220128377A1 (en) 2019-07-10 2022-01-06 Travel route setting system, travel route setting method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019128181A JP7103313B2 (ja) 2019-07-10 2019-07-10 走行ルート設定システム、走行ルート設定方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2021014994A JP2021014994A (ja) 2021-02-12
JP2021014994A5 JP2021014994A5 (ja) 2021-05-20
JP7103313B2 true JP7103313B2 (ja) 2022-07-20

Family

ID=74114171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019128181A Active JP7103313B2 (ja) 2019-07-10 2019-07-10 走行ルート設定システム、走行ルート設定方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220128377A1 (ja)
JP (1) JP7103313B2 (ja)
CN (1) CN114096806A (ja)
WO (1) WO2021005954A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7424002B2 (ja) 2019-11-20 2024-01-30 井関農機株式会社 作業車両

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210295171A1 (en) * 2020-03-19 2021-09-23 Nvidia Corporation Future trajectory predictions in multi-actor environments for autonomous machine applications
JP6992110B2 (ja) * 2020-03-23 2022-01-13 東日本電信電話株式会社 情報処理装置、情報処理方法、および、情報処理プログラム
JP2023183056A (ja) * 2022-06-15 2023-12-27 日立Astemo株式会社 車両制御装置および車両制御システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315799A (ja) 2006-05-23 2007-12-06 Pioneer Electronic Corp 経路探索装置、経路探索方法及び経路探索プログラム
JP2017182297A (ja) 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 車両制御装置および車両制御方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550765B2 (ja) * 1994-12-02 2004-08-04 株式会社デンソー 車両用経路案内装置
US20070067097A1 (en) * 2005-08-31 2007-03-22 Navicore Ltd. Power saving system for navigation device
CN101482425A (zh) * 2008-01-10 2009-07-15 佛山市顺德区顺达电脑厂有限公司 可调整背光亮度的导航装置及其方法
WO2016171017A1 (ja) * 2015-04-23 2016-10-27 三菱電機株式会社 提示計画作成装置、情報提示装置及び提示計画作成方法
BR112018001884B1 (pt) * 2015-07-27 2022-07-19 Nissan Motor Co., Ltd Dispositivo de orientação de rota e método de orientação de rota
JP2017062539A (ja) * 2015-09-24 2017-03-30 三菱自動車工業株式会社 走行制御装置
JP6419666B2 (ja) * 2015-09-25 2018-11-07 日立オートモティブシステムズ株式会社 自動運転装置
JP6798779B2 (ja) * 2015-11-04 2020-12-09 トヨタ自動車株式会社 地図更新判定システム
JP2018114266A (ja) * 2017-01-19 2018-07-26 パナソニックIpマネジメント株式会社 脈波計測装置、制御方法、及び、プログラム
KR101974871B1 (ko) * 2017-12-08 2019-05-03 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US10473788B2 (en) * 2017-12-13 2019-11-12 Luminar Technologies, Inc. Adjusting area of focus of vehicle sensors by controlling spatial distributions of scan lines
CN109931944B (zh) * 2019-04-02 2021-12-07 阿波罗智联(北京)科技有限公司 一种ar导航方法、装置、车端设备、服务端及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007315799A (ja) 2006-05-23 2007-12-06 Pioneer Electronic Corp 経路探索装置、経路探索方法及び経路探索プログラム
JP2017182297A (ja) 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 車両制御装置および車両制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7424002B2 (ja) 2019-11-20 2024-01-30 井関農機株式会社 作業車両

Also Published As

Publication number Publication date
CN114096806A (zh) 2022-02-25
WO2021005954A1 (ja) 2021-01-14
US20220128377A1 (en) 2022-04-28
JP2021014994A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
JP7103313B2 (ja) 走行ルート設定システム、走行ルート設定方法、及びプログラム
US10018475B2 (en) Water depth detection for vehicle navigation
US11125566B2 (en) Method and apparatus for determining a vehicle ego-position
US11267489B2 (en) Automatic operation assistance system and automatic operation assistance method
CN112505680A (zh) 使用雷达的扩展对象跟踪
WO2021168845A1 (zh) 导航方法及装置
KR20210127121A (ko) 도로 이벤트 검출 방법, 장치, 기기 및 저장매체
US10352437B2 (en) Predictive transmission control method through road shape recognition
CN113519019B (zh) 自身位置推断装置、配备其的自动驾驶系统以及自身生成地图共享装置
JP2022022287A (ja) 地図作成装置、制御方法、プログラム及び記憶媒体
WO2015009218A1 (en) Determination of lane position
CN105783927B (zh) 提供车辆在高架道路区域内的导航信息的方法和设备
JP2021113816A (ja) 出力装置、制御方法、プログラム及び記憶媒体
KR20190047199A (ko) 주행상황 판단을 위한 지도정보 제공장치, 그를 포함한 시스템 및 그 방법
US10319221B2 (en) Systems and methods for vehicular application of detected traffic flow
CN111665845A (zh) 用于规划路径的方法、装置、设备以及存储介质
JP2022176322A (ja) 自己位置推定装置、制御方法、プログラム及び記憶媒体
CN112394384A (zh) 基于环境的预定义特征的定位
CN114829971A (zh) 一种激光雷达的标定方法、装置及存储介质
JP2011158281A (ja) 経路探索装置、経路探索方法、経路探索プログラムおよび記録媒体
CN111094896B (zh) 用于创建地图的方法和设备
CN113119999B (zh) 自动驾驶特征的确定方法、装置、设备、介质及程序产品
WO2018212302A1 (ja) 自己位置推定装置、制御方法、プログラム及び記憶媒体
JP7488063B2 (ja) 都市航空ビークルの航法性能
EP3538929B1 (en) Systems and methods of determining an improved user location using real world map and sensor data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151