JP7828210B2 - 車両位置の生成装置、車両、および、サーバ装置 - Google Patents

車両位置の生成装置、車両、および、サーバ装置

Info

Publication number
JP7828210B2
JP7828210B2 JP2022051648A JP2022051648A JP7828210B2 JP 7828210 B2 JP7828210 B2 JP 7828210B2 JP 2022051648 A JP2022051648 A JP 2022051648A JP 2022051648 A JP2022051648 A JP 2022051648A JP 7828210 B2 JP7828210 B2 JP 7828210B2
Authority
JP
Japan
Prior art keywords
vehicle
information
automobile
ecu
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022051648A
Other languages
English (en)
Other versions
JP2023144592A (ja
Inventor
雅人 溝口
哉 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2022051648A priority Critical patent/JP7828210B2/ja
Priority to US18/179,758 priority patent/US12472977B2/en
Priority to DE102023106930.6A priority patent/DE102023106930A1/de
Publication of JP2023144592A publication Critical patent/JP2023144592A/ja
Application granted granted Critical
Publication of JP7828210B2 publication Critical patent/JP7828210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Description

本発明は、車両位置の生成装置、車両、および、サーバ装置、に関する。
自動車といった車両では、ドライバの運転操作を支援した走行制御を実行したり、自動運転により走行制御を実行したり、するための研究開発が進められている。自動運転は、ドライバの運転操作によらないものを基本的に含むが、上述した運転支援をも含んでよい。
このような車両の走行制御では、車両の現在位置を得て、その現在位置から車両が進む方向を生成する必要がある。また、車両の走行制御では、車両の現在位置を繰り返しに取得することにより、車両の走行を継続的に制御することができる。
自動車の現在位置は、たとえば自動車に設けられるGNSS受信機などにより生成することが可能である。GNSS受信機が複数のGNSS衛星から電波を受信することにより、自動車のたとえば走行制御装置は、電波に含まれる情報に基づいて自動車の現在位置を演算により取得することができる。
しかしながら、自動車といった車両では、たとえばトンネル、ビル群の谷間、森林内の道路などの走行状況においては、GNSS受信機が複数のGNSS衛星からの電波を良好に受信できないことがある。この場合、車両は、現在位置を得られなくなったり、確からしい現在位置を得られなくなったり、する可能性が生じる。
特開2020-038361号公報 国際公開第2016/093028号
特許文献1や特許文献2では、たとえば看板を車両から撮像し、その撮像画像に基づいて車両の位置を補正している。しかしながら、特許文献1や特許文献2が撮像の対象にしている看板は、車両が走行する道路に対して必ず設けられているものではない。この場合、特許文献1や特許文献2の技術は、車両が走行する道路について広く汎用的に用いることが難しいと予想される。
この他にもたとえば、道路の路面には、横断歩道のためのゼブラゾーン、停止線、交通マーク、などが描画されることがある。これらを撮像して、その撮像画像に基づいて車両の位置を補正することが考えられる。しかしながら、道路の路面は、雪や土などにより覆われることがある。この場合、車両は、路面を撮像しても、自車の位置を補正するための情報を得ることができない。
また、道路には、道路標識や信号機が設けられる。これらの道路標識や信号機といった構造物は、車両のドライバから視認し易いように、道路の上の中空に設けられる。この場合、太陽が低くなる朝や夕方の時間帯では、中空に設けられている道路標識や信号機は、ドライバから見えにくくなる。車両から撮像した画像においても、道路標識や信号機の表示を明瞭に識別し難い。また、道路標識や信号機の上に雪が積もると、道路標識や信号機そのものの認識が不能となる可能性がある。
このように車両位置の生成においては、生成される車両位置についての確からしさを向上することが求められている。
本発明の一形態に係る車両位置の生成装置は、車両が走行する道路に沿って並べて立設されている複数の立設構造物の少なくとも位置の情報を含む地図データを記録するメモリと、車両の進行方向である前方を撮像する撮像デバイスと、前記メモリおよび前記撮像デバイスから情報を取得して処理する制御部と、を有し、前記メモリは、過去の撮像画像に基づいて生成された立設構造物の情報を記録可能であり、前記制御部は、前記撮像デバイスの撮像画像に含まれている立設構造物の情報に基づいて、前記車両の位置を生成するために、前記撮像デバイスの撮像画像に含まれている立設構造物の情報を生成し、生成した立設構造物の位置を前記地図データにおいて同定し、前記地図データにおいて同定する立設構造物の位置と前記撮像画像とに基づいて前記車両の位置を生成する、単一画像位置生成処理と、前記撮像デバイスの撮像画像に含まれている立設構造物の情報と、前記メモリに記録されている過去の立設構造物の情報とに基づいて、前記車両の位置を生成する複数画像位置生成処理と、の中から選択した処理により、前記車両の位置を生成する。
本発明の一形態に係る車両は、上述した車両位置の生成装置により生成される位置を用いて走行を制御可能な走行制御装置、を有する。
本発明の一形態に係るサーバ装置は、車両の走行を制御するための走行制御情報を生成する走行制御部と、前記走行制御部により生成される走行制御情報を、前記車両へ送信する送信デバイスと、を有し、前記走行制御部は、上述した車両位置の生成装置により生成される位置に前記車両が位置するものとして、前記走行制御情報を生成する。
本発明では、メモリに記録されている地図データは、車両が走行する道路に対して立設されている立設構造物の少なくとも位置の情報を含む。そして、メモリおよび撮像デバイスから情報を取得して処理する制御部は、撮像デバイスの撮像画像に含まれている立設構造物の情報を生成し、生成した立設構造物の位置を、地図データにおいて同定する。その後、制御部は、地図データにおいて同定する立設構造物の位置と、撮像画像とに基づいて、車両の位置を生成する。
そして、位置を生成するために同定する立設構造物は、たとえば車両が走行する道路に沿って並べて立設されている電柱その他のポールでよい。このような立設構造物は、看板などとは異なり、車両が走行する道路に沿って広く汎用的に用いられ、自動車が道路のいずれの場所を走行していても撮像され得る。また、立設構造物は、路面に描画されているゼブラゾーン、停止線、交通マークなどのように、雪や土などによりその全体が覆われ難い。また、立設構造物は、太陽が低くなる朝や夕方の時間帯においても、たとえば少なくとも路面の近くの一部において撮像され得る。その結果、制御部は、撮像デバイスの撮像画像に立設構造物が含まれ得る位置を車両が走行している場合には、その撮像画像から、それに含まれている立設構造物の情報を高い確実性で生成し得る。しかも、立設構造物が、車両が走行する道路に沿って並べて立設されているものであるため、制御部は、各立設構造物を撮像するたびに補正するように、車両の位置を生成することができる。
このように本発明では、生成される車両位置についての確からしさを向上することができる。
図1は、自動車の走行環境の説明図である。 図2は、本発明の第一実施形態に係る自動車の制御系の説明図である。 図3は、図2の走行制御装置の基本的な構成図である。 図4は、図2の自動車の制御系の走行制御のフローチャートである。 図5は、図4の自動運転の走行制御のフローチャートである。 図6は、図5の現在位置の生成制御のフローチャートである。 図7は、図6の撮像画像に基づく現在位置の生成制御のフローチャートである。 図8は、図7の単一画像に基づく現在位置の生成制御のフローチャートである。 図9は、単一画像位置生成処理による現在位置の生成制御において利用可能な主な情報の説明図である。 図10は、単一画像位置生成処理の、図8の第一生成制御による自動車の位置および向きの生成方法の説明図である。 図11は、図8の第二生成制御による自動車の位置および向きの生成方法の説明図である。 図12は、図8の第三生成制御による自動車の位置および向きの生成方法の説明図である。 図13は、図7の複数画像に基づく現在位置の生成制御のフローチャートである。 図14は、複数画像位置生成処理による自動車の位置の生成方法の説明図である。 図15は、本発明の第二実施形態に係る、自動車の走行を制御するサーバ装置の説明図である。 図16は、図15のサーバ装置によるサーバ走行制御のフローチャートである。 図17は、撮像画像から複数の構造物が抽出されている場合での、制御に使用する構造物の選択制御のフローチャートである。
以下、本発明の実施形態を、図面に基づいて説明する。
[第一実施形態]
図1は、自動車3の走行環境の説明図である。
図1では、本発明が適用可能な複数の自動車3が、道路を走行している。自動車3は、車両の一例である。車両は、エンジンの駆動力で走行するものであっても、バッテリ電力を使用するモータの駆動力で走行するものであってもよい。
図1の下部は、市街地の道路1である。市街地の道路1の交差点には、信号機61、ゼブラゾーン62、停止線63が設けられる。信号機61は、交差点へ侵入する道路または車線に対して設けられる。ゼブラゾーン62は、歩行者が交差点を渡る位置を示すように、交差点の近くの路面に描画されている。停止線63は、ゼブラゾーン62の手前で自動車3が停止するように、ゼブラゾーン62の近くの路面に描画される。ゼブラゾーン62の近くの路面には、進行方向に横断歩道があることを予告する交通マーク64が描画される。また、交差点の近くには、行き先などを示す道路標識65が設けられる。信号機61や道路標識65などは、自動車3のドライバが視認し易いように、路肩などに立設されているポールにより支えられて、路面から上に離れた中空に設けられる。また、市街地では、交差点の近くなどに、ビル69などが建っている。ビル69などへ配電するために、道路には、道路に沿って複数の電柱68が並んでいる。複数の電柱68は、一般的に、路肩などにおいて、たとえば数十メートルの間隔ごとに並べて立設されることが多い。
図1の上部は、たとえば林間の郊外の道路2である。この場合、郊外の道路2の両側には、多数の樹木が立っている。郊外の道路2の傍には、看板66、複数の電柱68、境界ポール67、が立設される。複数の電柱68は、一般的に、路肩などにおいて、たとえば数十メートルの間隔ごとに道路に沿って並べて立設される。境界ポール67は、道路の両側において所定の間隔ごとに路肩位置を示すように立設される。
自動車3は、図1の下部の市街地の道路1や、図1の上部の郊外の道路2を走行することができる。自動車3は、ドライバの操作のみに基づいて走行したり、ドライバの操作を支援して走行したり、ドライバの操作によらずに自動運転で走行したり、してよい。ドライバの操作を支援する運転支援は、自動運転の一種である。
図2は、本発明の第一実施形態に係る自動車3の制御系10の説明図である。
図2の制御系10は、図1の自動車3に設けられる、車両位置の生成装置として機能する。
図2の自動車3の制御系10は、自動運転を実行する走行制御装置15を含む複数の制御装置を有する。図2には、駆動制御装置11、操舵制御装置12、制動制御装置13、操作検出装置14、走行制御装置15、検出制御装置16、外通信装置17、といった複数の制御装置が示されている。自動車3の制御系10には、これ以外のたとえば空調制御装置、乗員監視装置、近距離通信装置、警報装置、などの他の制御装置が含まれてよい。複数の制御装置は、車ネットワークを構成するセントラルゲートウェイ装置(CGW)18に、ケーブルにより接続される。セントラルゲートウェイ装置18には、複数のケーブルが接続される。複数の制御装置は、セントラルゲートウェイ装置18に対して、スター接続またはバス接続されてよい。車ネットワークは、CAN(Controller Area Network)やLIN(Local Interconnect Network)といった規格に準拠したものでよい。車ネットワークは、この他にもたとえば、LANなどの汎用有線通信規格、無線通信規格、またはこれらの組み合わせによるものでもよい。各制御装置には、他の制御装置と識別するためのIDが割り当てられる。各制御装置は、送信先のIDと送信元のIDとを付加したパケットにより、各種の情報を入出力してよい。セントラルゲートウェイ装置18は、車ネットワークのパケットを監視し、ルーティングする。セントラルゲートウェイ装置18は、リストと照合して、ルーティングを制御してよい。
駆動制御装置11は、自動車3の駆動源、駆動力伝達機構、を制御する。駆動力伝達機構は、たとえば減速装置、センタデフ、などがある。駆動力伝達機構は、自動車3の複数の車輪の各々へ伝達する駆動力の大きさを個別に制御するものでよい。
操舵制御装置12は、自動車3の前側の複数の車輪の向きを変化させる操舵装置、を制御する。車輪の向きに応じて、自動車3の進行方向が変化する。
制動制御装置13は、自動車3の複数の車輪を個別に制動する制動装置、を制御する。制動装置は、自動車3の複数の車輪に作用させる制動力の大きさを個別に制御するものでよい。
操作検出装置14には、乗員が自動車3の走行を操作するために自動車3に設けられる複数の操作部材、が接続される。複数の操作部材には、たとえば、ステアリング21、アクセルペダル22、ブレーキペダル23、シフトレバ24、がある。操作検出装置14は、各操作部材について操作の有無、操作量などを検出し、操作情報を車ネットワークへ出力する。
検出制御装置16には、自動車3の走行状態や走行環境を検出するための複数の検出部材が接続される。複数の検出部材には、たとえば、GNSS受信機25、車外カメラ26、Lidar27、加速度センサ28、距離センサ29、がある。
GNSS受信機25は、不図示の複数のGNSS衛星から電波を受信し、GNSS受信機25を備える自動車3の現在位置および現在時刻の情報を生成する。GNSS受信機25は、地上波や天頂衛星からの電波を受信して、高精度な現在位置および現在時刻の情報を生成できるものでよい。
車外カメラ26は、道路などを走行可能な自動車3の車外を撮像する。車外カメラ26は、単眼カメラでも、ステレオカメラであってもよい。ステレオカメラは、複数の画像を撮像する。自動車3には、複数の車外カメラ26が設けられてよい。複数の車外カメラ26は、自動車3の前後左右を分けて撮像して、自動車3の周囲を撮像してよい。
Lidar27は、道路などを走行可能な自動車3の車外をレーザで走査して、レーザ反射波に基づいて車外の空間情報を生成する。車外の空間情報には、自動車3の周囲にいる他の自動車などの像が含まれる。車外カメラ26およびLidar27は、自動車3の周囲にいる他の自動車を検出するセンサである。
加速度センサ28は、たとえば自動車3の前後方向、左右方向、および上下方向の軸方向の加速度を検出するものでよい。この場合、加速度センサ28は、自動車3のヨー方向、ロール方向およびピッチ方向の加速度を検出できる。
距離センサ29は、たとえば自動車3の車輪の回転量などに基づいて、自動車3の移動量を検出するものでよい。
検出制御装置16は、これら自車に設けられる各種の検出部材の検出情報を、車ネットワークへ出力する。検出制御装置16は、検出情報に基づいて生成した情報、たとえば自車の周囲にいる他の自動車などの検出情報を生成して、車ネットワークへ出力してよい。
図1には、自動車3の車外カメラ26による複数の撮像画像が示されている。
図1の下部に示す市街地の撮像画像70は、市街地の道路1を走行する自動車3が、自車の進行方向である前側を、図中に破線で示す画角範囲で、車外カメラ26により撮像したものである。市街地の撮像画像70には、交差点の路面の像71とともに、交差点の近くにある信号機の像73、ゼブラゾーンの像72、複数の電柱の像74が、画像において認識可能に撮像されている。
図1の上部に示す郊外の撮像画像80は、郊外の道路2を走行する自動車3が、自車の進行方向である前側を、図中に破線で示す画角範囲で、車外カメラ26により撮像したものである。郊外の撮像画像80には、直線状の長い路面の像81とともに、道路の両側に立設されている看板の像82、複数の電柱の像84、複数の境界ポールの像83が、画像において認識可能に撮像されている。
車外カメラ26は、自動車3の走行中において自動車3の周囲を繰り返しに撮像し、検出制御装置16へ出力する。検出制御装置16は、車外カメラ26の撮像画像を解析し、撮像画像に含まれている像71~74,81~84をたとえばその撮像形状に基づいて特定して、撮像画像に含まれている各種の構造物61~68を抽出してよい。この場合、検出制御装置16は、車外カメラ26の撮像画像とともに、撮像画像から抽出した構造物61~68の情報を、車ネットワークを通じてたとえば走行制御装置15へ出力してよい。
このような車外カメラ26は、自動車3の進行方向である前方を撮像する撮像デバイスとして機能する。
外通信装置17は、自動車3の外にある、たとえば道路の近くに設置された基地局30との間に無線通信路を確立する。基地局30は、キャリアによるものでも、高度交通情報のためのものでもよい。外通信装置17は、基地局30を通じて、基地局30に接続されているサーバ装置31との間で、情報を送受する。なお、サーバ装置31は、基地局30と対応するように分散して設けられてもよい。5G通信用の基地局30にサーバ装置31としての機能を設けることにより、自動車3の外通信装置17は、高速大容量の通信を基地局30に設けられているサーバ装置31との間で実行することが可能となる。
走行制御装置15は、自動車3の走行を制御する。
走行制御装置15は、自動車3の走行を制御するための制御値を生成して、駆動制御装置11、操舵制御装置12および制動制御装置13へ出力してよい。
これにより、自動車3は、走行制御装置15による走行制御にしたがって道路を走行することができる。
図3は、図2の走行制御装置15の基本的な構成図である。
図3の走行制御装置15は、入出力デバイス41、タイマ42、メモリ43、ECU44、および、これらが接続される内部バス45、を有する。
なお、図2の制御系10に用いられる各種の制御装置も、図3の走行制御装置15と同様の基本構成を有してよい。
入出力デバイス41は、車ネットワークに接続される。入出力デバイス41は、車ネットワークを通じた情報の入出力を制御する。入出力デバイス41は、たとえば自身に対応するIDが不可されたパケットを、車ネットワークから取得し、内部バス45を通じてECU44へ出力する。入出力デバイス41は、たとえば内部バス45を通じてECU44から取得した情報に対して、自身に対応する送信元のIDと送信先のIDとを付加して、車ネットワークへ出力する。
タイマ42は、時間および時刻を計測する。タイマ42の時刻は、自動車3の制御系10のGNSS受信機25による現在時刻により校正されてよい。
メモリ43は、たとえば不揮発性の半導体メモリ、HDD、RAM、などで構成されてよい。メモリ43は、たとえば、ECU44が実行するプログラムおよびデータを記録する。走行制御装置15のメモリ43には、走行制御のためのプログラムととともに、走行制御の設定値、検出制御装置16の検出情報、検出制御装置16の操作情報、高精度地図データ46などが記録されてよい。高精度地図データ46は、外通信装置17がサーバ装置31から取得して記録したものでもよい。
高精度地図データ46は、従来の自動車3の設定された目的地までの道順である経路案内のための地図データよりリッチな情報を有する。高精度地図データ46は、たとえば、自動車3が走行可能な道路や車線のリンク情報だけでなく、道路や車線の形状、交差点の形状などの情報を含む。高精度地図データ46は、この他にもたとえば自動車3の車外カメラ26の撮像画像において認識可能な信号機61、ゼブラゾーン62、停止線63、交通マーク64、道路標識65、ビル69、電柱68、看板66、境界ポール67といった各種の構造物の情報を含むとよい。構造物の情報には、構造物の種類、構造物を一意にまたは少なくとも種類などを特定するための情報、構造物の位置、などを含むとよい。このような高精度地図データ46は、自動車3が走行する道路に沿って立設されている複数の立設構造物の位置などの情報を含んでいることになる。
ECU44は、メモリ43に記録されているプログラムを読み込んで実行する。これにより、制御部が実現される。
ECU44は、自動車3の走行を制御するために制御値を生成して、駆動制御装置11、操舵制御装置12および制動制御装置13へ出力する。
図4は、図2の自動車3の制御系10の走行制御のフローチャートである。
たとえば図2の走行制御装置15のECU44は、制御部として、図4の自動車3の走行制御を、繰り返し実行してよい。
これにより、自動車3の制御系10は、自動車3に設けられる車両位置の生成装置として機能する。
なお、図4の自動車3の走行制御は、自動車3の制御系10に設けられる走行制御装置15以外の他の制御装置のECU44により実行されてもよい。
また、図4の自動車3の走行制御は、自動車3の制御系10に設けられる複数の制御装置のECU44が協働して実行してもよい。
ステップST1において、ECU44は、自動車3の走行制御の設定を取得する。ECU44は、自動車3の走行制御のために制御系10の各部から情報を取得してよい。また、ECU44は、メモリ43から同様の情報を取得してよい。走行制御のための設定には、たとえば自動運転レベルの設定がある。
ステップST2において、ECU44は、取得した設定の情報に基づいて、実行する走行制御が、自動運転であるか否かを判断する。ここでの自動運転には、運転支援が含まれてよい。設定が自動運転である場合、ECU44は、処理をステップST3へ進める。それ以外の場合、ECU44は、処理をステップST4へ進める。
ステップST3において、ECU44は、運転支援を含む自動運転による走行制御を実行する。自動運転のための走行制御において、ECU44は、たとえば、ドライバの操作情報によらずに、設定されている目的地へ向かう経路、高精度地図データ46、および現在位置などの検出情報を取得して、それらに基づいて自動車3の進路を生成する。検出情報には、車外カメラ26による前側の撮像画像などが含まれてよい。ECU44は、経路、高精度地図データ46などは、メモリ43から取得してよい。そして、ECU44は、たとえば、GNSS受信機25が生成した自動車3の現在位置から、経路に沿って目的地まで安全に向かうための進路を生成し、生成した進路にて走行するための制御値を生成し、駆動制御装置11、操舵制御装置12、制動制御装置13へ出力する。ECU44は、自動運転の走行制御において、レーンキープ制御、先行車追従制御、走行車線の変更、分流を含めた合流区間での分合流制御、障害物回避、緊急停車、などの制御を実行してよい。ECU44は、生成した進路で走行を制御するために、これら各種の制御の中から少なくとも1つを選択してよい。その後、ECU44は、本制御を終了する。
ステップST4において、ECU44は、ドライバの操作のみに基づく走行制御を実行する。この場合、ECU44は、操作検出装置14から取得するドライバの操作に基づいて、それに対応する制御値を生成し、駆動制御装置11、操舵制御装置12、制動制御装置13へ出力する。その後、ECU44は、本制御を終了する。
このように、走行制御装置15は、ドライバの操作に基づく自動車3の走行制御、ドライバの操作を支援する自動車3の走行制御、ドライバの操作によらない自動運転での走行制御、を実行することができる。
そして、自動車3は、自動運転の走行制御を実行するためには、自動車3の現在位置として精度の良いものを取得することが重要である。取得する現在位置が、自動車3の実際の位置からずれると、走行制御による自動車3の実際の進路もずれることになる。
また、自動車3は、自動運転の走行制御を継続的に実行する場合、自動車3の現在位置を、比較的短い周期で繰り返しに取得する必要がある。
このため、自動車3には、高精度な位置を生成可能なGNSS受信機25が用いられる。
しかしながら、自動車3は、必ずしもGNSS受信機25が複数のGNSS衛星からの電波を良好に受信できる道路などを走行するとは限らない。自動車3は、たとえば、トンネル、ビル69群の谷間、森林に埋まる道路などを走行することがある。これらの走行状況では、GNSS受信機25は、複数のGNSS衛星の電波を受信できるとは限らない。また、複数のGNSS衛星の電波を受信できたとしても、それに基づいて生成される位置の精度が低下する可能性がある。自動車3は、現在位置を得られなくなったり、確からしい現在位置を得られなくなったり、する可能性がある。
自動車3の走行制御では、自動車3の走行状況にかかわらず、自動運転の走行制御に使用可能な精度を確保した現在位置を取得し続けることが求められる。自動車3の位置には、自動車3の走行状況にかかわらず、その確からしさを向上することが求められる。
図5は、図4の自動運転の走行制御のフローチャートである。
図2の走行制御装置15のECU44は、図4のステップST3において、図5の自動運転の走行制御を実行してよい。
ステップST11において、ECU44は、GNSS受信機25から最新の自動車3の位置の情報を取得する。
ステップST12において、ECU44は、GNSS受信機25から、前回とは異なる新たな位置を取得できたか否かを判断する。GNSS受信機25は、基本的に、GNSS受信機25が新たな電波を受信できた場合に、新たな位置を生成して更新する。GNSS受信機25が新たな電波を受信できない場合、GNSS受信機25は、位置を更新できない。または、GNSS受信機25は、更新処理により有意な位置を生成できない。ECU44は、たとえば、今回新たに取得した位置が有意なものであって、前回の処理で取得した位置と異なる場合、新たな位置を取得できたと判断して、処理をステップST13へ進める。新たな位置を取得できたと判断できない場合、ECU44は、GNSS受信機25から新たに取得した位置を現在位置のために利用しないように、処理をステップST14へ進める。
ステップST13において、ECU44は、GNSS受信機25から新たに取得した位置についての精度を判断する。ここでは、ECU44は、GNSS受信機25から新たに取得した位置についての誤差が、誤差についての閾値以下であるか否かを判断する。GNSS受信機25は、位置を生成する場合、位置の誤差範囲についても生成するものが多い。誤差範囲の閾値は、たとえば半径数十センチメートルでよい。GNSS受信機25から取得した位置の誤差が閾値以下である場合、ECU44は、処理をステップST15へ進める。取得位置の誤差が閾値より大きい場合、ECU44は、GNSS受信機25から新たに取得した位置を現在位置のために利用しないように、処理をステップST14へ進める。
ステップST14において、ECU44は、現在位置を得るための位置生成を設定する。ECU44は、たとえば所定の値の位置生成フラグを、メモリ43に記録する。位置生成フラグの値は、現在位置を得るための位置生成を実行するための値と、位置生成を実行しないための値と、のいずれかとしてよい。その後、ECU44は、処理をステップST17へ進める。
ステップST15において、ECU44は、現在位置を得るための位置生成が設定されているか否かを判断する。ECU44は、たとえばメモリ43に記録されている位置生成フラグの値を取得する。位置生成フラグが、位置生成のための設定値である場合、ECU44は、処理をステップST17へ進める。ECU44は、位置生成フラグの値が、位置生成のための設定値とされている期間においては、処理をステップST17へ進める。位置生成フラグの値が、位置生成を実行しない設定値である場合、ECU44は、処理をステップST16へ進める。
ステップST16において、ECU44は、GNSS受信機25から新たに取得した位置を、現在位置に設定する。その後、ECU44は、処理をステップST18へ進める。
ステップST17において、ECU44は、現在位置を生成する。この場合、ECU44は、GNSS受信機25から新たに取得した位置をそのまま現在位置とするのではなく、後述する各種の方法で演算した位置を、現在位置として生成する。
ステップST18において、ECU44は、高精度地図データ46に現在位置をマッピングし、現在位置から進む自動車3の進路を生成し、生成した進路で走行するための走行制御値を生成する。
ステップST19において、ECU44は、生成した走行制御値を、駆動制御装置11、操舵制御装置12、制動制御装置13へ出力する。これにより、自動車3は、自動運転により走行することができる。
図6は、図5の現在位置の生成制御のフローチャートである。
図2の走行制御装置15のECU44は、図5のステップST17において、図6の現在位置の生成制御を実行してよい。
ステップST21において、ECU44は、GNSS受信機25から取得した最新の有意な位置に基づいて、GNSSに基づく自動車3の位置を生成する。
ここで、GNSS受信機25から新たな位置を取得できていない場合、ECU44は、前回以前にGNSS受信機25から取得した最新の有意な位置を用いてよい。そして、ECU44は、最新の有意な取得位置からの移動履歴に基づいて、自動車3の位置を生成する。ECU44は、最新の有意な取得位置の後における移動距離、移動方向を、検出制御装置16またはメモリ43から取得してよい。検出制御装置16は、加速度センサ28により検出される前後左右上下の加速度を時間積分して自動車3の速度を生成できる。検出制御装置16は、自動車3の速度を時間積分して、移動した距離を生成できる。メモリ43は、検出制御装置16から取得するこれらの自車センサの検出に基づく情報を、記録してよい。ECU44は、これらの移動履歴を用いて、最新の有意な取得位置からの自動車3の移動距離および移動方向を演算し、GNSSに基づく自動車3の位置を生成する。
また、GNSS受信機25から、有意ではあるが精度の高くない可能性のある位置を取得している場合、ECU44は、その取得位置を、GNSSに基づく自動車3の位置に設定する。
また、GNSS受信機25から、有意であって且つ高精度な位置を取得するようになり始めている場合にも、ECU44は、その取得位置を、GNSSに基づく自動車3の位置に設定する。
ステップST22において、ECU44は、自車センサである車外センサの撮像画像に基づいて、撮像画像に基づく自動車3の位置を生成する。ECU44は、撮像画像に含まれている電柱68などの構造物を抽出し、抽出した構造物についての高精度地図データ46での位置を基準として、高精度地図データ46での車外センサによる仮の撮像画像において構造物の画角位置が得られるように、自動車3の位置を生成してよい。ここで、高精度地図データ46での構造物と自動車3との距離は、撮像画像から抽出する構造物から自動車3までの距離とすればよい。詳細は、後述する。
ステップST23において、ECU44は、GNSS受信機25からの高精度位置を取得できていない非取得期間が、所定時間以上であるか否かを判断する。ECU44は、たとえば図5のステップST14の処理においてタイマ42に計測開始を指示し、ステップST23の処理タイミングでのタイマ42の計測時間を非取得期間として取得してよい。非取得期間と比較する所定時間は、たとえばステップST21により生成するGNSSに基づく自動車3の位置ついての誤差範囲が、半径1mを超えるようになると推定される時間でよい。非取得期間が所定時間以上でない場合、ECU44は、処理をステップST24へ進める。非取得期間が所定時間以上になると、ECU44は、処理をステップST25へ進める。
ステップST24において、ECU44は、ステップST21で生成したGNSSに基づく位置を、自動車3の現在位置に設定する。その後、ECU44は、処理をステップST26へ進める。
ステップST25において、ECU44は、ステップST22で生成した撮像画像に基づく位置を、自動車3の現在位置に設定する。その後、ECU44は、処理をステップST26へ進める。
ステップST26において、ECU44は、GNSS受信機25から取得する今回の位置について、現実との整合性を判断する。
ECU44は、GNSS受信機25から今回取得した位置を、高精度地図データ46にマッピングし、そのマッピング位置からの高精度地図データ46での仮想的な画像と、車外カメラ26の撮像画像とが合致するか否かを判断してよい。ECU44は、たとえば電柱68などの立設構造物についての画像中の画角位置が、比較する画像の間で合致するか否かを判断してよい。合致と判断できる場合、ECU44は、GNSS受信機25から取得する今回の位置が現実と整合していると判断して、処理をステップST27へ進める。それ以外の場合、ECU44は、ステップST27へ処理を進めることなく、本制御を終了する。
ステップST27において、ECU44は、GNSS受信機25から取得する位置を現在位置として利用するための復帰処理を実行する。ECU44は、図6の現在位置の生成制御を継続的に実行するために図5のステップST14において設定された位置生成フラグの値を、位置生成を実行しないための値へ更新する。これにより、ECU44は、ステップST15において、現在位置を得るための位置生成が設定されていないと判断して、処理をステップST16へ進められるようになる。その後、ECU44は、本制御を終了する。
このようにECU44は、図6の現在位置の生成処理において、ステップST22で生成した撮像画像に基づく位置、またはステップST21で生成したGNSSに基づく位置を、現在位置として生成することができる。
そして、ECU44は、図5および図6の制御において、位置情報生成デバイスとしてのGNSS受信機25から位置情報が提供されないと判断してから所定時間が経過した場合には、車外カメラ26の撮像画像に基づく自動車3の現在位置の生成を開始できる。
また、ECU44は、GNSS受信機25から提供される位置情報の誤差範囲の広さが閾値以上であって信頼性が高くないと判断してから所定時間が経過した場合には、車外カメラ26の撮像画像に基づく自動車3の現在位置の生成を開始できる。
このようにECU44は、GNSS受信機25からの位置情報の質を判断し、位置情報の質が高くない状態で所定時間が経過した場合には、車外カメラ26の撮像画像に基づく自動車3の現在位置の生成を開始する。これにより、GNSS受信機25から高精度な位置情報が得られないデットレコグニングの状態が継続している場合には、ECU44は、自動車3の現在位置を、車外カメラ26の撮像画像に基づくものへ切り替えることができる。デットレコグニングの状態が長く続くと、GNSS受信機25のたとえば最後の高精度な位置からの移動量の演算により得られる位置の精度は、低下する可能性がある。
また、ECU44は、少なくとも、GNSS受信機25から提供される自動車3の位置および向きまたはそれに基づく位置および向きが、高精度地図データ46において同定した構造物との相対位置関係が、車外カメラ26の撮像画像における、同定した構造物の画角位置と整合する程度に高精度なものへ戻るまで、車外カメラ26の撮像画像に基づく位置を、自動車3の現在位置として生成し続けることができる。自動車3は、少なくともGNSS受信機25から高精度な位置が得られない期間においては、それよりも確からしい可能性がある撮像画像などに基づく位置を、自動車3走行の制御に用いることができる。
また、ECU44は、GNSS受信機25による自動車3の位置が高精度なものに復帰した後は、その高精度な位置を用いて、高精度な走行制御を実行することができる。
図7は、図6の撮像画像に基づく現在位置の生成制御のフローチャートである。
図2の走行制御装置15のECU44は、図6のステップST22において、図7の撮像画像に基づく現在位置生成制御を実行してよい。
ここで、メモリ43は、過去の撮像画像について抽出された立設構造物である電柱68の情報、過去の撮像画像に対応する過去の自動車3の位置、過去の自動車3の位置の後での移動量、などの図7の処理に必要な情報を記録しているものとする。また、メモリ43は、電柱68以外の構造物の情報を、記録していてもよい。移動量は、移動距離および移動方向でよい。
ステップST31において、ECU44は、メモリ43に記録されている情報の鮮度を判定する。
ECU44は、たとえば、メモリ43において過去の情報に付されている記録時刻の情報と、タイマ42の現在時刻との間の経過時間に基づいて、情報の鮮度を判定してよい。
また、ECU44は、メモリ43に記録されている過去の位置と、図5のステップST21で生成するGNSSに基づく位置との離間距離に基づいて、情報の鮮度を判定してよい。
ステップST32において、ECU44は、メモリ43に記録されている情報が、現在位置の生成に使用可能であるか否かを判断する。
ECU44は、たとえば情報の経過時間が所定の閾値以上であって古い場合、メモリ43の情報を現在位置の生成に使用しないように、処理をステップST33へ進める。情報の経過時間が所定の閾値より短い場合、ECU44は、メモリ43の情報を現在位置の生成に使用するように、処理をステップST34へ進める。
この他にもたとえば、ECU44は、情報の離間距離が所定の閾値以上であって古い場合、メモリ43の情報を現在位置の生成に使用しないように、処理をステップST33へ進める。情報の経過時間が所定の閾値より短い場合、ECU44は、メモリ43の情報を現在位置の生成に使用するように、処理をステップST34へ進める。
ステップST33において、ECU44は、メモリ43の情報を現在位置の生成のための基準として使用しない単一画像位置生成処理を実行する。ECU44は、たとえば車外カメラ26の撮像画像に含まれている1つの電柱68を位置の基準に用いて、自動車3の位置を生成する。その後、ECU44は、処理をステップST35へ進める。
ステップST34において、ECU44は、メモリ43の情報を現在位置の生成のための基準として使用する複数画像位置生成処理を実行する。メモリ43には、過去の撮像画像から抽出された電柱68の情報などが記録されている。ECU44は、たとえば、車外カメラ26の撮像画像に含まれている1つの電柱68と、メモリ43に記録されている過去の撮像画像に含まれる電柱68とを位置の基準に用いて、自動車3の位置を生成する。
ステップST35において、ECU44は、今回の図7の処理において生成した情報を、メモリ43に記録する。これにより、メモリ43には、過去の撮像画像に基づく情報が、蓄積して記録される。
このようにECU44は、メモリ43の情報の鮮度に応じて、メモリ43の情報を用いる複数画像位置生成処理とメモリ43の情報を用いない単一画像位置生成処理との一方を選択し、選択した処理により自動車3の位置を生成する。
本実施形態では、GNSSに基づく位置の確からしさが低下している場合には、単一の撮像画像または複数の撮像画像に基づく位置を自動車3の現在位置とすることにより、自動車3の現在位置について一定の確からしさを確保することができる。
次に、単一の撮像画像または複数の撮像画像に基づく位置の生成について、詳しく説明する。
ここでは、高精度地図データ46には、自動車3が走行する道路またはその近くに設けられる構造物の少なくとも位置の情報を含んでいるものとする。高精度地図データ46は、少なくとも自動車3が走行する道路に沿って並べて立設されている複数の電柱68、ポール、その他の立設構造物の位置の情報を含んでいるものとする。
自動車3が走行する道路には、自動車3の車外カメラ26の撮像画像において認識可能なゼブラゾーン62、停止線63、交通マーク64、などの路面描画物が描画される。
自動車3が走行する道路の交差点などには、信号機61、道路標識65が設けられる。
自動車3が走行する道路の近くには、看板66、電柱68などが設けられる。
これらの構造物の中、路面描画物、信号機61、道路標識65、看板66などは、降雪があると、画像にはっきりと撮像され難くなる。路面描画物は、路面が凍結している場合においても、画像にはっきりと撮像され難くなる。
ECU44は、車外カメラ26の撮像画像を解析して構造物を抽出しようとしたとしても、撮像画像において本来の形状や輪郭が明瞭に撮像されていない構造物については抽出できない可能性がある。
これに対し、信号機61や道路標識65を支えるポール、電柱68などの立設構造物は、降雪や凍結があったとしても、少なくとも一部が、画像にはっきりと撮像され得る。ECU44は、車外カメラ26の撮像画像を解析することにより、電柱68などの立設構造物を抽出することができる。電柱68などの立設構造物は、その他の構造物と比べて、高い確率で抽出可能である。本実施形態では、このような構造物の種類の違いに起因した抽出のし易さの違いを考慮している。本実施形態の高精度地図データ46は、少なくとも自動車3が走行する道路に沿って並べて立設されている複数の電柱68、ポール、その他の立設構造物の位置の情報を含んでいる。
また、ECU44が、過去の撮像画像に基づいて電柱68などの立設構造物を抽出している場合、メモリ43は、その過去に抽出されている電柱68などの立設構造物の情報を記録する。
以下では、撮像画像に撮像されている電柱68を、現在位置の生成に用いる場合を例に説明する。以下の説明は、電柱68以外の立設構造物、その他の構造物であっても同様に適用可能である。
図8は、単一画像に基づく現在位置の生成制御のフローチャートである。
図2の走行制御装置15のECU44は、図7のステップST33において、図8の単一画像位置生成制御を実行してよい。
ステップST41において、ECU44は、車外カメラ26の撮像画像を解析して、撮像画像に撮像されている電柱68を抽出する。
また、ECU44は、抽出した構造物の種類を電柱68と判定したり、電柱68そのものの特徴を抽出したりしてよい。
ステップST42において、ECU44は、抽出した電柱68と自動車3との相対位置を示すベクトル情報を生成する。
車外カメラ26がステレオカメラなどである場合、ECU44は、撮像画像における電柱68の撮像位置や複数の撮像画像の間での視差に基づいて、自車から立設構造物までの相対的な距離を演算する。相対的な距離についての誤差は、車外カメラ26の解像度などにより小さくできる。車外カメラ26が単眼カメラである場合と比べて、ステレオカメラである場合のほうが、誤差が小さくなる。
また、ECU44は、撮像画像における電柱68の撮像位置や複数の撮像画像の間での視差に基づいて、自車の車外カメラ26を基準とした、立設構造物の相対的な方向を演算する。電柱68についての相対的な方向は、自動車3から撮像した画角位置の情報である。
これにより、ECU44は、抽出した電柱68と自動車3との相対位置ベクトルを生成できる。
また、ECU44は、自車からの相対位置ベクトルの位置を、電柱68についてのおよその位置として仮に生成してよい。
ECU44は、車外カメラ26の撮像画像に含まれている電柱68の情報を生成できる。
なお、ECU44は、車外カメラ26の撮像画像とともに、Lidarによる車外の空間情報を用いて、車外カメラ26の撮像画像に含まれている電柱68の情報を生成してもよい。
ステップST43において、ECU44は、撮像画像から抽出した電柱68の位置を、高精度地図データ46において同定する。
ECU44は、高精度地図データ46に含まれる複数の電柱68の中から、たとえば、仮に推定可能な自車位置から、相対位置ベクトルの方向にあるものを、高精度地図データ46における抽出した電柱68として同定してよい。
この他にもたとえば、ECU44は、高精度地図データ46に含まれる複数の電柱68の中から、たとえば、電柱68のおおよその位置から最も近いものを、高精度地図データ46における抽出した電柱68として同定してよい。
この他にもたとえば、ECU44は、走行中に車外カメラ26が繰り返しに生成している撮像画像について、電柱68の抽出処理を繰り返し実行してよい。この場合、ECU44は、GNSSに基づく高精度な位置が得られている期間における撮像画像についてその時点で撮像可能な電柱68を正しく同定し続けることができる。このように過去の電柱68について正しく同定し続けている状態で本処理を実行することにより、ECU44は、高精度地図データ46に撮像可能な電柱68が複数で存在する場合でも、処理に係る電柱68を正しく同定することができる。ECU44は、抽出した複数の電柱68の相対的な位置関係に基づいて、高精度地図データ46における今回の電柱68を正しく同定できる。
これにより、ECU44は、高精度地図データ46において、車外カメラ26の最新の撮像画像に含まれている単一の立設構造物として電柱68の位置を同定できる。
ステップST44から、ECU44は、撮像画像に基づく自動車3の位置の生成処理を具体的に開始する。本実施形態では、ECU44は、ステップST44の第一生成処理、ステップST45の第二生成処理、ステップST46の第三生成処理、の三段階の処理により、車外カメラ26の撮像画像に基づく単一画像位置生成処理による自動車3の現在位置を生成する。
ステップST44の第一生成処理において、ECU44は、電柱68と自動車3との相対位置関係(相対距離および相対方向)に基づいて、高精度地図データ46において自動車3を移動させて、第一の自動車94の位置および向きを生成する。
ステップST45の第二生成処理において、ECU44は、電柱68と自動車3との相対距離に基づいて、高精度地図データ46において自動車3を移動させて、第二の自動車95の位置および向きを生成する。
ステップST46の第三生成処理において、ECU44は、ステップST44の第一位置と、ステップST45の第二位置とに基づいて、第三の自動車97の位置および向きを生成する。
ステップST47において、ECU44は、ステップST46までの処理で生成した自動車3の位置および向きを、自動車3の現在位置に設定する。
ECU44は、基本的に第三の自動車97の位置および向きを、自動車3の現在位置に設定するとよい。
これにより、ECU44は、車外カメラ26の撮像画像のみに基づく単一画像位置生成処理により、自動車3の現在位置を生成できる。
次に、図9から図12を用いて、単一画像位置生成処理の第一生成処理から第三生成処理について、詳しく説明する。
自動車3が実際に走行する道路は三次元空間にあるが、ここでは説明の簡便化のために、X-Yの二次元空間を用いて説明する。
図9は、単一画像位置生成処理による現在位置の生成制御において利用可能な主な情報の説明図である。
図9には、郊外の道路2を走行する自動車3が示されている。自動車3の左前方には、電柱68が立設している。
この場合、ECU44は、GNSSに基づく自動車3の位置および向き(x0,y0,θ0)、高精度地図データ46において同定した電柱の位置(x1,y1)、自動車3から電柱68への相対位置ベクトル(Ld,θd)、の情報を取得可能である。
GNSSに基づく自動車3の位置(x0,y0)は、高精度地図データ46と対応付け可能なものであればよく、たとえば緯度経度の値でよい。
GNSSに基づく自動車3の向きθ0は、高精度地図データ46と対応付け可能なものであればよく、たとえば地磁気の北を基準とした360度方向の角度でよい。
自動車3から電柱68への相対位置ベクトル(Ld,θd)は、撮像画像やLidar27の空間情報に基づいて生成したものでよい。ここで、Ldは相対距離である。θdは、相対角度である。相対角度は、たとえば自動車3の前を基準とした角度でよい。
図10は、単一画像位置生成制御の図8の第一生成制御による自動車3の位置および向きの生成方法の説明図である。
図10には、対比のために、郊外の道路2を走行する自動車3および電柱68が破線で示されている。
図10において、同定された電柱68は、高精度地図データ46において、自動車3の左前方に立設している。
ECU44は、第一生成制御では、高精度地図データ46で同定した電柱92の位置(x1,y1)を基準として、相対位置ベクトル(Ld,θd)で離れた位置を、第一の自動車94の位置および向き(x10,y10,θ10)として生成する。
この場合、第一の自動車94は、自車センサであるGNSS受信機25により計測される破線の位置から、平行移動したものとなる。
第一生成制御による第一の自動車94の位置は、同定した電柱92から、相対確度θdの方向に、相対距離Ldで離れた位置となる。
第一生成制御による第一の自動車94の向きは、その位置の自動車3から電柱92への方向に対して相対角度θdをなす方向となる。
この場合、ECU44は、同定した立設構造物としての電柱92についての、車外カメラ26の撮像画像における画角位置での向きを保持して、かつ、撮像画像から推定される距離となる位置を、自動車3の現在位置として生成できる。自動車3の現在位置は、電柱92に対する相対位置として実際に近い確からしいものとなる。ただし、自動車3の向きについては、確からしさを高めることができない。
図11は、図8の第二生成制御による自動車3の位置および向きの生成方法の説明図である。
図11には、対比のために、郊外の道路2を走行する自動車3および電柱68が破線で示されている。
図11において、同定された電柱92は、高精度地図データ46において、自動車3の左前方に立設している。
ECU44は、第二生成制御では、まず、図11の上部に示すように、自動車3の位置を移動する位置生成処理を実行する。位置生成処理において、ECU44は、高精度地図データ46で同定した電柱92の位置(x1,y1)と、自動車3のGNSSに基づく位置(x0,y0)とを基準として、それらの間の位置を、第二の自動車95の位置として生成する。第二の自動車95の位置は、同定した電柱92の位置から、相対距離Ldで離れた位置としてよい。
次に、ECU44は、自動車3の向きを回転させる向き生成処理により、図11の下部に示すように、第二の自動車95の位置から同定した電柱92へ向かう方向が、撮像画像に基づいて生成した相対角度θdとなる向きを、第二の自動車95の向きとして生成する。
これにより、ECU44は、第二の自動車95の位置および向き(x20,y20,θ20)として生成する。
この場合、ECU44は、第二生成処理として、高精度地図データ46において同定した立設構造物の位置と、補正前の誤差を持っている可能性があるGNSSに基づく仮の位置との間であって、かつ、撮像画像から推定される相対距離Ldとなる位置を、自動車3の現在位置として生成する。この場合、ECU44は、さらに、生成した現在位置において、同定した立設構造物である電柱68についての、車外カメラ26の撮像画像における画角位置θdが得られるように、自動車3の向きを生成できる。
図12は、図8の第三生成制御による自動車3の位置および向きの生成方法の説明図である。
図12には、対比のために、第一の自動車94の位置および向き(x10,y10,θ10)と、第二の自動車95の位置および向き(x20,y20,θ20)とが、破線で示されている。
ECU44は、第一の自動車94の位置(x10,y10)と、第二の自動車95の位置(x20,y20)との間の位置を、第三の自動車97の位置として生成する。
また、ECU44は、第一の自動車94の向きθ10と、第二の自動車95の向きθ20との間の向きを、第三の自動車97の向きとして生成する。
ここで、第一の自動車94の値と、第二の自動車95の値との重付けの割合は、たとえば0.5:0.5としてよい。この場合、第三の自動車97の値は、第一の自動車94の値と第二の自動車95の値との中間の値となる。
これにより、ECU44は、第三の自動車97の位置および向き(x30,y30,θ30)として生成する。ECU44は、第一生成処理による位置および向きと、第二生成処理による位置および向きとの間となる位置および向きを、第三の自動車97の位置および向き(x30,y30,θ30)として生成できる。
このようにECU44は、図10から図12の一連の処理を実行して、第三の自動車97の位置および向き(x30,y30,θ30)を、単一画像に基づく自動車3の現在位置および向きとして生成する。
ECU44は、単一画像位置生成処理において、高精度地図データ46において、車外カメラ26の最新の撮像画像に含まれている単一の立設構造物である電柱68の位置を同定する。
そして、ECU44は、メモリ43に記録されている過去の電柱の情報を使用することなく、車外カメラ26の撮像画像における電柱68のみに基づいて、高精度地図データ46における自動車3の現在位置および向きを生成できる。
ECU44は、車外カメラ26の撮像画像における単一の立設構造物である電柱68の相対位置に基づいて、高精度地図データ46における自動車3の現在位置および向きを生成できる。
これにより、ECU44は、メモリ43に記録されている過去の電柱の情報の影響を受けることなく、車外カメラ26の撮像画像に基づいて、確からしい自動車3の現在位置および向きを生成できる。
そして、この単一画像位置生成処理により生成される自動車3の現在位置および向きは、自動車3の走行制御に適した確からしいものになり得る。単一画像位置生成処理により生成される自動車3の現在位置および向きは、GNSSに基づく位置および向きと比べて、自動車3の走行制御に適した確からしいものになることが可能である。単一画像位置生成処理により生成される自動車3の現在位置および向きを用いて自動車3の走行を制御することにより、自動車3は、たとえば降雪した道路や車線においてその中央付近を維持する安全性を確保しながら走行することが期待できる。第三生成処理による自動車3の位置および向きは、第一生成処理によるもの、または第二生成処理によるものと比べて、降雪した道路や車線においてもその中央付近を維持できるようになると期待できる。
図13は、図7の複数画像に基づく現在位置の生成制御のフローチャートである。
図2の走行制御装置15のECU44は、図7のステップST34において、図13の複数画像位置生成制御を実行してよい。
ステップST51において、ECU44は、車外カメラ26の撮像画像を解析して、撮像画像に撮像されている電柱68を抽出する。ここでの抽出処理は、ステップST41と同じにしてよい。
ステップST52において、ECU44は、抽出した電柱68と自動車3との相対位置を示すベクトル情報を生成する。ここでの抽出処理は、ステップST42と同じにしてよい。
ステップST53において、ECU44は、メモリ43から過去に同定した電柱68の情報を読み込む。メモリ43には、図7のステップST35の処理により、過去に同定した電柱68の情報として、その位置などが記録されている。
ステップST54において、ECU44は、過去の電柱68からの自動車3の相対距離を演算する。ここで、自動車3の位置としては、GNSSに基づく位置を使用してよい。
ステップST55において、ECU44は、撮像画像から抽出した電柱68の位置と、過去に同定した電柱68の位置とを、高精度地図データ46において同定する。ここでの同定処理は、ステップST44と同じにしてよい。
これにより、ECU44は、高精度地図データ46において、車外カメラ26の最新の撮像画像に含まれている単一の立設構造物として電柱68の位置と、過去の撮像画像に基づいた電柱68の位置とを、高精度地図データ46において同定できる。
ステップST56から、ECU44は、車外カメラ26の撮像画像を含む複数の撮像画像に基づく自動車3の位置の生成処理を具体的に開始する。本実施形態では、ECU44は、ステップST56の位置生成処理、ステップST57の向き生成処理、の二段階の処理により、複数画像位置生成処理による自動車3の現在位置を生成する。
ステップST56の位置生成処理において、ECU44は、今回の撮像画像に基づいて同定した電柱68の位置と、過去の撮像画像に基づいて同定した電柱68の位置とに基づいて、自動車3の位置を生成する。自動車3の位置は、今回の電柱68からの距離が相対距離Ldとなり、過去の電柱68からの距離がステップST54で演算した相対距離となる位置でよい。ECU44は、高精度地図データ46において2つの電柱68および自動車3を頂点とする三角形に基づいて、自動車3に対応する頂点の位置を生成してよい。
ステップST57の向き生成処理において、ECU44は、自動車3の位置から今回の電柱68へ向かう方向が、撮像画像に基づいて生成した相対角度θdとなる向きを、自動車3の向きとして生成する。
これにより、ECU44は、自動車3の位置および向きを生成できる。
ステップST58において、ECU44は、ステップST57までの処理で生成した自動車3の位置および向きを、自動車3の現在位置に設定する。
これにより、ECU44は、車外カメラ26の撮像画像と過去の撮像画像とに基づく複数画像位置生成処理により、自動車3の現在位置を生成できる。
次に、図14を用いて、複数画像位置生成処理での位置生成処理について、詳しく説明する。
自動車3が実際に走行する道路は三次元空間にあるが、ここでは説明の簡便化のために、X-Yの二次元空間を用いて説明する。
図14は、複数画像位置生成処理による自動車3の位置の生成方法の説明図である。
図14では、図の下から上へ走行する自動車3とともに、車外カメラ26の撮像画像に基づいて同定される第一電柱99と、前回の撮像画像に基づいて同定された第二電柱98と、が示されている。
第一電柱99は、車外カメラ26の最新の撮像画像に含まれている電柱68として、ECU44により今回の処理において同定された電柱である。
第二電柱98は、前回の撮像画像に含まれている電柱68として、ECU44により過去の処理において同定された電柱である。
また、図14では、走行する自動車3が、現在位置において実線で描かれ、過去位置において破線で描かれている。
ECU44は、複数画像位置生成処理での位置生成処理処理において、過去位置の自動車101,103からの移動量を演算して、自動車3の仮の現在位置を得る。このような仮の現在位置は、基本的に、GNSSに基づく位置および向きに基づいて生成されてよい。ただし、GNSSに基づく位置および向きとして高精度なものが得られている過去位置の自動車103を基準にして演算すると、自車センサの計測に基づく移動量の誤差が大きくなる可能性がある。このため、図の下部に示す破線の自動車103の位置を基準にするのではなく、図の中央に示す破線の前回の自動車101の位置を基準にするとよい。移動量を減らすことにより、それを用いて演算される位置の誤差を減らし、位置の精度を向上できる。
この場合、ECU44は、自動車3についての、車外カメラ26が最新の画像を撮像した時点での、メモリ43に記録されている過去に同定した第二電柱98からの距離を推定できる。
次に、ECU44は、高精度地図データ46における第二電柱98から自動車102までの相対距離LPを演算する。ECU44は、仮の現在位置にある自動車102から第二電柱98までの相対距離LPを、高精度地図データ46において演算する。
また、ECU44は、第一電柱99の位置から第二電柱98の位置までの電柱間距離Lmを、高精度地図データ46に基づいて演算する。
また、ECU44は、自動車3の撮像画像に基づいて、仮の現在位置の自動車102の位置から第一電柱99までの相対距離Ldを生成している。
そして、ECU44は、これらを三辺とする三角形に対して三角関数の定理を適用して、自動車3の位置を生成する。
次に、ECU44は、図11の下部で説明したものと同様の向き生成処理処理により、特定した位置の自動車3から同定した第一電柱99へ向かう方向が、撮像画像に基づいて生成した相対角度となる向きを、自動車3の向きとして生成する。ECU44は、車外カメラ26の最新の撮像画像における第一電柱99の画角位置θdを用いて、高精度地図データ46における自動車3の向きを生成する。
これにより、ECU44は、複数の撮像画像に基づいて、自動車3の位置および向きを生成できる。
このように生成した位置は、1つの電柱やポールに基づく上述した位置よりも確からしさが向上する可能性が高い。電柱やポールが円柱形状を基本としている。このため、1つの電柱やポールを撮像しても、そこからの相対的な自車方向は高い精度となり得ない可能性がある。自車の位置は、円柱形状の電柱やポールを中心とした円周上のどの方向の位置かが明確とならない可能性がある。今回のように複数の電柱やポールに基づいて自車の位置を決めることにより、位置の確からしさが向上し得る。
なお、ECU44は、仮の現在位置の自動車102と過去の第二電柱98との相対距離LPではなく、相対方向を演算してもよい。この場合、ECU44は、第二電柱98からの相対方向と、第一電柱99からの相対角度とにより、自動車3の位置を生成できる。ECU44は、位置を同定した複数の電柱98,99の各々からの距離または方向に基づいて、高精度地図データ46における自動車3の現在位置を生成できる。
このように本実施形態において、ECU44は、複数画像位置生成処理において、自動車3についての、車外カメラ26が最新の画像を撮像した時点での、メモリ43に記録されている過去の立設構造物からの相対距離LPを推定する。また、ECU44は、高精度地図データ46において、車外カメラ26の最新の撮像画像に含まれている最新の立設構造物の位置と、過去の立設構造物の位置と、を同定する。そして、ECU44は、位置を同定した複数の立設構造物の各々からの距離に基づいて、高精度地図データ46における自動車3の現在位置を確からしく生成することができる。
また、この場合、ECU44は、さらに、車外カメラ26の最新の撮像画像における立設構造物の画角位置を用いて、高精度地図データ46における自動車3の向きについても、確からしく生成することができる。
このような複数画像位置生成処理による自動車3の位置および向きは、GNSS受信機25から高精度な位置情報が得られないデットレコグニングの状態が長くなったとしても、自動車3の走行制御に適した確からしいものになり得る。たとえば降雪または凍結している直線的な長い道路または車線をデットレコグニングの状態で走行していても、自動車3は、確からしい現在位置に更新され続けることにより、直線的な長い道路または車線の中央付近を維持して走行し続けることができる。
以上のように、本実施形態では、メモリ43に記録されている高精度地図データ46は、自動車3が走行する道路に対して立設されている電柱68などの立設構造物について、少なくとも位置の情報を含む。ここで、立設構造物の位置の情報は、少なくとも自動車3が走行する道路に沿って並べて立設されている複数の電柱68その他のポールの位置の情報でよい。そして、メモリ43および車外カメラ26から情報を取得して処理するECU44は、車外カメラ26の撮像画像に含まれている立設構造物の情報を生成し、生成した立設構造物の位置を、高精度地図データ46において同定する。その後、ECU44は、高精度地図データ46において同定する立設構造物の位置と、撮像画像とに基づいて、高精度地図データ46において自動車3が走行している道路での自動車3の現在位置を生成する。
特に、本実施形態では位置を生成するために同定する立設構造物として、たとえば自動車3が走行する道路に沿って並べて立設されている電柱68その他のポールを少なくとも用いる。このような立設構造物は、看板66などとは異なり、自動車3が走行する道路に沿って広く汎用的に用いられている。また、立設構造物は、路面に描画されているゼブラゾーン62、停止線63、交通マーク64などのように、雪や土などによりその全体が覆われ難い。また、立設構造物は、太陽が低くなる朝や夕方の時間帯においても、少なくとも路面の近くの一部が撮像され得る。その結果、ECU44は、自動車3が走行している場合には、車外カメラ26の撮像画像により立設構造物を撮像し続けることができる。また、ECU44は、撮像画像から、それに含まれている立設構造物の情報を高い確実性で生成し得る。しかも、立設構造物が、自動車3が走行する道路に沿って並べて立設されている特性を有するものである。このため、ECU44は、各立設構造物を撮像するたびに位置を補正することで、自動車3の現在位置として確からしさが維持されているものを生成し続けることができる。
このように本実施形態では、生成される車両位置についての確からしさを向上することができる。
本実施形態において、ECU44は、車外カメラ26の撮像画像から、1つの電柱68の情報しか生成できない可能性がある。この場合、ECU44は、地図データにおいて1つの電柱68しか同定できず、その1つの電柱68に基づく自動車3の位置しか生成することができない。これに対して、仮にたとえば車外カメラ26の撮像画像において複数の電柱68を抽出できる場合、ECU44は、それらに基づいて自動車3の位置の精度を高めることができる。
このような情報不足を補うために、本実施形態では、メモリ43に、過去の撮像画像に基づいて生成された電柱68の情報を記録する。ECU44は、車外カメラ26の撮像画像において1つの電柱68の情報しか生成できないとしても、それとともにメモリ43に記録されている過去の電柱68の情報を用いることにより、複数の電柱68の位置に基づく確からしい現在位置を生成することができる。ECU44は、車外カメラ26の撮像画像のみに基づく単一画像位置生成処理だけでなく、過去の電柱68の位置を用いた複数画像位置生成処理を実行することができる。
そして、ECU44は、自動車3の走行状況や、メモリ43に記録されている過去の電柱68の情報などに応じて、単一画像位置生成処理と複数画像位置生成処理の中の一方を、最終的な自動車3の現在位置として選択してよい。
たとえば、メモリ43に記録されている過去の電柱68の情報が閾値以上に古くない場合、または、メモリ43に記録されている過去の電柱68の位置が閾値以上に遠くない場合、ECU44は、複数画像位置生成処理による位置を、最終的な自動車3の現在位置として選択してよい。これに対して、メモリ43に記録されている過去の電柱68の情報が閾値以上に古い場合、または、メモリ43に記録されている過去の電柱68の位置が最新の電柱68の位置から閾値以上に離れていて遠い場合、ECU44は、単一画像位置生成処理による位置を、最終的な自動車3の現在位置として選択してよい。
[第二実施形態]
次に、本発明の第二実施形態について説明する。以下、上述した実施形態との相違点について主に説明する。上述した実施形態と同様の特徴については、上述した実施形態と同一の符号を用いて説明を省略する。
本実施形態では、サーバ装置31が、自動車3の走行を制御する。
図2に示すように、自動運転を実行可能な自動車3の制御系10は、基地局30を通じて外部のサーバ装置31と通信可能な外通信装置17を備える。この場合、サーバ装置31は、合流区間を含む道路を走行している複数の自動車3から、各々の走行についての情報を収集して取得し、それに基づいて各自動車3の走行制御に用いる走行制御値を生成することができる。また、自動車3の制御系10は、サーバ装置31から走行制御値を受信して取得して、自動車3の走行制御に用いることが可能である。この場合、サーバ装置31は、合流区間を走行する複数の自動車3の走行を、遠隔または管制して制御することになる。このように、サーバ装置31は、合流区間を走行する複数の自動車3から、それらの走行についての情報を取得できる。また、サーバ装置31は、取得した情報に基づいて、合流先車線Lを走行する自動車3の走行を、制御対象の自動車3を合流先車線Lにおいて直前に合流させるように走行制御値を生成して制御することが可能である。
図15は、本発明の第二実施形態に係る、自動車3の走行を制御するサーバ装置31の説明図である。
図15のサーバ装置31は、通信デバイス51、サーバタイマ52、サーバメモリ53、サーバCPU54、および、これらが接続されるサーババス55、を有する。
通信デバイス51は、たとえばインターネットなどの通信網に接続される。通信デバイス51は、通信網に接続されているたとえば基地局30を通じて、道路を走行する自動車3との間で情報を送受する。通信デバイス51は、自動車3の走行を制御または支援するために自動車3と通信可能な通信部である。
サーバタイマ52は、時刻または時間を計測する。サーバタイマ52の時刻は、たとえば不図示のGNSS衛星の電波に基づく時刻により校正されてよい。この場合のサーバタイマ52の時刻は、自動車3の時刻と同期する。
サーバメモリ53は、サーバCPU54が実行するプログラムおよびデータを記録する。サーバメモリ53は、たとえば不揮発性の半導体メモリ、HDD、RAM、などで構成されてよい。
サーバCPU54は、サーバメモリ53に記録されているプログラムを読み込んで実行する。これにより、サーバ制御部が実現される。サーバ制御部としてのサーバCPU54は、サーバ装置31の動作を管理する。サーバ制御部は、自動車3の走行を遠隔的に制御する、車両走行の制御装置として機能し得る。
このように、サーバCPU54は、サーバ装置31において、自動車3の走行を制御するための走行制御情報を生成する走行制御部として機能する。
また、通信デバイス51は、走行制御部により生成される走行制御情報を、自動車3へ送信する。
図16は、図15のサーバ装置31によるサーバ走行制御のフローチャートである。
サーバCPU54は、サーバ装置31の走行制御部として、図16のサーバ走行制御を、繰り返しに実行してよい。
ステップST61において、サーバCPU54は、自動車3から、車両情報を受信する。自動車3は、車外センサの撮像画像などの自車センサの検出情報などを、車両情報として、外通信装置17から基地局30を通じてサーバ装置31へ送信する。サーバ装置31の通信デバイス51は、自動車3が送信した車両情報を受信する。通信デバイス51は、複数の自動車3の車両情報を受信してよい。
ステップST62において、サーバCPU54は、自動車3の自動運転のための走行制御を実行する。
サーバCPU54は、自動車3の現在位置を取得または生成し、その現在位置からの進路を生成する。この際、サーバCPU54は、道路を走行する複数の自動車3をサーバメモリ53に記録されている高精度地図データ46にマッピングし、各自動車3の進路として他の自動車と干渉しない進路を生成するとよい。サーバCPU54は、各自動車3について、各々の進路で安全でスムースな走行を可能にするための走行制御値を生成する。
また、サーバCPU54は、自動車3の現在位置を取得または生成する際に、各自動車3から取得する位置について図5の自動運転の走行制御と同様の処理により判断し、走行制御の現在位置を取得または生成してよい。
ステップST63において、サーバCPU54は、生成した走行制御値を、走行制御の対象である自動車3へ送信する。走行制御値は、サーバ装置31の通信デバイス51から、基地局を通じて自動車3の外通信装置17へ送信される。自動車3のたとえば走行制御装置15のECU44は、サーバ装置31から受信した走行制御値を、自車で生成する制御値に替えて、駆動制御装置11、操舵制御装置12および制動制御装置13へ出力してよい。
このように、サーバ装置31のサーバCPU54は、図16のステップST62において、上述した実施形態での自動車3の制御系10の走行制御装置15のECU44と同様の処理を実行することができる。
この場合、サーバCPU54は、サーバ装置31の走行制御部として、たとえば撮像画像に基づいて生成した現在位置に自動車3が位置するものとして、自動車3の走行制御値を生成することができる。
以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。
上述した実施形態では、ECU44は、単一画像位置生成処理において、第三生成処理による自動車3の位置および向きを、自動車3走行制御に用いている。
この他にもたとえば、ECU44は、単一画像位置生成処理において、第一生成処理による自動車3の位置および向きを、自動車3走行制御に用いてもよい。また、ECU44は、単一画像位置生成処理において、第二生成処理による自動車3の位置および向きを、自動車3走行制御に用いてもよい。さらに、ECU44は、これら複数の生成処理による自動車3の位置および向きを、自動車3の走行状況などに応じて切り替えて、自動車3走行制御に用いてもよい。
上述した実施形態では、ECU44は、車外カメラ26の撮像画像のみに基づく単一画像位置生成処理と、メモリ43の過去の電柱68の情報を併用する複数画像位置生成処理と、を自動車3の走行状況に応じて切り替えて自動車3走行制御に用いている。
この他にもたとえば、ECU44は、車外カメラ26の撮像画像のみに基づく単一画像位置生成処理のみを、自動車3走行制御に用いてもよい。または、ECU44は、複数画像位置生成処理のみを、自動車3走行制御に用いてもよい。
上述した実施形態では、ECU44は、自動車3が走行する道路に沿って複数が並べて立設されている電柱68その他のポールといったもののみの情報を、走行制御の基準とする立設構造物の情報として、撮像画像から生成している。
この他にもたとえば、ECU44は、道路に沿って立設されている電柱68以外の立設構造物、たとえば道路の近くに設置される看板66などについても、走行制御の基準とする立設構造物の情報として、撮像画像から生成してよい。
また、ECU44は、道路の上の中空に設けられる道路標識65、信号機61などの中空構造物についても、走行制御の基準とする構造物の情報として、撮像画像から生成してよい。
また、ECU44は、道路の路面に描画されているゼブラゾーン62、停止線63、交通マーク64、などの路面描画物についても、走行制御の基準とする構造物の情報として、撮像画像から生成してよい。
このようにECU44は、道路に沿って複数が並べて立設されている立設構造物以外についても、走行制御の基準とする構造物の情報として、撮像画像から生成してよい。ただし、降雪や凍結などといった各種の自動車3の走行状況に対応する場合には、少なくとも自動車3が走行する道路に沿って並べて立設されている複数の電柱68、境界ポール67、その他のポールといった立設体構造物については、走行制御の基準とする構造物の情報として、撮像画像から生成することが望ましい。
図17は、撮像画像から複数の構造物が抽出されている場合での、制御に使用する構造物の選択制御のフローチャートである。
図2の走行制御装置15のECU44は、たとえば図8のステップST41や、図13のステップST51において、図17の構造物の選択制御を実行して、その結果として撮像画像から抽出されている電柱を選択してよい。
なお、サーバ装置31のサーバCPU54も、図16のステップST62において、図17の構造物の選択制御を実行して、その結果として撮像画像から抽出されている電柱を選択してよい。
ステップST71において、ECU44は、車外カメラ26の撮像画像を解析して、撮像画像に含まれている電柱などの構造物を抽出する。自動車3が走行する位置や向きに応じて、車外カメラ26の撮像画像には、各種の構造物が抽出され得る。
ステップST72において、ECU44は、撮像画像から抽出された構造物が、複数であるか否かを判断する。複数の構造物が抽出されている場合、ECU44は、処理をステップST73へ進める。1つの構造物が抽出されている場合、ECU44は、処理をステップST77へ進める。
ステップST73において、ECU44は、抽出された複数の構造物に、電柱が抽出されているか否かを判断する。電柱が抽出されている場合、ECU44は、処理をステップST77へ進める。それ以外の場合、すなわち電柱が抽出されていない場合、ECU44は、処理をステップST74へ進める。
ステップST74において、ECU44は、抽出された複数の構造物に、電柱以外の立設構造物が抽出されているか否かを判断する。電柱以外の立設構造物としては、たとえば境界ポール67、信号機61や道路標識65を支えるポール、などがある。電柱以外の立設構造物が抽出されている場合、ECU44は、処理をステップST77へ進める。それ以外の場合、ECU44は、処理をステップST75へ進める。
ステップST75において、ECU44は、抽出された複数の構造物に、中空構造物が抽出されているか否かを判断する。中空構造物としては、たとえば信号機61、道路標識65、などがある。中空構造物が抽出されている場合、ECU44は、処理をステップST77へ進める。それ以外の場合、ECU44は、処理をステップST76へ進める。
ステップST76において、ECU44は、抽出された複数の構造物に、路面描画物が抽出されているか否かを判断する。路面描画物としては、たとえばゼブラゾーン62、停止線63、交通マーク64、などがある。路面描画物が抽出されている場合、ECU44は、処理をステップST77へ進める。それ以外の場合、ECU44は、抽出した構造物を現在位置の生成のために選択することなく、本制御を終了する。この場合、ECU44は、撮像画像に基づく自動車3の位置を生成することなく、たとえばGNSSに基づく自動車3の位置を、自動車3の現在位置に設定して、自動車3の走行制御を実行してよい。
ステップST77において、ECU44は、選択している構造物を、撮像画像に基づく位置を生成するために高精度地図データ46で同定する構造物として選択する。その後、ECU44は、本制御を終了する。この場合、ECU44は、選択している構造物の位置を高精度地図データ46で同定し、それに基づいて自動車3の位置を生成する。
これにより、ECU44は、撮像画像から複数の種類の構造物が抽出できる場合、その複数の種類の構造物の中で、電柱その他の立設構造物を優先して選択して、撮像画像に基づく位置の生成に利用することができる。ECU44は、降雪や路面の凍結を受け難い電柱その他の立設構造物を優先して選択することで、走行中の自動車3の位置を、走行環境によらずに生成できる。しかも、ECU44は、走行する自動車3の車外カメラ26で撮像される可能性が高い電柱を優先して選択しているので、電柱を後から選択するようにする場合と比べて、選択完了までの処理の時間を短縮できる。その結果、自動車3の走行中において繰り返しに短時間で実行することが望まれる走行制御の処理時間の長期化を効果的に抑制することができる。自動車3は、走行中において短い周期ごとに、走行制御を繰り返すことができる。
1…市街地の道路、2…郊外の道路、3…自動車(車両)、10…制御系(車両位置の生成装置)、11…駆動制御装置、12…操舵制御装置、13…制動制御装置、14…操作検出装置、15…走行制御装置、16…検出制御装置、17…外通信装置、18…セントラルゲートウェイ装置、21…ステアリング、22…アクセルペダル、23…ブレーキペダル、24…シフトレバ、25…GNSS受信機、26…車外カメラ(撮像デバイス)、27…Lidar、28…加速度センサ、29…距離センサ、30…基地局、31…サーバ装置(車両位置の生成装置)、41…入出力デバイス、42…タイマ、43…メモリ、44…ECU、45…内部バス、46…高精度地図データ、51…通信デバイス、52…サーバタイマ、53…サーバメモリ、54…サーバCPU、55…サーババス、61…信号機、62…ゼブラゾーン、63…停止線、64…交通マーク、65…道路標識、66…看板、67…境界ポール、68…電柱、69…ビル、70…市街地の撮像画像、71…交差点の路面の像、72…ゼブラゾーンの像、73…信号機の像、74…電柱の像、80…郊外の撮像画像、81…長い路面の像、82…看板の像、83…境界ポールの像、84…電柱の像、92…同定した電柱、94…第一の自動車、95…第二の自動車、97…第三の自動車、98…第二電柱、99…第一電柱、101,103…過去位置の自動車、102…現在位置の自動車



Claims (10)

  1. 車両が走行する道路に沿って並べて立設されている複数の立設構造物の少なくとも位置の情報を含む地図データを記録するメモリと、
    車両の進行方向である前方を撮像する撮像デバイスと、
    前記メモリおよび前記撮像デバイスから情報を取得して処理する制御部と、
    を有し、
    前記メモリは、過去の撮像画像に基づいて生成された立設構造物の情報を記録可能であり、
    前記制御部は、
    前記撮像デバイスの撮像画像に含まれている立設構造物の情報に基づいて、前記車両の位置を生成するために、前記撮像デバイスの撮像画像に含まれている立設構造物の情報を生成し、生成した立設構造物の位置を前記地図データにおいて同定し、前記地図データにおいて同定する立設構造物の位置と前記撮像画像とに基づいて前記車両の位置を生成する、単一画像位置生成処理と、
    前記撮像デバイスの撮像画像に含まれている立設構造物の情報と、前記メモリに記録されている過去の立設構造物の情報とに基づいて、前記車両の位置を生成する複数画像位置生成処理と、
    の中から選択した処理により、前記車両の位置を生成する、
    車両位置の生成装置。
  2. 前記地図データには、複数の前記立設構造物の位置の情報として、少なくとも前記車両が走行する道路に沿って並べて立設されている複数の電柱の位置の情報が含まれ、
    前記制御部は、
    前記撮像デバイスの撮像画像に基づいて、前記撮像画像に含まれている電柱についての、前記車両から撮像した画角位置の情報、前記車両からの相対距離の情報、および、位置の情報、を生成し、
    生成されている複数の電柱の相対的な位置関係に基づいて、前記地図データにおける電柱を同定する、
    請求項1記載の、車両位置の生成装置。
  3. 前記メモリは、過去の前記撮像画像に基づいて生成された立設構造物の情報を記録可能であり、
    前記制御部は、
    前記撮像デバイスの撮像画像に含まれている立設構造物の情報と、前記メモリに記録されている過去の立設構造物の情報とに基づいて、前記車両の位置を生成可能である、
    請求項1または2記載の、車両位置の生成装置。
  4. 前記制御部は、前記単一画像位置生成処理において、
    前記地図データにおいて、前記撮像デバイスの撮像画像に含まれている立設構造物の位置を同定し、
    前記撮像デバイスの撮像画像における立設構造物の画角位置に基づいて、前記地図データにおける前記車両の位置を生成する、
    請求項1から3のいずれか一項記載の、車両位置の生成装置。
  5. 前記制御部は、前記単一画像位置生成処理において、
    同定した立設構造物についての、前記撮像デバイスの撮像画像における画角位置での向きを保持して、かつ、前記撮像画像から推定される距離となる位置を、前記車両の位置として生成する第一生成処理と、
    前記地図データにおいて同定した立設構造物の位置と、補正前の前記車両の仮の位置との間であって、かつ、前記撮像画像から推定される距離となる位置を、前記車両の位置として生成し、さらに、生成した位置において、同定した立設構造物についての、前記撮像デバイスの撮像画像における画角位置が得られる、前記車両の向きを生成する第二生成処理と、
    前記第一生成処理による位置と、前記第二生成処理による位置との間となる位置を、前記車両についての最終的な位置として生成する第三生成処理と、
    の中のいずれか一つの生成処理により、前記地図データにおける前記車両の位置を生成する、
    請求項1から4のいずれか一項記載の、車両位置の生成装置。
  6. 前記制御部は、前記複数画像位置生成処理において、
    前記車両についての、前記撮像デバイスが画像を撮像した時点での、前記メモリに記録されている過去の立設構造物からの距離を推定し、
    前記地図データにおいて、前記撮像デバイスの撮像画像に含まれている立設構造物の位置と、距離を推定した過去の立設構造物の位置とを同定し、
    位置を同定した複数の立設構造物の各々からの距離に基づいて、前記地図データにおける前記車両の位置を生成し、
    前記撮像デバイスの撮像画像における立設構造物の画角位置を用いて、前記地図データにおける前記車両の向きを生成する、
    請求項1から5のいずれか一項記載の、車両位置の生成装置。
  7. 前記制御部へ前記車両の位置の情報を提供する位置情報生成デバイス、を有し、
    前記制御部は、
    前記位置情報生成デバイスから位置情報が提供されないと判断してから所定時間が経過した場合に、または、前記位置情報生成デバイスから提供される位置情報の信頼性が高くないと判断してから所定時間が経過した場合に、前記撮像デバイスの撮像画像に基づく前記車両の位置を生成する、
    請求項1からのいずれか一項記載の、車両位置の生成装置。
  8. 前記制御部は、
    少なくとも、前記位置情報生成デバイスから提供される前記車両の位置またはそれに基づく位置についての、前記地図データにおける同定した立設構造物との相対位置関係が、前記撮像デバイスの撮像画像における、同定した立設構造物の画角位置と整合するようになるまで、
    前記撮像デバイスの撮像画像に基づく前記車両の位置を生成する、
    請求項記載の、車両位置の生成装置。
  9. 請求項1からのいずれか一項記載の車両位置の生成装置により生成される位置を用いて走行を制御可能な走行制御装置、を有する車両。
  10. 車両の走行を制御するための走行制御情報を生成する走行制御部と、
    前記走行制御部により生成される走行制御情報を、前記車両へ送信する送信デバイスと、を有し、
    前記走行制御部は、請求項1からのいずれか一項記載の車両位置の生成装置により生成される位置に前記車両が位置するものとして、前記走行制御情報を生成する、
    サーバ装置。
JP2022051648A 2022-03-28 2022-03-28 車両位置の生成装置、車両、および、サーバ装置 Active JP7828210B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022051648A JP7828210B2 (ja) 2022-03-28 2022-03-28 車両位置の生成装置、車両、および、サーバ装置
US18/179,758 US12472977B2 (en) 2022-03-28 2023-03-07 Vehicle position generation apparatus, vehicle, and server
DE102023106930.6A DE102023106930A1 (de) 2022-03-28 2023-03-20 Fahrzeugposition-erzeugungsvorrichtung, fahrzeug und server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022051648A JP7828210B2 (ja) 2022-03-28 2022-03-28 車両位置の生成装置、車両、および、サーバ装置

Publications (2)

Publication Number Publication Date
JP2023144592A JP2023144592A (ja) 2023-10-11
JP7828210B2 true JP7828210B2 (ja) 2026-03-11

Family

ID=87930619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022051648A Active JP7828210B2 (ja) 2022-03-28 2022-03-28 車両位置の生成装置、車両、および、サーバ装置

Country Status (3)

Country Link
US (1) US12472977B2 (ja)
JP (1) JP7828210B2 (ja)
DE (1) DE102023106930A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023187979A1 (ja) * 2022-03-29 2023-10-05 日立Astemo株式会社 演算処理装置、演算処理方法
JP2025038342A (ja) * 2023-09-06 2025-03-19 株式会社三共 遊技機
JP2025038344A (ja) * 2023-09-06 2025-03-19 株式会社三共 遊技機

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190316929A1 (en) 2018-04-17 2019-10-17 Faraday&Future Inc. System and method for vehicular localization relating to autonomous navigation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011013075A (ja) * 2009-07-01 2011-01-20 Toyota Infotechnology Center Co Ltd 車両位置推定システム
JP6454726B2 (ja) 2014-12-08 2019-01-16 日立オートモティブシステムズ株式会社 自車位置推定装置
JP6488913B2 (ja) * 2015-06-26 2019-03-27 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
JP2018031616A (ja) * 2016-08-23 2018-03-01 住友電気工業株式会社 位置検出システム、車載装置、中央装置および位置検出プログラム
US11592833B2 (en) * 2018-05-04 2023-02-28 Direct Current Capital LLC Method for updating a localization map for a fleet of autonomous vehicles
JP7136035B2 (ja) * 2018-08-31 2022-09-13 株式会社デンソー 地図生成装置及び地図生成方法
JP7167876B2 (ja) 2018-08-31 2022-11-09 株式会社デンソー 地図生成システム、サーバ、方法
US11828617B2 (en) * 2019-07-16 2023-11-28 Ulc Technologies, Llc System and method for asset identification and mapping
US12007784B2 (en) * 2020-03-26 2024-06-11 Here Global B.V. Method and apparatus for self localization
US11465652B2 (en) * 2020-06-11 2022-10-11 Woven Planet North America, Inc. Systems and methods for disengagement prediction and triage assistant

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190316929A1 (en) 2018-04-17 2019-10-17 Faraday&Future Inc. System and method for vehicular localization relating to autonomous navigation

Also Published As

Publication number Publication date
US12472977B2 (en) 2025-11-18
US20230303116A1 (en) 2023-09-28
DE102023106930A1 (de) 2023-09-28
JP2023144592A (ja) 2023-10-11

Similar Documents

Publication Publication Date Title
JP7828210B2 (ja) 車両位置の生成装置、車両、および、サーバ装置
RU2737874C1 (ru) Способ хранения информации транспортного средства, способ управления движением транспортного средства и устройство хранения информации транспортного средства
EP3770549B1 (en) Information processing device, movement device, method, and program
KR102425735B1 (ko) 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템
KR101901024B1 (ko) 지도 갱신 판정 시스템
RU2654502C2 (ru) Система и способ дистанционного наблюдения за транспортными средствами
US10620317B1 (en) Lidar-based high definition map generation
CN114729813A (zh) 用于车辆导航的系统和方法
CN112400193B (zh) 行驶环境信息的生成方法、驾驶控制方法、行驶环境信息生成装置
KR20210025523A (ko) 정보 처리 장치 및 정보 처리 방법, 컴퓨터 프로그램, 그리고 이동체 장치
JP6558282B2 (ja) 自動運転システム
JP7316386B2 (ja) 電子制御装置および車両制御システム
CN117859041A (zh) 用于在泊车空间中支持车辆功能的方法和辅助装置和机动车
CN114111811A (zh) 一种自动驾驶公交客车的导航控制系统和方法
JP2022014729A (ja) 悪環境判定装置、悪環境判定方法
JP6524956B2 (ja) 運転支援装置及びセンタ
JP7352331B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
Mei et al. Development of ‘Intelligent Pioneer’unmanned vehicle
US12461231B2 (en) Thermal sensor data vehicle perception
JP2021113047A (ja) 移動体制御装置、移動体制御方法、および、移動体制御装置用プログラム
CN106840177A (zh) 汽车同步建图与障碍识别方法
US12449272B2 (en) Map generation apparatus
JP2025011917A (ja) 自動駐車制御装置
US20240418531A1 (en) Map generation apparatus
US20230182769A1 (en) Drive assist apparatus

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250207

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20250207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20251016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20260113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260227

R150 Certificate of patent or registration of utility model

Ref document number: 7828210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150