JP7267250B2 - Arナビゲーション方法及び装置 - Google Patents

Arナビゲーション方法及び装置 Download PDF

Info

Publication number
JP7267250B2
JP7267250B2 JP2020199494A JP2020199494A JP7267250B2 JP 7267250 B2 JP7267250 B2 JP 7267250B2 JP 2020199494 A JP2020199494 A JP 2020199494A JP 2020199494 A JP2020199494 A JP 2020199494A JP 7267250 B2 JP7267250 B2 JP 7267250B2
Authority
JP
Japan
Prior art keywords
vehicle
point
actual position
information
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020199494A
Other languages
English (en)
Other versions
JP2021089282A (ja
Inventor
インホイ リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021089282A publication Critical patent/JP2021089282A/ja
Application granted granted Critical
Publication of JP7267250B2 publication Critical patent/JP7267250B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Description

本願は、スマート交通技術分野に関し、特に、ARナビゲーション方法及び装置に関する。
AR(Augmented Reality、拡張現実)ナビゲーションは、実写ナビゲーションとも呼ばれ、AR技術を地図情報と組み合わせてナビゲーションを実現する形態である。ナビゲーション機器は、スクリーンを通してナビゲーション経路上の実際の道路情報を表示することができ、これによって、より鮮明で直感的で安全なナビゲーションサービスを人々に提供することができる。
そのうち、仮想ナビゲーション案内と実際の道路シーンを融合する場合、ターン地点で車両ターン案内経路を生成し、それを実際の道路シーンに融合する必要がある。従来技術では、ナビゲーション経路に基づいてターン案内経路を生成することができる。具体的には、車両のナビゲーションシステムからナビゲーション経路上の複数の形状点を取得し、これらの形状点を使用して車両ターン案内経路をフィッティングさせることができる。
しかしながら、従来技術の方法を利用することにより、ナビゲーション経路のみに基づいて確定されたターン案内経路は、車両の実際走行軌跡とはかなり異なり、ユーザ体験に影響を与える。
本願の実施例は、ARナビゲーション方法および装置を提供し、確定されたターン案内軌跡が車両の実際走行軌跡により近くなることを保証でき、それにより、ユーザ体験を改善する。
本願の実施例の第1の態様は、ARナビゲーション方法を提供し、前記方法は、車両に取り付けられたカメラの較正パラメータを取得することと、前記車両がナビゲーション経路で通過しようとする操作点の情報および前記車両の実際位置点の情報を取得し、前記車両が前記操作点でターンし、前記操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、前記車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含むことと、前記車両がターン状態に入るという信号を受信したことに応答して、前記車両の現在実際位置点の情報および前記操作点の情報に従って、前記車両の第1のターン案内軌跡を確定することと、前記カメラの較正パラメータに従って前記第1のターン案内軌跡を変換し、前記カメラの座標系で前記第1のターン案内軌跡に対応する第2のターン案内軌跡を取得することと、を含む。
本願の実施例の第2の態様は、ARナビゲーション装置を提供し、前記装置は、
車両に取り付けられたカメラの較正パラメータを取得するためのカメラ較正モジュールと、
前記車両がナビゲーション経路で通過しようとする操作点の情報および前記車両の実際位置点の情報を取得するためのナビゲーションモジュールであって、前記車両が前記操作点でターンし、前記操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、前記車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含むナビゲーションモジュールと、
前記車両がターン状態に入るという信号を受信したことに応答して、前記車両の現在実際位置点の情報および前記操作点の情報に従って、前記車両の第1のターン案内軌跡を確定するための経路確定モジュールと、
前記カメラの較正パラメータに従って前記第1のターン案内軌跡を変換し、前記カメラの座標系で前記第1のターン案内軌跡に対応する第2のターン案内軌跡を取得するためのAR表示モジュールと、を含む。
本願の実施例の第3の態様は、電子機器を提供し、前記電子機器は、少なくとも1つのプロセッサ、および前記少なくとも1つのプロセッサと通信接続されるメモリを含み、そのうち、前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサによって実行されることによって、前記少なくとも1つのプロセッサが、本願の実施例の第1の態様に記載の方法を実行することができる。
コンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、本願の実施例の第1の態様に記載の方法を前記コンピュータに実行させるために使用される。
上記出願の1つの実施例は、以下の利点または有益な効果がある。車両がナビゲーション経路で通過しようとする操作点の情報および車両の実際位置点の情報を取得し、操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含む。車両が既にターン状態に入ったとき、車両の実際位置点、ターン時に通過した操作点、車両の実際走行方向、およびナビゲーション方向に応じて、車両のターン案内軌跡を共同で確定し、それにより、確定されたターン案内軌跡が車両の実際走行軌跡により近くなることを保証でき、運転者がターン案内軌跡に従って正確にターンすることができ、ユーザ体験を改善する。
上記の選択可能な形態の他の効果を、具体的な実施例と併せて以下に説明する。
添付の図面は、本案をよりよく理解するために使用されており、本願を限定するものではない。
本願の実施例によって提供される方法の1つの応用シーンアーキテクチャの概略図である。 本願の第1の実施例によって提供されるARナビゲーション方法のフローの概略図である。 ターン案内軌跡の1つの確定の概略図である。 ARナビゲーション表示インターフェースの概略図である。 本願の第2の実施例によって提供されるARナビゲーション方法のフローの概略図である。 本願の第3の実施例によって提供されるARナビゲーション装置の概略構造図である。 本願の実施例のARナビゲーション方法を実施するために使用される電子機器のブロック図である。
以下、添付図面を参照して本願の例示的な実施例を説明するが、本願の実施例の様々な詳細が理解を容易にするために含まれており、単なる例示的なものと考えられるべきである。したがって、当業者は、本願の範囲および精神から逸脱することなく、本明細書に記載された実施例に様々な変更および修正を加えることができることを理解するはずである。同様に、明確かつ簡潔にするために、以下の説明では、よく知られている機能および構造の説明は省略されている。
本願は、ARナビゲーション方法を提供し、例示的に、図1に示されるように、図1は、本願の実施例によって提供される方法の1つの応用シーンアーキテクチャの概略図である。
当該応用シーンアーキテクチャの例示的な環境100には、道路120、道路120上を走行する車両110、GPS(Global Positioning System、全球測位システム)サーバ130、およびナビゲーションサーバ140を含むいくつかの典型的な物体が概略的に示されている。
車両110は、人および/または物を運び、エンジンなどの動力システムを使って移動することができる、車両、トラック、バス、電気自動車、オートバイ、キャンピングカー、列車などを含む任意のタイプの車両であってもよいが、これらに限定されない。環境100内の1つまたは複数の車両110は、ある程度の自動運転能力を備えた車両であってもよく、そのような車両は無人運転車両とも呼ばれる。もちろん、環境100内の別の1つまたはいくつかの車両110は、自動運転機能を持たない車両であってもよい。
具体的には、車両110におけるナビゲーション端末は、GPSサーバ130およびナビゲーションサーバ140と接続して通信され、ナビゲーション端末は、GPSサーバ130およびナビゲーションサーバ140と無線通信により通信することができる。
当該ナビゲーション端末は、車両であってもよく、車両の走行を支援するために車両に搭載された車載通信装置または車載端末、または車載通信装置または車載端末内のチップであってもよい。当該車載端末は、移動式であってもよいし、固定式であってもよい。
当該ナビゲーション端末は、1つまたは複数の部品またはユニットとして車両に内蔵された車載モジュール、車載モジュールグループ、車載部品、車載チップまたは車載ユニットであってもよく、車両は、内蔵された車載モジュール、車載モジュールグループ、車載部品、車載チップまたは車載ユニットを介して、本願の実施例の方法を実行する。
当該ナビゲーション端末は、携帯電話、タブレットコンピュータなどの外部端末であってもよく、当該外部端末が、車両に内蔵された車載端末と組み合わせて、ナビゲーションなどの機能を実現することができる。
GPSサーバ130は、GPSデータをナビゲーション端末に提供するために使用され、ナビゲーション端末は、GPSデータに基づいて自身の地理的位置を測位し、ナビゲーションする。
ナビゲーションサーバ140が、ナビゲーション端末のためのナビゲーション経路を計画するために使用され、ユーザがナビゲーションの需要を有する場合、ユーザがナビゲーション端末を介して出発地および目的地を入力し、ナビゲーション端末がナビゲーションサーバ140に経路計画要求を送信し、経路計画要求には出発地および目的地が含まれる。ナビゲーションサーバ140は、経路計画要求に含まれる出発地および目的地に従ってユーザのための1つまたは複数の道路経路を計画し、計画されたナビゲーション経路をナビゲーション端末に送信する。ナビゲーション端末は、ナビゲーション経路を受信した後、表示装置を介して電子地図にナビゲーション経路を表示する。
理解すべきものとして、これらの示されている施設や物体は単なる例であり、実際の状況によっては、異なる交通環境に存在する出現可能な物体が変化する。本願の実施例の範囲は、この態様で限定されない。
したがって、車両110が無人運転車両である場合、当該応用シーンアーキテクチャには制御サーバ(図示せず)がさらに含まれ、車両110が交通活動に参加する間、制御サーバは、予め設定された周期または一時触発の方式に従って制御に必要な当該車両情報を取得し、当該車両情報が、車両ユーザ(ユーザ標識など)、運転モード(自動運転/半自動運転/手動運転など)、使用モード(個人使用/レンタル、専用/共有など)、通行権レベル(緊急車両/公共車両/一般車両など)、運行状態(位置、方向、速度、加速度、角速度など)、操作状態(ライトの設定、運転者の操作など)、部品状態(制御部品、センサー部品、表示部品など)、外部感知(他の交通参加者の情報、交通環境の情報など)などを含む。これらの情報は、それぞれ車両パラメータ標識で表され、車両110によって制御サーバに能動的に通知され、または制御サーバが車両12へ要求を送信した後、車両110が応答して制御サーバにフィードバックし、車両110の臨時標識と関連付けて記憶される。
本願の実施例によって提供されるARナビゲーション方法は、ARナビゲーション機能を備えたナビゲーション端末によって実行されることができ、従来技術とは異なり、本願の実施例によって提供されるARナビゲーション方法では、車両のターン過程中、ナビゲーション端末は、車両の実際位置点、ターン時に通過した操作点、車両の実際走行方向、およびナビゲーション方向に応じて、車両のターン案内軌跡を共同で確定し、それにより、確定されたターン案内軌跡が車両の実際走行軌跡により近くなることを保証できる。
図2に示すように、図2は、本願の第1の実施例によって提供されるARナビゲーション方法のフローの概略図である。当該方法は具体的に、以下のステップを含んでもよい。
S101において、車両に取り付けられたカメラの較正パラメータを取得する。
ARナビゲーションにおいて、ナビゲーション端末の表示装置に表示されたナビゲーション経路は、道路実写画像であり、当該実写画像が車両に取り付けられたカメラでリアルタイムに撮影されることによって得られ、当該道路実写画像が車両の現在位置している環境道路の画像である。道路実写画像は、道路での交通信号、歩行者、道路の両側の建物、植物などを含む。
当該カメラの数が1つでも複数でもよく、当該カメラが車両の固定位置に取り付けられてもよく、移動可能なものであってもよい。例えば、カメラが車両の頭部の両側に取り付けられてもよい。カメラは、ビデオレコーダー、カメラなどの撮影機能を有する他のものによって代替されてもよい。
画像測定過程および視覚応用において、カメラによって撮影された画像を使用して、3次元空間での物体を還元し、カメラによって撮影された画像と3次元空間での物体の位置の間に線形対応関係、即ち、[画像]=M(物体)、があると仮定すると、対応関係Mを解く過程がデジカメの較正であり、Mがカメラの較正パラメータである。
デジカメの較正の目的は、カメラまたはデジカメの内部、外部パラメータおよび歪みパラメータを求めることである。これに応じて、カメラの較正パラメータは、カメラの内部パラメータ、外部パラメータおよび歪みパラメータを含む。
選択的に、カメラの外部パラメータは、カメラの3つの姿勢角、つまりピッチ角、ヨーターン角、ホイール角、およびカメラの地面からの高さなどを含む。
カメラの内部パラメータは、焦点距離、レンズ中心位置などを含んでもよい。
従来のデジカメの較正方法、能動的な視覚デジカメの較正方法またはデジカメの自動較正方法などの既存の較正方法を使用して、デジカメを較正してもよく、本願の実施例は、デジカメの較正方法を限定しない。
デジカメ較正過程は、カメラの較正パラメータを取得するために、ナビゲーションがオンされた後に実行されてもよいし、ナビゲーションが開始される前にすでに較正してナビゲーション端末に記憶されてもよい。このとき、ナビゲーション端末は、カメラの較正パラメータを読み取るだけで済む。
S102において、車両がナビゲーション経路で通過しようとする操作点の情報および車両の実際位置点の情報を取得し、車両が操作点でターンする。
操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含む。
ユーザがナビゲーション機能をオンにした後、ナビゲーション端末は、GPSサーバからGPSデータを受信し、GPSデータに基づいて車両の実際位置点の座標を取得し、実際位置点での車両の実際走行方向が車両でのセンサーによって測定されてもよい。
ユーザがナビゲーション機能をオンにした後、ユーザがナビゲーションの目的地を入力すると、出発地が、特定されてもよいし、ユーザによって入力されてもよいし、ナビゲーション端末は、出発地および目的地に基づいて経路計画要求を生成し、経路計画要求をナビゲーションサーバに送信し、ナビゲーションサーバから返されたナビゲーション経路データを受信する。
ナビゲーション経路データは、ナビゲーション経路上の一連の形状点の情報および操作点の情報を含む。形状点が、経路の形状を反映するナビゲーション経路上の点であり、操作点が、交差点、転換点、高速の出入り口および幹線道路と補助道路の切り替え点などを含み、交差点が、十字路およびT字路を含む。ナビゲーション経路は、形状点と操作点から順に構成される。
形状点の情報が、形状点の座標を含み、操作点の情報が、操作点の座標、操作点の種類、操作点で車両のナビゲーション方向および道路の名称などを含む。操作点の種類が、十字路、T字路、高速の出入り口および幹線道路と補助道路の切り替え点などであってもよい。
ナビゲーション過程では、ナビゲーション端末は、車両の実際位置点およびナビゲーション経路に基づいて車両が通過しようとする次の操作点を確定し、次の操作点の情報および操作点でのナビゲーション方向に基づいて車両が操作点でターン操作を行うかどうかを確定する。車両が操作点でターン操作を行う場合、本実施例の以下のステップを実行し、車両が操作点でターン操作を行わない場合、通常の運転操作を行い、ナビゲーション端末が道路実体画像を正常に表示する。
S103において、車両がターン状態に入るという信号を受信したことに応答して、車両の現在実際位置点の情報および操作点の情報に基づいて、車両の第1のターン案内軌跡を確定する。
本実施例では、ナビゲーション端末によって車両がターン状態に入っているかどうかを検出する。1つの例示的な形態では、ユーザが車両のターン状態に入る命令を入力し、ナビゲーション端末は、ユーザから入力された命令を検出した後、当該命令に従って車両がターン状態に入ったと確定する。例えば、ユーザが音声形態で「車両がターンに入る」または「ターンする」を入力でき、ナビゲーション端末は、音声入力を検出した後、音声認識を行い、音声認識結果に基づいて車両がターン状態に入ることを確定する。
もう1つの例示的な形態では、ナビゲーション端末は、車両の走行パラメータの変化に応じて車両がターン状態に入っているかどうかを確定する。例えば、車両の実際走行方向、ナビゲーション方向、実際位置点および実際位置点に対応する測位点の変化状況に応じて、車両がターン状態に入っているかどうかを確定し、車両がターン状態に入ったと確定するとき、車両がターン状態に入る信号を生成する。
本願の実施例における測位点は、ナビゲーション経路での車両の実際位置点に対応する表示点、即ち、車両の実際位置点が電子地図上に表示されるマッピング点を指す。
操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含み、ナビゲーション端末が、車両実際位置点の座標、車両の実際走行方向、操作点の座標およびナビゲーション方向に基づいて車両の第1のターン案内軌跡を確定する。
例示的に、図3に示す形態を参照して第1のターン案内軌跡を確定し、現在実際位置点Pを端点として、P点で車両の実際走行方向に沿って直線を作り、直線と線分BCがD点に交差し、線分BCが、操作点Bおよびナビゲーション経路で操作点Bの後にある形状点Cにより形成される線分であり、図3の形状点Aが、ナビゲーション経路で操作点Bの前にある形状点である。PDCの角度二等分線を作り、Pを過ぎてPDの垂直線を作り、PDの垂直線とPDCの角度二等分線がO点に交差し、Oを中心とし、OPを半径として円弧PEを作り、当該円弧PEと線分BCがE点に接し、曲線フィッティング法によるフィッティングによってC点とE点との間の曲線ECを取得し、円弧PEと曲線ECを接続して第1のターン案内軌跡PECを形成する。
選択的に、ベジェ曲線フィッティング法のフィッティングによって曲線ECを取得することができる。第1のターン案内軌跡PECは、円弧、放物線、双曲線などの形態であってもよく、本実施例ではこれを限定しない。
S104において、カメラの較正パラメータに従って第1のターン案内軌跡を変換し、カメラの座標系で第1のターン案内軌跡に対応する第2のターン案内軌跡を取得する。
画像処理には、デジカメ座標系(即ち、カメラの座標系)と世界座標系(world coordinate)の2つの座標系が含まれる。世界座標系は、測定座標系とも呼ばれ、3次元の直交座標系であり、それに基づいてデジカメと測定対象物体の空間位置を説明することができる。世界座標系の位置は、実際の状況に応じて自由に確定されることができる。デジカメ座標系も3次元の直交座標系であり、原点がレンズの中心位置にあり、x、y軸がそれぞれ相平面の両辺と平行であり、z軸が相平面と垂直であるレンズ光軸である。世界座標系と3次元座標系は相互に変換されることができる。
そのうち、第1のターン案内軌跡が世界座標系での移動軌跡であり、ナビゲーション端末の表示装置に最終的に表示される道路実写画像でのターン案内軌跡がカメラ座標系での移動軌跡であり、したがって、第1のターン案内軌跡が世界座標系からカメラの座標系に変換され、第2のターン案内軌跡が得られる必要がある。具体的な変換形態は、既存の技術を参照しているため、ここでは繰り返して説明しない。
S105において、第2のターン案内軌跡をカメラによって撮影した道路実写画像に重ね合わせて表示する。
当該第2のターン案内軌跡は、車両のターン方向およびターン半径を特徴づけるために使用される。ステップS105が選択的なステップであり、例えば、自動運転車両では、当該第2のターン案内軌跡を表示せず、車両が当該第2のターン案内軌跡に従って車両をターンさせるように制御する。
上記形態によって得られたターン案内軌跡が車両の現在の実際走行軌跡に符合し、異なる操作点に対してターン案内軌跡を適応的に調整することができる。ユーザが当該ターン案内軌跡に従ってターンするとき、正確なターンをすることができ、ユーザ体験を改善する。
ARナビゲーションでは、ナビゲーション端末の表示装置に表示される画面が道路実写画像であり、当該道路実写画像が車両でのカメラによってリアルタイムに撮影され、ナビゲーション機器がカメラによって撮影された道路実写画像をARデータと重ね合わせるか融合する必要があり、当該ARデータが第2のターン案内軌跡を含み、当該ARデータが、車両の現在位置の道路の名称、目的地までの残り距離、および目的地までの残り時間などをさらに含む。
図4がARナビゲーション表示インターフェースの概略図であり、図4に示されるように、ターン案内軌跡が道路実写画像に重ね合わせて表示され、当該ターン案内軌跡が車両のターン方向を特徴づけるだけでなく、車両のターン半径を表示することができる。運転者が当該ターン案内軌跡に沿ってターンする場合、正確なターンをすることができ、ユーザ体験を改善する。従来技術におけるターン案内軌跡が車両のターン半径ではなくターン方向のみを特徴づけるでき、運転者が当該ターン案内軌跡に沿ってターンする場合、ターンが大きすぎたり小さすぎたりして、ターン失敗を引き起こし、または他の車両の正常走行に影響を与える。
図4に示すARナビゲーション表示インターフェースでは、車両の現在の状態が道路実写画像に重ね合わせて表示され、図4の左上の矢印が現在ターン状態にあることを表し、表示インターフェースの左上には、車両の現在位置の道路の名称、目的地までの残り距離3.1km、および目的地までの残り時間8分がさらに表示される。表示インターフェースの右下には、ナビゲーション経路および車両の測位点を表示するために、円形の地図サムネイルが表示される。
本実施例では、車両に取り付けられたカメラの較正パラメータを取得し、車両がナビゲーション経路で通過しようとする操作点の情報および車両の実際位置点の情報を取得し、車両が操作点でターンする。車両が既にターン状態に入ったとき、車両の現在実際位置点の情報および操作点の情報に基づいて、車両の第1のターン案内軌跡を確定し、カメラの較正パラメータに従って第1のターン案内軌跡を変換し、カメラの座標系で第1のターン案内軌跡に対応する第2のターン案内軌跡を取得し、第2のターン案内軌跡をカメラによって撮影した道路実写画像に重ね合わせて表示し、第2のターン案内軌跡が、車両のターン方向およびターン半径を特徴づけるために使用される。車両の実際位置点、ターン時に通過した操作点、車両の実際走行方向、およびナビゲーション方向に応じて、車両のターン案内軌跡を共同で確定し、それにより、確定されたターン案内軌跡が車両の実際走行軌跡により近くなることを保証でき、運転者がターン案内軌跡に従って正確にターンすることができ、ユーザ体験を改善する。
第1の実施例に基づいて、図5は、本願の第2の実施例によって提供されるARナビゲーション方法のフローの概略図である。図5に示すように、当該方法は、具体的に以下のステップを含んでもよい。
S201において、車両に取り付けられたカメラの較正パラメータを取得する。
S202において、車両がナビゲーション経路で通過しようとする操作点の情報および車両の実際位置点の情報を取得し、車両が操作点でターンする。
ステップS201およびS202の具体的な実施形態については、第1の実施例におけるステップS101およびS102の関連する説明を参照し、ここでは繰り返して説明しない。
S203において、操作点の座標と車両の実際位置点の座標に基づいて、車両が操作点でターン状態に入ろうとすることを確定する。
例示的に、操作点の座標と車両の実際位置点の座標に基づいて、車両と操作点の間の実際距離を確定する。車両と操作点の間の実際距離が予め設定された距離閾値よりも小さいかどうかを判別し、車両と操作点の間の実際距離が予め設定された距離閾値よりも小さい場合、車両がターン状態に入ろうとすることを確定し、車両と操作点の間の実際距離が予め設定された距離閾値以上である場合、車両がターン状態に入らない。
当該距離閾値は、60メートル、70メートル、80メートルなどであってもよく、本実施例では限定されない。距離閾値が80メートルの場合を例にとると、ナビゲーション端末は、当該操作点の前の操作点を通過した後、車両と操作点の間の実際距離が80メートル未満であるかどうかの判断を開始し、車両と操作点の間の実際距離が80メートル未満である場合、車両がターン状態に入ろうとすることを確定する。理解すべきものとして、車両がターン状態に入ろうとすることは、車両がすぐにターン状態になるか、短時間でターン状態になることを意味する。
S204において、車両の現在実際位置点の情報、現在実際位置点に対応する現在測位点の情報、現在測位点の前の連続する複数の過去の測位点の情報および過去の測位点に対応する実際位置点の情報に基づいて、車両が既にターン状態に入ったことを確定する。
測位点が、ナビゲーション経路での車両の実際位置点に対応する点であり、車両の各実際の位置点がナビゲーション経路で唯一の測位点に対応し、測位点の情報が測位点の座標と測位点で車両のナビゲーション方向を含む。実際位置点の情報が、実際位置点の座標、および実際位置点での車両の実際走行方向を含む。そのうち、実際位置点での車両の座標と当該実際位置点に対応する測位点の座標とは異なり、実際位置点での車両の実際走行方向が、当該実際位置点に対応する測位点での車両のナビゲーション方向とは異なる。
例示的に、連続する複数の過去の測位点の座標および過去の測位点に対応する実際位置点の座標に基づいて、各過去の測位点と対応する実際位置点の間の距離を確定する。そして、現在実際位置点での車両の実際走行方向と現在実際位置点に対応する測位点での車両のナビゲーション方向との間の角度を確定し、各過去の測位点と対応する実際位置点の間の距離が連続的に増加する場合、そして当該角度が予め設定された角度より大きい場合、車両が既にターン状態に入ったと確定する。
車両が直線走行するとき、測位点と実際位置点の間の距離が固定になったり、わずかな範囲で変動したりすることがあり、測位点と実際位置点の間の距離が、増加、減少または一定のままである可能性があるが、増加または減少の時間も非常に短いである。しかしながら、車両がターンを開始した後、測位点と実際位置点の間の距離が連続的に増加するため、当該特性により車両がターン状態に入ったか否かを判断することができる。
また、車両が直線走行するとき、車両のナビゲーション方向と実際走行方向との間の角度が通常小さいかゼロであり、しかしながら、ターン過程では、車両のナビゲーション方向の変化が小さいであるが、車両の実際走行方向の変化が大きいため、両者の間に形成される角度が大きくなる。したがって、車両の実際走行方向とナビゲーション方向との間の角度の大きさによって、車両がターン状態に入ったか否かを判断することができる。当該角度が予め設定された角度より大きい場合、車両が既にターン状態に入ったと確定され、当該予め設定された角度が、例えば、10度、8度、9度、11度などであってもよい。
本実施例では、まず、車両がターン状態に入ろうとすることを確定し、車両がターン状態に入ろうとすることを確定する上で、さらに車両が既にターン状態に入ったか否かを確定することにより、車両がターン状態に入った直後にターン案内軌跡を即座に確定できるため、確定されたターン案内経路が迅速かつ正確になることが保証されることができる。車両の現在実際位置点の情報と操作点の情報に基づいてターン案内経路を確定するのが早すぎる(車両がターン状態に入る前)場合、現在実際位置点の情報が不正確になるため、確定されたターン案内経路は、車両の実際の走行経路から大きく逸脱することをもたらす。車両の現在実際位置点の情報と操作点の情報に基づいてターン案内経路を確定するのが遅すぎる(つまり、車両がしばらくターン状態に入る)場合、この時点では、車両がすでにターンを開始しているため、確定されたターン案内経路が遅延された後、ユーザをうまくターンするように案内することができない。
さらに、本実施例では、車両の実際状態、即ち車両の実際位置および実際走行方向に応じて車両がターン状態に入ったか否かを確定し、最終確定された状態が正確であることを保証することができる。
S205において、車両がターン状態に入るという信号を受信したことに応答して、車両の現在実際位置点の情報および操作点の情報に基づいて、車両の第1のターン案内軌跡を確定する。
ステップS205の具体的な実施形態については、第1の実施例のステップS103に関する説明を参照して、ここでは繰り返して説明しない。
S206において、第1のターン案内軌跡をサンプリングし、複数のサンプリング点を取得する。
S207において、カメラの較正パラメータに基づいて複数のサンプリング点の座標値をカメラの座標系での座標値に変換する。
S208において、カメラの座標系での複数のサンプリング点の座標値に基づいて第2のターン案内軌跡を描画する。
本実施例では、ステップS206~S208により、第1のターン案内軌跡が世界座標系からカメラの座標系に変換されることを完成する。そのうち、適切な数のサンプリング点を選択することで、座標変換過程での計算量を削減し、変換時間を節約でき、変換後の第2のターン案内が逸脱しないように保証することができる。
S209において、第2のターン案内軌跡をカメラによって撮影した道路実写画像に重ね合わせて表示する。
第2のターン案内軌跡は車両のターン方向およびターン半径を特徴づけることに用いられる。
本実施例では、操作点の座標と車両の実際位置点の座標に基づいて、車両が操作点でターン状態に入ろうとすることを確定し、車両の現在実際位置点の情報、現在実際位置点に対応する現在測位点の情報、現在測位点の前の連続する複数の過去の測位点の情報および過去の測位点に対応する実際位置点の情報に基づいて、車両が既にターン状態に入ったことを確定し、測位点が、ナビゲーション経路での車両の実際位置点に対応する点である。車両の実際状態、即ち車両の実際位置と実際走行方向に基づいて、車両がターン状態に入ったか否かを確定し、最終確定されたターン状態が正確であることを保証でき、ターン状態に入った直後に車両のターン案内軌跡を即座に確定できることにより、ターン案内軌跡を車両の現在の走行方向に合わせることができ、ユーザ体験を改善する。
図6が本願の第3の実施例によって提供されるARナビゲーション装置の構成の概略図であり、図6に示すように、本実施例のARナビゲーション装置600は、
車両に取り付けられたカメラの較正パラメータを取得するためのカメラ較正モジュール601と、
前記車両がナビゲーション経路で通過しようとする操作点の情報および前記車両の実際位置点の情報を取得するためのナビゲーションモジュール602であって、前記車両が前記操作点でターンし、前記操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、前記車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含むナビゲーションモジュール602と、
前記車両がターン状態に入るという信号を受信したことに応答して、前記車両の現在実際位置点の情報および前記操作点の情報に従って、前記車両の第1のターン案内軌跡を確定するための経路確定モジュール603と、
前記カメラの較正パラメータに従って前記第1のターン案内軌跡を変換し、前記カメラの座標系での前記第1のターン案内軌跡に対応する第2のターン案内軌跡を取得するためのAR表示モジュール604と、を含む。
1つの可能な実施形態では、前記AR表示モジュール604はさらに、前記カメラによって撮影された道路実写画像に前記第2のターン案内軌跡を重ね合わせて表示するために使用される。
1つの可能な実施形態では、前記経路確定モジュール603は具体的に、
前記現在実際位置点Pを端点として、前記点Pでの前記車両の実際走行方向に沿って直線を作り、前記直線と線分BCがD点で交差し、前記線分BCが、前記操作点Bおよび前記ナビゲーション経路での前記操作点Bの後にある形状点Cにより形成される線分であり、
PDCの角度二等分線を作り、Pを過ぎてPDの垂直線を作り、PDの垂直線とPDCの角度二等分線がO点に交差し、Oを中心とし、OPを半径として円弧を作り、前記円弧が線分BCとE点に接し、
曲線フィッティング法を使用してC点とE点の間の曲線を取得し、
前記円弧と前記曲線を接続して前記第1のターン案内軌跡を形成するために使用される。
1つの可能な実施形態では、前記AR表示モジュール604は具体的に、
前記第1のターン案内軌跡をサンプリングし、複数のサンプリング点を取得し、
前記カメラの較正パラメータに基づいて、前記複数のサンプリング点の座標値を前記カメラの座標系での座標値に変換し、
前記カメラの座標系での前記複数のサンプリング点の座標値に基づいて、前記第2のターン案内軌跡を描画するために使用される。
1つの可能な実施形態では、前記経路確定モジュール603はさらに、
前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両が前記操作点でターン状態に入ろうとすることを確定し、
前記車両の現在実際位置点の情報、前記現在実際位置点に対応する現在測位点の情報、前記現在測位点の前の連続する複数の過去の測位点の情報および前記過去の測位点に対応する実際位置点の情報に基づいて、前記車両が既にターン状態に入ったことを確定するために使用され、前記測位点が、ナビゲーション経路での前記車両の実際位置点に対応する点である。
1つの可能な実施形態では、前記経路確定モジュール603が、前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両が前記操作点でターン状態に入ろうとすることを確定することは、
前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両と前記操作点の間の実際距離を確定することと、
前記車両と前記操作点の間の実際距離が予め設定された距離閾値よりも小さい場合、前記車両がターン状態に入ろうとすることを確定することと、を含む。
1つの可能な実施形態では、前記経路確定モジュール603は、前記車両の現在実際位置点の情報、前記現在実際位置点に対応する現在測位点の情報、前記現在測位点の前の連続する複数の過去の測位点の情報および前記過去の測位点に対応する実際位置点の情報に基づいて、前記車両が既にターン状態に入ったことを確定することは、
前記連続する複数の過去の測位点の座標および前記過去の測位点に対応する実際位置点の座標に基づいて、各過去の測位点と対応する実際位置点との間の距離を確定することと、
現在実際位置点での前記車両の実際走行方向と前記現在実際位置点に対応する現在測位点での前記車両のナビゲーション方向との間の角度を確定することと、
前記各過去の測位点と対応する実際位置点との間の距離が連続的に増加し、且つ前記角度が予め設定された角度より大きい場合、前記車両が既にターン状態に入ったと確定することとを含む。
本実施例によって提供されるARナビゲーション装置は、車両がナビゲーション経路で通過しようとする操作点の情報および車両の実際位置点の情報を取得し、操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含む。車両がターン状態に入るという信号を受信したことに応答して、車両の実際位置点、ターン時に通過した操作点、車両の実際走行方向、およびナビゲーション方向に応じて、車両のターン案内軌跡を共同で確定し、それにより、確定されたターン案内軌跡が車両の実際走行軌跡により近くなることを保証でき、運転者がターン案内軌跡に従って正確にターンすることができ、ユーザ体験を改善する。
本願の実施例によれば、本願はさらに、電子機器および読み取り可能な記憶媒体を提供する。
図7に示すように、本願の実施例によるARナビゲーション方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータなど、さまざまな形式のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタル処理、セルラー電話、スマートフォン、ウェアラブル機器および他の類似のコンピューティング装置など、さまざまな形式のモバイル装置を表してもよい。本明細書に示す部品、それらの接続および関係、およびそれらの機能は、単なる例であり、本明細書で記載および/または要求される本願の実施を制限することを意図しない。
図7に示すように、当該電子機器は、1つまたは複数のプロセッサ701、メモリ702、および高速インターフェースおよび低速インターフェースを含む様々な部品を接続するためのインターフェースを含む。様々な部品は、異なるバスを使用して相互に接続され、共通のマザーボードに取り付けられてもよいし、又は必要に応じて他の形態でインストールされてもよい。プロセッサは、電子機器で実行された命令を処理することができ、前記命令は、GUIのグラフィック情報を外部入力/出力装置(例えばインターフェースに結合された表示機器など)に表示するようにメモリ内またはメモリ上に記憶された命令を含む。他の実施形態では、必要に応じて、複数のプロセッサおよび/または複数のバスを、複数のメモリおよび複数のメモリと共に使用してもよい。同様に、複数の電子機器を接続して、各機器は、いくつかの必要な操作を提供してもよい(例えば、サーバアレイ、ブレードサーバのグループ、またはマルチプロセッサシステムとして)。図7では、プロセッサ701を例に取る。
メモリ702は、本願によって提供される非一時的なコンピュータ読み取り可能な記憶媒体である。そのうち、前記メモリには、少なくとも1つのプロセッサによって実行可能な命令が記憶されることにより、前記少なくとも1つのプロセッサが本願によって提供されるARナビゲーション方法を実行する。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータ命令が記憶され、当該コンピュータ命令が、本願によって提供されるARナビゲーション方法をコンピュータに実行させるために使用される。
メモリ702は、非一時的なコンピュータ読み取り可能な記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラムおよびモジュール、例えば、本願の実施例におけるARナビゲーション方法に対応するプログラム命令/モジュール(例えば、図6に示すカメラ較正モジュール601、ナビゲーションモジュール602、経路確定モジュール603およびAR表示モジュール604)を記憶するために使用できる。プロセッサ701は、メモリ702に記憶される非一時的なソフトウェアプログラム、命令およびモジュールを実行することによって、サーバの様々な機能応用およびデータ処理を実行し、即ち、上記方法の実施例におけるARナビゲーション方法を実施する。
メモリ702には、プログラム記憶領域およびデータ記憶領域を含んでもよく、そのうち、プログラム記憶領域が、操作システムと少なくとも1つの機能に必要な応用プログラムを記憶してもよく、データ記憶領域には、ARナビゲーション方法の電子機器の使用に応じて作成されたデータなどを記憶してもよい。なお、メモリ702は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも1つの磁気メモリ、フラッシュメモリ、または他の非一時的な固体メモリなどの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ702が、選択的に、プロセッサ701に対してリモートに設定されたメモリを含み、これらのリモートメモリが、ネットワークを介してARナビゲーション方法の電子機器に接続されてもよい。上記ネットワークの例は、インターネット、企業イントラネット、ローカルネットワーク、モバイル通信ネットワーク、およびこれらの組み合わせを含むが、これらに限定されない。
ARナビゲーション方法の電子機器は、さらに入力装置703および出力装置704を含んでもよい。プロセッサ701、メモリ702、入力装置703および出力装置704は、バスまたは他の形態で接続されてもよいが、図7では、バスで接続される例を示す。
入力装置703は、入力されたデジタルまたは文字情報を受信して、ARナビゲーション方法の電子機器のユーザ設定および機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示棒、1つまたは複数のマウスボタン、トラックボール、操縦棒などの入力装置である。出力装置704は、表示機器、補助照明装置(例えば、発光ダイオード(LED))および触覚フィードバック装置(例えば、振動モーター)などを含んでもよい。当該表示機器は、液晶ディスプレイ(LCD)、LEDディスプレイおよびプラズマディスプレイを含んでもよい。いくつかの実施形態では、表示機器はタッチスクリーンであってもよい。
本明細書で説明するシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実施されることができる。これらの様々な実施形態は、1つまたは複数のコンピュータプログラムで実施され、当該1つまたは複数コンピュータプログラムが、少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行および/または解釈されるでき、当該プログラム可能なプロセッサが、専用または汎用プログラム可能なプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、および少なくとも1つの出力装置からデータおよび命令を受信し、データおよび命令を当該記憶システム、当該少なくとも1つの入力装置、および当該少なくとも1つの出力装置に送信することができる。
これらの計算プログラム(プログラム、ソフトウェア、ソフトウェア応用、またはコードとも呼ばれる)は、プログラム可能なプロセッサの機械命令を含み、高級過程および/またはオブジェクトに向けたプログラミング言語、および/またはアセンブリ/機械言語を用いてこれらの計算プログラムを実施することができる。本明細書で使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令および/またはデータをプログラム可能なプロセッサに提供するための任意のコンピュータプログラム製品、機器、および/または装置(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能な論理装置(PLD))を指し、機械可読信号としての機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および/またはデータをプログラム可能なプロセッサに提供するための任意の信号を指す。
ユーザとの対話を提供するために、ここで説明するシステムおよび技術をコンピュータに実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)、およびユーザがコンピュータに入力を提供できるキーボードおよびポインティングデバイス(例えば、マウスまたはトラックボール)を有する。他のタイプの装置は、さらにユーザとの対話を提供するために使用されてもよく、例えば、ユーザに提供されるフィードバックが、任意の形式の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、任意の形式(音響入力、音声入力、または触覚入力を含む)を使用して、ユーザからの入力を受信してもよい。
本明細書で説明するシステムおよび技術は、バックグラウンド部品を含む計算システム(例えば、データサーバとして)、または中間部品を含む計算システム(例えば、応用サーバ)、または前端部品を含む計算システム(例えば、グラフィカルユーザインターフェースまたはWebブラウザを備えたユーザコンピュータ、ユーザが、当該グラフィカルユーザインターフェースまたは当該Webブラウザを通じて本明細書で説明するシステムおよび技術の実施形態と対話できる)、またはこのようなバックグラウンド部品、中間部品、または前端部品の任意の組合せを含む計算システムに実施されてもよい。任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)を通じて、システムの部品を相互に接続してもよい。通信ネットワークの例は、ローカルネットワーク(LAN)、広域ネットワーク(WAN)およびインターネットを含む。
計算システムは、クライアントおよびサーバを含んでもよい。通常、クライアントおよびサーバは、互いに離れており、通信ネットワークを介して相互作用する。クライアントとサーバ間の関係は、対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を持つコンピュータプログラムによって生成される。
理解すべきものとして、上記のさまざまな形式のプロセスを使用して、ステップの順序を変更、追加、または削除する。例えば、本願に記載された各ステップは、本願に開示された技術的解決策の所望の結果が達成され得る限り、並列、順次、または異なる順序で実行されてもよく、本明細書に限定されない。
上記具体的な実施形態は、本願の保護範囲に対する制限を構成しない。当業者は、設計要求および他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および置換を行うことができることを理解すべきである。本願の精神と原則の範囲内で行われた修正、同等の代替、および改善などは、いずれも本願の保護範囲に含まれるべきである。

Claims (15)

  1. 拡張現実ARナビゲーション方法であって、
    車両でのカメラの較正パラメータを取得することであって、前記カメラの較正パラメータは前記カメラによって撮影された画像と3次元空間での物体の位置との間の線形対応関係であることと、
    前記車両がナビゲーション経路で通過しようとする操作点の情報および前記車両の実際位置点の情報を取得し、前記車両が前記操作点でターンし、前記操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、前記車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含むことと、
    前記車両がターン状態に入るという信号を受信したことに応答して、前記車両の現在実際位置点の情報および前記操作点の情報に従って、前記車両の第1のターン案内軌跡を確定することと、
    前記カメラの較正パラメータに従って前記第1のターン案内軌跡を変換し、前記カメラの座標系での前記第1のターン案内軌跡に対応する第2のターン案内軌跡を取得することと、
    を含み、
    前記カメラの較正パラメータに基づいて前記第1のターン案内軌跡を変換して、前記カメラの座標系での前記第1のターン案内軌跡の第2のターン案内軌跡を取得することは、
    前記第1のターン案内軌跡をサンプリングし、複数のサンプリング点を取得することと、
    前記カメラの較正パラメータに基づいて、前記複数のサンプリング点の座標値を前記カメラの座標系での座標値に変換することと、
    前記カメラの座標系での前記複数のサンプリング点の座標値に基づいて、前記第2のターン案内軌跡を描画することと、を含むことを特徴とするARナビゲーション方法。
  2. 前記第2のターン案内軌跡を前記カメラによって撮影された道路実写画像に重ね合わせて表示することをさらに含むことを特徴とする請求項1に記載のARナビゲーション方法。
  3. 前記車両の現在実際位置点の情報および前記操作点の情報に従って、前記車両の第1のターン案内軌跡を確定することは、
    前記現在実際位置点Pを端点として、前記点Pでの前記車両の実際走行方向に沿って直線を作り、前記直線と線分BCがD点で交差し、前記線分BCが、前記操作点Bおよび前記ナビゲーション経路での前記操作点Bの後にある形状点Cにより形成される線分であることと、
    PDCの角度二等分線を作り、Pを過ぎて半直線PDの垂直線を作り、半直線PDの垂直線とPDCの角度二等分線がO点に交差し、Oを中心とし、線分OPを半径として円弧を作り、前記円弧が線分BCとE点に接することと、
    曲線フィッティング法によるフィッティングを使用してC点とE点の間の曲線を取得することと、
    前記円弧と前記曲線を接続して前記第1のターン案内軌跡を形成することと、を含むことを特徴とする請求項1に記載のARナビゲーション方法。
  4. 前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両が前記操作点でターン状態に入ろうとすることを確定することと、
    前記車両の現在実際位置点の情報、前記現在実際位置点に対応する現在測位点の情報、前記現在測位点の前の連続する複数の過去の測位点の情報および前記過去の測位点に対応する実際位置点の情報に基づいて、前記車両が既にターン状態に入ったことを確定し、前記測位点が、ナビゲーション経路での前記車両の実際位置点に対応する点であることと、をさらに含むことを特徴とする請求項1~請求項のいずれか1項に記載のARナビゲーション方法。
  5. 前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両が前記操作点でターン状態に入ろうとすることを確定することは、
    前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両と前記操作点の間の実際距離を確定することと、
    前記車両と前記操作点の間の実際距離が予め設定された距離閾値よりも小さい場合、前記車両がターン状態に入ろうとすることを確定することと、を含むことを特徴とする請求項に記載のARナビゲーション方法。
  6. 前記車両の現在実際位置点の情報、前記現在実際位置点に対応する現在測位点の情報、前記現在測位点の前の連続する複数の過去の測位点の情報および前記過去の測位点に対応する実際位置点の情報に基づいて、前記車両が既にターン状態に入ったことを確定することは、
    前記連続する複数の過去の測位点の座標および前記過去の測位点に対応する実際位置点の座標に基づいて、各過去の測位点と対応する実際位置点の間の距離を確定することと、
    現在実際位置点での前記車両の実際走行方向と前記現在実際位置点に対応する現在測位点での前記車両のナビゲーション方向の間の角度を確定することと、
    前記各過去の測位点と対応する実際位置点の間の距離が連続的に増加し、前記角度が予め設定された角度よりも大きい場合、前記車両が既にターン状態に入ったことを確定することと、を含むことを特徴とする請求項に記載のARナビゲーション方法。
  7. 拡張現実ARナビゲーション装置であって、
    車両に取り付けられたカメラの較正パラメータを取得するためのカメラ較正モジュールであって、前記カメラの較正パラメータは前記カメラによって撮影された画像と3次元空間での物体の位置との間の線形対応関係であるカメラ較正モジュールと、
    前記車両がナビゲーション経路で通過しようとする操作点の情報および前記車両の実際位置点の情報を取得するためのナビゲーションモジュールであって、前記車両が前記操作点でターンし、前記操作点の情報が、操作点の座標および操作点での車両のナビゲーション方向を含み、前記車両の実際位置点の情報が、実際位置点の座標および実際位置点での車両の実際走行方向を含むナビゲーションモジュールと、
    前記車両がターン状態に入るという信号を受信したことに応答して、前記車両の現在実際位置点の情報および前記操作点の情報に従って、前記車両の第1のターン案内軌跡を確定するための経路確定モジュールと、
    前記カメラの較正パラメータに従って前記第1のターン案内軌跡を変換し、前記カメラの座標系での前記第1のターン案内軌跡に対応する第2のターン案内軌跡を取得するためのAR表示モジュールと、を含み、
    前記AR表示モジュールは、
    前記第1のターン案内軌跡をサンプリングし、複数のサンプリング点を取得し、
    前記カメラの較正パラメータに基づいて、前記複数のサンプリング点の座標値を前記カメラの座標系での座標値に変換し、
    前記カメラの座標系での前記複数のサンプリング点の座標値に基づいて、前記第2のターン案内軌跡を描画するために使用されることを特徴とするARナビゲーション装置。
  8. 前記AR表示モジュールは、前記カメラによって撮影された道路実写画像に前記第2のターン案内軌跡を重ね合わせて表示するためにさらに使用されることを特徴とする請求項に記載のARナビゲーション装置。
  9. 前記経路確定モジュールは、
    前記現在実際位置点Pを端点として、前記点Pでの前記車両の実際走行方向に沿って直線を作り、前記直線と線分BCがD点で交差し、前記線分BCが、前記操作点Bおよび前記ナビゲーション経路での前記操作点Bの後にある形状点Cにより形成される線分であり、
    PDCの角度二等分線を作り、Pを過ぎて半直線PDの垂直線を作り、半直線PDの垂直線とPDCの角度二等分線がO点に交差し、Oを中心とし、線分OPを半径として円弧を作り、前記円弧が線分BCとE点に接し、
    曲線フィッティング法によるフィッティングを使用してC点とE点の間の曲線を取得し、
    前記円弧と前記曲線を接続して前記第1のターン案内軌跡を形成するために使用されることを特徴とする請求項に記載のARナビゲーション装置。
  10. 前記経路確定モジュールはさらに、
    前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両が前記操作点でターン状態に入ろうとすることを確定し、
    前記車両の現在実際位置点の情報、前記現在実際位置点に対応する現在測位点の情報、前記現在測位点の前の連続する複数の過去の測位点の情報および前記過去の測位点に対応する実際位置点の情報に基づいて、前記車両が既にターン状態に入ったことを確定するために使用され、前記測位点が、ナビゲーション経路での前記車両の実際位置点に対応する点であることを特徴とする請求項~請求項のいずれか1項に記載のARナビゲーション装置。
  11. 前記経路確定モジュールは、前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両が前記操作点でターン状態に入ろうとすることを確定することは、
    前記操作点の座標と前記車両の実際位置点の座標に基づいて、前記車両と前記操作点の間の実際距離を確定することと、
    前記車両と前記操作点の間の実際距離が予め設定された距離閾値よりも小さい場合、前記車両がターン状態に入ろうとすることを確定することとを含むことを特徴とする請求項10に記載のARナビゲーション装置。
  12. 前記経路確定モジュールは、前記車両の現在実際位置点の情報、前記現在実際位置点に対応する現在測位点の情報、前記現在測位点の前の連続する複数の過去の測位点の情報および前記過去の測位点に対応する実際位置点の情報に基づいて、前記車両が既にターン状態に入ったことを確定することは、
    前記連続する複数の過去の測位点の座標および前記過去の測位点に対応する実際位置点の座標に基づいて、各過去の測位点と対応する実際位置点の間の距離を確定することと、
    現在実際位置点での前記車両の実際走行方向と前記現在実際位置点に対応する測位点での前記車両のナビゲーション方向の間の角度を確定することと、
    前記各過去の測位点と対応する実際位置点の間の距離が連続的に増加し、前記角度が予め設定された角度よりも大きい場合、前記車両が既にターン状態に入ったことを確定することと、を含むことを特徴とする請求項10に記載のARナビゲーション装置。
  13. 電子機器であって、
    少なくとも1つのプロセッサ、および
    前記少なくとも1つのプロセッサと通信接続されるメモリを含み、そのうち、
    前記メモリには前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサが請求項1~請求項のいずれか1項に記載の方法を実行することを特徴とする電子機器。
  14. コンピュータ命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令が、コンピュータに請求項1~請求項のいずれか1項に記載の方法を実行させるために使用されることを特徴とするコンピュータ可読記憶媒体。
  15. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されると、前記コンピュータに請求項1~請求項のいずれか1項に記載の方法を実行させることを特徴とするコンピュータプログラム。
JP2020199494A 2020-05-28 2020-12-01 Arナビゲーション方法及び装置 Active JP7267250B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010466019.0A CN111561938A (zh) 2020-05-28 2020-05-28 Ar导航方法和装置
CN202010466019.0 2020-05-28

Publications (2)

Publication Number Publication Date
JP2021089282A JP2021089282A (ja) 2021-06-10
JP7267250B2 true JP7267250B2 (ja) 2023-05-01

Family

ID=72068643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020199494A Active JP7267250B2 (ja) 2020-05-28 2020-12-01 Arナビゲーション方法及び装置

Country Status (4)

Country Link
US (1) US20210190531A1 (ja)
EP (1) EP3842762B1 (ja)
JP (1) JP7267250B2 (ja)
CN (1) CN111561938A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068566B (zh) * 2020-09-15 2024-09-10 阿波罗智能技术(北京)有限公司 引导路径确定方法及车辆的行驶控制方法、装置、设备
CN113240816B (zh) * 2021-03-29 2022-01-25 泰瑞数创科技(北京)有限公司 基于ar和语义模型的城市精确导航方法及其装置
CN113091763B (zh) * 2021-03-30 2022-05-03 泰瑞数创科技(北京)有限公司 一种基于实景三维地图的导航方法
CN113566836A (zh) * 2021-06-28 2021-10-29 阿波罗智联(北京)科技有限公司 道路指引方法、装置、电子设备及存储介质
CN114038203A (zh) * 2022-01-12 2022-02-11 成都四方伟业软件股份有限公司 一种交通仿真中两点路口车道的曲线拟合方法及装置
CN115096328B (zh) * 2022-06-30 2023-07-11 阿波罗智联(北京)科技有限公司 车辆的定位方法、装置、电子设备以及存储介质
CN115683152A (zh) * 2022-10-27 2023-02-03 长城汽车股份有限公司 基于坐标转换的车辆导航指引方法、装置及电子设备
CN116105747B (zh) * 2023-04-07 2023-07-04 江苏泽景汽车电子股份有限公司 航迹线动态显示方法、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263849A (ja) 2006-03-29 2007-10-11 Matsushita Electric Ind Co Ltd ナビゲーション装置
US20170343374A1 (en) 2016-05-27 2017-11-30 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicle navigation method and apparatus
JP2019217790A (ja) 2016-10-13 2019-12-26 マクセル株式会社 ヘッドアップディスプレイ装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855302B2 (ja) * 1996-05-07 2006-12-06 松下電器産業株式会社 ナビゲーション装置
US5945917A (en) * 1997-12-18 1999-08-31 Rockwell International Swathing guidance display
WO2005121707A2 (en) * 2004-06-03 2005-12-22 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
JP4552750B2 (ja) * 2004-08-06 2010-09-29 株式会社デンソー 車両用前照灯装置
CN101750090B (zh) * 2009-12-30 2011-08-10 东软集团股份有限公司 利用轨迹点导航的导航装置
DE102010014499B4 (de) * 2010-04-10 2012-01-26 Audi Ag Verfahren zum Betrieb eines Spurhalteassistenzsystems für mehrspuriges Abbiegen in einem Kraftfahrzeug
JP2013062657A (ja) * 2011-09-13 2013-04-04 Sharp Corp 画像表示システム、画像表示装置、画像表示方法、及び画像表示プログラム
JP6731234B2 (ja) * 2015-10-30 2020-07-29 日立オートモティブシステムズ株式会社 車両運動制御装置及びその方法
EP3434545B1 (en) * 2016-03-24 2021-03-10 Nissan Motor Co., Ltd. Course estimation method and course estimation device
CN106355927B (zh) * 2016-08-30 2018-08-31 成都路行通信息技术有限公司 Gps标记点确定方法、轨迹优化方法及装置
US10586393B2 (en) * 2016-12-20 2020-03-10 Harman International Industries, Incorporated Positioning objects in an augmented reality display
CN108594852B (zh) * 2018-04-23 2021-03-30 成都信息工程大学 一种已知起点、终点和运动方向的移动路径计算方法
DE102018207440A1 (de) * 2018-05-14 2019-11-14 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer "augmented reality"-Einblendung für die Darstellung einer Navigationsroute auf einer AR-Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
CN111174801B (zh) * 2018-11-09 2023-08-22 阿里巴巴集团控股有限公司 导航引导线的生成方法和装置以及电子设备
JP7307571B2 (ja) * 2019-03-26 2023-07-12 株式会社Subaru 車両制御装置
CN110825078B (zh) * 2019-10-10 2022-11-18 江苏大学 一种自主导航履带式车辆的地头转弯路径控制系统
JP7158367B2 (ja) * 2019-12-09 2022-10-21 本田技研工業株式会社 車両制御システム
CN111039231B (zh) * 2019-12-31 2021-04-16 芜湖哈特机器人产业技术研究院有限公司 智能叉车转弯路径规划方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007263849A (ja) 2006-03-29 2007-10-11 Matsushita Electric Ind Co Ltd ナビゲーション装置
US20170343374A1 (en) 2016-05-27 2017-11-30 Baidu Online Network Technology (Beijing) Co., Ltd. Vehicle navigation method and apparatus
JP2019217790A (ja) 2016-10-13 2019-12-26 マクセル株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US20210190531A1 (en) 2021-06-24
EP3842762A2 (en) 2021-06-30
EP3842762A3 (en) 2021-10-20
CN111561938A (zh) 2020-08-21
JP2021089282A (ja) 2021-06-10
EP3842762B1 (en) 2023-04-26

Similar Documents

Publication Publication Date Title
JP7267250B2 (ja) Arナビゲーション方法及び装置
CN112204343B (zh) 高清晰地图数据的可视化
KR102557026B1 (ko) 차량 순항 제어 방법, 장치, 전자 기기 및 저장 매체
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
CN109949439B (zh) 行车实景信息标注方法、装置、电子设备和介质
KR102564430B1 (ko) 차량의 제어 방법, 장치 및 차량
CN109253735B (zh) 路径规划方法、装置及存储介质
US20100256900A1 (en) Navigation device
CN114911243A (zh) 车路协同自动驾驶的控制方法、装置、设备及车辆
US20090240426A1 (en) Navigation device and navigation method
CN111231950A (zh) 规划车辆变道路径的方法、装置、设备及可读存储介质
KR20210042856A (ko) 측위 방법과 장치, 자율 주행 차량, 전자기기와 저장매체
CN104833360A (zh) 一种二维坐标到三维坐标的转换方法
CN111665845A (zh) 用于规划路径的方法、装置、设备以及存储介质
KR20210038462A (ko) 전용 차도 주행 알림 방법, 장치, 기기 및 저장매체
EP3919864B1 (en) Method and apparatus for processing map data
US20220197893A1 (en) Aerial vehicle and edge device collaboration for visual positioning image database management and updating
CN111523471A (zh) 车辆所在车道的确定方法、装置、设备以及存储介质
CN110794844A (zh) 自动驾驶方法、装置、电子设备及可读存储介质
WO2015012010A1 (ja) 運転支援システム、方法およびプログラム
JP4833384B1 (ja) ナビゲーション装置、ナビゲーション方法、ナビゲーションプログラムおよび記録媒体
TW202215008A (zh) 藉由計算機系統的導航
CN114689074B (zh) 信息处理方法和导航方法
WO2022152081A1 (zh) 导航方法和装置
CN115235487A (zh) 数据处理方法及装置、设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220921

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230419

R150 Certificate of patent or registration of utility model

Ref document number: 7267250

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150