JP2023505379A - 交通手段の全景ルックアラウンド画像を生成する方法と装置 - Google Patents

交通手段の全景ルックアラウンド画像を生成する方法と装置 Download PDF

Info

Publication number
JP2023505379A
JP2023505379A JP2022535119A JP2022535119A JP2023505379A JP 2023505379 A JP2023505379 A JP 2023505379A JP 2022535119 A JP2022535119 A JP 2022535119A JP 2022535119 A JP2022535119 A JP 2022535119A JP 2023505379 A JP2023505379 A JP 2023505379A
Authority
JP
Japan
Prior art keywords
lookaround
training
independent
images
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022535119A
Other languages
English (en)
Other versions
JP7335446B2 (ja
Inventor
フー，ロンドン
ワン，ボー
ペン，メイファ
ヤン，カイビン
ワン，シジュアン
Original Assignee
チャンシャ インテリジェント ドライビング インスティテュート コーポレーション リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by チャンシャ インテリジェント ドライビング インスティテュート コーポレーション リミテッド filed Critical チャンシャ インテリジェント ドライビング インスティテュート コーポレーション リミテッド
Publication of JP2023505379A publication Critical patent/JP2023505379A/ja
Application granted granted Critical
Publication of JP7335446B2 publication Critical patent/JP7335446B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【要約】本願は、交通手段における互いに連節する第一部分と第二部分について、外部環境の実際最初画像を取得すること、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得すること、前記第一部分と第二部分についてそれぞれの連節点座標を取得すること、前記第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチング特徴点対を特定すること、各マッチング特徴点対における両点間の距離を算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対とすること、マッチングが成功となる特徴点対の数が最大である時における対応する回転角を第二部分に対する前記第一部分の候補回転角度とすることを含む交通手段の全景ルックアラウンド画像生成方法を提供する。本願は、交通手段の全景ルックアラウンド画像生成装置及び知能交通手段、をさらに提供する。

Description

本願は、知能運転の分野に関し、特に、交通手段の全景ルックアラウンド画像を生成する方法と装置に関する。
現在、市販されている数多くの全景ルックアラウンドシステムは、走行際に、カメラの相対位置がそのまま変わらない交通手段に適用されたり、一体化の交通手段に適用されたりするものである。しかしながら、このようなシステムは、複数の部分を互いに連節した分体式又は組み合わせ式の交通手段（列車の先頭及びそれと連節している一つ又は複数の車両）によく適用されると言えない。これは、このような分体式の交通手段が走行している場合に、特に折れている場合に、互いに連節する異なる部分間の位置関係が動態的に変わるためである。そして、従来の全景ルックアラウンドの技術案は、このような場合に備えず、表示できない死角が存在し、二重写しなどの問題があり、安全のリスクが招致されてしまう。
従来の全景ルックアラウンドシステムは、その較正と接合の方法について、一般的に、角度センサー装置を取り付け、交通手段における異なる部分間の回転角度を取得し、全景ルックアラウンド画像を接合させるものである。しかしながら、当該方法にカメラ以外のセンサーを必要とすることから、コストが高く、取付や保守が難しいなどの問題が存在している。
本願は、従来技術に存在している技術問題に対して、取得交通手段における互いに連節する第一部分と第二部分の外部環境の実際最初画像を取得すること、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得すること、前記第一部分と第二部分についてそれぞれの連節点座標を取得すること、前記第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチング特徴点対を特定すること、前記第一部分と第二部分について実際独立ルックアラウンド画像におけるそれぞれの連節点を重ね合わせ、前記第一部分の独立ルックアラウンド画像を前記第二部分の独立ルックアラウンド画像に対して回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させ、各マッチング特徴点対における両点間の距離を対応的に算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対とすること、及び、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定すること、前記連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分におけるそれぞれの実際独立ルックアラウンド画像を結合させ、前記交通手段の全景ルックアラウンド画像を取得することを含む、交通手段の全景ルックアラウンド画像生成方法を提供する。
特に、少なくともマッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定することは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の実際回転角度とすることを含む。
特に、少なくともマッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定することは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の候補回転角度とすること、前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定すること、マッチングが成功となる各特徴点対における両点の距離を算出して当該距離の和を求めること、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とすることを含む。
特に、前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定することは、前記第一部分と第二部分との連節点座標及び前記候補回転角度に基づいて、候補回転変換行列を取得することを含み、マッチングが成功となる特徴における両点間の距離を算出することは、前記マッチング特徴点対の座標と前記候補回転変換行列に基づいて、前記マッチングが成功となる特徴点対における両点間の距離を算出することを含む。
特に、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得することは、前記第一部分と第二部分について外部環境の実際最初画像を歪み補正すること、補正された画像を地理座標系に投影して前記第一部分と第二部分の鳥瞰図を生成すること、前記第一部と第二部分についてそれぞれの鳥瞰図における重なり領域の内部特徴点をそれぞれ検測しマッチングしながら固定し接合して、前記第一部分と第二部分についてそれぞれの固定接合図を取得すること、及び、前記第一部分と第二部分におけるそれぞれの固定接合図をトリミングして、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得することを含む。
特に、前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域のマッチング特徴点対を特定することは、前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域の自然特徴点を検測して記述子を生成する特徴点検測と、少なくとも前記記述子に基づいて、マッチングアルゴリズムにより、ＯＲＢ、ＳＵＲＦ又はＳＩＦＴのアルゴリズムを含む特徴点マッチング対を生成する特徴点マッチング、及び、ＲＡＮＳＡＣ又はＧＭＳのアルゴリズムを含む取り除きアルゴリズムにより、マッチングが誤ったマッチング点対を取り除く特徴点取り除きを含む。
特に、前記第一部分と第二部分との連節点座標を算出する方法をさらに含み、この方法は、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を取得すること、各対の前記訓練独立ルックアラウンド画像について特徴点を検測してマッチングすること、各対の訓練独立ルックアラウンド画像におけるマッチングされた特徴点対に基づいて、対応する複数の訓練回転変換行列を算出し、ひいては、前記第一部分と第二部分との間における対応する複数の訓練回転角度を算出すること、少なくとも前記複数の対の訓練独立ルックアラウンド画像におけるマッチングされた特徴点座標、及び前記複数の訓練回転角度に基づいて、前記第一部分と第二部分との間における対応する複数の訓練変換ベクトルを特定すること、及び、前記複数の対の独立ルックアラウンド画像の特徴点座標、前記複数の訓練回転角度及び前記複数の訓練変換ベクトルに基づいて前記第一部分と第二部分との連節点座標を算出することを含む。
特に、前記第一部分と第二部分との連節点座標を算出する方法は、さらに、前記複数の訓練回転角度における少なくとも二つの訓練回転角度を一グループとし、前記訓練変換ベクトルに基づいて、対応する当該グループにおける選択肢連節点座標を算出して取得すること、及び、全ての選択肢連節点座標を順番付け、順番付けられた結果の中央値を前記第一部分と第二部分との連節点座標とすることをさらに含み、各グループにおける少なくとも二つの訓練回転角度の差が所定の角度閾値よりも大きい。
さらに、本願に係る交通手段の全景ルックアラウンド画像生成装置は、交通手段における互いに連節する第一と第二部分について外部環境の実際又は訓練の最初画像を取得するように配置される最初画像取得手段と、前記最初画像取得手段にカップリングされ、前記第一部分と第二部分について実際又は訓練の最初画像をそれぞれの実際又は訓練の独立ルックアラウンド画像に接合するように配置される独立ルックアラウンド画像取得手段と、前記連節点較正手段と前記独立ルックアラウンド画像取得手段にカップリングされる全景ルックアラウンド画像取得手段とを含み、前記全景ルックアラウンド画像取得手段は、前記独立ルックアラウンド画像取得手段にカップリングされ、前記第一部分和第二部分の実際独立ルックアラウンド画像を受信し、そのうちの特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュールと、前記特徴点検測マッチングモジュールにカップリングされ、前記第一部分と第二部分との連節点座標を取得し、前記第一部分と第二部分の独立ルックアラウンド画像連節点を重ね合わせ、前記第一部分の独立ルックアラウンド画像を前記第二部分の独立ルックアラウンド画像に対して回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させ、各マッチング特徴点対における両点間の距離を算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対とすること、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定するように配置される実際回転角度算出モジュールと、前記実際回転角度算出モジュールにカップリングされ、前記連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分におけるそれぞれの実際独立ルックアラウンド画像を結合させ、前記交通手段の全景ルックアラウンド画像を取得するように配置される全景ルックアラウンド画像生成モジュール、を含む。
特に、実際回転角度算出モジュールは、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定するように配置されることは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の実際回転角度とすることを含む。
特に、実際回転角度算出モジュールは、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定するように配置されることは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を、前記第一部分と第二部分との間の候補回転角度とすること、前記候補回転角度に基づいて前記マッチングが成功となる特徴点対の座標を特定すること、マッチングが成功となる各特徴点対における両点の距離を算出し当該距離の和を求めること、及び、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とすることを含む。
特に、前記独立ルックアラウンド画像取得手段にカップリングされる連節点較正手段をさらに含み、前記連節点較正手段は、前記独立ルックアラウンド画像取得手段にカップリングされ、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を受信し、前記第一部分と第二部分についてそのうちの各対の訓練独立ルックアラウンド画像における特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュールと、前記特徴点検測マッチングモジュールにカップリングされ、マッチングされた特徴点座標に基づいて、各対の訓練独立ルックアラウンド画像における前記第一部分と第二部分特徴点との間の複数の訓練回転変換行列を取得し、各対の独立ルックアラウンド画像における前記第一部分と第二部分との間の複数の訓練回転角度を対応的に取得するように配置される訓練回転角度算出モジュールと、前記訓練回転角度算出モジュールにカップリングされ、各対の訓練独立ルックアラウンド画像におけるマッチングされる特徴点の座標、及び複数の訓練回転角度に基づいて、各対の訓練独立ルックアラウンド画像における対応する複数の訓練変換ベクトルを特定するように配置される訓練変換ベクトル取得モジュールと、前記変換ベクトル取得モジュール及び前記訓練回転角度算出モジュールにカップリングされ、前記複数の対の訓練独立ルックアラウンド画像のマッチング特徴点座標、複数の訓練回転角度及び対応する複数の訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分の連節点座標を特定するように配置される連節点座標特定モジュールとを含む。
本願に係る知能交通手段は、互いに連節する第一部分と第二部分と、プロセッサー、及び前記プロセッサーとカップリングされる記憶手段と、前記第一部分と第二部分について実際又は訓練の最初画像を撮影するように配置されるセンサー手段を含み、前記プロセッサーは、前記方法を実行するように配置される。
以下、図面を参照しながら本願における好ましい実施形態について一層詳しい説明を行う。
本願の一実施例に係る交通手段の構成の模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法全体のフローチャートを示す模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法における具体的なフローチャートを示す模式図である。 本願の一実施例に係る交通手段における連節している各部分について最初の画像を固定して接合する方法の流れを示す模式図である。 本願の一実施例に係る交通手段における各部分の連節点座標を算出する方法の流れを示す模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置の構成の模式図である。 本願の一実施例に係る独立ルックアラウンド画像取得手段の構成の模式図である。 本願の一実施例に係る連節点較正手段の構成の模式図である。 本願の一実施例に係る全景ルックアラウンド画像取得手段の構成の模式図である。 本願の一実施例に係る知能交通手段の構成の模式図である。
本願に係る実施例の目的、技術手段や利点を一層明確にするためには、以下、本願の実施例における図面を参照しながら、本願の実施例における技術手段を明確に、完全に説明するが、説明する実施例は、本願の実施例の一部に過ぎず、実施例の全てでない、ということも明らかなものである。本願における実施例について、当業者にとって如何なる創造性を付けない労働によりなされる他の実施例があれば、いずれも本願の保護範囲に含まれる。
以下、説明を詳しく行う際に、本願の一部として本願における特定の実施例を説明するための図面を参照してもよい。図面においては、類似な符号が異なる図面に概ね類似な素子を示す。本願における各特定実施例を以下に十分詳しく説明することにより、当業者が本願に係る技術手段を実施することができる。理解するべきことは、他の実施例を採用してもよいし、本願の実施例について構成、論理又は電気的な補正をお行ってもよい。
本願は、交通手段の全景ルックアラウンド画像生成方法を提供する。前記交通手段は、連節している少なくとも二つの部分を組み合わせたものであり、例えば、セミトレーラーである。幾つかの実施例では、前記交通手段は、例えば、汽車、地下鉄という、それぞれが連節している複数の部分を組み合わせたものであり、それは、同様に、本願に係る方法を適用することも可能である。
以下に、互いに連節する二つの部分を組み合わせた交通手段を例に挙げて、前記方法を適用する交通手段の構成を簡単に説明する。図１は、本願の一実施例に係る交通手段の構成の模式図である。本実施例では、仮に図における左側を交通手段の走行する方向とする。図１に示される交通手段は、第一部分１０１と第二部分１０２を含み、二つの部分は、連節という形態により接続される。ただし、連節の状態では、第一部分１０１と第二部分１０２との連節点が重なり合う。第一部分１０１における前方側、右側及び左側には、それぞれ、カメラ１１、カメラ１２及びカメラ１３が設置されている。第二部分１０２における後ろ側、右側及び左側には、それぞれ、カメラ２１、カメラ２２及びカメラ２３が設置されている。本実施例では、前記カメラは、１８０°又は他の角度である広角カメラとされてもよい。カメラを配列する形態も、例示的ものである。幾つかの実施例では、さらに、他の形態によりカメラの位置と数を設置してもよい。
幾つかの実施例では、前記交通手段に、さらに、各カメラ間にデータを同期させるためのカメラ同期モジュール（不図示）を含んでもよい。
互いに連節している複数の部分を含む交通手段については、連節点が他の特徴点に対して代替的なものでなく、特殊的地位を有するものである。それは、交通手段における連節している二つの部分の運動状態が如何して変わっても、実際の場合に、交通手段における二つの部分についてそれぞれの連節点が常に重なり合うからである。このような位置状態が比較的に安定している点を参照点とすると、算出の結果が一層明確になるのみならず、生成する画像も実際のシーンに良く接近でき、また、相対的運動により生じる特別の計算力の消費を削減でき、稼働全体の効率を高くすることができる。故に、先に、先算出出互いに連節する部分についてそれぞれ連節点の座標を算出し、次に、既知の重なり合い関係を、次の画像の接合に適用することにより、実際の場面に良く接近でき、しかも、安定的な交通手段の全景ルックアラウンド画像を取得することができる。
以下、本願に記載されている方法の流れを詳しく説明していく。図２Ａは、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法全体の流れを示す模式図であり、図２Ｂは、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法の詳しい流れを示す模式図。幾つかの実施例では、図２Ａと２Ｂに示されるように、本願に記載されている交通手段の全景ルックアラウンド画像生成方法は、実際最初画像２１を取得する部分、実際独立ルックアラウンド画像２２を取得する部分、連節点座標２３を取得する部分、及び、全景ルックアラウンド画像２４を取得する部分、という四つの部分に纏められる。
ここで言及する実際最初画像と実際独立ルックアラウンド画像とは、次に連節点を算出する時における訓練最初画像と訓練実際独立ルックアラウンド画像を区分するためのものであり、「実際」について強調するものは、交通手段が実際に走行している際に取得する画像である一方、「訓練」について強調するものは、連節点座標を取得するために、わざと、交通手段における第一部分と第二部分との間に特定の角度を設けてから、取得する画像である。
ステップ２１は、実際最初画像を取得する操作に以下のステップを含む。
ステップ２０１は、交通手段における互いに連節する第一部分と第二部分について外部環境の実際最初画像を取得する。ここで言及する第一部分と第二部分は、例えば車の先頭と車両であってもよいし、勿論、他の場合に二つの車両であってもよい。
そのうち、前記実際最初画像は、カメラが直接に取得する画像であり、しかも、第一部分と第二部分について外部環境の実際最初画像を含んでもよい。勿論、これらの実際最初画像は、交通手段そのもの局所的映像を含んでもよい。幾つかの実施例では、前記交通手段は、広角カメラを外側に設置して実際最初画像を取得してもよい。幾つかの実施例では、前記広角カメラは、１８０°又は他の角度である広角カメラであってもよい。幾つかの実施例では、一層優れる画像の表現を良く取得するために、各実際最初画像を撮影する角度を可及的に拡大してもよい。
ステップ２２は、実際独立ルックアラウンド画像を取得する操作に、以下のステップを含む。
ステップ２０２は、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得する。
第一部分と第二部分についてステップ２０１に取得される実際最初画像データが処理されておらず、隣接するカメラにより撮影される画像に重なり領域が存在している。故に、実際最初画像を転換処理（具体的な転換処理は、以下に詳しく紹介）する必要性があり、また、同一の部分（第一部分又は第二部分）に所属する数多くの画像を固定して接合し、各部分における完全的な実際独立ルックアラウンド画像を取得する。そのうち、第一部分又は第二部分についてそれぞれの実際独立ルックアラウンド画像は、当該部分における連節側を除いた実際外部環境全体の上面図である。
全景ルックアラウンド画像を取得する他の操作を引き続き紹介するためには、各部分を実現する独立ルックアラウンド画像の具体的な方法を予め詳細に紹介しておく。図３は、本願の一実施例に係る交通手段における連節する各部分について実際最初画像を固定して接合する方法の流れを示す模式図であり、言い換えると前記方法におけるステップ２０２を詳しく説明するものである。
当該方法は、以下のステップを含む。
ステップ３０１は、実際最初画像を歪み補正する。
幾つかの実施例では、広角カメラが採集する最初画像は、透視に歪みの形式が出るという特徴を有しており、生じる効果は、画像に歪みを生じさせ、画像における物の距離関係を正確に表現できないことにある。このような歪みを抑制するために、広角カメラが採集する最初画像について歪み補正の処理を行うことが必要となる。幾つかの実施例では、広角カメラについて較正するカメラパラメータと歪み補正パラメータにより実際最初画像を補正処理して、各実際最初画像と対応する補正画像を取得してもよい。そのうち、カメラパラメータと歪み補正パラメータは、広角カメラにおける内部の構成、及び、構築される歪みモデルにより特定される。
ステップ３０２は、歪み補正された画像を透視変換する。
実際の適用において利用者にとって必要なものは、上面の視角による交通手段の運転状態図であることから、歪み補正された画像を透視変換することも必要となる。幾つかの実施例では、異なるカメラが取得する画像を地理座標系に投影して実際の鳥瞰図（較正物を選んで特徴点を指定し、透視変換を行うことにより、取得可能である））を得、補正図と実際の鳥瞰図との間のマッピング関係を生成し、各補正図と対応する実際の鳥瞰図を取得する。
ステップ３０３は、実際鳥瞰図を固定して接合する。
交通手段における互いに連節する各部分については、各部分について各方向に位置する実際の鳥瞰図を接合してもよい。広角カメラの特性により、各部分について隣接するカメラにより撮影する実際の鳥瞰図間に、それぞれ、一部が重なり合う領域が存在していることから、重なり合う領域を補正して実際の固定接合図を接合することが必要となる。
幾つかの実施例では、若干の標識点を人工で選んでマッチングを行うことにより、固定と接合を実現してもよい。勿論、既知の他の方法によりマッチングを行ってもよい。
ステップ３０４は、実際固定接合図について画像のトリミングをする。
前記ステップでは、交通手段について各部分の実際固定接合図を取得したが、このような実際固定接合図に、不要な部分を含む見込みもある。幾つかの実施例では、各部分における実際の固定接合図については、画像の大きさをスクリーンの範囲に合致させスクリーンに表示してから、最終的に、第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得するように、必要に応じて興味を抱く領域だけをトリミングする。
以下、図２Ａと図２Ｂに示される本願に係る交通手段の全景ルックアラウンド画像生成方法を引き続き紹介する。
ステップ２３は、連節点座標を取得するステップは、以下のステップを含む。
ステップ２０３は、連節点座標を取得する。
交通手段にとって、起動する度に初期化を行う際に連節点座標を算出してもよいし、カメラの座標を較正しながら連節点を較正してもよい。走行際には、既知の連節点座標に基づいて算出を行うことができる一方、連節点座標を繰り返して算出する必要が無くなる。以下、連節点座標を算出する方法を単に紹介する。
ここで言及する訓練独立ルックアラウンド画像とは、第一部分と第二部分との連節点座標を算出するために、第一部分と第二部分とについてｎ種類だけ相対位置を人工で形成し、第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像を対応的に取得する。このｎ対の訓練独立ルックアラウンド画像におけるマッチング特徴点に基づいて、対応するｎ個の訓練回転角度を算出することができる。対応するｎ個の訓練変換ベクトルと共に、特定交通手段における第一部分と第二部分についてそれぞれの連節点座標を特定することができる。
図４は、本願の一実施例に係る交通手段における各部分の連節点の座標を算出する方法の流れを示す模式図である。以上に紹介したように、連節点の座標を算出することが図２Ａに示される方法の一部ではなく、当該方法の前に実行済みとなり、連節点座標を算出する方法である。
図４に示されるように、前記交通手段における各部分の連節点の座標を算出する方法は、以下のステップを含む。
ステップ４０１は、それぞれ、第一部分と第二部分についてｎ対の訓練最初画像を取得し、固定と接合を行うことにより、ｎ対の訓練独立ルックアラウンド画像を取得する。各対の画像は、第一部分と第二部分における相対の位置と対応しており、総計すると、ｎ種類の位置がある。そのうち、ｎは、２以上となる正整数であってもよい。固定と接合を行うことにより訓練独立ルックアラウンド画像を取得する操作は、先に紹介した実際独立ルックアラウンド画像を取得する操作と類似であることから省略する。
ステップ４０２は、第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像における各対についてそれぞれの特徴点を検測してマッチングする。
幾つかの実施例では、特徴点とは、画像における鮮明な特性を有しながら画像の本質を効果的に表現できる特徴であって、画像における目標物体を標識できる点を意味している。画像における特徴点は、キーポイント（Ｋｅｙｐｏｉｎｔ）と記述子（Ｄｅｓｃｒｉｐｔｏｒ）という二つの部分で構成される。キーポイントとは、画像にある当該特徴点の位置、方向及び寸法の情報を意味する。記述子とは、一般的に、人工の設定形態により、キーポイントの周辺にあるピクセルの情報を表現するベクトルである。外観が類似な記述子は、それと対応する類似な記述子を有することは一般的である。故に、マッチングを行う場合には、ベクトル空間において二つの特徴点の記述子の距離が近いと、それらが同じの特徴点であると認められてもよい。
具体的に、各対の訓練独立ルックアラウンド画像について、互いに連節する二つの部分における訓練独立ルックアラウンド画像のキーポイントを取得し、キーポイントの位置に基づいて、特徴点の記述子を算出し、特徴点の記述子に基づいて、交通手段における互いに連節する二つの部分のルックアラウンド画像の特徴点をマッチングし、交通手段における互いに連節する二つの部分のルックアラウンド画像の特徴マッチング点対を取得する。一実施例では、総当たりマッチングアルゴリズムを用いてもよい。当該アルゴリズムは、ベクトル空間において、互いに連節する二つの部分について訓練独立ルックアラウンド画像特徴点の記述子を一つずつ比べて、距離が小さい一対をマッチング点として選ぶ。
ステップ４０３は、マッチングされた特徴点対に基づいて、前記第一部分と第二部分について特徴点間のｎ個の訓練回転変換行列を算出し、前記第一部分と第二部分との間におけるｎ個の訓練回転角度を対応的に算出する。以下、マッチング特徴点対に基づいて訓練回転角度を算出する幾つかの例を紹介する。
幾つかの実施例では、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）又は最小メディアン（中央値）推定（ＬＭｅｄＳ）というアルゴリズムを採用し、互いに連節する二つの部分を選んで、独立ルックアラウンド画像の特徴マッチング点対を訓練する。ランダムサンプルコンセンサスというアルゴリズムを例に挙げて説明する。具体的に、求められたマッチング点対から複数の対のマッチング点を抽出して変換回転変換行列を算出し、この複数の対点を「内点」として記録する。マッチング点対における非内点を継続的に見出し、これらのマッチング点対が行列に合致すると、それを内点に追加する。内点における点対の数が所定の閾値よりも大きい場合に、これらのデータに基づいて、回転変換行列を特定することができる。以上の方法に従って、ランダムでｋ回（ｋが０よりも大きい正整数である）だけサンプリングを行い、内点の数が最大である集団を選んで、非内点などの間違いマッチング点対を取り除く。間違いマッチング点を取り除かないと、内点における正しいマッチング点対を用いて特定位置について対応する訓練回転変換行列を求めることができない。ｎ個の訓練回転変換行列に基づいて、第一部分と第二部分との間のｎ個の訓練回転角度
Figure 2023505379000002
 を取得する。
本願に係る方法では、訓練回転角度を取得することが計算によりなされる。物理的に測量により取得を行う従来の形態に比べると、本願に係る方法による結果が一層正確になり、訓練回転角度を取得する過程における操作の難しさが一層低くなる。また、センサーを用いることが少なくなり、コストが一層低くなり、適用性が幅広くなる。また、環境における干渉の要素を避けることができる。
ステップ４０４は、少なくとも、前記第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像間のマッチングの特徴点の座標、及び、対応する第一部分と第二部分との間のｎ個の訓練回転角度に基づいて、ｎ個の訓練変換ベクトルを特定する。
Figure 2023505379000003
 訓練変換ベクトルは、互いに連節する二つの部分の訓練独立ルックアラウンド画像についてその特徴点が一つの画像から他の一つの画像へ変換する訓練変換パラメータであり、例えば、マッチング点対における特徴点が第一部分１０１の訓練独立ルックアラウンド画像から第二部分１０２訓練独立ルックアラウンド画像へ変換する変換パラメータである。故に、一対のマッチング点について、交通手段における第一部分１０１の訓練独立ルックアラウンド画像の特徴点座標を原点とする場合に、交通手段における第二部分１０２の訓練独立ルックアラウンド画像において、対応するマッチング点の座標の数が二つの画像における訓練変換ベクトルと等しい。
Figure 2023505379000004
 ステップ４０５は、前記ｎ対の訓練独立ルックアラウンド画像の特徴点座標、訓練回転角度及び訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分との連節点座標を算出する。ここで、算出とは、交通手段における第一部分と第二部分について訓練独立ルックアラウンド画像における点が、交通手段の運動方向が変化する場合に、それぞれの連節点を円心として回転するものである、ということを前提とする。
Figure 2023505379000005
一般的な場合に、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を取得して算出を試験することが必要となる。故にｎの値が２よりもっと大きいことから、例えば式（４）ような過剰決定系を形成する。最小二乗法により過剰決定系を解くと、実際値と最も接近する第一部分と第二部分の連節点座標を算出でき、つまり、当該式の値が最小となる
Figure 2023505379000006
 を算出できる。
上記のｎ個の角度において若干の異常値が存在するということを考えると、それにより連節点座標を算出する結果に大きい影響を与えてしまう恐れがあることから、更なる方法により異常値による干渉を避ける。
Figure 2023505379000007
Figure 2023505379000008
 次に、選択肢となるこのｍグループの連節点座標を順番付け、順番付けられた結果が正規分布となり、順番付けられた結果における中央値を連節点座標として選ぶ。
本実施例では、ｎは、２以上の整数であり、ｍは、１以上の整数であり、ｍは、ｎよりも小さい。上記の方法に従って、訓練回転角度の異常値が算出の結果に与える影響を効果的に抑えることができる。上記の方法は、互いに連節する二つの部分について訓練独立ルックアラウンド画像の特徴点をマッチングして算出することにより、最終的な連節点座標を取得することができる。従来の物理測量技術に比べると、当該方法による連節点座標は、一層明確になる。連節の構成をする交通手段について、物理測量装置を取り付ける必要が無いことから、その適用性が一層幅広い。当該方法は、その操作が簡単であり、確実性があり、他のツールを介さず連節点を較正することができ、手間が省かれる。
次に、図２Ａと２Ｂに示すように、本願に係る前記交通手段の全景ルックアラウンド画像の生成方法である。ステップ２４は、全景ルックアラウンド画像を取得する操作に、以下のステップを含む。ステップ２０４は、前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域のマッチング特徴点対を特定する。ここで、マッチングとは、二つの点間に対応する関係が存在し、又は、第一部分と第二部分について独立ルックアラウンド画像に示される点が同じであるということを意味する。しかし、実際の場合に、マッチングされる点とは、必ず、以下に言及するマッチングが成功となる点を意味しない。
幾つかの実施例では、前記特徴点対をマッチングする方法は、特徴点の検測、特徴点のマッチング及び特徴点の取り除きを含む。幾つかの実施例では、前記方法の過程は、ステップ４０２とステップ４０３と類似であることから、ここで繰り返して説明しない。また、操作される画像データとは、実際に走行する際に取得される画像であり、訓練の画像ではない。
幾つかの実施例では、前記特徴点検測方法は、ＯＲＢ、ＳＵＲＦ又はＳＩＦＴのアルゴリズムなどを含む。幾つかの実施例では、前記特徴点マッチングアルゴリズムは、総当たりマッチングアルゴリズム又は最近傍マッチングアルゴリズムなどを含む。
幾つかの実施例では、特徴点取り除き方法をさらに含み、前記取り除き方法は、ＲＡＮＳＡＣ又はＧＭＳアルゴリズムなどを含む。
ステップ２０５は、前記第一部分と第二部分について実際独立ルックアラウンド画像の連節点を重ね合わせ、仮に第二部分における独立ルックアラウンド画像をそのまま固定するとすると、前記第一部分における独立ルックアラウンド画像を、重ね合わせた連節点回りに回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させ、前記マッチング特徴点対におけるマッチングが成功となる点対の数を特定する。
勿論、他の実施例によると、第一部分における独立ルックアラウンド画像をそのまま固定し、第二部分の独立ルックアラウンド画像を、連節点回りに回転させ、又は、前記第二部分のマッチング特徴点を前記第一部分のマッチング特徴点に対して回転させてもよい。
Figure 2023505379000009
幾つかの実施例では、Ｉｖｅｒｓｏｎｂｒａｃｋｅｔを用いて、式（９）に示すようにこの結果を表現する。
Figure 2023505379000010
式（１１）を用いてマッチングが成功となる特徴点対の量ｋを算出する。
Figure 2023505379000011
 ｉの値が０からＬまでであり、そのうち、Ｌは、第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチングされた特徴点対の数であり、Ｌは、１以下の整数である。
ステップ２０６は、マッチングが成功となる特徴点対の数が最大である時における対応する回転角を、前記第二部分に対する第一部分の候補回転角度とする。
Figure 2023505379000012
 この実施例では、候補の回転角度が唯一であり、もし唯一でない場合に、以下の実施例に基づいて引き続き算出を行って、実際回転角度を特定する。
選択可能なことは、一実施例によると、ステップ２０６の後にステップ２０８へ移行する。前記候補回転角度を実際回転角度として、連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を結合して前記交通手段の全景ルックアラウンド画像を取得する。
本実施例に紹介する方法では、交通手段における第一部分と第二部分との間の実際回転角度を急速で特定することができ、資源を省くことができ、実際の運転際に、交通手段の全景ルックアラウンド画像を急速で結合することに役立つことができる。
選択可能なことは、他の実施例に、ステップ２０６の後に、ステップ２０７へ移行する。
ステップ２０７は、前記候補回転角度に基づいて前記マッチングが成功となる特徴点対の座標を特定し、マッチングが成功となる各特徴点対における両点の距離を算出して当該距離の和を求め、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とする。
ステップ２０６により得られる候補回転角度は、一つしかないと、依然としてステップ２０７を用いて候補回転角度を微細調整することも可能である。ステップ２０６の操作を行わず、そのままステップ２０７の操作を行うと、マッチングが誤った特徴点対間の距離の和が最小であることから、正しくない回転角を取得する恐れがある。故に、先に、ステップ２０６における操作を先に実行することが重要なものである。
Figure 2023505379000013
 ただし、Ｇは、マッチングが成功となる特徴点対の個の数であり、ＸＧは、マッチングが成功となる特徴点の集団であり、Ｇは、１以上の整数であり、Ｇは、Ｌ以下である。
ステップ２０６により取得された候補回転角の数が唯一でない場合には、そのうちから一つを最終的な実際回転角度として特定する。Ｆ個だけの候補回転角度がある場合に、Ｆが１よりも大きい整数である。そして、このＦ個の回転角に基づいて式（８）に代入してＦ個だけの候補回転変換行列Ｈを取得し、Ｆ個の回転変換行列を式（１０）に代入し、マッチングが成功となるすべての点ＸｊとＸｊ’についてそれらの座標を算出し取得して、点の集団ＸＧを取得する。
Figure 2023505379000014
Figure 2023505379000015
当該実施例に紹介する方法は、さらに、収束条件を設定して精密に算出を行い、ステップ２０６における算出した結果をさらに微細調整することにより、マッチングが成功となる特徴点対が一層近接するようにし、重なり合う度合いが一層高くなり、得られる実際回転角度が一層実際に近づく。そして、算出された実際回転角の特定性が高まり、最終的な結果は、ロバストネスが一層良くなり、精度が一層高くなる。
また、本実施例では、その方法により、ステップ２０６において複数の候補回転角を取得することにより決めることができないという問題をさらに解決でき、最終的な結果の特定性を高めることができる。
本願に係る方法は、第一部分と第二部分との連節関係によるものであることから、両者の連節点の座標が重なり合う前提条件を設置し、その前提において、マッチングが成功となる特徴点対の数が最も多い角度を実際回転角度として選択する。従来の方法では、ルックアラウンド画像におけるマッチングされた特徴点にのみ基づいて、第一部分と第二部分との回転変換の関係を算出することから、異なる場合において第一部分と第二部分との間の距離が時によって離れたり近づいたりする蠕動という視覚の効果が発生してしまう。しかし、本願では、第一部分と第二部分との連節点の座標が固定していることから、この問題を良く避けることができる。
本願に係る方法では、他のセンサー（例えば角度センサー）を取り付け、車両の操舵データを取得する必要が無く、カメラにより採集される画像だけに基づいて画像自体の特徴をマッチングすると、車両の角度が変わる場合に全景ルックアラウンドの機能を図り、解决了従来のルックアラウンドの手段の場合に、第一部分と第二部分の操舵角度が即時で変換すると、継ぎ目がない全景接合を実現できないという課題を解決することができ、操作が簡単になり、コストが低いなどの利点を有している。
図５は、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置の構成の模式図である。この装置は、交通手段に位置してもよいし、交通手段の遠隔サーバー装置に位置してもよい。
図に示すように、前記交通手段の全景ルックアラウンド画像生成装置は、その構成が以下の手段を含む。
最初画像取得手段５０１は、交通手段における互いに連節する二つの部分について外部環境の最初画像を取得するように配置される。幾つかの実施例では、最初画像取得手段５０１は、交通手段における互いに連節する二つの部分に連節していない側に設けられた一つ又は複数の広角カメラを含んでもよい。最初画像取得手段５０１は、実際の最初画像を取得したり、訓練の最初画像を取得したりするためのものである。
独立ルックアラウンド画像取得手段５０２は、前記最初画像取得手段５０１にカップリングされ、前記二つの部分における最初画像データをそれぞれ当該部分における独立ルックアラウンド画像に接合するように配置される。独立ルックアラウンド画像取得手段５０２は、交通手段における第一部分と第二部分の実際独立ルックアラウンド画像を取得したり、両者の訓練独立ルックアラウンド画像を取得したりするためのものである。
連節点較正手段５０３は、独立ルックアラウンド画像取得手段５０２にカップリングされ、訓練独立ルックアラウンド画像データに基づいて、連節点座標を算出するように配置される。一実施例によると、連節点較正手段５０３は、図４に示す実施例における方法ステップ４０２～ステップ４０５の操作を実行するように配置されてもよい。この手段による操作は、連節点座標を取得する。連節点座標は、車両が実際に走行する前に、又は、起動する度に、算出して取得されるものである。取得すると、当該座標値を記録して次回の使用に備える。
勿論、他の実施例によると、当該装置に連節点較正手段を含むことなく、遠隔サーバー装置により連節点座標を算出して、算出された連節点座標を当該装置に送信してもよい。
全景ルックアラウンド画像取得手段５０４は、連節点較正手段５０３と前記独立ルックアラウンド画像取得手段５０２にカップリングされ、第二部分に対する第一部分の実際回転角度を特定し、連節点座標と実際回転角度に基づいてこの二つの部分の実際独立ルックアラウンド画像を当該交通手段の全景ルックアラウンド画像に結合するように配置される。
他の実施例は、交通手段の全景ルックアラウンド画像生成装置に連節点較正手段を含むことなく、外部から連節点座標を受信してもよい。
図６は、本願の一実施例に係る交通手段の独立ルックアラウンド画像取得手段の構成の模式図である。図６に示されるように、独立ルックアラウンド画像取得手段５０２は、以下のモジュールを含む。画像歪み補正モジュール６１は、前記最初画像取得モジュール５０１にカップリングされ、前記最初画像を歪み補正して、前記最初画像と対応する補正画像を取得するように配置される。
透視変換モジュール６２は、前記画像歪み校正モジュール６１にカップリングされ、前記補正画像を地理座標系に投影して鳥瞰図を対応的に形成するように配置される。
固定接合モジュール６３は、前記透視変換モジュール６２にカップリングされ、それぞれ前記第一部分と第二部分についてそれらの鳥瞰図を固定して接合し、それぞれ前記第一部分の固定接合画像と前記第二部分の固定接合画像を取得するように配置される。
画像トリミングモジュール６４は、前記固定接合モジュール６３にカップリングされ、前記第一部分の固定接合画像和前記第二部分の固定接合画像をトリミングして、第一部分と第二部分について独立ルックアラウンド画像を取得するように配置される。
そのうち、独立ルックアラウンド画像を具体的に取得する方法は、図３に示される前記の実施例に開示されたことから、ここで繰り返して説明しない。
図７は、本願の一実施例に係る交通手段の連節点較正手段の構成の模式図である。図７に示されるように、連節点較正手段５０３は、以下のモジュールを含む。特徴点検測マッチングモジュール７１は、前記独立ルックアラウンド画像取得手段５０２にカップリングされ、第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像を受信し、前記第一部分と第二部分について各対の訓練独立ルックアラウンド画像における特徴点を検測してマッチングするように配置される。
訓練回転角度算出モジュール７２は、前記特徴点検測マッチングモジュール７１にカップリングされ、マッチングされた特徴点の座標に基づいて、各対の訓練独立ルックアラウンド画像における前記第一部分特徴点と第二部分特徴点との間のｎ個の訓練回転変換行列を取得し、各対の独立ルックアラウンド画像における前記第一部分と第二部分との間のｎ個の訓練回転角度を対応的に取得するように配置される。
訓練変換ベクトル取得モジュール７３は、訓練回転角度算出モジュール７２にカップリングされ、前記第一部分と第二部分について各対の訓練独立ルックアラウンド画像の特徴点の座標、及びｎ個の訓練回転角度に基づいて、各対の独立ルックアラウンド画像における対応するｎ個の訓練変換ベクトルを特定するように配置される。
連節点座標特定モジュール７４は、前記訓練変換ベクトル取得モジュール７３及び訓練回転角度算出モジュール７２にカップリングされ、前記ｎ対の訓練独立ルックアラウンド画像におけるマッチング特徴点座標、ｎ個の訓練回転角度及び対応するｎ個の訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分との連節点座標を特定するように配置される。
そのうち、連節点座標を具体的に取得する方法は、図４に示される前記の実施例に開示されたため、ここで繰り返して説明しない。
幾つかの実施例では、連節点座標特定モジュール７４は、以下のように配置されてもよい。先に、ｎ対の訓練独立ルックアラウンド画像における両対を一グループに分け、総計するとｍグループとなる。次に、各グループにおける訓練独立ルックアラウンド画像の特徴点の座標、訓練回転角度及び訓練変換ベクトルに基づいて、対応する連節点座標を取得して結果を算出する。次に、それぞれ、ｍグループだけの訓練独立ルックアラウンド画像を求めて結果を算出すると、各グループの連節点座標について結果を算出してから順番付け、順番付けられた結果における中央値を連節点座標とする。そのうち、具体的な方法は、前記式（５）と式（６）に係る内容に開示されたことから、ここで繰り返して説明しない。
幾つかの実施例では、算出の正確性を高めるように、一グループの前記訓練独立ルックアラウンド画像について前記第一部分と第二部分との間の訓練回転角度の差分が所定の角度よりも大きい方が良い。
上記の交通手段における全景ルックアラウンド画像生成装置は、互いに連節する二つの部分について訓練独立ルックアラウンド画像の特徴点をマッチングして算出することにより、最終的な連節点座標を首取得する。従来の物理測量技術に比べると、当該方法により得られる連節点座標が一層明確になる。連節の構成である交通手段は、その適用性が一層広がる。当該方法は、その操作が簡単であり、確実性があり、例えば角度センサーという他の工具が無くても、連節点の較正が可能となり、手間が省かれる。
図８は、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における全景ルックアラウンド画像取得手段の構成の模式図である。図８に示されるように、全景ルックアラウンド画像取得手段５０４は、前記独立ルックアラウンド画像取得手段５０２にカップリングされ、第一部分と第二部分について実際独立ルックアラウンド画像を受信し、そのうちの特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュール８１を含む。異なる実施例によって、８１が７１と同じや異なるモジュールであってもよい。
実際回転角度算出モジュール８２は、特徴点検測マッチングモジュール８１及び連節点較正手段５０３にカップリングされ、連節点座標を受信し、前記第一部分と第二部分における独立ルックアラウンド画像連節点を重ね合わせ、各マッチング特徴点対における両点間の距離を算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対としマッチングが成功となる特徴点対の数が最大である時における対応する回転角を第二部分に対する前記第一部分の候補回転角度とするように配置されてもよい。
全景ルックアラウンド画像生成モジュール８３は、実際回転角度算出モジュール８２及び連節点較正手段５０３にカップリングされ、前記候補回転角度を実際回転角度として、連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を結合させてから前記交通手段の全景ルックアラウンド画像を取得するように配置されてもよい。
他の実施例によると、実際回転角度算出モジュール８２は、前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定し、マッチングが成功となる各特徴点対における両点の距離を算出し当該距離の和を求め、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とする、ように配置されてもよい。
全景ルックアラウンド画像生成モジュール８３は、実際回転角度算出モジュール８２及び連節点較正手段５０３にカップリングされ、連節点座標と特定の実際回転角度に基づいて、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を回転しながら変換と接合を行ってから前記交通手段の全景ルックアラウンド画像を取得するように配置される。
図９は、本願の一実施例に係る知能交通手段の構成の模式図である。当該知能交通手段は、プロセッサー９０１、及び、プロセッサー９０１に実行されるコンピュータープログラムを記憶するための記憶手段９０２を含み、そのうち、前記プロセッサー９０１は、前記コンピュータープログラムを実行する場合に、本願の一実施例が提供した方法の一部や全体を実行するためのものである。ここで、プロセッサー９０１と記憶手段９０２については、その数が一つ限りではなく、一つ又は複数であってもよい。当該知能交通手段は、さらに、メモリ９０３、ネットワークインターフェース９０４、及び、メモリ９０３、ネットワークインターフェース９０４、プロセッサー９０１及び記憶手段９０２を接続するシステムバス９０５をさらに含んでもよい。記憶手段には、オペレーティングシステムと本願に係る実施例が提供するデータプロセッサーが記憶されている。プロセッサー９０１は、知能交通手段全体の操作をサポートするためのものである。メモリ９０３は、記憶手段９０２におけるコンピュータープログラムの実行に必要な環境を提供するためのものである。ネットワークインターフェース９０４は、例えば利用者より入力した運転制御命令指令を取得するものなど、外部サーバー装置、端末装置などに、ネットワーク通信、データ受信又はデータ送信を行うものである。そのうち、当該知能交通手段は、、交通手段が所在している位置情報を取得するように配置されるＧＰＳ手段９０６をさらに含んでもよい。センサー手段９０７は、実際又は訓練の最初画像を取得するように配置される広角カメラを含んでもよい。
本願の実施例は、コンピューター記憶媒体をさらに提供する。それは、例えば、コンピュータープログラムを記憶している記憶手段を含み、当該コンピュータープログラムは、プロセッサーにより実行され、本願における幾つかの一実施例が提供した、カメラの姿態情報を検測する方法のステップを実現する。当該コンピューター記憶媒体は、ＦＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦｌａｓｈＭｅｍｏｒｙ、磁気記憶手段、光ディスク、又はＣＤ－ＲＯＭなどの記憶手段であってもよいし、上記の記憶手段の一つや任意に組み合わせた各種の装置であってもよい。
他の実施例では、本願に係る方法が、その一部や全体について、知能運転装置の遠隔サーバーにより、実行されてもよい。
以上に説明した実施例は、本願における幾つかの実施形態を示したものであり、詳しい説明を詳細に行ったが、それにより本願の範囲を限定するものとして理解されるべきではない。注意されたいとことは、当業者にとって本願の趣旨や発想を逸脱しない限り、若干の変形や改良も可能であり、それらは、いずれも、本願の保護範囲に含まれる。故に、本願が保護しようとする範囲は、特許請求の範囲に準ずるものである。
本願は、知能運転の分野に関し、特に、交通手段の全景ルックアラウンド画像を生成する方法と装置に関する。
現在、市販されている数多くの全景ルックアラウンドシステムは、走行際に、カメラの相対位置がそのまま変わらない交通手段に適用されたり、一体化の交通手段に適用されたりするものである。しかしながら、このようなシステムは、複数の部分を互いに連節した分体式又は組み合わせ式の交通手段（列車の先頭及びそれと連節している一つ又は複数の車両）によく適用されると言えない。これは、このような分体式の交通手段が走行している場合に、特に折れている場合に、互いに連節する異なる部分間の位置関係が動態的に変わるためである。そして、従来の全景ルックアラウンドの技術案は、このような場合に備えず、表示できない死角が存在し、二重写しなどの問題があり、安全のリスクが招致されてしまう。
従来の全景ルックアラウンドシステムは、その較正と接合の方法について、一般的に、角度センサー装置を取り付け、交通手段における異なる部分間の回転角度を取得し、全景ルックアラウンド画像を接合させるものである。しかしながら、当該方法にカメラ以外のセンサーを必要とすることから、コストが高く、取付や保守が難しいなどの問題が存在している。
本願は、従来技術に存在している技術問題に対して、取得交通手段における互いに連節する第一部分と第二部分の外部環境の実際最初画像を取得すること、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得すること、前記第一部分と第二部分についてそれぞれの連節点座標を取得すること、前記第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチング特徴点対を特定すること、前記第一部分と第二部分について実際独立ルックアラウンド画像におけるそれぞれの連節点を重ね合わせ、前記第一部分の独立ルックアラウンド画像を前記第二部分の独立ルックアラウンド画像に対して回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させ、各マッチング特徴点対における両点間の距離を対応的に算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対とすること、及び、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定すること、前記連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分におけるそれぞれの実際独立ルックアラウンド画像を結合させ、前記交通手段の全景ルックアラウンド画像を取得することを含む、交通手段の全景ルックアラウンド画像生成方法を提供する。
特に、少なくともマッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定することは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の実際回転角度とすることを含む。
特に、少なくともマッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定することは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の候補回転角度とすること、前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定すること、マッチングが成功となる各特徴点対における両点の距離を算出して当該距離の和を求めること、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とすることを含む。
特に、前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定することは、前記第一部分と第二部分との連節点座標及び前記候補回転角度に基づいて、候補回転変換行列を取得することを含み、マッチングが成功となる特徴における両点間の距離を算出することは、前記マッチング特徴点対の座標と前記候補回転変換行列に基づいて、前記マッチングが成功となる特徴点対における両点間の距離を算出することを含む。
特に、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得することは、前記第一部分と第二部分について外部環境の実際最初画像を歪み補正すること、補正された画像を地理座標系に投影して前記第一部分と第二部分の鳥瞰図を生成すること、前記第一部と第二部分についてそれぞれの鳥瞰図における重なり領域の内部特徴点をそれぞれ検測しマッチングしながら固定し接合して、前記第一部分と第二部分についてそれぞれの固定接合図を取得すること、及び、前記第一部分と第二部分におけるそれぞれの固定接合図をトリミングして、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得することを含む。
特に、前記第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチング特徴点対を特定することは、前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域の自然特徴点を検測して記述子を生成する特徴点検測と、少なくとも前記記述子に基づいて、マッチングアルゴリズムにより、ＯＲＢ、ＳＵＲＦ又はＳＩＦＴのアルゴリズムを含む特徴点マッチング対を生成する特徴点マッチング、及び、ＲＡＮＳＡＣ又はＧＭＳのアルゴリズムを含む取り除きアルゴリズムにより、マッチングが誤ったマッチング点対を取り除く特徴点取り除きを含む。
特に、前記第一部分と第二部分についてそれぞれの連節点座標を取得する方法をさらに含み、この方法は、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を取得すること、各対の前記訓練独立ルックアラウンド画像について特徴点を検測してマッチングすること、各対の訓練独立ルックアラウンド画像におけるマッチングされた特徴点対に基づいて、対応する複数の訓練回転変換行列を算出し、ひいては、前記第一部分と第二部分との間における対応する複数の訓練回転角度を算出すること、少なくとも前記複数の対の訓練独立ルックアラウンド画像におけるマッチングされた特徴点座標、及び前記複数の訓練回転角度に基づいて、前記第一部分と第二部分との間における対応する複数の訓練変換ベクトルを特定すること、及び、前記複数の対の独立ルックアラウンド画像の特徴点座標、前記複数の訓練回転角度及び前記複数の訓練変換ベクトルに基づいて前記第一部分と第二部分との連節点座標を算出することを含む。
特に、前記第一部分と第二部分についてそれぞれの連節点座標を取得する方法は、さらに、前記複数の訓練回転角度における少なくとも二つの訓練回転角度を一グループとし、前記訓練変換ベクトルに基づいて、対応する当該グループにおける選択肢連節点座標を算出して取得すること、及び、全ての選択肢連節点座標を順番付け、順番付けられた結果の中央値を前記第一部分と第二部分との連節点座標とすることをさらに含み、各グループにおける少なくとも二つの訓練回転角度の差が所定の角度閾値よりも大きい。
さらに、本願に係る交通手段の全景ルックアラウンド画像生成装置は、交通手段における互いに連節する第一と第二部分について外部環境の実際又は訓練の最初画像を取得するように配置される最初画像取得手段と、前記最初画像取得手段にカップリングされ、前記第一部分と第二部分について実際又は訓練の最初画像をそれぞれの実際又は訓練の独立ルックアラウンド画像に接合するように配置される独立ルックアラウンド画像取得手段と、連節点較正手段と前記独立ルックアラウンド画像取得手段にカップリングされる全景ルックアラウンド画像取得手段とを含み、前記全景ルックアラウンド画像取得手段は、前記独立ルックアラウンド画像取得手段にカップリングされ、前記第一部分和第二部分の実際独立ルックアラウンド画像を受信し、そのうちの特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュールと、前記特徴点検測マッチングモジュールにカップリングされ、前記第一部分と第二部分との連節点座標を取得し、前記第一部分と第二部分の独立ルックアラウンド画像連節点を重ね合わせ、前記第一部分の独立ルックアラウンド画像を前記第二部分の独立ルックアラウンド画像に対して回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させ、各マッチング特徴点対における両点間の距離を算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対とすること、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定するように配置される実際回転角度算出モジュールと、前記実際回転角度算出モジュールにカップリングされ、前記連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分におけるそれぞれの実際独立ルックアラウンド画像を結合させ、前記交通手段の全景ルックアラウンド画像を取得するように配置される全景ルックアラウンド画像生成モジュール、を含む。
特に、前記実際回転角度算出モジュールは、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定するように配置されることは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の実際回転角度とすることを含む。
特に、前記実際回転角度算出モジュールは、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定するように配置されることは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を、前記第一部分と第二部分との間の候補回転角度とすること、前記候補回転角度に基づいて前記マッチングが成功となる特徴点対の座標を特定すること、マッチングが成功となる各特徴点対における両点の距離を算出し当該距離の和を求めること、及び、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とすることを含む。
特に、前記独立ルックアラウンド画像取得手段にカップリングされる連節点較正手段をさらに含み、前記連節点較正手段は、前記独立ルックアラウンド画像取得手段にカップリングされ、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を受信し、前記第一部分と第二部分についてそのうちの各対の訓練独立ルックアラウンド画像における特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュールと、前記特徴点検測マッチングモジュールにカップリングされ、マッチングされた特徴点座標に基づいて、各対の訓練独立ルックアラウンド画像における前記第一部分と第二部分特徴点との間の複数の訓練回転変換行列を取得し、各対の独立ルックアラウンド画像における前記第一部分と第二部分との間の複数の訓練回転角度を対応的に取得するように配置される訓練回転角度算出モジュールと、前記訓練回転角度算出モジュールにカップリングされ、各対の訓練独立ルックアラウンド画像におけるマッチングされる特徴点の座標、及び複数の訓練回転角度に基づいて、各対の訓練独立ルックアラウンド画像における対応する複数の訓練変換ベクトルを特定するように配置される訓練変換ベクトル取得モジュールと、前記変換ベクトル取得モジュール及び前記訓練回転角度算出モジュールにカップリングされ、前記複数の対の訓練独立ルックアラウンド画像のマッチング特徴点座標、複数の訓練回転角度及び対応する複数の訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分の連節点座標を特定するように配置される連節点座標特定モジュールとを含む。
本願に係る知能交通手段は、互いに連節する第一部分と第二部分と、プロセッサー、及び前記プロセッサーとカップリングされる記憶手段と、前記第一部分と第二部分について実際又は訓練の最初画像を撮影するように配置されるセンサー手段を含み、前記プロセッサーは、前記方法を実行するように配置される。
以下、図面を参照しながら本願における好ましい実施形態について一層詳しい説明を行う。
本願の一実施例に係る交通手段の構成の模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法全体のフローチャートを示す模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法における具体的なフローチャートを示す模式図である。 本願の一実施例に係る交通手段における連節している各部分について最初の画像を固定して接合する方法の流れを示す模式図である。 本願の一実施例に係る交通手段における各部分の連節点座標を算出する方法の流れを示す模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置の構成の模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における独立ルックアラウンド画像取得手段の構成の模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における連節点較正手段の構成の模式図である。 本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における全景ルックアラウンド画像取得手段の構成の模式図である。 本願の一実施例に係る知能交通手段の構成の模式図である。
本願に係る実施例の目的、技術手段や利点を一層明確にするためには、以下、本願の実施例における図面を参照しながら、本願の実施例における技術手段を明確に、完全に説明するが、説明する実施例は、本願の実施例の一部に過ぎず、実施例の全てでない、ということも明らかなものである。本願における実施例について、当業者にとって如何なる創造性を付けない労働によりなされる他の実施例があれば、いずれも本願の保護範囲に含まれる。
以下、説明を詳しく行う際に、本願の一部として本願における特定の実施例を説明するための図面を参照してもよい。図面においては、類似な符号が異なる図面に概ね類似な素子を示す。本願における各特定実施例を以下に十分詳しく説明することにより、当業者が本願に係る技術手段を実施することができる。理解するべきことは、他の実施例を採用してもよいし、本願の実施例について構成、論理又は電気的な補正をお行ってもよい。
本願は、交通手段の全景ルックアラウンド画像生成方法を提供する。前記交通手段は、連節している少なくとも二つの部分を含み、例えば、セミトレーラーである。幾つかの実施例では、前記交通手段は、例えば、汽車、地下鉄という、それぞれが連節している複数の部分を含み、それは、同様に、本願に係る方法を適用することも可能である。
以下に、互いに連節する二つの部分を組み合わせた交通手段を例に挙げて、前記方法を適用する交通手段の構成を簡単に説明する。図１は、本願の一実施例に係る交通手段の構成の模式図である。本実施例では、仮に図における左側を交通手段の走行する方向とする。図１に示される交通手段は、第一部分１０１と第二部分１０２を含み、二つの部分は、連節という形態により接続される。ただし、連節の状態では、第一部分１０１と第二部分１０２との連節点が重なり合う。第一部分１０１における前方側、右側及び左側には、それぞれ、カメラ１１、カメラ１２及びカメラ１３が設置されている。第二部分１０２における後ろ側、右側及び左側には、それぞれ、カメラ２１、カメラ２２及びカメラ２３が設置されている。本実施例では、前記カメラは、１８０°又は他の角度である広角カメラとされてもよい。カメラを配列する形態も、例示的ものである。幾つかの実施例では、さらに、他の形態によりカメラの位置と数を設置してもよい。
幾つかの実施例では、前記交通手段に、さらに、各カメラ間にデータを同期させるためのカメラ同期モジュール（不図示）を含んでもよい。
互いに連節している複数の部分を含む交通手段については、連節点が他の特徴点に対して代替的なものでなく、特殊的地位を有するものである。それは、交通手段における連節している二つの部分の運動状態が如何して変わっても、実際の場合に、交通手段における二つの部分についてそれぞれの連節点が常に重なり合うからである。このような位置状態が比較的に安定している点を参照点とすると、算出の結果が一層明確になるのみならず、生成する画像も実際のシーンに良く接近でき、また、相対的運動により生じる特別の計算力の消費を削減でき、稼働全体の効率を高くすることができる。故に、先に、先算出出互いに連節する部分についてそれぞれ連節点の座標を算出し、次に、既知の重なり合い関係を、次の画像の接合に適用することにより、実際の場面に良く接近でき、しかも、安定的な交通手段の全景ルックアラウンド画像を取得することができる。
以下、本願に記載されている方法の流れを詳しく説明していく。図２Ａは、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法全体の流れを示す模式図であり、図２Ｂは、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成方法の詳しい流れを示す模式図。幾つかの実施例では、図２Ａと２Ｂに示されるように、本願に記載されている交通手段の全景ルックアラウンド画像生成方法は、実際最初画像２１を取得する部分、実際独立ルックアラウンド画像２２を取得する部分、連節点座標２３を取得する部分、及び、全景ルックアラウンド画像２４を取得する部分、という四つの部分に纏められる。
ここで言及する実際最初画像と実際独立ルックアラウンド画像とは、次に連節点座標を算出する時における訓練最初画像と訓練実際独立ルックアラウンド画像を区分するためのものであり、「実際」について強調するものは、交通手段が実際に走行している際に取得する画像である一方、「訓練」について強調するものは、連節点座標を取得するために、わざと、交通手段における第一部分と第二部分との間に特定の角度を設けてから、取得する画像である。
ステップ２１は、実際最初画像を取得する操作に以下のステップを含む。
ステップ２０１は、交通手段における互いに連節する第一部分と第二部分について外部環境の実際最初画像を取得する。ここで言及する第一部分と第二部分は、例えば車の先頭と車両であってもよいし、勿論、他の場合に二つの車両であってもよい。
そのうち、前記実際最初画像は、カメラが直接に取得する画像であり、しかも、第一部分と第二部分について外部環境の実際最初画像を含んでもよい。勿論、これらの実際最初画像は、交通手段そのもの局所的映像を含んでもよい。幾つかの実施例では、前記交通手段は、広角カメラを外側に設置して実際最初画像を取得してもよい。幾つかの実施例では、前記広角カメラは、１８０°又は他の角度である広角カメラであってもよい。幾つかの実施例では、一層優れる画像の表現を良く取得するために、各実際最初画像を撮影する角度を可及的に拡大してもよい。
ステップ２２は、実際独立ルックアラウンド画像を取得する操作に、以下のステップを含む。
ステップ２０２は、前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得する。
第一部分と第二部分についてステップ２０１に取得される実際最初画像データが処理されておらず、隣接するカメラにより撮影される画像に重なり領域が存在している。故に、実際最初画像を転換処理（具体的な転換処理は、以下に詳しく紹介）する必要性があり、また、同一の部分（第一部分又は第二部分）に所属する数多くの画像を固定して接合し、各部分における完全的な実際独立ルックアラウンド画像を取得する。そのうち、第一部分又は第二部分についてそれぞれの実際独立ルックアラウンド画像は、当該部分における連節側を除いた実際外部環境全体の上面図である。
全景ルックアラウンド画像を取得する他の操作を引き続き紹介するためには、各部分を取得する独立ルックアラウンド画像の具体的な方法を予め詳細に紹介しておく。図３は、本願の一実施例に係る交通手段における連節する各部分について実際最初画像を固定して接合する方法の流れを示す模式図であり、言い換えると前記方法におけるステップ２０２を詳しく説明するものである。
当該方法は、以下のステップを含む。
ステップ３０１は、実際最初画像を歪み補正する。
幾つかの実施例では、広角カメラが採集する最初画像は、透視に歪みの形式が出るという特徴を有しており、生じる効果は、画像に歪みを生じさせ、画像における物の距離関係を正確に表現できないことにある。このような歪みを抑制するために、広角カメラが採集する最初画像について歪み補正の処理を行うことが必要となる。幾つかの実施例では、広角カメラについて較正するカメラパラメータと歪み補正パラメータにより実際最初画像を補正処理して、各実際最初画像と対応する補正画像を取得してもよい。そのうち、カメラパラメータと歪み補正パラメータは、広角カメラにおける内部の構成、及び、構築される歪みモデルにより特定される。
ステップ３０２は、歪み補正された画像を透視変換する。
実際の適用において利用者にとって必要なものは、上面の視角による交通手段の運転状態図であることから、歪み補正された画像を透視変換することも必要となる。幾つかの実施例では、異なるカメラが取得する画像を地理座標系に投影して実際の鳥瞰図（較正物を選んで特徴点を指定し、透視変換を行うことにより、取得可能である）を得、補正図と実際の鳥瞰図との間のマッピング関係を生成し、各補正図と対応する実際の鳥瞰図を取得する。
ステップ３０３は、実際鳥瞰図を固定して接合する。
交通手段における互いに連節する各部分については、各部分について各方向に位置する実際の鳥瞰図を接合してもよい。広角カメラの特性により、各部分について隣接するカメラにより撮影する実際の鳥瞰図間に、それぞれ、一部が重なり合う領域が存在していることから、重なり合う領域を補正して実際の固定接合図を接合することが必要となる。
幾つかの実施例では、若干の標識点を人工で選んでマッチングを行うことにより、固定と接合を実現してもよい。勿論、既知の他の方法によりマッチングを行ってもよい。
ステップ３０４は、実際固定接合図について画像のトリミングをする。
前記ステップでは、交通手段について各部分の実際固定接合図を取得したが、このような実際固定接合図に、不要な部分を含む見込みもある。幾つかの実施例では、各部分における実際の固定接合図については、画像の大きさをスクリーンの範囲に合致させスクリーンに表示してから、最終的に、第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得するように、必要に応じて興味を抱く領域だけをトリミングする。
以下、図２Ａと図２Ｂに示される本願に係る交通手段の全景ルックアラウンド画像生成方法を引き続き紹介する。
ステップ２３は、連節点座標を取得するステップは、以下のステップを含む。
ステップ２０３は、連節点座標を取得する。
交通手段にとって、起動する度に初期化を行う際に連節点座標を算出してもよいし、カメラの座標を較正しながら連節点を較正してもよい。走行際には、既知の連節点座標に基づいて算出を行うことができる一方、連節点座標を繰り返して算出する必要が無くなる。以下、連節点座標を算出する方法を単に紹介する。
ここで言及する訓練独立ルックアラウンド画像とは、第一部分と第二部分との連節点座標を算出するために、第一部分と第二部分とについてｎ種類だけ相対位置を人工で形成し、第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像を対応的に取得する。このｎ対の訓練独立ルックアラウンド画像におけるマッチング特徴点に基づいて、対応するｎ個の訓練回転角度を算出することができる。対応するｎ個の訓練変換ベクトルと共に、特定交通手段における第一部分と第二部分についてそれぞれの連節点座標を特定することができる。
図４は、本願の一実施例に係る交通手段における各部分の連節点の座標を算出する方法の流れを示す模式図である。以上に紹介したように、連節点の座標を算出することが図２Ａに示される方法の一部ではなく、当該方法の前に実行済みとなり、連節点座標を算出する方法である。
図４に示されるように、前記交通手段における各部分の連節点の座標を算出する方法は、以下のステップを含む。
ステップ４０１は、それぞれ、第一部分と第二部分についてｎ対の訓練最初画像を取得し、固定と接合を行うことにより、ｎ対の訓練独立ルックアラウンド画像を取得する。各対の画像は、第一部分と第二部分における相対の位置と対応しており、総計すると、ｎ種類の位置がある。そのうち、ｎは、２以上となる正整数であってもよい。固定と接合を行うことにより訓練独立ルックアラウンド画像を取得する操作は、先に紹介した実際独立ルックアラウンド画像を取得する操作と類似であることから省略する。
ステップ４０２は、第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像における各対についてそれぞれの特徴点を検測してマッチングする。
幾つかの実施例では、特徴点とは、画像における鮮明な特性を有しながら画像の本質を効果的に表現できる特徴であって、画像における目標物体を標識できる点を意味している。画像における特徴点は、キーポイント（Ｋｅｙｐｏｉｎｔ）と記述子（Ｄｅｓｃｒｉｐｔｏｒ）という二つの部分で構成される。キーポイントとは、画像にある当該特徴点の位置、方向及び寸法の情報を意味する。記述子とは、一般的に、人工の設定形態により、キーポイントの周辺にあるピクセルの情報を表現するベクトルである。外観が類似なキーポイントは、それと対応する類似な記述子を有することは一般的である。故に、マッチングを行う場合には、ベクトル空間において二つの特徴点の記述子の距離が近いと、それらが同じの特徴点であると認められてもよい。
具体的に、各対の訓練独立ルックアラウンド画像について、互いに連節する二つの部分における訓練独立ルックアラウンド画像のキーポイントを取得し、キーポイントの位置に基づいて、特徴点の記述子を算出し、特徴点の記述子に基づいて、交通手段における互いに連節する二つの部分のルックアラウンド画像の特徴点をマッチングし、交通手段における互いに連節する二つの部分のルックアラウンド画像の特徴マッチング点対を取得する。一実施例では、総当たりマッチングアルゴリズムを用いてもよい。当該アルゴリズムは、ベクトル空間において、互いに連節する二つの部分について訓練独立ルックアラウンド画像特徴点の記述子を一つずつ比べて、距離が小さい一対をマッチング点として選ぶ。
ステップ４０３は、マッチングされた特徴点対に基づいて、前記第一部分と第二部分について特徴点間のｎ個の訓練回転変換行列を算出し、前記第一部分と第二部分との間におけるｎ個の訓練回転角度を対応的に算出する。以下、マッチング特徴点対に基づいて訓練回転角度を算出する幾つかの例を紹介する。
幾つかの実施例では、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）又は最小メディアン（中央値）推定（ＬＭｅｄＳ）というアルゴリズムを採用し、互いに連節する二つの部分を選んで、独立ルックアラウンド画像の特徴マッチング点対を訓練する。ランダムサンプルコンセンサスというアルゴリズムを例に挙げて説明する。具体的に、求められたマッチング点対から複数の対のマッチング点を抽出して回転変換行列を算出し、この複数の対点を「内点」として記録する。マッチング点対における非内点を継続的に見出し、これらのマッチング点対が行列に合致すると、それを内点に追加する。内点における点対の数が所定の閾値よりも大きい場合に、これらのデータに基づいて、回転変換行列を特定することができる。以上の方法に従って、ランダムでｋ回（ｋが０よりも大きい正整数である）だけサンプリングを行い、内点の数が最大である集団を選んで、非内点などの間違いマッチング点対を取り除く。間違いマッチング点を取り除かないと、内点における正しいマッチング点対を用いて特定位置について対応する訓練回転変換行列を求めることができない。ｎ個の訓練回転変換行列に基づいて、第一部分と第二部分との間のｎ個の訓練回転角度
Figure 2023505379000026
 を取得する。
本願に係る方法では、訓練回転角度を取得することが計算によりなされる。物理的に測量により取得を行う従来の形態に比べると、本願に係る方法による結果が一層正確になり、訓練回転角度を取得する過程における操作の難しさが一層低くなる。また、センサーを用いることが少なくなり、コストが一層低くなり、適用性が幅広くなる。また、環境における干渉の要素を避けることができる。
ステップ４０４は、少なくとも、前記第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像間のマッチングの特徴点の座標、及び、対応する第一部分と第二部分との間のｎ個の訓練回転角度に基づいて、ｎ個の訓練変換ベクトルを特定する。
Figure 2023505379000027
 訓練変換ベクトルは、互いに連節する二つの部分の訓練独立ルックアラウンド画像についてその特徴点が一つの画像から他の一つの画像へ変換する訓練変換パラメータであり、例えば、マッチング点対における特徴点が第一部分１０１の訓練独立ルックアラウンド画像から第二部分１０２訓練独立ルックアラウンド画像へ変換する変換パラメータである。故に、一対のマッチング点について、交通手段における第一部分１０１の訓練独立ルックアラウンド画像の特徴点座標を原点とする場合に、交通手段における第二部分１０２の訓練独立ルックアラウンド画像において、対応するマッチング点の座標の数が二つの画像における訓練変換ベクトルと等しい。
Figure 2023505379000028
 ステップ４０５は、前記ｎ対の訓練独立ルックアラウンド画像の特徴点座標、訓練回転角度及び訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分との連節点座標を算出する。ここで、算出とは、交通手段における第一部分と第二部分について訓練独立ルックアラウンド画像における点が、交通手段の運動方向が変化する場合に、それぞれの連節点を円心として回転するものである、ということを前提とする。
Figure 2023505379000029
一般的な場合に、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を取得して算出を試験することが必要となる。故にｎの値が２よりもっと大きいことから、例えば式（４）ような過剰決定系を形成する。最小二乗法により過剰決定系を解くと、実際値と最も接近する第一部分と第二部分の連節点座標を算出でき、つまり、当該式の値が最小となる
Figure 2023505379000030
 を算出できる。
上記のｎ個の角度において若干の異常値が存在するということを考えると、それにより連節点座標を算出する結果に大きい影響を与えてしまう恐れがあることから、更なる方法により異常値による干渉を避ける。
Figure 2023505379000031
Figure 2023505379000032
 次に、選択肢となるこのｍグループの連節点座標を順番付け、順番付けられた結果が正規分布となり、順番付けられた結果における中央値を連節点座標として選ぶ。
本実施例では、ｎは、２以上の整数であり、ｍは、１以上の整数であり、ｍは、ｎよりも小さい。上記の方法に従って、訓練回転角度の異常値が算出の結果に与える影響を効果的に抑えることができる。上記の方法は、互いに連節する二つの部分について訓練独立ルックアラウンド画像の特徴点をマッチングして算出することにより、最終的な連節点座標を取得することができる。従来の物理測量技術に比べると、当該方法による連節点座標は、一層明確になる。連節の構成をする交通手段について、物理測量装置を取り付ける必要が無いことから、その適用性が一層幅広い。当該方法は、その操作が簡単であり、確実性があり、他のツールを介さず連節点を較正することができ、手間が省かれる。
次に、図２Ａと２Ｂに示すように、本願に係る前記交通手段の全景ルックアラウンド画像の生成方法である。ステップ２４は、全景ルックアラウンド画像を取得する操作に、以下のステップを含む。ステップ２０４は、前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域のマッチング特徴点対を特定する。ここで、マッチングとは、二つの点間に対応する関係が存在し、又は、第一部分と第二部分について独立ルックアラウンド画像に示される点が同じであるということを意味する。しかし、実際の場合に、マッチングされる点とは、必ず、以下に言及するマッチングが成功となる点を意味しない。
幾つかの実施例では、前記特徴点対をマッチングする方法は、特徴点の検測、特徴点のマッチング及び特徴点の取り除きを含む。幾つかの実施例では、前記方法の過程は、ステップ４０２とステップ４０３と類似であることから、ここで繰り返して説明しない。また、操作される画像データとは、実際に走行する際に取得される画像であり、訓練の画像ではない。
幾つかの実施例では、前記特徴点検測方法は、ＯＲＢ、ＳＵＲＦ又はＳＩＦＴのアルゴリズムなどを含む。幾つかの実施例では、前記特徴点マッチングアルゴリズムは、総当たりマッチングアルゴリズム又は最近傍マッチングアルゴリズムなどを含む。
幾つかの実施例では、特徴点取り除き方法をさらに含み、前記取り除き方法は、ＲＡＮＳＡＣ又はＧＭＳアルゴリズムなどを含む。
ステップ２０５は、前記第一部分と第二部分について実際独立ルックアラウンド画像の連節点を重ね合わせ、仮に第二部分における独立ルックアラウンド画像をそのまま固定するとすると、前記第一部分における独立ルックアラウンド画像を、重ね合わせた連節点回りに回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させ、前記マッチング特徴点対におけるマッチングが成功となる点対の数を特定する。
勿論、他の実施例によると、第一部分における独立ルックアラウンド画像をそのまま固定し、第二部分の独立ルックアラウンド画像を、連節点回りに回転させ、又は、前記第二部分のマッチング特徴点を前記第一部分のマッチング特徴点に対して回転させてもよい。
Figure 2023505379000033
幾つかの実施例では、Ｉｖｅｒｓｏｎｂｒａｃｋｅｔを用いて、式（９）に示すようにこの結果を表現する。
Figure 2023505379000034
式（１１）を用いてマッチングが成功となる特徴点対の量ｋを算出する。
Figure 2023505379000035
 ｉの値が０からＬまでであり、そのうち、Ｌは、第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチングされた特徴点対の数であり、Ｌは、１以下の整数である。
ステップ２０６は、マッチングが成功となる特徴点対の数が最大である時における対応する回転角を、前記第二部分に対する第一部分の候補回転角度とする。
Figure 2023505379000036
 この実施例では、候補の回転角度が唯一であり、もし唯一でない場合に、以下の実施例に基づいて引き続き算出を行って、実際回転角度を特定する。
選択可能なことは、一実施例によると、ステップ２０６の後にステップ２０８へ移行する。前記候補回転角度を実際回転角度として、連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を結合して前記交通手段の全景ルックアラウンド画像を取得する。
本実施例に紹介する方法では、交通手段における第一部分と第二部分との間の実際回転角度を急速で特定することができ、資源を省くことができ、実際の運転際に、交通手段の全景ルックアラウンド画像を急速で結合することに役立つことができる。
選択可能なことは、他の実施例に、ステップ２０６の後に、ステップ２０７へ移行する。
ステップ２０７は、前記候補回転角度に基づいて前記マッチングが成功となる特徴点対の座標を特定し、マッチングが成功となる各特徴点対における両点の距離を算出して当該距離の和を求め、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とする。
ステップ２０６により得られる候補回転角度は、一つしかないと、依然としてステップ２０７を用いて候補回転角度を微細調整することも可能である。ステップ２０６の操作を行わず、そのままステップ２０７の操作を行うと、マッチングが誤った特徴点対間の距離の和が最小であることから、正しくない回転角を取得する恐れがある。故に、先に、ステップ２０６における操作を先に実行することが重要なものである。
Figure 2023505379000037
 ただし、Ｇは、マッチングが成功となる特徴点対の個の数であり、ＸＧは、マッチングが成功となる特徴点の集団であり、Ｇは、１以上の整数であり、Ｇは、Ｌ以下である。
ステップ２０６により取得された候補回転角の数が唯一でない場合には、そのうちから一つを最終的な実際回転角度として特定する。Ｆ個だけの候補回転角度がある場合に、Ｆが１よりも大きい整数である。そして、このＦ個の回転角に基づいて式（８）に代入してＦ個だけの候補回転変換行列Ｈを取得し、Ｆ個の回転変換行列を式（１０）に代入し、マッチングが成功となるすべての点ＸｊとＸｊ’についてそれらの座標を算出し取得して、点の集団ＸＧを取得する。
Figure 2023505379000038
Figure 2023505379000039
当該実施例に紹介する方法は、さらに、収束条件を設定して精密に算出を行い、ステップ２０６における算出した結果をさらに微細調整することにより、マッチングが成功となる特徴点対が一層近接するようにし、重なり合う度合いが一層高くなり、得られる実際回転角度が一層実際に近づく。そして、算出された実際回転角の特定性が高まり、最終的な結果は、ロバストネスが一層良くなり、精度が一層高くなる。
また、本実施例では、その方法により、ステップ２０６において複数の候補回転角を取得することにより決めることができないという問題をさらに解決でき、最終的な結果の特定性を高めることができる。
本願に係る方法は、第一部分と第二部分との連節関係によるものであることから、両者の連節点の座標が重なり合う前提条件を設置し、その前提において、マッチングが成功となる特徴点対の数が最も多い角度を実際回転角度として選択する。従来の方法では、ルックアラウンド画像におけるマッチングされた特徴点にのみ基づいて、第一部分と第二部分との回転変換の関係を算出することから、異なる場合において第一部分と第二部分との間の距離が時によって離れたり近づいたりする蠕動という視覚の効果が発生してしまう。しかし、本願では、第一部分と第二部分との連節点の座標が固定していることから、この問題を良く避けることができる。
本願に係る方法では、他のセンサー（例えば角度センサー）を取り付け、車両の操舵データを取得する必要が無く、カメラにより採集される画像だけに基づいて画像自体の特徴をマッチングすると、車両の角度が変わる場合に全景ルックアラウンドの機能を図り、解决了従来のルックアラウンドの手段の場合に、第一部分と第二部分の回転角度が即時で変換すると、継ぎ目がない全景接合を実現できないという課題を解決することができ、操作が簡単になり、コストが低いなどの利点を有している。
図５は、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置の構成の模式図である。この装置は、交通手段に位置してもよいし、交通手段の遠隔サーバー装置に位置してもよい。
図に示すように、前記交通手段の全景ルックアラウンド画像生成装置は、その構成が以下の手段を含む。
最初画像取得手段５０１は、交通手段における互いに連節する二つの部分について外部環境の最初画像を取得するように配置される。幾つかの実施例では、最初画像取得手段５０１は、交通手段における互いに連節する二つの部分に連節していない側に設けられた一つ又は複数の広角カメラを含んでもよい。最初画像取得手段５０１は、実際の最初画像を取得したり、訓練の最初画像を取得したりするためのものである。
独立ルックアラウンド画像取得手段５０２は、前記最初画像取得手段５０１にカップリングされ、前記二つの部分における最初画像データをそれぞれ当該部分における独立ルックアラウンド画像に接合するように配置される。独立ルックアラウンド画像取得手段５０２は、交通手段における第一部分と第二部分の実際独立ルックアラウンド画像を取得したり、両者の訓練独立ルックアラウンド画像を取得したりするためのものである。
連節点較正手段５０３は、独立ルックアラウンド画像取得手段５０２にカップリングされ、訓練独立ルックアラウンド画像データに基づいて、連節点座標を算出するように配置される。一実施例によると、連節点較正手段５０３は、図４に示す実施例における方法ステップ４０２～ステップ４０５の操作を実行するように配置されてもよい。この手段による操作は、連節点座標を取得する。連節点座標は、車両が実際に走行する前に、又は、起動する度に、算出して取得されるものである。取得すると、当該座標値を記録して次回の使用に備える。
勿論、他の実施例によると、当該装置に連節点較正手段を含むことなく、遠隔サーバー装置により連節点座標を算出して、算出された連節点座標を当該装置に送信してもよい。
全景ルックアラウンド画像取得手段５０４は、連節点較正手段５０３と前記独立ルックアラウンド画像取得手段５０２にカップリングされ、第二部分に対する第一部分の実際回転角度を特定し、連節点座標と実際回転角度に基づいてこの二つの部分の実際独立ルックアラウンド画像を当該交通手段の全景ルックアラウンド画像に結合するように配置される。
他の実施例は、交通手段の全景ルックアラウンド画像生成装置に連節点較正手段を含むことなく、外部から連節点座標を受信してもよい。
図６は、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における独立ルックアラウンド画像取得手段の構成の模式図である。図６に示されるように、独立ルックアラウンド画像取得手段５０２は、以下のモジュールを含む。画像歪み補正モジュール６１は、前記最初画像取得モジュール５０１にカップリングされ、前記最初画像を歪み補正して、前記最初画像と対応する補正画像を取得するように配置される。
透視変換モジュール６２は、前記画像歪み校正モジュール６１にカップリングされ、前記補正画像を地理座標系に投影して鳥瞰図を対応的に形成するように配置される。
固定接合モジュール６３は、前記透視変換モジュール６２にカップリングされ、それぞれ前記第一部分と第二部分についてそれらの鳥瞰図を固定して接合し、それぞれ前記第一部分の固定接合画像と前記第二部分の固定接合画像を取得するように配置される。
画像トリミングモジュール６４は、前記固定接合モジュール６３にカップリングされ、前記第一部分の固定接合画像和前記第二部分の固定接合画像をトリミングして、第一部分と第二部分について独立ルックアラウンド画像を取得するように配置される。
そのうち、独立ルックアラウンド画像を具体的に取得する方法は、図３に示される前記の実施例に開示されたことから、ここで繰り返して説明しない。
図７は、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における連節点較正手段の構成の模式図である。図７に示されるように、連節点較正手段５０３は、以下のモジュールを含む。特徴点検測マッチングモジュール７１は、前記独立ルックアラウンド画像取得手段５０２にカップリングされ、第一部分と第二部分についてｎ対の訓練独立ルックアラウンド画像を受信し、前記第一部分と第二部分について各対の訓練独立ルックアラウンド画像における特徴点を検測してマッチングするように配置される。
訓練回転角度算出モジュール７２は、前記特徴点検測マッチングモジュール７１にカップリングされ、マッチングされた特徴点の座標に基づいて、各対の訓練独立ルックアラウンド画像における前記第一部分特徴点と第二部分特徴点との間のｎ個の訓練回転変換行列を取得し、各対の独立ルックアラウンド画像における前記第一部分と第二部分との間のｎ個の訓練回転角度を対応的に取得するように配置される。
訓練変換ベクトル取得モジュール７３は、訓練回転角度算出モジュール７２にカップリングされ、前記第一部分と第二部分について各対の訓練独立ルックアラウンド画像の特徴点の座標、及びｎ個の訓練回転角度に基づいて、各対の独立ルックアラウンド画像における対応するｎ個の訓練変換ベクトルを特定するように配置される。
連節点座標特定モジュール７４は、前記訓練変換ベクトル取得モジュール７３及び訓練回転角度算出モジュール７２にカップリングされ、前記ｎ対の訓練独立ルックアラウンド画像におけるマッチング特徴点座標、ｎ個の訓練回転角度及び対応するｎ個の訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分との連節点座標を特定するように配置される。
そのうち、連節点座標を具体的に取得する方法は、図４に示される前記の実施例に開示されたため、ここで繰り返して説明しない。
幾つかの実施例では、連節点座標特定モジュール７４は、以下のように配置されてもよい。先に、ｎ対の訓練独立ルックアラウンド画像における両対を一グループに分け、総計するとｍグループとなる。次に、各グループにおける訓練独立ルックアラウンド画像の特徴点の座標、訓練回転角度及び訓練変換ベクトルに基づいて、対応する連節点座標を取得して結果を算出する。次に、それぞれ、ｍグループだけの訓練独立ルックアラウンド画像を求めて結果を算出すると、各グループの連節点座標について結果を算出してから順番付け、順番付けられた結果における中央値を連節点座標とする。そのうち、具体的な方法は、前記式（５）と式（６）に係る内容に開示されたことから、ここで繰り返して説明しない。
幾つかの実施例では、算出の正確性を高めるように、一グループの前記訓練独立ルックアラウンド画像について前記第一部分と第二部分との間の訓練回転角度の差分が所定の角度よりも大きい方が良い。
上記の交通手段における全景ルックアラウンド画像生成装置は、互いに連節する二つの部分について訓練独立ルックアラウンド画像の特徴点をマッチングして算出することにより、最終的な連節点座標を首取得する。従来の物理測量技術に比べると、当該方法により得られる連節点座標が一層明確になる。連節の構成である交通手段は、その適用性が一層広がる。当該方法は、その操作が簡単であり、確実性があり、例えば角度センサーという他の工具が無くても、連節点の較正が可能となり、手間が省かれる。
図８は、本願の一実施例に係る交通手段の全景ルックアラウンド画像生成装置における全景ルックアラウンド画像取得手段の構成の模式図である。図８に示されるように、全景ルックアラウンド画像取得手段５０４は、前記独立ルックアラウンド画像取得手段５０２にカップリングされ、第一部分と第二部分について実際独立ルックアラウンド画像を受信し、そのうちの特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュール８１を含む。異なる実施例によって、８１が７１と同じや異なるモジュールであってもよい。
実際回転角度算出モジュール８２は、特徴点検測マッチングモジュール８１及び連節点較正手段５０３にカップリングされ、連節点座標を受信し、前記第一部分と第二部分における独立ルックアラウンド画像連節点を重ね合わせ、各マッチング特徴点対における両点間の距離を算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対としマッチングが成功となる特徴点対の数が最大である時における対応する回転角を第二部分に対する前記第一部分の候補回転角度とするように配置されてもよい。
全景ルックアラウンド画像生成モジュール８３は、実際回転角度算出モジュール８２及び連節点較正手段５０３にカップリングされ、前記候補回転角度を実際回転角度として、連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を結合させてから前記交通手段の全景ルックアラウンド画像を取得するように配置されてもよい。
他の実施例によると、実際回転角度算出モジュール８２は、前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定し、マッチングが成功となる各特徴点対における両点の距離を算出し当該距離の和を求め、求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とする、ように配置されてもよい。
全景ルックアラウンド画像生成モジュール８３は、実際回転角度算出モジュール８２及び連節点較正手段５０３にカップリングされ、連節点座標と特定の実際回転角度に基づいて、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を回転しながら変換と接合を行ってから前記交通手段の全景ルックアラウンド画像を取得するように配置される。
図９は、本願の一実施例に係る知能交通手段の構成の模式図である。当該知能交通手段は、プロセッサー９０１、及び、プロセッサー９０１に実行されるコンピュータープログラムを記憶するための記憶手段９０２を含み、そのうち、前記プロセッサー９０１は、前記コンピュータープログラムを実行する場合に、本願の一実施例が提供した方法の一部や全体を実行するためのものである。ここで、プロセッサー９０１と記憶手段９０２については、その数が一つ限りではなく、一つ又は複数であってもよい。当該知能交通手段は、さらに、メモリ９０３、ネットワークインターフェース９０４、及び、メモリ９０３、ネットワークインターフェース９０４、プロセッサー９０１及び記憶手段９０２を接続するシステムバス９０５をさらに含んでもよい。記憶手段には、オペレーティングシステムと本願に係る実施例が提供するデータプロセッサーが記憶されている。プロセッサー９０１は、知能交通手段全体の操作をサポートするためのものである。メモリ９０３は、記憶手段９０２におけるコンピュータープログラムの実行に必要な環境を提供するためのものである。ネットワークインターフェース９０４は、例えば利用者より入力した運転制御命令指令を取得するものなど、外部サーバー装置、端末装置などに、ネットワーク通信、データ受信又はデータ送信を行うものである。そのうち、当該知能交通手段は、、交通手段が所在している位置情報を取得するように配置されるＧＰＳ手段９０６をさらに含んでもよい。センサー手段９０７は、実際又は訓練の最初画像を取得するように配置される広角カメラを含んでもよい。
本願の実施例は、コンピューター記憶媒体をさらに提供する。それは、例えば、コンピュータープログラムを記憶している記憶手段を含み、当該コンピュータープログラムは、プロセッサーにより実行され、本願における幾つかの一実施例が提供した、カメラの姿態情報を検測する方法のステップを実現する。当該コンピューター記憶媒体は、ＦＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＦｌａｓｈＭｅｍｏｒｙ、磁気記憶手段、光ディスク、又はＣＤ－ＲＯＭなどの記憶手段であってもよいし、上記の記憶手段の一つや任意に組み合わせた各種の装置であってもよい。
他の実施例では、本願に係る方法が、その一部や全体について、知能運転装置の遠隔サーバーにより、実行されてもよい。
以上に説明した実施例は、本願における幾つかの実施形態を示したものであり、詳しい説明を詳細に行ったが、それにより本願の範囲を限定するものとして理解されるべきではない。注意されたいとことは、当業者にとって本願の趣旨や発想を逸脱しない限り、若干の変形や改良も可能であり、それらは、いずれも、本願の保護範囲に含まれる。故に、本願が保護しようとする範囲は、特許請求の範囲に準ずるものである。

Claims (13)

  1. 交通手段における互いに連節する第一部分と第二部分について、外部環境の実際最初画像を取得すること、
    前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得すること、
    前記第一部分と第二部分についてそれぞれの連節点座標を取得すること、
    前記第一部分と第二部分について実際独立ルックアラウンド画像におけるマッチング特徴点対を特定すること、
    前記第一部分と第二部分について実際独立ルックアラウンド画像におけるそれぞれの連節点を重ね合わせ、前記第一部分の独立ルックアラウンド画像を前記第二部分の独立ルックアラウンド画像に対して回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させる場合に、各マッチング特徴点対における両点間の距離を対応的に算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対とすること、
    少なくとも、マッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定すること、及び、
    前記連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分におけるそれぞれの実際独立ルックアラウンド画像を結合させ、前記交通手段の全景ルックアラウンド画像を取得する、ことを含む、ことを特徴とする交通手段の全景ルックアラウンド画像生成方法。
  2. 少なくとも、マッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定することは、
    マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の実際回転角度とする、ことをと含む、ことを特徴とする請求項１に記載の交通手段の全景ルックアラウンド画像生成方法。
  3. 少なくとも、マッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定することは、包括：
    マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の候補回転角度とすること、
    前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定すること、
    マッチングが成功となる各特徴点対における両点の距離を算出して当該距離の和を求めること、及び、
    求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とすることを含む、ことを特徴とする請求項１に記載の交通手段の全景ルックアラウンド画像生成方法。
  4. 前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定することは、前記第一部分と第二部分との連節点の座標及び前記候補回転角度に基づいて、候補回転変換行列を取得することを含み、
    マッチングが成功となる特徴における両点間の距離を算出することは、前記マッチング特徴点対の座標と前記候補回転変換行列に基づいて、前記マッチングが成功となる特徴点対における両点間の距離を算出することを含む、ことを特徴とする請求項３に記載の交通手段の全景ルックアラウンド画像生成方法。
  5. 前記実際最初画像を処理して前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得することは、
    前記第一部分と第二部分について外部環境の実際最初画像を歪み補正すること、
    補正された画像を地理座標系に投影して前記第一部分と前記第二部分の鳥瞰図を生成すること、
    前記第一部和第二部分についてそれぞれの鳥瞰図における重なり領域の内部特徴点をそれぞれ検測しマッチングしながら固定し接合して、前記第一部分と第二部分についてそれぞれの固定接合図を取得すること、及び、
    前記第一部分と第二部分におけるそれぞれの固定接合図をトリミングして、前記第一部分と第二部分についてそれぞれの実際独立ルックアラウンド画像を取得する、ことを含む、ことを特徴とする請求項１に記載の交通手段の全景ルックアラウンド画像生成方法。
  6. 前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域のマッチング特徴点対を特定することは、
    前記第一部分と第二部分について実際独立ルックアラウンド画像における重なり領域の自然特徴点を検測して記述子を生成する特徴点検測と、
    少なくとも前記記述子に基づいて、ｏｒｂ、ｓｕｒｆ又はｓｉｆｔのアルゴリズムを含むマッチングアルゴリズムにより、特徴点マッチング対を生成する特徴点マッチングと
    ＲＡＮＳＡＣ又はＧＭＳのアルゴリズムを含む取り除きアルゴリズムにより、マッチングが誤ったマッチング点対を取り除く特徴点取り除きを含む、ことを特徴とする請求項１に記載の交通手段の全景ルックアラウンド画像生成方法。
  7. 前記第一部分と第二部分の連節点座標を算出する方法をさらに含み、この方法は、
    第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を取得すること、
    各対の前記訓練独立ルックアラウンド画像について、特徴点を検測してマッチングすること、
    各対の訓練独立ルックアラウンド画像におけるマッチングされた特徴点対に基づいて、対応する複数の訓練回転変換行列を算出し、ひいては、前記第一部分と第二部分との間における対応する複数の訓練回転角度を算出すること、
    少なくとも前記複数の対の訓練独立ルックアラウンド画像におけるマッチングされた特徴点座標、及び前記複数の訓練回転角度に基づいて、前記第一部分と第二部分との間における対応する複数の訓練変換ベクトルを特定すること、
    前記複数の対の独立ルックアラウンド画像の特徴点座標、前記複数の訓練回転角度及び前記複数の訓練変換ベクトルに基づいて、前記第一部分と第二部分との連節点座標を算出する、ことを含む、ことを特徴とする請求項１に記載の交通手段の全景ルックアラウンド画像生成方法。
  8. 前記第一部分と第二部分との連節点座標を算出する方法は、
    前記複数の訓練回転角度における少なくとも二つの訓練回転角度を一グループとし、前記訓練変換ベクトルに基づいて、対応する当該グループにおける選択肢連節点座標を算出して取得すること、
    全ての選択肢連節点座標を順番付け、順番付けられた結果の中央値を前記第一部分と第二部分の連節点座標とすることをさらに含み、
    各グループにおける少なくとも二つの訓練回転角度の差が所定の角度閾値よりも大きい、ことを特徴とする請求項７に記載の交通手段の全景ルックアラウンド画像生成方法。
  9. 交通手段における互いに連節する第一和第二部分について外部環境における実際又は訓練の最初画像を取得するように配置される最初画像取得手段と、
    前記最初画像取得手段にカップリングされ、前記第一部分と第二部分について実際又は訓練の最初画像を、それぞれ実際又は訓練の独立ルックアラウンド画像に接合する、ように配置される独立ルックアラウンド画像取得手段と、
    前記連節点較正手段と前記独立ルックアラウンド画像取得手段にカップリングされる全景ルックアラウンド画像取得手段とを含み、前記全景ルックアラウンド画像取得手段は、
    前記独立ルックアラウンド画像取得手段にカップリングされ、前記第一部分と第二部分の実際独立ルックアラウンド画像を受信し、そのうちの特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュールと、
    前記特徴点検測マッチングモジュールにカップリングされ、前記第一部分と第二部分の連節点座標を取得し、前記第一部分と第二部分の独立ルックアラウンド画像連節点を重ね合わせ、前記第一部分の独立ルックアラウンド画像を前記第二部分の独立ルックアラウンド画像に対して回転させ、又は、前記第一部分のマッチング特徴点を前記第二部分のマッチング特徴点に対して回転させる場合に、各マッチング特徴点対における両点間の距離を算出し、当該距離が所定の第一閾値よりも小さいマッチング特徴点対をマッチングが成功となる特徴点対をとして、少なくともマッチングが成功となる特徴点対の数に基づいて第二部分に対する前記第一部分の実際回転角度を特定する、ように配置される実際回転角度算出モジュールと、
    前記実際回転角度算出モジュールにカップリングされ、前記連節点座標と前記実際回転角度に基づいて、前記第一部分と第二部分におけるそれぞれの実際独立ルックアラウンド画像を結合させ前記交通手段の全景ルックアラウンド画像を取得する、ように配置される全景ルックアラウンド画像生成モジュールを含む、ことを特徴とする交通手段の全景ルックアラウンド画像生成装置。
  10. 実際回転角度算出モジュールは、少なくともマッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定するように配置されること、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の実際回転角度ことを含む、ことを特徴とする請求項９に記載の交通手段の全景ルックアラウンド画像生成装置。
  11. 実際回転角度算出モジュールは、少なくともマッチングが成功となる特徴点対の数に基づいて、第二部分に対する前記第一部分の実際回転角度を特定するように配置されることは、マッチングが成功となる特徴点対の数が最大である時における対応する角度を前記第一部分と第二部分との間の候補回転角度とすること、
    前記候補回転角度に基づいて、前記マッチングが成功となる特徴点対の座標を特定すること、
    マッチングが成功となる各特徴点対における両点の距離を算出して当該距離の和を求めること、及び、
    求められた和の結果が最小である時における対応する回転角度を第二部分に対する前記第一部分の実際回転角度とする、ことを含む、ことを特徴とする請求項９に記載の交通手段の全景ルックアラウンド画像生成装置。
  12. 前記独立ルックアラウンド画像取得手段にカップリングされる連節点較正手段をさらに含み、前記連節点較正手段は、
    前記独立ルックアラウンド画像取得手段にカップリングされ、第一部分と第二部分について複数の対の訓練独立ルックアラウンド画像を受信し、前記第一部分と第二部分についてそのうちの各対の訓練独立ルックアラウンド画像における特徴点を検測してマッチングするように配置される特徴点検測マッチングモジュールと、
    前記特徴点検測マッチングモジュールにカップリングされ、マッチングされた特徴点座標に基づいて、各対の訓練独立ルックアラウンド画像における前記第一部分と第二部分特徴点との間の複数の訓練回転変換行列を取得し、各対の独立ルックアラウンド画像における前記第一部分と第二部分との間の複数の訓練回転角度を対応的に取得するように配置される訓練回転角度算出モジュールと、
    前記訓練回転角度算出モジュールにカップリングされ、各対の訓練独立ルックアラウンド画像におけるマッチングされる特徴点の座標及び複数の訓練回転角度に基づいて、各対の訓練独立ルックアラウンド画像における対応する複数の訓練変換ベクトルを特定するように配置される訓練変換ベクトル取得モジュールと、
    前記変換ベクトル取得モジュール及び前記訓練回転角度算出モジュールにカップリングされ、前記複数の対の訓練独立ルックアラウンド画像のマッチング特徴点座標、複数の訓練回転角度及び対応する複数の訓練変換ベクトルに基づいて、前記交通手段における第一部分と第二部分との連節点座標を特定する、ように配置される連節点座標特定モジュールを含む、ことを特徴とする請求項９～１１の何れか一項に記載の交通手段の全景ルックアラウンド画像生成装置。
  13. 互いに連節する第一部分と第二部分と、
    プロセッサーと、
    前記プロセッサーとカップリングする記憶手段と、
    前記第一部分と第二部分について実際又は訓練の最初画像を撮影するように配置されるセンサー手段、を含み、
    前記プロセッサーは、請求項１～８のうちの何れか一項に記載の方法を実行するように配置される、ことを特徴とする知能交通手段。
JP2022535119A 2019-12-16 2020-12-16 交通手段の全景ルックアラウンド画像を生成する方法と装置 Active JP7335446B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911289818.9A CN110719411B (zh) 2019-12-16 2019-12-16 车辆的全景环视图像生成方法及相关设备
CN201911289818.9 2019-12-16
PCT/CN2020/136729 WO2021121251A1 (zh) 2019-12-16 2020-12-16 一种交通工具全景环视图像生成的方法和装置

Publications (2)

Publication Number Publication Date
JP2023505379A true JP2023505379A (ja) 2023-02-08
JP7335446B2 JP7335446B2 (ja) 2023-08-29

Family

ID=69216602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022535119A Active JP7335446B2 (ja) 2019-12-16 2020-12-16 交通手段の全景ルックアラウンド画像を生成する方法と装置

Country Status (5)

Country Link
US (1) US11843865B2 (ja)
EP (1) EP4060980A4 (ja)
JP (1) JP7335446B2 (ja)
CN (1) CN110719411B (ja)
WO (1) WO2021121251A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751598B (zh) * 2019-10-17 2023-09-26 长沙智能驾驶研究院有限公司 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN110719411B (zh) 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备
CN113225613B (zh) * 2020-01-21 2022-07-08 北京达佳互联信息技术有限公司 图像识别、视频直播方法和装置
CN116012805B (zh) * 2023-03-24 2023-08-29 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质
CN116109852B (zh) * 2023-04-13 2023-06-20 安徽大学 一种快速及高精度的图像特征匹配错误消除方法
CN116563356B (zh) * 2023-05-12 2024-06-11 北京长木谷医疗科技股份有限公司 全局3d配准方法、装置及电子设备
CN118521807B (zh) * 2024-07-19 2024-09-17 湖南视比特机器人有限公司 一种标志点的配对方法、介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109451A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2015179426A (ja) * 2014-03-19 2015-10-08 富士通株式会社 情報処理装置、パラメータの決定方法、及びプログラム
JP2019149143A (ja) * 2018-02-27 2019-09-05 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
CN102045546B (zh) * 2010-12-15 2013-07-31 广州致远电子股份有限公司 一种全景泊车辅助系统
CN102629372A (zh) * 2012-02-22 2012-08-08 北京工业大学 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法
CN103879352A (zh) * 2012-12-22 2014-06-25 鸿富锦精密工业（深圳）有限公司 汽车泊车辅助系统及方法
CN103366339B (zh) * 2013-06-25 2017-11-28 厦门龙谛信息系统有限公司 车载多广角摄像头图像合成处理装置及方法
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
EP3832423A3 (en) * 2013-11-30 2021-09-01 Saudi Arabian Oil Company System and method for calculating the orientation of a device
CN103763517B (zh) * 2014-03-03 2017-02-15 惠州华阳通用电子有限公司 一种车载环视显示方法及系统
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
US9986173B2 (en) * 2014-05-16 2018-05-29 GM Global Technology Operations LLC Surround-view camera system (VPM) online calibration
US20160191795A1 (en) 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
CN105451000B (zh) * 2015-12-27 2019-02-15 高田汽车电子(上海)有限公司 一种基于单目后视摄像头的车载全景环视系统及方法
US9946264B2 (en) * 2016-03-22 2018-04-17 Sharp Laboratories Of America, Inc. Autonomous navigation using visual odometry
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
CN106799993B (zh) 2017-01-09 2021-06-11 智车优行科技（北京）有限公司 街景采集方法和系统、车辆
CN107424120A (zh) 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
CN107154022B (zh) * 2017-05-10 2019-08-27 北京理工大学 一种适用于拖车的动态全景拼接方法
CN109429039B (zh) * 2017-09-05 2021-03-23 中车株洲电力机车研究所有限公司 一种多编组铰接车辆周界视频全景显示系统及方法
CN108263283B (zh) * 2018-01-25 2020-01-14 长沙立中汽车设计开发股份有限公司 多编组变角度车辆全景环视系统标定及拼接方法
CN109883433B (zh) * 2019-03-21 2023-07-18 中国科学技术大学 基于360度全景视图的结构化环境中车辆定位方法
CN110363085B (zh) * 2019-06-10 2021-11-09 浙江零跑科技股份有限公司 一种基于铰接角补偿的重型铰接车环视实现方法
CN110751598B (zh) * 2019-10-17 2023-09-26 长沙智能驾驶研究院有限公司 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN110719411B (zh) * 2019-12-16 2020-04-03 长沙智能驾驶研究院有限公司 车辆的全景环视图像生成方法及相关设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109451A (ja) * 2008-10-28 2010-05-13 Panasonic Corp 車両周囲監視装置及び車両周囲監視方法
JP2015179426A (ja) * 2014-03-19 2015-10-08 富士通株式会社 情報処理装置、パラメータの決定方法、及びプログラム
JP2019149143A (ja) * 2018-02-27 2019-09-05 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法

Also Published As

Publication number Publication date
EP4060980A4 (en) 2023-08-02
WO2021121251A1 (zh) 2021-06-24
EP4060980A1 (en) 2022-09-21
CN110719411B (zh) 2020-04-03
CN110719411A (zh) 2020-01-21
US20230023046A1 (en) 2023-01-26
US11843865B2 (en) 2023-12-12
JP7335446B2 (ja) 2023-08-29

Similar Documents

Publication Publication Date Title
JP7335446B2 (ja) 交通手段の全景ルックアラウンド画像を生成する方法と装置
CN109523597B (zh) 相机外参的标定方法和装置
JP6197388B2 (ja) 距離測定装置、距離測定方法、およびプログラム
Carrera et al. SLAM-based automatic extrinsic calibration of a multi-camera rig
Pizarro et al. Relative Pose Estimation for Instrumented, Calibrated Imaging Platforms.
CN107154014B (zh) 一种实时彩色及深度全景图像拼接方法
US7764284B2 (en) Method and system for detecting and evaluating 3D changes from images and a 3D reference model
CN101563709A (zh) 校准照相机系统
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US9449378B2 (en) System and method for processing stereoscopic vehicle information
WO2021073634A1 (zh) 交通工具铰接点标定方法、及相应的标定装置、计算机设备和存储介质
JP6662382B2 (ja) 情報処理装置および方法、並びにプログラム
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
JP2010217984A (ja) 像検出装置及び像検出方法
JPH1079029A (ja) 立体情報検出方法及びその装置
JP2014092922A (ja) 検出装置、検出方法及び検出プログラム
JP2005141655A (ja) ３次元モデリング装置及び３次元モデリング方法
JP2022516466A (ja) 情報処理装置、情報処理方法、並びにプログラム
JP2005275789A (ja) 三次元構造抽出方法
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN112115930B (zh) 位姿信息的确定方法和装置
CN114493990A (zh) 车辆底盘区域图像生成方法、电子装置和存储介质
CN114463393A (zh) 图像配准方法、计算机设备及存储装置
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
KR20140117808A (ko) 감시카메라의 영상 왜곡 보정장치 및 왜곡 보정방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230817

R150 Certificate of patent or registration of utility model

Ref document number: 7335446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150