JP6165745B2 - 車載搭載型のコンピュータ・ベース視覚システムの校正方法 - Google Patents

車載搭載型のコンピュータ・ベース視覚システムの校正方法 Download PDF

Info

Publication number
JP6165745B2
JP6165745B2 JP2014535029A JP2014535029A JP6165745B2 JP 6165745 B2 JP6165745 B2 JP 6165745B2 JP 2014535029 A JP2014535029 A JP 2014535029A JP 2014535029 A JP2014535029 A JP 2014535029A JP 6165745 B2 JP6165745 B2 JP 6165745B2
Authority
JP
Japan
Prior art keywords
mapping
parameter
sequence
external
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014535029A
Other languages
English (en)
Other versions
JP2015501471A (ja
Inventor
ミシェル・ドーム
エリック・ロワイエ
マキシム・リュリエール
ダッタ・ラマダサン
ナディア・カラム
クレマン・ディミエール
ワジーム・リトヴィフ
ヒシャム・ハジュ・アベデルカデル
ティエリー・シャトー
ジャン−マルク・ラヴェス
フランソワ・マルモワトン
セルジュ・アリゾン
ローラン・マラテール
ピエール・ルブラリー
Original Assignee
ユニヴェルシテ・ブレーズ・パスカル−クレルモン・2
ユニヴェルシテ・オーヴェルニュ・クレルモン・1
サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク(セ.エン.エル.エス.)
サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク(セ.エン.エル.エス.)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニヴェルシテ・ブレーズ・パスカル−クレルモン・2, ユニヴェルシテ・オーヴェルニュ・クレルモン・1, サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク(セ.エン.エル.エス.), サントル ナスィオナル ド ラ ルシェルシュ スィアンティフィク(セ.エン.エル.エス.) filed Critical ユニヴェルシテ・ブレーズ・パスカル−クレルモン・2
Publication of JP2015501471A publication Critical patent/JP2015501471A/ja
Application granted granted Critical
Publication of JP6165745B2 publication Critical patent/JP6165745B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明とその対応する研究は、IMobS3ラボラトリ・オブ・エクセレンス(Laboratory of Excellence)(ANR−10−LABX−16−01)を通じたフランス政府の研究プログラム「Investissements d‘avenir」、地域の競争力と雇用目的2007−2013(ERDF―オーヴェルニュ地方)を通じた欧州連合、およびオーヴェルニュ地方からの支援を受けている。
本発明は、外部パラメータと内部パラメータを有する1組の固定されたカメラを備えた車載搭載型のコンピュータ・ベース視覚システムを校正するための方法に関する。
1組の固定された同期カメラを備えたコンピュータ・ベース視覚システムを使用して、車両が移動している環境の3D再構築を決定することが可能である。
例えば学習した参照軌跡に沿って移動するためにコンピュータ・ベース視覚システムによって取得した画像を使用するように設計された、自動誘導型の車両を誘導するために、かかるコンピュータ・ベース視覚システムを使用することが可能である。
これを行うために、コンピュータ・ベース視覚システムを移動させることによって取得した画像に基づいて3D再構築を使用することが可能である(「Structure From Motion」または「SFM」)。
かかる方法では、学習段階において、操作者が参照軌跡に沿った車両の移動を制御することができる。事前に記録した移動を実施することによって操作者なしに車両を自動的に制御することもできる。移動の最中は、コンピュータ・ベース視覚システムが環境から画像を取得し、各画像はコンピュータ・ベース視覚システムの姿勢に対応する。各画像は、2Dの点または画素から成る行列を含み、それぞれは、当該行列におけるその位置と色または強度のような他のパラメータとにより定義される。姿勢とは、ユークリッド座標系におけるコンピュータ・ベース視覚システムの位置および方位、ならびに、当該ユークリッド座標系におけるそれらの変換を定義するものである。当該ユークリッド座標系は、(隣接する姿勢に関して)グローバルまたはローカルでありうる。当該位置は、当該座標系の軸に従う座標に対応する3つの変換パラメータにより表され、当該方位は、例えば当該座標系に関する3つの角度(オイラー角)により表される。
コンピュータ・ベース視覚システムは、各画像における特徴的な2Dの姿勢を特定し、当該特徴的な2Dランドマークを画像間でマッチさせ(「テンプレート・マッチング」)、マッチした2Dランドマークに基づいて、マッチした2Dランドマークに対応する環境の3Dランドマークのパラメータと再構築に使用される画像に対応するコンピュータ・ベース視覚システムの姿勢パラメータとを含む3Dマッピングを再構築する。当該3Dマッピングは、コンピュータ・ベース視覚システムが当該姿勢にあるときにコンピュータ・ベース視覚システムにより潜在的に視認可能な3Dランドマークに関連付けられる。当該3Dマッピングはまた、各3D点を、当該点を囲む関心領域に関連付けることができる。
3Dランドマークと2Dランドマークは、特に、(画像から取得した)3D点と2D点であることができる。3D点のパラメータは、各3D点を空間内で発見できるようにする当該3D点の位置座標である。
姿勢パラメータとは、姿勢ごとの、当該姿勢を定義する変換パラメータと回転パラメータである。
カメラ・セットは外部パラメータを含む。当該外部パラメータは、当該カメラ・セットの或るカメラの座標位置から別のカメラの座標位置へ移ることを可能とする固定された変換のパラメータである。或るカメラから別のカメラへ移ることを可能とする当該固定された変換を、ユークリッド座標系における3つの変換パラメータと3つの回転パラメータ、即ち、6つのパラメータにより定義することができる。
当該カメラ・セットは、各カメラに固有な内部パラメータを含む。ピンホール・カメラでは、内部パラメータが特に、焦点距離、主点の位置、画像中心および変形係数を含むことができる。
非特許文献1は、単眼の視覚システムに対して、校正されたカメラにより取得した画像を処理する再構築アルゴリズムが開示されている。即ち、カメラのパラメータは再構築中に一定であるとみなされている。
Mouragnon et al., "3D reproduction of complex structures with bundle adjustment: an incremental approach", Processing IEEE International Conference on Robotics and Automation, ICRA. Orlando, FL, USA, May 15-19, 2006, Piscataway, NJ, USA, IEEE, 15 May 2006, pages 3055-3061, DOI: 10.1109/ROBOT.2006.1642166, ISBN: 978-0-7803-9505-3
しかし、3Dマッピングに基づいて車両を3Dマッピングし誘導する精度は、外部パラメータと内部パラメータの正確な知識に依存する。
したがって、本発明の目的の1つは、高速に実装可能な、カメラ・セットの外部パラメータおよび/または内部パラメータを正確に推定できるようにする校正方法を提供することである。
この目的のため、本発明では、特許請求の範囲に従う、車載搭載型のコンピュータ・ベース視覚システムを校正するための方法、製品、および装置を提供する。
本発明とその利点は、例としてのみ提供した以下の説明を、添付図面を参照して検討すればより容易に理解されよう。
実装すべき本発明に従う方法を可能とする、2つのカメラを具備したコンピュータ・ベース視覚システムを備える自動誘導式車両の側面図である。 視覚システムのモデルの図である。 基本シーケンスの全てを備える完全なシーケンスを3Dマッピングするために、昇順階層統合による基本シーケンスの3Dマップを集約するステップを示すブロック図である。
図1に示す車両2は自動誘導型の車両(AGV)である。車両2は、少なくとも1つの操縦車輪を備えた車輪4と、各操縦車輪の操縦を制御するための操縦システム6と、車両2を前進または後進させるために車輪4の少なくとも1つに接続された駆動システム8と、当該車両が自動的に移動できるように操縦システム6とモータ8を制御して車両の移動を制御するためのコンピュータ・ベース視覚システム10とを備える。
コンピュータ・ベース視覚システム10は、画像を同時に捕捉するために同期された1組のカメラC、Cを備える。当該カメラ・セットは固定されている。即ち、カメラC、Cは互いに固定され、したがって、互いに対して不動である。
カメラC、Cは、車両の環境の画像を取得するように車両2に配置されている。カメラC、Cは、その視野が分かれているかまたは重複しないように配向されている。即ち、各カメラが見える景色は、当該カメラ・セットの所与の姿勢において他のカメラには見えない。
示した例では、コンピュータ・ベース視覚システム10は2つのカメラ、即ち、車両2の前面に向かう画像を取得するように車両2に固定された前方カメラCと、車両2の後面に向かう画像を取得するように車両2に固定された後方カメラCを備える。
コンピュータ・ベース視覚システム10は、車両2の位置を決定し操縦システム6と駆動システム8を制御して車両2を移動させるための、コンピュータ・ベース視覚システム10が捕捉したデジタル画像を受信し処理するのに適した情報処理モジュール16を備える。
情報処理モジュール16は、本発明に従う方法を実装するようにプログラムされる。情報処理モジュール16は、コンピュータと、コンピュータ・プログラムが格納されたメモリとを備える。当該コンピュータ・プログラムは、情報処理モジュールにより実施されたときに本発明に従う校正方法を実施するソフトウェア命令を含む。
以下の記述においては、特に明記しない限り、「画像」という用語は、コンピュータ・ベース視覚システム10により提供された環境の画像と各カメラC、Cにより個別に提供された画像をグループ化したものを指し、「姿勢」という用語は、コンピュータ・ベース視覚システム10の姿勢を指す。
各カメラC、Cは内部パラメータを有する。当該内部パラメータは実環境とカメラC、Cにより提供された対応する画像の間の対応に影響を及ぼす。カメラの内部パラメータは、特に、焦点距離、主点位置、画像中心および変形係数を含むことができる。
当該カメラ・セットは外部パラメータを備える。これらの外部パラメータにより、互いに固定的に接続されたカメラC、Cの姿勢の間の関係を決定する。
図2に示すように、各カメラC、Cは、個々の座標位置に接続され、一般に、コンピュータ・ベース視覚システム10ごとに、カメラCの座標位置からカメラCの座標位置へ移ることを可能とする固定変換ΔTi、jが存在する。
図示した2つのカメラC、Cのケースでは、カメラCの座標位置からカメラCの座標位置へ移ることを可能とする固定変換ΔT1、2が存在する。
2つのカメラの間の各固定変換ΔTi、jを、一方のカメラから他方のカメラへ移ることを可能とする固定変換Δti、jと一方のカメラの方位から他方のカメラの方位へ移ることを可能とする回転ΔRi、jにより定義することができる。変換Δti、jは、カメラCに関連付けられたユークリッド座標系の3軸に従う変換に対応する3つのパラメータにより決定され、回転ΔRi、jは、カメラCに関連付けられたユークリッド座標系の3軸周りの回転に対応する3つのパラメータにより決定される。
当該校正方法は、移動車両の環境の3Dマッピングを再構築すること(「Structure From Motion」または「SFM」)を含む。
当該校正方法によれば、コンピュータ・ベース視覚システム10により取得されたデジタル画像は、車両2が軌跡に沿って移動するにつれて取得され、各画像は、当該軌跡に沿ったコンピュータ・ベース視覚システム10の姿勢に対応する。1実施形態では、操作者が、軌跡に沿った車両2の移動を制御し、移動中に、コンピュータ・ベース視覚システム10が当該環境のデジタル画像を捕捉する。
コンピュータ・ベース視覚システム10により捕捉された各画像は、画素または2D点の行列を備える。各2D点は、特に、その当該行列内の位置により定義される。
当該校正方法は、環境の3Dランドマークとコンピュータ・ベース視覚システム10の姿勢とを含む3Dマッピングを、コンピュータ・ベース視覚システム10に潜在的に可視である1組の3Dランドマークを各姿勢に関連付けることによって、再構築するステップを含む。当該潜在的に可視なランドマークを各カメラに関連付けて、どの3Dランドマークが当該コンピュータ・ベース視覚システムの各姿勢においてどのカメラに潜在的に可視であるかを判定することができる。
1実施形態では、図3に示すように画像は基本シーケンスSiにグループ化される。各基本シーケンスSiには、2つの連続する基本シーケンスの間にY個の画像が重複したX個の隣接画像Iiがある(2つの連続する基本シーケンスがY個の画像を共有する)。1実施形態では、各基本シーケンスは、Y=2個の画像が重複するX=3個の画像を含む。
「隣接画像」という用語は、コンピュータ・ベース視覚システム10付近の姿勢に対応する画像を指し、これらの画像は重複し、マッチ可能な2Dランドマークを有することができる。
当該校正方法は、各基本シーケンスSに基づいて3Dマッピングを再構築するステップを含む。
1つの可能な実施形態では、第1の基本シーケンスSの3Dマッピングを、ランドマークのエピポーラ・ジオメトリ計算および三角形分割により計算し、次の基本シーケンスS(i>1)の3Dマップを、第1の基本シーケンスSのマッピングに従ってステップ・バイ・ステップで計算する。
エピポーラ・ジオメトリ計算により、第1の基本シーケンスSの画像に対応するコンピュータ・ベース視覚システム10の姿勢を決定することができる。姿勢は、(隣接する姿勢に関して)グローバルまたはローカルなユークリッド座標系における3つの変換パラメータと3つの回転パラメータにより定義される。三角形分割により、第1の基本シーケンスSの画像間でマッチした2Dランドマークに対応する3Dランドマークのパラメータ(即ち、3Dランドマークの3次元座標)を決定することができる。3D点のパラメータは、当該3D点が観測された姿勢に関するグローバルまたはローカルなユークリッド座標系における変換パラメータである。
当該エピポーラ・ジオメトリ計算は公知な方法で実施される。当該公知な方法としては、例えば、ハリス・コーナー方法によりシーケンスの画像における特徴的な2Dランドマークを識別し、シーケンスの画像間の特徴的な2Dランドマークをマッチし、例えば2つの姿勢に対してランザック・タイプのアルゴリズムを実装し第3の姿勢を補間することでコンピュータ・ベース視覚システム10の姿勢を計算することによるものがある。
マッチした2Dランドマークの三角形分割の計算は公知の方法、例えば中点法により、実施される。当該三角形分割により、3Dランドマークを取得すること、即ち、マッチした2Dランドマークに対して、環境の3D点をグローバルなユークリッド座標系におけるその3次元座標で決定することができる。
過去の基本シーケンスに基づく基本シーケンスの3Dマッピングの再構築に関して、特徴的な2Dランドマークが基本シーケンスの追加画像において検出され、コンピュータ・ベース視覚システム10の対応する姿勢が、過去の基本シーケンスの3Dマッピングにおいて既に計算されたコンピュータ・ベース視覚システム10の姿勢の特徴的な2Dランドマークとマッチされたこれらの特徴的な2Dランドマークに基づいて決定され、次いで追加のマッチされた2Dランドマークが三角形分割される。このように、基本シーケンスの全てがステップ・バイ・ステップで再構築される。
各基本シーケンスSの各3Dマッピングは、バンドル調整アルゴリズムを実装することによって最適化される。バンドル調整アルゴリズムは、一般に費用関数の最小化である基準を収束させることにより、3Dマッピング計算に必要な様々なパラメータを最適化できる反復アルゴリズムである。1組のカメラにより取得した画像に基づく3Dマッピング計算に必要なパラメータには、3Dランドマーク・パラメータ、コンピュータ・ベース視覚システムの姿勢のパラメータ、コンピュータ・ベース視覚システムの外部パラメータ、およびコンピュータ・ベース視覚システムの内部パラメータが含まれる。最適化中に可変とみなされるパラメータが推定され、一定または固定であるとみなされるパラメータは最適化も推定もされない。
当該校正方法は、外部パラメータが一定であるとみなすことにより、バンドル調整により各基本シーケンスSの3Dマッピングを最適化することを含む。
当該校正方法は、基本シーケンスSの3Dマップを集約して完全なシーケンスSの3Dマッピングを取得することを含む。
1実施形態では、図3に示すように、第1のレベルを定義する基本シーケンスSを用いた昇順階層集約方法を実装することにより上記集約を実施する。或るレベルから高レベルへの移動を、対となるレベルの3Dマップの統合と、当該統合から生ずる各3Dマッピングのバンドル調整による最適化により実施して、或るレベルから高レベルへ移るときに3Dマップの数が2で除されるようにする。この基本集約ステップを、完全なシーケンスSが再構築されるまで各レベルで実施する。
低レベルの2つの3Dマップの統合から生ずる各3Dマッピングのバンドル調整による最適化を、外部パラメータが一定であるとみなすことにより実施する。
3Dマップを再構築するために実装されたアルゴリズムは、有利なことに、異常なランドマークを最小限にするための方法を含む。1実施形態では、ある姿勢においてカメラに可視な3Dランドマークの再投影誤差が閾値より大きい場合には、対応する2Dランドマークを拒否する。このように、特徴的な2Dランドマークを異常なランドマーク(異常値)と妥当なランドマーク(正常値)へと選択的に分類する。
完全なシーケンスSの3Dマッピングを、外部パラメータの少なくとも1つが可変であるとみなして、バンドル調整により最適化する。このように、完全なシーケンスの3Dマッピングを、外部パラメータ、3Dランドマーク、およびコンピュータ・ベース視覚システム10の姿勢を最適化することによって最適化する。当該最適化は、例えば、レーベンバーグ・マーカート・タイプの最適化技術に基づいてバンドル調整アルゴリズムを実装することによって実施される。
有利には、当該校正方法は、3Dマッピング再構築におけるドリフトを検出し削減するためのループ閉鎖検出ステップを含む。
当該ループ閉鎖検出により、コンピュータ・ベース視覚システムの第1の姿勢と第2の姿勢で観測された特徴的な3Dランドマークを、カメラを切り替えて、または、カメラを切り替えることなく、検出することができる。
2つのカメラC、Cが反対方向を向く場合には、切替えを伴わないループの閉鎖は例えば車両2の円内の移動による360°回転に対応し、切替えを伴うループ閉鎖は例えば半回転による180°の回転に対応する。
切替えを伴うループの閉鎖を考慮するために、各カメラの画像とカメラの姿勢を独立に処理する。
ループの閉鎖を検出するために、所定のカメラの姿勢に対して、(当該所定のカメラまたは別のカメラによる)過去の姿勢の存在を検証し、当該過去の姿勢が十分に近いことを示す近位基準を検証する。これを行うために、2つのカメラ姿勢の位置の間の距離が距離閾値未満であるかどうかを検証し、一方の姿勢の方位から他方の姿勢の方位へ移るための回転角度が角度閾値未満であるかどうかを判定することができる。
近傍のカメラ姿勢が存在するときには、これらのカメラ姿勢に関連付けられた画像の特徴的な2Dランドマークがマッチされ、マッチした2D点の数が所定数より大きい場合には、マッチした2Dランドマークに関連する観測を追加する。当該観測は、例えば、マッチした2Dランドマークを所定のカメラの過去の姿勢に追加することであり、これは、信頼できるマッチした2Dランドマークとマッチする2Dランドマークの数を増加させる。1実施形態では、ランザック・タイプのアルゴリズムを実装することにより2Dランドマークをマッチすることができる。
1実施形態では、ループ検出を各カメラの姿勢ごとに実施する。
上述の実施形態では、基本シーケンスSの3Dマップを最適化し集約している間は外部パラメータが一定であるとみなして完全なシーケンスSの3Dマッピングを取得し、当該外部パラメータを可変であるとみなして完全なシーケンスSの3Dマッピングのバンドル調整による最適化においてのみ最適化する。
したがって、基本シーケンスの3Dマップが、少なくとも1つの外部パラメータが一定であるとみなし、完全なシーケンスの3Dマッピングが各基本シーケンスより長いとみなすことによって最適化され、各基本シーケンスは、少なくとも当該外部パラメータがそれを推定するために可変であるとみなすことによって最適化される。
さらに、基本シーケンスSと中間シーケンスは、各々が完全なシーケンスSの画像の一部のみを含む部分シーケンスである。部分シーケンスの各3Dマッピングは、外部パラメータが一定であるとみなすことによって最適化される。
あるいは、基本シーケンスの3Dマッピングの集約中に、少なくとも特定の外部パラメータを可変とみなすことができる。
このように、基本シーケンスを含む長い中間シーケンスの少なくとも1つの3Dマッピングを、少なくとも1つの外部パラメータまたは各外部パラメータを、それを推定するために可変とみなすことによって最適化する。
少なくとも1つの外部パラメータが一定であるとみなすことによって、各々が過去のシーケンスを含む増大する長さの複数のシーケンスの3Dマッピングを最適化し、外部パラメータを、それを推定するために可変とみなすことによって、過去のシーケンスを含む次のシーケンスの3Dマッピングを最適化することができる。
外部パラメータのバンドル調整による最適化は効果的であり、コンピュータ・ベース視覚システム10の移動に基づいて正確なソリューションに迅速に収束することができる。
1つの可能な実施形態では、シーケンスの3Dマッピングの再構築がコンピュータ・ベース視覚システム10の移動を示す場合、当該シーケンスの3Dマッピングの最適化を、検出された移動に従って外部パラメータを可変であるとみなすことによって実施する。以下の基準を適用することができる。
検出された移動が直線移動である場合には、3Dマッピング最適化中に、外部変換パラメータが初期値または過去に推定した値で一定であるとみなし、少なくとも1つの外部回転パラメータが一定であるとみなす。1実装形態では、直線移動の方向周りの回転パラメータが一定であるとみなす。
検出された移動が非直線的な水平面における移動である場合には、3Dマッピング最適化中に、垂直変換以外の外部変換パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす。
移動が(少なくとも2つの相違なる軸を有する)平行軸に沿ったねじ込み移動である場合には、3Dマッピング最適化中に、ねじ込み方向における変換以外の外部変換パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす。
検出された移動が3次元移動である場合には、3Dマッピング最適化中に、外部変換パラメータが初期値または過去の推定値で一定であるとみなし、外部回転パラメータが可変であるとみなす。
さらに、3Dマッピング最適化を制限するために、着目しているシーケンスの長さに従って外部パラメータを最適化するかまたは最適化しなくともよい。以下の基準を適用することができる。
シーケンスの長さが所定の閾値より短い場合には、外部パラメータが一定であるとみなすことによって当該シーケンスを最適化する。したがって、長さが最小であるシーケンスの3Dマッピングに対してのみ外部パラメータを最適化する。
シーケンスの長さが、外部パラメータが可変であるとみなすことによって最適化された最長のシーケンスより短い場合には、当該外部パラメータが一定であるとみなすことによって当該シーケンスの3Dマッピングを最適化する。視覚システムの移動の基準とシーケンスの長さの基準を組み合わせることができる。
当該校正方法を逐次的に実装することができる。即ち、処理モジュール16による画像の処理を、完全な画像シーケンスが捕捉された後に実装することができる。画像の捕捉と3Dマッピングの再構築は逐次的に実施される。
車両2が奇跡に沿って移動する際に当該校正方法を実装することができる。3Dマッピングの再構築を、外部パラメータが可変または一定であるとみなすことによって、3Dマッピング最適化に対する移動基準およびシーケンス長さ基準に基づいて実施することができる。
1つの可能な実施形態では、3Dマッピングの再構築は既に利用可能な基本シーケンスから開始する。各外部パラメータは、各基本シーケンスと、過去に再構築された3Dマッピングの統合により再構築された夫々の長いシーケンスとの3Dマッピングを最適化するために、前述の移動基準に従って固定または可変であるとみなされる。
基本シーケンスの3Dマッピングが一定の外部パラメータで最適化され、長いシーケンスの3Dマッピングのみが、可変であるとみなされる少なくとも1つの外部パラメータで最適化されている基本シーケンスを含むことが好ましい。
新たな基本シーケンスを生成する新たな姿勢に対して、当該新たな基本シーケンスの3Dマッピングが再構築され、外部パラメータが一定であるとみなすことによって最適化され、過去の基本シーケンスで集約される。当該ループ検出は、新たな基本シーケンスを生成する夫々の新たな姿勢において実装される。
外部パラメータを推定するのに十分な移動が生じた場合に外部パラメータの信頼できる推定を期待できる限り、および、3Dマッピングが最適化されたものより長いシーケンスを有する場合に外部パラメータの推定を改善できると期待できる限り、新たな基本シーケンスから再構築した新たな3Dマッピングの最適化が、移動と長さの基準に従って実施される。
当該校正方法が長時間にわたって実施されると、集約の最後に、完全なシーケンスの最適化された3Dマッピングが得られる。当該シーケンスは最長のものであるので、校正の軌跡が正しく選ばれた場合には、外部パラメータを可変とみなすことによって、完全な画像シーケンスの3Dマッピングが最適化される。
当該校正方法を、非重複領域を有する2つのカメラを有するコンピュータ・ベース視覚システムに関連して説明した。当該校正方法を、複数のカメラを備えたコンピュータ・ベース視覚システムに一般化することができる。
当該校正方法を外部パラメータの推定に関して説明した。当該校正方法はまた、コンピュータ・ベース視覚システムの内部パラメータ、3D点パラメータおよび/または姿勢パラメータにも適用される。
したがって、一般に、本発明は、外部パラメータおよび/または内部パラメータおよび/または3Dランドマーク・パラメータおよび/または姿勢パラメータのうち少なくとも1つのパラメータが一定であるとみなすことにより第1のシーケンスの3Dマッピングがバンドル調整により最適化され、当該第1のシーケンスより長くかつ当該第1のシーケンスを含む少なくとも1つの第2のシーケンスの3Dマッピングを最適化するために、当該少なくとも1つのパラメータが可変であるとみなされる、校正方法に関する。
各3Dマッピングの最適化に関して、外部パラメータおよび/または内部パラメータは一定であるとみなされ、最適化されないマッピングは、(過去の最適化が存在しない)初期近似値または当該校正方法で過去に実施された別の3Dマッピングの最適化で推定した値に固定されたままである。
各3Dマッピングの最適化に関して、3Dランドマーク・パラメータおよび/または姿勢パラメータは一定であるとみなされ、最適化されないマッピングは、最適化される3Dマッピングの計算で決定された値に固定されたままである。
当該校正方法は、非重複領域を有するカメラを具備したコンピュータ・ベース視覚システムに特に有利であるが、重複領域を有するカメラを具備したコンピュータ・ベース視覚システムにも適用され、一般に、重複領域を有するカメラおよび/または非重複領域を有するカメラを具備したカメラ・システムにも適用される。
特に車両が高速に移動しているアプリケーションにおいて、コンピュータ・ベース視覚システムのカメラを同期して、カメラにより捕捉された画像がコンピュータ・ベース視覚システムの同一姿勢に実質的に対応することを保証することが好ましい。車両の高速な移動を必要としない他のアプリケーションでは、カメラは必ずしも同期されない。なぜならば、車両は様々なカメラによる画像捕捉の間に少ししか動かないからである。
本発明によれば、コンピュータ・ベース視覚システムを保持する車両が辿る軌跡に沿った環境の3Dマッピングを決定することができる。3Dマッピングは正確であり、有効かつ迅速に、少ない計算時間で決定され、それによりリアルタイムな再構築を想定することができる。
本発明に従う校正方法により、3Dマッピング再構築中の倍率のドリフトを軽減することができる。これは、特に、1組の3Dマッピングの最適化に対して一定であるとみなされたパラメータが、当該3Dマッピングをグループ化した3Dマッピングに対して最適化されるという事実によるものである。
さらに、当該校正方法に従って校正された車両2では、学習した軌跡を、車両2が当該軌跡から逸れて移動したときでも発見する能力が改善される。当該校正方法では、このように校正された車両2を正確に誘導することができる。
車両2は、当該ケースでは校正なしに軌跡を学習することができる。なぜならば、当該学習方法は、外部パラメータおよび/または内部パラメータが一定であるとみなされることを除いては当該校正方法と等価であるからである。
車両2は、校正に使用された軌跡と同一であるかまたは異なる学習した軌跡に沿って自律的に移動することができる。これを行うために、コンピュータ・ベース視覚システムにより取得された現在の画像を、特徴的な2Dランドマークを検索し、学習した軌跡の3Dマッピングのランドマークと比較して車両2の姿勢を決定することにより、処理する。車両2が当該軌跡に沿って移動すると、過去の姿勢、例えば、処理モジュール16により与えられる移動および操縦の制御のようなシステムの移動に関する情報が既知であるときに、その姿勢を近似的に推定することができる。したがって、現在の姿勢に近い3Dマッピングの参照姿勢を決定し、現在の画像を、これらの姿勢に関連付けられた3Dランドマークと比較することができる。これにより、車両2の位置をリアルタイムで迅速に決定することができる。
コンピュータ・ベースの映像の状況では、「リアルタイム」という用語は、コンピュータ・ベース視覚システムにより取得された各画像の処理が、捕捉した画像が更新される前に処理モジュール16により処理されることを意味する。コンピュータ・ベース視覚システムの分野では、更新時間は一般に約40msであり、人間の網膜の更新時間より短い。
本発明に従う校正方法では、校正軌跡を前もって知る必要はない。当該校正方法では、複数のカメラ・システムの外部パラメータおよび/または内部パラメータの大凡の知識が必要であり、当該校正方法により、外部パラメータおよび/または内部パラメータをより正確に決定することができる。
このように、当該校正方法をリモートに、即ち、装置独立に実装することができる。かかるケースでは、車両は校正の軌跡に従って移動し、画像は複数のカメラ・システムにより取得される。次に、捕捉された画像がリモート処理モジュールにより送信および処理され、当該リモート処理モジュールが、外部パラメータおよび/または内部パラメータおよび/またはコンピュータ・ベース視覚システムの姿勢パラメータおよび/または3Dランドマーク・パラメータにより推定された値を返す。
当該校正方法を使用して、外部パラメータおよび/または内部パラメータの修正値を生成可能となったときに、当該外部パラメータおよび/または内部パラメータを決定することができる。例えば、かかる校正方法は、コンピュータ・ベース視覚システムのカメラのうち1つを置き換えたときに実施され、これにより、変更されたカメラの内部パラメータとカメラ・セットの外部パラメータを修正することができる。
当該校正方法を使用して、車両誘導システムもしくは自動誘導型の車両システムを校正するか、または、近代の自動車で使用されるような運転支援システム(車両の一直線に保持すること、操縦支援、線内の車両移動等)の複数のカメラ・システムを校正することができる。
2 車両
4 車輪
6 操縦システム
8 モータ
10 コンピュータ・ベース視覚システム
16 情報処理モジュール

Claims (19)

  1. 外部パラメータおよび内部パラメータを有する1組のカメラを備えた、車載搭載型(2)のコンピュータ・ベース視覚システム(10)を校正するための方法であって、前記内部パラメータは前記1組のカメラの各カメラに固有であり、かつ前記外部パラメータは、前記1組のカメラの1つのカメラの座標位置から別のカメラの座標位置に移ることを可能とする固定された変換のパラメータであり、
    環境のランドマークの3Dマッピングを、軌跡に沿った車両(2)の移動中に前記コンピュータ・ベース視覚システム(10)によって取得された前記環境のデジタル画像から再構築するステップであって、各デジタル画像は前記コンピュータ・ベース視覚システム(10)の姿勢に対応し、前記3Dマッピングはランドマーク・パラメータと各姿勢のパラメータとを含み、前記再構築することは、バンドル調整アルゴリズムを実装することによって画像シーケンスの前記3Dマッピングを再構築し、前記3Dマッピングを最適化するステップを含むステップと、
    少なくとも1つの外部パラメータおよび/または少なくとも1つの内部パラメータおよび/または少なくとも1つの姿勢パラメータおよび/または少なくとも1つの3Dランドマーク・パラメータを一定とみなすことによって第1の画像シーケンスに対応する少なくとも1つの3Dマッピングを最適化するステップと、
    前記少なくとも1つの外部パラメータおよび/または前記少なくとも1つの内部パラメータおよび/または前記少なくとも1つの姿勢パラメータおよび/または前記少なくとも1つの3Dランドマーク・パラメータを、前記少なくとも1つの外部パラメータおよび/または前記少なくとも1つの内部パラメータおよび/または前記少なくとも1つの姿勢パラメータおよび/または前記少なくとも1つの3Dランドマーク・パラメータを推定するために可変とみなして、前記第1の画像シーケンスより長い、前記第1の画像シーケンスを含む第2の画像シーケンスに対応する少なくとも1つの3Dマッピングを最適化するステップと、
    を含む、方法。
  2. 前記第1の画像シーケンスは基本シーケンスに対応し、かつ前記第2の画像シーケンスは前記軌跡に沿った前記車両の移動中に取得された完全な画像シーケンスに対応し、前記第2の画像シーケンスに対応する少なくとも1つの3Dマッピングの前記最適化が、各外部パラメータおよび/または各内部パラメータおよび/または各姿勢パラメータおよび/または各3Dランドマーク・パラメータが可変であるとみなして実行される、請求項1に記載の方法。
  3. 少なくとも1つの外部パラメータおよび/または少なくとも1つの内部パラメータおよび/または少なくとも1つの姿勢パラメータおよび/または少なくとも1つの3Dランドマーク・パラメータが一定であるとみなして、前記3Dマッピングが再構築され、前記3Dマッピングは、前記軌跡に沿った移動中に取得した画像の一部のみを含む部分シーケンスに対応する、請求項1または2に記載の方法。
  4. 各外部パラメータおよび/または各内部パラメータおよび/または各コンピュータ・ベース視覚システム姿勢パラメータおよび/または各3Dランドマーク・パラメータが一定であるとみなして、各3Dマッピングが最適化され、前記3Dマッピングは部分シーケンスに対応する、請求項3に記載の方法。
  5. 前記再構築することは、
    前記デジタル画像を基本画像シーケンスにグループ化するステップであって、各基本シーケンスは次の基本シーケンスと重複するステップと、
    1つの基本シーケンスに対応する各3Dマッピングをバンドル調整によって最適化するステップと、
    前記基本シーケンスに対応する前記3Dマッピングを集約して、完全な画像シーケンスの前記3Dマッピングを取得するステップと、
    を含む、請求項1乃至4の何れか1項に記載の方法。
  6. 前記完全なシーケンスの前記3Dマッピングを取得するまで、低レベルを形成する基本シーケンスの3Dマッピングに基づいて昇順階層統合により前記集約を実施し、各3Dマッピングは、バンドル調整によって最適化されているマッピングの統合により取得される、請求項5に記載の方法。
  7. 少なくとも1つの外部パラメータおよび/または1つの内部パラメータおよび/または1つのコンピュータ・ベース視覚システム姿勢パラメータおよび/または少なくとも1つの3Dランドマーク・パラメータが一定であるとみなすことによって、基本シーケンスを含み前記基本シーケンスより長い中間シーケンスの少なくとも1つの3Dマッピングを最適化する、請求項6に記載の方法。
  8. 前記コンピュータ・ベース視覚システムの直線における移動が、シーケンスの3Dマッピングの再構築中に検出された場合に、前記3Dマッピング最適化中に、外部並進パラメータが一定であるとみなし、少なくとも1つの外部回転パラメータが可変であるとみなす、請求項1乃至7の何れか1項に記載の方法。
  9. 前記コンピュータ・ベース視覚システムの非直線的な水平面における移動がシーケンスの3Dマッピングの再構築中に検出された場合に、前記3Dマッピング最適化中に、垂直並進以外の外部並進パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす、請求項1乃至8の何れか1項に記載の方法。
  10. (少なくとも2つの相違なる軸を有する)平行軸を有するねじ込み移動がシーケンスの3Dマッピングの再構築中に検出された場合に、前記3Dマッピング最適化中に、ねじ込み方向の並進以外の外部並進パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす、請求項1乃至9の何れか1項に記載の方法。
  11. 3次元移動がシーケンスの3Dマッピングの再構築中に検出された場合に、前記3Dマッピング最適化中に、外部並進パラメータが可変であるとみなし、外部回転パラメータが可変であるとみなす、請求項1乃至10の何れか1項に記載の方法。
  12. シーケンスが所定の閾値より短い長さである場合に、前記外部パラメータが一定であるおよび/または前記内部パラメータおよび/または前記姿勢パラメータおよび/または前記3Dランドマーク座標が一定であるとみなして前記シーケンスを最適化する、請求項1乃至11の何れか1項に記載の方法。
  13. シーケンスの長さが、外部パラメータが可変であるとみなすことによって最適化された最長のシーケンスより短い場合に、前記外部パラメータが一定であるとみなして前記シーケンスの前記3Dマッピングを最適化する、請求項1乃至12の何れか1項に記載の方法。
  14. 前記車両の軌跡がループを形成するように閉じられるとき、前記軌跡に沿った前記カメラの直前の姿勢にマッチする2Dランドマークを追加する、請求項1乃至13の何れか1項に記載の方法。
  15. 前記車両の軌跡がループを形成するように閉じられるときを検出するために、近位基準を検証することによって、2つのカメラの姿勢で取得した2つの画像の間の2Dランドマークのマッチを決定し、2Dのマッチ数が閾値を超えた場合にはループが閉じたと考える、請求項14に記載の方法。
  16. 前記完全なシーケンスの前記3Dマッピングを、レーベンバーグ・マーカート・タイプのアルゴリズムを用いて最適化する、請求項1乃至15の何れか1項に記載の方法。
  17. 画像取得ステップを含む、請求項1乃至16の何れか1項に記載の方法。
  18. 情報処理モジュールによって実装されたときに、請求項1乃至17の何れか1項に記載の校正方法を実装するソフトウェア命令を含む、コンピュータ・プログラム。
  19. 請求項1乃至17の何れか1項に記載の校正方法を実装するためにプログラムされた情報処理モジュールを備える、校正装置。
JP2014535029A 2011-10-10 2012-10-09 車載搭載型のコンピュータ・ベース視覚システムの校正方法 Expired - Fee Related JP6165745B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1159135A FR2981185B1 (fr) 2011-10-10 2011-10-10 Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
FR1159135 2011-10-10
PCT/EP2012/069958 WO2013053701A1 (fr) 2011-10-10 2012-10-09 Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile

Publications (2)

Publication Number Publication Date
JP2015501471A JP2015501471A (ja) 2015-01-15
JP6165745B2 true JP6165745B2 (ja) 2017-07-19

Family

ID=46982623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014535029A Expired - Fee Related JP6165745B2 (ja) 2011-10-10 2012-10-09 車載搭載型のコンピュータ・ベース視覚システムの校正方法

Country Status (9)

Country Link
US (1) US9728005B2 (ja)
EP (1) EP2766872B1 (ja)
JP (1) JP6165745B2 (ja)
CN (1) CN103988231B (ja)
AU (1) AU2012323096B2 (ja)
CA (1) CA2851750C (ja)
ES (1) ES2549962T3 (ja)
FR (1) FR2981185B1 (ja)
WO (1) WO2013053701A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760500B1 (en) * 2013-10-23 2014-06-24 Google Inc. Depth map generation
FR3013491B1 (fr) * 2013-11-19 2016-01-15 Commissariat Energie Atomique Determination de la carte de profondeur image d'une scene
JP6272071B2 (ja) * 2014-02-18 2018-01-31 日本放送協会 画像処理装置、画像処理方法及びプログラム
FR3023949B1 (fr) * 2014-07-15 2016-08-12 Morpho Procede et systeme d'autodetermination des valeurs des parametres intrinseques et des parametres extrinseques d'une camera placee au bord d'une chaussee.
US20170253237A1 (en) * 2016-03-02 2017-09-07 Magna Electronics Inc. Vehicle vision system with automatic parking function
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3270589A1 (en) * 2016-07-11 2018-01-17 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
EP3333538B1 (en) * 2016-12-07 2020-09-09 Hexagon Technology Center GmbH Scanner vis
FR3062507B1 (fr) 2017-01-31 2020-05-15 Universite Clermont Auvergne Procede et dispositif pour l'etalonnage d'un systeme de perception comportant un ensemble de telemetres lidar
US11568568B1 (en) * 2017-10-31 2023-01-31 Edge 3 Technologies Calibration for multi-camera and multisensory systems
CN109345596B (zh) * 2018-09-19 2024-07-12 阿波罗智能技术(北京)有限公司 多传感器标定方法、装置、计算机设备、介质和车辆
CN110490222B (zh) * 2019-07-05 2022-11-04 广东工业大学 一种基于低性能处理器设备的半直接视觉定位方法
WO2021055969A1 (en) * 2019-09-19 2021-03-25 Continental Automotive Systems, Inc. Automatic trailer camera calibration
JP2022166505A (ja) 2021-04-21 2022-11-02 株式会社東芝 3次元マップ推定装置および障害物検出装置
WO2023210185A1 (ja) * 2022-04-26 2023-11-02 国立研究開発法人 産業技術総合研究所 顕微鏡画像情報処理方法、顕微鏡画像情報処理システム、およびコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
CN101876532B (zh) * 2010-05-25 2012-05-23 大连理工大学 测量系统中的摄像机现场标定方法

Also Published As

Publication number Publication date
ES2549962T3 (es) 2015-11-03
EP2766872B1 (fr) 2015-07-29
CN103988231B (zh) 2016-08-31
WO2013053701A1 (fr) 2013-04-18
AU2012323096A1 (en) 2014-05-29
US20140267608A1 (en) 2014-09-18
US9728005B2 (en) 2017-08-08
CA2851750A1 (fr) 2013-04-18
JP2015501471A (ja) 2015-01-15
FR2981185A1 (fr) 2013-04-12
CN103988231A (zh) 2014-08-13
EP2766872A1 (fr) 2014-08-20
AU2012323096B2 (en) 2017-10-26
FR2981185B1 (fr) 2014-02-14
CA2851750C (fr) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6165745B2 (ja) 車載搭載型のコンピュータ・ベース視覚システムの校正方法
CN112985416B (zh) 激光与视觉信息融合的鲁棒定位和建图方法及系统
JP6126809B2 (ja) エゴモーション概算システムおよび方法
JP2018529175A (ja) 多方向カメラを使用した空間のマッピング
CN108235725B (zh) 基于云端的轨迹地图生成方法、装置、设备及应用程序
Heng et al. Infrastructure-based calibration of a multi-camera rig
US20210287022A1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
WO2019241782A1 (en) Deep virtual stereo odometry
CN113570662B (zh) 3d定位来自真实世界图像中地标的系统和方法
CN108151713A (zh) 一种单目vo快速位姿估计方法
Rehder et al. Online stereo camera calibration from scratch
JP2016517981A (ja) 基準方向に対する移動要素の角度偏差を推定する方法
Hu et al. Dedgenet: Extrinsic calibration of camera and LiDAR with depth-discontinuous edges
Abate et al. Multi-camera visual-inertial simultaneous localization and mapping for autonomous valet parking
CN111145267B (zh) 基于imu辅助的360度全景视图多相机标定方法
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
US20230080638A1 (en) Systems and methods for self-supervised learning of camera intrinsic parameters from a sequence of images
Li et al. Multicam-SLAM: Non-overlapping Multi-camera SLAM for Indirect Visual Localization and Navigation
JP2022138037A (ja) 情報処理装置、情報処理方法およびプログラム
Iz et al. Aerial image stitching using IMU data from a UAV
CN111179359A (zh) 一种拍照系统的外参数的确定方法及装置
Xiong et al. 3d depth map based optimal motion control for wheeled mobile robot
Winkens et al. Optical truck tracking for autonomous platooning
JP7508288B2 (ja) 情報処理装置、情報処理装置の制御方法なおよびプログラム
Zhang et al. An Online Automatic Calibration Method Based on Feature Descriptor for Non-Overlapping Multi-Camera Systems

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170621

R150 Certificate of patent or registration of utility model

Ref document number: 6165745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees