JPH0818848A - カメラシステムおよび歪み除去方法 - Google Patents

カメラシステムおよび歪み除去方法

Info

Publication number
JPH0818848A
JPH0818848A JP7029360A JP2936095A JPH0818848A JP H0818848 A JPH0818848 A JP H0818848A JP 7029360 A JP7029360 A JP 7029360A JP 2936095 A JP2936095 A JP 2936095A JP H0818848 A JPH0818848 A JP H0818848A
Authority
JP
Japan
Prior art keywords
camera
image
model
neural network
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7029360A
Other languages
English (en)
Inventor
Masao Kume
正夫 久米
Takeo Kaneide
武雄 金出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of JPH0818848A publication Critical patent/JPH0818848A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 この発明の目的は、実際のカメラによって得
られた歪みのある画像点から、歪みが除去された画像点
を供給できる新しいカメラシステムを提供することにあ
る。 【構成】 カメラシステムにおいて、対象物から画像点
を得るためのカメラ１０２、およびカメラ１０２で得ら
れた歪みのある画像点を、歪みが除去された画像点に変
換するニューラルネットワーク１０４を備えている。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、カメラシステムおよ
び歪み除去方法に関し、特に、ビデオカメラによって得
られる歪みのある画像点を歪みのない画像点に変換して
出力できるカメラシステムおよび歪み除去方法に関す
る。
【０００２】
【従来技術】ロボットシステムにおいて計測あるいは認
識作業にビデオカメラを使用する場合、ビデオカメラの
撮像デバイスからの出力される画像は、ディジタルメモ
リに格納される。画像処理装置は、ディジタルメモリか
らの出力を取込み、対象物のコーナー点のような代表的
な点の画像点を抽出する。
【０００３】画像処理装置から供給された画像点は、デ
ィジタルメモリおよび撮像デバイスに対応した２次元画
像座標系にある。計測または認識すべき対象物は３次元
座標系にあるので、対象物を測定または認識するために
は、２次元座標系を３次元座標系に変換する必要があ
る。この座標変換を行うために、対象物から画像点を生
成するプロセスが数学的に記述された数学的カメラモデ
ルが用いられる。数学的カメラモデルを使用することに
よって、２次元座標系内の画像点から３次元座標系内の
対象物の座標値を求めることができる。
【０００４】幾つかの数学的カメラモデルが既に開発さ
れている。これらの数学的カメラモデルは、たとえば、
カメラの位置および姿勢 (外部パラメータ) 、焦点距離
および画像中心( 内部パラメータ) 等の共通したカメラ
パラメータを備えている。一般的に、カメラパラメータ
は、カメラキャリブレーションによって決定される。
【０００５】対象物の３次元画像点の抽出は、数学的カ
メラモデルを用いることによって行われるので、対象物
の測定精度は、数学的カメラモデルのカメラパラメータ
によって影響される。したがって、これらのカメラパラ
メータを正確に決定すること、すなわち、キャリブレー
ションは応用するカメラシステムにとって重要である。
【０００６】また、特に実時間システムにおいては、こ
れらのカメラパラータを即座に決定することは重要であ
る。一般的に、簡単なカメラモデルにおいては、カメラ
パラメータを迅速に得ることができる。しかしながら、
カメラパラメータの精度は期待できない。一方、複雑な
カメラモデルにおいては、カメラパラータの精度は上が
るが迅速にカメラパラメータを得ることができない。し
たがって、カメラモデルにおいては、正確性と迅速性と
に矛盾が生ずる。
【０００７】この矛盾を解決するために、幾つかのカメ
ラモデルが提案されている。たとえば、文献１： " A V
ersatile Camera Calibration Technique forHigh-Accu
racy 3D Machine Vision Metrology Using Off-The-She
lf TVCameras and Lenses（R. Y. Tsai IEEE Trans, Pa
ttern Analysis andMachine Intelligence, Vol. 11, N
o. 5, pp451-476, 1987)" および文献２："Camera Cali
bration with Distortion Models and Accuracy Evalua
tion( J. Weng et al, IEEE Trans. Pattern Analysis
and Machine Intelligence,Vol. 14, No.10, pp965-98
0, 1992)" においては、非線形のカメラモデルおよび"T
wo-Step Methods"が提案されている。これらの文献で
は、非線形のカメラモデルは、カメラシステムによって
発生する歪みを記述した歪みモデルを含んでいる。
【０００８】
【発明が解決しようとする課題】一般的に、非線形シス
テムでは、最適な解法を獲得すること、すなわち、正確
なカメラパラメータを得ることは困難である。この理由
は、一般に非線形システムにおける探索パラメータ空間
は複雑でローカルミニマム、測定ノイズに弱いという問
題があるからである。上記２つの文献に記載された方法
も、同じ困難性を有している。さらに、上記２つの文献
に記載された方法は、それらのシステムの中で簡易化し
た歪みモデルを使用しているので、それによって得られ
た解は限られた精度しか期待できず、また得られた走モ
デルを再キャリブレーション時に再利用することができ
ない。上述したように、簡易走モデルにより改良された
カメラモデルによるカメラキャリブレーションでは、矛
盾を解決することは困難である。
【０００９】この発明の目的は、実際のカメラによって
得られた歪みのある画像点から、歪みが除去された画像
点を供給できる新しいカメラシステムを提供することに
ある。
【００１０】この発明の他の目的は、実際のカメラによ
って得られた歪みのある画像点から、歪みを除去できる
歪み除去方法を提供することにある。
【００１１】
【課題を解決するための手段】これら目的は、実際のカ
メラとニューラルネットワークとを備えたカメラシステ
ムによって達成される。ニューラルネットワークは、歪
みのある画像点から歪みが除去された画像点への変換を
学習する。学習後のニューラルネットワークに実際のカ
メラによって得られた歪みのある画像点を入力すると、
ニューラルネットワークから歪みが除去された画像点が
出力される。ニューラルネットワークの学習において
は、実際のカメラからのサンプルデータに対応した教師
信号をニューラルネットワークに供給するために、比較
的簡単なカメラモデルが使用される。
【００１２】この発明によるカメラシステムは、対象物
から画像点を得るためのカメラ、およびカメラで得られ
た歪みのある画像点を、歪みが除去された画像点に変換
するニューラルネットワークを備えていることを特徴と
する。
【００１３】上記ニューラルネットワークは、上記カメ
ラから得られた歪みのある画像点から歪みが除去された
画像点への変換を学習する
【００１４】上記ニューラルネットワークは、対象物か
ら画像点を得るためのプロセスが数学的に記述されたカ
メラモデルによって供給される教師信号に基づいて、歪
みのある画像点から歪みが除去された画像点への変換を
学習する。
【００１５】上記カメラモデルとしては、たとえば、基
礎方程式を有するピンホールカメラモデルが用いられ
る。上記ピンホールカメラモデルは、３次元の空間座標
系と、３次元のカメラ座標系と、２次元の画像座標系と
を備えている。上記基礎方程式は、カメラパラメータを
含んでいる。上記カメラパラメータは少なくとも画像中
心を含んでいる。
【００１６】上記基礎方程式のカメラパラメータは、線
形推定によって決定される。上記基礎方程式のカメラパ
ラメータは、たとえば、上記基礎方程式に中間パラメー
タを導入することによって導かれる線形方程式に基づい
て決定される。上記線形方程式は、たとえば、上記空間
座標系のｚ軸の方向が上記カメラ座標系のｚ軸の方向と
一致すると仮定することによって導かれる。上記線形方
程式は、たとえば、上記画像中心が既知であると仮定す
ることによって上記線形方程式が導かれる。
【００１７】線形推定により得られた初期カメラモデル
によって得られた画像点を教師信号として、上記ニュー
ラルネットワークが歪みのある画像点から歪みが除去さ
れた画像点への変換を学習した後、上記ニューラルネッ
トワークによって得られた、歪みが除去された画像点デ
ータに基づいて、上記初期カメラモデルが更新されるこ
とにより、上記初期カメラモデルが最適化され、最適化
されたカメラモデルに基づいて、歪みのある画像点から
歪みが除去された画像点への変換を上記ニューラルネッ
トワークに再度学習させるようにすることが好ましい。
【００１８】上記カメラモデルの最適化は、たとえば、
上記初期カメラモデルによって学習が行われた後の上記
ニューラルネットワークを用いて、画像点データを修正
し、修正された画像点データと所与の画像中心とに基づ
いて、線形推定によりカメラモデルを更新する第１ステ
ップ、前ステップで修正された画像点データと、前ステ
ップで更新されたカメラモデルと、前ステップで更新さ
れる前のカメラモデルとに基づいて、前ステップで修正
された画像点データをさらに修正し、修正された画像点
データと上記所与の画像中心とに基づいて、線形推定に
よりカメラモデルをさらに更新する第２ステップ、上記
第２ステップを所定回数だけ繰り返してカメラモデルを
更新して新カメラモデルを生成する第３ステップ、上記
第３ステップにより得られた新カメラモデルを評価する
第４ステップ、上記第４ステップにより好適な評価結果
が得られなかったときには、新たな画像中心を与えて、
上記第２ステップ〜第４ステップを再度実行させる第５
ステップ、ならびに、上記第４ステップにより好適な評
価結果が得られたときには、上記第３ステップにより得
られた新カメラモデルを最適化されたカメラモデルとす
る第６ステップによって行われる。
【００１９】上記初期カメラモデルとしては、ピンホー
ルカメラモデルが使用される。また、上記第４ステップ
の評価は、たとえば、上記新カメラモデルによって決定
されるカメラ位置と実際のカメラ位置との距離が所定値
以下か否かを判定することによって行われる。
【００２０】この発明による歪み除去方法は、対象物か
ら画像点を獲得するためのプロセスが数学的に記述され
たカメラモデルを生成し、カメラモデルによって得られ
た画像点を教師信号として、実際のカメラから供給され
る歪みのある画像点から歪みが除去された画像点への変
換をニューラルネットワークに学習させ、学習後のニュ
ーラルネットワークに実際のカメラから得られた歪みの
ある画像点を入力することによってニューラルネットワ
ークから歪みが除去された画像点を得ることを特徴とす
る。
【００２１】
【作用】この発明によるカメラシステムでは、カメラに
よって対象物から画像点が得られる。そして、カメラで
得られた歪みのある画像点は、ニューラルネットワーク
によって歪みが除去された画像点に変換される。
【００２２】この発明による歪み除去方法では、対象物
から画像点を獲得するためのプロセスが数学的に記述さ
れたカメラモデルが生成される。そして、カメラモデル
によって得られた画像点を教師信号として、実際のカメ
ラから供給される歪みのある画像点から歪みが除去され
た画像点への変換がニューラルネットワークによって学
習される。そして、学習後のニューラルネットワークに
実際のカメラから得られた歪みのある画像点を入力する
ことによってニューラルネットワークから歪みが除去さ
れた画像点が得られる。
【００２３】
【実施例】
（１）カメラシステムの説明。
【００２４】図１は、カメラシステムを示している。カ
メラシステムは、実際のビデオカメラ（以下、単にカメ
ラという）１０２と、ニューラルネットワーク１０４と
から構成されている。カメラ１０２は、一般的に、撮像
部と、信号処理部とからなる。撮像部は、対象物の画像
を信号処理部に供給する。信号処理部は、対象物の画像
から特徴点を抽出し、特徴点の画像点（座標）をニュー
ラルネットワーク１０４に供給する。
【００２５】ニューラルネットワーク１０４は、歪みの
ある画像点から歪みが除去された画像点への変換を学習
する。この学習プロセスにおいては、図１には図示され
ていない学習モデル（初期学習モデル）が選択される。
初期学習モデルは、学習プロセスにおいて、ニューラル
ネッワーク１０４に教師信号を供給する。
【００２６】ニューラルネットワーク１０４の学習が行
われた後においては、ニューラルネットワーク１０４を
含むカメラシステムの特性は、初期学習モデルの特性に
似てくる。つまり、ニューラルネットワーク１０４は、
カメラ１０２から供給された歪みのある画像点を、歪み
が除去された画像点に変換する。
【００２７】（２）ニューラルネットワーク１０４の学
習プロセスの説明。
【００２８】図２は、ニューラルネットワーク１０４の
学習手順を示している。
【００２９】まず、線形推定により、初期学習モデルが
構築される（ステップ１）。次に、空間座標値が予め分
かっている空間座標系の複数の制御点に対して、カメラ
１０２から得られた画像点と、初期学習モデルから得ら
れた画像点とに基づいて、ニューラルネットワーク１０
４に、歪みのある画像点から歪みが除去された画像点へ
の変換を学習させる（ステップ２）。
【００３０】次に、学習モデルを最適化するための処理
が行われる（ステップ１０）。
【００３１】すなわち、まず、上記ステップ１で得られ
たカメラパラメータの１つである画像中心が、初期学習
モデルに与えられる（ステップ３）。次に、ニューラル
ネットワーク１０４によって得られた、歪みが除去され
た画像点データと与えられた画像中心とに基づいて、線
形推定により、学習モデルが更新される（ステップ
４）。
【００３２】次に、更新された学習モデルに対して、評
価が行われる（ステップ５）。評価の結果、更新された
学習モデルが理想的な学習モデルに近くないと判別され
たときには、ステップ３に戻って、再度学習モデルの更
新が行われる。
【００３３】更新された学習モデルが理想的な学習モデ
ルに近いか否かは、たとえば、カメラパラメータの１つ
である、推定されたカメラ位置と実際のカメラ位置との
差が、予め定められた所定値以下か否かによって行われ
る。すなわち、推定されたカメラ位置と実際のカメラ位
置との差が所定値以下であれば更新された学習モデルが
理想的な学習モデルに近いと判断され、所定値より大き
ければ更新された学習モデルが理想的な学習モデルに近
くないと判断される。
【００３４】ステップ５において、更新された学習モデ
ルが理想的なモデルに近いと判別されたときには、更新
された学習モデルから、新学習モデル（最適化学習モデ
ル）が生成される（ステップ６）。そして、ステップ２
に戻り、この新学習モデルを用いて、ニューラルネット
ワーク１０４の学習が行われる。これにより、ニューラ
ルネットワーク１０４の学習が完了する。
【００３５】（３）初期学習モデルの生成方法（ステッ
プ１）の説明。
【００３６】ニューラルネットワーク１０４の学習のた
めには、ニューラルネットワーク１０４に供給される教
師信号を生成するための学習モデル１０６（図４参照）
が必要となる。ここでは、 Closed form 法によって初
期学習モデルが導かれる。Closed form 法としては、
たとえば、文献３： "Three-View StereoAnalysis (
M. Ito and A. Ishii, IEEE Trans. Pattern Analysi
s and Machine Intelligence, Vol. 8, No. 4, 1986.)"
に記載されているものがある。
【００３７】Closed form 法では、まず、ピンホール
カメラモデルに中間パラメータを導入することによって
線形方程式が得られる。次に、得られた線形方程式に最
小２乗法が適用される。最後に、ピンホールカメラモデ
ルのパラメータの推定値が得られる。
【００３８】ピンホールカメラモデルの基礎方程式は、
次のようにして導かれる。
【００３９】図３は、空間座標系Ｏ−ＸＹＺ、カメラ座
標系Ｏc −Ｘc Ｙc Ｚc およびカメラの撮像デバイス面
（画像面３０２）Ｏi −Ｘi Ｙi 上の２次元座標系（画
像座標系）の幾何学的関係を示している。
【００４０】このピンホールカメラモデルにおいては、
カメラに入る対象物からの光線は、ピンホールカメラモ
デルのカメラ座標系Ｏc −Ｘc Ｙc Ｚc の原点Ｏｃに収
束する。画像面３０２はＺc 軸に対して直交するように
設定されている。Ｘｃ−Ｙｃ平面は、推定の便宜上、画
像面３０２と平行になるように設定されている。画像中
心Ｏｉは、画像面３０２とＺｃ軸との交点として定義さ
れている。原点Ｏｃと原点Ｏｉとの距離は焦点距離ｆと
して定義されている。
【００４１】空間座標系の点（ｘ，ｙ，ｚ）は、平行移
動（並進）と回転により、カメラ座標系の点（ｘc ，ｙ
c ，ｚc ）に、次の数式１のように変換される。
【００４２】
【数１】
【００４３】ここで、Rot は、回転行列であり、Rot ＝
[ ｒij] ∈Ｒ3X3 で表される。また、Trは平行移動ベク
トルであり、Tr＝[ ｔ1 ｔ2 ｔ3 ] T で表される。
【００４４】カメラ座標系上の各点は、画像面３０２上
の点（ｘi ，ｙi ）に結像する。ピンホールカメラモデ
ルでは、画像面３０２上の点（ｘi ，ｙi ）は次の数式
２のように与えられる。
【００４５】
【数２】
【００４６】さらに、各点（ｘi ，ｙi ）は、次の数式
３のように線形変換される。
【００４７】
【数３】
【００４８】ここにλu ，λv はスケール係数である。
上記数式１、２、３より、次の数式４のように、ピンホ
ールカメラモデルの基本方程式が導かれる。
【００４９】
【数４】
【００５０】ここで ｓu ＝λu ｆ，ｓv ＝λv ｆであ
る。
【００５１】次に、空間座標系のＺ軸方向とカメラ座標
系のＺ軸方向とが一致すると仮定すると、ピンホールカ
メラモデルのカメラパラメータは、線形方程式の未定定
数が減少した線形推定法によって得られる。これらの線
形方程式は、上記数式４の基本方程式から導かれる。以
下において、この線形推定法を第１の線形推定法（Let-
1 ）という。
【００５２】[ ｒ31ｒ32ｒ33] ＝[ ００１] と仮定する
と、上記数式４の基本方程式は、次の数式５のように変
形される。
【００５３】
【数５】
【００５４】上記数式５中の９個の未定の中間パラメー
タＢ1 〜Ｂ8 、ｔ3 は、カメラ１０２から得られたサン
プルデータを用いて最小２乗法により決定される。この
際、カメラパラメータを決定するのに十分な数のサンプ
ルデータが選択される。さらに、画像座標系の座標軸の
直交条件により、基礎方程式（数式４）によって定義さ
れるピンホールカメラモデルのカメラパラメータが決定
される。これにより、ニューラルネットワーク１０４の
初期学習モデルが生成される。
【００５５】第１線形推定法(Let-1) の仮定、すなわ
ち、空間座標系のＺ軸方向とカメラ座標系のＺ軸方向と
が一致することは、カメラ１０２の対象物が存在しかつ
カメラ１０２の光軸が直交する図３の平面３０４を使用
することによって初期学習モデルを生成することを意味
する。平面３０４は、その表面に複数の点３０６を有し
ている。これらの点は、初期学習モデルが生成されると
きにサンプルデータとして用いられる。
【００５６】（４）ニューラルネットワーク１０４の学
習（ステップ２）についての説明。
【００５７】次に、図４を参照して、ニューラルネット
ワーク１０４の学習方法について説明する。
【００５８】上述したように、カメラ１０２は、撮像部
と信号処理部とからなる。撮像部は、信号処理部に対象
物の画像を供給する。信号処理部は、対象物画像から特
徴点を抽出し、特徴点の画像点をニューラルネットワー
ク１０４に供給する。ニューラルネットワーク１０４
は、カメラ１０２からの画像点を取込み、ニューラルネ
ットワークの特性に応じた出力を供給する。
【００５９】学習モデル１０６は、空間座標系の座標値
（ｘ，ｙ，ｚ）に対応した教師信号を、ニューラルネッ
トワーク１０４に供給する。
【００６０】学習モデル１０６は、たとえば、マイクロ
コンピュータによって構成される。ニューラルネットワ
ーク１０４は、ニューラルネットワークの現在の出力
（ｕ，ｖ）と学習モデル１０６からの教師信号（ｕm ，
ｖm ）の差に応じてその特性（ｇu ，ｇv ）を調整し、
その差を減少させる。これが、ニューラルネットワーク
１０４の学習動作である。
【００６１】カメラ１０２の出力は、次の数式６のよう
に定義される。
【００６２】
【数６】
【００６３】点（ｕ’，ｖ’）は、カメラ１０２の信号
処理部から供給された画像点、すなわち、撮像部によっ
て捕らえられた画像点である。さらに、画像点（ｕ’，
ｖ’）は、空間座標値が予めわかっている空間座標系の
点（制御点）に対応している。画像点（ｕ，ｖ）は、歪
みが除去された好適な画像点である。δu （ｕ，ｖ）お
よびδv （ｕ，ｖ）は、歪み係数であり、カメラ１０２
の出力に含まれる歪みを表している。
【００６４】ニューラルネットワーク１０４は、制御点
に対応する画像点（ｕ’，ｖ’）を取込むとともに教師
信号（ｕm ，ｖm ）を取り込む。そして、ニューラルネ
ットワーク１０４は、次の数式７で表される歪み関数の
逆関数（以下、逆歪み関数と呼ぶ）（ｇu ，ｇv ）を学
習する。
【００６５】
【数７】
【００６６】言い換えれば、ニューラルネットワーク１
０４は、歪みのある画像点から、学習モデル１０６に非
常に接近した、歪みのない画像点への変換を学習して決
定する。即ち、ニューラルネットワーク１０４は、カメ
ラ１０２の歪みを間接的に学習する。
【００６７】図５はニューラルネットワークの構造を示
す。
【００６８】ニューラルネットワーク１０４は、画像座
標値ｕを生成するための第１ユニット５０２と、画像座
標値ｖを生成するための第２ユニット５０４とから構成
されている。 各ユニット５０２、５０４は、 Multi-L
ayered Perceptron （３層パーセプトロンタイプ）と呼
ばれるものである。各ユニット５０２、５０４は、入力
層５０２ａ、５０４ａ、中間層５０２ｂ、５０４ｂおよ
び出力層５０２ｃ、５０４ｃから構成されている。
【００６９】この実施例では、入力層５０２ａ、５０４
ａはそれぞれ２個のセルを有し、中間層５０２ｂ、５０
４ｂはそれぞれ１０個のセルを有し、出力層５０２ｃ、
５０４ｃそれぞれ１個のセルを有している。各ユニット
５０２、５０４においては、信号は順方向のみに伝えら
れ、同じ層内のセルどうしの連結はない。各中間層５０
２ｂ、５０４ｂのそれぞれ２個のセルを除いては、各セ
ルの伝達関数としてはバイポーラシグモンド関数が用い
られている。各中間層５０２ｂ、５０４ｂのそれぞれ２
個のセルにおいては、ネットワーク１０４の学習速度を
高めるために、伝達関数としては一次関数が用いられて
いる。
【００７０】Multi-Layered Perceptron （３層パーセ
プトロンタイプ）については、文献４：” Neurocomput
ing: Foundation of Reseach ( J. A. Anderson andB.
Rosenfield, The MIT Press,1990 " に詳細に説明され
ている。
【００７１】ニューラルネットワーク１０４の学習アル
ゴリズムとしては、一般多変数関数の最小化手法である
Conjugate Gradient法（ＣＧ法）が用いられる。Conjug
ateGradient法（ＣＧ法）については、文献５：”Numer
ical Recipes in C, ( H.William et al, Cambridge
University Press,1990 " に詳細に説明されている。こ
の学習法（ＣＧ法）では、次の数式８で示すように、ニ
ュラルネットワーク１０４の内部パラメータが、コスト
関数を最小化するように変化する。
【００７２】
【数８】
【００７３】ここでｙ c, b はニューラルネットワーク
１０４の出力であり、t ｙ c, b は教師信号である。ｃ
は出力層のセル数を示し、ｂはサンプルデータ数を示し
ている。
【００７４】ニューラルネットワーク１０４の入力信号
および教師信号は、次の数式９のように定義される。
【００７５】
【数９】
【００７６】ここで、（ｕO ，ｖO ）は、初期学習モデ
ルによって得られた画像中心であり、ηは値の範囲を調
整するための定数である。ここではηは１００に設定さ
れる。 学習プロセスの後、ニューラルネットワーク１
０４は、画像点（ｙu ，ｙv）を供給する。これらの画
像点（ｙu ，ｙv ）に基づいて、次の数式１０にしたが
って、修正された画像点が得られる。
【００７７】
【数１０】
【００７８】（５）学習モデルの最適化方法（ステップ
１０）の説明
【００７９】学習モデルは実際のカメラに対して正当な
カメラモデルであるべきであるが、歪を含むデータから
線形推定法で得られた初期学習モデルは、なお改善の余
地を残している。従って、モデルの正当性を保証するた
めに、最適化する必要がある。
【００８０】最適化のために、初期学習モデルを用いて
学習が行われた後のニューラルネットワーク１０４から
の出力を用いて、ピンホールカメラモデルのパラメータ
が再度推定されるとともに学習モデルが更新される（第
１のモデル更新処理）。
【００８１】さらに、更新前の学習モデルと更新された
学習モデルとのモデル偏差を用いて画像データが修正さ
れ、パラメータが推定されるとともに学習モデルが更新
される（第２のモデル更新処理）。第２のモデル更新処
理は、複数回、たとえば２回繰り返される。
【００８２】ピンホールカメラモデルのパラメータを推
定するために、既知の画像中心を用いた線形推定法が使
用される。この線形推定法は、上述した第１線形推定法
（Let-1)とは異なるので、第２線形推定法（Let-2)とい
うことにする。
【００８３】先ず最初に、第２線形推定法（Let-2)につ
いて説明する。
【００８４】ピンホールカメラモデルの基礎方程式（数
式４）は、次の数式１１のように変形される。
【００８５】
【数１１】
【００８６】座標軸の直交性を利用すれば上記数式１１
からベクトルｖ3 [ ｒ31ｒ32ｒ33]を消去することがで
きる。これにより、次の数式１２で表される線形方程式
が得られる。
【００８７】
【数１２】
【００８８】さらに、Ｂ8 ≠０と仮定するとともに上記
数式１２の両辺をそれぞれＢ8 で除すると、Ｂ1 ／
Ｂ8 、Ｂ2 ／Ｂ8 、Ｂ3 ／Ｂ8 、Ｂ4 ／Ｂ8 、Ｂ5 ／Ｂ
8 、Ｂ6／Ｂ8 およびＢ7 ／Ｂ8 を最小二乗法を使用し
て決定することができる。これらの係数は、それぞれ次
の数式１３で示すように、Θ1 、Θ2 、Θ3 、Θ5 、Θ
6およびΘ7 で表すことができる。
【００８９】
【数１３】
【００９０】ここで記号sgn(x)、ｘの符号（＋または
−）を持つ値１を表す。ここでは、初期学習モデルの推
定によって得られたｔ2 の符号がよく使用される。
【００９１】さらに、回転行列の推定結果を次の数式１
４の線形方程式に適用することにより、ピンホールカメ
ラモデルのパラメータが求められる。
【００９２】
【数１４】
【００９３】学習モデルの更新プロセスは次のようにし
て数式化される。得られた画像座標データは、次の数式
１５に示すように、カメラモデルＭ、歪み成分Ｄt およ
びノイズＮによって表される。
【００９４】
【数１５】
【００９５】ノイズを無視し、求めるべき最適モデルを
Ｍ0 、対応する歪みをＤt0とすると、カメラモデルと歪
みは一般的に次の数式１６のように表される。
【００９６】
【数１６】
【００９７】従って、学習された歪みＤt は、実際の歪
みＤt0以外にモデル偏差（Ｍ0 −Ｍ）を含んでいる。し
かし、モデル偏差（Ｍ0 −Ｍ）が非常に小さく、線形推
定の外乱として影響が小さければ、ニューラルネットワ
ーク１０４から供給された修正画像データからより最適
モデルに近いモデルを求めることができる。以下のモデ
ル更新法はこの考えに基づく。
【００９８】（ｉ）ニューラルネットワークによるデー
タの修正と学習モデルの更新（第１のモデル更新処理）
【００９９】まず、次の数式１７で示される手順に基づ
いて、データの修正と学習モデルの更新が行われる。
【０１００】
【数１７】
【０１０１】ここで、初期データＤａ1 は、Ｍ1(ｃ1)＋
Ｄｔ1 ＋Ｎと等しい。ここで、Ｍ1(ｃ1)は、画像中心ｃ
1 を持つ初期学習モデルを表す。すなわち、初期データ
Ｄａ 1 は、ニューラルネットワーク１０４によってまだ
修正されていないデータである。さらに、Ｌｅ（Ｄａ，
ｃ）は、与えられた画像中心ｃおよび第２線形推定法Le
t-2 を適用して、更新された新しい学習モデルを生成す
ることを意味する。
【０１０２】更新手続きにおいては、学習モデルＭ1 に
よって学習が行われた後のニューラルネットワーク１０
４に制御点が供給される。そして、ニューラルネットワ
ーク１０４によって、データＤａ1 から歪みＤｔ1 が除
去される。これにより、各制御点に対する歪みが除去さ
れた画像点の集合（ｕ，ｖ）、すなわち修正データＤａ
2 が供給される。
【０１０３】次に、得られた第２のデータＤａ2 と与え
られた画像中心ｃとに基づいて、第２線形推定法Let-2
により、初期学習モデルの更新が行われるとともに第１
の更新された学習モデルＭ2 が得られる。
【０１０４】（ｉｉ）さらなる学習モデルの更新および
データの修正（第２のモデル更新処理）
【０１０５】次に、次の数式１８で示される手順に基づ
いて、データの修正と線形推定による学習モデルの更新
が行われる。
【０１０６】
【数１８】
【０１０７】ここで ｋは、２または３である。
【０１０８】第１の更新された学習モデルＭ2 （ｃ）
（各制御点に対するモデルＭ2 （ｃ）の画像点データ）
と初期学習モデルＭ1 （ｃ）（各制御点に対するモデル
Ｍ1 （ｃ）の画像点データ）とのモデル偏差（Ｍ
2 （ｃ）−Ｍ1 （ｃ））とが、第２のデータＤａ2 に加
算されることにより、第３の修正データＤａ3 が得られ
る。また、得られた修正データＤａ3 と与えられた画像
中心ｃに基づいて、第２の更新された学習モデルＭ
3 （ｃ）が、第２線形推定法Let-2 により、求められ
る。
【０１０９】第２の更新された学習モデルＭ3 （ｃ）と
第１の更新された学習モデルＭ2 （ｃ）とのモデル偏差
（Ｍ3 （ｃ）−Ｍ2 （ｃ））とが、第３のデータＤａ3
に加算されることにより、第４の修正データＤａ4 が得
られる。また、得られた修正データＤａ4 と与えられた
画像中心ｃに基づいて、第３の更新された学習モデルＭ
4 （ｃ）が、第２線形推定法Let-2 により、求められ
る。
【０１１０】このようにして、第３の更新された学習モ
デルＭ4 （ｃ）が求められると、求められた学習モデル
Ｍ4 （ｃ）の評価が行われる。この評価は、たとえば、
求められた第３の更新された学習モデルＭ4 （ｃ）の推
定カメラ位置（カメラの原点位置（ｔ1 ，ｔ2 ，
ｔ3 ））と、実際のカメラ１０２の位置との距離に基づ
いて行われる。
【０１１１】つまり、第３の更新された学習モデルＭ4
（ｃ）によるカメラ推定位置と、実際のカメラ位置との
距離とが一定値Ｌより大きいときには、再度新たな画像
中心が与えられて、学習モデルの更新が行われる。
【０１１２】一方、第３の更新された学習モデルＭ
4 （ｃ）によるカメラ推定位置と、実際のカメラ位置と
の距離とが所定値Ｌ以下であるときには、得られたモデ
ルＭ4 （ｃ）はニューラルネットワーク１０４の最終的
な学習モデルであると判定される。したがって、得られ
た学習モデルＭ4 （ｃ）を用いて、ニューラルネットワ
ーク１０４が再度学習せしめられ、これにより、カメラ
システムが完成する。
【０１１３】上記実施例では、更新された学習モデルを
評価するために、更新された学習モデルの推定カメラ位
置（ｔ1 ，ｔ2 ，ｔ3 ）と、実際のカメラ位置との距離
が使用されているが、他のカメラパラメータを使用して
更新された学習モデルを評価してもよい。
【０１１４】なお、更新された学習モデルによるカメラ
推定位置と実際のカメラ位置との距離が最小となる最適
モデルを求めるために、シンプレックス法を用いてもよ
い。この方法を用いる場合には、たとえば、更新された
学習モデルＭ4 （ｃ）に異なる３点の画像中心ｃ1 、ｃ
2 、ｃ3 を与えることにより、各画像中心それぞれに対
応した学習モデルＭ4 （ｃ1 ）、Ｍ4 （ｃ2 ）、Ｍ
4 （ｃ3 ）をそれぞれ求める。そして、それらの３つの
学習モデルＭ4 （ｃ1 ）、Ｍ4 （ｃ2 ）、Ｍ4 （ｃ 3 ）
のうち、カメラ推定位置（ｔ1 ，ｔ2 ，ｔ3 ）と実際の
カメラ位置との距離が最も大きいものを選択する。ここ
では、学習モデルＭ4 （ｃ2 ）のカメラ推定位置
（ｔ1 ，ｔ2 ，ｔ3 ）と実際のカメラ位置との距離が最
も大きく、学習モデルＭ4 （ｃ2 ）が選択されたとす
る。
【０１１５】次に、第４の画像中心ｃ4 を決定する。第
４の画像中心は、選択されたモデルＭ4 （ｃ2 ）の画像
中心ｃ2 に対し、残りの２つの画像中心ｃ1 、ｃ3 から
なる線分Ｌｃ1 −Ｌｃ3 を対称軸とすると、画像中心ｃ
2 のある側と対称軸の反対側（画像中心間距離が小さく
なる例）であってかつ画像中心から所定距離だけ離れた
位置にある。
【０１１６】次に、画像中心ｃ4 に対応した学習モデル
Ｍ4 （ｃ4 ）と、前回選択されなかった残りの２つの学
習モデルＭ4 （ｃ1 ）、Ｍ4 （ｃ3 ）のうち、カメラ推
定位置（ｔ1 ，ｔ2 ，ｔ3 ）と実際のカメラ位置との距
離が最も大きいものを選択する。このような処理を繰り
返して行うことにより、３つの画像中心はしだいに収束
し、好適な学習モデルが求められる。
【０１１７】なお、初期学習モデルを、第２の線形推定
法（Let-2)によって、生成するようにしてもよい。ま
た、学習モデルの最適化は必ずしも必要ではない。
【０１１８】（６）評価方法についての考察
【０１１９】本カメラキャリブレーション法（上述した
最終的な学習モデルを得るための方法）を評価するため
に、総合的データが使用される。図６は、計算結果のデ
ータへの依存性を排除するため、一定の任意性をもつデ
ータ点の与え方を示す。仮想格子６０２は、空間座標系
Ｏ−ＸＹのｚ軸に垂直な面上にある。また、この格子６
０２は、画像面ｏ−ｕｖの原点から任意の平行移動とｚ
軸に対する回転（ロール角）とを持っている。格子６０
２の各交点は、格子線に沿ってランダムに振動する。
【０１２０】格子全体の振動は、ｘおよびｙ方向に各々
標準偏差（Ｓ1x，Ｓ1y）をもち、各格子点の振動は標準
偏差（Ｓ2x，Ｓ2y）をもつ。これらの標準偏差は、ｘ軸
方向の格子間距離をＬx とし、ｙ方向の格子間距離をＬ
y とした時、次の数式１９のように定義される。
【０１２１】
【数１９】
【０１２２】ここで、歪みに関しては、次の数式２０の
Wengのモデル式を用いた（文献６："Camera Calibratio
n with Distortion Models and Accuracy Evaluation
（ J.Weng et al, IEEE Trans. Pattern Analysis and
Machine Intelligence, Vol.14, No.10, pp965-980, 19
92. ）”参照) 。
【０１２３】
【数２０】
【０１２４】また、ｋ，ｇ1 ，ｇ2 ，ｇ3 ，ｇ4 は定数
である。このとき、歪みをもった画像座標は次の数式２
１で表される。
【０１２５】
【数２１】
【０１２６】表１はシミュレーション結果の１例を示
す。ただし、画像データには標準偏差0.2 のガウス分布
ノイズが各座標値に加えられている。
【０１２７】表１において、FLet-2は画像中心真値を用
いた線形推定法FLet-2の結果、OLet-2はモデル誤差を最
小化した線形推定法Let-2 の結果である。また、Let-1
のコラムの右側のＭ4 は、線形推定法Let-1 を初期学習
モデルとしたニューラルネットワークを用いて計算され
た第３の更新された学習モデルである（上記実施例で得
られたＭ4 ）。OLet-2のコラムの右側のＭ4 は、線形推
定法OLet-2を初期学習モデルとしたニューラルネットワ
ークを用いて計算された第３の更新された学習モデルで
ある。また、表１において、Roll、Pitch 、Yaw は、そ
れぞれカメラ座標のｚ，ｙ，ｘ軸回りの回転角に相当す
る。
【０１２８】
【表１】
【０１２９】表１において、FLet-2、OLet-2またはLet-
1 によるRollは、それぞれ実測値によく一致している。
PichおよびYaw に関しては、OLet-2およびLet-1 におい
て幾らかの誤差がある。しかしながら、FLet-2では、Pi
ch角およびYaw 角は、精度良く、推定されている。
【０１３０】更新された学習モデルＭ4 では、ピンホー
ルカメラの全てのパラメータに関して良い推定が与えら
れている。更新された学習モデルＭ4 では、平均モデル
誤差がノイズレベル（0.2828) 程度まで下がっている。
表１から、この実施例のキャリブレーション結果が正当
なものであることが分かる。
【０１３１】
【表２】
【０１３２】表２は、５０個のデータ群に対する学習モ
デルＭ4 ( 本実施例の方法で生成される学習モデルＭ4)
を示している。表２は、カメラパラメータの平均値と
標準偏差を示す。５０個のデータ群は、表１で使用され
たものと同じ方法に作成されている。
【０１３３】表２において、各パラメータの実測値は、
表１に示されているものと同じである。この結果、各カ
メラパラメータの変動は小さく、実測値に近くなってい
ることが分かる。特に、推定カメラ位置（ｔ1 ，ｔ2 ，
ｔ3 ）は、実測値に近くなっている。
【０１３４】推定カメラ位置（ｔ1 ，ｔ2 ，ｔ3 ）と実
際のカメラ位置との差が十分に小さいときには（このこ
とは表２で確認されている）、推定された画像中心は実
際の画像中心に十分に接近する。このようなことから、
図２の学習モデルの最適化においては、最適化が評価さ
れるときに、推定カメラ位置と実際のカメラ位置との距
離が用いられているのである。
【０１３５】表３は、実際のカメラからの画像データを
この発明の実施例に採用した場合の、実験結果を示して
いる。これらの画像点は、米国カーネギーメロン大学の
Calibrated Imaging Laboratoryの Willson氏から提供
された。カメラは Photometrics Inc.製のズーム機能付
きのものが使用された。
【０１３６】カメラは６自由度の動きが可能な高精度カ
メラ台に固定された。カメラの姿勢は、撮像されるター
ゲット板に対しカメラ光軸が垂直になるように正確に調
整された。ターゲット板は、黒色ドットパターンが一様
にリソグラフ印刷された白色プラスチック板である。タ
ーゲット板は、カメラの光軸方向に移動可能な台に固定
されている。
【０１３７】カメラからMatrox製の画像処理装置に、黒
色ドットパターン像が供給された。画像処理装置では、
各黒ドットの中心座標が画像点として抽出された。抽出
されたデータが上記実施例のニューラルネットワークに
供給された。
【０１３８】表３は、各線形推定によるカメラパラメー
タの推定結果と、上記の Willson氏によって得られた T
sai 氏のカメラ校正法( 文献１参照）による結果とを示
している。なお、 Tsai 氏のカメラ校正法による結果の
中の画像中心を、学習モデルＭ4 の生成のために用い
た。
【０１３９】線形推定OLet-2では比較的大きな推定誤差
が生じた。したがって、この実施例では、初期学習モデ
ルの構築のために、Let-1 を用いた。また、学習モデル
Ｍ4を使用した場合の平均モデル誤差は Tasi 氏よりも
小さくなった。このことは、この発明の実施例の精度が
高いことを示している。
【０１４０】
【表３】
【０１４１】
【発明の効果】この発明によるカメラシステムによれ
ば、実際のカメラによって得られた歪みのある画像点か
ら、歪みが除去された画像点が得られる。この発明によ
る歪み除去方法によれば、実際のカメラによって得られ
た歪みのある画像点から、歪みを除去することができ
る。
【図面の簡単な説明】
【図１】図１は、カメラシステムの基本的な構成を示す
ブロック図である。
【図２】図２は、ニューラルネットワークの学習プロセ
スを示すフローチャートである。
【図３】図３は、ピンホールカメラモデルにおける空間
座標系、カメラ座標系および画像面を示す模式図であ
る。
【図４】図４は、ニューラルネットワークと学習モデル
とを示すブロック図である。
【図５】図５は、ニューラルネットワークの構造を示す
構成図である。
【図６】図６は、シミュレーションにおいて、制御点の
与え方を示す概念図である。
【符号の説明】
１０２ カメラ １０４ ニューラルネットワーク １０６ 学習モデル

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 対象物から画像点を得るためのカメラ、
    およびカメラで得られた歪みのある画像点を、歪みが除
    去された画像点に変換するニューラルネットワーク、 を備えたカメラシステム。
  2. 【請求項２】 上記ニューラルネットワークは、上記カ
    メラから得られた歪みのある画像点から歪みが除去され
    た画像点への変換を学習するものであるクレーム１記載
    のカメラシステム。
  3. 【請求項３】 上記ニューラルネットワークは、対象物
    から画像点を得るためのプロセスが数学的に記述された
    カメラモデルによって供給される教師信号に基づいて、
    歪みのある画像点から歪みが除去された画像点への変換
    を学習するものであるクレーム１記載のカメラシステ
    ム。
  4. 【請求項４】 上記カメラモデルが基礎方程式を有する
    ピンホールカメラモデルであり、上記ピンホールカメラ
    モデルは、３次元の空間座標系と、３次元のカメラ座標
    系と、２次元の画像座標系とを備え、上記基礎方程式は
    カメラパラメータを含んでおり、上記カメラパラメータ
    は少なくとも画像中心を含んでいる請求項３に記載のカ
    メラシステム。
  5. 【請求項５】 上記基礎方程式のカメラパラメータが、
    線形推定によって決定される請求項４に記載のカメラシ
    ステム。
  6. 【請求項６】 上記基礎方程式のカメラパラメータが、
    上記基礎方程式に中間パラメータを導入することによっ
    て導かれる線形方程式に基づいて決定される請求項４に
    記載のカメラシステム。
  7. 【請求項７】 上記空間座標系のｚ軸の方向が上記カメ
    ラ座標系のｚ軸の方向と同じであると仮定することによ
    って、上記線形方程式が導かれる請求項６に記載のカメ
    ラシステム。
  8. 【請求項８】 上記画像中心が既知であると仮定するこ
    とによって上記線形方程式が導かれる請求項６に記載の
    カメラシステム。
  9. 【請求項９】 線形推定により得られた初期カメラモデ
    ルによって得られた画像点を教師信号として、上記ニュ
    ーラルネットワークが歪みのある画像点から歪みが除去
    された画像点への変換を学習した後、 上記ニューラルネットワークによって得られた、歪みが
    除去された画像点データに基づいて、上記初期カメラモ
    デルが更新されることにより、上記初期カメラモデルが
    最適化され、 最適化されたカメラモデルに基づいて、上記ニューラル
    ネットワークが歪みのある画像点から歪みが除去された
    画像点への変換を再度学習するクレーム１記載のカメラ
    システム。
  10. 【請求項１０】 上記カメラモデルの最適化は、 上記初期カメラモデルによって学習が行われた後の上記
    ニューラルネットワークを用いて、画像点データを修正
    し、修正された画像点データと所与の画像中心とに基づ
    いて、線形推定によりカメラモデルを更新する第１ステ
    ップ、 前ステップで修正された画像点データと、前ステップで
    更新されたカメラモデルと、前ステップで更新される前
    のカメラモデルとに基づいて、前ステップで修正された
    画像点データをさらに修正し、修正された画像点データ
    と上記所与の画像中心とに基づいて、線形推定によりカ
    メラモデルをさらに更新する第２ステップ、 上記第２ステップを所定回数だけ繰り返してカメラモデ
    ルを更新して新カメラモデルを生成する第３ステップ、 上記第３ステップにより得られた新カメラモデルを評価
    する第４ステップ、 上記第４ステップにより好適な評価結果が得られなかっ
    たときには、新たな画像中心を与えて、上記第２ステッ
    プ〜第４ステップを再度実行させる第５ステップ、なら
    びに、 上記第４ステップにより好適な評価結果が得られたとき
    には、上記第３ステップにより得られた新カメラモデル
    を最適化されたカメラモデルとする第６ステップ、 によって行われる請求項９に記載のカメラシステム。
  11. 【請求項１１】 上記第４ステップの評価は、上記新カ
    メラモデルによって推定されるカメラ位置と実際のカメ
    ラ位置との距離が所定値以下か否かを判定することによ
    って行われる請求項１０に記載のカメラシステム。
  12. 【請求項１２】 上記初期カメラモデルがピンホールカ
    メラモデルである請求項９、１０および１１のいずれか
    に記載のカメラシステム。
  13. 【請求項１３】 対象物から画像点を獲得するためのプ
    ロセスが数学的に記述されたカメラモデルを生成し、カ
    メラモデルによって得られた画像点を教師信号として、
    実際のカメラから供給される歪みのある画像点から歪み
    が除去された画像点への変換をニューラルネットワーク
    に学習させ、学習後のニューラルネットワークに実際の
    カメラから得られた歪みのある画像点を入力することに
    よってニューラルネットワークから歪みが除去された画
    像点を得る歪み除去方法。
JP7029360A 1994-06-27 1995-02-17 カメラシステムおよび歪み除去方法 Pending JPH0818848A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/266,136 US5617490A (en) 1994-06-27 1994-06-27 Camera system with neural network compensator for measuring 3-D position
US266136 1994-06-27

Publications (1)

Publication Number Publication Date
JPH0818848A true JPH0818848A (ja) 1996-01-19

Family

ID=23013324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7029360A Pending JPH0818848A (ja) 1994-06-27 1995-02-17 カメラシステムおよび歪み除去方法

Country Status (2)

Country Link
US (1) US5617490A (ja)
JP (1) JPH0818848A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197332A (ja) * 1999-11-26 2001-07-19 Inst Fuer Neurosimulation & Bildtechnologien Gmbh 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正する方法及び該方法を実施するための装置
JP2002158915A (ja) * 2000-09-05 2002-05-31 Inst Of Physical & Chemical Res 画像のレンズ歪みの補正方法
WO2003032255A1 (fr) * 2001-10-01 2003-04-17 Japan Science And Technology Corporation Procede de correction de deformation d'image par une lentille dans un systeme de numerisation, et dispositif de correction correspondant
US6633664B1 (en) 1999-05-11 2003-10-14 Nippon Telegraph And Telephone Corporation Three-dimensional structure acquisition method, apparatus and computer readable medium
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
KR100778320B1 (ko) * 2005-08-31 2007-11-22 (주)브이쓰리아이 스테레오 입체 카메라 시스템의 실시간 주시각 자동제어방법 및 장치
CN112669391A (zh) * 2020-12-29 2021-04-16 苏州大晚成智能科技有限公司 一种四摄像头接触线测量仪的标定方法与装置
JP2022506061A (ja) * 2018-10-29 2022-01-17 エヌイーシー ラボラトリーズ アメリカ インク ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7193645B1 (en) 2000-07-27 2007-03-20 Pvi Virtual Media Services, Llc Video system and method of operating a video system
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP4521342B2 (ja) * 2005-09-29 2010-08-11 株式会社東芝 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
US7809170B2 (en) 2006-08-10 2010-10-05 Louisiana Tech University Foundation, Inc. Method and apparatus for choosing and evaluating sample size for biometric training process
TWI545523B (zh) * 2013-08-30 2016-08-11 國立中央大學 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置
CN105488807A (zh) * 2015-12-25 2016-04-13 傅之成 一种远心镜头的标定和矫正方法
US10325339B2 (en) * 2016-04-26 2019-06-18 Qualcomm Incorporated Method and device for capturing image of traffic sign
CN106097322B (zh) * 2016-06-03 2018-10-09 江苏大学 一种基于神经网络的视觉系统标定方法
US10417911B2 (en) 2017-12-18 2019-09-17 Ford Global Technologies, Llc Inter-vehicle cooperation for physical exterior damage detection
US10600234B2 (en) 2017-12-18 2020-03-24 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self imaging
WO2019132852A1 (ru) * 2017-12-29 2019-07-04 Олэг Лэонидовыч ДЫВИНЭЦЬ Смарт-камера, информационная система и способ выявления свободных парковочных мест в парковочных объектах с такой камерой
US10745005B2 (en) 2018-01-24 2020-08-18 Ford Global Technologies, Llc Inter-vehicle cooperation for vehicle self height estimation
EP3557182A1 (en) 2018-04-20 2019-10-23 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement Positioning system and method
EP3557191A1 (en) 2018-04-20 2019-10-23 CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement System and method for improving the accuracy of a position of an object
US10628690B2 (en) 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
CN108833784B (zh) * 2018-06-26 2021-01-29 Oppo（重庆）智能科技有限公司 一种自适应构图方法、移动终端及计算机可读存储介质
US11351917B2 (en) 2019-02-13 2022-06-07 Ford Global Technologies, Llc Vehicle-rendering generation for vehicle display based on short-range communication
CN114108717A (zh) * 2021-12-09 2022-03-01 上海勘察设计研究院(集团)有限公司 一种基于视觉测量的基坑围护顶部变形监测系统及其方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4727471A (en) * 1985-08-29 1988-02-23 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Miniature lightweight digital camera for robotic vision system applications
GB2256989B (en) * 1991-06-21 1995-02-08 Sony Broadcast & Communication Video image capture apparatus
US5420939A (en) * 1992-12-31 1995-05-30 Intel Corporation Method and apparatus for a focal neuron system
US5459636A (en) * 1994-01-14 1995-10-17 Hughes Aircraft Company Position and orientation estimation neural network system and method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633664B1 (en) 1999-05-11 2003-10-14 Nippon Telegraph And Telephone Corporation Three-dimensional structure acquisition method, apparatus and computer readable medium
JP2001197332A (ja) * 1999-11-26 2001-07-19 Inst Fuer Neurosimulation & Bildtechnologien Gmbh 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正する方法及び該方法を実施するための装置
JP2002158915A (ja) * 2000-09-05 2002-05-31 Inst Of Physical & Chemical Res 画像のレンズ歪みの補正方法
WO2003032255A1 (fr) * 2001-10-01 2003-04-17 Japan Science And Technology Corporation Procede de correction de deformation d'image par une lentille dans un systeme de numerisation, et dispositif de correction correspondant
JP2007064836A (ja) * 2005-08-31 2007-03-15 Kyushu Institute Of Technology カメラキャリブレーションの自動化アルゴリズム
KR100778320B1 (ko) * 2005-08-31 2007-11-22 (주)브이쓰리아이 스테레오 입체 카메라 시스템의 실시간 주시각 자동제어방법 및 장치
JP2022506061A (ja) * 2018-10-29 2022-01-17 エヌイーシー ラボラトリーズ アメリカ インク ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正
CN112669391A (zh) * 2020-12-29 2021-04-16 苏州大晚成智能科技有限公司 一种四摄像头接触线测量仪的标定方法与装置

Also Published As

Publication number Publication date
US5617490A (en) 1997-04-01

Similar Documents

Publication Publication Date Title
JPH0818848A (ja) カメラシステムおよび歪み除去方法
Tang et al. A precision analysis of camera distortion models
Deng et al. A novel camera calibration technique based on differential evolution particle swarm optimization algorithm
Liu et al. Visual homing from scale with an uncalibrated omnidirectional camera
CN111383272B (zh) 一种双目视觉水果分拣并联机器人视觉盲区末端位姿检测方法
JPH10124658A (ja) 神経回路網を利用したカメラの映像歪補正方法
CN106846416A (zh) 单机分束双目被动立体视觉精确重构与细分拟合方法
CN114494464A (zh) 一种线扫相机的标定方法
CN113228096A (zh) 通过机器学习进行光学矫正
Perdigoto et al. Calibration of mirror position and extrinsic parameters in axial non-central catadioptric systems
Ma et al. Rational radial distortion models of camera lenses with analytical solution for distortion correction
JP2961264B1 (ja) ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体
Jin et al. Using distortion correction to improve the precision of camera calibration
Do Application of neural networks for stereo-camera calibration
CN111462246A (zh) 一种结构光测量系统的设备标定方法
Liu et al. A method of camera calibration based on Kriging interpolation
CN113112535B (zh) 一种基于有向包围盒的尺度点云配准方法及装置
CN114897990A (zh) 一种基于神经网络的相机畸变标定方法、系统和存储介质
JP2007034964A (ja) カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定方法、装置、カメラ視点運動並びに３次元情報の復元及びレンズ歪パラメータの推定プログラム
Liang et al. An integrated camera parameters calibration approach for robotic monocular vision guidance
Orghidan et al. Fuzzy versus crisp stereo calibration: A comparative study
Woo et al. An efficient method for camera calibration using multilayer perceptron type neural network
Huo et al. An on-line calibration method for camera with large FOV based on prior information
Lu et al. Calibration of a 3D vision system using pattern projection
CN113487659B (zh) 一种图像配准方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040330