JP7473449B2 - 歪曲収差補正装置、方法及びプログラム - Google Patents

Description

本発明は、ズームレンズで撮影したカメラ画像に生じる歪曲収差をズーム値に応じて自動で補正する歪曲収差補正装置、方法及びプログラムに関する。

光学レンズによって撮像したカメラ画像には光学系由来の歪曲収差の影響により歪が生じる。図７は、歪曲収差によりカメラ画像に歪が生じる様子を示した図であり、同図(a)に示した歪のない格子画像に、同図(b)の樽型歪や、同図(c)の糸巻型歪が生じ得る。

このような歪が生じると、複数のカメラ画像を合成する際に対応点がうまく取れず、品質を劣化させる原因となる。また、視体積交差法による３Dモデル生成では、複数の画像中の対象物を３次元空間に逆射影した共通部分を計算するため、歪はモデル生成の品質を劣化させる原因となる。このような歪を補正する方法として、歪が生じた画像を画像処理によって補正する方法が提案されている。

特許文献１には、歪曲収差が被写体距離および像高に依存して変化するという知見に基づいて、予め歪曲収差特性曲線と呼ばれる所定の像位置における被写体距離と歪曲収差値との関係性を記録し、撮影時に測定した被写体距離に応じて歪曲収差値を計算することで歪を補正にする技術が開示されている。

非特許文献１には、単一画像での自動歪補正手法として、カメラ画像に含まれる直線を基準に歪補正量を変化させながら画像を補正し、最適な歪補正量を決定する技術が開示されている。

特開2007-206789号公報

Camera distortion self-calibration using the plumb-line constraint and minimal Hough entropy. Machine Vision and Applications2008. 鶴崎裕貴, 野中敬介, 渡邊良亮, 内藤整, Line Segment Detectorを用いたカメラキャリブレーションの高精度化に関する検討, 研究報告オーディオビジュアル複合情報処理（AVM）

特許文献１では、予め被写体距離と歪曲収差との関係性（補正曲線）を記録し、撮影時の被写体距離に応じて歪曲収差を補正するため、事前に被写体距離と歪曲収差との関係を測定・記録した特定機種のカメラしか自動で歪補正を行うことができない。

また、歪補正に利用する歪補正モデルにおいても事前の測定時に使用したモデルしか利用できない。これらの制限により、使用するカメラが予め特定されておらず、事前測定を行うことができない場合には歪補正を行うことができない。

非特許文献１のように、単一画像に含まれる直線などの画像特徴に基づいて歪補正を自動で行う手法では、画像中に必要な特徴が存在しない場合や特徴が一部分に集中している場合に歪補正に誤差が生じ、失敗することがある。

本発明の目的は、上記の技術課題を解決し、事前準備が不要であり、歪補正に有効な画像特徴が存在しないカメラ画像の歪補正も自動で行える歪曲収差補正装置、方法及びプログラムを提供することにある。

上記の目的を達成するために、本発明は、ズームレンズで撮影したカメラ画像の歪曲収差を補正する装置において、以下の構成を具備した点に特徴がある。

(1) ズーム値の異なる複数のカメラ画像を取得する手段と、カメラ画像ごとに歪補正量を仮推定する手段と、各カメラ画像のズーム値を取得する手段と、各カメラ画像のズーム値と歪補正量との関係に基づいて、任意のズーム値から歪補正量を求める推計モデルを生成する手段と、カメラ画像ごとに撮影時のズーム値を前記推計モデルに適用して歪補正量を計算する手段と、カメラ画像を前記歪補正量に基づいて補正する手段とを具備した。

(2) 推計モデルを生成する手段は、複数のズーム値と歪補正量との関係を学習データとする最小二乗法により多項式回帰モデルを生成し、この多項式回帰モデルと各学習データとの誤差に基づいて各学習データに重み付けを行い、重み付けされた学習データを用いた最小二乗法によりロバストな多項式回帰モデルを再生成するようにした。

(3) ズーム値を取得する手段は、カメラ画像の特徴に基づいてカメラパラメータを推定し、カメラパラメータの推定結果に基づく焦点距離をズーム値の代替値として用いるようにした。

本発明によれば、以下のような効果が達成される。

(1) 取得したカメラ画像に基づいてズーム値と歪補正量との関係を学習して推計モデルを生成し、任意のカメラ画像が与えられたときに、そのズーム値に基づいて歪補正量を推計して歪補正に用いるので、事前準備なしに任意のカメラ画像の歪を補正できるようになる。

(2) 複数台のカメラから取得したカメラ画像に基づいてズーム値と歪補正量との関係を学習し、推計モデルを生成するので、カメラの一部がその画角内に直線等の特徴を含まないために、そのカメラ画像に画像特徴に基づく既存の歪補正手法を適用できない場合でも、他のカメラ画像に基づいて生成した推計モデルに基づいて歪を補正できるようになる。

(3) 視点が異なるために様々なズーム値での撮影が期待される複数台のカメラからズーム値と歪補正量との組み合わせに係る学習データを取得するので、広範なズーム範囲での学習データ取得を短時間で実現することができ、推計モデルの短時間生成が可能になる。

(4) 推計モデルとしてロバスト回帰モデルを生成するので、学習データに外れ値が含まれていても正確な歪補正が可能になる。

(5) カメラ画像の特徴に基づいてカメラパラメータを推定し、カメラパラメータの推定結果に基づく焦点距離をズーム値の代替値として用いるので、カメラがズーム値を内部情報とし保持していなくてもズームレンズの歪を正確に補正できるようになる。

本発明の第１実施形態に係る歪曲収差補正装置の主要部の構成を示した機能ブロック図である。 光学レンズのズーム値と歪補正量との関係を表す回帰モデルの例を示した図である。 第１実施形態における歪曲収差の補正手順を示したフローチャートである。 回帰モデルの生成手順を示したフローチャートである。 本発明の第２実施形態に係る歪曲収差補正装置の主要部の構成を示した機能ブロック図である。 本発明の第３実施形態に係る歪曲収差補正装置の主要部の構成を示した機能ブロック図である。 歪曲収差によりカメラ画像に歪が生じる例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１実施形態に係る歪曲収差補正装置１の主要部の構成を示した機能ブロック図であり、ここでは本発明の説明に不要な構成は図示を省略している。

このような歪曲収差補正装置１は、CPU、ROM、RAM、バス、インタフェース等を備えた汎用のコンピュータやサーバに、以下に詳述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

カメラ画像取得部１０は、撮影時のズーム値が異なる複数のカメラ画像Iをフレーム単位で取得する。カメラ画像Iはカメラから直接取得しても良いし、予め撮影されて記録媒体に記録されているカメラ画像Iを取得するようにしても良い。各カメラ画像Iは同一のカメラでズーム値を変えながら撮影されていても良いし、光学性能が同一の複数のカメラにより異なるズーム値で撮影されていても良い。

歪補正量推定部２０は、カメラ画像Iごとに任意の推定手法により歪補正量を仮推定する。ここで、歪補正量とは歪補正モデルの係数であり、非特許文献１の手法を採用するのであれば、カメラ画像内の直線を補正することで歪補正量が推定される。

非特許文献１は、歪により１つの直線が様々な方向の直線として検出される点に着目してエントロピー最小化により直線を補正できることを知見し、歪画像と補正画との座標変換式である歪補正モデルを次式(1)で定義する。ρは画像中心からの半径である。

そして、係数γを変化させながら画像の歪を補正し、補正した画像に対して直線検出を行う。さらに検出された直線の情報からハフ空間上でヒストグラムを作成し、このエントロピーを最小化する係数γが歪補正量として出力される。

ズーム値取得部３０は、カメラ画像Iを撮影したカメラの内部情報からズーム値を取得する。データ蓄積部４０は、カメラ画像Iごとに撮影時のズーム値と歪補正量との組み合わせを蓄積する。なお、ズーム範囲の全域で歪補正量を正確に推計するためには、学習する組み合わせのズーム値が特定のズーム範囲に集中せず、ズーム範囲の全域に分散していることが望ましい。

推計モデル生成部５０は、データ蓄積部４０に蓄積した各カメラ画像のズーム値と歪補正量との組み合わせを学習データとして、図２に一例を示したように、任意のズーム値に対応する歪補正量を推計する推計モデルを生成する。本実施形態では、推計モデルとして回帰モデルを生成する。このとき、外れ値の学習データが回帰モデルに及ぼす影響を排除または軽減すべくロバスト回帰を採用することが望ましい。

このようなロバスト回帰の手法として、Biweight推定法によるn次式回帰を採用できる。Biweight推定法では、複数の学習データに基づいて、初めに次式(2)の多項式回帰モデルが暫定的に生成される。

次いで、この暫定モデルと各学習データとの誤差に基づいて各学習データに重み付けを行い、重み付けした学習データを用いた次式(3)の行列計算を解くことで、ズーム値と歪補正量との関係をロバストに推定する多項式回帰モデルを生成する。

ここで、(x_i, y_i) はi番目の学習データであり、本実施形態ではズーム値と歪補正量との組み合わせである。各項に掛かる重みw_iは、前記多項式回帰の暫定モデルと各学習データとの誤差d_iを次式(4)に適用して計算される。ただし、Tは誤差の許容範囲であり、誤差d_iは次式(5)に基づいて計算される。

歪補正量計算部６０は、前記推計モデル生成部５０が生成したロバスト回帰モデルを用いて、任意のズーム値で撮影されたカメラ画像の歪補正に用いる歪補正値γを再計算する。画像補正部７０は、再計算された歪補正量γを前記歪補正量推定部２０で用いた上式(1)の歪補正モデルに適応することでカメラ画像の歪を補正する。

図３は、本実施形態による歪曲収差の補正手順を示したフローチャートである。ステップS１では、前記カメラ画像取得部１０によりカメラ画像が取得される。ステップS２では、前記ズーム値取得部３０により当該カメラ画像の撮影時におけるズーム値が取得される。ステップS３では、任意のズーム値から歪補正量γを推計するロバストな回帰モデルが生成済であるか否かが判断される。

最初は生成済ではないと判断されるのでステップS４へ進み、前記歪補正量推定部２０により前記カメラ画像の歪補正量γが仮推定される。ステップS５では、前記歪補正量γが前記ズーム値と組み合わされ、学習データの一つとしてデータ蓄積部４０に蓄積される。ステップS６では、広範なズーム範囲に分散された十分な個数の学習データが蓄積されたか否かが判断される。

本実施形態では、ズーム範囲の全域に渡って所定数の学習データが蓄積されていると、十分な学習データが蓄積されたと判断してステップS７へ進む。ステップS７では、推計モデル生成部５０が前記所定数の学習データを用いて、任意のズーム値から歪補正量γを推計する回帰モデルを生成する。

図４は、前記回帰モデルの生成手順を示したフローチャートであり、ステップS７１では、前記所定数の学習データを用いた最小二乗法により多項式回帰の暫定モデルが生成される。ステップS７２では、多項式回帰の暫定モデルに各学習データのズーム値を適用して歪補正量の誤差d_iが計算される。ステップS７３では、前記誤差に応じて各学習データに重み値w_iが設定される。ステップS７４では、重み付けした学習データを用いた最小二乗法により多項式回帰モデルが再生成される。

ステップＳ７５では、再生成した多項式回帰モデルを用いて上記と同様に誤差d_iが計算され、当該誤差d_iが十分に小さな値であるか否かが判断される。当該誤差d_iが十分に小さな値であれば多項式回帰モデルの生成を終了する。これに対して、当該誤差d_iが十分に小さな値でなければステップＳ７６へ進み、前記誤差d_iに基づいて重み値w_iを更新した後に前記ステップＳ７４へ戻り、上記の各処理を所定の回数を限度に繰り返す。

図３へ戻り、多項式回帰モデルの再生成後に、前記ステップS１においてカメラ画像が取得されると、ステップS２では、当該カメラ画像の撮影時におけるズーム値が取得される。ステップS３では、回帰モデルが生成済と判断されるのでステップS８へ進む。

ステップS８では、前記ズーム値が前記多項式回帰モデルに適用されて歪補正量γが再計算される。ステップS９では、取得したカメラ画像および歪補正量γを上式(1)の歪補正モデルに適用してカメラ画像が歪補正される。

本実施形態によれば、取得したカメラ画像に基づいてズーム値と歪補正量との関係を学習して回帰モデルを生成し、任意のカメラ画像が与えられたときに、そのズーム値に基づいて当該カメラ画像の歪補正量を推計して歪補正に用いるので、事前準備なしに任意のカメラ画像の歪を補正できるようになる。

図５は、本発明の第２実施形態に係る歪曲収差補正装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する場合もある。

本実施形態では、スポーツシーンを対象とした自由視点映像制作のためにフィールド周囲に配置され、スポーツシーンを異なる視点（画角）で撮影する複数のカメラcamの歪曲収差が同時に補正される。

画像入力部１０は、視点の異なる複数のカメラcamからズーム値の異なる複数のカメラ画像Iを定期的に、例えばフレーム単位で取得する。各カメラは光学性能が同一のズームレンズを搭載し、ズーム値と歪曲収差との関係はカメラ間で同一である。各カメラはズーム値を内部情報として保持している。

歪補正量推定部２０は、カメラ画像ごとに任意の推定手法により歪補正量γを仮推定する。ズーム値取得部３０は、各カメラの内部情報からズーム値を取得する。データ蓄積部４０は、ズーム値と歪補正値との組み合わせをカメラの同異とは無関係に学習データとして蓄積する。推計モデル生成部５０は、データ蓄積部４０に蓄積した学習データに基づいて、ズーム値から歪補正量γを推計する多項式回帰モデルを生成する。

歪補正量計算部６０は、前記推計モデル生成部５０が生成した多項式回帰モデルを用いて、任意のズーム値で撮影されたカメラ画像の歪補正に用いる歪補正値γを再計算する。画像補正部７０は、再計算された歪補正量γを上式(1)の歪補正モデルに適応することで、各カメラで撮影されたカメラ画像の歪を補正する。

本実施形態によれば、複数台のカメラから取得したカメラ画像に基づいてズーム値と歪補正量との関係を学習し、任意のズーム値から歪補正量を計算する回帰モデルが生成される。したがって、カメラの一部がその画角内に直線等の特徴を含まないためにそのカメラ画像に既存の歪補正手法を適用できない場合でも、他のカメラ画像に基づいて生成した回帰モデルに基づいて歪を補正できるようになる。

また、任意のズーム値に対して正確な歪補正量γを計算するためにはズーム範囲の全域でズーム値と歪補正量との組み合わせに係る学習データが必要になるところ、本実施形態では視点が異なるために様々なズーム値での撮影が期待される複数台のカメラから学習データを取得できる。したがって、広範なズーム範囲での学習データ取得を短時間で実現することができ、回帰モデルを短時間で生成できるようになる。

さらに、回帰モデルとしてロバスト回帰モデルを用いれば、学習データに外れ値が含まれていても正確な歪補正が可能になる。

図６は、本発明の第３実施形態に係る歪曲収差補正装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態は前記ズーム値取得部３０に代えてズーム値計算部８０を設けた点に特徴がある。

上記の各実施形態では各カメラcamがズーム値を内部情報とし保持し、ズーム値取得部３０が当該ズーム値を取得して歪補正量γの計算に用いるものとして説明した。これに対して、本実施形態では各カメラcamがズーム値を内部情報として保持していない場合でもズーム値計算部８０がカメラ画像に基づいてズーム値を計算する点に特徴がある。

ズーム値計算部８０は、画像取得部１０が取得したカメラ画像ごとに、画像中の特徴を用いてカメラパラメータの焦点距離を計算し、当該商店距離でズーム値を代表する。

本実施形態では、例えば非特許文献２に開示されるように、カメラ画像から既知の線分検出手法によりフィールドラインを検出し、各フィールドラインの交点を検出する。そして、予め用意されているフィールドモデルの各交点（X,Y,Z）とカメラ画像から検出した各交点（u,v）とを対応付け、次式(6)で与えられる行列計算を解くことでカメラパラメータを取得する。

ここで、(c_x, c_y) は画像中の主点であり、通常は画像中心である。fは焦点距離であり、本実施形態においてズーム値に代替される値である。これらは内部パラメータと呼ばれ、焦点距離を固定している限りは一定の値となる。また、r₁₁～r₃₃はカメラの回転量を示す回転行列であり、t₁～t₃はカメラの位置を示す並進行列である。これらr₁₁～r₃₃, t₁～t₃による行列は外部パラメータと呼ばれる。sはスケーリングに用いる係数である。

本実施形態によれば、各カメラcamがズーム値を内部情報とし保持していなくてもズームレンズの歪を正確に補正できるようになる。また、回帰モデルとしてロバスト回帰モデルを用いれば、学習データに外れ値が含まれていても正確な歪補正が可能になる。

なお、上記の各実施形態では推計モデルとして多項式回帰モデルを例にして説明したが、本発明はこれのみに限定されるものではなく、ズーム値と歪補正量との関係を学習して任意のズーム値に対応する歪補正量を推計できる推計モデルであれば、機械学習やニューラルネットワークを適用して構築した予測モデルであっても良い。

１…歪曲収差補正装置，１０…画像入力部，２０…歪補正量推定部，３０…ズーム値取得部，４０…データ蓄積部，５０…推計モデル生成部，６０…歪補正量計算部，７０…画像補正部，８０…ズーム代替値計算部

Claims (14)

1. ズームレンズで撮影したカメラ画像の歪曲収差を補正する装置において、
   ズーム値の異なる複数のカメラ画像を取得する手段と、
   前記取得したカメラ画像ごとに歪補正量を仮推定する手段と、
   前記歪補正量を仮推定した各カメラ画像のズーム値を取得する手段と、
   前記各カメラ画像のズーム値と歪補正量との関係に基づいて、ズーム範囲の全域で任意のズーム値のみから歪補正量を求める推計モデルを生成する手段と、
   カメラ画像ごとに撮影時のズーム値のみを前記推計モデルに適用して歪補正量を計算する手段と、
   前記カメラ画像を前記歪補正量に基づいて補正する手段とを具備したことを特徴とする歪曲収差補正装置。
2. 前記複数のカメラ画像を取得する手段は、光学性能が同一で視点の異なる複数のカメラのいずれか一のカメラからカメラ画像を取得し、
   前記推計モデルを生成する手段は、前記一のカメラが異なるズーム値で撮影した複数のカメラ画像のズーム値と歪補正量との関係に基づいて推計モデルを生成することを特徴とする請求項１に記載の歪曲収差補正装置。
3. 前記複数のカメラ画像を取得する手段は、光学性能が同一で視点の異なる複数のカメラからカメラ画像を取得し、
   前記推計モデルを生成する手段は、各カメラが異なるズーム値で撮影した複数のカメラ画像の各ズーム値と歪補正量との関係に基づいて推計モデルを生成することを特徴とする請求項１に記載の歪曲収差補正装置。
4. 前記推計モデルを生成する手段は、複数のズーム値と歪補正量との関係を学習データとする最小二乗法により多項式回帰モデルを生成することを特徴とする請求項１ないし３のいずれかに記載の歪曲収差補正装置。
5. 前記推計モデルを生成する手段は、前記多項式回帰モデルと各学習データとの誤差に基づいて各学習データに重み付けを行い、重み付けされた学習データを用いた最小二乗法によりロバストな多項式回帰モデルを再生成することを特徴とする請求項４に記載の歪曲収差補正装置。
6. 前記ズーム値を取得する手段は、カメラ画像の特徴に基づいてカメラパラメータを推定し、カメラパラメータの推定結果に基づく焦点距離をズーム値の代替値として用いることを特徴とする請求項１ないし５のいずれかに記載の歪曲収差補正装置。
7. ズームレンズで撮影したカメラ画像の歪曲収差をコンピュータが補正する方法において、
   ズーム値の異なる複数のカメラ画像を取得し、
   前記取得したカメラ画像ごとに歪補正量を仮推定し、
   前記歪補正量を仮推定した各カメラ画像のズーム値を取得し、
   前記各カメラ画像のズーム値と歪補正量との関係に基づいて、ズーム範囲の全域で任意のズーム値のみから歪補正量を求める推計モデルを生成し、
   カメラ画像ごとに撮影時のズーム値のみを前記推計モデルに適用して歪補正量を計算し、
   前記カメラ画像を前記歪補正量に基づいて補正することを特徴とする歪曲収差補正方法。
8. 前記推計モデルとして、複数のズーム値と歪補正量との関係を学習データとする最小二乗法により多項式回帰モデルを生成することを特徴とする請求項７に記載の歪曲収差補正方法。
9. 前記多項式回帰モデルと各学習データとの誤差に基づいて各学習データに重み付けを行い、重み付けされた学習データを用いた最小二乗法によりロバストな多項式回帰モデルを再生成することを特徴とする請求項８に記載の歪曲収差補正方法。
10. カメラ画像の特徴に基づいてカメラパラメータを推定し、カメラパラメータの推定結果に基づく焦点距離をズーム値の代替値として用いることを特徴とする請求項７ないし９のいずれかに記載の歪曲収差補正方法。
11. ズームレンズで撮影したカメラ画像の歪曲収差を補正するプログラムにおいて、
    ズーム値の異なる複数のカメラ画像を取得する手順と、
    前記取得したカメラ画像ごとに歪補正量を仮推定する手順と、
    前記歪補正量を仮推定した各カメラ画像のズーム値を取得する手順と、
    前記各カメラ画像のズーム値と歪補正量との関係に基づいて、ズーム範囲の全域で任意のズーム値のみから歪補正量を求める推計モデルを生成する手順と、
    カメラ画像ごとに撮影時のズーム値のみを前記推計モデルに適用して歪補正量を計算する手順と、
    前記カメラ画像を前記歪補正量に基づいて補正する手順と、をコンピュータに実行させる歪曲収差補正プログラム。
12. 前記推計モデルを生成する手順では、複数のズーム値と歪補正量との関係を学習データとする最小二乗法により多項式回帰モデルを生成することを特徴とする請求項１１に記載の歪曲収差補正プログラム。
13. 前記推計モデルを生成する手順では、前記多項式回帰モデルと各学習データとの誤差に基づいて各学習データに重み付けを行い、重み付けされた学習データを用いた最小二乗法によりロバストな多項式回帰モデルを再生成することを特徴とする請求項１２に記載の歪曲収差補正プログラム。
14. 前記ズーム値を取得する手順では、カメラ画像の特徴に基づいてカメラパラメータを推定し、カメラパラメータの推定結果に基づく焦点距離をズーム値の代替値として用いることを特徴とする請求項１１ないし１３のいずれかに記載の歪曲収差補正プログラム。

Images