JPWO2011161746A1 - 画像処理方法、プログラム、画像処理装置及び撮像装置 - Google Patents

Abstract

被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることを目的とする。設定された仮想投影面を歪み補正率を複数段階に変更した補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うステップと、前記ステップで算出した画像データを表示部に順次切り替えて表示させるステップと、を有する画像処理方法とする。

Description

本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、プログラム、画像処理装置及び撮像装置に関するものである。

一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームでつないでいる。

特開２００９−１４００６６号公報 特開２００９−１０５５４６号公報

特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。

特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。

また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理をおこなわない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。

本願発明はこのような問題に鑑み被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、プログラム、画像処理装置及び撮像装置を提供することを目的とする。

上記の目的は、下記に記載する発明により達成される。

１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
前記第２ステップで算出された画像データを用いて表示用画像を出力する第３ステップと、
を有し、
前記第２ステップにおける前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数段階の補正係数に変更され、
前記第２ステップ及び前記第３ステップにより前記複数段階のぞれぞれの段階における補正係数を用いて算出された画像データを用いて、前記表示用画像を順次切り替えて出力させることを特徴とする画像処理方法。

２．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記１に記載の画像処理方法。

３．前記第１ステップにおけるワールド座標系の仮想投影面の位置を第１位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数及び前記第１位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力した後に、
前記第１ステップにおけるワールド座標系の仮想投影面の位置を前記第１位置と異なる第２位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数よりも歪み補正率が高い第２補正係数及び前記第２位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力させることを順次行い、徐々に歪み補正率が高い補正係数を用いて算出された画像データを用いて、表示用画像を切り替えて出力させることを特徴とする前記１又は２に記載の画像処理方法。

４．前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
前記第２ステップでは、前記補正係数と前記仮想投影面の位置を初期値の前記第１補正係数及び該第１補正係数に対応させた前記第１位置から、最終値の前記第２補正係数及び該第２補正係数に対応させた前記第２位置まで、補正率と位置をともに変えて複数段階に変更し、
前記第３ステップでは変更した複数の前記補正係数及び前記位置により算出した画像データを用いて、表示用画像を切り替えて出力させることを特徴とする前記１又は２に記載の画像処理方法。

５．前記第１ステップにおける仮想投影面の位置及びサイズは、ユーザの指示に基づいて設定されることを特徴とする前記１から４のいずれか一項に記載の画像処理方法。

６．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
を有し、
前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする画像処理装置。

７．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記６に記載の画像処理装置。

８．前記仮想投影面は、第１位置と第２位置が設定されており、
前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする前記６又は７に記載の画像処理装置。

９．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
前記設定部で設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
画像処理部で算出した画像データを表示する表示部と、
を有し、
前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
前記表示部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする画像処理装置。

１０．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記９に記載の画像処理装置。

１１．前記設定部により前記仮想投影面は第１位置と第２位置が設定されており、
前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
前記表示部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする前記９又は１０に記載の画像処理装置。

１２．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置のプログラムであって、コンピュータを、
仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部、
として機能させ、
前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とするプログラム。

１３．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記１２に記載のプログラム。

１４．前記仮想投影面は第１位置と第２位置が設定されており、
前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする前記１２又は１３に記載のプログラム。

１５．光学系と、
複数の画素を有する撮像素子と、
仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
を有し、
前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする撮像装置。

１６．前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする前記１５に記載の撮像装置。

１７．前記仮想投影面は、第１位置と第２位置が設定されており、
前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする前記１５又は１６に記載の撮像装置。

本願発明によれば、仮想投影面を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系の座標及び撮像素子の画素データに基づいて前記仮想投影面の画像データを算出し、前記歪み補正係数を第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって光学系のレンズの物理的特性に基づいて算出された前記第２補正係数まで、補正率が異なる複数段階の補正係数に変更し、前記複数段階の補正係数を用いて算出した画像データを順次、表示させることにより、被写体の正確な認識を図ること、及び、比較的小規模な回路で、高速に処理することが可能となる。

本実施形態に係る歪曲補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示している。 撮像装置の概略構成を示すブロック図である。 メインの制御フローを示す図である。 ステップＳ３０のサブルーチンを示す図である。 仮想投影面ＶＰの座標を説明する図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 異なるレンズデータを用いた場合での歪曲補正を説明する模式図である。 表示画像（補正率０％）の例である。 表示画像（補正率２０％）の例である。 表示画像（補正率４０％）の例である。 表示画像（補正率６５％）の例である。 表示画像（補正率９０％）の例である。 表示画像（補正率１００％）の例である。 第２の実施形態におけるメインの制御フローを示す図である。 カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０を仮想ｐｉｔｃｈ回転させた例を示すものである。 カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置をオフセット移動する例である。 表示画像（補正率０％、位置移動０％）の例である。 表示画像（補正率２０％、位置移動２０％）の例である。 表示画像（補正率４０％、位置移動４０％）の例である。 表示画像（補正率６５％、位置移動６５％）の例である。 表示画像（補正率９０％、位置移動９０％）の例である。 表示画像（補正率１００％、位置移動１００％）の例である。

本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

図１は、本実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける対象物の物点である。θは光軸（Ｚ軸に一致）に対する入射角度である。

ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは画像中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数を用いてカメラ座標系に変換したものである。

ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。

［ブロック図］
図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備えている。

撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。

制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３から構成される。

設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。

画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データの作成を行う。また画像処理部は、表示用の画像信号の出力を行う画像信号出力部としても機能する。

記憶部１０３には、撮像ユニット１１０のレンズ（実レンズ）の物理的特性に基づくレンズパラメータにより算出された第２補正係数、歪み補正を行わない第１補正係数が記憶されている。また仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。なお歪み補正係数は、レンズのキャリブレーションデータの取得やレンズのｆθ特性に基づく計算等により求めることができる。

表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データに基づく表示用画像を逐次、表示画面に表示させる。

操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。

［制御フロー］
図４は、本実施形態の制御フローを示す図である。図４はメインの制御フローを示す図であり、図５はステップＳ３０のサブルーチンを示す図である。

ステップＳ１０（「第１ステップ」に相当）では、仮想投影面ＶＰの変換（設定）を行う。これは前述の様にユーザによる操作部１３０への入力指示により、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズの設定が行われる。図２に示すように位置を変更することにより表示部１２０に表示されるカメラ視点が変更される（パン、チルトに相当）。また仮想投影面ＶＰの位置の変更に伴いレンズ中心Ｏとの距離が変更されればズームイン、ズームアウトされることになる。またズームイン、ズームアウトは仮想投影面ＶＰのサイズを変更することによっても行うことができる。仮想投影面ＶＰの位置変更に関しての具体例は後述する。

またステップＳ１０では、入力されたサイズ設定（あるいはデフォルト設定のサイズ値）に基づいて仮想投影面ＶＰを画素数ｎに分割する。当該画素数は表示部１２０の表示総画素数（画面解像度）と同等かこれ以上であることが好ましい。以下においては例として、当該画素数ｎ及び表示部１２０の表示総画素数はともに６４０×４８０ｐｉｘｅｌ（総画素数３０．７万）の固定条件で説明する。なお本実施形態においては仮想投影面ＶＰ上において隣接する画素との間隔は等間隔に設定しているので、画素数ｎが固定の場合には仮想投影面ＶＰのサイズは固定となる。

ステップＳ２０では、歪み補正係数の変更を行う。歪み補正係数は、初期値の第１補正係数から最終値の第２補正係数まで変更する。第１補正係数及び第２補正係数は記憶部１０３に記憶されており、第１補正係数は第２係数よりも歪み補正率が引く補正係数であり、本実施形態では歪み補正を行わない補正値に設定している。第２補正係数は撮像ユニット１１０のレンズの物理的特性に基づくレンズパラメータにより算出された補正係数である。第１補正係数から第２補正係数まで所定の刻み幅で歪み補正率を多段階で変更してゆく。なお第１補正係数と第２補正係数の間で複数の補正係数を予め設定しておき算出しておき、これを記憶部１０３に記憶しておくようにしてもよい。また所定の刻み幅（及び第１補正係数と第２補正係数の間で補正係数の個数）は、表示部１２０への表示周期（図９参照）に応じて適宜変更するようにしてもよい。更に、第１補正係数は操作部１３０への入力指示により変更可能な構成としてもよい。

ステップＳ３０（「第２、第３ステップ」に相当）では、ステップＳ１０で設定された仮想投影面ＶＰの状態及びステップＳ２０で設定された補正係数に基づいて、主に画像処理部１０１により歪み補正処理を行う。歪み補正処理について図５を参照して説明する。

図５はステップＳ３０のサブルーチンを説明する図である。ステップＳ３１では、仮想投影面ＶＰ上での各々の画素Ｇｖのワールド座標系の座標Ｇｖ（Ｘ，Ｙ，Ｚ）を取得する。図６は、座標系を説明する模式図である。図６に示すように仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０ｐｉｘｅｌの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお同図におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。

ステップＳ３２では、画素Ｇｖのワールド座標系での座標とステップＳ２０で設定された歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ，ｙ）を算出する。具体的には、当該歪み補正係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

図７はカメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図７において点ａ〜ｄは、図６の点Ａ〜Ｄをカメラ座標系に変換したものである。なお図６では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図７においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

ステップＳ３３では、座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定する。なお撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ステップＳ３２で算出される座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。前者のようにｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）の画素データとして用いる。後者のようにｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には画素Ｇｖの画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、例えば座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いたりしてもよい。なお周辺の箇所としては４箇所には限られず１箇所、又は１６箇所若しくはそれ以上であってもよい。

当該ステップＳ３１からステップＳ３３を、図６の起点となる点Ａ（０，０，Ｚａ）から１画素（ピクセル）ずつ移動させて右下の終点Ｃ（６３９，４７９，Ｚｃ）までの各画素（ピクセル）について実行することで全画素について歪み補正が行われた画像データを取得することができる。ここまでが図５に示したステップＳ３０のサブルーチンに関する制御である。

図５の制御フローの説明に戻る。ステップＳ４０（「第４ステップ」に相当）では、ステップＳ３０で取得した画像データを表示部１２０の表示画面に表示させる。なおステップＳ２０からＳ４０は逐次実行されるものであり、終了の指示が入力されるまで（ステップＳ５０：Ｙｅｓ）撮影された画素データに基づく歪み処理後の画像データの表示用画像を表示部１２０に出力してリアルタイムで表示させる。

図８、図９に基づいて本実施形態の表示例について説明する。図８は図１に対応する図であり、図８（ａ）、図８（ｂ）、図８（ｃ）ではそれぞれ異なるレンズデータを用いている。図８（ｃ）に示すレＬｅｎｓ３は第２補正係数に対応する撮像ユニット１１０のレンズ（実レンズ）を示している。Ｌｅｎｓ１は第１補正係数に対応する仮想レンズを示しておりＬｅｎｓ２は、第１補正係数と第２補正係数との間の補正係数（以下、「補間補正係数」ともいう）に対応する仮想レンズを示している。補正係数（Ｌｅｎｓ）が変更されることにより物点Ｐをカメラ座標系に変換した点ｐの座標も変化することになる。

補足すると、仮想投影面ＶＰの位置及び物点Ｐの位置が変化しないにも拘わらず、図８（ｃ）、図８（ｂ）、図８（ａ）と補正率を低くすることに対応して撮像素子面ＩＡの対応する位置も、より外側に移動してゆく。このときには、実際の実レンズは変更しておらず、内部の処理に用いるレンズのパラメータ（及びこれに対応する歪み補正係数）を変更しているだけであり、図８（ｂ）、図８（ａ）の点ｐの位置に入射される被写体は実際にはこれらの図に示す物点Ｐの位置にはなく、これよりも画角の端部側に存在することになる。つまり、レンズパラメータを変更することにより、これに対応する歪み補正率の変更のみならず画角の変更も行われることになる。

図９から図１４は、表示部１２０に表示させた表示画像の例であり、図９は第１補正係数として補正率が０％（補正を行わない）で、図１４は第２補正係数として補正率１００％、図１０から図１３はその補間補正係数として、それぞれ補正率２０％、４０％、６５％、９０％の条件下で算出された画像データを表示させた例である。表示部１２０には、図９を初期画像として、最終画像の図１４まで一定の速度で表示画像を順次更新しながら表示させている。例えばフレームレート３０ｆｐｓであれば、１％／２フレームの割合で補正率を除々に高くした画像データを更新しながら表示部１２０に表示させ、これを可変可能な一定の周期で繰り返している。

従来のモーフィング画像のように初期画像と最終画像を合成して除々に変化させる画像データを生成するのに比べて、本実施形態においては仮想投影面ＶＰを設定して、歪み補正率を変化させながら画像データを算出しているので、一回の画像処理で除々に変化する画像データを得ることができる。これにより比較的小規模な回路であっても高速に画像データを算出できるので、回路規模を増強せずに高速フレームの画像データの表示が可能となる。

図９の画像単体では視野角が広いが被写体の歪みにより距離や大きさを認識し難い、これに対して図９〜図１４の様に除々に補正率を変化させた画像を表示させることにより歪みが解消され距離や大きさを正しく認識することができる。なお図９から図１４まで表示させる周期としては数秒に設定しているが、操作部１３０への指示により適宜変更するようにしてもよい。またこれらの説明においては、初期画像として第１補正係数に対応する画像データ、次に補間補正係数、そして最終画像として第２補正係数に対応する画像データとする順でそれぞれに基づいて算出した画像データを表示する例について説明したが、初期画像と最終画像はそれぞれ第１補正係数、第２補正係数の間の任意の補正率に設定してもよい。例えば、初期画像と最終画像の歪み補正率の組み合わせを、０％と４０％、あるいは４０％と６０％とする場合である。

更に、表示順をその逆に設定してもよい。この場合は、表示部１２０には、最終値の歪み補正率が高い第２補正係数に基づいて算出された画像データを初期画像として表示され、続いて歪み補正率が徐々に低くなる画像データを表示し、最終画像として初期値の第１補正係数に対応する画像データが表示される。これを可変可能な一定の周期で繰り返す。

［第２の実施形態］
次に、第２の実施形態について図１５の制御フローに基づいて説明する。第２の実施形態においては図４に示した実施形態と異なり補正係数を変更するのに併せて仮想投影面の位置も変更する。

図４に示した制御フローと同じ処理については同じ符号を示しており説明を省略する。また図１５に示す制御以外の構成は、図１から図８で説明した構成と同一である。

第２の実施形態においては、ステップＳ１５において、仮想投影面の位置は、第１位置と第２位置の２箇所の位置が設定される。その他の設定は、図４に示したステップＳ１０と同じ処理を行う。

ステップＳ２５では、初期値の（１）第１補正係数及び第１位置から、最終値の（２）第２補正係数及び第２位置まで除々に、これらを変更してゆく。補正係数と位置の変更は対応するように変更してゆく。例えば、補正係数と位置のそれぞれの初期値を０％と最終値を１００％として両者を同じ比率で変更する。変更の具体例については後述する。ステップＳ３０では、ステップＳ２５で設定された補正係数及び仮想投影面ＶＰの位置に基づいて歪み補正処理した画像データを取得する。ここで、位置変更の具体例について図１６から図１９に基づいて説明する。

［仮想投影面ＶＰの位置の変更の具体例］
図１６は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。図１６に示すように画像中心ｏを回転中心としてｘ軸回りの回転がｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転がｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転がｒｏｌｌである。

図１７は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ−ａｘｉｓ、他方をＰ−ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ−ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ−ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。

図１８は、仮想ｐｉｔｃｈ回転させた例であり、仮想投影面ＶＰ０を位置変更して仮想ｐｉｔｃｈ回転させたものが仮想投影面ＶＰ１であり、位置変更後において仮想カメラＣａ１は上方に位置し、カメラ視点ｃａｖは見下げる方向となる。

図１９は、入力されたオフセット移動量の設定値に基づいて仮想投影面ＶＰ０をｘ方向、ｙ方向、Ｚ方向にそれぞれオフセット移動（平行移動）させた例を示すものである。初期状態においては、Ｚ方向へのオフセット移動は、ズームイン、ズームアウトと同様の動きとなる。初期状態以外においては、各方向へのオフセット移動は光学系の撮影領域外の暗部を画像領域外に移動させる際に有効である。

図２０から図２５は、表示部１２０に表示させた表示画像の例である。これらの図の例では、補正率を変化に対応させて仮想投影面ＶＰの位置も変化させている。仮想投影面は第１位置と第２位置が設定されており、同図の例では第１位置は初期位置（レンズ中心面ＬＣと平行に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置）である。第２位置は、初期位置に対してｐｉｔｃｈ回転（以下実ｐｉｔｃｈともいう）を−４５ｄｅｇ（図１６参照）及び仮想ｐｉｔｃｈ回転を−４５ｄｅｇ（図１７、図１８参照）させたものである。

初期値では補正率と仮想投影面ＶＰの位置はそれぞれ補正率０％（第１補正係数）と第１位置である。最終値では補正率と位置はそれぞれ補正率１００％（第２補正係数）と第２位置である。以下の説明においては初期値の第１位置は位置移動率０％、最終値の第２位置は位置移動率１００％として説明する。また以下に説明する実施形態では、位置移動率と補正率は同じ変化幅で変化するような対応関係としている。例えば補正率が１０％の場合には、位置移動率も同じ１０％に設定している。なお、補正率と位置変動率は同じ変化幅に限定する必要はなく、位置変動率は、０％と１００％の２段階で変更するようにしてもよい。

図２０は、初期値として補正率０％（第１補正係数）で位置移動率０％（第１位置）の条件で算出した画像データを表示させた例である。図２１は補正率、位置移動率がともに２０％の条件下で算出された画像データを表示させた例である。図２２、図２３、図２４、図２５は同様に、補正率、位置移動率がともに４０％、６５％、９０％、１００％の条件下で算出した画像データを表示させた例である。図２５では歪み補正率が１００％とすることにより画像の歪みは解消されており、また位置の移動により仮想ｐｉｔｃｈ及び実ｐｉｔｃｈがともに−４５ｄｅｇ変更されており被写体を見下ろすように視点変更がなされている。

表示部１２０には、図２０を初期画像として、最終画像の図２５まで一定の速度で表示画像を順次更新しながら表示させている。例えばフレームレート３０ｆｐｓであれば、補正率及び位置移動率をともに１％／２フレームの割合で除々に変更した画像データを図２０、図２１、図２２、図２３、図２４、図２５のような補正率及び位置移動率が低い画像から高い画像まで順に表示させ、これを一定周期で繰り返している。

本実施形態によれば、位置が設定された前記仮想投影面を補正係数によりカメラ座標系に変換し、変換したカメラ座標系の座標及び前記画素の画素データに基づいて前記仮想投影面の画像データの算出を行うに際し、補正係数及び位置のデータを変更させながら画像データの算出を行うことにより、歪補正率変更とともに仮想投影面の位置変更（カメラ視点の変更）を並行して行う場合であっても、別なプロセスを設ける必要がない。これにより図４に示した実施形態と同じ処理方式や装置に対して新たなリソースの増強を必要とせずに位置変更と歪補正率変更を同時に行うことが可能となる。

以上に説明した実施の形態では、集光レンズを含む光学系として、単玉レンズからなる光学系を例示して説明したが、集光レンズは複数枚のレンズで構成されてもよく、光学系には集光レンズ以外の光学素子を備えていてもよいことは勿論であり、本願の発明を適用できるものである。その場合には、歪み補正係数は、光学系全体としての値を利用すればよい。しかしながら、撮像装置の小型化や低コスト化の上では、以上の実施の形態で例示したように、単玉のレンズを用いることが最も好ましく、単玉のレンズとしては単玉の広角レンズ、魚眼レンズ等が挙げられる。

１００ 制御装置
１０１ 画像処理部
１０２ 設定部
１０３ 記憶部
１１０ 撮像ユニット
１２０ 表示部
１３０ 操作部
ＶＰ 仮想投影面
ＬＣ レンズ中心面
ＩＡ 撮像素子面
Ｏ レンズ中心
ｏ 画像中心
ｏｖ 仮想投影面の中心

Claims (17)

1. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
   ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
   前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
   前記第２ステップで算出された画像データを用いて表示用画像を出力する第３ステップと、
   を有し、
   前記第２ステップにおける前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数段階の補正係数に変更され、
   前記第２ステップ及び前記第３ステップにより前記複数段階のぞれぞれの段階における補正係数を用いて算出された画像データを用いて、前記表示用画像を順次切り替えて出力させることを特徴とする画像処理方法。
2. 前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項１に記載の画像処理方法。
3. 前記第１ステップにおけるワールド座標系の仮想投影面の位置を第１位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数及び前記第１位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力した後に、
   前記第１ステップにおけるワールド座標系の仮想投影面の位置を前記第１位置と異なる第２位置に設定し、前記第２ステップにおける画像データを、前記第１補正係数よりも歪み補正率が高い第２補正係数及び前記第２位置に基づいて算出して、算出した画像データを用いて前記第３ステップにおいて表示用画像を出力させることを順次行い、徐々に歪み補正率が高い補正係数を用いて算出された画像データを用いて、表示用画像を切り替えて出力させることを特徴とする請求項１又は２に記載の画像処理方法。
4. 前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
   前記第２ステップでは、前記補正係数と前記仮想投影面の位置を初期値の前記第１補正係数及び該第１補正係数に対応させた前記第１位置から、最終値の前記第２補正係数及び該第２補正係数に対応させた前記第２位置まで、補正率と位置をともに変えて複数段階に変更し、
   前記第３ステップでは変更した複数の前記補正係数及び前記位置により算出した画像データを用いて、表示用画像を切り替えて出力させることを特徴とする請求項１又は２に記載の画像処理方法。
5. 前記第１ステップにおける仮想投影面の位置及びサイズは、ユーザの指示に基づいて設定されることを特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
6. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
   位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
   前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
   を有し、
   前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
   前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする画像処理装置。
7. 前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項６に記載の画像処理装置。
8. 前記仮想投影面は、第１位置と第２位置が設定されており、
   前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
   前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする請求項６又は７に記載の画像処理装置。
9. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
   ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
   前記設定部で設定された前記仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
   画像処理部で算出した画像データを表示する表示部と、
   を有し、
   前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
   前記表示部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする画像処理装置。
10. 前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項９に記載の画像処理装置。
11. 前記設定部により前記仮想投影面は第１位置と第２位置が設定されており、
    前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    前記表示部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、表示することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置のプログラムであって、コンピュータを、
    仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部、
    として機能させ、
    前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
    前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とするプログラム。
13. 前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項１２に記載のプログラム。
14. 前記仮想投影面は第１位置と第２位置が設定されており、
    前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする請求項１２又は１３に記載のプログラム。
15. 光学系と、
    複数の画素を有する撮像素子と、
    仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
    前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
    を有し、
    前記歪み補正係数は、第１補正係数から、前記第１補正係数よりも歪み補正率が高い補正係数であって前記光学系のレンズの物理的特性に基づいて算出された第２補正係数まで、歪み補正率が異なる複数の補正係数であり、
    前記画像信号出力部では、複数の前記補正係数によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする撮像装置。
16. 前記第１補正係数は、歪み補正を行わない補正係数であることを特徴とする請求項１５に記載の撮像装置。
17. 前記仮想投影面は、第１位置と第２位置が設定されており、
    前記仮想投影面は、初期値の前記第１補正係数に対応する前記第１位置から、最終値の前記第２補正係数に対応する前記第２位置まで、複数の前記補正係数に対応させて複数の位置が設定され、
    前記画像信号出力部では、複数の前記補正係数及び該補正係数に対応する前記位置によりそれぞれ算出された画像データの表示用の画像信号を順次、出力することを特徴とする請求項１５又は１６に記載の撮像装置。