JPWO2011158343A1 - 画像処理方法、プログラム、画像処理装置及び撮像装置 - Google Patents

Abstract

歪み補正処理を比較的小規模な回路で、処理時間の短縮化を図ることを目的とする。そのための画像処理方法は、ワールド座標系に設定された仮想投影面の画像データの算出を、仮想投影面を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系の座標と、撮像素子の画素データに基づいて行う。

Description

本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、プログラム、画像処理装置及び撮像装置に関するものである。

一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

特許文献２の車両周辺を表示する表示装置では、広角レンズを用いて撮影した撮影データをディスプレイに表示させる際の画像処理において、入射角度が所定値以上の場合には像高の変化率が増加するようにし、所定値未満の場合には像高の変化率が減少するように補正を行っている。

特開２００９−１４００６６号公報 特開２０１０−３０１４号公報

特許文献１、２に開示されたようなレンズで得た撮像画像についての画像処理では、シェーディング補正や歪み補正等の多くの補正処理を必要とし、このため画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまう問題があった。

特に、監視カメラや特許文献２に開示された車載カメラの様に撮像画像をモニターにリアルタイムで表示させるような場合においては、ユーザにより撮影領域を変更する指示に基づいてズーム、パン、チルト等の処理を追加するたびに新たな画像処理が必要となる。

このため画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまう問題があった。本願発明はこのような問題に鑑み、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、プログラム、画像処理装置及び撮像装置を提供することを目的とする。

上記の目的は、下記に記載する発明により達成される。

１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
ワールド座標系における仮想投影面の位置及びサイズを、ユーザの指示に基づいて設定する第１ステップと、
前記第１ステップで設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換する第２ステップと、
前記複数の画素データと前記第２ステップで変換したカメラ座標系における座標とに基づいて、前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
を有することを特徴とする画像処理方法。

２．前記第３ステップで算出した画像データを表示部に表示させる第４ステップを有することを特徴とする前記１に記載の画像処理方法。

３．前記第１ステップで設定される仮想投影面は、複数の仮想投影面であることを特徴とする、前記１又は２に記載の画像処理方法。

４．前記第３ステップでは、画像データの算出を前記仮想投影面の各画素の位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、算出した位置の画素の画素データから前記仮想投影面の前記画素の画像データを得ることを特徴とする前記１から３のいずれか一項に記載の画像処理方法。

５．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置であって、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部と、
を有することを特徴とする画像処理装置。

６．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置であって、
ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面での画像データを算出する画像処理部と、
を有することを特徴とする画像処理装置。

７．前記設定部で設定された仮想投影面は、複数の仮想投影面であることを特徴とする前記６に記載の画像処理装置。

８．前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、算出した位置の画素の画素データから前記仮想投影面の前記画素における画像データを得ることを特徴とする前記６又は７に記載の画像処理装置。

９．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部、
として機能させるプログラム。

１０．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面での画像データを算出する画像処理部、
として機能させるプログラム。

１１．光学系と、
複数の画素を有する撮像素子と、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面での画像データを算出する画像処理部と
を有することを特徴とする撮像装置。

１２．ユーザが操作する操作部と、
表示部と、
を有し、
前記設定部は、前記操作部への操作に基づいて前記仮想投影面のワールド座標系における位置及びサイズの設定を行い、
前記表示部は、設定された前記仮想投影面での画像データを表示することを特徴とする前記１１に記載の撮像装置。

１３．前記設定部で設定される仮想投影面は、複数の仮想投影面であることを特徴とする前記１１又は１２に記載の撮像装置。

１４．前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、算出した位置の画素の画素データから前記仮想投影面の前記画素の画像データを得ることを特徴とする前記１１から１３の何れか一項に記載の撮像装置。

本願発明によれば、ワールド座標系に設定された仮想投影面を歪み補正係数を用いてカメラ座標系に変換し、変換したカメラ座標系の座標と、撮像素子の画素データに基づいて仮想投影面の画像データを算出することにより、比較的小規模な回路で、処理時間の短縮化を図ることが可能となる。

本実施形態に係る歪曲補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示している。 撮像装置の概略構成を示すブロック図である。 図４（ａ）はメインの制御フローを示す図であり、図４（ｂ）はステップＳ２０のサブルーチンを示す図である。 仮想投影面ＶＰの座標を説明する図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 ２つの仮想投影面ＶＰを設定した例を示している。 カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０をｒｏｌｌ回転させた例を示すものである。 仮想投影面ＶＰ０をｐｉｔｃｈ回転させた例を示すものである。 仮想投影面ＶＰ０をｙａｗ回転させた例を示すものである。 仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０を仮想ｐｉｔｃｈ回転させた例を示すものである。 仮想投影面ＶＰ０を仮想ｙａｗ回転させた例を示すものである。 カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置を変更する例である。 仮想投影面ＶＰ０をｘ方向にオフセット移動させた例を示すものである。 仮想投影面ＶＰ０をｙ方向にオフセット移動させた例を示すものである。 仮想投影面ＶＰ０をＺ方向にオフセット移動させた例を示すものである。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 表示部１２０に表示させた表示画像の例である。 表示部１２０に分割表示させた表示画像の例である。 表示部１２０に分割表示させた表示画像の例である。

本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

図１は、本実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける対象物の物点である。θは光軸（Ｚ軸に一致）に対する入射角度である。

ｘ，ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは画像中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズ特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数を用いてカメラ座標系に変換したものである。

ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいて、位置及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。

［ブロック図］
図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備えている。

撮像ユニット１１０は、レンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。

制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３から構成される。

設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。

画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データを作成する。記憶部１０３には、レンズのレンズパラメータにより算出された歪み補正係数が記憶されている。また仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。

表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データを逐次、表示画面に表示させる。

操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。

［制御フロー］
図４は、本実施形態の制御フローを示す図である。図４（ａ）はメインの制御フローを示す図であり、図４（ｂ）はステップＳ２０のサブルーチンを示す図である。

ステップＳ１０（「第１ステップ」に相当）では、仮想投影面ＶＰの変換（設定）を行う。これは初期状態の位置、サイズに設定されている仮想投影面に対して、前述の様にユーザによる操作部１３０への入力指示により、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズの設定が行われる。図２に示すように位置を変更することにより表示部１２０に表示されるカメラ視点が変更される（パン、チルトに相当）。また仮想投影面ＶＰの位置の変更に伴いレンズ中心Ｏとの距離が変更されればズームイン、ズームアウトされることになる。またズームイン、ズームアウトは仮想投影面ＶＰのサイズを変更することによっても行うことができる。仮想投影面ＶＰの位置変更に関しての具体例は後述する。

またステップＳ１０では、入力されたサイズ設定（あるいはデフォルト設定のサイズ値）に基づいて仮想投影面ＶＰを画素数ｎに分割する。当該画素数は表示部１２０の表示総画素数（画面解像度）と同かこれ以上であることが好ましい。以下においては例として、当該画素数ｎ及び表示部１２０の表示総画素数はともに６４０×４８０ｐｉｘｅｌ（総画素数３０．７万）の固定条件で説明する。なお本実施形態においては仮想投影面ＶＰ上において隣接する画素との間隔は等間隔に設定しているので、画素数ｎが固定の場合には仮想投影面ＶＰのサイズは固定となる。

ステップＳ２０（「第２、第３ステップ」に相当）では、ステップＳ１０で設定された仮想投影面ＶＰの状態に基づいて、主に画像処理部１０１により歪み補正処理を行う。歪み補正処理について図４（ｂ）を参照して説明する。

ステップＳ２１では、仮想投影面ＶＰ上での各々の画素Ｇｖについてワールド座標系の座標Ｇｖ（Ｘ，Ｙ，Ｚ）を取得する。図５は、座標系を説明する模式図である。図５に示すように仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０ｐｉｘｅｌの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。

ステップＳ２２では、画素Ｇｖのワールド座標系での座標と記憶部１０３に記憶されている撮像ユニット１１０の歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ，ｙ）を算出する。具体的には、光学系のレンズパラメータより算出された歪み補正係数が記憶部１０３に記憶されており、当該係数と各画素Ｇｖの座標から得られる光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

図６はカメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図６において点ａ〜ｄは、図５の点Ａ〜Ｄをカメラ座標系に変換したものである。なお図５では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図６においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

ステップＳ２３では、カメラ座標系における座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定する。なお撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ステップＳ２２で算出される座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。前者のようにｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）の画素データとして用いる。後者のようにｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しないような場合には画素Ｇｖの画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、例えば座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いたりしてもよい。なお周辺の箇所としては４箇所には限られず１箇所、又は１６箇所若しくはそれ以上であってもよい。

当該ステップＳ２１からステップＳ２３を、図５の起点となる点Ａ（０，０，Ｚａ）から１画素（ピクセル）ずつ移動させて右下の終点Ｃ（６３９，４７９，Ｚｃ）までの各画素（ピクセル）について実行することで全画素について歪み補正が行われた画像データを取得することができる。ここまでが図４（ｂ）に示したステップＳ２０のサブルーチンに関する制御である。

図４（ａ）の制御フローの説明に戻る。ステップＳ４０（「第４ステップ」に相当）では、ステップＳ２０で取得した画像データを表示部１２０の表示画面に表示させる。なおステップＳ２０、Ｓ４０は逐次実行されるものであり、撮影された画素データに基づく歪み処理後の画像データを表示部１２０にリアルタイムで表示させる。

本実施形態によれば、仮想投影面ＶＰの位置、サイズの設定することによりパン、チルト、ズーム処理をはじめ歪み補正処理を含む全ての処理を一括した処理で対応することが可能となるために、処理が軽くなり、比較的小規模な回路で、処理時間の短縮化を図ることが可能となる。このことによりＡＳＩＣ（Application Specific Integrated Circuit）等のような比較的小規模な回路構成であってもリアルタイムで処理可能となる。

［第２の実施形態］
図７は第２の実施形態に係る歪曲補正を説明する模式図である。図１から図６の説明において、仮想投影面は単一であったが、これに限られず２つあるいはこれ以上であってもよい。各々の仮想投影面の位置で得られた画像データを時分割やユーザの指示によりで切り換えて表示したり、表示画面を分割して同時に並べて表示したりする。図７に示す第２の実施形態では、２つの仮想投影面を設定した例である。図７に示す構成以外は、図３から図６に説明した実施形態と同一であり説明は省略する。

図７では仮想投影面ＶＰｈ、ＶＰｊの２つの仮想投影面を設定した例を示している。両者は独立にその位置、サイズを設定可能である。同図においては、撮像素子面ＩＡ上で仮想投影面ＶＰｈ、ＶＰｊ、に対応する範囲は領域ｈ、ｊであり、物点Ｐ１、Ｐ２に対応する点は、点ｐ１、ｐ２である。

設定された仮想投影面ＶＰｈ、ＶＰｊのそれぞれに対して図４（ｂ）に示すフローにより画像データが算出され、それぞれが個別に、図４（ａ）のステップＳ４０の処理により表示部１２０に２画面表示される。

［仮想投影面ＶＰの位置の変更の具体例］
図８から図１１は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。図８に示すように画像中心ｏを回転中心としてｘ軸回りの回転がｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転がｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転がｒｏｌｌである。

図９、図１０、図１１は入力された回転量の設定値に基づいてそれぞれ仮想投影面ＶＰ０をｒｏｌｌ回転、ｐｉｔｃｈ回転、ｙａｗ回転させた例を示すものである。これらの図（及びこれ以降も）においてＣａ０、Ｃａ１は仮想カメラであり、ｃａｖは位置変更後の仮想カメラＣａ１のカメラ視点である。なお位置変更前の仮想カメラＣａ０のカメラ視点ｃａｖはＺ軸と一致している。

図９において仮想投影面ＶＰ０を位置変更してｒｏｌｌ回転させたものが仮想投影面ＶＰ１である。カメラ視点ｃａｖは位置変更前と後で一致している。

図１０において、仮想投影面ＶＰ０を位置変更してｐｉｔｃｈ回転させたものが仮想投影面ＶＰ１であり、カメラ視点ｃａｖは同図において見上げる方向に移動している。

図１１において、仮想投影面ＶＰ０を位置変更してｙａｗ回転させたものが仮想投影面ＶＰ１であり、カメラ視点ｃａｖは同図において時計回りに回転している。

図１２から図１４は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。

図１２に示すように仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ−ａｘｉｓ、他方をＰ−ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ−ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ−ａｘｉｓ回りの回転を仮想ｐｉｔｃｈ回転という。初期状態においては、仮想投影面ＶＰ０はカメラ座標系のｘｙ平面と平行であり、Ｚ軸上に中心ｏｖが存在する。この初期状態においては、Ｐ−ａｘｉｓはｘ軸と平行であり、Ｙａｗ−ａｘｉｓはｙ軸と平行である。

図１３において、仮想投影面ＶＰ０を位置変更して仮想ｐｉｔｃｈ回転させたものが仮想投影面ＶＰ１であり、位置変更後において仮想カメラＣａ１は上方に位置し、カメラ視点ｃａｖは見下げる方向となる。

図１４において、仮想投影面ＶＰ０を位置変更して仮想ｙａｗ回転させたものが仮想投影面ＶＰ１であり、位置変更後において仮想カメラＣａ１、及びカメラ視点ｃａｖは反時計方向に回転する。

図１５から図１８は、カメラ座標系の画像中心ｏを移動中心として仮想投影面ＶＰの位置を変更する例である。これらの例においては仮想カメラＣａ０を仮想投影面ＶＰとともに平行移動させたことに相当する視点変換が行われる。

図１６、図１７、図１８は、入力されたオフセット移動量の設定値に基づいて仮想投影面ＶＰ０をＸ方向、Ｙ方向、Ｚ方向にそれぞれオフセット移動（平行移動）させた例を示すものである。初期状態においては、Ｚ方向へのオフセット移動は、ズームイン、ズームアウトと同様の動きとなる。初期状態以外においては、各方向へのオフセット移動は光学系の撮影領域外の暗部（後述例参照）を画像領域外に移動させる際に有効である。

［実施例］
本実施形態の撮像装置により歪み補正処理を行った例について説明する。図１９から図２６は表示部１２０に表示させた表示画像の例である。図１９は歪み補正処理を行わない場合の歪曲画像の例である。図２０から図２７は、歪み補正処理を行った表示画像の例である。またその中で図２６、図２７では仮想投影面ＶＰを複数設定し、それぞれの仮想投影面ＶＰに対応する画像を表示部１２０に表示させた例である。

図２０は、仮想投影面ＶＰをレンズ中心面ＬＣと平行で、その中心が光軸と略一致した位置設定としている例である。図８等の例では初期状態の仮想投影面ＶＰ０に対応する表示画像である。図２１は、仮想投影面ＶＰ０をＺ方向へオフセット移動させた例である。

図２２は、仮想投影面ＶＰ０の位置を、ｙａｗ回転させたものである（図１１に対応する）。なお同図において右端は撮影領域外であるために暗部となっている。

図２３は、仮想投影面ＶＰ０の位置を、ｐｉｔｃｈ回転させたものである（図１０に対応する）。なお同図においても下端に暗部が生じている。

図２４は、仮想投影面ＶＰ０をｒｏｌｌ回転させたものである（図９に対応する）。

図２５は、仮想投影面ＶＰ０の位置を、仮想ｙａｗ回転させたものである（図１４参照：但し図１４とは回転方向が反対である）。同図においても右端に暗部が生じている。

図２６は、２つの仮想投影面ＶＰを設定した例であり、図２７は、３つの仮想投影面ＶＰを設定した例であり、それぞれの仮想投影面ＶＰに対応する表示画像を表示部１２０に分割表示させている。同図に示すように複数の仮想投影面ＶＰのそれぞれは独立に回転、移動が可能であり、図２７においては中央の画像と両脇の２画像とは、Ｚ方向のオフセット量が異なり両脇では拡大表示されている。また中央の画像と両脇の画像は、撮影領域の一部が重複している。

以上に説明した実施の形態では、集光レンズを含む光学系として、単玉レンズからなる光学系を例示して説明したが、集光レンズは複数枚のレンズで構成されてもよく、光学系には集光レンズ以外の光学素子を備えていてもよいことは勿論であり、本願の発明を適用できるものである。その場合には、歪み補正係数は、光学系全体としての値を利用すればよい。しかしながら、撮像装置の小型化や低コスト化の上では、以上の実施の形態で例示したように、単玉のレンズを用いることが最も好ましいものである。

１００ 制御装置
１０１ 画像処理部
１０２ 設定部
１０３ 記憶部
１１０ 撮像ユニット
１２０ 表示部
１３０ 操作部
ＶＰ 仮想投影面
ＬＣ レンズ中心面
ＩＡ 撮像素子面
Ｏ レンズ中心
ｏ 画像中心

Claims (14)

1. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理方法において、
   ワールド座標系における仮想投影面の位置及びサイズを、ユーザの指示に基づいて設定する第１ステップと、
   前記第１ステップで設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換する第２ステップと、
   前記複数の画素データと前記第２ステップで変換したカメラ座標系における座標とに基づいて、前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
   を有することを特徴とする画像処理方法。
2. 前記第３ステップで算出した画像データを表示部に表示させる第４ステップを有することを特徴とする請求項１に記載の画像処理方法。
3. 前記第１ステップで設定される仮想投影面は、複数の仮想投影面であることを特徴とする、請求項１又は２に記載の画像処理方法。
4. 前記第３ステップでは、画像データの算出を前記仮想投影面の各画素の位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、算出した位置の画素の画素データから前記仮想投影面の前記画素の画像データを得ることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
5. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置であって、
   位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部と、
   を有することを特徴とする画像処理装置。
6. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置であって、
   ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
   前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面での画像データを算出する画像処理部と、
   を有することを特徴とする画像処理装置。
7. 前記設定部で設定された仮想投影面は、複数の仮想投影面であることを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、算出した位置の画素の画素データから前記仮想投影面の前記画素における画像データを得ることを特徴とする請求項６又は７に記載の画像処理装置。
9. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
   位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する画像処理部、
   として機能させるプログラム。
10. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理された画像データを得る画像処理装置のプログラムであって、コンピュータを、
    ワールド座標系における仮想投影面の位置及びサイズを設定可能な設定部と、
    前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面での画像データを算出する画像処理部、
    として機能させるプログラム。
11. 光学系と、
    複数の画素を有する撮像素子と、
    ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
    前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み補正係数を用いてカメラ座標系に変換し、カメラ座標系に変換した座標と前記複数の画素データに基づいて、前記設定部で設定された仮想投影面での画像データを算出する画像処理部と
    を有することを特徴とする撮像装置。
12. ユーザが操作する操作部と、
    表示部と、
    を有し、
    前記設定部は、前記操作部への操作に基づいて前記仮想投影面のワールド座標系における位置及びサイズの設定を行い、
    前記表示部は、設定された前記仮想投影面での画像データを表示することを特徴とする請求項１１に記載の撮像装置。
13. 前記設定部で設定される仮想投影面は、複数の仮想投影面であることを特徴とする請求項１１又は１２に記載の撮像装置。
14. 前記画像処理部は、画像データの算出を前記仮想投影面の各位置における前記光学系の光軸に対する入射角度θから、対応する前記撮像素子面上の位置を算出し、算出した位置の画素の画素データから前記仮想投影面の前記画素の画像データを得ることを特徴とする請求項１１から１３の何れか一項に記載の撮像装置。