WO2012056982A1

WO2012056982A1 - 画像処理方法、画像処理装置及び撮像装置

Info

Publication number: WO2012056982A1
Application number: PCT/JP2011/074123
Authority: WO
Inventors: 坪井央樹
Original assignee: コニカミノルタオプト株式会社
Priority date: 2010-10-25
Filing date: 2011-10-20
Publication date: 2012-05-03
Also published as: JPWO2012056982A1

Abstract

　被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供する。歪み係数には、少なくとも、光学系のレンズの物理的特性及び前記光学系への設定された仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と、前記光学系への入射角の正接関数を変数として算出される撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数が含まれており、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出する。

Description

画像処理方法、画像処理装置及び撮像装置

　本願発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関するものである。

　一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

　特許文献２では、光学ズーム機構のワイド端からテレ端までレンズ位置毎の光学歪み補正パラメータの算出を補間演算により行うことは、外部情報処理機器を必要とし、撮像装置単体では処理能力的に難しいという問題に対して、光学ズームを行う範囲内で離散的なレンズ位置に対する光学歪み補正パラメータを備え、そしてズームを行う際のレンズ位置を光学歪み補正パラメータを備えるレンズ位置に制限し、制限された位置間の光学ズームを電子ズームで繋いでいる。

　特許文献３では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。

特開２００９－１４００６６号公報特開２００９－１０５５４６号公報特開２００９－６１９６９号公報

　特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。

　特許文献２では、ズームの際のレンズ位置を離散的な歪み補正パラメータと対応する位置に制限することと、その間を電子ズームで繋ぐことにより、ズーム動作を歪み補正パラメータの補間処理を省略することで撮像装置単体でのズーム動作を実現している。しかし、ズーム動作のような一次元のレンズの動きにのみ適用できることであり、パン、チルト等の多様な動きには適用し難い。

　また歪み補正処理をした後の画像は、視野角が狭くなるので広い領域を一度に認識することは難しくなる。歪み補正処理を行わない画像では、視野角は広くなるがその反面、被写体が歪むことにより距離感や大きさの認識が難しくなる。

　特許文献３では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という２つの問題の双方を解決するものではない。

　本願発明はこのような問題に鑑み被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供することを目的とする。

　上記の目的は、下記に記載する発明により達成される。

　１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
　前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、
　を有し、
　前記第２ステップで用いられる前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数が含まれており、
　前記第２ステップでは、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理方法。

　２．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
　前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、
　を有し、
　前記第２ステップで用いられる前記歪み係数には、少なくとも、前記光学系により生ずる歪みを補正するための第１歪み係数と、前記歪みを補正しない第２歪み係数が含まれており、
　前記第２ステップでは、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理方法。

　３．前記第３ステップにおいて歪みが補正された画像データの表示用画像を出力する場合には、前記第２ステップにおいて前記第１及び第２歪み係数の内、前記第１歪み係数を用いて仮想投影面の画像データを算出し、前記第３ステップにおいて歪みが補正されていない画像データの表示用画像を出力する場合には、前記第２ステップにおいて前記第１及び第２歪み係数の内、前記第２歪み係数を用いて仮想投影面の画像データを算出することを特徴とする前記１又は２に記載の画像処理方法。

　４．前記第３ステップにおいて段階的に歪みが補正された画像データの表示用動画像を出力する場合には、前記第２ステップにおいて前記第１歪み係数、前記第２歪み係数、及び前記第１、第２歪み係数から補間によって得られた第３歪み係数を段階的に切り替えて用いて仮想投影面の画像データを算出する事を特徴とする前記１から３のうちいずれか１項に記載の画像処理方法。

　５．前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
　前記第２ステップでは、初期の前記第２位置と前記第２歪み係数、最終の前記第１位置と前記第１歪み係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み係数、と段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする前記４に記載の画像処理方法。

　６．前記第１ステップで設定される仮想投影面は２つであり、
　２つの仮想投影面のうちの一方の仮想投影面の、前記第２ステップにおける画像データの算出は前記第１歪み係数を用いて行い、他方の仮想投影面の前記第２ステップにおける画像データの算出は前記第２歪み係数を用いて行い、
　前記第３ステップでは、前記２つの仮想投影面について前記第２ステップにより算出した２つの画像データによる表示用画像を出力することを特徴とする前記１又は２に記載の画像処理方法。

　７．前記第１歪み係数を前記光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）した第４歪み係数とし、
　前記第２ステップでは前記第４歪み係数を用いて、１／２ⁿ倍の画像データを算出することを特徴とする前記１から６のいずれか一項に記載の画像処理方法。

　８．前記第２歪み係数は、以下の条件式（１）で表される事を特徴とする前記１から６のいずれか一項に記載の画像処理方法。

ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ
focal：設定された仮想投影面の長辺方向における画角

　９．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
　歪み係数を記憶する記憶部と、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数を有し、　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理装置。

　１０．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
　歪み係数を記憶する記憶部と、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数として少なくとも、前記光学系で生ずる歪みを補正するための第１歪み係数と、前記歪みを補正しない第２歪み係数とを有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理装置。

　１１．前記画像信号出力部において歪みが補正された画像データの表示用画像を出力する場合には、前記画像処理部において前記第１及び第２歪み係数の内、前記第１歪み係数を用いて仮想投影面の画像データを算出し、前記画像処理部において歪みが補正されていない画像データの表示用画像を出力する場合には、前記第１及び第２歪み係数の内、前記第２歪み係数を用いて仮想投影面の画像データを算出することを特徴とする前記９又は１０に記載の画像処理装置。

　１２．前記画像信号出力部において段階的に歪みが補正された画像データの表示用動画像を出力する場合には、
　前記画像処理部は、前記第１歪み係数、前記第２歪み係数、及び前記第１、第２歪み係数から補間によって得られた第３歪み係数を段階的に切り替えて用いて仮想投影面の画像データを算出する事を特徴とする前記９から１１のいずれか１項に記載の画像処理装置。

　１３．ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
　前記画像処理部は、初期の前記第２位置と前記第２歪み係数、最終の前記第１位置と前記第１歪み係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み係数、と段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする前記１２に記載の画像処理装置。

　１４．前記仮想投影面は２つであり、
　前記２つの仮想投影面のうちの一方の仮想投影面の、前記画像処理部における画像データの算出は前記第１歪み係数を用いて行い、他方の仮想投影面の前記画像処理部における画像データの算出は前記第２歪み係数を用いて行い、
　前記画像信号出力部は、前記２つの仮想投影面について前記画像処理部により算出した２つの画像データによる表示用画像を出力することを特徴とする前記９又は１０に記載の画像処理装置。

　１５．前記第１歪み係数を前記光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）した第４歪み係数とし、
　前記画像処理部は、前記第４歪み係数を用いて、１／２ⁿ倍の画像データを算出することを特徴とする前記９から１４の何れか一項に記載の画像処理装置。

　１６．前記第２歪み係数は、以下の条件式（１）で表される事を特徴とする前記９から１４のいずれか一項に記載の画像処理装置。

　１７．光学系と、
　複数の画素を有する撮像素子と、
　前記光学系の歪み係数を記憶する記憶部と、
　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数としては、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数とを有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする撮像装置。

　１８．光学系と、
　複数の画素を有する撮像素子と、
　前記光学系の歪み係数を記憶する記憶部と、
　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数としては、少なくとも、前記光学系で生ずる歪みを補正するための第１歪み係数と、前記歪みを補正しない第２歪み係数とを有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする撮像装置。

　１９．前記画像信号出力部において歪みが補正された画像データの表示用画像を出力する場合には、前記画像処理部において前記第１及び第２歪み係数の内、前記第１歪み係数を用いて仮想投影面の画像データを算出し、前記画像処理部において歪みが補正されていない画像データの表示用画像を出力する場合には、前記第１及び第２歪み係数の内、前記第２歪み係数を用いて仮想投影面の画像データを算出することを特徴とする前記１７又は１８に記載の撮像装置。

　２０．前記画像信号出力部において段階的に歪みが補正された画像データの表示用動画像を出力する場合には、
　前記画像処理部は、前記第１歪み係数、前記第２歪み係数、及び前記第１、第２歪み係数から補間によって得られた第３歪み係数を段階的に切り替えて用いて仮想投影面の画像データを算出する事を特徴とする前記１７から１９のいずれか１項に記載の撮像装置。

　２１．ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
　前記画像処理部は、初期の前記第２位置と前記第２歪み係数、最終の前記第１位置と前記第１歪み係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み係数、と段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする前記２０に記載の撮像装置。

　２２．前記仮想投影面は２つであり、
　前記２つの仮想投影面のうちの一方の仮想投影面の、前記画像処理部における画像データの算出は前記第１歪み係数を用いて行い、他方の仮想投影面の前記画像処理部における画像データの算出は前記第２歪み係数を用いて行い、
　前記画像信号出力部は、前記２つの仮想投影面について前記画像処理部により算出した２つの画像データによる表示用画像を出力することを特徴とする前記１７又は１８に記載の撮像装置。

　２３．前記第１歪み係数を前記光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）した第４歪み係数とし、
　前記画像処理部は、前記第４歪み係数を用いて、１／２ⁿ倍の画像データを算出することを特徴とする前記１７から２２のいずれか一項に記載の撮像装置。

　２４．前記第２歪み係数は、以下の条件式（１）で表される事を特徴とする前記１７から２２のいずれか一項に記載の撮像装置。

　本願発明によれば光学系のレンズの物理的特性に基づいて算出された第１補正係数と光学系への入射角を変数とする関係式により算出された第２補正係数のいずれか少なくとも一方を用いて画像データを算出することにより、被写体の正確な認識を図ること及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能となる。

第１の実施形態に係る歪曲補正を説明する模式図である。仮想投影面ＶＰの位置を移動させた例を示す図である。撮像装置の概略構成を示すブロック図である。第１の実施形態の制御フローを示す図である。座標系を説明する模式図である。カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。歪み補正処理を説明する模式図であって、（ａ）は入力画像データを示し、（ｂ）は出力画像データを示す図である。入射角θと、撮像素子面ＩＡ上の像高ｈとの関係を示す図である。光学的範囲に仮想投影面ＶＰを設定した状態を示す図である。第１歪み係数Ｌ１と第２歪み係数Ｌ２での像高ｈとの関係を示す模式図である。（ａ）は入力画像の例、（ｂ）（ｃ）は出力画像の例をそれぞれ示す図である。（ａ）は第１の実施形態の全体制御フローを示す図、（ｂ）は比較例での全体制御フローを示す図である。第２の実施形態として２つの仮想投影面を設定した例を示す図である。表示部１２０に上下に分割した２画面を表示させた例を示す図である。入射角θと、撮像素子面ＩＡ上の像高ｈとの関係を示す図である。（ａ）（ｂ）は出力画像の例を示す図である。第３の実施形態の制御フローを示す図である。カメラ座標系の画像中心ｏを回転中心として仮想投影面ＶＰの位置を変更する例を示す図である。仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例を示す図である。

　本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

　［第１の実施形態］
　図１は、第１の実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θは光軸（Ｚ軸に一致）に対する入射角である。

　ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）に基づく歪み補正係数（後述の第１歪み係数Ｌ１に相当）を用いてカメラ座標系に変換したものである。

　ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

　初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。

　［ブロック図］
　図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、操作部１３０を備えている。

　撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。

　制御装置１００は、画像処理部１０１、設定部１０２、記憶部１０３から構成される。

　設定部１０２では、操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定を行う。

　画像処理部１０１では、設定された仮想投影面ＶＰの位置、サイズに基づいて仮想投影面上の各座標のカメラ座標系への変換テーブルを作成し、当該変換テーブルを用いて撮像ユニット１１０で撮影した画素データを処理して表示部１２０に表示させる画像データの作成を行う。また画像処理部は、表示用の画像信号の出力を行う画像信号出力部としても機能する。

　記憶部１０３には、撮像ユニット１１０のレンズ（実レンズ）の物理的特性及び設定された仮想投影面からの入射光の入射角に基づくレンズパラメータにより算出された係数、すなわち光学系で生ずる歪みを補正するための係数である第１歪み係数Ｌ１と、当該歪みの補正を行わないための係数に相当する、設定された仮想投影面からレンズへ入射する入射光の入射角の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である、第２歪み係数Ｌ２とが記憶されている。また仮想投影面ＶＰの位置、サイズ及び作成した変換テーブルの記憶も行う。なお歪み係数は、レンズのキャリブレーションデータの取得やレンズのｆθ特性に基づく計算等により求めることができる。

　なお、本発明でいう「歪み補正を行わない」とは、実質、撮像されたままの歪みが生じているものを言い、歪み補正が良好に行われているものから若干劣るものを指すものではない。

　表示部１２０は、液晶ディスプレイ等の表示画面を備え、撮像ユニット１１０で撮影した画素データに基づいて画像処理部１０１で作成した画像データに基づく表示用画像を逐次、表示画面に表示させる。

　操作部１３０は、キーボード、マウス、あるいは表示部の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。

　［制御フロー］
　図４は、第１の実施形態の制御フローを示す図である。本制御フローにより、連続して入力する入力画像を処理して連続的に出力画像を表示部１２０に表示させることにより動画を表示するものである。ステップＳ１１では、設定された歪み補正条件が入力される。（視点変換を含む）歪み補正条件の設定は、前述の様にユーザによる操作部１３０への入力指示により、設定部１０２により仮想投影面ＶＰのワールド座標系における位置、サイズを設定することにより行われる。

　ステップＳ１２では、撮像ユニット１１０から画像信号が入力され、例えばフレームレート６０ｆｐｓで入力画像が得られる。

　ステップＳ１３では、ステップＳ１１で設定された条件に基づいて並進ベクトル、回転ベクトルが計算され、ステップＳ１４では計算された並進ベクトル、回転ベクトルに基づいてユーグリッド変換を行う。これらにより仮想投影面ＶＰの位置の計算がなされる。

　ステップＳ１４以降では、ワールド座標系からカメラ座標系への変換を行う。つまり、レンズデータに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。この際に歪み補正及び、仮想投影面ＶＰの位置の計算にともなう回転、平行移動、拡大、縮小が併せて行われる。

　ステップＳ１５では、歪み係数を取得する。ここで取得する歪み係数には、光学系で生ずる歪みを補正するための係数であるレンズパラメータ及び設定された仮想投影面からの入射光の入射角に基づいて決定された第１歪み係数Ｌ１と、光学系への設定された仮想投影面から入射する入射光の入射角θ（図１参照）の正接関数を変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数Ｌ２が含まれている。第２歪み係数Ｌ２とは、歪み補正を行わないに相当する歪み係数であり詳細は後述する。更に他の例として、これらとは別に第１歪み係数Ｌ１と第２歪み係数Ｌ２との間を補間するように、複数段階の歪み係数が含まれるようにしてもよい。

　ステップＳ１６では、ステップＳ１５で取得した歪み係数を用いて設定された仮想投影面ＶＰの座標をワールド座標系からカメラ座標系に変換することによりＬＵＴを生成する。ステップＳ１６においては、ＬＵＴは第１歪み係数Ｌ１及び第２歪み係数Ｌ２のいずれか一方、あるいは両方、もしくはこれらの間を補間する複数の新たな歪み係数を用いて生成される。そして生成されたＬＵＴは記憶部１０３に記憶される。以下、第１歪み係数Ｌ１を用いてＬＵＴを生成する例を図に基づいて説明する。

　図５は、座標系を説明する模式図である。図５に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４７９，Ｚｂ）、点Ｃ（６３９，４７９，Ｚｃ）、点Ｄ（６３９，０，Ｚｄ）で囲まれる平面を等間隔で６４０×４８０ｐｉｘｅｌの画素Ｇｖ（総画素数３０．７万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお同図におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。

　画素Ｇｖのワールド座標系での座標と、ステップＳ１５で取得した歪み補正係数から、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出する。具体的には、当該歪み補正係数と各画素Ｇｖの座標から得られる、光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

　図６は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図６において点ａ～ｄは、図５の点Ａ～Ｄを、第１歪み係数Ｌ１を用いて生成されたＬＵＴによりカメラ座標系に変換したものである。なお図５では点Ａ～Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図６においてカメラ座標系に座標変換した後の点ａ～ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

　図７は、歪み補正処理を説明する模式図である。同図は画像データの一部を拡大表示したものであり同図の格子はそれぞれ画素を示している。図７（ａ）入力画像データは、図６の一部を拡大表示したものである図７（ａ）に示す様に撮像素子面ＩＡ上では直線上の被写体（太枠のＧｉ１～Ｇｉ３で例示）は収差の影響で曲線上に入力されることになる。

　出力画像データの生成は、ＬＵＴを用いて出力画像データの各画素データを、入力画像データの対応する画素データを用いることにより行う。ＬＵＴは歪み係数を考慮して生成されているので第１歪み係数Ｌ１に基づいて生成されたＬＵＴを用いた場合には、当該ＬＵＴの対応関係により画素Ｇｖ１のデータ（例えば輝度信号）は図７（ａ）の座標（１００，２００）のＧｉ１のデータを参照することになる。Ｇｖ２、Ｇｖ３も同様にそれぞれＧｉ２、Ｇｉ３のデータを参照する。

　このような結果、図７（ｂ）に示すように、出力画像データの生成に伴い曲線状の歪みは解消され、直線の被写体は、元の直線として生成（表示）されることになる。なおこの際に、ステップＳ１１の仮想投影面ＶＰの設定により切り出し（ズーム）や視点変換の設定がなされているような場合には、このような処理も併せて行われることになる。

　以上は、第１歪み係数Ｌ１を用いて生成されたＬＵＴを用いた歪み補正処理の説明であり、第２歪み係数Ｌ２を用いて生成されたＬＵＴを用いた歪み補正処理を行ったような場合には、図６に示したカメラ座標系に座標変換した後の点ａ～ｄは、（歪曲収差等の歪を打ち消す方向に）歪まずに直線上の輪郭を持つ領域となる。具体的には、視点変換の設定がされていない場合には仮想投影面ＶＰに相似な矩形状となる（なお視点変換の設定がされている場合には台形や平行四辺形のような四角形状となる）。また図７（ｂ）においては、曲線状となった直線の被写体はそのままの曲線が維持された出力画像が生成されることになる。

　ステップＳ２１では、記憶部１０３に記憶されているステップＳ１６で生成された複数のＬＵＴのうちで、参照するＬＵＴを時分割で切り替える。例えば第１歪み係数Ｌ１と第２歪み係数Ｌ２それぞれに基づいて生成された２つのＬＵＴを交互に数秒周期で切り替える。

　ステップＳ２２では、ステップＳ１２で入力された入力画像に対して、ステップＳ２１で参照されたＬＵＴを用いて画像生成が行われる。画像生成の方法としては以下に説明するように４点補間がある。

　図６に示した座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定するが、この際に撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ステップＳ１６のＬＵＴ生成過程で用いられる座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。ｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）に対応する出力画像の画素データとして用いることが可能である。一方で、ｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には４点補間として、画素Ｇｖに対応する出力画像の画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いる。なお４点補間に限られず、周辺の箇所としては１箇所の単純補間や、１６箇所若しくはそれ以上を用いる多点補間であってもよい。

　ステップＳ２３では生成された画像に基づいて出力処理を行う。出力処理としてはデモザイク処理において、周辺画素の信号から各画素のＢＧＲデータの演算を行って出力画像を得ることができる。デモザイク処理とは、例えば撮像素子がベイヤー配列で並んだ画素で構成されることにより各画素が１色分の色情報しか持たない場合に、周辺画素の情報から補間処理することにより３色分の色情報を算出することである。

　ステップＳ２４では、生成された出力画像を表示部１２０に、例えばフレームレート３０ｆｐｓ、あるいは６０ｆｐｓで出力して終了する。

　［歪み補正係数］
　ここで歪み係数について図８～図１１を参照して説明する。図８は、入射角θと、撮像素子面ＩＡ上の光軸Ｚと交わる光学中心ｏからの像高ｈとの関係を示す図である。図８に第１歪み係数Ｌ１及び第２歪み係数Ｌ２の入射角θと像高ｈとの関係を表示している。図９は光学系によって決まる光学的範囲に仮想投影面ＶＰを設定した状態を示している。図１０は、第１歪み係数Ｌ１、第２歪み係数Ｌ２におけるそれぞれの像高ｈ（ｈ１、ｈ２で表示）の関係を示す図である。同図において図１と共通する部位については共通する符号を付与させている。

　図８に示すように第２歪み係数Ｌ２では、入射角θに対応した歪曲収差が生じ、入射角θが大きくなるほど像高ｈが大きくなり、歪曲収差の量も大きくなる。つまり、当該係数を用いる事で光学系に応じた歪みがそのまま補正されていない画像データが得られる。一方、第１歪み係数Ｌ１はレンズによる歪曲収差の影響を打ち消すように設定した歪み補正係数であり、主に撮像ユニット１１０のレンズの物理的な特性及び設定された仮想投影面から光学系に入射する入射光の入射角により決定される係数である。

　第２歪み係数Ｌ２は、光学系への入射角θを変数として算出される、前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高に関する歪み係数であり、関係式としては例えば以下の式（１）を用いている。なお、式（１）を数倍にすれば出力画像の拡大縮小を容易に行う事ができるというメリットがある。

　式（１）においては、「ExportImageSize」とは、表示部で表示する出力画像の長辺（通常は水平方向、ｘ）の長さであり、単位はｐｉｘｅｌである。またこれは仮想投影面ＶＰの長辺のサイズと一致している。図９を参照して「ｆｏｃａｌ」について説明する。図９においてωは、光学的範囲に対応する光学的画角であり、「ｆｏｃａｌ」とは仮想投影面ＶＰの短辺方向における画角のことである。なお、式（１）に替えて、正射影や等距離射影の関係式を用いても良い。また「ｆｏｃａｌ」はユーザが任意に設定する光学的範囲の内、表示範囲に相当するものであり、必ずしも画角の長辺方向でなくても良い。

　なお、本実施態様においては上記条件式（１）で説明しているが、条件式は必ずしもこれに限定されず、要は入射角θを変数とした像高、つまり光学中心からのカメラ座標上の距離を算出する条件式であれば良い。

　図１０は、第１歪み係数Ｌ１と第２歪み係数Ｌ２での像高ｈとの関係を示す模式図である。像高ｈは、図８に示すように入射角θと補正係数で決定される。第２歪み係数Ｌ２では被写体（物点Ｐ）の像高（光軸Ｚからの距離）と撮像素子面ＩＡ上における像高ｈとは比例する関係となる。また第１歪み係数Ｌ１の像高ｈ１に比べて第２歪み係数Ｌ２における像高ｈ２は長くなる。

　図１１に入力画像及び歪み補正処理後の出力画像の例を示す。なお、同図においては、仮想投影面ＶＰが初期状態に設定されている場合の例を示している。図１１（ａ）は入力画像である。図１１（ｂ）は第１歪み係数Ｌ１を、図１１（ｂ）は第２歪み係数Ｌ２を用いてステップＳ２２以降の歪み補正処理を行った場合の出力画像の例である。図１１（ｂ）に示す例では歪曲した曲線は直線となるように補正されていることがわかる。一方で図１１（ｃ）に示すように第２歪み係数Ｌ２により歪み補正処理した場合には、出力画像は図１１（ａ）に示す入力画像とほぼ同一である。つまり歪み補正を行わない場合と同等の出力画像が得られていることがわかる。

　図１２は、第１の実施形態の全体の制御フローを示す図である。図１２（ａ）は本実施形態の全体制御フローを示す図であり、図１２（ｂ）は比較例での全体制御フローを示す図である。図１２（ａ）は図４に対応する図であり、図４の制御フローを簡略化したものである。図１２（ａ）に示す例では歪み補正処理を実行しない出力画像を得るためには、ダミーに相当する歪み補正なしと同等の出力画像が得られる第２歪み係数Ｌ２を用いている。これにより、歪み補正の実行無し／有りの出力画像を時分割で切り替えて出力する場合において、歪み補正無しの処理に替えて第２歪み係数Ｌ２を用いて常に歪み補正を行うよう制御している。つまり歪み補正処理を実行するか否か（ステップＳ３１）に係わらず、ステップＳ３２では歪補正実行用のパラメータ（第１歪み係数Ｌ１）、Ｓ３３で歪補正なし用のパラメータ（第２歪み係数Ｌ２）をそれぞれ設定する様な単純なフローで、ステップＳ３４の歪み補正処理、及びステップＳ３５のデモザイク処理等の後段処理を行えばよい。これに対して図１２（ｂ）の比較例においては、歪み補正処理の実行有無により処理速度が異なるためにそれを是正する処理が必要となる。具体的には、ステップＳ３１で歪み補正処理を実行するか否かの判断を行い、歪み補正処理を行わないと判断した場合には行う場合に比べて処理速度が速くなるために処理完了時間の差が生じさせずに、歪み補正処理を行う場合と同期をとるために、ステップＳ３４５でのタイミング調整処理を設ける必要がある。このように比較例においてはタイミング調整処理追加に伴うアルゴリズムの複雑化あるいは、ハード処理であれば回路規模の増大が必要となりコストアップ等のデメリットが生じるという問題がある。

　これに対して図１２（ａ）に示す本実施形態では、このような処理は不要となるので特別なアルゴリズムや回路増設は不要になるという効果が得られる。

　［第２の実施形態］
　次に、第２の実施形態について説明する。図１３には、第２の実施形態として２つの仮想投影面を設定した例を示している。図１３に示す構成以外は、図３から図１２に説明した実施形態と同一であり説明は省略する。

　図１３では仮想投影面ＶＰｈ、ＶＰｊの２つの仮想投影面を設定した例を示している。両者は独立にその位置、サイズを設定可能である。同図においては、撮像素子面ＩＡ上で仮想投影面ＶＰｈ、ＶＰｊにそれぞれ対応する範囲は領域ｈ、ｊであり、物点Ｐ１、Ｐ２に対応する点は、点ｐ１、ｐ２である。

　第２の実施形態においては、図２つの仮想投影面それぞれの位置で得られた画像データを表示部１２０に分割して表示する。その際に、図４に示した制御フローにおいて第１歪み係数Ｌ１及び第２歪み係数Ｌ２を順次切り替えて画像データの生成を行う。具体的には一方の仮想投影面に対しては第１歪み係数Ｌ１に基づくＬＵＴを、他方の仮想投影面に対しては第２歪み係数Ｌ２に基づくＬＵＴをそれぞれ参照して、出力画像を得る。図１４は、そのようにして得られた出力画像を表示部１２０に表示させた例である。図１４では上下に分割された２画面が表示されている。上半分には、第１歪み係数Ｌ１に基づいて歪曲が補正された画像が表示され、下半分には、第２歪み係数Ｌ２に基づいて歪み補正がなされないと同等の歪曲がそのまま残る画像が表示される。

　前述の比較例において図１４に示すような一方では歪み補正を行い、他方では歪み補正が行われない２分割の表示画像を得ようとする以下の問題が生じる。歪み補正を行わない表示画像を得るために歪み補正無しの処理を行うと、表示画像の１フレーム内で歪み補正を行う領域と行わない領域とが混在する。そして一般的には歪み補正なしの場合には、歪み補正ありの場合に比べて処理速度が速いので、ライン毎（特に分割境界）に処理速度が異なることになる。このような場合には、１フレーム内でタイミング調整が必要となり、アルゴリズムや回路構成が複雑、大規模化してしまう虞がある。このような問題に対して第２の実施形態においては、２分割した双方の領域に対して第１歪み係数Ｌ１及び第２歪み係数Ｌ２により歪み補正処理を行うことになるために、１フレームの全ラインに対して歪補正係数のみを変更した同一処理を行うことになるので、各ライン毎のタイミング調整が不要となり常に一定の処理で対応可能となるので、アルゴリズムが単純となり、特別なアルゴリズムや回路増設は不要になるという効果がある。

　［変形例］
　図１５、図１６は変形例に係る実施形態を説明する図である。変形例においては、第１歪み係数Ｌ１に対して、光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）にした第４歪み係数Ｌ４を用いた歪み補正を行うものである。以下に説明するようにｎが正の整数の場合には縮小画像を得ることができ、ｎが負の整数の場合には拡大画像を得ることができ、ｎが０の場合には等倍画像を得ることができる。

　図１５は入射角θと、撮像素子面ＩＡ上の像高ｈとの関係を示す図であり、第１歪み係数Ｌ１と、第４歪み係数Ｌ４を表示している。同図においては第４歪み係数Ｌ４は、第１歪み係数Ｌ１に対して、光学系への入射角に対する光学中心からの像高ｈを４倍（＝２ⁿ倍（ｎは２））した係数である。

　図１６（ａ）は図４に示した制御フローにおいて第１歪み係数Ｌ１を用いて得られた出力画像であり、図１６（ｂ）は同様にして第４歪み係数Ｌ４を用いて得られた出力画像である。図１６（ｂ）の画像では、図１６（ａ）の画像に対して縦横をそれぞれ１／４倍（１／２ⁿ倍）に縮小した１／４縮小画像を容易に得ることができる。変形例においてはアルゴリズムの変更がほとんど不要で、特別なアルゴリズムの追加や回路増設はせずに、容易に縮小画像を得ることが可能となる。特に像高ｈを２ⁿ倍とする際に、データ演算処理においては、ｎｂｉｔシフト（ｎが正の整数の場合には左シフト、負の整数では右シフト）処理することにより容易に第１歪み係数Ｌ１を２ⁿ倍させることができるので容易に、拡大、縮小した出力画像を得ることが可能となる。

　［第３の実施形態］
　次に、第３の実施形態について説明する。第３の実施形態においては、歪補正率（DistRatio）を変更することにより、第１歪み係数Ｌ１と第２歪み係数Ｌ２との補間によって算出する第３歪み係数Ｌ３を段階的に切り替えている。また第３の実施形態では更に、仮想投影面ＶＰの位置も第１位置Ｖ１と第２位置Ｖ２との補間によって算出する第３位置Ｖ３も視点変換率（VCRatio）の変更に合わせて段階的に切り替えている。視点変換の具体例については後述する。

　なお第３歪み係数Ｌ３、第３位置Ｖ３は、以下の式（２）、（３）により算出している。

　Ｌ３＝DistRatio／１００×Ｌ１＋（１－DistRatio／１００）×Ｌ２　　式（２）
　（但し、０≦DistRatio／１００≦１）
　Ｖ３＝VCRatio／１００×Ｖ１＋（１－VCRatio／１００）×Ｖ２　　　　式（３）
　（但し、０≦VCRatio／１００≦１）

　図１７は、第３の実施形態に係る制御フローを示す図である。同図に示す制御フローはステップＳ１５以前と、ステップＳ２２以降は図４に示す制御フローと同一であるので説明を省略する。

　同図のステップＳ４１では、制御装置の内部タイマーにより時間を計測する。ステップＳ４２では計測した時間から歪補正率を、視点変換率を算出する。例えば１０ｓｅｃを１サイクルに設定して場合には、時間が基準の０．０ｓｅｃであれば歪補正率を、視点変換率はともに０％、時間が５．０ｓｅｃであれば歪補正率を、視点変換率はともに５０％となる。

　ステップＳ４３では、ステップＳ４２で算出した歪補正率から式（２）に基づいて歪補正係数Ｌ３を算出する。なお、歪補正率が０％の場合には第２歪み係数Ｌ２、１００％の場合には第１歪み係数Ｌ１となる。

　ステップＳ４４では、視点変換率から、仮想投影面ＶＰの第３位置の算出を行う。なお第２歪み係数Ｌ２に対応する仮想投影面ＶＰの初期状態の位置である第２位置と、第１歪み係数Ｌ１に対応する仮想投影面ＶＰの最終位置である第１位置Ｌ１は、ステップＳ１１で設定されたものである。第３位置の算出は、仮想投影面ＶＰの第１位置と第２位置の座標を、視点変換率を用いて式（３）により算出する。

　ステップＳ４５では、第３位置の仮想投影面ＶＰの各画素のワールド座標系における座標を、第３歪み係数Ｌ３を用いてカメラ座標系に変換する。

　ステップＳ２２以降では、ステップＳ４５で変換したカメラ座標系の座標から出力画像を生成して画像を出力する。

　次に、歪補正率あるいは、歪補正率と視点変換率を所定の周期で変更する例を表１、表２に示す。

　表１は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み係数Ｌ３を段階的に変更する例である。表１の例では視点変換は行っていない。

　表２は、１０ｓｅｃを１周期として歪補正率の変更により第３歪み係数Ｌ３を段階的に変更する例である。また視点変換率を変更することにより第３位置Ｖ３も段階的に変更している。表２の例では視点変換率の変更にともない歪補正率も変更している。なお、表１、２においては１０ｓｅｃ周期、１１段階で変更した例を示しているがあくまでも例示であり、周期を任意に変更したり、これよりも細かく多段階に変更したりしてもよい。また第１位置Ｖ１の例については以下に説明する。

　［仮想投影面ＶＰの位置変更による視点変換の例］
　図１８は、カメラ座標系の画像中心ｏを回転中心（若しくは移動中心）として仮想投影面ＶＰ０の位置を変更する例である。図１８に示すように画像中心ｏを回転中心としてｘ軸回りの回転が実Ｐｉｔｃｈ（ｔｉｌｔ：チルトともいう）であり、ｙ軸回りの回転が実Ｙａｗ（ｐａｎ：パンともいう）、Ｚ軸回りの回転が実Ｒｏｌｌである。

　図１９は、入力された回転量の設定値に基づいて仮想投影面ＶＰ０の中心ｏｖを回転中心として仮想投影面ＶＰの位置を変更する例である。仮想投影面ＶＰ０上の直交する関係となる２軸の一方をＹａｗ－ａｘｉｓ、他方をＰ－ａｘｉｓとして設定する。両者は中心ｏｖを通る軸であり、中心ｏｖを回転中心としてＹａｗ－ａｘｉｓ回りの回転を仮想ｙａｗ回転、Ｐ－ａｘｉｓ回りの回転を仮想Ｐｉｔｃｈ回転という。以下においては仮想カメラＣａ０を回転あるいは位置変更させたことに相当する視点変換が行われる。

　表１における、第２位置Ｖ２は初期状態の位置に設定している。このときの仮想投影面ＶＰはＸＹ平面と平行でありその中心ｏｖは光軸Ｚ上にある（図１８、図１９のＶＰ０の位置に相当）。第１位置Ｖ１は、仮想Ｐｉｔｃｈ及び実Ｐｉｔｃｈがともに４５度で両者を合わせて９０度に設定した例である。この場合、被写体を見下ろすように視点変更がなされる。なお位置変更の組み合わせはこれに限られず、平行移動、実Ｐｉｃｔｈ、実Ｙａｗ、実Ｒｏｌｌ、仮想Ｐｉｔｃｈ、仮想Ｙａｗ、の何れかあるいはこれらを組み合わせても良い。

　本実施形態によれば、歪補正しない出力画像から、歪補正を行う出力画像までを、歪補正率を段階的に変更することにより歪補正しない出力画像の正確な認識を図ることが容易になる。

　本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施形態、変形例を含むことは、本明細書に記載された実施形態や技術的思想から本分野の当業者にとって明らかである。明細書の記載及び実施形態は、あくまでも例証を目的としており、本発明の範囲は後述するクレームによって示されている。

　１００　制御装置
　１０１　画像処理部
　１０２　設定部
　１０３　記憶部
　１１０　撮像ユニット
　１２０　表示部
　１３０　操作部
　ＶＰ　仮想投影面
　ＬＣ　レンズ中心面
　ＩＡ　撮像素子面
　Ｏ　レンズ中心
　ｏ　画像中心
　Ｌ１　第１歪み係数
　Ｌ２　第２歪み係数
　Ｌ３　第３歪み係数
　Ｌ４　第４歪み係数

Claims

　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
　前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、
　を有し、
　前記第２ステップで用いられる前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数が含まれており、
　前記第２ステップでは、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理方法。
　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理方法において、
　ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
　前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第２ステップと、
　前記第２ステップで算出された画像データによる表示用画像を出力する第３ステップと、
　を有し、
　前記第２ステップで用いられる前記歪み係数には、少なくとも、前記光学系により生ずる歪みを補正するための第１歪み係数と、前記歪みを補正しない第２歪み係数が含まれており、
　前記第２ステップでは、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理方法。
　前記第３ステップにおいて歪みが補正された画像データの表示用画像を出力する場合には、前記第２ステップにおいて前記第１及び第２歪み係数の内、前記第１歪み係数を用いて仮想投影面の画像データを算出し、前記第３ステップにおいて歪みが補正されていない画像データの表示用画像を出力する場合には、前記第２ステップにおいて前記第１及び第２歪み係数の内、前記第２歪み係数を用いて仮想投影面の画像データを算出することを特徴とする請求項１又は２に記載の画像処理方法。
　前記第３ステップにおいて段階的に歪みが補正された画像データの表示用動画像を出力する場合には、前記第２ステップにおいて前記第１歪み係数、前記第２歪み係数、及び前記第１、第２歪み係数から補間によって得られた第３歪み係数を段階的に切り替えて用いて仮想投影面の画像データを算出する事を特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
　前記第１ステップでは、ワールド座標系の仮想投影面の第１位置と第２位置を設定し、
　前記第２ステップでは、初期の前記第２位置と前記第２歪み係数、最終の前記第１位置と前記第１歪み係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み係数、と段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする請求項４に記載の画像処理方法。
　前記第１ステップで設定される仮想投影面は２つであり、
　２つの仮想投影面のうちの一方の仮想投影面の、前記第２ステップにおける画像データの算出は前記第１歪み係数を用いて行い、他方の仮想投影面の前記第２ステップにおける画像データの算出は前記第２歪み係数を用いて行い、
　前記第３ステップでは、前記２つの仮想投影面について前記第２ステップにより算出した２つの画像データによる表示用画像を出力することを特徴とする請求項１又は２に記載の画像処理方法。
　前記第１歪み係数を前記光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）した第４歪み係数とし、
　前記第２ステップでは前記第４歪み係数を用いて、１／２ⁿ倍の画像データを算出することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。
　前記第２歪み係数は、以下の条件式（１）で表される事を特徴とする請求項１乃至６のいずれか一項に記載の画像処理方法。

ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ
focal：設定された仮想投影面の長辺方向における画角
　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
　歪み係数を記憶する記憶部と、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数として少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数を有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理装置。
　光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて処理した画像データを得る画像処理装置であって、
　歪み係数を記憶する記憶部と、
　位置及びサイズが設定された仮想投影面の各画素のワールド座標系における座標を前記記憶部に記憶された歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数として少なくとも、前記光学系で生ずる歪みを補正するための第１歪み係数と、前記歪みを補正しない第２歪み係数とを有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする画像処理装置。
　前記画像信号出力部において歪みが補正された画像データの表示用画像を出力する場合には、前記画像処理部において前記第１及び第２歪み係数の内、前記第１歪み係数を用いて仮想投影面の画像データを算出し、前記画像処理部において歪みが補正されていない画像データの表示用画像を出力する場合には、前記第１及び第２歪み係数の内、前記第２歪み係数を用いて仮想投影面の画像データを算出することを特徴とする請求項９又は１０に記載の画像処理装置。
　前記画像信号出力部において段階的に歪みが補正された画像データの表示用動画像を出力する場合には、前記画像処理部は、前記第１歪み係数、前記第２歪み係数、及び前記第１、第２歪み係数から補間によって得られた第３歪み係数を段階的に切り替えて用いて仮想投影面の画像データを算出する事を特徴とする請求項９乃至１１のいずれか一項に記載の画像処理装置。
　ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
　前記画像処理部は、初期の前記第２位置と前記第２歪み係数、最終の前記第１位置と前記第１歪み係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み係数、と段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする請求項１２に記載の画像処理装置。
　前記仮想投影面は２つであり、
　前記２つの仮想投影面のうちの一方の仮想投影面の、前記画像処理部における画像データの算出は前記第１歪み係数を用いて行い、他方の仮想投影面の前記画像処理部における画像データの算出は前記第２歪み係数を用いて行い、
　前記画像信号出力部は、前記２つの仮想投影面について前記画像処理部により算出した２つの画像データによる表示用画像を出力することを特徴とする請求項９又は１０に記載の画像処理装置。
　前記第１歪み係数を前記光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）した第４歪み係数とし、
　前記画像処理部は、前記第４歪み係数を用いて、１／２ⁿ倍の画像データを算出することを特徴とする請求項９乃至１４のいずれか一項に記載の画像処理装置。
　前記第２歪み係数は、以下の条件式（１）で表される事を特徴とする請求項９乃至１４のいずれか一項に記載の画像処理装置。

ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ
focal：設定された仮想投影面の長辺方向における画角
　光学系と、
　複数の画素を有する撮像素子と、
　前記光学系の歪み係数を記憶する記憶部と、
　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数としては、少なくとも、前記光学系のレンズの物理的特性及び前記光学系への設定された前記仮想投影面からの入射光の入射角に基づいて算出された第１歪み係数と、前記光学系への入射角の正接関数を変数として算出される前記撮像素子と前記光学系の光軸とが交わる光学中心からの像高である第２歪み係数とを有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする撮像装置。
　光学系と、
　複数の画素を有する撮像素子と、
　前記光学系の歪み係数を記憶する記憶部と、
　仮想投影面の各画素のワールド座標系における座標を前記光学系の歪み係数を用いてカメラ座標系に変換し、前記カメラ座標系に変換した座標及び前記撮像素子に受光して得られた複数の画素データに基づいて、前記仮想投影面の画像データを算出する画像処理部と、
　前記画像処理部で算出した画像データの表示用の画像信号を出力する画像信号出力部と、
　を有し、
　前記記憶部には、記憶される前記歪み係数としては、少なくとも、前記光学系で生ずる歪みを補正するための第１歪み係数と、前記歪みを補正しない第２歪み係数とを有し、
　前記画像処理部は、前記第１歪み係数及び前記第２歪み係数のいずれか少なくとも一方を用いて画像データを算出することを特徴とする撮像装置。
　前記画像信号出力部において歪みが補正された画像データの表示用画像を出力する場合には、前記画像処理部において前記第１及び第２歪み係数の内、前記第１歪み係数を用いて仮想投影面の画像データを算出し、前記画像処理部において歪みが補正されていない画像データの表示用画像を出力する場合には、前記第１及び第２歪み係数の内、前記第２歪み係数を用いて仮想投影面の画像データを算出することを特徴とする請求項１７又は１８に記載の撮像装置。
　前記画像信号出力部において段階的に歪みが補正された画像データの表示用動画像を出力する場合には、
　前記画像処理部は、前記第１歪み係数、前記第２歪み係数、及び前記第１、第２歪み係数から補間によって得られた第３歪み係数を段階的に切り替えて用いて仮想投影面の画像データを算出する事を特徴とする請求項１７乃至１９のいずれか１項に記載の撮像装置。
　ワールド座標系の前記仮想投影面は第１位置と第２位置が設定されており、
　前記画像処理部は、初期の前記第２位置と前記第２歪み係数、最終の前記第１位置と前記第１歪み係数、途中の前記第２位置と前記第１位置の補間によって得られた第３位置と前記第３歪み係数、と段階的に切り替えて用いて仮想投影面の画像データを算出することを特徴とする請求項２０に記載の撮像装置。
　前記仮想投影面は２つであり、
　前記２つの仮想投影面のうちの一方の仮想投影面の、前記画像処理部における画像データの算出は前記第１歪み係数を用いて行い、他方の仮想投影面の前記画像処理部における画像データの算出は前記第２歪み係数を用いて行い、
　前記画像信号出力部は、前記２つの仮想投影面について前記画像処理部により算出した２つの画像データによる表示用画像を出力することを特徴とする請求項１７又は１８に記載の撮像装置。
　前記第１歪み係数を前記光学系への入射角に対する光学中心からの像高を２ⁿ倍（ｎは整数）した第４歪み係数とし、
　前記画像処理部は、前記第４歪み係数を用いて、１／２ⁿ倍の画像データを算出することを特徴とする請求項１７乃至２２のいずれか一項に記載の撮像装置。
　前記第２歪み係数は、以下の条件式（１）で表される事を特徴とする請求項１７乃至２２のいずれか一項に記載の撮像装置。

ここで、
ExportImageSize：表示部で表示する出力画像の長辺の長さ
focal：設定された仮想投影面の長辺方向における画角