JPWO2012060271A1 - 画像処理方法、画像処理装置及び撮像装置 - Google Patents

Abstract

動画像の処理において出力画像のフレームレートを低下させずに被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供する。設定部で設定された仮想投影面の各画素のワールド座標系における座標を、メモリから読み出した歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び撮像素子の複数の画素データに基づいて、仮想投影面での画像データを算出する歪補正処理部と算出した画像データを動画像として出力する画像出力部と、を有し、前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行う。

Description

本発明は、集光レンズを含む光学系を介して撮像素子により撮像された画像の歪み補正処理を行う、画像処理方法、画像処理装置及び撮像装置に関するものである。

一般に、広角レンズあるいは魚眼レンズのような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うので、歪曲を補正する画像処理を行う。特許文献１には従来技術の補正方法として、焦点距離の短いレンズを使用して撮像された撮像画像に生じる歪曲を、レンズの補正用のパラメータを用いて補正する方法が開示されている。

特許文献２では、広角側の画角の場合には歪み補正を行い、広角側でない画角の場合には歪み補正を行わない等、画角切り換え手段により切り換えた画角の違いによって歪み補正量を変更する映像処理装置が開示されている。

特許文献３は、高フレームレートの入力画像を低フレームレートのディスプレイに合わせるために、入力画像を間引きすることによりダウンサンプリングしている。

特開２００９−１４００６６号公報 特開２００９−６１９６９号公報 特開２０１０−１４１４５２号公報

特許文献１に開示されたように、レンズで得た撮像画像を画像処理装置としてハード化した場合に処理時間が長くなり、回路規模が増大してしまい、コストが嵩んでしまうという問題があった。

特許文献２では、このような問題に対して画角に応じて歪み補正量を異ならせているが、歪み補正量を逐次変更するものではなく、被写体の歪みの改善と、距離感や大きさの正確な認識という２つの問題の双方を解決するものではない。

また歪み補正量を逐次変更した場合においては、歪み補正量のデータ更新に伴う処理によるコマ落ちや入力画像の間引きによるダウンサンプリングが必要となっていた。

本発明はこのような問題に鑑み、動画像の処理において出力画像のフレームレートを低下させずに被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供することを目的とする。

上記の目的は、下記に記載する発明により達成される。

１．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理方法において、
ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成し、前記生成した歪み係数をメモリに書き込む第２ステップと、
前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を、前記メモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
前記第３ステップで算出された画像データを用いて表示用の動画像データを出力する第４ステップと、
を有し、
前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
前記生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行うことを特徴とする画像処理方法。

２．前記第１歪み係数は、入射角と像高とを対応付けた歪み係数であることを特徴とする前記１に記載の画像処理方法。

３．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理方法において、
ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成し、前記生成した歪み係数を複数のメモリの何れかに書き込む第２ステップと、
前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を、前記複数のメモリのうちの一つのメモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
前記第３ステップで算出された画像データを用いて表示用の動画像データを出力する第４ステップと、
を有し、
前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
複数の前記メモリの内、一つのメモリで歪み係数の読み込み動作中、他のメモリで歪み係数の書き込み動作を行うことを特徴とする画像処理方法。

４．前記第１歪み係数は、前記仮想投影面の各画素の光軸からの位置と前記撮像素子の全画素とを対応付けた歪み係数であることを特徴とする前記３に記載の画像処理方法。

５．前記第２歪み係数は、前記光学系への入射角の正接関数を変数として算出される歪み係数であることを特徴とする前記１乃至４の何れか一項に記載の画像処理方法。

６．第２ステップで生成される歪み係数は、前記第１歪み係数を生成するためのレンズパラメータと前記第２歪み係数を生成するためのレンズパラメータとの間を補間することにより生成されたレンズパラメータにより生成される複数の歪み係数を含むことを特徴とする前記１乃至５の何れか一項に記載の画像処理方法。

７．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理装置であって、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
前記歪み係数生成部で生成された歪み係数を書き込むメモリと、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記メモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
前記算出した画像データを動画像として出力する画像出力部と、
を有し、
前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
前記生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行うことを特徴とする画像処理装置。

８．前記第１歪み係数は、入射角と像高とを対応付けた歪み係数であることを特徴とする前記７に記載の画像処理装置。

９．光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理装置であって、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
前記歪み係数生成部で生成された歪み係数を書き込む複数のメモリと、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記複数のメモリのうちの一つのメモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
前記算出した画像データを動画像として出力する画像出力部と、
を有し、
前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
複数の前記メモリの内、一つのメモリで歪み係数の読み込み動作中、他のメモリに対して生成した歪み係数の書き込みを行うことを特徴とする画像処理装置。

１０．前記第１歪み係数は、前記仮想投影面の各画素の光軸からの位置と前記撮像素子の全画素とを対応付けた歪み係数であることを特徴とする前記９に記載の画像処理装置。

１１．前記第２歪み係数は、前記光学系への入射角の正接関数を変数として算出される歪み係数であることを特徴とする前記７乃至１０の何れか一項に記載の画像処理装置。

１２．前記歪み係数生成部で生成される歪み係数は、前記第１歪み係数を生成するためのレンズパラメータと前記第２歪み係数を生成するためのレンズパラメータとの間を補間することにより生成されたレンズパラメータにより生成される複数の歪み係数を含むことを特徴とする前記７乃至１１の何れか一項に記載の画像処理装置。

１３．光学系と、
複数の画素を有する撮像素子と、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
前記歪み係数生成部で生成された歪み係数を書き込むメモリと、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記メモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素から得られた画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
前記算出した画像データを動画像として出力する画像出力部と、
を有し、
前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
前記生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行うことを特徴とする撮像装置。

１４．前記第１歪み係数は、入射角と像高とを対応付けた歪み係数であることを特徴とする前記１３に記載の撮像装置。

１５．光学系と、
複数の画素を有する撮像素子と、
ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
前記歪み係数生成部で生成された歪み係数を書き込む複数のメモリと、
前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記複数のメモリのうちの一つのメモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素から得られた画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
前記算出した画像データを動画像として出力する画像出力部と、
を有し、
前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
複数の前記メモリの内、一つのメモリで歪み係数の読み込み動作中、他のメモリに対して生成した歪み係数の書き込みを行うことを特徴とする撮像装置。

１６．前記第１歪み係数は、前記仮想投影面の各画素の光軸からの位置と前記撮像素子の全画素とを対応付けた歪み係数であることを特徴とする前記１５に記載の撮像装置。

１７．前記第２歪み係数は、前記光学系への入射角の正接関数を変数として算出される歪み係数であることを特徴とする前記１３乃至１６の何れか一項に記載の撮像装置。

１８．前記歪み係数生成部で生成される歪み係数は、前記第１歪み係数を生成するためのレンズパラメータと前記第２歪み係数を生成するためのレンズパラメータとの間を補間することにより生成されたレンズパラメータにより生成される複数の歪み係数を含むことを特徴とする前記１３乃至１７の何れか一項に記載の撮像装置。

本発明によれば、動画像の処理において出力画像のフレームレートを低下させずに被写体の正確な認識を図ること、及び、比較的小規模な回路で、処理時間の短縮化を図ることが可能な、画像処理方法、画像処理装置及び撮像装置を提供することが可能となる。

本実施形態に係る歪曲補正を説明する模式図である。 仮想投影面ＶＰの位置を移動させた例を示している。 撮像装置の概略構成を示すブロック図である。 本実施形態の制御フローを示す図であり、（ａ）はＲＡＭ１０９へのＬＵＴ書き込みを行うフローを示し、（ｂ）は歪み補正の全体制御フローを示す。 ＬＵＴの書き込みタイミングを示すタイムチャートである。 座標系を説明する模式図である。 カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。 像高ｈと入射角θとの関係を示す模式図である。 第２の実施形態に係る撮像装置の概略構成を示すブロック図である。 ＬＵＴの書き込みタイミングを示すタイムチャートである。 ＬＵＴの書き込みタイミングを示すタイムチャートである。

本発明を実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

図１は、本実施形態に係る歪曲補正を説明する模式図である。図１において、Ｘ、Ｙ、Ｚはワールド座標系であり、原点Ｏはレンズ中心である。Ｚは光軸、ＸＹ平面はレンズ中心Ｏを通るレンズ中心面ＬＣを含んでいる。点Ｐはワールド座標系ＸＹＺにおける被写体の物点である。θはレンズ中心（原点Ｏ）における光軸（Ｚ軸に一致）に対する入射角である。

ｘ、ｙはカメラ座標系であり、ｘｙ平面は撮像素子面ＩＡに対応する。ｏは光学中心であり光学系の光軸Ｚと撮像素子面との交点である。点ｐはカメラ座標系における撮像素子面上の点であり、物点Ｐをレンズの物理的特性に基づくパラメータ（以下、「レンズパラメータ」という）を用いて生成した仮想投影面ＶＰの各画素の光軸Ｚからの位置と像高とを対応づけた歪み係数（以下、「ＬＵＴ」ともいう）を用いてカメラ座標系に変換したものである。

ＶＰは仮想投影面である。仮想投影面ＶＰは光学系のレンズ位置（レンズ中心面ＬＣ）に対して撮像素子（及び撮像素子面ＩＡ）とは反対側に設定される。仮想投影面ＶＰは、ユーザによる操作部１３０（図３参照）への指示に基づいて、位置の移動及びサイズの変更を行うことが可能である。本願において「位置変更」とは、仮想投影面ＶＰをＸＹ平面上で平行移動させる場合のみならず、ＸＹ平面に対する角度変更（姿勢変更ともいう）をも含む概念である。

初期状態（初期の位置設定のこと、以下同様）において仮想投影面ＶＰは、所定サイズでレンズ中心面ＬＣと平行（ＸＹ方向）の所定位置（Ｚ方向）に配置され、仮想投影面ＶＰの中心ｏｖはＺ軸上に位置している。Ｇｖは物点Ｐが仮想投影面ＶＰ上に投影された点であり、物点Ｐとレンズ中心Ｏを通る直線と仮想投影面ＶＰとの交点である。図２における仮想投影面ＶＰ１は、仮想投影面ＶＰ０を操作部１３０の入力に基づいてＸＺ平面上で回転させた状態を示している。

［ブロック図］
図３は、撮像装置の概略構成を示すブロック図である。撮影装置は、撮像ユニット１１０、制御装置１００、表示部１２０、ユーザ操作部１３０を備えている。

撮像ユニット１１０は、短焦点のレンズ、撮像素子等から構成される。本実施形態においては、レンズとしては例えば広角レンズ、魚眼レンズがある。

制御装置１００では、ユーザ操作部１３０への入力指示に基づいて仮想投影面ＶＰの位置、サイズの設定、及び歪み補正強度、歪み補正の変化速度及び変化の上下限の設定を行うことができる。

同期信号生成回路１５０では、水平同期信号（Ｈｓｙ）、垂直同期信号（Ｖｓｙ）、基準クロック（ｃｌｋ）が生成され、これらの信号は、撮像ユニット１１０、及び制御装置１００の歪補正処理部１０１、歪補正パラメータ生成部１０２、ＬＵＴ生成部１０３、ビデオメモリ１０４の各部に送られる。

仮想投影面ＶＰの位置、サイズの設定をすることにより、パンチ、チルトや、ズームイン、ズームアウト等のカメラの視点変更が行われることになり、これらの設定は本願において「設定部」として機能する歪補正パラメータ生成部１０２により変換されて歪補正パラメータとして歪補正処理部１０１に送られる。

レンズパラメータの変化速度、変化幅の設定情報はＬＵＴ生成部１０３に送られ、これらの情報とＲＯＭ１０８に記憶されているレンズパラメータの情報によりＬＵＴが生成される。ＲＯＭ１０８には、少なくとも２つレンズパラメータが記憶されている。一つは、撮像ユニット１１０の実レンズの物理特性に基づくレンズパラメータであり、もう一つは歪み補正を行わない場合（ピンホールレンズに相当する）のレンズパラメータである。それぞれのレンズパラメータにより生成されるＬＵＴは第１ＬＵＴ、第２ＬＵＴ（「第１、第２歪み係数」に相当）である。

またＬＵＴとしては、例えば（１）レンズパラメータに基づいて仮想投影面ＶＰの各画素の光軸Ｚからの位置（より具体的には入射角θとそのＸＹ平面上での方向）と撮像素子の全画素についてＬＵＴ化したものと、（２）入射角θをパラメータとして光軸からの距離（像高）との関係を記述したＬＵＴとがある。本実施形態では後者（２）を採用している。このようなシンプルなＬＵＴではそのサイズを小さくすることができるので、後述するようにブランキング期間のような短い時間であっても、その間に書き込みを行うことが可能となる。

ＬＵＴ生成部１０３で生成したＬＵＴは、本願における「ＬＵＴを書き込むメモリ」に対応するＲＡＭ１０９に書き込まれる。書き込みは、同期信号生成回路１５０から送られた垂直同期信号（Ｖｓｙ）と同期したタイミングで行われる。

歪補正処理部１０１では、撮像ユニットからの入力画像に対して、歪補正パラメータ生成部から送られた歪補正パラメータ、ＲＡＭ１０９に保存されているＬＵＴを用いて歪み補正処理を行い、出力画像を生成する。出力画像は、ビデオメモリ１０４に書き込まれ、同期信号生成回路１５０からの同期信号に合わせて１フレーム毎に表示部１２０に送られる。

表示部１２０は、液晶ディスプレイ等の表示画面を備え、送られた出力画像を逐次、表示画面に表示させる。

ユーザ操作部１３０は、キーボード、マウス、あるいは表示用の液晶ディスプレイに重畳して配置したタッチパネルを備え、ユーザの入力操作を受け付ける。

［制御フロー］
図４は、本実施形態の制御フローを示す図である。図４（ａ）はＲＡＭ１０９へのＬＵＴ書き込みを行うフローであり、図４（ｂ）は歪み補正の全体制御フローである。

ステップＳ１１では、レンズパラメータの変更を行う。ＲＯＭ１０８には、前述のとおり少なくとも（１）撮像ユニット１１０の実レンズの物理特性に基づくレンズパラメータと（２）歪み補正を行わない場合のレンズパラメータの２つが記憶されている。当該ステップＳ１１では、これらのレンズパラメータの間を補間（一次補間あるいは二次補間）することによりＬＵＴ生成に用いるレンズパラメータの変更を行う。例えば（１）実レンズのレンズパラメータを歪み補正の強度１００％とし（２）歪み補正を行わない場合のレンズパラメータを歪み補正強度０％とし、その間を１％刻みで一次補間したレンズパラメータを用いる場合である。歪み補正の変化速度（刻み幅）及び変化の上下限は、予め所定の値としてもよく、ユーザ操作部１３０からの入力に基づいて適宜変更するようにしても良い。

ステップＳ１２では、ステップＳ１１で変更されたレンズパラメータを用いてＬＵＴを生成する。なお以降においては、複数のＬＵＴのうちで特に（１）撮像ユニット１１０の実レンズの物理特性に基づくレンズパラメータを用いて生成されたＬＵＴを「第１ＬＵＴ」と、（２）歪み補正を行わない場合のレンズパラメータを用いて生成されたＬＵＴを「第２ＬＵＴ」という。

ステップＳ１３では、垂直同期信号Ｖｓｙに基づいて同期をとり、Ｖブランキング期間であれば（ステップＳ１３：Ｙｅｓ）、ステップＳ１４でＲＡＭ１０９へステップＳ１２で生成したＬＵＴの書き込みを行う。

図５は、ＬＵＴの書き込みタイミングを示すタイムチャートである。図４（ａ）の制御フローの一部に対応する。同図の上段は、撮像ユニット１１０の撮像素子の動作を、下段は制御装置１００の動作を示している。同図において、垂直同期信号Ｖｓｙは同期信号生成回路１５０からの同期信号であり、１フレームの画像信号ＶＤにはそれぞれフレームの番号（ｆ１、ｆ２等）を示している。垂直同期信号Ｖｓｙの周期としては例えば３０Ｈｚあるいは６０Ｈｚであり、フレームレート３０ｆｐｓあるいは６０ｆｐｓで画像データの処理を行っている。

ＲＡＭ１０９において、濃い網掛け部のｗｒは書き込みを、薄い網掛け部のｒｄは読み込みを行う期間を示しており、それぞれにはＬＵＴの番号（ｄ０、ｄ１等）を付している。ｄ０、ｄ１等の番号が異なるＬＵＴは、異なるレンズパラメータを用いて生成したＬＵＴであることを示している。

なお、制御装置１００では、基準クロック（ｃｌｋ）を用いて同期信号生成回路１５０からの同期信号に対してディレイを加えている。

このように、垂直同期信号Ｖｓｙの信号がＬレベルのＶブランキング期間にＲＡＭ１０９へのＬＵＴの書き込みを順次に行うことにより、１フレーム毎に、ＬＵＴの更新を行うことができる。

次に図４（ｂ）の説明を行う。歪補正処理部１０１は、ステップＳ３１では、前述の様にユーザによるユーザ操作部１３０への入力指示により設定された仮想投影面ＶＰに基づいて歪補正パラメータ生成部１０２により生成された歪補正パラメータを取得する。

ステップＳ３２では、撮像ユニット１１０から画像信号ＶＤが例えばフレームレート３０ｆｐｓで入力される。

ステップＳ３３では、ＲＡＭ１０９に書き込まれているＬＵＴの読み出しを行う。読み出すタイミングについての詳細は後述する図５の説明で行う。

ステップＳ３４では、仮想投影面ＶＰの各画素の座標をワールド座標系からカメラ座標系に変換する。

図６は、座標系を説明する模式図である。図６に示すようにワールド座標系における仮想投影面ＶＰの４隅の点Ａ（０，０，Ｚａ）、点Ｂ（０，４９５，Ｚｂ）、点Ｃ（６５５，４９５，Ｚｃ）、点Ｄ（６５５，０，Ｚｄ）で囲まれる平面を等間隔で６５６×４９６ｐｉｘｅｌの画素Ｇｖ（総画素数３２．５万）に分割し、全ての画素Ｇｖそれぞれのワールド座標系における座標を取得する。なお同図におけるＸ、Ｙ座標の値は例示であり、理解を容易にするために、Ａ点のＸ、Ｙ座標をゼロとして表示している。

画素Ｇｖのワールド座標系での座標と、ステップＳ３３で取得したＬＵＴから、撮像素子面ＩＡでの対応するカメラ座標系での座標Ｇｉ（ｘ’，ｙ’）を算出する。つまり、レンズパラメータを反映させたＬＵＴに基づいてワールド座標の位置がカメラ座標のどの座標位置に対応するかを当てはめる座標変換を行う。具体的には、当該ＬＵＴと、各画素Ｇｖの座標から得られる光軸Ｚに対する入射角度θにより算出している（参考文献：国際公開第２０１０／０３２７２０号）。

図７は、カメラ座標系ｘｙと撮像素子面ＩＡとの対応関係を示す図である。図７において点ａ〜ｄは、図７の点Ａ〜Ｄを、第１ＬＵＴを用いて生成されたＬＵＴによりカメラ座標系に変換したものである。なお図６では点Ａ〜Ｄで囲まれる仮想投影面ＶＰは矩形の平面であるが、図７においてカメラ座標系に座標変換した後の点ａ〜ｄで囲まれる領域は（仮想投影面ＶＰの位置に対応して）歪んだ形状となる。なお同図においては樽型形状に歪んだ例を示しているが、光学系の特性により糸巻型、陣笠型（中央では樽型で端部では直線あるいは糸巻型に変化する形状）の歪みとなる場合もある。

図８は、像高ｈと入射角θとの関係を示す模式図である。被写体（物点Ｐ）の撮像素子面ＩＡ上の像高（光軸Ｚからの距離）は、入射角θとＬＵＴで決定される。ｐｉは歪み補正が無い場合の第２ＬＵＴにより決定される撮像素子面ＩＡ上の物点Ｐの結像位置であり、光軸からの距離（像高）はピンホールカメラのように、入射角θの正接関数に比例する。Ｇｉは第１ＬＵＴにより決定される歪み補正後の結像位置であり、その際の像高はｈである。

ステップＳ３５では、ステップＳ３２で入力された画像信号に対して、ステップＳ３４での処理を行うことにより撮像素子の座標Ｇｉの画素データを用いて画像生成が行われる。画像生成の方法としては以下に説明するように４点補間がある。

図６に示したようにＬＵＴにより決定される座標Ｇｉ（ｘ’，ｙ’）から参照する撮像素子の画素を決定するが、この際に撮像素子の各画素の座標（ｘ，ｙ）におけるｘ、ｙは整数であるが、ステップＳ３６のＬＵＴ生成過程で用いられる座標Ｇｉ（ｘ’，ｙ’）のｘ’、ｙ’は整数とは限らず小数部分を持つ実数値を取り得る。ｘ’、ｙ’が整数で、座標Ｇｉ（ｘ’，ｙ’）と撮像素子の画素の位置とが一致する場合には、対応する撮像素子の画素の画素データを仮想投影面ＶＰ上の画素Ｇｖ（Ｘ，Ｙ，Ｚ）に対応する出力画像の画素データとして用いることが可能である。一方で、ｘ’、ｙ’が整数でなくｘ’、ｙ’とｘ、ｙとが一致しない場合には４点補間として、画素Ｇｖに対応する出力画像の画素データとして、算出された座標Ｇｉ（ｘ’，ｙ’）周辺の画素、座標Ｇｉ（ｘ’，ｙ’）の位置に近接する上位４箇所の画素の画素データを用いて、これらの単純平均値あるいは、座標Ｇｉ（ｘ’，ｙ’）に対する距離により近接する４箇所の画素に対して重み付けをして算出した画素データを用いる。なお４点補間に限られず、周辺の箇所としては１箇所の単純補間や、１６箇所若しくはそれ以上を用いる多点補間であってもよい。

ステップＳ３６では生成された画像に基づいて出力処理を行う。出力処理としてはデモザイク処理において、周辺画素の信号から各画素のＢＧＲデータの演算を行って出力画像を得ることができる。デモザイク処理とは、例えば撮像素子がベイヤー配列で並んだ画素で構成されることにより各画素が１色分の色情報しか持たない場合に、周辺画素の情報から補間処理することにより３色分の色情報を算出することである。

ステップＳ３７では、「画像出力部」として機能する制御装置１００はステップＳ３６で得られた出力画像をビデオメモリ１０４に送り、同期信号に同期させて表示部１２０に表示させる。これを連続して行うことにより表示部１２０には、３０ｆｐｓあるいは６０ｆｐｓの動画像が表示される。

本実施形態では、仮想投影面ＶＰとＬＵＴから画像データを生成しているので、ＬＵＴを変更することにより、容易に歪補正の強度が異なる出力画像を得ることができる。また入射角θをパラメータとして光軸からの距離（像高）との関係を記述したシンプルなＬＵＴを採用することにより、そのサイズを小さくできるのでＬＵＴの書き換えをＶブランキング期間のような短い時間に行うことができる。このようにＶブランキング期間にＲＡＭ１０９へのＬＵＴの書き込みを順次に行うことにより、１フレーム毎に、ＬＵＴの更新を行いながら、ダウンサンプリング等による出力画像でのフレームレートの遅延を生じさせずに歪み補正処理を行うことが可能となる。

［第２の実施形態］
図９から図１１に基づいて第２の実施形態について説明する。第２の実施形態における撮像装置は、ＬＵＴを書き込むメモリを複数備えている。

図９は、第２の実施形態に係る撮像装置の概略構成を示すブロック図である。図３等と同じ構成については同じ符号を付すことにより説明に換える。同図に示す撮像装置には、ＲＡＭ１０９ａ、１０９ｂの２つのＲＡＭを備えている。制御装置１００では、２つのＲＡＭのうちで読み込みに使用している最中でないＲＡＭを選択し、選択したＲＡＭに対してＬＵＴ生成部１０３で生成されたＬＵＴの書き込みを行う。

図１０、図１１は、ＬＵＴの書き込みタイミングを示すタイムチャートである。タイムチャートである。同図は図５に対応する図であり、これらの図においてＬｕｔＳｅｌは、読み込みに使用するＲＡＭを選択するスイッチであり、ＨレベルのときはＲＡＭ１０ａを、ＬレベルのときはＲＡＭ１０９ｂを選択する。

図１０は、同一タイミングで使用するＲＡＭを切り替える例であり、２つのＲＡＭ１０９ａ、１０９ｂに対して交互に書き込みｗｒと読み込みｒｄを行っている。

図１１は、同一タイミングではなく使用するＲＡＭを切り替える例であり、２つのＲＡＭ１０９ａ、１０９ｂに対しては、制御装置１００により任意のタイミングで使用するＲＡＭの切り替えを行っている。

このように、第２の実施形態では、複数のＲＡＭのうち読み込みに使用している最中でないＲＡＭに対して生成したＬＵＴの書き込みを行っているので、書き込みを行う時間を十分に確保することが可能となる。このため入射角θをパラメータとして光軸からの距離（像高）との関係を記述したＬＵＴのみならず、レンズパラメータに基づいて仮想投影面の各画素の光軸Ｚからの位置と撮像素子の全画素との関係を記述したＬＵＴの場合であっても、１フレーム毎に、ＬＵＴの更新を行うことができ、ダウンサンプリング等の出力画像でのフレームレートの遅延を生じさせずに歪み補正処理を行うことが可能となる。

本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施形態、変形例を含むことは、本明細書に記載された実施形態や技術的思想から本分野の当業者にとって明らかである。明細書の記載及び実施形態は、あくまでも例証を目的としており、本発明の範囲は後述するクレームによって示されている。

１００ 制御装置
１０１ 歪補正処理部
１０２ 歪補正パラメータ生成部
１０３ ＬＵＴ生成部
１０４ ビデオメモリ
１０８ ＲＯＭ
１０９ ＲＡＭ
１０９ａ ＲＡＭ
１０９ｂ ＲＡＭ
１１０ 撮像ユニット
１２０ 表示部
１３０ ユーザ操作部
１５０ 同期信号生成回路
ＶＰ 仮想投影面
ＬＣ レンズ中心面
ＩＡ 撮像素子面
Ｏ レンズ中心
ｏ 光学中心

Claims (18)

1. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理方法において、
   ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
   前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成し、前記生成した歪み係数をメモリに書き込む第２ステップと、
   前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を、前記メモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
   前記第３ステップで算出された画像データを用いて表示用の動画像データを出力する第４ステップと、
   を有し、
   前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
   前記生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行うことを特徴とする画像処理方法。
2. 前記第１歪み係数は、入射角と像高とを対応付けた歪み係数であることを特徴とする請求項１に記載の画像処理方法。
3. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理方法において、
   ワールド座標系の仮想投影面の位置及びサイズを設定する第１ステップと、
   前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成し、前記生成した歪み係数を複数のメモリの何れかに書き込む第２ステップと、
   前記第１ステップで設定された前記仮想投影面の各画素のワールド座標系における座標を、前記複数のメモリのうちの一つのメモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて前記第１ステップで設定された仮想投影面の画像データを算出する第３ステップと、
   前記第３ステップで算出された画像データを用いて表示用の動画像データを出力する第４ステップと、
   を有し、
   前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
   複数の前記メモリの内、一つのメモリで歪み係数の読み込み動作中、他のメモリで歪み係数の書き込み動作を行うことを特徴とする画像処理方法。
4. 前記第１歪み係数は、前記仮想投影面の各画素の光軸からの位置と前記撮像素子の全画素とを対応付けた歪み係数であることを特徴とする請求項３に記載の画像処理方法。
5. 前記第２歪み係数は、前記光学系への入射角の正接関数を変数として算出される歪み係数であることを特徴とする請求項１から４の何れか一項に記載の画像処理方法。
6. 前記第２ステップで生成される歪み係数は、前記第１歪み係数を生成するためのレンズパラメータと前記第２歪み係数を生成するためのレンズパラメータとの間を補間することにより生成されたレンズパラメータにより生成される複数の歪み係数を含むことを特徴とする請求項１乃至５の何れか一項に記載の画像処理方法。
7. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理装置であって、
   ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
   前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
   前記歪み係数生成部で生成された歪み係数を書き込むメモリと、
   前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記メモリから読み出した歪み係数を用いてカメラ座標系に変換し、変換したカメラ座標系における座標及び前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
   前記算出した画像データを動画像として出力する画像出力部と、
   を有し、
   前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
   前記生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行うことを特徴とする画像処理装置。
8. 前記第１歪み係数は、入射角と像高とを対応付けた歪み係数であることを特徴とする請求項７に記載の画像処理装置。
9. 光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した動画像データを得る画像処理装置であって、
   ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
   前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
   前記歪み係数生成部で生成された歪み係数を書き込む複数のメモリと、
   前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記複数のメモリのうちの一つのメモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
   前記算出した画像データを動画像として出力する画像出力部と、
   を有し、
   前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
   複数の前記メモリの内、一つのメモリで歪み係数の読み込み動作中、他のメモリに対して生成した歪み係数の書き込みを行うことを特徴とする画像処理装置。
10. 前記第１歪み係数は、前記仮想投影面の各画素の光軸からの位置と前記撮像素子の全画素とを対応付けた歪み係数であることを特徴とする請求項９に記載の画像処理装置。
11. 前記第２歪み係数は、前記光学系への入射角の正接関数を変数として算出される歪み係数であることを特徴とする請求項７乃至１０の何れか一項に記載の画像処理装置。
12. 前記歪み係数生成部で生成される歪み係数は、前記第１歪み係数を生成するためのレンズパラメータと前記第２歪み係数を生成するためのレンズパラメータとの間を補間することにより生成されたレンズパラメータにより生成される複数の歪み係数を含むことを特徴とする請求項７乃至１１の何れか一項に記載の画像処理装置。
13. 光学系と、
    複数の画素を有する撮像素子と、
    ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
    前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
    前記歪み係数生成部で生成された歪み係数を書き込むメモリと、
    前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記メモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素から得られた画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
    前記算出した画像データを動画像として出力する画像出力部と、
    を有し、
    前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
    前記生成した歪み係数の前記メモリへの書き込みを垂直同期信号に基づくＶブランキング期間に行うことを特徴とする撮像装置。
14. 前記第１歪み係数は、入射角と像高とを対応付けた歪み係数であることを特徴とする請求項１３に記載の撮像装置。
15. 光学系と、
    複数の画素を有する撮像素子と、
    ワールド座標系における仮想投影面の位置及びサイズを設定する設定部と、
    前記仮想投影面の各画素の光軸からの位置と像高とを対応づけた歪み係数を生成する歪み係数生成部と、
    前記歪み係数生成部で生成された歪み係数を書き込む複数のメモリと、
    前記設定部で設定された仮想投影面の各画素のワールド座標系における座標を、前記複数のメモリのうちの一つのメモリから読み出した歪み係数を用いてカメラ座標系に変換し、前記変換したカメラ座標系における座標及び前記複数の画素から得られた画素データに基づいて、前記仮想投影面での画像データを算出する歪補正処理部と、
    前記算出した画像データを動画像として出力する画像出力部と、
    を有し、
    前記歪み係数には、少なくとも、前記光学系のレンズの物理的特性に基づいて算出された第１歪み係数と、歪みの補正を行わない第２歪み係数が含まれており、
    複数の前記メモリの内、一つのメモリで歪み係数の読み込み動作中、他のメモリに対して生成した歪み係数の書き込みを行うことを特徴とする撮像装置。
16. 前記第１歪み係数は、前記仮想投影面の各画素の光軸からの位置と前記撮像素子の全画素とを対応付けた歪み係数であることを特徴とする請求項１５に記載の撮像装置。
17. 前記第２歪み係数は、前記光学系への入射角の正接関数を変数として算出される歪み係数であることを特徴とする請求項１３乃至１６の何れか一項に記載の撮像装置。
18. 前記歪み係数生成部で生成される歪み係数は、前記第１歪み係数を生成するためのレンズパラメータと前記第２歪み係数を生成するためのレンズパラメータとの間を補間することにより生成されたレンズパラメータにより生成される複数の歪み係数を含むことを特徴とする請求項１３乃至１７の何れか一項に記載の撮像装置。

Images