JP6207173B2 - 信号処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、信号処理装置、その制御方法、および制御プログラムに関し、特に、撮影の際に画像を表示する場合の表示時間の遅延を低減する信号処理装置に関する。

一般に、デジタルビデオカメラ又はデジタルカメラなどの撮像装置では、撮影の際に被写体を確認するため、液晶又は有機ＥＬなどのディスプレイ（パネル）又は電子ビューファインダー（ＥＶＦ）などの表示装置を備えている。

パネルには、ユーザーが目視する被写体が記録される画像の画質でリアルタイムに表示されることが望ましい。一方、近年、記録画像の多画素化、そして、画質改善機能が多機能化したことに起因して信号処理に時間が掛かり、パネルに表示する際に表示遅延が生じている。表示遅延があると、パン、チルト、又はズームなどの操作の際にユーザーに違和感を与えてしまい、構図およびフォーカスなどの確認が困難となってしまう。

また、表示遅延量（遅延時間）は撮影フレームレートにも依存するので、フレームレートが遅いと表示遅延量は大きくなる。撮像装置の構成にもよるが、例えば、フレームレートが２４Ｈｚであると、フレームレートが６０Ｈｚの場合に比べても表示遅延量が２．５倍大きくなることが知られている。

ところで、テレビジョンにおいても画質改善機能の多機能化に起因して、同様の問題が存在する。例えば、テレビにゲーム機器を接続してゲームを行う際、テレビにおいて画質改善処理を行うと表示遅延が生じてしまう。この結果、ユーザーの操作が遅れてしまい、当該操作遅延がゲームの結果に影響することがあるばかりでなく、ユーザーに違和感を与えることがある。

このような表示遅延を低減するため、例えば、映像信号を信号処理して、表示映像信号を表示パネルに出力する際、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作を選択的に行って、表示モジュールに合わせてスケーリング処理を行うようにしたものがあり、ここでは、画質改善処理などの信号処理を簡略化して表示遅延を低減するようにしている（特許文献１参照）。

特開２０１１−２２３４５７号公報

ところが、特許文献１に記載の手法は、テレビなどの受像機において生じる映像信号と表示映像信号との遅延を低減するものであり、ここでは、少なくとも１フレーム分の遅延が不可避的に生じてしまう。このため、デジタルカメラなどの撮像装置で当該手法を用いたとしても、撮影の際に、つまり、撮像装置の操作の際に生じる違和感を低減して構図およびフォーカスなどの確認を良好に行うことは困難である。

従って、本発明の目的は、撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことのできる信号処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による信号処理装置は、撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第１の画像処理手段と、前記撮像素子で生成され、かつ前記第１の画像処理手段によって前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第２の画像処理手段と、を有し、前記第２の画像処理手段は、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする。

本発明による制御方法は、信号処理装置の制御方法であって、撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第１の画像処理ステップと、前記撮像素子で生成され、かつ前記第１の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第２の画像処理ステップと、を有し、前記第２の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする。

本発明による制御プログラムは、信号処理装置で用いられる制御プログラムであって、前記信号処理装置が備えるコンピュータに、撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第１の画像処理ステップと、前記撮像素子で生成され、かつ前記第１の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第２の画像処理ステップと、を実行させ、前記第２の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする。

本発明によれば、撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。

本発明の第１の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。 従来の信号処理装置を備える撮像装置の一例を示すブロック図である。 図１に示す撮像装置の動作タイミングを説明するためのタイミングチャートである。 図２に示す撮像装置の動作タイミングを説明するためのタイミングチャートである。 図１に示すリサイズ回路で行われる歪曲補正を説明するための図である。 本発明の第２の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。

以下、本発明の実施の形態による信号処理装置の一例について図面を参照して説明する。
［第１の実施の形態］

図１は、本発明の第１の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。

図示の撮像装置は、例えば、ビデオカメラであり、撮像センサー１００を有している。当該撮像センサー１００はＣＣＤ又はＣＭＯＳなどの撮像素子を備えている。撮像センサー１００には、撮影レンズ群（図示せず）において入射光量の調整および合焦が行われた光学像（被写体像）が結像する。なお、撮像センサー１００および撮影レンズ群は撮像部を構成する。

そして、撮像センサー１００は光電変換によって光学像に応じたアナログ信号を生成し、さらに、当該アナログ信号をＡ／Ｄ変換によってデジタル信号（画像信号）に変換して出力する。つまり、撮像部による撮像の結果得られた撮像画像がデジタル信号である。

撮像素子はマトリックス状に配列された複数の画素を有しており、画素にはＲ（赤）、Ｇ（緑）、およびＢ（青）のいずれかのカラーフィルタが所定の配列、例えば、ベイヤー配列又はハニカム配列で配置されている。これによって、撮像素子は色毎にＲＧＢ画像信号を出力する。また、高速出力（高速読み出し）のため、複数の画素の出力を加算して１つの出力とする画素加算処理を行ってＲＧＢ画像信号を出力する場合もある。

リサイズ回路１０１は、撮像センサー１００から出力されたＲＧＢ画像信号をＲ（赤）、Ｇ（緑）、およびＢ（青）の色毎に重心を補正しつつ、信号処理回路１０２において処理可能な大きさ（サイズ）に縮小する。

信号処理回路１０２は、リサイズ回路１０１でリサイズされたＲＧＢ画像信号を受けて、まず、ＲＧＢのオフセット調整、ゲイン調整、およびガンマ補正処理を行う。次に、信号処理回路１０２はＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）とに変換して、当該ＹＣＣ画像信号を記憶メモリ（例えば、ＤＲＡＭ）１０３に一旦書き込む。

信号処理回路１０２の後段には信号処理回路１０４が配置されている。信号処理回路１０４は、ＤＲＡＭ１０３からＹＣＣ画像信号を読み出して、例えば、撮影レンズ群の歪曲収差の補正処理を行う。さらに、信号処理回路１０４は被写体の動きベクトルに応じて撮像装置のブレに起因するＹＣＣ画像信号のブレを低減する防振処理などを行って、第１の処理済みＹＣＣ画像信号としてＤＲＡＭ１０５に書き込む。

信号処理回路１０６は、ＤＲＡＭ１０５から第１の処理済みＹＣＣ画像信号を読み出し、例えば、ノイズリダクション処理を行って、第２の処理済みＹＣＣ画像信号としてＤＲＡＭ１０７に書き込む。

このようにして、信号処理回路１０４および１０６はＤＲＡＭに記憶されたＹＣＣ画像信号に対して画像処理を順次行うことになる。

圧縮伸長回路１０８はＤＲＡＭ１０７から第２の処理済みＹＣＣ画像信号を読み出して、記録フォーマットに合わせて第２の処理済みＹＣＣ画像信号を圧縮符号化して、圧縮画像信号として記録メディア１０９に記録する。

外部出力回路１１０は、ＤＲＡＭ１０７から第２の処理済みＹＣＣ画像信号を読み出して、第２の処理済みＹＣＣ画像信号をＨＤＭＩ、ＳＤＩ、コンポーネント、又はコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換して、撮像装置の外部に出力する。

図示の撮像装置はリサイズ回路１１１を備えており、リサイズ回路１１１はプレフィルタ１２０、補間回路１２１、および補間係数演算回路１２２を有している。

リサイズ回路１１１は信号処理回路１０２の出力であるＹＣＣ信号を受ける。そして、リサイズ回路１１１は、後述するようにして、ＹＣＣ画像信号を表示装置（例えば、パネル）の表示サイズに縮小してリサイズＹＣＣ画像信号とする。なお、リサイズ回路１１１は後述するように、歪曲補正および縮小処理を行う。

リサイズ回路１１１の出力であるリサイズＹＣＣ画像信号はパネル用信号処理回路１１２に与えられる。パネル用信号処理回路１１２は、リサイズＹＣＣ画像信号に対してパネルに合わせて色の調整処理および解像度調整処理など信号処理を行ってパネル用ＹＣＣ信号として出力する。

パネル出力回路１１３は、パネル用ＹＣＣ画像信号をパネルの受信フォーマットに合わせてフォーマット変換して、表示装置（表示部又はパネル）１１４に送ってパネル１１４に画像表示を行う。

ＣＰＵ１３０は、撮像装置全体の制御を司る。図１においては、制御信号線は示されていないが、ＣＰＵ１３０は上述の各ブロックを制御する。特に、ＣＰＵ１３０は信号処理回路１９２、１０４、１０６、およびパネル用信号処理回路１１２の設定調整などを行う。

ここで、図１に示す撮像装置における信号処理を容易に理解するため、従来の撮像装置における信号処理について説明する。

図２は、従来の信号処理装置を備える撮像装置の一例を示すブロック図である。なお、図２において、図１に示す構成要素と同一の構成要素については同一の参照番号を付す。また、図２においてはＣＰＵが省略されている。

図２に示す撮像装置では、信号処理回路１０６の出力である第２の処理済みＹＣＣ画像信号がリサイズ回路２１１に与えられる。そして、リサイズ回路２１１は第２の処理済みＹＣＣ信号を表示装置の表示サイズに縮小してリサイズＹＣＣ画像信号とし、当該リサイズＹＣＣ信号をＤＲＡＭ２１２に書き込む。

パネル出力回路２１３は、ＤＲＡＭ２１２からリサイズＹＣＣ画像信号を読み出してパネルの受信フォーマットに合わせてフォーマット変換して、表示装置（パネル）１１４に送ってパネル１１４に画像を表示する。

このように、従来の撮像装置においては、リサイズ回路２１１は圧縮伸長処理以外の全ての信号処理が行われたＹＣＣ画像信号を受けて、リサイズ処理を行って得られたリサイズＹＣＣ画像信号をＤＲＡＭ２１２に記憶する。

続いて、図１および図２に示す撮像装置の動作タイミングについて説明する。

図３は、図１に示す撮像装置の動作タイミングを説明するためのタイミングチャートであり、図４は、図２に示す撮像装置の動作タイミングを説明するためのタイミングチャートである。

ここでは、撮像センサー１００の駆動周期とパネル１１４の駆動周期がともに６０Ｈｚで同期しており、撮像センサー１００の画素数は水平４０９６ピクセル×垂直２１６０ライン＝８８４７３６０ピクセルである。また、パネル１１４の画素数は水平９６０ピクセル×垂直５４０ライン＝５１８４００ピクセルであるとする。そして、図３および図４に示す動作タイミング制御はＣＰＵの制御下で行われる。

まず、図３を参照して、ステップＳ３１０において、撮像センサー１００からＲＧＢ画像信号（水平４０９６ピクセル×垂直２１６０ライン）が出力される。続いて、ステップＳ３１１において、リサイズ回路１０１は、撮像センサー１０１から出力されたＲＧＢ画像信号を信号処理回路１０２において処理可能な大きさ（水平２０４８ピクセル×垂直１０８０ライン）に縮小する。

ステップＳ３１２において、信号処理回路１０２は、リサイズ回路１０１でリサイズされたＲＧＢ画像信号を輝度信号（Ｙ）および色差信号（Ｃｂ、Ｃｒ）に変換する信号処理を行う。そして、信号処理回路１０２はＹＣＣ画像信号をＤＲＡＭ１０３に記憶しつつ、リサイズ回路１１１に送る。

ステップＳ３１３において、信号処理回路１０４はＤＲＡＭ１０３に記憶されたＹＣＣ画像信号を、ステップＳ３１２の処理から１フレーム時間の後に読み出す。そして、信号処理回路１０４はＹＣＣ信号に対して信号処理を行って第１の処理済みＹＣＣ画像信号をＤＲＡＭ１０５に書き込む。

続いて、ステップＳ３１４において、信号処理回路１０６はＤＲＡＭ１０５に記憶された第１の処理済みＹＣＣ画像信号を、ステップＳ３１３処理から１フレーム時間の後に読み出す。そして、信号処理回路１０６は第１の処理済みＹＣＣ画像信号に対して信号処理を行って第２の処理済みＹＣＣ画像信号をＤＲＡＭ１０７に書き込む。

ステップＳ３１５において、外部出力回路１１０は、ＤＲＡＭ１０７に記憶された第２の処理済みＹＣＣ画像信号を、ステップＳ３１４の処理から１フレーム時間の後に読み出す。そして、外部出力回路１１０は、前述のように、フォーマット変換を行って撮像装置の外部に出力する。

一方、ステップＳ３１２の処理の後、ステップＳ３１６の処理が行われて、リサイズ回路１１１はＹＣＣ画像信号を縮小処理してリサイズＹＣＣパネル画像信号とする。ここでは、パネル１１４の表示サイズ（水平９６０ピクセル×垂直５４０ライン）とするため、ＹＣＣ画像信号を水平１５／３２倍、垂直１／２倍に縮小する。

次に、ステップＳ３１７において、パネル用信号処理回路１１２はリサイズＹＣＣ画像信号に対してパネルに合わせて色の調整処理および解像度調整処理など信号処理を行ってパネル用ＹＣＣ信号として出力する。

続いて、ステップＳ３１８において、パネル出力回路１１３はパネル用ＹＣＣ画像信号をパネル１１４の受信フォーマットに合わせてフォーマット変換して、パネル１１４に送って画像を表示する。

図４を参照して、図３に示すステップと同一のステップについて同一の参照符号を付して説明を省略する。図２に示す撮像装置では、ステップＳ３１４における信号処理回路１０６による信号処理の後、ステップＳ４１６でリサイズ回路２１１による縮小処理が行われることになる。つまり、リサイズ回路２１１は信号処理回路１０６の出力である第２の処理済みＹＣＣ画像信号を縮小処理してリサイズＹＣＣ画像信号としてＤＲＡＭ２１２に記憶する。

続いて、ステップＳ４１７において、パネル出力回路２１３はＤＲＡＭ２１２に記憶されたリサイズＹＣＣ画像信号を、ステップＳ３１４の処理から１フレーム時間の後に読み出す。そして、パネル出力回路２１３はリサイズＹＣＣ画像信号をパネル１１４の受信フォーマットに合わせてフォーマット変換して、パネル１１４に送って画像を表示する。

このように、リサイズ回路２１１は信号処理回路２０６から第２の処理済みＹＣＣ画像信号を受けて縮小処理して得られたリサイズＹＣＣ画像信号をＤＲＡＭ２１２に記憶する。

このため、ステップＳ３１５の処理とともに、ステップＳ４１７においてパネル出力処理を行うことになって、ステップＳ３１０から数えると、ステップＳ４１７の処理では３フレーム時間分の表示遅延時間が生じることになる。フレームレートが６０Ｈｚであるから、この表示遅延時間は約５０［ｍ秒］となる。

前述の図３に示すタイミングチャートでは、ステップＳ３１０の処理の後、ステップＳ３１８の処理は１フレーム時間以内で行われており、撮影の際に画像をパネル１１４に表示する際の表示遅延時間を１フレーム時間以内とすることができる。

このように、図１に示す撮像装置では、リサイズ回路１１１が信号処理回路１０２からＹＣＣ画像信号を受けて、パネル用信号処理回路１１２およびパネル出力回路１１３を介して画像をパネル１１４に表示するようにしたので、撮像センサー１００で撮像した画像を１フレーム時間以内でパネル１１４に表示することができる。

ところで、前述のように、図１に示すリサイズ回路１１１は、プレフィルタ１２０、補間回路１２１、および補間係数演算回路１２２を有しており、ＹＣＣ画像信号に対して画像縮小処理を行うとともに、撮影レンズ群などで生じる歪曲補正を行う。

ここで、歪曲歪みは撮像センサーの撮像面（結像面）に集光するためのレンズが有する歪曲収差によって引き起こされる光学的な幾何学的歪みである。この歪曲歪みは、画像の中心付近とその周辺部とにおける結像倍率が異なるために発生する。

一般に、歪曲収差には外枠が膨らんだように見える樽型の歪曲収差と外枠が凹んだように見える糸巻き型の歪曲収差とがあり、レンズのズーム倍率によって歪曲収差が変化する。

歪曲収差が低減するようにレンズを設計することが望ましいものの、歪曲収差を完全になくすことは困難であって、歪曲収差を抑えたレンズ群は複雑でしかも高価となる。このため、安価な撮像装置を提供するためには、レンズ群で生じる歪曲収差を画像処理により補正する必要がある。

前述のように、図１に示す撮像装置では、信号処理回路１０４において歪曲収差の補正処理が行われている。一方、図１に示す撮像装置では、信号処理回路１０２の出力であるＹＣＣ画像信号をリサイズ回路１１１に入力して、パネル用信号処理回路１１２およびパネル出力回路１１３を介してパネル１１４に画像を表示しているので、パネル１１４に至る経路において歪曲補正を行うことが望ましい。

つまり、歪曲補正されない画像がパネル１１４に表示されると、当該表示画像ら応じて、ユーザーが撮像を行った場合には、ユーザーが意図した画像と記録メディア１０９に記録される画像との間で差異が発生してしまう。このため、パネル１１４に至る経路において歪曲補正を行う必要がある。

図５は、図１に示すリサイズ回路１１１で行われる歪曲補正を説明するための図である。

いま、歪曲がない時の画像面に対して、糸巻き型歪又は樽型歪が生じたとする。糸巻き型歪および樽型歪は２次元の歪であるので、垂直および水平方向の２次元逆極性の歪曲補正率を用いて歪補正を行えば、歪曲歪補正を行うことができる。

なお、撮像センサー１００で撮像された画像をパネル１１４に表示するために行うリサイズ処理（縮小処理）も垂直および水平方向の２次元画像変形処理である。よって、ここでは、リサイズ回路１１１が歪曲補正および縮小処理を行う。

リサイズ回路１１１において、プレフィルタ１２０は画像処理回路１０２の出力であるＹＣＣ画像信号の帯域を制限して、縮小処理による折り返し（エイリアシング）を防止するためのものである。プレフィルタ１２０は、例えば、高次のＦＩＲフィルタであり、垂直方向および水平方向に帯域を制限する。

補間回路１２１はリサイズ後のＹＣＣ信号において所定の注目画素に対して、その周囲の複数画素から補間を行う。補間回路１２１では、例えば、既知のバイリニア法又はバイキュービック法が用いられる。

補間係数演算回路１２２はＣＰＵ１３０の制御下で、補間回路１２１で行われる補間演算、例えば、バイキュービック法における重みづけ演算の係数を制御する。歪曲補正を行わない場合には、補間係数演算回路１２２は重心位置に応じた係数演算を行い、歪曲補正を行う際には図５に示す歪曲補正率に応じて係数演算を行う。

なお、リサイズ１１１は、信号処理回路１０２からＹＣＣ画素信号とともに、当該ＹＣＣ画像信号に係る画素の水平および垂直のアドレス位置情報を受ける。そして、アドレス位置情報は補間係数演算回路１２２に与えられる。補間係数回路１２２はアドレス位置情報に応じて補間係数を算出して、当該補間係数によって補間回路１２１を制御する。

例えば、図５に示すように、糸巻き型歪又は樽型歪が生じた際には、歪曲補正率（補正係数）はその周辺に行く程補正率が大きくなる。補間係数演算回路１２２はアドレス位置情報に応じて歪みの補正係数を近似計算によって求める。また、補間係数演算回路１２２は内蔵するＬＵＴ（ルックアップテーブル）を参照して、アドレス位置情報に応じてＬＵＴから補正係数を読み出すようにしてもよい。このようにして、リサイズ回路１１１において歪曲補正を行うと、歪曲補正後画像であるリサイズＹＣＣ画像信号が得られる。

図１に示す撮像装置（カメラ）がレンズ交換を行うことができる場合には（つまり、カメラがレンズ交換可能であると）、交換レンズによってその歪み率が異なる。この場合には、図１に示すＣＰＵ１３０は、カメラに装着された交換レンズの種類を認識する。そして、ＣＰＵ１３０はカメラに装着された交換レンズの種類に応じて、補間係数演算回路１２２における演算処理を変更する。

なお、前述のように、ＬＵＴを参照して補正係数を算出する際には、ＣＰＵ１３０はカメラに装着された交換レンズの種類に応じてＬＵＴのテーブルデータを書き替えることになる。この際には、交換レンズが装着された際に、ＣＰＵ１３０はＬＵＴのテーブルデータを書き替える。

さらに、カメラに実装されたレンズが光学ズーム式レンズである場合には、焦点距離によってその歪み率が異なる。この場合には、図１に示すＣＰＵ１３０はズームレンズのズーム状態を検出して、当該ズーム状態に応じて補間係数演算回路１２２における演算処理を変更する。なお、前述のように、ＬＵＴを参照して補正係数を算出する際には、ＣＰＵ１３０はズームレンズのズーム率に応じてＬＵＴのテーブルデータを書き替えることになる。

なお、外部出力回路１１０に送られる第２の処理済みＹＣＣ画像信号は８ビット、１０ビット、又はそれ以上のビット数であるのに対して、パネル１１４に送られる画像信号は８ビット又はそれ以下のビット数である。よって、信号処理回路１０２は、リサイズ回路１１０にＹＣＣ画像信号を出力する際には、必要なビット数にデータ量を低下させて、リサイズ回路１１１における処理量を軽減させるようにしてもよい。

また、１つのＤＲＡＭをアドレス制御によってＤＲＡＭ１０３、１０５、および１０７として用いるようにしてもよい。

なお、撮像センサー１００の駆動周期とパネル１１４の駆動周期は同一の周期でなくてもよい。この場合、撮像センサー１００の駆動周期とパネル１１４の駆動周期とを同期制御する際には、ＣＰＵ１３０は撮像センサー１００とパネル１１４の同期信号の遅延量を計測して、センサーの駆動周期を基準としてパネル１１４の同期信号の遅延量が所定の範囲に入るように調節する。

このように、本発明の第１の実施形態では、信号処理回路１０２の出力であるＹＣＣ画像信号をリサイズ回路１１１に入力して、表示装置１１４に画像を表示するようにしたので、撮影の際に表示装置１１４に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による信号処理装置を備える撮像装置について説明する。

図６は、本発明の第２の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。なお、図６において、図１に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。

図示の撮像装置（カメラ）は、ジャイロセンサー１３１、アナログデジタル変換回路（ＡＤＣ）１３２、およびＤＲＡＭ１１５を有している。図示のジャイロセンサー１３１は撮像面に対して水平２軸方向についてカメラの揺れを検出する。なお、カメラの揺れとは、例えば、手ブレである。

ジャイロセンサー１３１はカメラの揺れを検出して、そのブレ量をＡＤＣ１３２に送る。ＡＤＣ１３２はブレ量をＡ／Ｄ変換してブレ量を示すデジタル信号（以下ブレ検出信号と呼ぶ）をＣＰＵ１３０に送る。

図１で説明したように、信号処理回路１０４はＹＣＣ画像信号に対して防振処理を行うが、第２の実施形態では、信号処理回路１０４はＣＰＵ１３０の制御下でブレ検出信号に応じてＹＣＣ画像信号に対して防振処理を行う。

図示のように、リサイズ回路１１１の出力であるリサイズＹＣＣ画像信号はＤＲＡＭ１１５に一旦記憶される。パネル用信号処理回路１１２はＤＲＡＭ１１５に対して読み出しアドレス制御を行って、ＤＲＡＭ１１５に記憶されたＹＣＣ画像信号を選択的に読み出す切り出し読みを行う。

この際、パネル用信号処理回路１１２はＣＰＵ１３０の制御下でブレ検出信号に応じてＤＲＡＭ１１５の読み出しアドレスを変更して、ブレ量をキャンセルするようにＹＣＣ画像信号の切り出し読みを行って防振処理を実行する。

ＤＲＡＭ１１５の挿入によって若干の遅延が生じることになるが、ＤＲＡＭ１１５に記憶される画像信号はそのサイズが小さいので問題はない。つまり、前述のように、ＤＲＡＭ１０３、１０５、および１０７に記憶される画像信号は、例えば、水平２０４８ピクセル×垂直１０８０ラインであるが、ＤＲＡＭ１１５に記憶される画像信号はパネル表示用に縮小処理された画像信号であって、例えば、水平９６０ピクセル×垂直５４０ラインである。従って、ＤＲＡＭ１１５に記憶されるピクセル総数は、ＤＲＡＭ１０３、１０５、および１０７に記憶されるピクセル総数の約１／４であり、ＤＲＡＭ１１５による遅延時間は１フレーム時間に対して十分小さい。

なお、１つのＤＲＡＭをアドレス制御によってＤＲＡＭ１１５、ＤＲＡＭ１０３、１０５、および１０７として用いるようにしてもよい。

このように、本発明の第２の実施形態においても、撮影の際に表示装置に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。さらに、表示装置に表示される画像におけるブレを低減することができる。

上述の説明から明らかなように、図１に示す例においては、少なくともリサイズ回路１０１および１１１、信号処理回路１０２、１０４、および１０６、ＤＲＡＭ１０３、１０５、および１０７、圧縮伸長回路１０８、ＣＰＵ１３０、パネル用信号処理回路１１２、およびパネル出力回路１１３が信号処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を信号処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを信号処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１００ 撮像センサー
１０１，１１１ リサイズ回路
１０２，１０４，１０６ 信号処理回路
１０３，１０５，１０７，１１５ ＤＲＡＭ
１０８ 圧縮伸長回路
１０９ 記録メディア
１１０ 外部出力回路
１１２ パネル用信号処理回路
１１３ パネル出力回路
１１４ 表示装置（パネル）

Claims (8)

1. 撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第１の画像処理手段と、
   前記撮像素子で生成され、かつ前記第１の画像処理手段によって前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第２の画像処理手段と、を有し、
   前記第２の画像処理手段は、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする信号処理装置。
2. ブレを検出してブレ検出信号を出力するブレ検出手段と、
   前記ブレ検出信号に応じて、前記リサイズ処理および前記幾何学的歪みの補正処理が行われた画像信号に対してブレ補正を行うブレ補正手段と、を有することを特徴とする請求項１に記載の信号処理装置。
3. 前記ブレ補正手段は、前記リサイズ処理および前記幾何学的歪みの補正処理が行われた画像信号を記憶する記憶手段と、
   前記ブレ検出信号に応じて前記記憶手段における読み出しアドレスを変更する切り出し読みを行ってブレ補正を行う読み出し手段と、を有することを特徴とする請求項２に記載の信号処理装置。
4. 前記第２の画像処理手段は、前記幾何学的歪みの補正を行う際、前記レンズのズーム率に応じて前記幾何学的歪みを補正するための補正率を変更することを特徴とする請求項１〜３のいずれか１項に記載の信号処理装置。
5. 前記レンズは前記撮像素子を備えた撮像部に対して交換可能であり、
   前記第２の画像処理手段は、前記撮像部に装着されたレンズの種類に応じて、前記幾何学的歪みを補正するための補正率を変更することを特徴とする請求項１〜４のいずれか１項に記載の信号処理装置。
6. 前記撮像素子で生成された画像信号のビット数を予め定められたビット数に低減する第３の画像処理手段を有し、
   前記第３の画像処理手段から出力された画像信号が、前記第２の画像処理手段に入力されることを特徴とする請求項１〜５のいずれか１項に記載の信号処理装置。
7. 信号処理装置の制御方法であって、
   撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第１の画像処理ステップと、
   前記撮像素子で生成され、かつ前記第１の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第２の画像処理ステップと、を有し、
   前記第２の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする制御方法。
8. 信号処理装置で用いられる制御プログラムであって、
   前記信号処理装置が備えるコンピュータに、
   撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第１の画像処理ステップと、
   前記撮像素子で生成され、かつ前記第１の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第２の画像処理ステップと、を実行させ、
   前記第２の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする制御プログラム。

Images