JP3548204B2 - 映像処理装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は映像処理装置に関し、特に電子ズーム機能、手ぶれ補正機能及び光学レンズ等の光学歪みの補正機能を有する映像処理装置に関する。
【０００２】
【従来の技術】
光学レンズには収差があるため、光学レンズを介して撮像素子に結像される被写体光学像には光学歪みが発生してしまい、その結果、映像信号も歪みをもつ画像となってしまう。光学歪みとしては、図２０（Ａ）に示すような「糸まき型歪み」や図２０（Ｂ）に示すような「たる型歪み」がある。これら歪みは、図２０において、本来点線で示される位置にあるべき画像情報が実線位置に結像するような歪みである。
【０００３】
このような光学歪みを伴う映像信号の歪みを補正する補正処理としては、映像信号をデジタル信号に変換して画像メモリに書き込み、歪みに応じて読み出しアドレスをずらして読み出すことにより画像メモリ上で光学歪みを補正する処理がある。
【０００４】
例えば、図２１において、光学レンズによる歪みがなければ、画像メモリに点線のように記憶されるべき格子状の画像が光学歪みにより実線のように記憶されているとする。この画像データを画像メモリから読み出すとき、Ａ点を読み出すべきタイミングにａ点に記憶されている画像データを、Ｂ点を読み出すべきタイミングにｂ点に記憶されている画像データを、同様にＣ点を読み出すべきタイミングにｃ点に記憶されている画像データを読み出す。こうすることにより実線で示す歪んだ画像は、点線で示す歪みのない元の格子状の画像として読み出され、光学歪みが補正される。
【０００５】
図２２には、この種の補正機能を有する従来の映像処理装置の構成例ブロック図が示されている。
光学レンズ等の光学系１を介して被写体像がＣＣＤ等の撮像素子２に結像される。この撮像素子２に結像されている画像は、上記光学歪みを含んでおり、撮像素子２で電気信号に変換される。撮像素子２からの信号は、撮像プロセス回路３で所定の処理が施されて映像信号としてＡ／Ｄコンバータ４に供給される。Ａ／Ｄコンバータ４でデジタル信号に変換された映像信号は、画像メモリ５に記憶される。画像メモリ５への信号の書き込み及び読み出しタイミングは、ライトコントロール回路１０とリードコントロール回路１２Ａによって制御される。ＳＳＧ回路９は、当該装置動作の基準タイミング信号を発生し、ＴＧ回路８、撮像プロセス回路３及びライトコントロール回路１０に供給する。ＴＧ回路８は、ＳＳＧ回路９からの水平（Ｈ）方向、垂直（Ｖ）方向の読み出しタイミング信号を撮像素子２に送出する。ライトコントロール回路１０は、Ａ／Ｄコンバータ４からの映像信号の画像メモリ５への書き込みタイミングを制御する。
【０００６】
マイコン１１は、光学系１からのズーム情報等の信号を受け、補正量ＲＯＭ１９に格納されている補正量データに基づいて上述光学歪みを補正すべくリードコントロール回路１２Ａを制御する。補正量ＲＯＭ１９には、レンズの使用条件毎に、画面の各部について予め定まる補正量、例えば図２０の実線位置と点線位置との関係で定まる補正量が格納されている。こうして、リードコントロール回路１２Ａから出力されるリード信号により、光学歪みを補正すべく画像メモリ５から読み出された信号は、補間回路６で補間処理された後、Ｄ／Ａコンバータ７によりアナログ信号に変換されて出力される。かかる光学歪み補正機能をもつ映像処理装置は、特開平４ー６１５７０号公報に開示されている。
【０００７】
【発明が解決しようとする課題】
上述のように従来の映像処理装置は、光学歪みをもつ映像信号を画像メモリに記憶し、予め光学歪みに応じた各画素毎の補正量をＲＯＭに格納しておき、光学歪みに応じてＲＯＭから読み出された補正量に基づいた読み出しアドレスにより光学歪みを補正している。
【０００８】
上記の如き映像処理装置においては、光学歪みは、光学系の焦点距離と結像位置の光軸からの距離により規定されるので、焦点距離が変化すれば、補正の度合いも変化する必要がある。しかしながら、一般的に人間が光学歪みを検知できるのは歪みの割合が１％以上であると言われている。従って、焦点距離の変化に応じて、逐一補正状態を変更するのは人間の視覚特性に叶ったものとは言えず、一方制御動作としては非常に煩雑であるうえ、かえって焦点距離検出誤差による補正のふらつき等が発生する恐れがあった。
【０００９】
本発明は、上記の問題点に鑑み、視覚的に違和感が少なく且つ制御動作の簡素化が計られた光学歪み補正機能を有するこの種の映像処理装置を提供しようとするものである。
【００１０】
【課題を解決するための手段】
前述の課題を解決するため、本発明による映像処理装置は、
光学系による像を光電変換して得た映像信号をこの映像信号に対応する映像データに変換する変換手段と、
上記光電変換を行う撮像手段での当該画素の撮像手段上での略光軸位置からの水平及び垂直方向の距離、及びレンズの焦点距離によって定まる焦点距離係数に基づいて、平方根演算を行うことなく当該画素の歪んだ位置を求める近似式によって補正係数を算出し、この補正係数に基づいて上記変換手段による映像データを当該記憶手段に書き込み又は読み出しするに際して該映像データに上記光学系による像の歪みに対応した補正を与える歪補正手段と、
を備えた映像処理装置において、
上記歪補正手段は、当該光学系の焦点距離の変化に対応する像の歪み程度の変化がそれぞれ所定範囲内となるように前記焦点距離区間を複数の区間に区切ると共に、焦点距離がこのいずれの区間にあるかに基づいて歪補正に使用する前記補正係数が与えられるように構成される。
ここで、上記歪補正手段において、当該画素の撮像素子上での略光軸位置からの水平及び垂直方向の距離、及びレンズの焦点距離によって定まる焦点距離係数とに基づいて、四則演算及びべき算でのみ演算を行って当該画素の歪んだ位置を求める近似式によって補正係数を算出する。
また、本発明の他の態様による映像処理装置は、
光学系による像を光電変換して得た映像信号をこの映像信号に対応する映像データに変換する変換手段と、
上記変換手段による映像データを当該記憶手段に書き込み又は読み出しするに際して該映像データに上記光学系による像の歪みに対応した補正を与える歪補正手段とを備えた映像処理装置において、
上記歪補正手段は、当該光学系の焦点距離の変化する焦点距離区間を複数の区間範囲に区切ると共にこの各区切り区間範囲内において同一の補正係数を用いて処理を行った歪補正後の像の歪み程度が視覚的に許容可能な範囲内となるべく各区切り区間の範囲が決定されており、この各区切り区間範囲内において同一の補正係数を用いて歪補正処理を行う。
ここで、前記視覚的に許容可能な範囲は、歪補正後の歪の割合が、マイナス１〜プラス１％の範囲である。
【００１１】
【作用】
本発明では、映像データに光学系による像の歪みに対応した補正を、記憶手段に書き込み又は読み出し制御して行う歪み補正手段が、当該光学系の焦点距離の変化に対応する像の歪み程度の変化が所定範囲内にあるような焦点距離区間に適用すべきデータとしての補正用データを補正処理の基礎データとして与える。
【００１２】
【実施例】
次に、本発明の実施例について図面を参照しながら説明する。
図１は、電子ズーム機能と光学歪み補正機能を行う処理回路を兼用する例の構成ブロック図を示す。図１において、図２２と同一符号が付されている構成部は同様機能をもつ構成部である。
図１において、マイコン１１は、指定された電子ズーム倍率を受け、該ズーム情報を光学系１に送出して光学ズーム制御を行うとともに、該ズーム情報を示すズーム係数Ｓと、ズーム倍率に対応するＨアドレスピッチと、Ｖアドレスピッチをリードコントロール回路１２に送出する。リードコントロール回路１２では、これらの情報に基づいて電子ズーム処理を行うとともに光学歪みの補正処理を行うための信号を画像メモリ５と補間回路６に送出する。
【００１３】
図２（Ａ）には、ズームレンズにおける光軸からの相対距離（％）と歪み率Ｄ（％）との関係についての光学歪特性の一例が示されている。ここで、横軸は、撮像素子の有効面の対角線の２分の１の長さを１００％としたときの光軸位置からの相対距離を示し、縦軸は歪み率Ｄを示す。
ここで、歪み率Ｄの定義を、相対距離ｒ離れた点に結像すべき像が光学歪みによりｒ’に結像したとき、図２（Ｂ）に示すように、
Ｄ＝（ｒ’−ｒ）／ｒ×１００ ％ （１）
とする。
焦点距離ｆにより特性が変動するが、ｒが大きくなるほど歪み率Ｄも大きくなり、この特性は、例えば
Ｄ＝ｓ’’・ｒ^２ （２）
で近似でき、式（１）、（２）から
ｒ’＝ｒ（１＋ｓ’・ｒ^２ ） （３）
となる。ここで、ｓ’’及びｓ’は焦点距離によって決定する係数であり、
ｓ’＝ｓ’’／１００
とする。つまり、式（３）により、撮像素子上の光軸から相対距離ｒ離れた点に結像すべき像が光学歪みによりｒの（１＋ｓ’・ｒ^２ ）倍離れた点に結像していると導ける。
【００１４】
撮像素子上の光軸から相対距離ｒ離れた点Ｐをメモリ上で考えると、図３（Ａ），（Ｂ）に示すように、例えばＮＴＳＣ信号の場合、撮像素子の縦横の比はおよそ３：４であり、映像信号を２４０×７６８のフィールドメモリに記憶する場合を考える。撮像素子上での相対距離ｒは、メモリ上では例えば水平方向でＲ画素だとすると、垂直方向ではＲ／２．４画素となり、水平方向と垂直方向とでは異なった画素数で表されてしまう。
そこで、垂直方向の画素数に、この例であれば２．４といった換算係数ｋを乗じ、水平方向、垂直方向ともに撮像素子上の相対距離ｒをメモリ上ではＲ画素といったように、撮像素子上の距離をメモリの画素数に換算できるようにする。
【００１５】
ここで、図４に示すように、撮像素子上の光軸から相対距離ｒ離れた点Ｐに結像すべき点が光学歪により相対距離ｒ’の点Ｐ’に結像している場合を考える。点Ｐについては撮像素子上の光軸にあたるメモリの中心座標から水平方向にｘ画素、垂直方向にはｙ画素の位置、点Ｐ’については水平方向にｘ’画素、垂直方向にはｙ’画素の位置としたときのメモリ上でのＰ，Ｐ’の位置関係を求める。
【００１６】
式（３）から点Ｐ’は、点Ｐより（１＋ｓ’・ｒ^２ ）倍、中心座標から離れていると考えられる。ここで、ｒをメモリ上の大きさで表すと
ｒ＝ｃ×｛ｘ^２ ＋（ｋｙ）^２ ｝ （４）
で表せる。ｃは撮像素子の大きさとメモリの画素数で決定する定数である。
また、点Ｐ’が点Ｐより中心座標から（１＋ｓ’・ｒ^２ ）倍離れているということは、それぞれの水平、垂直方向の距離も（１＋ｓ’・ｒ^２ ）倍離れているということなので
ｘ’＝ｘ（１＋ｓ’・ｒ^２ ） （５）
ｙ’＝ｙ（１＋ｓ’・ｒ^２ ） （６）
となる。
式（４）、（５）、（６）から
ｘ’＝ｘ［１＋ｓ’・ｃ^２ ｛ｘ^２ ＋（ｋｙ）^２ ｝］ （７’）
ｙ’＝ｙ［１＋ｓ’・ｃ^２ ｛ｘ^２ ＋（ｋｙ）^２ ｝］ （８’）
ここで、ｓ’ｃ^２ を定数Ｓとまとめれば
ｘ’＝ｘ［１＋Ｓ｛ｘ^２ ＋（ｋｙ）^２ ｝］ （７）
ｙ’＝ｙ［１＋Ｓ｛ｘ^２ ＋（ｋｙ）^２ ｝］ （８）
となる。また、Ｓは焦点距離によって定まる係数となる。
【００１７】
上記式から明らかなように、メモリの中心座標から水平、垂直方向にｘ，ｙ離れた画素Ｐ（ｘ，ｙ）に記憶されるべき画像データは、光学歪みによりそれぞれｘ，ｙの｛１＋ｓ（ｘ^２ ＋（ｋｙ）^２ ））｝倍のｘ’，ｙ’中心座標から離れた画素Ｐ’（ｘ’，ｙ’）に記憶されていることを示している。
よって前述（従来例にて）説明した如く、画像データをメモリから読み出すとき、Ｐ点を読み出すべきタイミングにＰ’点に記憶されている画像データを読み出せば光学歪みが補正される。
【００１８】
上述において、撮像素子上の光軸からの距離ｒをメモリの画素ｘ，ｙで表すと３平方の定理により、ｒ＝（ｘ^２ ＋ｙ^２ ）といった平方根の演算が入るが、本例では光学歪み特性を式（２）のようにＤ＝ｓ’’・ｒ^２ と近似したので、平方根の演算と２乗の演算が打ち消し合い演算回路の規模が減る。特に、平方根の演算は回路規模を要するので効果は大きい。
【００１９】
図５には、本例におけるリードコントロール回路１２の回路例が示されている。 図５において、先ず、電子ズーム処理を行うため、マイコン１１からのＨアドレスピッチデータ（２倍ズームの場合は０．５）とＶアドレスピッチデータ（２倍ズームの場合は０．５）が、それぞれＨアドレスピッチ発生回路１２０２とＶアドレスピッチ発生回路１２０４に供給される。Ｈスタートアドレス発生回路１２０１とＶスタートアドレス発生回路１２０３は、処理開始アドレスを発生するための回路で、本例ではそれぞれ“０”をスタートアドレスとして発生し、これらアドレスは、ラッチ回路１２０５と１２０７にラッチされる。Ｈスタートアドレス発生回路１２０１、Ｈアドレスピッチ発生回路１２０２、Ｖスタートアドレス発生回路１２０３、Ｖアドレスピッチ発生回路１２０４は、モード選択信号によってモードが切り換わる。Ｈアドレスピッチ発生回路１２０２とＶアドレスピッチ発生回路１２０４から出力されるアドレスピッチは、ラッチ回路１２０６と１２０８にラッチされる。ラッチ回路１２０５，１２０６，１２０７及び１２０８は、垂直（Ｖ）同期パルスに応答して動作し、それぞれのラッチ回路から読み出されたデータは、選択回路１２０９，加算器１２１１，選択回路１２１２，加算器１２１４のそれぞれの一入力端子に供給される。加算器１２１１と１２１４の出力は、それぞれ水平（Ｈ）同期パルスとＶ同期パルスに応答してこの入力を切り換え出力する選択回路１２０９と１２１２の他入力端子に供給される。即ち、選択回路１２０９，１２１２は、スタート時、ラッチ回路１２０５，１２０７からのデータを出力し、次アドレスからは加算器１２１１，１２１４からのデータを切り換え出力する。選択回路１２０９と１２１２の出力は、それぞれラッチ回路１２１０と１２１３でラッチされ、ラッチ出力はそれぞれクロックＣＬＯＣＫとＨ同期パルスに応答して加算器の他入力として供給されるとともに、ズーム出力信号として出力される。かかる構成は、特開平２ー２５０４６９に開示されている。
【００２０】
このような構成により、Ｈスタートアドレス発生回路１２０１とＶスタートアドレス発生回路１２０３で設定されたスタートアドレスである原点（０，０）からズーム倍率に応じて定まるピッチ単位のアドレスがラッチ回路１２１０と１２１３から出力される。これらラッチ回路からは水平方向の読み出しタイミングアドレスと垂直方向の読み出しタイミングアドレスとして発生される。画像メモリ５の読み出しタイミングは、テレビジョンの走査と同じで左上から右下に読み出す。座標系を同図（Ａ）のように設定すると、左上が原点（０，０）、右下が（２ｘ_０ ， ２ｙ_０ ）で、中心が（ｘ_０ ， ｙ_０ ）となる。
【００２１】
式（７），（８）は画像メモリ５の中心座標を原点と考えているのに対し、ラッチ回路１２１０と１２１３から供給される読み出しタイミングアドレスは、同図（Ａ）のように左上が原点となっている。したがって、この供給されたアドレスが、中心座標アドレス（ｘ_０ ， ｙ_０ ）からの距離情報となるように、原点移動させる必要がある。原点移動ブロック回路Ａは、かかる原点移動を実行するもので、ラッチ回路１２１０と１２１３からのアドレス値からそれぞれ中心座標アドレス値ｘ_０ ， ｙ_０ をそれぞれ減じる減算回路１２１５と１２１６から成る。この原点移動処理の結果、座標系は同図（Ｂ）に示すような座標系となる。
【００２２】
次に、距離演算ブロックＢで、式（７）と（８）における距離演算：ｘ^２ ＋（ｋｙ）^２ を実行する。入力ｘは乗算器１２１７で二乗された後、加算器１２１８に入力され、入力ｙは乗算器１２１９で変換係数ｋと乗算された後、乗算器１２２０で二乗され、乗算器１２１７と１２２０の出力は加算器１２１８で加算される。
【００２３】
歪み倍率演算ブロックＣは、式（７）と（８）中の［１＋ｓ｛ｘ^２ ＋ （ｋｙ）^２ ｝］を演算する回路で、乗算器１２２１により距離演算ブロックＢから供給される｛ｘ^２ ＋（ｋｙ）^２ ｝にマイコン１１から供給されるズームレンズの焦点距離によって定まる焦点距離係数Ｓを乗じ、加算器１２２２において、該乗算出力に“１”を加算して出力する。
【００２４】
式（７）と（８）のｘ’とｙ’は、ｘ’，ｙ’演算ブロックＤの乗算器１２２３と１２２４により求められる。乗算器１２２３と１２２４は、加算器１２２２の出力に対して、減算器１２１５と１２１６から出力されるｘとｙをそれぞれ乗算する。
【００２５】
こうして求められたｘ’とｙ’は、同図（Ｂ）に示すように中心を原点としたときのｘｙ座標のアドレスであり、前述のとおり、画像メモリ５の実際の原点は左上であるので、原点移動ブロックＥの加算器１２２５と１２２６において、それぞれｘ’，ｙ’中心座標アドレス値を加算することにより座標を同図（Ｃ）に示すように元に戻す。
【００２６】
以上のような処理を介して、画像メモリ５の画像の歪みに応じた読み出しアドレスが発生され、この読み出しアドレスで画像メモリ５を読み出せば、光学歪みの補正された画像を得ることができる。
【００２７】
上述の説明における光学歪み特性は様々な式で近似でき、より高次の項まで近似すればより高い精度で近似することが可能である。尚、上記説明例においては、メモリの読み出し制御により光学歪みを補正したがメモリの書き込み制御によってこれを行ってもよいことは勿論である。
以上の例では、電子ズーム処理を施した後に、歪み補正を行う例を説明しているが、歪み補正を行なってから電子ズームを行うようにも構成できることは勿論である。
【００２８】
次に、手ぶれ補正処理部と光学歪み補正処理部を兼用する例を図６と図７を参照して説明する。
図６と図７において、図１と同一符号が付されている回路構成部は同様な回路部を示す。本例では、図６に示す如く、手ぶれ補正量を検出するための例えば、角速度センサ等の動き検出器１３が設けられ、得られた動き情報がマイコン１１に送出され、リードコントロール回路１２で以下に述べるような手ぶれ補正及び光学歪み補正処理が施される。
【００２９】
図７において、動き検出器１３からの手ぶれの動き量に対応した水平方向の動き補正データ（Ｈ）と垂直方向の動き補正データ（Ｖ）がＨスタートアドレス発生回路１２０１とＶスタートアドレス発生回路１２０３に入力され、スタートアドレスＨＳとＶＳがラッチ回路１２０５と１２０７にラッチされる。Ｈアドレスピッチ発生回路１２０２とＶアドレスピッチ発生回路１２０４は、手ぶれ発生時の規定領域からの画像のずれ（画角切れ）を生ずることがないように若干画像をズームさせるためのもので、例えば、ピッチ情報ＨＰ，ＶＰとして０．９の値が出力される。その結果、ラッチ回路１２１０と１２１３から出力されるデータは、それぞれ、ＨＳ，ＨＳ＋ＨＰ，ＨＳ＋２ＨＰ，…とＶＳ，ＶＳ＋ＶＰ，ＶＳ＋２ＶＰ，…となる。以後の処理は図５と同様であり、手ぶれ補正と光学歪み補正処理が同時に行われることになる。
【００３０】
以上のように、上述例では、リードコントロール回路１２以外は全て共通の回路であるが、リードコントロール回路内では手ぶれ補正または電子ズーム処理と光学歪補正処理のアドレス発生回路部は独立しているので、一方の機能が不要な場合には、どちらか一方のみを機能させることができる。したがって、省電力化を図ることもできる。本例によれば、安価で小型化が容易な映像処理装置が得られる。
【００３１】
ところで、上述のように、光学歪みの補正は、光学系の焦点距離情報と、結像位置の光軸からの距離情報とを検出し、この検出情報に基づいて行われる。一般に蓄積型の光電変換素子を用いて、画像信号を取り出す場合、被写体光の蓄積時間と出力時間とがズレてしまい、映像信号の出力期間に光学系の焦点距離情報等を検出して歪み補正を行うと、出力されている映像信号の蓄積期間の光学系の焦点距離情報が必ずしも一致せず、補正に過不足を生ずる。
また、光学系の焦点距離は、刻一刻と変化しているため、リアルタイムに光学系の焦点距離情報を検出して、歪み補正を行うと同一画面内でも歪み補正量が異なり不自然な映像となってしまう。
【００３２】
出力される映像信号の蓄積期間の光学系の情報を、該当する画像の読み出しタイミングまで遅延させることにより、上述問題を解決した例を説明する。本例では、光学系の焦点距離等の情報を、撮像素子の電荷蓄積期間の所定タイミングで取り込み、また、読み出しアドレス発生部でズーム係数Ｓを与えるタイミングを取り込んだ画像信号の読み出し開始時に設定している。
【００３３】
図８を参照して被写体光が画像メモリに記憶されて読み出されるまでの過程を説明すると、垂直同期信号Ｖに応答して光電変換部から垂直転送部への転送パルスＴが送出され、不要電荷排出パルスＳにより不要電荷が排出される。図中、期間Ａで不要電荷が排出され、期間Ｂでは電荷が蓄積されて光学系情報が取り込まれる。また、期間Ｃでメモリへの転送と書き込みが行われ、期間Ｄでメモリからの読み出しが行われ、垂直同期のタイミングでズーム係数Ｓが設定される。すなわち、本例では、期間Ｂで得られた光学系情報を１画面分遅らせてメモリから読み出して係数を設定している。
【００３４】
マイコンによる光学系情報の検出回路例が図９に示されている。
ズーム比により変化する光学系１のズームレンズの位置情報は、ズームレンズの位置に応動する移動接片をもち、一端が接地されている可変抵抗器ＲＶと抵抗Ｒ１に直列接続された外部電源Ｅ１が設けられ、ズームレンズの移動により抵抗値が変化する可変抵抗ＲＶと抵抗Ｒ１の接続点の電圧を、上記タイミング信号Ｖ，Ｔ，Ｓが供給されているマイコン１内の電圧検出器１１１で検出する。マイコン１１はタイミング制御回路１１４を有し、各部に上記信号Ｖ，Ｔ，Ｓに基づくタイミング信号を供給する。電圧検出部１１１は、期間Ｂでのズームレンズの移動距離を求め、電圧／焦点距離換算部１１２で、焦点距離情報を得た後、パラメータ設定部１１３でタイミング信号Ｖのタイミングでパラメータが設定されて、係数Ｓが出力される。
【００３５】
上述の例以外に、画像メモリへの画像情報の書き込み時点で光学歪みを補正することもできる。こうすることにより、蓄積期間の情報がそのまま書き込み期間に生かされるので、より高精度な歪み補正が可能となる。
【００３６】
次に、本発明の実施例として、光学歪み補正を行う際、焦点距離等の光学系の状態変化に対する歪量変化の割合に基づいて、視覚的に目立たない範囲で離散的に歪みの補正係数を求めることによりメモリ容量の削減を図る例を説明する。
【００３７】
上述のように、光学歪みは光学系の焦点距離と、結像位置の光軸からの距離により規定されるので、焦点距離が変われば補正の度合いも変える必要がある。しかしながら、一般的に人間が光学歪みを検知できるのは歪の割合が１％以上であると言われている。したがって、焦点距離によって逐一補正状態を変更するのは非常に繁雑であり、また焦点距離検出誤差による補正のふらつき等が生じてしまうことになる。
【００３８】
そこで、本実施例では、補正すべきステップを必要以上に細かく設定することなく、視覚的に違和感のない範囲内では、光学歪み補正の変更を行わず、つまり、光学歪みが予め定めた範囲内にある場合には、同一の補正係数を使用することにより、光学歪み補正に必要なメモリ容量と演算量を削減している。
【００３９】
図１０には、光学系の焦点距離と歪みの割合との関係が示されている。図１０について、焦点距離：６．５mm〜５２mm（８倍）の範囲で考えると、歪の割合を率に置き換えた歪み率であらわせば−１８％〜＋２．５％の範囲にあり、補正後の歪み率を±１％以内になるようにするには、
{２．５−（−１８）}／{１−（−１）}＝１０．２５
すなわち、少なくとも１１段階に分割した各分割範囲で焦点距離を検出すれば良い。例えば、図１１に示すように、歪み率が＋１％〜−１％の範囲（焦点距離が区切り点１〜区切り点２の範囲）、歪み率が−１％〜−３％の範囲（焦点距離が区切り点２〜区切り点３の範囲）、歪み率が−３％〜−５％の範囲のように歪み率＋２．５％から−１８％までを１１の区間に分割し、焦点距離が各分割範囲内にあるときには、歪み補正のための係数は同一値を用いるようにする。図２から相対距離ｒが１００％の点の歪み率が最大となるので、このｒが１００％における歪み率が検知限度に収まれば、相対距離がそれより小さい範囲では歪みは更に小さくなる。
【００４０】
図１２を参照して本実施例のマイコン内の動作処理手順を説明すると、図９のズームレンズ位置検出手段と同様な手段により、対応する電圧が検出され（ステップＳ１）、検出された電圧から焦点距離が換算され（ステップＳ２）、焦点距離ゾーンが判定される（ステップＳ３）。このゾーンは上記±１％の歪み量変化範囲に対応する焦点距離変化範囲の分割範囲である。続いて、ゾーンの変更の有無が判定され（ステップＳ４）、なければ、ステップＳ１の処理に戻り、ゾーン変更が有れば係数Ｓを演算して（ステップＳ５）、リードアドレス発生ブロックに送出する。
【００４１】
次に、光学系歪みを電気的に補正する際に生ずる画面の切れ（画角切れ）を電子ズームを同時に行うことにより除去する例を説明する。
前述のように、光学歪みのうち糸まき型はＴｅｌｅ側操作時に生じ易く、たる型歪みはＷｉｄｅ側操作時に生じ易い。ここで、糸まき型歪み発生時には、図１３（Ａ）のように本来の画像領域（長方形領域）左上部の角部点Ａが従来の光学歪補正により、同図（Ｂ）のように内側に移動することになり、同図斜線部領域は、光電変換素子のない部分からの信号で、画像のない画角切れが生ずる。そこで、本例では、光学歪み補正と同時に電子ズームを行ってこの画角切れを防止している。電子ズーム倍率は、大きい値にする必要はなく、画角切れが生じない程度の小さい値に設定すれば良い。
【００４２】
そのためのハードウェア構成は、図５の構成と同一であり、Ｈアドレスピッチ発生回路１２０２とＶアドレスピッチ発生回路１２０４に設定するズーム倍率設定用のピッチとして例えば０．９の値が設定されている。このときの動作としては、当該時点でのｆ値を入力したマイコンは、このｆ値に基づく歪み補正のための補正量を演算するとともに、これに応じた画角切れ防止のための電子ズーム用のピッチをＨ，Ｖともに出力する。
【００４３】
他の例は、光学歪み補正を行う映像処理装置において、自動合焦制御（ＡＦ）、自動露出制御（ＡＥ）及び自動ホワイトバランス制御（ＡＷＢ）のいずれかまたは全部の制御をも可能とするものであり、該制御を行う際に与えられる重み付け係数を、画像領域の分割エリア毎に歪み補正量に応じて変化させたり、歪み補正されたその映像信号を用いて制御のための基礎情報の検出と各制御を行う例である。
【００４４】
以下の制御例は、上記ＡＦ制御、ＡＥ制御及びＡＷＢ制御の各制御対象について適用できるが、一例としてＡＦ制御について説明する。
第１の例は、各分割エリア毎のコントラスト情報（制御基礎パラメータ）に含まれる歪みによる誤差の影響を、エリア毎の重み付け値を歪み量に応じて変化させることにより、結果として得られる重み付け後のコントラスト情報を歪みによらずに安定して得るとともに、安定な自動焦点（ＡＦ）制御を可能とする。また、歪み補正後の画像情報を用いれば、歪によらず安定したコントラスト情報が得られ、安定なＡＦ制御が可能となる。したがって、ズーム比によらず、安定したＡＦ制御が可能となり、歪みのない画像情報を得ることができ、歪み補正レンズのない光学系を使用できるので小型、軽量化が可能である。
【００４５】
第２の例は、コントラスト情報の検出に用いるセンサとして映像信号を得るための撮像素子とは別のセンサを用いるもので、そのセンサに入射される光が撮像素子に結像するズームレンズを透過したＴＴＬ式のものであれば、同様の効果が得られる。 この第２の例では、電子的に歪み補正された画像情報を用いて、各分割エリア毎のコントラスト情報を得ているので、歪みによる影響を受けることなく、ズーム比によらず安定したＡＦ制御が可能となり、歪み補正を映像処理装置内部に含ませることにより、歪みのない画像情報を得ることができ、同様に歪み補正レンズのない光学系を使用できるので、小型、軽量化も可能となる。
上述において、制御対象は、焦点（ＡＦ）制御だけでなく、露出（ＡＥ）制御、ホワイトバランス（ＡＷＢ）制御についても、制御基準パラメータとして輝度情報や色情報を用いれば同様に行うことができる。
【００４６】
第１の例について図１４を参照して説明する。図１４において、図１と同一符号が付されている構成部は同様機能を有する構成部を示す。光学系１には、ズームレンズの位置情報を検出するズームエンコーダ１Ａ，ズームレンズ位置を駆動制御するズーム駆動部１Ｂと、焦点制御部１Ｃ及び絞り駆動部１Ｄが備えられている。ズームエンコーダ１Ａからのズームレンズ位置情報がマイコン１１に供給され、ズーム制御信号、焦点制御信号及び絞り制御信号がマイコン１１からズーム駆動部１Ｂ、焦点制御部１Ｃ及び絞り制御部１Ｄに送出される。
【００４７】
マイコン１１は、後述するように、分割エリア毎のコントラスト信号、輝度信号及び色信号の少なくとも１つの信号を受け、補正ＲＯＭ１４に格納されている各エリア情報に乗算すべき適切な補正データ（重み付けデータ）を読み出し、補正データをリードコントロール回路１２に送出する。リードコントロール回路１２は、前述のような処理を補正ＲＯＭ１５に格納されているデータに基づいて画像メモリ５と補間回路６に制御信号を送出する。補正ＲＯＭ１４と１５は、マイコン１１やリードコントロール回路１２内での演算で必要なデータを求める場合には不要である。
【００４８】
撮像プロセス回路３から出力されるＹ信号は、そのまま、またフィルター１６によりコントラスト情報信号に変換されて、セレクタ１７に供給されるとともに、Ｃ信号もセレクタ１７に供給される。セレクタ１７は、マイコン１１からの選択信号に応答してＹ信号、コントラスト信号、Ｃ信号のうち必要な情報データを選択する。エリア積分回路１８は、セレクタ１７で選択された信号を分割エリア毎に積分して、エリア積分された上記信号から得られる輝度信号や色信号をマイコン１１に供給して、後述するように、コントラスト情報に基づく焦点制御、輝度情報に基づく露出制御及び色情報（色差信号であるＲーＹ信号やＢーＹ信号等）に基づくホワイトバランス制御処理を行う。
【００４９】
図１５の（Ａ）と（Ｂ）には、糸まき型歪み発生前における各分割エリアの重み付け値と、たる型歪み発生前における各分割エリアの重み付け値の例が示されている。この重み付け値は、もともと画面の略中央部に主要な被写体が存在してくるであろうことを考慮してＡＦ、ＡＥ及びＡＷＢ等のために設定された演算値の一例を示すものである。図からも明らかなように、糸まき型歪み発生時には、周辺部の画像ほど歪んでいるので、理想画像に対する補正はその分だけ大きく行わなければならず、よって周辺部で重み付け値を増大させる必要がある。
【００５０】
たる型歪み発生時の重み付け値の変化とその補正例が図１６に示されている。本例では、少なくとも画素から成るブロックのそれぞれに重み付け値を設定しているが、４×４ブロックを１分割エリアとして扱う。
エリアＡとエリアＢが、たる型歪みにより変形してそれぞれエリアＣとエリアＤとなる。歪みのない場合の各エリアの重み付けは、
エリアＡ：｛（０×３）＋（１×３）＋（２×４）＋（３×３）＋（４×２）＋（５×１）｝／１６（＝）２ ・・・・（ａ）
エリアＢ：｛（７×１）＋（８×２）＋（９×３）＋（１０×４）＋（１１×３）＋（１２×２）＋１３｝／１６（＝）１０ ・・・・（ｂ）
歪み発生後の各エリアの重み付けは、
エリアＣ：｛（７×４）＋（８×４）＋（９×３）｝／１１（＝）８・・・・（ｃ）
エリアＤ：｛（１１×５）＋（１２×３）＋（１３×２）｝／１０（＝）１２・・・・（ｄ）
となり、同一の画像成分であるにもかかわらず、重み付け係数が変化していることがわかる。そこで、同一の画像に対して歪みの発生前後で同一の重み付けを行うために、補正された重み付け係数を求める。即ち、
補正後の各エリアの重み付けは、エリアＡは、元々画像がないから、
エリアＡ：（画素データ×画素の数）／画素の数
＝（０×１６）／１６＝０
エリアＢ：｛（（ａ）×エリアＢ内に投影されているエリアＣの画素数）＋ （（ｂ）×エリアＢ内に投影されているエリアＤの画素数）／ （エリアＢ内に投影されているエリアＣとＤの総画素数）
即ち、
＝｛（２×６）＋（１０×６）｝／１２＝６
したがって、エリアＢに対しては補正係数を６／１０とすれば良い。
このように重み付け値の補正は、各分割エリアに含まれる歪みのない場合の重み付け値と小ブロックの画素数の積の平均値を補正された重み付け値とするように行われる。
【００５１】
図１７を参照して歪み補正前の信号を用いた例の処理手順を説明すると、先ず、自動制御モードであるか否かを判定し（ステップＳ１１）、自動制御モードであると判定したときには、ズームエンコーダ１Ａからのズーム位置情報をマイコン１１が読み取り（ステップＳ１２）、歪み補正量をコード化する（ステップＳ１３）。
次に、歪み補正コードによるテーブルデータを参照して各エリアの重み付け値の補正係数を読み出し（ステップＳ１４）、マイコン内に別に格納されている重み付けデータに補正係数を乗算して各エリアの重み付け値を補正し（ステップＳ１５）、セレクタ１７によりエリア積分器１８の入力を切り換え（ステップＳ１６）、必要な制御基準パラメータ（コントラスト情報、輝度情報、色情報等）を積分器１８によりエリア積分して（ステップＳ１７）、該エリア積分データをマイコンに供給する（マイコン１１による読み込み）（ステップＳ１８）。続いて補正された重み付けデータを参照し（ステップＳ１９）、各エリアの積分データの重み付け処理を施し（ステップＳ２０）、新たな制御データを演算する。そして、重み付けされたエリア積分データから制御データを決定する（ステップＳ２１）。その後、制御データを出力して（ステップＳ２２）、ステップＳ１１の処理に戻る。
【００５２】
次に、上記第２の例として、歪み補正された信号を用いる例について説明する。 図１８は、本例の構成ブロック図であり、図１４と同一符号が付されている回路部は同様機能を有する回路部である。
本例では、補間回路６で歪み補正されたＹ信号とＣ信号を用い、フィルタ１６でコントラスト情報が得られ、セレクタ１７には歪み補正されたコントラスト信号、Ｙ信号、Ｃ信号の制御基準パラメータが供給され、マイコン１１からの選択信号により、所望の信号がエリア積分器１８に供給される。エリア積分器１８は、入力信号をエリア積分して積分値をマイコン１１に供給する。
【００５３】
図１９を参照して、本例の処理手順を説明する。
先ず、自動制御モードであるか否かを判定し（ステップＳ３１）、自動制御モードであれば、エリア積分器１８の入力を切り換え、必要な制御基準パラメータを出力し（ステップＳ３２）、このパラメータ信号エリア積分器でエリア積分し（ステップＳ３３）、エリア積分データの演算処理を施す（ステップＳ３４）。次に、重み付けデータを参照し（ステップＳ３５）、各エリアの積分データの重み付け処理を行い（ステップＳ３６）、重み付けされたエリア積分データから制御データを求める新たな制御データの演算処理を施し（ステップＳ３７）、制御データを出力した後（ステップＳ３８）、ステップＳ３１の処理に戻る。
【００５４】
而して、本発明においては、上記実施例や他の例を１つ又は複数種組み合わせることによって使用し得ること勿論であり、本発明の要旨を逸脱しない範囲で種々変更が可能である。
【００５５】
【発明の効果】
以上説明したように本発明による映像処理装置によれば、視覚的に違和感が少なく且つ制御動作の簡素化が計られた光学歪み補正機能を有する。
【図面の簡単な説明】
【図１】本発明に関連する映像処理装置の構成ブロック図である。
【図２】ズームレンズの光学歪み特性の一例を示す図である。
【図３】本発明に関連する装置の動作を説明するための図である。
【図４】本発明に関連する装置の動作を説明するための図である。
【図５】図１に示す例における電子ズーム機能と光学歪み補正機能を実現する回路例である。
【図６】本発明に関連する他の例における映像処理装置の構成ブロック図である。
【図７】図６に示す例における手ぶれ補正機能と光学歪み補正機能を実現する回路例である。
【図８】本発明に関連する映像処理装置の動作を説明するためのタイミングチャートである。
【図９】図８に示す例におけるズームレンズ位置情報の検出部の構成ブロック図である。
【図１０】本発明の実施例を説明するための光学系の焦点距離と歪量との関係を示す図である。
【図１１】本発明の実施例を説明するための光学系の焦点距離と歪み率との関係を示す図である。
【図１２】本発明の実施例の構成と動作処理手順を示す図である。
【図１３】本発明に関連する他の例を説明するための図である。
【図１４】本発明に関連する他の例の構成ブロック図である。
【図１５】図１４に示す例を説明するための図である。
【図１６】図１４に示す例を説明するための図である。
【図１７】図１４に示す例の動作処理手順を示すフローチャートである。
【図１８】図１４に示す例の基準原理に基づく他の構成例ブロック図である。
【図１９】図１８に示す例の動作処理手順を示すフローチャートである。
【図２０】光学系歪みの例を示す図である。
【図２１】光学系歪みの補正を説明するための図である。
【図２２】従来の映像処理装置の構成ブロック図である。
【符号の説明】
１ 光学系
２ 撮像素子
３ 撮像プロセス回路
４ Ａ／Ｄコンバータ
５ 画像メモリ
６ 補間回路
７ Ｄ／Ａコンバータ
８ ＴＧ回路
９ ＳＳＧ回路
１０ ライトコントロール回路
１１ マイコン
１２Ａ，１２ リードコントロール回路
１３ 動き検出器
１４，１５、１９ 補正ＲＯＭ
１６ フィルタ
１７ セレクタ
１８ エリア積分器

Claims (4)

1. 光学系による像を光電変換して得た映像信号をこの映像信号に対応する映像データに変換する変換手段と、
   上記光電変換を行う撮像手段での当該画素の撮像手段上での略光軸位置からの水平及び垂直方向の距離、及びレンズの焦点距離によって定まる焦点距離係数に基づいて、平方根演算を行うことなく当該画素の歪んだ位置を求める近似式によって補正係数を算出し、この補正係数に基づいて上記変換手段による映像データを当該記憶手段に書き込み又は読み出しするに際して該映像データに上記光学系による像の歪みに対応した補正を与える歪補正手段と、
   を備えた映像処理装置において、
   上記歪補正手段は、当該光学系の焦点距離の変化に対応する像の歪み程度の変化がそれぞれ所定範囲内となるように前記焦点距離区間を複数の区間に区切ると共に、焦点距離がこのいずれの区間にあるかに基づいて歪補正に使用する前記補正係数が与えられる
   ことを特徴とする映像処理装置。
2. 前記歪補正手段において、当該画素の撮像素子上での略光軸位置からの水平及び垂直方向の距離、及びレンズの焦点距離によって定まる焦点距離係数とに基づいて、四則演算及びべき算でのみ演算を行って当該画素の歪んだ位置を求める近似式によって補正係数を算出することを特徴とする請求項１に記載の映像処理装置。
3. 光学系による像を光電変換して得た映像信号をこの映像信号に対応する映像データに変換する変換手段と、
   上記変換手段による映像データを当該記憶手段に書き込み又は読み出しするに際して該映像データに上記光学系による像の歪みに対応した補正を与える歪補正手段と、
   を備えた映像処理装置において、
   上記歪補正手段は、当該光学系の焦点距離の変化する焦点距離区間を複数の区間範囲に区切ると共にこの各区切り区間範囲内において同一の補正係数を用いて処理を行った歪補正後の像の歪み程度が視覚的に許容可能な範囲内となるべく各区切り区間の範囲が決定されており、この各区切り区間範囲内において同一の補正係数を用いて歪補正処理を行うことを特徴とする映像処理装置。
4. 前記視覚的に許容可能な範囲は、歪補正後の歪の割合が、マイナス１〜プラス１％の範囲であることを特徴とする請求項３に記載の映像処理装置。

Images