JPH06237404A

JPH06237404A - 映像処理装置

Info

Publication number: JPH06237404A
Application number: JP5257889A
Authority: JP
Inventors: Masaomi Tomizawa; 将臣冨澤; Masaru Kawase; 大川瀬; Hiroyuki Watabe; 洋之渡部; Daikichi Morohashi; 大吉師橋; Atsushi Inoue; 淳井上
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1993-10-15
Filing date: 1993-10-15
Publication date: 1994-08-23

Abstract

(57)【要約】【目的】系による歪みを電気的に補正する際に、歪み補
正回路部と電子ズーム回路部を少なくとも部分的に共用
とする映像処理装置を提供する。【構成】光電変換により得た映像信号を、変換手段で映
像データに変換し、この映像データに上記光学系による
像の歪みに対応した補正を与えて記憶手段に書き込み又
は読み出しする歪み補正手段の当該回路部を少なくとも
部分的に共用して、当該映像に係るズーミング効果を得
るための変換を与えている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像処理装置に関し、特
に電子ズーム機能、手ぶれ補正機能及び光学レンズ等の
光学歪みの補正機能を有する映像処理装置に関する。

【０００２】

【従来の技術】光学レンズには収差があるため、光学レ
ンズを介して撮像素子に結像される被写体光学像には光
学歪みが発生してしまい、その結果、映像信号も歪みを
もつ画像となってしまう。光学歪みとしては、図２０
（Ａ）に示すような「糸まき型歪み」や図２０（Ｂ）に
示すような「たる型歪み」がある。これら歪みは、図２
０において、本来点線で示される位置にあるべき画像情
報が実線位置に結像するような歪みである。

【０００３】このような光学歪みを伴う映像信号の歪み
を補正する補正処理としては、映像信号をデジタル信号
に変換して画像メモリに書き込み、歪みに応じて読み出
しアドレスをずらして読み出すことにより画像メモリ上
で光学歪みを補正する処理がある。

【０００４】例えば、図２１において、光学レンズによ
る歪みがなければ、画像メモリに点線のように記憶され
るべき格子状の画像が光学歪みにより実線のように記憶
されているとする。この画像データを画像メモリから読
み出すとき、Ａ点を読み出すべきタイミングにａ点に記
憶されている画像データを、Ｂ点を読み出すべきタイミ
ングにｂ点に記憶されている画像データを、同様にＣ点
を読み出すべきタイミングにｃ点に記憶されている画像
データを読み出す。こうすることにより実線で示す歪ん
だ画像は、点線で示す歪みのない元の格子状の画像とし
て読み出され、光学歪みが補正される。

【０００５】図２２には、この種の補正機能を有する従
来の映像処理装置の構成例ブロック図が示されている。
光学レンズ等の光学系１を介して被写体像がＣＣＤ等の
撮像素子２に結像される。この撮像素子２に結像されて
いる画像は、上記光学歪みを含んでおり、撮像素子２で
電気信号に変換される。撮像素子２からの信号は、撮像
プロセス回路３で所定の処理が施されて映像信号として
Ａ／Ｄコンバータ４に供給される。Ａ／Ｄコンバータ４
でデジタル信号に変換された映像信号は、画像メモリ５
に記憶される。画像メモリ５への信号の書き込み及び読
み出しタイミングは、ライトコントロール回路１０とリ
ードコントロール回路１２Ａによって制御される。ＳＳ
Ｇ回路９は、当該装置動作の基準タイミング信号を発生
し、ＴＧ回路８、撮像プロセス回路３及びライトコント
ロール回路１０に供給する。ＴＧ回路８は、ＳＳＧ回路
９からの水平（Ｈ）方向、垂直（Ｖ）方向の読み出しタ
イミング信号を撮像素子２に送出する。ライトコントロ
ール回路１０は、Ａ／Ｄコンバータ４からの映像信号の
画像メモリ５への書き込みタイミングを制御する。

【０００６】マイコン１１は、光学系１からのズーム情
報等の信号を受け、補正量ＲＯＭ１９に格納されている
補正量データに基づいて上述光学歪みを補正すべくリー
ドコントロール回路１２Ａを制御する。補正量ＲＯＭ１
９には、レンズの使用条件毎に、画面の各部について予
め定まる補正量、例えば図２０の実線位置と点線位置と
の関係で定まる補正量が格納されている。こうして、リ
ードコントロール回路１２Ａから出力されるリード信号
により、光学歪みを補正すべく画像メモリ５から読み出
された信号は、補間回路６で補間処理された後、Ｄ／Ａ
コンバータ７によりアナログ信号に変換されて出力され
る。かかる光学歪み補正機能をもつ映像処理装置は、特
開平４ー６１５７０号公報に開示されている。

【０００７】

【発明が解決しようとする課題】上述のように従来の映
像処理装置は、光学歪みをもつ映像信号を画像メモリに
記憶し、予め光学歪みに応じた各画素毎の補正量をＲＯ
Ｍに格納しておき、光学歪みに応じてＲＯＭから読み出
された補正量に基づいた読み出しアドレスにより光学歪
みを補正している。

【０００８】また、上記の如き映像処理装置において
は、手ぶれを補正するため、手ぶれ量を検出し、検出し
た手ぶれ量に対応して画像メモリに記録されている画像
データの読み出しアドレスを変えることにより手ぶれを
補正する手ぶれ補正機能や、読み出しアドレスのピッチ
を変えることにより出力画像の大きさを可変する電子ズ
ーム機能を有することが多い。しかしながら、従来の映
像処理装置では、光学歪み補正、手ぶれ補正及び電子ズ
ーム機能を実現する複数の処理を個別回路で行っている
ため、回路規模が大きくなるという問題がある。

【０００９】本発明は、上記の問題点に鑑み、系による
歪みを電気的に補正する際に、歪み補正回路部と電子ズ
ーム回路部を少なくとも部分的に共用とする、この種の
映像処理装置を提供するものである。

【００１０】

【課題を解決するための手段】前述の課題を解決するた
め、本発明による映像処理装置は、光学系による像を光
電変換して得た映像信号をこの映像信号に対応する映像
データに変換する変換手段と、上記変換手段による映像
データを当該記憶手段に書き込み又は読み出しするに際
して該映像データに上記光学系による像の歪みに対応し
た補正を与える歪補正手段と、上記変換手段による映像
データを当該記憶手段に書き込み又は読み出しするに際
して該映像データに対し当該映像に係るズーミング効果
を得るための変換を与えるべく上記歪み補正手段の当該
回路部を少なくとも部分的に共用して構成された電子ズ
ーム手段と、を備えて構成される。

【００１１】

【作用】本発明では、光電変換により得た映像信号を、
変換手段で映像データに変換し、この映像データに上記
光学系による像の歪みに対応した補正を与えて記憶手段
に書き込み又は読み出しする歪み補正手段の当該回路部
を少なくとも部分的に共用して、当該映像に係るズーミ
ング効果を得るための変換を与えている。

【００１２】

【実施例】次に、本発明の実施例について図面を参照し
ながら説明する。図１は、電子ズーム機能と光学歪み補
正機能を行う処理回路を兼用する例の構成ブロック図を
示す。図１において、図２２と同一符号が付されている
構成部は同様機能をもつ構成部である。図１において、
マイコン１１は、指定された電子ズーム倍率を受け、該
ズーム情報を光学系１に送出して光学ズーム制御を行う
とともに、該ズーム情報を示すズーム係数Ｓと、ズーム
倍率に対応するＨアドレスピッチと、Ｖアドレスピッチ
をリードコントロール回路１２に送出する。リードコン
トロール回路１２では、これらの情報に基づいて電子ズ
ーム処理を行うとともに光学歪みの補正処理を行うため
の信号を画像メモリ５と補間回路６に送出する。

【００１３】図２（Ａ）には、ズームレンズにおける光
軸からの相対距離（％）と歪み率Ｄ（％）との関係につ
いての光学歪特性の一例が示されている。ここで、横軸
は、撮像素子の有効面の対角線の２分の１の長さを１０
０％としたときの光軸位置からの相対距離を示し、縦軸
は歪み率Ｄを示す。ここで、歪み率Ｄの定義を、相対距
離ｒ離れた点に結像すべき像が光学歪みによりｒ’に結
像したとき、図２（Ｂ）に示すように、Ｄ＝（ｒ’−ｒ）／ｒ×１００％（１）とする。焦点距離ｆにより特性が変動するが、ｒが大き
くなるほど歪み率Ｄも大きくなり、この特性は、例えばＤ＝ｓ’’・ｒ² （２）で近似でき、式（１）、（２）からｒ’＝ｒ（１＋ｓ’・ｒ²）（３）となる。ここで、ｓ’’及びｓ’は焦点距離によって決
定する係数であり、ｓ’＝ｓ’’／１００とする。つまり、式（３）により、撮像素子上の光軸か
ら相対距離ｒ離れた点に結像すべき像が光学歪みにより
ｒの（１＋ｓ’・ｒ²）倍離れた点に結像していると導
ける。

【００１４】撮像素子上の光軸から相対距離ｒ離れた点
Ｐをメモリ上で考えると、図３（Ａ），（Ｂ）に示すよ
うに、例えばＮＴＳＣ信号の場合、撮像素子の縦横の比
はおよそ３：４であり、映像信号を２４０×７６８のフ
ィールドメモリに記憶する場合を考える。撮像素子上で
の相対距離ｒは、メモリ上では例えば水平方向でＲ画素
だとすると、垂直方向ではＲ／２．４画素となり、水平
方向と垂直方向とでは異なった画素数で表されてしま
う。そこで、垂直方向の画素数に、この例であれば２．
４といった換算係数ｋを乗じ、水平方向、垂直方向とも
に撮像素子上の相対距離ｒをメモリ上ではＲ画素といっ
たように、撮像素子上の距離をメモリの画素数に換算で
きるようにする。

【００１５】ここで、図４に示すように、撮像素子上の
光軸から相対距離ｒ離れた点Ｐに結像すべき点が光学歪
により相対距離ｒ’の点Ｐ’に結像している場合を考え
る。点Ｐについては撮像素子上の光軸にあたるメモリの
中心座標から水平方向にｘ画素、垂直方向にはｙ画素の
位置、点Ｐ’については水平方向にｘ’画素、垂直方向
にはｙ’画素の位置としたときのメモリ上でのＰ，Ｐ’
の位置関係を求める。

【００１６】式（３）から点Ｐ’は、点Ｐより（１＋
ｓ’・ｒ²）倍、中心座標から離れていると考えられ
る。ここで、ｒをメモリ上の大きさで表すとｒ＝ｃ×｛ｘ²＋（ｋｙ）²｝（４）で表せる。ｃは撮像素子の大きさとメモリの画素数で決
定する定数である。また、点Ｐ’が点Ｐより中心座標か
ら（１＋ｓ’・ｒ²）倍離れているということは、それ
ぞれの水平、垂直方向の距離も（１＋ｓ’・ｒ²）倍離
れているということなのでｘ’＝ｘ（１＋ｓ’・ｒ²）（５）ｙ’＝ｙ（１＋ｓ’・ｒ²）（６）となる。式（４）、（５）、（６）からｘ’＝ｘ［１＋ｓ’・ｃ²｛ｘ²＋（ｋｙ）²｝］（７’）ｙ’＝ｙ［１＋ｓ’・ｃ²｛ｘ²＋（ｋｙ）²｝］（８’）ここで、ｓ’ｃ²を定数Ｓとまとめればｘ’＝ｘ［１＋Ｓ｛ｘ²＋（ｋｙ）²｝］（７）ｙ’＝ｙ［１＋Ｓ｛ｘ²＋（ｋｙ）²｝］（８）となる。また、Ｓは焦点距離によって定まる係数とな
る。

【００１７】上記式から明らかなように、メモリの中心
座標から水平、垂直方向にｘ，ｙ離れた画素Ｐ（ｘ，
ｙ）に記憶されるべき画像データは、光学歪みによりそ
れぞれｘ，ｙの｛１＋ｓ（ｘ²＋（ｋｙ）²））｝倍の
ｘ’，ｙ’中心座標から離れた画素Ｐ’（ｘ’，ｙ’）
に記憶されていることを示している。よって前述（従来
例にて）説明した如く、画像データをメモリから読み出
すとき、Ｐ点を読み出すべきタイミングにＰ’点に記憶
されている画像データを読み出せば光学歪みが補正され
る。

【００１８】上述において、撮像素子上の光軸からの距
離ｒをメモリの画素ｘ，ｙで表すと３平方の定理によ
り、ｒ＝（ｘ²＋ｙ²）といった平方根の演算が入る
が、本例では光学歪み特性を式（２）のようにＤ＝
ｓ’’・ｒ²と近似したので、平方根の演算と２乗の演
算が打ち消し合い演算回路の規模が減る。特に、平方根
の演算は回路規模を要するので効果は大きい。

【００１９】図５には本例におけるリードコントロール
回路１２の回路例が示されている。図５において、先
ず、電子ズーム処理を行うため、マイコン１１からのＨ
アドレスピッチデータ（２倍ズームの場合は０．５）と
Ｖアドレスピッチデータ（２倍ズームの場合は０．５）
が、それぞれＨアドレスピッチ発生回路１２０２とＶア
ドレスピッチ発生回路１２０４に供給される。Ｈスター
トアドレス発生回路１２０１とＶスタートアドレス発生
回路１２０３は、処理開始アドレスを発生するための回
路で、本例ではそれぞれ“０”をスタートアドレスとし
て発生し、これらアドレスは、ラッチ回路１２０５と１
２０７にラッチされる。Ｈスタートアドレス発生回路１
２０１、Ｈアドレスピッチ発生回路１２０２、Ｖスター
トアドレス発生回路１２０３、Ｖアドレスピッチ発生回
路１２０４は、モード選択信号によってモードが切り換
わる。Ｈアドレスピッチ発生回路１２０２とＶアドレス
ピッチ発生回路１２０４から出力されるアドレスピッチ
は、ラッチ回路１２０６と１２０８にラッチされる。ラ
ッチ回路１２０５，１２０６，１２０７及び１２０８
は、垂直（Ｖ）同期パルスに応答して動作し、それぞれ
のラッチ回路から読み出されたデータは、選択回路１２
０９，加算器１２１１，選択回路１２１２，加算器１２
１４のそれぞれの一入力端子に供給される。加算器１２
１１と１２１４の出力は、それぞれ水平（Ｈ）同期パル
スとＶ同期パルスに応答してこの入力を切り換え出力す
る選択回路１２０９と１２１２の他入力端子に供給され
る。即ち、選択回路１２０９，１２１２は、スタート
時、ラッチ回路１２０５，１２０７からのデータを出力
し、次アドレスからは加算器１２１１，１２１４からの
データを切り換え出力する。選択回路１２０９と１２１
２の出力は、それぞれラッチ回路１２１０と１２１３で
ラッチされ、ラッチ出力はそれぞれクロックＣＬＯＣＫ
とＨ同期パルスに応答して加算器の他入力として供給さ
れるとともに、ズーム出力信号として出力される。かか
る構成は、特開平２ー２５０４６９に開示されている。

【００２０】このような構成により、Ｈスタートアドレ
ス発生回路１２０１とＶスタートアドレス発生回路１２
０３で設定されたスタートアドレスである原点（０，
０）からズーム倍率に応じて定まるピッチ単位のアドレ
スがラッチ回路１２１０と１２１３から出力される。こ
れらラッチ回路からは水平方向の読み出しタイミングア
ドレスと垂直方向の読み出しタイミングアドレスとして
発生される。画像メモリ５の読み出しタイミングは、テ
レビジョンの走査と同じで左上から右下に読み出す。座
標系を同図（Ａ）のように設定すると、左上が原点
（０，０）、右下が（２ｘ₀, ２ｙ₀）で、中心が（ｘ
₀, ｙ₀）となる。

【００２１】式（７），（８）は画像メモリ５の中心座
標を原点と考えているのに対し、ラッチ回路１２１０と
１２１３から供給される読み出しタイミングアドレス
は、同図（Ａ）のように左上が原点となっている。した
がって、この供給されたアドレスが、中心座標アドレス
（ｘ₀, ｙ₀）からの距離情報となるように、原点移動
させる必要がある。原点移動ブロック回路Ａは、かかる
原点移動を実行するもので、ラッチ回路１２１０と１２
１３からのアドレス値からそれぞれ中心座標アドレス値
ｘ₀, ｙ₀をそれぞれ減じる減算回路１２１５と１２１
６から成る。この原点移動処理の結果、座標系は同図
（Ｂ）に示すような座標系となる。

【００２２】次に、距離演算ブロックＢで、式（７）と
（８）における距離演算：ｘ²＋（ｋｙ）²を実行す
る。入力ｘは乗算器１２１７で二乗された後、加算器１
２１８に入力され、入力ｙは乗算器１２１９で変換係数
ｋと乗算された後、乗算器１２２０で二乗され、乗算器
１２１７と１２２０の出力は加算器１２１８で加算され
る。

【００２３】歪み倍率演算ブロックＣは、式（７）と
（８）中の［１＋ｓ｛ｘ²+ （ｋｙ） ²｝］を演算する
回路で、乗算器１２２１により距離演算ブロックＢから
供給される｛ｘ²＋（ｋｙ）²｝にマイコン１１から供
給されるズームレンズの焦点距離によって定まる焦点距
離係数Ｓを乗じ、加算器１２２２において、該乗算出力
に“１”を加算して出力する。

【００２４】式（７）と（８）のｘ’とｙ’は、ｘ’，
ｙ’演算ブロックＤの乗算器１２２３と１２２４により
求められる。乗算器１２２３と１２２４は、加算器１２
２２の出力に対して、減算器１２１５と１２１６から出
力されるｘとｙをそれぞれ乗算する。

【００２５】こうして求められたｘ’とｙ’は、同図
（Ｂ）に示すように中心を原点としたときのｘｙ座標の
アドレスであり、前述のとおり、画像メモリ５の実際の
原点は左上であるので、原点移動ブロックＥの加算器１
２２５と１２２６において、それぞれｘ’，ｙ’中心座
標アドレス値を加算することにより座標を同図（Ｃ）に
示すように元に戻す。

【００２６】以上のような処理を介して、画像メモリ５
の画像の歪みに応じた読み出しアドレスが発生され、こ
の読み出しアドレスで画像メモリ５を読み出せば、光学
歪みの補正された画像を得ることができる。

【００２７】上述の説明における光学歪み特性は様々な
式で近似でき、より高次の項まで近似すればより高い精
度で近似することが可能である。尚、上記説明例におい
ては、メモリの読み出し制御により光学歪みを補正した
がメモリの書き込み制御によってこれを行ってもよいこ
とは勿論である。以上の例では、電子ズーム処理を施し
た後に、歪み補正を行う例を説明しているが、歪み補正
を行なってから電子ズームを行うようにも構成できるこ
とは勿論である。

【００２８】次に、手ぶれ補正処理部と光学歪み補正処
理部を兼用する本発明の実施例を図６と図７を参照して
説明する。図６と図７において、図１と同一符号が付さ
れている回路構成部は同様な回路部を示す。本実施例で
は、図６に示す如く、手ぶれ補正量を検出するための例
えば、角速度センサ等の動き検出器１３が設けられ、得
られた動き情報がマイコン１１に送出され、リードコン
トロール回路１２で以下に述べるような手ぶれ補正及び
光学歪み補正処理が施される。

【００２９】図７において、動き検出器１３からの手ぶ
れの動き量に対応した水平方向の動き補正データ（Ｈ）
と垂直方向の動き補正データ（Ｖ）がＨスタートアドレ
ス発生回路１２０１とＶスタートアドレス発生回路１２
０３に入力され、スタートアドレスＨＳとＶＳがラッチ
回路１２０５と１２０７にラッチされる。Ｈアドレスピ
ッチ発生回路１２０２とＶアドレスピッチ発生回路１２
０４は、手ぶれ発生時の規定領域からの画像のずれ（画
角切れ）を生ずることがないように若干画像をズームさ
せるためのもので、例えば、ピッチ情報ＨＰ，ＶＰとし
て０．９の値が出力される。その結果、ラッチ回路１２
１０と１２１３から出力されるデータは、それぞれ、Ｈ
Ｓ，ＨＳ＋ＨＰ，ＨＳ＋２ＨＰ，…とＶＳ，ＶＳ＋Ｖ
Ｐ，ＶＳ＋２ＶＰ，…となる。以後の処理は図５と同様
であり、手ぶれ補正と光学歪み補正処理が同時に行われ
ることになる。

【００３０】以上のように、上述本実施例では、リード
コントロール回路１２以外は全て共通の回路であるが、
リードコントロール回路内では手ぶれ補正または電子ズ
ーム処理と光学歪補正処理のアドレス発生回路部は独立
しているので、一方の機能が不要な場合には、どちらか
一方のみを機能させることができる。したがって、省電
力化を図ることもできる。本実施例によれば、安価で小
型化が容易な映像処理装置が得られる。

【００３１】ところで、上述のように、光学歪みの補正
は、光学系の焦点距離情報と、結像位置の光軸からの距
離情報とを検出し、この検出情報に基づいて行われる。
一般に蓄積型の光電変換素子を用いて、画像信号を取り
出す場合、被写体光の蓄積時間と出力時間とがズレてし
まい、映像信号の出力期間に光学系の焦点距離情報等を
検出して歪み補正を行うと、出力されている映像信号の
蓄積期間の光学系の焦点距離情報が必ずしも一致せず、
補正に過不足を生ずる。また、光学系の焦点距離は、刻
一刻と変化しているため、リアルタイムに光学系の焦点
距離情報を検出して、歪み補正を行うと同一画面内でも
歪み補正量が異なり不自然な映像となってしまう。

【００３２】次に、出力される映像信号の蓄積期間の光
学系の情報を、該当する画像の読み出しタイミングまで
遅延させることにより、上述問題を解決する例について
説明する。本例では、光学系の焦点距離等の情報を、撮
像素子の電荷蓄積期間の所定タイミングで取り込み、ま
た、読み出しアドレス発生部でズーム係数Ｓを与えるタ
イミングを取り込んだ画像信号の読み出し開始時に設定
している。

【００３３】図８を参照して被写体光が画像メモリに記
憶されて読み出されるまでの過程を説明すると、垂直同
期信号Ｖに応答して光電変換部から垂直転送部への転送
パルスＴが送出され、不要電荷排出パルスＳにより不要
電荷が排出される。図中、期間Ａで不要電荷が排出さ
れ、期間Ｂでは電荷が蓄積されて光学系情報が取り込ま
れる。また、期間Ｃでメモリへの転送と書き込みが行わ
れ、期間Ｄでメモリからの読み出しが行われ、垂直同期
のタイミングでズーム係数Ｓが設定される。すなわち、
本例では、期間Ｂで得られた光学系情報を１画面分遅ら
せてメモリから読み出して係数を設定している。

【００３４】マイコンによる光学系情報の検出回路例が
図９に示されている。ズーム比により変化する光学系１
のズームレンズの位置情報は、ズームレンズの位置に応
動する移動接片をもち、一端が接地されている可変抵抗
器ＲＶと抵抗Ｒ１に直列接続された外部電源Ｅ１が設け
られ、ズームレンズの移動により抵抗値が変化する可変
抵抗ＲＶと抵抗Ｒ１の接続点の電圧を、上記タイミング
信号Ｖ，Ｔ，Ｓが供給されているマイコン１内の電圧検
出器１１１で検出する。マイコン１１はタイミング制御
回路１１４を有し、各部に上記信号Ｖ，Ｔ，Ｓに基づく
タイミング信号を供給する。電圧検出部１１１は、期間
Ｂでのズームレンズの移動距離を求め、電圧／焦点距離
換算部１１２で、焦点距離情報を得た後、パラメータ設
定部１１３でタイミング信号Ｖのタイミングでパラメー
タが設定されて、係数Ｓが出力される。

【００３５】上述の例以外に、画像メモリへの画像情報
の書き込み時点で光学歪みを補正することもできる。こ
うすることにより、蓄積期間の情報がそのまま書き込み
期間に生かされるので、より高精度な歪み補正が可能と
なる。

【００３６】次の例は、光学歪み補正を行う際、焦点距
離等の光学系の状態変化に対する歪量変化の割合に基づ
いて、視覚的に目立たない範囲で離散的に歪みの補正係
数を求めることによりメモリ容量の削減を図るものであ
る。

【００３７】上述のように、光学歪みは光学系の焦点距
離と、結像位置の光軸からの距離により規定されるの
で、焦点距離が変われば補正の度合いも変える必要があ
る。しかしながら、一般的に人間が光学歪みを検知でき
るのは歪の割合が１％以上であると言われている。した
がって、焦点距離によって逐一補正状態を変更するのは
非常に繁雑であり、また焦点距離検出誤差による補正の
ふらつき等が生じてしまうことになる。

【００３８】そこで、本例では、補正すべきステップを
必要以上に細かく設定することなく、視覚的に違和感の
ない範囲内では、光学歪み補正の変更を行わず、つま
り、光学歪みが予め定めた範囲内にある場合には、同一
の補正係数を使用することにより、光学歪み補正に必要
なメモリ容量と演算量を削減している。

【００３９】図１０には、光学系の焦点距離と歪量との
関係が示されている。図１０について、焦点距離：６．
５ｍｍ〜５２ｍｍ（８倍）の範囲で考えると、歪の割合
は、−１８％〜＋２．５％の範囲にあり、補正後の歪の
割合が±１％以内になるようにするには、｛２．５−（−１８）｝／｛１−（−１）｝＝１０．２５すなわち、少なくとも１１段階に分割した各分割範囲で
焦点距離を検出すれば良い。例えば、図１１に示すよう
に、歪み量が＋１％〜−１％の範囲（焦点距離が１〜２
の範囲）、歪量が−１％〜−３％の範囲（焦点距離が２
〜３の範囲）、−３％〜−５％の範囲に分割し、焦点距
離が各分割範囲内にあるときには、歪み補正のための係
数は同一値を用いるようにする。図２からｒ＝１００の
点の歪量が最大となるので、ｒ＝１における歪み率が検
知限度に収まれば、ｒ＜１の範囲では歪みは更に小さく
なる。

【００４０】図１２を参照して本例のマイコン内の動作
処理手順を説明すると、図９のズームレンズ位置検出手
段と同様な手段により、対応する電圧が検出され（ステ
ップＳ１）、検出された電圧から焦点距離が換算され
（ステップＳ２）、焦点距離ゾーンが判定される（ステ
ップＳ３）。このゾーンは上記±１％の歪み量変化範囲
に対応する焦点距離変化範囲の分割範囲である。続い
て、ゾーンの変更の有無が判定され（ステップＳ４）、
なければ、ステップＳ１の処理に戻り、ゾーン変更が有
れば係数Ｓを演算して（ステップＳ５）、リードアドレ
ス発生ブロックに送出する。

【００４１】更なる他の例は、光学系歪みを電気的に補
正する際に生ずる画面の切れ（画角切れ）を電子ズーム
を同時に行うことにより除去する例である。前述のよう
に、光学歪みのうち糸まき型はＴｅｌｅ側操作時に生じ
易く、たる型歪みはＷｉｄｅ側操作時に生じ易い。ここ
で、糸まき型歪み発生時には、図１３（Ａ）のように本
来の画像領域（長方形領域）左上部の角部点Ａが従来の
光学歪補正により、同図（Ｂ）のように内側に移動する
ことになり、同図斜線部領域は、光電変換素子のない部
分からの信号で、画像のない画角切れが生ずる。そこ
で、本例では、光学歪み補正と同時に電子ズームを行っ
てこの画角切れを防止している。電子ズーム倍率は、大
きい値にする必要はなく、画角切れが生じない程度の小
さい値に設定すれば良い。

【００４２】そのためのハードウェア構成は、図５の構
成と同一であり、Ｈアドレスピッチ発生回路１２０２と
Ｖアドレスピッチ発生回路１２０４に設定するズーム倍
率設定用のピッチとして例えば０．９の値が設定されて
いる。このときの動作としては、当該時点でのｆ値を入
力したマイコンは、このｆ値に基づく歪み補正のための
補正量を演算するとともに、これに応じた画角切れ防止
のための電子ズーム用のピッチをＨ，Ｖともに出力す
る。

【００４３】次に、光学歪み補正を行う映像処理装置に
おいて、自動合焦制御（ＡＦ）、自動露出制御（ＡＥ）
及び自動ホワイトバランス制御（ＡＷＢ）のいずれかま
たは全部の制御をも可能とする例について説明する。こ
の例は、該制御を行う際に与えられる重み付け係数を、
画像領域の分割エリア毎に歪み補正量に応じて変化させ
たり、歪み補正されたその映像信号を用いて制御のため
の基礎情報の検出と各制御を行う例である。

【００４４】以下の制御例は、上記ＡＦ制御、ＡＥ制御
及びＡＷＢ制御の各制御対象について適用できるが、一
例としてＡＦ制御について説明する。第１の例は、各分
割エリア毎のコントラスト情報（制御基礎パラメータ）
に含まれる歪みによる誤差の影響を、エリア毎の重み付
け値を歪み量に応じて変化させることにより、結果とし
て得られる重み付け後のコントラスト情報を歪みによら
ずに安定して得るとともに、安定な自動焦点（ＡＦ）制
御を可能とする。また、歪み補正後の画像情報を用いれ
ば、歪によらず安定したコントラスト情報が得られ、安
定なＡＦ制御が可能となる。したがって、ズーム比によ
らず、安定したＡＦ制御が可能となり、歪みのない画像
情報を得ることができ、歪み補正レンズのない光学系を
使用できるので小型、軽量化が可能である。

【００４５】第２の例は、コントラスト情報の検出に用
いるセンサとして映像信号を得るための撮像素子とは別
のセンサを用いるもので、そのセンサに入射される光が
撮像素子に結像するズームレンズを透過したＴＴＬ式の
ものであれば、同様の効果が得られる。この第２の例
では、電子的に歪み補正された画像情報を用いて、各分
割エリア毎のコントラスト情報を得ているので、歪みに
よる影響を受けることなく、ズーム比によらず安定した
ＡＦ制御が可能となり、歪み補正を映像処理装置内部に
含ませることにより、歪みのない画像情報を得ることが
でき、同様に歪み補正レンズのない光学系を使用できる
ので、小型、軽量化も可能となる。上述において、制御
対象は、焦点（ＡＦ）制御だけでなく、露出（ＡＥ）制
御、ホワイトバランス（ＡＷＢ）制御についても、制御
基準パラメータとして輝度情報や色情報を用いれば同様
に行うことができる。

【００４６】第１の例について図１４を参照して説明す
る。図１４において、図１と同一符号が付されている構
成部は同様機能を有する構成部を示す。光学系１には、
ズームレンズの位置情報を検出するズームエンコーダ１
Ａ，ズームレンズ位置を駆動制御するズーム駆動部１Ｂ
と、焦点制御部１Ｃ及び絞り駆動部１Ｄが備えられてい
る。ズームエンコーダ１Ａからのズームレンズ位置情報
がマイコン１１に供給され、ズーム制御信号、焦点制御
信号及び絞り制御信号がマイコン１１からズーム駆動部
１Ｂ、焦点制御部１Ｃ及び絞り制御部１Ｄに送出され
る。

【００４７】マイコン１１は、後述するように、分割エ
リア毎のコントラスト信号、輝度信号及び色信号の少な
くとも１つの信号を受け、補正ＲＯＭ１４に格納されて
いる各エリア情報に乗算すべき適切な補正データ（重み
付けデータ）を読み出し、補正データをリードコントロ
ール回路１２に送出する。リードコントロール回路１２
は、前述のような処理を補正ＲＯＭ１５に格納されてい
るデータに基づいて画像メモリ５と補間回路６に制御信
号を送出する。補正ＲＯＭ１４と１５は、マイコン１１
やリードコントロール回路１２内での演算で必要なデー
タを求める場合には不要である。

【００４８】撮像プロセス回路３から出力されるＹ信号
は、そのまま、またフィルター１６によりコントラスト
情報信号に変換されて、セレクタ１７に供給されるとと
もに、Ｃ信号もセレクタ１７に供給される。セレクタ１
７は、マイコン１１からの選択信号に応答してＹ信号、
コントラスト信号、Ｃ信号のうち必要な情報データを選
択する。エリア積分回路１８は、セレクタ１７で選択さ
れた信号を分割エリア毎に積分して、エリア積分された
上記信号から得られる輝度信号や色信号をマイコン１１
に供給して、後述するように、コントラスト情報に基づ
く焦点制御、輝度情報に基づく露出制御及び色情報（色
差信号であるＲーＹ信号やＢーＹ信号等）に基づくホワ
イトバランス制御処理を行う。

【００４９】図１５の（Ａ）と（Ｂ）には、糸まき型歪
み発生前における各分割エリアの重み付け値と、たる型
歪み発生前における各分割エリアの重み付け値の例が示
されている。この重み付け値は、もともと画面の略中央
部に主要な被写体が存在してくるであろうことを考慮し
てＡＦ、ＡＥ及びＡＷＢ等のために設定された演算値の
一例を示すものである。図からも明らかなように、糸ま
き型歪み発生時には、周辺部の画像ほど歪んでいるの
で、理想画像に対する補正はその分だけ大きく行わなけ
ればならず、よって周辺部で重み付け値を増大させる必
要がある。

【００５０】たる型歪み発生時の重み付け値の変化とそ
の補正例が図１６に示されている。本例では、少なくと
も画素から成るブロックのそれぞれに重み付け値を設定
しているが、４×４ブロックを１分割エリアとして扱
う。エリアＡとエリアＢが、たる型歪みにより変形して
それぞれエリアＣとエリアＤとなる。歪みのない場合の
各エリアの重み付けは、エリアＡ：｛（０×３）＋（１×３）＋（２×４）＋（３×３）＋（４×２）＋（５×１）｝／１６（＝）２・・・・（ａ）エリアＢ：｛（７×１）＋（８×２）＋（９×３）＋（１０×４）＋（１１× ３）＋（１２×２）＋１３｝／１６（＝）１０・・・・（ｂ）歪み発生後の各エリアの重み付けは、エリアＣ：｛（７×４）＋（８×４）＋（９×３）｝／１１（＝）８・・・・（ｃ）エリアＤ：｛（１１×５）＋（１２×３）＋（１３×２）｝／１０（＝）１２・・・・（ｄ）となり、同一の画像成分であるにもかかわらず、重み付
け係数が変化していることがわかる。そこで、同一の画
像に対して歪みの発生前後で同一の重み付けを行うため
に、補正された重み付け係数を求める。即ち、補正後の
各エリアの重み付けは、エリアＡは、元々画像がないか
ら、エリアＡ：（画素データ×画素の数）／画素の数＝（０×１６）／１６＝０エリアＢ：｛（（ａ）×エリアＢ内に投影されているエ
リアＣの画素数）＋（（ｂ）×エリアＢ内に投影されて
いるエリアＤの画素数）／（エリアＢ内に投影されてい
るエリアＣとＤの総画素数）即ち、＝｛（２×６）＋（１０×６）｝／１２＝６したがって、エリアＢに対しては補正係数を６／１０と
すれば良い。このように重み付け値の補正は、各分割エ
リアに含まれる歪みのない場合の重み付け値と小ブロッ
クの画素数の積の平均値を補正された重み付け値とする
ように行われる。

【００５１】図１７を参照して歪み補正前の信号を用い
た例の処理手順を説明すると、先ず、自動制御モードで
あるか否かを判定し（ステップＳ１１）、自動制御モー
ドであると判定したときには、ズームエンコーダ１Ａか
らのズーム位置情報をマイコン１１が読み取り（ステッ
プＳ１２）、歪み補正量をコード化する（ステップＳ１
３）。次に、歪み補正コードによるテーブルデータを参
照して各エリアの重み付け値の補正係数を読み出し（ス
テップＳ１４）、マイコン内に別に格納されている重み
付けデータに補正係数を乗算して各エリアの重み付け値
を補正し（ステップＳ１５）、セレクタ１７によりエリ
ア積分器１８の入力を切り換え（ステップＳ１６）、必
要な制御基準パラメータ（コントラスト情報、輝度情
報、色情報等）を積分器１８によりエリア積分して（ス
テップＳ１７）、該エリア積分データをマイコンに供給
する（マイコン１１による読み込み）（ステップＳ１
８）。続いて補正された重み付けデータを参照し（ステ
ップＳ１９）、各エリアの積分データの重み付け処理を
施し（ステップＳ２０）、新たな制御データを演算す
る。そして、重み付けされたエリア積分データから制御
データを決定する（ステップＳ２１）。その後、制御デ
ータを出力して（ステップＳ２２）、ステップＳ１１の
処理に戻る。

【００５２】次に、上記第２の例として、歪み補正され
た信号を用いる例について説明する。図１８は、本例
の構成ブロック図であり、図１４と同一符号が付されて
いる回路部は同様機能を有する回路部である。本例で
は、補間回路６で歪み補正されたＹ信号とＣ信号を用
い、フィルタ１６でコントラスト情報が得られ、セレク
タ１７には歪み補正されたコントラスト信号、Ｙ信号、
Ｃ信号の制御基準パラメータが供給され、マイコン１１
からの選択信号により、所望の信号がエリア積分器１８
に供給される。エリア積分器１８は、入力信号をエリア
積分して積分値をマイコン１１に供給する。

【００５３】図１９を参照して、本例の処理手順を説明
する。先ず、自動制御モードであるか否かを判定し（ス
テップＳ３１）、自動制御モードであれば、エリア積分
器１８の入力を切り換え、必要な制御基準パラメータを
出力し（ステップＳ３２）、このパラメータ信号エリア
積分器でエリア積分し（ステップＳ３３）、エリア積分
データの演算処理を施す（ステップＳ３４）。次に、重
み付けデータを参照し（ステップＳ３５）、各エリアの
積分データの重み付け処理を行い（ステップＳ３６）、
重み付けされたエリア積分データから制御データを求め
る新たな制御データの演算処理を施し（ステップＳ３
７）、制御データを出力した後（ステップＳ３８）、ス
テップＳ３１の処理に戻る。

【００５４】而して、本発明においては、上記実施例や
他の例を１つ又は複数種組み合わせることによって使用
し得ること勿論であり、本発明の要旨を逸脱しない範囲
で種々変更が可能である。

【００５５】

【発明の効果】以上説明したように本発明による映像処
理装置によれば、電子ズーム、手ぶれ補正及び光学歪み
補正処理機能について、回路規模の増大を抑制して実現
でき、小型化及び低価格化を可能とする。

【図面の簡単な説明】

【図１】本発明に関連する映像処理装置の構成ブロック
図である。

【図２】図１に示す装置の動作を説明するためのズーム
レンズの光学歪み特性の一例を示す図である。

【図３】図１に示す装置の動作を説明するための図であ
る。

【図４】図１に示す装置の動作を説明するための図であ
る。

【図５】図１に示す例における電子ズーム機能と光学歪
み補正機能を実現する回路例である。

【図６】本発明の実施例における映像処理装置の構成ブ
ロック図である。

【図７】図６に示す実施例における手ぶれ補正機能と光
学歪み補正機能を実現する回路例である。

【図８】本発明に関連する映像処理装置の動作を説明す
るためのタイミングチャートである。

【図９】図８に示す例におけるズームレンズ位置情報の
検出部の構成ブロック図である。

【図１０】光学系の焦点距離と歪量との関係を示す図で
ある。

【図１１】光学系の焦点距離と歪み率との関係を示す図
である。

【図１２】本発明に関連する他の例の構成と動作処理手
順を示す図である。

【図１３】本発明に関連する更に他の例を説明するため
の図である。

【図１４】本発明に関連する他の例の構成ブロック図で
ある。

【図１５】図１４に示す例を説明するための図である。

【図１６】図１４に示す例を説明するための図である。

【図１７】図１４に示す例の動作処理手順を示すフロー
チャートである。

【図１８】図１４に示す例の基準原理に基づく他の構成
例ブロック図である。

【図１９】図１８に示す例の動作処理手順を示すフロー
チャートである。

【図２０】光学系歪みの例を示す図である。

【図２１】光学系歪みの補正を説明するための図であ
る。

【図２２】従来の映像処理装置の構成ブロック図であ
る。

【符号の説明】

１光学系２撮像素子３撮像プロセス回路４Ａ／Ｄコンバータ５画像メモリ６補間回路７Ｄ／Ａコンバータ８ＴＧ回路９ＳＳＧ回路１０ライトコントロール回路１１マイコン１２Ａ，１２リードコントロール回路１３動き検出器１４，１５、１９補正ＲＯＭ１６フィルタ１７セレクタ１８エリア積分器

───────────────────────────────────────────────────── フロントページの続き (72)発明者師橋大吉東京都渋谷区幡ヶ谷２丁目43番２号オリンパス光学工業株式会社内 (72)発明者井上淳東京都渋谷区幡ヶ谷２丁目43番２号オリンパス光学工業株式会社内

Claims

【特許請求の範囲】

【請求項１】光学系による像を光電変換して得た映像信
号をこの映像信号に対応する映像データに変換する変換
手段と、上記変換手段による映像データを当該記憶手段に書き込
み又は読み出しするに際して該映像データに上記光学系
による像の歪みに対応した補正を与える歪補正手段と、上記変換手段による映像データを当該記憶手段に書き込
み又は読み出しするに際して該映像データに対し当該映
像に係るズーミング効果を得るための変換を与えるべく
上記歪み補正手段の当該回路部を少なくとも部分的に共
用して構成された電子ズーム手段と、を有してなること
を特徴とする映像処理装置。