JP3699171B2 - 電子ズーム処理装置および電子ズーム処理方法 - Google Patents
電子ズーム処理装置および電子ズーム処理方法 Download PDFInfo
- Publication number
- JP3699171B2 JP3699171B2 JP23819095A JP23819095A JP3699171B2 JP 3699171 B2 JP3699171 B2 JP 3699171B2 JP 23819095 A JP23819095 A JP 23819095A JP 23819095 A JP23819095 A JP 23819095A JP 3699171 B2 JP3699171 B2 JP 3699171B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- coefficient
- pixel
- output
- output control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を表わす映像信号をディジタル演算によりズーム処理する電子ズーム処理装置および電子ズーム処理方法に係り、たとえば、ビデオカメラおよび電子スチルカメラなどの撮像機器、これら撮像機器にて撮像して得られた映像信号を編集する編集機器および映像信号の表わす画像を出力する表示装置や印刷装置などに用いて好適な電子ズーム処理装置および電子ズーム処理方法に関するものである。
【０００２】
【従来の技術】
近年、たとえばビデオカメラなどの民生用の撮像機器では、被写体を撮像する際に撮像レンズの一部を移動させて焦点距離を連続的に変化させる光学的なズーミングと、撮像して得られた映像信号をディジタル演算し、その映像信号の表わす画像を電子的に拡大する電子ズーミングとを併用して、ズームインおよびズームアウトによって被写体を自在に拡大、縮小させるものが知られている。
【０００３】
このようなズーム処理を行なう電子ズーム機能は、ハード構成の簡素化などの要求から、たとえば画素の前置ホールドによる補間方法や線形（１次）補間を採用して、元の画像を拡大した画像を出力していた。一般に、このような補間処理では、２次補間以上の高次の補間処理の方がよい画質を得ることができるが、前述の要求から、比較的少ない演算量で様々な絵柄に対して無難に補間処理する１次補間によって、画質に破綻の少ない画像を得ていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、１次補間では、補間処理後の画素レベルのダイナミックレンジを２次補間による処理結果と較べて大きくすることができず、また、２次補間では、処理する画像の絵柄によってはその処理結果が人間からみて必ずしもよい画像と認識されるとは限らないという問題があった。
【０００５】
たとえば、１次補間と２次補間とを補間処理後の画素レベルについて比較すると、２次補間の方がダイナミックレンジが拡大し、たとえば映像のエッジ部分が強調されるという利点がある。しかし、そのエッジ部分が強調されすぎると絵柄によっては適切ではない場合があり、その場合、画質に破綻が生じてしまうという問題があった。
【０００６】
本発明はこのような従来技術の欠点を解消し、様々な絵柄に対して画質を高めて、破綻の少ない電子ズーム出力画像を得ることのできる電子ズーム処理装置および電子ズーム処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、設定されたズーム倍率に応じて画像データをディジタル演算して、その画像データにて表わされる画像を拡大または縮小する電子ズーム処理装置において、この装置は、ズーム倍率に応じて処理開始画素の位置を決定する画素決定手段と、ズーム倍率および画素決定手段にて決定された処理開始画素に基づいて、補間処理後の画素間隔を算出する補間係数演算手段と、補間係数演算手段の演算結果に基づいて、画像データを補間処理する補間演算手段とを有し、補間演算手段は、画素データを１次補間する第１の補間手段と、第１の補間手段より与えられる情報に基づいて、画素データを２次補間する第２の補間手段と、第１および第２の補間手段の出力を加算して出力する出力制御手段とを含み、この装置はさらに、出力制御手段における加算の割合を制御する第１の係数を設定する係数設定手段を有し、出力制御手段は、設定された第１の係数に応じた２次補間の処理結果を１次補間の処理結果に加算することを特徴とする。
【０００８】
この場合、この装置は、操作者の操作を検出する操作手段を有し、係数設定手段は、操作手段にて検出された操作情報に従って第１の係数を設定するとよい。
【０００９】
また、出力制御手段は、加算結果に対し、この加算結果が所定のビット数を超えないようにゲイン制御する第１の乗算手段を含むとよい。
【００１０】
この場合さらに、出力制御手段は、加算結果が前記所定のビット数を超えたか否かを監視する第１の監視手段を含み、第１の乗算手段は、第１の監視手段の監視結果に従ってゲイン制御するとよい。
【００１１】
また、出力制御手段は、第２の補間手段の出力に対し、出力制御のための第２の係数を乗算する第２の乗算手段を有し、出力制御手段は第２の乗算手段による演算結果と第１の補間手段の出力とを加算し、出力制御手段はさらに、加算結果が所定のビット数を超えたか否かを監視する第２の監視手段を含み、第２の乗算手段は、第２の監視手段の監視結果に従った第２の係数を第２の補間手段の出力に乗算するとよい。
【００１２】
また、本発明は上述の課題を解決するために、設定されたズーム倍率に応じて画像データをディジタル演算して、その画像データにて表わされる画像を拡大または縮小する電子ズーム処理方法において、この方法は、ズーム倍率に応じて処理開始画素の位置を決定する画素決定工程と、ズーム倍率および画素決定工程にて決定された処理開始画素に基づいて、補間処理後の画素間隔を算出する補間係数演算工程と、補間係数演算工程の演算結果に基づいて、前記画像データを補間処理する補間演算工程とを有し、補間演算工程は、画素データを１次補間する第１の補間工程と、第１の補間工程より与えられる情報に基づいて、画素データを２次補間する第２の補間工程と、第１および第２の補間工程の出力を加算して出力する出力制御工程とを含み、この方法はさらに、出力制御工程における加算の割合を制御する第１の係数を設定する係数設定工程を有し、出力制御工程は、設定された第１の係数に応じた２次補間の処理結果を１次補間の処理結果に加算することを特徴とする。
【００１３】
この場合、この方法は、操作者の操作を検出する操作工程を有し、係数設定工程は、操作工程にて検出された操作情報に従って第１の係数を設定するとよい。
【００１４】
また、出力制御工程は、加算結果に対し、この加算結果が所定のビット数を超えないようにゲイン制御する第１の乗算工程を含むとよい。
【００１５】
この場合さらに、出力制御工程は、加算結果が所定のビット数を超えたか否かを監視する第１の監視工程を含み、第１の乗算工程は、第１の監視工程の監視結果に従ってゲイン制御するとよい。
【００１６】
また、出力制御工程は、第２の補間工程の出力に対し、出力制御のための第２の係数を乗算する第２の乗算工程を有し、出力制御工程は第２の乗算工程による演算結果と第１の補間工程の出力とを加算し、出力制御工程はさらに、加算結果が所定のビット数を超えたか否かを監視する第２の監視工程を含み、第２の乗算工程は、第２の監視工程の監視結果に従った第２の係数を２次補間工程の出力に乗算するとよい。
【００１７】
【発明の実施の形態】
次に本発明による電子ズーム処理装置および電子ズーム処理方法の一実施例を添付図面を参照して詳細に説明する。図１には、本発明による電子ズーム処理方法が適用された電子ズーム処理装置の一実施例が示されている。本実施例における電子ズーム処理装置100 は、元画像の画素データを順次入力して、これらを内挿補間演算にてディジタル演算して拡大または縮小された画像を表わす映像信号を出力する信号処理装置であり、たとえば、ビデオカメラまたは電子スチルカメラなどの撮像機器に適用された際に、図３に示すように撮像系からの映像信号を受けてズーム処理し、処理した信号をフレームメモリまたはフィールドメモリなどのバッファ300 に蓄積して、ファインダおよび記録再生系に出力する。
【００１８】
とくに、本実施例の電子ズーム処理装置100 は、１次補間と２次補間とを切り換えて補間処理を行なうだけではなく、これらの中間的な補間演算処理を行なうことによって、様々な絵柄の画像に柔軟に対応したズーム処理を行なう点に大きな特徴を有する。なお、以下の説明において本発明に直接関係のない部分は図示およびその説明を省略し、また、信号線の参照符号はその現われる接続線の参照番号で表わす。
【００１９】
詳細には本実施例の電子ズーム処理装置100 は、図１に示すように、処理開始画素決定部120 と、補間係数演算部122 と、画素入力部124 と、補間演算部126 と、１次補間と２次補間との比率を設定するための係数K を補間演算部126 に与える係数設定部128 と、操作部130 とを有している。
【００２０】
処理開始画素決定部120 は、不図示のズーム倍率入力部にて設定されるズーム倍率ｒを接続線132 を介して入力し、このズーム倍率ｒを受けて元画像の処理開始画素の位置R(x,y)を決定する演算部であり、たとえば、ビデオカメラなどでは演算処理用のマイクロプロセッサなどが有効に適用される。この処理開始画素決定部120 では、たとえばビデオカメラのCCD(Charge Coupled Device)の画素数またはディジタル処理装置での元画像を蓄積するフレームメモリなどの容量から元の画像の画素数 M×N が与えられており、また、ズーム処理後の画素数 m×n も、表示装置などの画素数から与えられている。本実施例では、たとえば、水平方向にて元画像の画素数Ｍの２分の１、つまり元画像の中心位置と処理開始画像の位置Rxとの差の２倍にズーム倍率ｒを積算して得られるズーム処理後の画素数ｍの関係から、既知となっている画素数M,m およびズーム倍率ｒから逆算して処理開始画素の位置Rxを算出する。同様に、垂直方向の画素数N,n およびズーム倍率ｒから処理開始画素の垂直位置Ryを求める。処理開始画素決定部120 は、求めた画素位置を接続線134 を介して補間係数演算部122 に出力する。
【００２１】
補間係数演算部122 は、最初の画素では処理開始画素決定部120 からの画素位置を補間係数ｄとして補間演算部126 に供給し、それ以降の画素ではズーム倍率ｒと元画像の画素間距離にて算出される等間隔の値を、求めた画素の位置に順次加算して対応の入力画素間での位置を算出する位置演算回路である。本実施例では、たとえば、図６に示すようにズーム倍率ｒと元画像の画素間距離にて算出される等間隔の値をズーム倍率データとして受け、これを加算器600 を介して出力するとともに、そのデータを加算器600 にフィードバックして次の値と加算して再び出力する回路にて形成されている。加算器600 は、たとえば８ビットの加算回路であり、加算値が８ビットを超えた場合にキャリービットＣを画素入力部124 に供給する。そのキャリービットＣは、次の入力画素の読み出し、または読み捨てに使用される。具体的には、元画像の画素間距離を28=256 として、ズーム倍率ｒ=1.31 とすると、求める画素間距離は256/1.31≒195 となり、195 の距離を順次前回の画素位置に加算して、256 を超えた場合に画素入力部124 にキャリービットＣを供給して画素取込みを行ない、256 に満たない値（下位８ビット部分）を補間係数ｄとして補間演算部126 に供給する。また、ズーム倍率がｒ=0.66 とすると、求める画素間距離は、256/0.66≒387 となり、387 の距離を順次前回の画素位置に加算して、256 を超えた場合に画素入力部124 にキャリービットＣを供給し、このキャリービットが加算器600 から出力されなくなるまで画素の読み捨てを画素入力部124 が行なうとともに、256 に満たない値を補間係数ｄとして補間演算部126 に供給する。
【００２２】
図１に戻って、画素入力部124 は、処理開始画素決定部120 からの演算値および補間係数演算部122 からのキャリービットＣに応動して、順次元画像の画素を読み出す画素読出回路である。画素入力部124 は読み出した画素データを接続線125 を介して補間演算部126 に出力する。
【００２３】
補間演算部126 は、画素入力部124 から出力された元画像の画素値に補間係数演算部122 から出力された補間係数ｄを乗算して、補間画素の値を演算する主演算回路であり、本実施例ではたとえば図２に示すように、主に１次補間を行なう第１の補間処理部202 と、この補間処理部202 とともに２次補間処理を行なう第２の補間処理部204 とを有し、さらに補間演算部126 は、第２の補間処理部204 の出力に係数Ｋを乗算する乗算器206 と、この乗算器206 の出力と第１の補間処理部202 の出力とを加算して出力する加算器208 とを含む出力制御部210 を有している。すなわち、本実施例における補間演算部124 は、次に記述するNewtonの補間（内挿）公式にしたがって構成されている。
【００２４】
まず、補間演算部126 に入力される２次元画像に対して水平方向と垂直方向とに分けて演算を行ない、結果として隣接する９画素に対して、図９に示すような２次の補間演算（９点補間）を行なう。このとき演算部分は、水平方向と垂直方向とでは同一であるため、隣接する３画素(X0,X1,X2)に対してNewtonの補間公式をあてはめると、この補間演算は次式（１）にて表わされる。
【００２５】
【数１】
Y(X) = f[X0]+(X-X0)f[X0,X1]+(X-X0)(X-X1)f[X0,X1,X2] ・・・（１）
但し、f[X0] = Y0
f[X0,X1] = (Y1-Y0)/(X1-X0)
f[X0,X1,X2] = {f[X1,X2]-f[X0,X1]}/(X2-X0) である。
【００２６】
ここで、式（１）にて画素間隔距離＝１とおくと、式（１）は、
【００２７】
【数２】
Y(X) = Y1(X-X1)+Y0(X1-X) + 1/2(Y2-2Y1+Y0)(X-X0)(X-X1) ・・・（２）
のように変形することができる。
【００２８】
本実施例の補間演算部126 では、基本的には、式（１）の２次の項に対し、係数K (0≧K ≧1)を乗算する構成としている。つまり、
【００２９】
【数３】
Y(X) = Y1(X-X1)+Y0(X1-X) + K/2(Y2-2Y1+Y0)(X-X0)(X-X1) ・・・（３）
である。
【００３０】
一方、電子ズーム機能における画像の拡大／縮小のための画素制御は式（２）において、X-X1を画素間距離と見なして、d =(X-X1) とおくと、
【００３１】
【数４】
Y(X) = Y1d+Y0(1-d)+K/2(Y2-2Y1+Y0)d(d-1) ・・・（４）
となる。
【００３２】
よって補間後の画素間距離d が１未満の値のときは拡大処理となり、画素間距離d が１を超える値のときには縮小処理となる。たとえば拡大時の制御は、画素間距離d を順次積算してゆき、d = 1 となるごとに隣接している画素を読み出し、また、縮小時には、d が１未満になるまで画素を読み捨てる制御を行なう。本実施例における補間演算部126 は、式（４）をさらに、次式（５）に示すように変形して構成されている。すなわち、
【００３３】
【数５】
Y(X) = (Y1-Y0)d+Y0+K/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) ・・・（５）
である。
【００３４】
このように本実施例では、式（５）の２次の項に対し係数K を乗算することによって、式全体に対するその項による値の度合いを係数K に応じて調節することができる。
【００３５】
この式（５）を演算回路にて表わしたのが図２に示す補間演算部126 である。同図からわかるように、第１の補間処理部202 は、前記式（５）における１次の項「(Y1-Y0)d+Y0 」に対応する構成であり、また、第２の補間処理部204 と出力制御部210 とは式（５）における２次の項「+K/2{(Y2-Y1)d-(Y1-Y0)d}(d-1)」に対応する構成である。
【００３６】
第１の補間処理部202 は、第２の補間処理部204 の遅延回路220 の出力222 に接続され、たとえば水平方向の２画素(Y1,Y0) について１次補間を行なう補間回路である。この補間処理部202 は入力222 に現われる画素を遅延させて出力230 に出力する遅延回路228 と、遅延回路220 にて遅延された画素Y1と遅延回路228 にて遅延された画素Y0との差Y1-Y0 を演算して、Y1-Y0 を出力234 に出力する減算器232 と、減算器232 から出力されたY1-Y0 に、補間係数演算部124 （図１）から与えられる補間係数d を乗算する乗算器236 と、乗算器236 の出力238 と遅延回路228 の出力230 とを加算する加算器240 とを含む。加算器240 の出力224 は出力制御部210 の加算器208 に接続されている。
【００３７】
第２の補間処理部204 は、補間処理部202 とともにたとえば水平方向の３画素について(Y2,Y1,Y0)２次補間を行なう補間回路である。この補間処理部204 は、遅延回路220 に入力される画素Y2と遅延回路220 にて遅延された画素Y1との差Y2-Y1 を演算して、Y2-Y1 を出力240 に出力する減算器242 と、減算器242 から出力されたY2-Y1 に、補間係数演算部124 から与えられる補間係数d を乗算する乗算器244 と、この乗算器244 の出力246 と乗算器236 の出力238 との差を演算する減算器248 と、この減算器248 の出力250 に(d-1)/2 を乗算して出力226 に出力する乗算器252 と、補間係数演算部122 から与えられる補間係数d から(d-1)/2 の値を算出して乗算器252 に出力する演算回路254 とを含む。補間処理部204 の226 は出力制御部210 の乗算器206 に接続されている。
【００３８】
この乗算器206 は、補間処理部204 から出力された1/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) を表わす値に対し、補間係数設定部122 から与えられる係数K (0≦K ≦1)を乗算し、その演算結果を加算器208 に出力する。加算器208 は、補間処理部202 の出力224 と乗算器206 の出力とを加算し、その演算結果を画素補間後の画素として出力する。
【００３９】
図１に戻って、補間演算部126 に係数K を出力する係数設定部128 は、本実施例では、その入力136 に接続された操作部130 から通知される情報に応じた係数を補間演算部126 に出力する。操作部130 は、たとえば操作者による電子ズーム時における画質を調節するダイヤルなどに入力される指示に応じて、その操作に応じた調節情報を係数設定部128 に送出する。係数設定部128 は、通知された調節情報に応じた係数K を補間演算部126 に出力する。また、係数設定部128 は、絵柄に応じた調節情報を、たとえば撮像機器に備えられたシステムコントロール部などから受けて、この調節情報に応じて係数K を設定するように構成されてもよい。このように本実施例では、撮像する被写体の絵柄に応じて補間演算部126 にて使用される係数K を任意に設定することができる。
【００４０】
以上のような構成で本実施例における電子ズーム処理装置100 の動作を以下に説明する。まず、操作者がズーム倍率入力部を通してズーム倍率ｒを設定すると、処理開始画素決定部120 にて元画像の画素数M,N およびズーム処理後の画素数m,n に基づいてカメラの撮像系またはフレームメモリなどから供給される元画像における読み出し開始画素の位置を決定して、画素入力部124 に供給する。
【００４１】
たとえば、拡大処理を行なう場合、処理開始画素決定部120 は、その水平走査方向において画素数M,m をそれぞれ640 とし、垂直方向の画素数N,n を480 として、ズーム倍率ｒ=1.31 とすると、処理開始画素の位置(Rx,Ry) を(75,56) と算出する。処理開始画素決定部120 は算出した画素位置を画素入力部124 に通知し、これを受けた画素入力部124 では、まずその画素を読み出し、次いで、次の位置(76,56) および(77,56) の画素を順次読み出して、補間処理部126 の遅延回路220 に供給する。
【００４２】
処理開始画素Ｒを受けた補間画素演算部126 は、入力画素を遅延回路220 にて遅延出力し、さらに遅延回路220 の出力を遅延回路228 にて遅延出力させる。遅延回路220 の出力(Y1)は遅延回路228 の出力(Y0)が減算器232 にて減算され、その出力(Y1-Y0) が乗算器236 に与えられて、これに変換係数d が乗算される。この演算結果(Y1-Y0)dは、さらに加算器240 にて、遅延回路228 から出力された(Y0)と加算され、その演算結果(Y1-Y0)d+Y0 が加算回路228 の一方の入力に供給される。
【００４３】
一方、遅延回路220 の出力(Y1)と画素データ(Y2)とは、減算器242 に入力されてその差(Y2-Y1) が算出され、その演算結果(Y2-Y1) は乗算器244 にて変換係数d が乗算される。この演算結果(Y2-Y1)dと乗算器236 の出力(Y1-Y0)dとの差が減算器248 にて演算されて、その演算結果{(Y2-Y1)d-(Y1-Y0)d} が乗算器252 に入力される。
【００４４】
乗算器252 の他方の入力には演算回路254 から(d-1)/2 が与えられており、この値と減算器248 の出力250 とが乗算される。乗算器252 の演算結果1/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) は、接続線226 を介して乗算器206 に入力され、この値と、係数設定部128 から設定されている係数K とが乗算される。この演算結果は、加算器208 の他方の入力に入力される。加算回路208 では、前記式（５）における１次の項に対応する(Y1-Y0)d+Y0 と、２次の項に対応するK/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) とが加算されてその加算結果が補間後の画素データとして出力される。
【００４５】
この結果、係数設定部128 から係数K の値がK=0 が設定されている場合には、式（５）の２次の項における演算結果は、"0" となって実質的には加算回路208 には入力されず、加算回路208 の出力は同式（５）の１次の項における演算結果のみが出力される。また、K=1 が係数設定部128 にて設定されている場合には、補間処理部204 にて演算された演算結果がそのまま加算器208 に入力され、式（５）における１次の項に２次の項を加えた演算結果が補間演算部126 の出力として出力される。さらに、係数設定部128 にて設定された係数K が(0＜K ＜1)であった場合には、前記式（５）における１次の項と２次の項との中間的な値が画素補間後の画素データとして出力される。以上の動作は水平方向の処理について説明したものである。同様な動作を垂直方向について行なう必要がある。この場合、図２に示した遅延回路220 および228 を１水平走査線単位の遅延素子（たとえばラインメモリ等）に置き換えたものを使用する。なお、水平および垂直方向のいずれかを先に処理してよい。
【００４６】
この結果、設定された係数K が"1" に等しいかもしくはそれに近い場合には、２次補間の演算処理結果が充分に反映された補間処理後の画素データが出力され、逆に、係数K が"0" に等しいかもしくはそれに近い場合には、１次補間の特性を大きく有した補間処理後の画素データが得られる。したがって特に前者の場合には、図７に示したように、ダイナミックレンジの広い補間後の画素データを得ることができる。
【００４７】
また、この係数K を変化させることによって、そのダイナミックレンジを可変することができるので、入力画像に応じた係数を適切に選択することによって、絵柄に応じたダイナミックレンジを得ることができる。このことは、たとえば、画像のエッジ部分における強調の度合いを可変することができることを意味し、強調する必要がない画像や強調によって画像が破綻するような場合には、係数K の値を"0" か、またはそれに近い値を選択するとよい。また、入力画像がフラットな画像の場合には、係数K の値を"1" か、もしくはそれに近い値を選択することで、輪郭部分が適度に強調された画像が得られる。これらはその画像の映像表現の仕方に応じて操作部130 を操作することによって任意に選択調整することができる。また、たとえばズーム倍率に応じて画質の評価が変化する場合には、そのズーム倍率に連動させて係数K を変化させることもでき、この場合、ズーミング時における画質変化を少なくすることもできる。また、このようにズーム倍率と係数K とを連動させることによって、ズーム倍率に応じた強調処理も可能となる。
【００４８】
以上のようにして補間およびズーム処理された画素は、たとえば、図10にその一例を示すように、拡大または縮小された画素として出力される。同図には、水平方向640 画素、垂直方向480 画素の画像を1.31倍にズームインした拡大例（上段）と、水平方向1024画素、垂直方向512 画素の画像を0.66倍に縮小した縮小例（下段）が示され、それぞれの画素補間後の画素データは、前述したとおり係数設定部128 から与えられた係数に応じてそれぞれダイナミックレンジが拡大されている。この図において、鎖線は１次補間における画素の対応を示している。
【００４９】
この様子を図７に戻ってみると、１次補間は線形補間であるので、ダイナミックレンジが２次補間と比較して狭い。２次補間では、たとえば水平方向に対して３点補間であるため、２次曲線にて表わされ、その極大および極小における画素の値が広がってダイナミックレンジが拡大されていることがわかる。本実施例では、このダイナミックレンジを係数設定部128 による係数K に応じて可変させることができた。
【００５０】
以上説明した実施例では、とくに係数K を大きい値に設定した場合には、２次補間の割合が増えるので、補間処理後のダイナミックレンジが拡大されるという利点があった。しかし補間処理後の画像データを処理する後段の信号処理回路にてオーバーフローが発生する場合には、補間演算部126 の出力に、ゲインコントロールのための乗算器を接続することでこの問題が解決される。
【００５１】
具体的には、たとえば補間処理前の画像データが８ビットにて表わされたデータである場合、このダイナミックレンジが拡大されて、補間処理後の画素データが９ビットのデータになることがある。したがって、たとえば後段の信号処理系が８ビットを前提として構成されているときには、図８に示したように、出力制御部210 の加算器208 （図２）の出力に、制御信号G に応じてゲインコントロールする乗算器800 を接続する。この制御信号G は、たとえば加算器208 の出力を監視する監視回路802 にて生成され、監視回路802 は、加算器208 から出力される８ビットまたは９ビットの画素データを判定し、９ビットデータが入力された場合には、これが８ビットのデータとなるようにゲイン制御する制御信号を乗算器800 に出力する。この場合、監視回路802 は、入力した画素データを高輝度圧縮するような制御信号を生成するとよい。また、監視回路802 は、一定値以上の入力画素データをすべて一定の画素値にゲイン制御する制御信号を生成して乗算器800 に供給するリミッタ制御機能を有してもよい。乗算器800 は監視回路802 から与えられた制御信号G を、入力した９ビットデータに乗算して８ビットデータを作成し、これを補間演算部126 の出力として出力する。
【００５２】
また、監視回路802 は、補間係数設定部128 から出力された係数K を入力し、これを監視結果に応じて修正する機能を有してもよい。具体的には監視回路802 は、９ビットのデータを検出した場合には、入力した係数K の値をそれよりも小さく設定し直した係数K'を乗算器206 に供給し、加算器208 の出力が８ビットを超えないように、補間処理後のダイナミックレンジを制御する。この場合、制御信号G によって可変増幅する乗算器800 はなくてもよいがあってもよい。乗算器800 がある場合には、２次補間を適度に効かせた状態で、その出力をゲインコントロールし、その結果、後段の処理回路におけるオーバーフローを防止することができる。
【００５３】
また、上記実施例では図３に示すようにカメラの撮像系からの映像信号を受けてバッファ300 に蓄積するように構成したが、本発明ではたとえば図４または図５に示すように撮像機器以外の処理装置に適用してもよい。この場合、図４では一般的な処理装置に適用された例であり、フィールドメモリまたはフレームメモリなどの記憶回路400 にビデオデッキまたはビデオカメラなどからの映像信号を蓄積して、このメモリ400 からの映像信号を順次上記ズーム処理装置100 に読み出してズーム処理し、再生装置などに拡大または縮小した画像として出力する。図５ではズーム処理した画像に、さらに反転、回転などの特殊処理を施して出力する場合等に適用される構成であり、メモリ(A) 400 に一旦蓄積した画像を上記電子ズーム処理装置100 に順次読み出してズーム処理を施して、その画像を第２のメモリ(B) 500 の任意のアドレスに蓄積して画像の反転、回転などの特殊処理を施した状態にて蓄積し、順次読み出して出力するものである。
【００５４】
【発明の効果】
このように本発明によれば、１次補間と２次補間との度合いを係数設定手段により設定される第１の係数に応じて、調節することができるので、画像のエッジ部分における強調の度合いを可変にすることができ、さらに様々な絵柄において画質を高め、破綻の少ない電子ズーム出力画を得ることができる。また、従来の方式では不足がちであった補間処理後の周波数特性が改善されるとともに、この周波数特性の改善の度合いを可変することができるので、様々な絵柄に対してよりよい補間状態を選択することが可能となった。
【図面の簡単な説明】
【図１】本発明による電子ズーム処理装置の一実施例を示すブロック図である。
【図２】図１に示した実施例における補間処理部の内部構成の一例を示す図である。
【図３】図１に示した実施例による電子ズーム処理装置が撮像機器に適用される場合の構成を示すブロック図である。
【図４】図１に示した実施例による電子ズーム処理装置が一般的な画像処理装置に適用される場合の構成を示すブロック図である。
【図５】図１に示した実施例による電子ズーム処理装置が特殊効果を施す画像処理装置に適用される場合の構成を示すブロック図である。
【図６】図１に示した実施例における補間係数演算部の構成例を示すブロック図である。
【図７】１次補間および２次補間にてそれぞれ処理された画素のダイナミックレンジの差を示す図である。
【図８】図２に示した出力制御部の他の構成例を示すブロック図である。
【図９】２次補間による補間処理を概念的に示す図である。
【図１０】画素補間処理後の画素位置の一例を示す図である。
【符号の説明】
100 電子ズーム処理装置
120 処理開始画素決定部
122 補間係数演算部
124 画素入力部
126 補間演算部
128 係数設定部
130 操作部
【発明の属する技術分野】
本発明は、画像を表わす映像信号をディジタル演算によりズーム処理する電子ズーム処理装置および電子ズーム処理方法に係り、たとえば、ビデオカメラおよび電子スチルカメラなどの撮像機器、これら撮像機器にて撮像して得られた映像信号を編集する編集機器および映像信号の表わす画像を出力する表示装置や印刷装置などに用いて好適な電子ズーム処理装置および電子ズーム処理方法に関するものである。
【０００２】
【従来の技術】
近年、たとえばビデオカメラなどの民生用の撮像機器では、被写体を撮像する際に撮像レンズの一部を移動させて焦点距離を連続的に変化させる光学的なズーミングと、撮像して得られた映像信号をディジタル演算し、その映像信号の表わす画像を電子的に拡大する電子ズーミングとを併用して、ズームインおよびズームアウトによって被写体を自在に拡大、縮小させるものが知られている。
【０００３】
このようなズーム処理を行なう電子ズーム機能は、ハード構成の簡素化などの要求から、たとえば画素の前置ホールドによる補間方法や線形（１次）補間を採用して、元の画像を拡大した画像を出力していた。一般に、このような補間処理では、２次補間以上の高次の補間処理の方がよい画質を得ることができるが、前述の要求から、比較的少ない演算量で様々な絵柄に対して無難に補間処理する１次補間によって、画質に破綻の少ない画像を得ていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、１次補間では、補間処理後の画素レベルのダイナミックレンジを２次補間による処理結果と較べて大きくすることができず、また、２次補間では、処理する画像の絵柄によってはその処理結果が人間からみて必ずしもよい画像と認識されるとは限らないという問題があった。
【０００５】
たとえば、１次補間と２次補間とを補間処理後の画素レベルについて比較すると、２次補間の方がダイナミックレンジが拡大し、たとえば映像のエッジ部分が強調されるという利点がある。しかし、そのエッジ部分が強調されすぎると絵柄によっては適切ではない場合があり、その場合、画質に破綻が生じてしまうという問題があった。
【０００６】
本発明はこのような従来技術の欠点を解消し、様々な絵柄に対して画質を高めて、破綻の少ない電子ズーム出力画像を得ることのできる電子ズーム処理装置および電子ズーム処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、設定されたズーム倍率に応じて画像データをディジタル演算して、その画像データにて表わされる画像を拡大または縮小する電子ズーム処理装置において、この装置は、ズーム倍率に応じて処理開始画素の位置を決定する画素決定手段と、ズーム倍率および画素決定手段にて決定された処理開始画素に基づいて、補間処理後の画素間隔を算出する補間係数演算手段と、補間係数演算手段の演算結果に基づいて、画像データを補間処理する補間演算手段とを有し、補間演算手段は、画素データを１次補間する第１の補間手段と、第１の補間手段より与えられる情報に基づいて、画素データを２次補間する第２の補間手段と、第１および第２の補間手段の出力を加算して出力する出力制御手段とを含み、この装置はさらに、出力制御手段における加算の割合を制御する第１の係数を設定する係数設定手段を有し、出力制御手段は、設定された第１の係数に応じた２次補間の処理結果を１次補間の処理結果に加算することを特徴とする。
【０００８】
この場合、この装置は、操作者の操作を検出する操作手段を有し、係数設定手段は、操作手段にて検出された操作情報に従って第１の係数を設定するとよい。
【０００９】
また、出力制御手段は、加算結果に対し、この加算結果が所定のビット数を超えないようにゲイン制御する第１の乗算手段を含むとよい。
【００１０】
この場合さらに、出力制御手段は、加算結果が前記所定のビット数を超えたか否かを監視する第１の監視手段を含み、第１の乗算手段は、第１の監視手段の監視結果に従ってゲイン制御するとよい。
【００１１】
また、出力制御手段は、第２の補間手段の出力に対し、出力制御のための第２の係数を乗算する第２の乗算手段を有し、出力制御手段は第２の乗算手段による演算結果と第１の補間手段の出力とを加算し、出力制御手段はさらに、加算結果が所定のビット数を超えたか否かを監視する第２の監視手段を含み、第２の乗算手段は、第２の監視手段の監視結果に従った第２の係数を第２の補間手段の出力に乗算するとよい。
【００１２】
また、本発明は上述の課題を解決するために、設定されたズーム倍率に応じて画像データをディジタル演算して、その画像データにて表わされる画像を拡大または縮小する電子ズーム処理方法において、この方法は、ズーム倍率に応じて処理開始画素の位置を決定する画素決定工程と、ズーム倍率および画素決定工程にて決定された処理開始画素に基づいて、補間処理後の画素間隔を算出する補間係数演算工程と、補間係数演算工程の演算結果に基づいて、前記画像データを補間処理する補間演算工程とを有し、補間演算工程は、画素データを１次補間する第１の補間工程と、第１の補間工程より与えられる情報に基づいて、画素データを２次補間する第２の補間工程と、第１および第２の補間工程の出力を加算して出力する出力制御工程とを含み、この方法はさらに、出力制御工程における加算の割合を制御する第１の係数を設定する係数設定工程を有し、出力制御工程は、設定された第１の係数に応じた２次補間の処理結果を１次補間の処理結果に加算することを特徴とする。
【００１３】
この場合、この方法は、操作者の操作を検出する操作工程を有し、係数設定工程は、操作工程にて検出された操作情報に従って第１の係数を設定するとよい。
【００１４】
また、出力制御工程は、加算結果に対し、この加算結果が所定のビット数を超えないようにゲイン制御する第１の乗算工程を含むとよい。
【００１５】
この場合さらに、出力制御工程は、加算結果が所定のビット数を超えたか否かを監視する第１の監視工程を含み、第１の乗算工程は、第１の監視工程の監視結果に従ってゲイン制御するとよい。
【００１６】
また、出力制御工程は、第２の補間工程の出力に対し、出力制御のための第２の係数を乗算する第２の乗算工程を有し、出力制御工程は第２の乗算工程による演算結果と第１の補間工程の出力とを加算し、出力制御工程はさらに、加算結果が所定のビット数を超えたか否かを監視する第２の監視工程を含み、第２の乗算工程は、第２の監視工程の監視結果に従った第２の係数を２次補間工程の出力に乗算するとよい。
【００１７】
【発明の実施の形態】
次に本発明による電子ズーム処理装置および電子ズーム処理方法の一実施例を添付図面を参照して詳細に説明する。図１には、本発明による電子ズーム処理方法が適用された電子ズーム処理装置の一実施例が示されている。本実施例における電子ズーム処理装置100 は、元画像の画素データを順次入力して、これらを内挿補間演算にてディジタル演算して拡大または縮小された画像を表わす映像信号を出力する信号処理装置であり、たとえば、ビデオカメラまたは電子スチルカメラなどの撮像機器に適用された際に、図３に示すように撮像系からの映像信号を受けてズーム処理し、処理した信号をフレームメモリまたはフィールドメモリなどのバッファ300 に蓄積して、ファインダおよび記録再生系に出力する。
【００１８】
とくに、本実施例の電子ズーム処理装置100 は、１次補間と２次補間とを切り換えて補間処理を行なうだけではなく、これらの中間的な補間演算処理を行なうことによって、様々な絵柄の画像に柔軟に対応したズーム処理を行なう点に大きな特徴を有する。なお、以下の説明において本発明に直接関係のない部分は図示およびその説明を省略し、また、信号線の参照符号はその現われる接続線の参照番号で表わす。
【００１９】
詳細には本実施例の電子ズーム処理装置100 は、図１に示すように、処理開始画素決定部120 と、補間係数演算部122 と、画素入力部124 と、補間演算部126 と、１次補間と２次補間との比率を設定するための係数K を補間演算部126 に与える係数設定部128 と、操作部130 とを有している。
【００２０】
処理開始画素決定部120 は、不図示のズーム倍率入力部にて設定されるズーム倍率ｒを接続線132 を介して入力し、このズーム倍率ｒを受けて元画像の処理開始画素の位置R(x,y)を決定する演算部であり、たとえば、ビデオカメラなどでは演算処理用のマイクロプロセッサなどが有効に適用される。この処理開始画素決定部120 では、たとえばビデオカメラのCCD(Charge Coupled Device)の画素数またはディジタル処理装置での元画像を蓄積するフレームメモリなどの容量から元の画像の画素数 M×N が与えられており、また、ズーム処理後の画素数 m×n も、表示装置などの画素数から与えられている。本実施例では、たとえば、水平方向にて元画像の画素数Ｍの２分の１、つまり元画像の中心位置と処理開始画像の位置Rxとの差の２倍にズーム倍率ｒを積算して得られるズーム処理後の画素数ｍの関係から、既知となっている画素数M,m およびズーム倍率ｒから逆算して処理開始画素の位置Rxを算出する。同様に、垂直方向の画素数N,n およびズーム倍率ｒから処理開始画素の垂直位置Ryを求める。処理開始画素決定部120 は、求めた画素位置を接続線134 を介して補間係数演算部122 に出力する。
【００２１】
補間係数演算部122 は、最初の画素では処理開始画素決定部120 からの画素位置を補間係数ｄとして補間演算部126 に供給し、それ以降の画素ではズーム倍率ｒと元画像の画素間距離にて算出される等間隔の値を、求めた画素の位置に順次加算して対応の入力画素間での位置を算出する位置演算回路である。本実施例では、たとえば、図６に示すようにズーム倍率ｒと元画像の画素間距離にて算出される等間隔の値をズーム倍率データとして受け、これを加算器600 を介して出力するとともに、そのデータを加算器600 にフィードバックして次の値と加算して再び出力する回路にて形成されている。加算器600 は、たとえば８ビットの加算回路であり、加算値が８ビットを超えた場合にキャリービットＣを画素入力部124 に供給する。そのキャリービットＣは、次の入力画素の読み出し、または読み捨てに使用される。具体的には、元画像の画素間距離を28=256 として、ズーム倍率ｒ=1.31 とすると、求める画素間距離は256/1.31≒195 となり、195 の距離を順次前回の画素位置に加算して、256 を超えた場合に画素入力部124 にキャリービットＣを供給して画素取込みを行ない、256 に満たない値（下位８ビット部分）を補間係数ｄとして補間演算部126 に供給する。また、ズーム倍率がｒ=0.66 とすると、求める画素間距離は、256/0.66≒387 となり、387 の距離を順次前回の画素位置に加算して、256 を超えた場合に画素入力部124 にキャリービットＣを供給し、このキャリービットが加算器600 から出力されなくなるまで画素の読み捨てを画素入力部124 が行なうとともに、256 に満たない値を補間係数ｄとして補間演算部126 に供給する。
【００２２】
図１に戻って、画素入力部124 は、処理開始画素決定部120 からの演算値および補間係数演算部122 からのキャリービットＣに応動して、順次元画像の画素を読み出す画素読出回路である。画素入力部124 は読み出した画素データを接続線125 を介して補間演算部126 に出力する。
【００２３】
補間演算部126 は、画素入力部124 から出力された元画像の画素値に補間係数演算部122 から出力された補間係数ｄを乗算して、補間画素の値を演算する主演算回路であり、本実施例ではたとえば図２に示すように、主に１次補間を行なう第１の補間処理部202 と、この補間処理部202 とともに２次補間処理を行なう第２の補間処理部204 とを有し、さらに補間演算部126 は、第２の補間処理部204 の出力に係数Ｋを乗算する乗算器206 と、この乗算器206 の出力と第１の補間処理部202 の出力とを加算して出力する加算器208 とを含む出力制御部210 を有している。すなわち、本実施例における補間演算部124 は、次に記述するNewtonの補間（内挿）公式にしたがって構成されている。
【００２４】
まず、補間演算部126 に入力される２次元画像に対して水平方向と垂直方向とに分けて演算を行ない、結果として隣接する９画素に対して、図９に示すような２次の補間演算（９点補間）を行なう。このとき演算部分は、水平方向と垂直方向とでは同一であるため、隣接する３画素(X0,X1,X2)に対してNewtonの補間公式をあてはめると、この補間演算は次式（１）にて表わされる。
【００２５】
【数１】
Y(X) = f[X0]+(X-X0)f[X0,X1]+(X-X0)(X-X1)f[X0,X1,X2] ・・・（１）
但し、f[X0] = Y0
f[X0,X1] = (Y1-Y0)/(X1-X0)
f[X0,X1,X2] = {f[X1,X2]-f[X0,X1]}/(X2-X0) である。
【００２６】
ここで、式（１）にて画素間隔距離＝１とおくと、式（１）は、
【００２７】
【数２】
Y(X) = Y1(X-X1)+Y0(X1-X) + 1/2(Y2-2Y1+Y0)(X-X0)(X-X1) ・・・（２）
のように変形することができる。
【００２８】
本実施例の補間演算部126 では、基本的には、式（１）の２次の項に対し、係数K (0≧K ≧1)を乗算する構成としている。つまり、
【００２９】
【数３】
Y(X) = Y1(X-X1)+Y0(X1-X) + K/2(Y2-2Y1+Y0)(X-X0)(X-X1) ・・・（３）
である。
【００３０】
一方、電子ズーム機能における画像の拡大／縮小のための画素制御は式（２）において、X-X1を画素間距離と見なして、d =(X-X1) とおくと、
【００３１】
【数４】
Y(X) = Y1d+Y0(1-d)+K/2(Y2-2Y1+Y0)d(d-1) ・・・（４）
となる。
【００３２】
よって補間後の画素間距離d が１未満の値のときは拡大処理となり、画素間距離d が１を超える値のときには縮小処理となる。たとえば拡大時の制御は、画素間距離d を順次積算してゆき、d = 1 となるごとに隣接している画素を読み出し、また、縮小時には、d が１未満になるまで画素を読み捨てる制御を行なう。本実施例における補間演算部126 は、式（４）をさらに、次式（５）に示すように変形して構成されている。すなわち、
【００３３】
【数５】
Y(X) = (Y1-Y0)d+Y0+K/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) ・・・（５）
である。
【００３４】
このように本実施例では、式（５）の２次の項に対し係数K を乗算することによって、式全体に対するその項による値の度合いを係数K に応じて調節することができる。
【００３５】
この式（５）を演算回路にて表わしたのが図２に示す補間演算部126 である。同図からわかるように、第１の補間処理部202 は、前記式（５）における１次の項「(Y1-Y0)d+Y0 」に対応する構成であり、また、第２の補間処理部204 と出力制御部210 とは式（５）における２次の項「+K/2{(Y2-Y1)d-(Y1-Y0)d}(d-1)」に対応する構成である。
【００３６】
第１の補間処理部202 は、第２の補間処理部204 の遅延回路220 の出力222 に接続され、たとえば水平方向の２画素(Y1,Y0) について１次補間を行なう補間回路である。この補間処理部202 は入力222 に現われる画素を遅延させて出力230 に出力する遅延回路228 と、遅延回路220 にて遅延された画素Y1と遅延回路228 にて遅延された画素Y0との差Y1-Y0 を演算して、Y1-Y0 を出力234 に出力する減算器232 と、減算器232 から出力されたY1-Y0 に、補間係数演算部124 （図１）から与えられる補間係数d を乗算する乗算器236 と、乗算器236 の出力238 と遅延回路228 の出力230 とを加算する加算器240 とを含む。加算器240 の出力224 は出力制御部210 の加算器208 に接続されている。
【００３７】
第２の補間処理部204 は、補間処理部202 とともにたとえば水平方向の３画素について(Y2,Y1,Y0)２次補間を行なう補間回路である。この補間処理部204 は、遅延回路220 に入力される画素Y2と遅延回路220 にて遅延された画素Y1との差Y2-Y1 を演算して、Y2-Y1 を出力240 に出力する減算器242 と、減算器242 から出力されたY2-Y1 に、補間係数演算部124 から与えられる補間係数d を乗算する乗算器244 と、この乗算器244 の出力246 と乗算器236 の出力238 との差を演算する減算器248 と、この減算器248 の出力250 に(d-1)/2 を乗算して出力226 に出力する乗算器252 と、補間係数演算部122 から与えられる補間係数d から(d-1)/2 の値を算出して乗算器252 に出力する演算回路254 とを含む。補間処理部204 の226 は出力制御部210 の乗算器206 に接続されている。
【００３８】
この乗算器206 は、補間処理部204 から出力された1/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) を表わす値に対し、補間係数設定部122 から与えられる係数K (0≦K ≦1)を乗算し、その演算結果を加算器208 に出力する。加算器208 は、補間処理部202 の出力224 と乗算器206 の出力とを加算し、その演算結果を画素補間後の画素として出力する。
【００３９】
図１に戻って、補間演算部126 に係数K を出力する係数設定部128 は、本実施例では、その入力136 に接続された操作部130 から通知される情報に応じた係数を補間演算部126 に出力する。操作部130 は、たとえば操作者による電子ズーム時における画質を調節するダイヤルなどに入力される指示に応じて、その操作に応じた調節情報を係数設定部128 に送出する。係数設定部128 は、通知された調節情報に応じた係数K を補間演算部126 に出力する。また、係数設定部128 は、絵柄に応じた調節情報を、たとえば撮像機器に備えられたシステムコントロール部などから受けて、この調節情報に応じて係数K を設定するように構成されてもよい。このように本実施例では、撮像する被写体の絵柄に応じて補間演算部126 にて使用される係数K を任意に設定することができる。
【００４０】
以上のような構成で本実施例における電子ズーム処理装置100 の動作を以下に説明する。まず、操作者がズーム倍率入力部を通してズーム倍率ｒを設定すると、処理開始画素決定部120 にて元画像の画素数M,N およびズーム処理後の画素数m,n に基づいてカメラの撮像系またはフレームメモリなどから供給される元画像における読み出し開始画素の位置を決定して、画素入力部124 に供給する。
【００４１】
たとえば、拡大処理を行なう場合、処理開始画素決定部120 は、その水平走査方向において画素数M,m をそれぞれ640 とし、垂直方向の画素数N,n を480 として、ズーム倍率ｒ=1.31 とすると、処理開始画素の位置(Rx,Ry) を(75,56) と算出する。処理開始画素決定部120 は算出した画素位置を画素入力部124 に通知し、これを受けた画素入力部124 では、まずその画素を読み出し、次いで、次の位置(76,56) および(77,56) の画素を順次読み出して、補間処理部126 の遅延回路220 に供給する。
【００４２】
処理開始画素Ｒを受けた補間画素演算部126 は、入力画素を遅延回路220 にて遅延出力し、さらに遅延回路220 の出力を遅延回路228 にて遅延出力させる。遅延回路220 の出力(Y1)は遅延回路228 の出力(Y0)が減算器232 にて減算され、その出力(Y1-Y0) が乗算器236 に与えられて、これに変換係数d が乗算される。この演算結果(Y1-Y0)dは、さらに加算器240 にて、遅延回路228 から出力された(Y0)と加算され、その演算結果(Y1-Y0)d+Y0 が加算回路228 の一方の入力に供給される。
【００４３】
一方、遅延回路220 の出力(Y1)と画素データ(Y2)とは、減算器242 に入力されてその差(Y2-Y1) が算出され、その演算結果(Y2-Y1) は乗算器244 にて変換係数d が乗算される。この演算結果(Y2-Y1)dと乗算器236 の出力(Y1-Y0)dとの差が減算器248 にて演算されて、その演算結果{(Y2-Y1)d-(Y1-Y0)d} が乗算器252 に入力される。
【００４４】
乗算器252 の他方の入力には演算回路254 から(d-1)/2 が与えられており、この値と減算器248 の出力250 とが乗算される。乗算器252 の演算結果1/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) は、接続線226 を介して乗算器206 に入力され、この値と、係数設定部128 から設定されている係数K とが乗算される。この演算結果は、加算器208 の他方の入力に入力される。加算回路208 では、前記式（５）における１次の項に対応する(Y1-Y0)d+Y0 と、２次の項に対応するK/2{(Y2-Y1)d-(Y1-Y0)d}(d-1) とが加算されてその加算結果が補間後の画素データとして出力される。
【００４５】
この結果、係数設定部128 から係数K の値がK=0 が設定されている場合には、式（５）の２次の項における演算結果は、"0" となって実質的には加算回路208 には入力されず、加算回路208 の出力は同式（５）の１次の項における演算結果のみが出力される。また、K=1 が係数設定部128 にて設定されている場合には、補間処理部204 にて演算された演算結果がそのまま加算器208 に入力され、式（５）における１次の項に２次の項を加えた演算結果が補間演算部126 の出力として出力される。さらに、係数設定部128 にて設定された係数K が(0＜K ＜1)であった場合には、前記式（５）における１次の項と２次の項との中間的な値が画素補間後の画素データとして出力される。以上の動作は水平方向の処理について説明したものである。同様な動作を垂直方向について行なう必要がある。この場合、図２に示した遅延回路220 および228 を１水平走査線単位の遅延素子（たとえばラインメモリ等）に置き換えたものを使用する。なお、水平および垂直方向のいずれかを先に処理してよい。
【００４６】
この結果、設定された係数K が"1" に等しいかもしくはそれに近い場合には、２次補間の演算処理結果が充分に反映された補間処理後の画素データが出力され、逆に、係数K が"0" に等しいかもしくはそれに近い場合には、１次補間の特性を大きく有した補間処理後の画素データが得られる。したがって特に前者の場合には、図７に示したように、ダイナミックレンジの広い補間後の画素データを得ることができる。
【００４７】
また、この係数K を変化させることによって、そのダイナミックレンジを可変することができるので、入力画像に応じた係数を適切に選択することによって、絵柄に応じたダイナミックレンジを得ることができる。このことは、たとえば、画像のエッジ部分における強調の度合いを可変することができることを意味し、強調する必要がない画像や強調によって画像が破綻するような場合には、係数K の値を"0" か、またはそれに近い値を選択するとよい。また、入力画像がフラットな画像の場合には、係数K の値を"1" か、もしくはそれに近い値を選択することで、輪郭部分が適度に強調された画像が得られる。これらはその画像の映像表現の仕方に応じて操作部130 を操作することによって任意に選択調整することができる。また、たとえばズーム倍率に応じて画質の評価が変化する場合には、そのズーム倍率に連動させて係数K を変化させることもでき、この場合、ズーミング時における画質変化を少なくすることもできる。また、このようにズーム倍率と係数K とを連動させることによって、ズーム倍率に応じた強調処理も可能となる。
【００４８】
以上のようにして補間およびズーム処理された画素は、たとえば、図10にその一例を示すように、拡大または縮小された画素として出力される。同図には、水平方向640 画素、垂直方向480 画素の画像を1.31倍にズームインした拡大例（上段）と、水平方向1024画素、垂直方向512 画素の画像を0.66倍に縮小した縮小例（下段）が示され、それぞれの画素補間後の画素データは、前述したとおり係数設定部128 から与えられた係数に応じてそれぞれダイナミックレンジが拡大されている。この図において、鎖線は１次補間における画素の対応を示している。
【００４９】
この様子を図７に戻ってみると、１次補間は線形補間であるので、ダイナミックレンジが２次補間と比較して狭い。２次補間では、たとえば水平方向に対して３点補間であるため、２次曲線にて表わされ、その極大および極小における画素の値が広がってダイナミックレンジが拡大されていることがわかる。本実施例では、このダイナミックレンジを係数設定部128 による係数K に応じて可変させることができた。
【００５０】
以上説明した実施例では、とくに係数K を大きい値に設定した場合には、２次補間の割合が増えるので、補間処理後のダイナミックレンジが拡大されるという利点があった。しかし補間処理後の画像データを処理する後段の信号処理回路にてオーバーフローが発生する場合には、補間演算部126 の出力に、ゲインコントロールのための乗算器を接続することでこの問題が解決される。
【００５１】
具体的には、たとえば補間処理前の画像データが８ビットにて表わされたデータである場合、このダイナミックレンジが拡大されて、補間処理後の画素データが９ビットのデータになることがある。したがって、たとえば後段の信号処理系が８ビットを前提として構成されているときには、図８に示したように、出力制御部210 の加算器208 （図２）の出力に、制御信号G に応じてゲインコントロールする乗算器800 を接続する。この制御信号G は、たとえば加算器208 の出力を監視する監視回路802 にて生成され、監視回路802 は、加算器208 から出力される８ビットまたは９ビットの画素データを判定し、９ビットデータが入力された場合には、これが８ビットのデータとなるようにゲイン制御する制御信号を乗算器800 に出力する。この場合、監視回路802 は、入力した画素データを高輝度圧縮するような制御信号を生成するとよい。また、監視回路802 は、一定値以上の入力画素データをすべて一定の画素値にゲイン制御する制御信号を生成して乗算器800 に供給するリミッタ制御機能を有してもよい。乗算器800 は監視回路802 から与えられた制御信号G を、入力した９ビットデータに乗算して８ビットデータを作成し、これを補間演算部126 の出力として出力する。
【００５２】
また、監視回路802 は、補間係数設定部128 から出力された係数K を入力し、これを監視結果に応じて修正する機能を有してもよい。具体的には監視回路802 は、９ビットのデータを検出した場合には、入力した係数K の値をそれよりも小さく設定し直した係数K'を乗算器206 に供給し、加算器208 の出力が８ビットを超えないように、補間処理後のダイナミックレンジを制御する。この場合、制御信号G によって可変増幅する乗算器800 はなくてもよいがあってもよい。乗算器800 がある場合には、２次補間を適度に効かせた状態で、その出力をゲインコントロールし、その結果、後段の処理回路におけるオーバーフローを防止することができる。
【００５３】
また、上記実施例では図３に示すようにカメラの撮像系からの映像信号を受けてバッファ300 に蓄積するように構成したが、本発明ではたとえば図４または図５に示すように撮像機器以外の処理装置に適用してもよい。この場合、図４では一般的な処理装置に適用された例であり、フィールドメモリまたはフレームメモリなどの記憶回路400 にビデオデッキまたはビデオカメラなどからの映像信号を蓄積して、このメモリ400 からの映像信号を順次上記ズーム処理装置100 に読み出してズーム処理し、再生装置などに拡大または縮小した画像として出力する。図５ではズーム処理した画像に、さらに反転、回転などの特殊処理を施して出力する場合等に適用される構成であり、メモリ(A) 400 に一旦蓄積した画像を上記電子ズーム処理装置100 に順次読み出してズーム処理を施して、その画像を第２のメモリ(B) 500 の任意のアドレスに蓄積して画像の反転、回転などの特殊処理を施した状態にて蓄積し、順次読み出して出力するものである。
【００５４】
【発明の効果】
このように本発明によれば、１次補間と２次補間との度合いを係数設定手段により設定される第１の係数に応じて、調節することができるので、画像のエッジ部分における強調の度合いを可変にすることができ、さらに様々な絵柄において画質を高め、破綻の少ない電子ズーム出力画を得ることができる。また、従来の方式では不足がちであった補間処理後の周波数特性が改善されるとともに、この周波数特性の改善の度合いを可変することができるので、様々な絵柄に対してよりよい補間状態を選択することが可能となった。
【図面の簡単な説明】
【図１】本発明による電子ズーム処理装置の一実施例を示すブロック図である。
【図２】図１に示した実施例における補間処理部の内部構成の一例を示す図である。
【図３】図１に示した実施例による電子ズーム処理装置が撮像機器に適用される場合の構成を示すブロック図である。
【図４】図１に示した実施例による電子ズーム処理装置が一般的な画像処理装置に適用される場合の構成を示すブロック図である。
【図５】図１に示した実施例による電子ズーム処理装置が特殊効果を施す画像処理装置に適用される場合の構成を示すブロック図である。
【図６】図１に示した実施例における補間係数演算部の構成例を示すブロック図である。
【図７】１次補間および２次補間にてそれぞれ処理された画素のダイナミックレンジの差を示す図である。
【図８】図２に示した出力制御部の他の構成例を示すブロック図である。
【図９】２次補間による補間処理を概念的に示す図である。
【図１０】画素補間処理後の画素位置の一例を示す図である。
【符号の説明】
100 電子ズーム処理装置
120 処理開始画素決定部
122 補間係数演算部
124 画素入力部
126 補間演算部
128 係数設定部
130 操作部
Claims (10)
- 設定されたズーム倍率に応じて画像データをディジタル演算して、その画像データにて表わされる画像を拡大または縮小する電子ズーム処理装置において、該装置は、
前記ズーム倍率に応じて処理開始画素の位置を決定する画素決定手段と、
前記ズーム倍率および前記画素決定手段にて決定された処理開始画素に基づいて、補間処理後の画素間隔を算出する補間係数演算手段と、
該補間係数演算手段の演算結果に基づいて、前記画像データを補間処理する補間演算手段とを有し、該補間演算手段は、
前記画素データを遅延させ、前記画素データと前記遅延させた画素データとの差を演算して、該演算結果に補間係数を乗算して前記画素データを１次補間する第１の補間手段と、
該第１の補間手段による前記演算結果に前記補間係数を乗算した乗算出力と前記画素データとを演算して２次補間する第２の補間手段と、
前記第１および第２の補間手段の出力を加算して出力する出力制御手段とを含み、
該装置はさらに、前記出力制御手段における加算の割合を制御する第１の係数を設定する係数設定手段を有し、
前記出力制御手段は、前記設定された第１の係数に応じた２次補間の処理結果を前記１次補間の処理結果に加算することを特徴とする電子ズーム処理装置。 - 請求項１に記載の電子ズーム処理装置において、該装置は、操作者の操作を検出する操作手段を有し、前記係数設定手段は、前記操作手段にて検出された操作情報に従って前記第１の係数を設定することを特徴とする電子ズーム処理装置。
- 請求項１に記載の電子ズーム処理装置において、前記出力制御手段は、前記加算結果に対し、該加算結果が所定のビット数を超えないようにゲイン制御する第１の乗算手段を含むことを特徴とする電子ズーム処理装置。
- 請求項３に記載の電子ズーム処理装置において、前記出力制御手段は、前記加算結果が前記所定のビット数を超えたか否かを監視する第１の監視手段を含み、
前記第１の乗算手段は、前記第１の監視手段の監視結果に従ってゲイン制御することを特徴とするズーム処理装置。 - 請求項１に記載の電子ズーム処理装置において、前記出力制御手段は、前記第２の補間手段の出力に対し、出力制御のための第２の係数を乗算する第２の乗算手段を有し、該出力制御手段は該第２の乗算手段による演算結果と前記第１の補間手段の出力とを加算し、
該出力制御手段はさらに、前記加算結果が前記所定のビット数を超えたか否かを監視する第２の監視手段を含み、
前記第２の乗算手段は、前記第２の監視手段の監視結果に従った第２の係数を前記第２の補間手段の出力に乗算することを特徴とするズーム処理装置。 - 設定されたズーム倍率に応じて画像データをディジタル演算して、その画像データにて表わされる画像を拡大または縮小する電子ズーム処理方法において、該方法は、
前記ズーム倍率に応じて処理開始画素の位置を決定する画素決定工程と、
前記ズーム倍率および前記画素決定工程にて決定された処理開始画素に基づいて、補間処理後の画素間隔を算出する補間係数演算工程と、
該補間係数演算手段の演算結果に基づいて、前記画像データを補間処理する補間演算工程とを有し、該補間演算工程は、
前記画素データを遅延させ、前記画素データと前記遅延させた画素データとの差を演算して、該演算結果に補間係数を乗算して前記画素データを１次補間する第１の補間工程と、
該第１の補間工程による前記演算結果に前記補間係数を乗算した乗算出力と前記画素データとを演算して２次補間する第２の補間工程と、
前記第１および第２の補間工程の出力を加算して出力する出力制御工程とを含み、
該方法はさらに、前記出力制御工程における加算の割合を制御する第１の係数を設定する係数設定工程を有し、
前記出力制御工程は、前記設定された第１の係数に応じた２次補間の処理結果を前記１次補間の処理結果に加算することを特徴とする電子ズーム処理方法。 - 請求項６に記載の電子ズーム処理方法において、該方法は、操作者の操作を検出する操作工程を有し、前記係数設定工程は、前記操作工程にて検出された操作情報に従って前記第１の係数を設定することを特徴とする電子ズーム処理方法。
- 請求項６に記載の電子ズーム処理方法において、前記出力制御工程は、前記加算結果に対し、該加算結果が所定のビット数を超えないようにゲイン制御する第１の乗算工程を含むことを特徴とする電子ズーム処理方法。
- 請求項８に記載の電子ズーム処理方法において、前記出力制御工程は、前記加算結果が前記所定のビット数を超えたか否かを監視する第１の監視工程を含み、
前記第１の乗算工程は、前記第１の監視工程の監視結果に従ってゲイン制御することを特徴とするズーム処理方法。 - 請求項６に記載の電子ズーム処理方法において、前記出力制御工程は、前記第２の補間工程の出力に対し、出力制御のための第２の係数を乗算する第２の乗算工程を有し、該出力制御工程は該第２の乗算工程による演算結果と前記第１の補間工程の出力とを加算し、
該出力制御工程はさらに、前記加算結果が前記所定のビット数を超えたか否かを監視する第２の監視工程を含み、
前記第２の乗算工程は、前記第２の監視工程の監視結果に従った第２の係数を前記第２の補間工程の出力に乗算することを特徴とするズーム処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23819095A JP3699171B2 (ja) | 1995-09-18 | 1995-09-18 | 電子ズーム処理装置および電子ズーム処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23819095A JP3699171B2 (ja) | 1995-09-18 | 1995-09-18 | 電子ズーム処理装置および電子ズーム処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0983863A JPH0983863A (ja) | 1997-03-28 |
| JP3699171B2 true JP3699171B2 (ja) | 2005-09-28 |
Family
ID=17026507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23819095A Expired - Fee Related JP3699171B2 (ja) | 1995-09-18 | 1995-09-18 | 電子ズーム処理装置および電子ズーム処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3699171B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4026491B2 (ja) | 2002-12-13 | 2007-12-26 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体 |
-
1995
- 1995-09-18 JP JP23819095A patent/JP3699171B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0983863A (ja) | 1997-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0641508B1 (en) | Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom | |
| US5838371A (en) | Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification | |
| EP1587311A1 (en) | Image processing device and method, recording medium, and program | |
| JPH02246686A (ja) | 画像の動きベクトル検出装置および揺れ補正装置 | |
| JP2826018B2 (ja) | ビデオ信号のノイズ低減システム | |
| JP3699171B2 (ja) | 電子ズーム処理装置および電子ズーム処理方法 | |
| JP3132055B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2000278592A (ja) | 撮像装置、その制御方法および記憶媒体 | |
| JPH06334994A (ja) | 動きベクトルを用いた適応動き内挿信号生成装置 | |
| JPH08307760A (ja) | 画像メモリ機能付き映像装置 | |
| EP0641123B1 (en) | Image movement compensation apparatus | |
| JP3949740B2 (ja) | 電子ズーム処理装置および電子ズーム処理方法 | |
| JP3754803B2 (ja) | 撮像装置 | |
| JP4314898B2 (ja) | 撮像装置、及びその画像制御方法 | |
| JP3289311B2 (ja) | ノイズ低減装置 | |
| JPH0767025A (ja) | 映像処理装置 | |
| JP3158781B2 (ja) | ノイズ低減装置 | |
| JPH11168653A (ja) | 輪郭補償システム | |
| JP3265590B2 (ja) | 画像の動きベクトル検出装置及び画像揺れ補正装置 | |
| JPH05130452A (ja) | 可変フイルタ装置 | |
| JP3548204B2 (ja) | 映像処理装置 | |
| JPH11168622A (ja) | 画像処理装置、画像処理方法および記憶媒体 | |
| JP3158802B2 (ja) | 補間機能付き映像装置 | |
| JPH1153530A (ja) | 画像補間装置 | |
| JP3191586B2 (ja) | 画像動き補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080715 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090715 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100715 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110715 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120715 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130715 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |