JPH08279949A - 電子ズーム処理装置および電子ズーム処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像を表わす映像信号をディジタル演算にて
拡大縮小処理する際に処理された画像の中心位置が元画
像に対してずれることなく画像端から順次演算処理す
る。 【構成】 処理開始画素決定部10は元画像の中心位置に
基づいて処理開始画素を決定する。その際の整数部は画
素入力部18に与えられて開始画素が読み出される。この
際に、処理開始画素の中心ずれをその演算結果の小数部
から補整値算出部12にて算出して補間係数演算部14に与
える。その結果、内挿補間演算部16に補間係数として与
えられた中心位置補整値にて求める画素の位置が補整さ
れて、その位置にて画素入力部18からの入力画素から画
像端の画素値が求められる。以降、補間係数演算部14に
てズーム倍率ｒから算出される等間隔の距離を最初の位
置に順次加算して他の画素が補間演算される。これによ
り、中心位置ずれが生じることなく有効に画素端から演
算処理が実行される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を表わす映像信号
をディジタル演算によりズーム処理する電子ズーム処理
装置および電子ズーム処理方法に係り、たとえば、ビデ
オカメラおよび電子スチルカメラ等の撮像機器または、
これら撮像機器からの映像信号を編集処理する編集機お
よびフィルムまたはビデオテープなどから画像を表わす
映像信号を読み取ってディジタル処理するフィルムスキ
ャナ等のディジタル画像処理装置などに用いて好適な電
子ズーム処理装置および電子ズーム処理方法に関するも
のである。

【０００２】

【従来の技術】近年、たとえば、ビデオカメラなどの撮
像機器では、被写体を撮像する際に光学的なズーミング
と電子的なズーミングとを併用して、被写体像を自在に
ズームインおよびズームアウトして所望の大きさに調整
して撮影するものが知られている。また、たとえばビデ
オデッキなどからの映像信号を合成するなど特殊効果を
再現する編集装置等では、撮影された画像を表わす映像
信号をディジタル処理して、その信号にて表わされる画
像を自在に拡大または縮小する電子ズーム処理機能を有
するものが知られている。これらの場合、画質の向上を
図るために単純間引きおよび単純補間などによらず、元
画像の複数の画素から補間演算により画素を線形内挿す
る内挿補間演算処理が有利に用いられている。

【０００３】従来、たとえば、特開昭53-128219 号公報
または特開昭54-125917 号公報などに記載された電子ズ
ーム方式では、たとえば、ｍ個の入力画素を画素間隔ｈ
にて入力して、その映像信号を画素端から順次画素間隔
ｇにてｎ個の出力画素として内挿補間演算し、これを再
び画素間隔ｈの信号に変換して、画像の拡大または縮小
処理を行なうものがあった。この場合、たとえば前者の
電子ズーム方式では、１番目の入力画素の位置を原点と
してｉ番目の内挿出力画素位置P_iを次式(1) により求め
て、それぞれの近傍の入力画素から内挿補間演算を行な
っていた。

【０００４】 ただし、α(i) は演算結果の整数部、β(i) は演算結果
の整数部である。

【０００５】つまり、上式の整数部α(i) から内挿補間
に使用する入力画素が決定され、小数部β(i) から内挿
距離が決定されて、これら決定された入力画素間での内
挿距離に応じて補間画素の値が内挿補間演算により順次
求められていた。

【０００６】また、後者の電子ズーム方式では、それぞ
れの画素の演算を迅速に実行するために、上式(1) また
は次式(2) から画素数n,m にて求められる係数k1または
k2を演算して、これを求めた前回の画素位置P_i-1に順次
加算して、それぞれの画素位置を順次求め、それぞれの
画素値を内挿補間により演算するものであった。

【０００７】 または ただし、k1=(m-1)/n,k2=(m-1)/(n-1) である。

【０００８】この場合も上記と同様にその演算結果は、
整数部と小数部に分けられて、整数部の値にて入力画素
が決定され、小数部にて対応の入力画素に対する内挿距
離が求められ、これらより上記と同様に画素値が補間演
算されるものであった。

【０００９】このように従来は、画素端から順次画素位
置を算出して、その位置に対応する入力画素間から内挿
画素を順次補間演算していくものが一般的であった。

【００１０】

【発明が解決しようとする課題】しかしながら、上述の
ように画素端から順次画素位置を算出していく場合、そ
れぞれの画素位置での端数の丸めなどにより順次後方の
画素では演算誤差が拡大して、その中心位置では元の画
像の中心に対してずれが生じてしまうという問題があっ
た。特に、ズーム倍率を1.31倍あるいは0.86倍というよ
うに小数部まで有効となるように精度を高めると、必然
的に画像の中心点の座標が元の画像に対してずれてく
る。したがって、このような方式で時間的に連続的なズ
ーミングを行なうと画像が揺らいで見えるなどの問題が
生じていた。

【００１１】そこで、本願発明者は、たとえば特願平6-
86863 にて画像端にて中心ずれを補整するオフセット値
をあらかじめ与えて、演算を開始する画像処理装置を提
案している。しかし、その出願時点では補整値の与え方
は具体的に開示されていなかった。したがって、たとえ
ば元画像の画素間隔の２分の１の距離を初期位置として
求めている例が示されている。上述した従来の技術でも
上式(1),(2) から明らかなようにi=1 の場合、画素端の
位置は、(1-1/2)=g/2 または(1-1)=0 の位置、つまり入
力画素の原点に対する位置から演算が開始されており、
上述のように画像端からの演算による中心ずれが解決さ
れているものがなかった。

【００１２】また、中心ずれが生じないように、画像の
中心点を固定して、中心点より画像端の方向へ画素位置
を算出してゆく方法が考えられる。しかし、中心より画
像端に演算してゆくと中心のずれは起こらないが、ラン
ダムアクセス可能な画像メモリを使用しなければならな
い、あるいは、回路的な工夫をさらに行なわなければな
らないなどハードウェア的に制限が課されてくる問題が
あった。これにより、装置の回路規模、コストともに大
となって、特に、ビデオカメラまたは電子スチルカメラ
などの携帯機器では、小型軽量化に際して不利になって
くる問題があった。

【００１３】本発明は上記課題を解決して、画像端から
順次補間演算を行なった場合にも有効に中心位置ずれの
補整を行なうことができ、したがって、小規模、低コス
トな回路で画像の揺らぎなどを有効に解消することがで
きる電子ズーム処理装置および電子ズーム処理方法を提
供することを目的とする。

【００１４】

【課題を解決するための手段】本発明による電子ズーム
処理装置は上記課題を解決するために、入力した映像信
号を設定されたズーム倍率に応じてディジタル演算し
て、その映像信号にて表わされる画像を拡大または縮小
処理する電子ズーム処理装置において、入力した元画像
の映像信号のうちズーム処理を開始する画素の位置をそ
の元画像の中心画素に対して決定する処理画素決定手段
と、処理画素決定手段にて決定された処理開始画素での
中心画素に対する位置ずれを求めて、これより中心位置
補整値を算出する補整値算出手段と、補整値算出手段に
て求めた中心位置補整値を、求める画素の最初の画素の
位置に対して補整して、その補整位置での画素値を元画
像の開始画素と次の画素の値から内挿補間演算により求
め、その画素以降の画素の位置を倍率に応じた等しい間
隔にて求めてそれぞれの画素値を順次対応する入力画素
から内挿補間演算により求める画素値演算手段とを含む
ことを特徴とする。

【００１５】この場合、処理画素決定手段は、ズーム処
理前の画像の中心画素の位置と処理開始画素の位置との
差の２倍にズーム倍率を積算して求まるズーム処理後の
画素数の関係から処理開始画素の位置を逆算して、その
結果の整数部を開始画素の位置として求めるとよい。ま
た、補整値算出手段は、処理画素決定手段にて求めた処
理開始画素の位置の演算結果の小数部を開始画素での中
心画素に対する位置ずれとして求めて、これに入力画素
の画素間距離を積算した値を中心位置補整値として算出
すると有利である。

【００１６】さらに、画素値演算手段は、求める画素の
位置を前回の画素の位置にズーム倍率に応じた等間隔の
距離を順次加算して対応の元画像の画素間に対する位置
を求めて、これを補間係数とする補間係数演算手段と、
補間係数演算手段にて求めた位置に対応する元画像の画
素を順次遅延回路を介して入力する画素入力手段と、画
素入力手段からの現時点での画素と遅延画素とに前記補
間係数を積算して、求める画素の画素値を演算する補間
画素値演算手段とを含むとよい。

【００１７】この場合、補間画素値演算手段は、現画素
と遅延画素との値の差をとる引算回路と、引算回路の出
力に前記補間係数演算手段からの補間係数を積算する積
算回路と、積算回路の出力に前画素の値を加算する加算
回路とを含むとよい。

【００１８】その際に、補間画素演算手段の引算手段
と、積算手段と、加算手段とは、それぞれハード的な演
算回路にて形成されているとよい。また、引算手段と、
積算手段と、加算手段とは、それぞれソフトウェアにて
実現してもよい。

【００１９】また、補間係数演算手段は、前回求めた画
素の位置に等間隔の距離を加算してその値が元画像の画
素間距離を越えた際に、画素入力手段に元画像の次の画
素を読み出す指示を与えるようにするとよい。

【００２０】さらに、補間係数演算手段は補整値算出手
段に接続され、最初の画素の値を求める際に補整値算出
手段からの中心位置補整値を補間画素演算手段に供給し
てその画素値を求め、以降の画素を求める際に等間隔の
距離にて求めた補間係数を補間画素値演算手段に供給し
て順次以降の画素を求めるとよい。

【００２１】一方、補整値算出手段にて算出された中心
位置補整値は、ズーム倍率に対応してあらかじめ記憶手
段に蓄積されて、補間画素値演算手段にて最初の画素値
を補間演算する際に倍率データに応じて読み出されて補
間画素値演算手段に供給されるようにするとよい。

【００２２】また、補間係数演算手段は、中心位置補整
値のダイナミックレンジを拡張し、隣接する画素間の距
離以上の補整を画素単位で補整することで、故意に中心
位置をずらした画像を得るようにするとよい。

【００２３】他方、本発明による電子ズーム処理方法
は、入力した映像信号を設定されたズーム倍率に応じて
ディジタル演算して、その映像信号にて表わされる画像
を拡大または縮小処理する電子ズーム処理方法におい
て、入力した元画像のそれぞれの画素に基づいて求める
画素を画像端から順次内挿補間演算により求める際に、
入力した元画像の映像信号のうちズーム処理を開始する
画素の位置をその元画像の中心画素に対して決定する第
１の工程と、第１の工程にて決定された処理開始画素で
の中心画素に対する位置ずれを求めて、これより中心位
置補整値を算出する第２の工程と、第２の工程にて求め
た中心位置補整値を、求める画素の最初の画素の位置に
対して補整する第３の工程と、第１の工程にて決定され
た元画像の画素および次の画素を順次読み出す第４の工
程と、第３の工程にて補整した位置での画素値を第４の
工程にて読み出した元画像の開始画素と次の画素の値か
ら内挿補間演算する第５の工程と、第５の工程にて求め
た画素以降の画素の位置を倍率に応じた等しい間隔にて
求める第６の工程と、第６の工程にて求めた位置に対応
する元画像の画素を順次読み出す第７の工程と、第７の
工程にて読み出した入力画素から前記第６の工程による
位置での画素値を順次内挿補間演算により求める第８の
工程を含むことを特徴とする。

【００２４】この場合、第１の工程はズーム処理前の画
像の中心画素の位置と処理開始画素の位置との差の２倍
にズーム倍率を積算して求まるズーム処理後の画素数の
関係から処理開始画素の位置を逆算して、その結果の整
数部を処理開始画素の位置として求めるとよい。また、
第２の工程は第１の工程にて求めた処理開始画素の位置
の演算結果の小数部に入力画素の画素間距離を積算して
中心位置補整値を算出すると有利である。

【００２５】さらに、第４の工程および第７の工程は、
読み出された元画像のそれぞれの画素を遅延させて現時
点の画素と遅延画素とを順次対応の求める画素に対して
出力するとよい。また、第５の工程は、第４の工程から
処理開始画素を遅延画素として受け、その次の画素を現
画素として受け、それらの値の差をとり、その結果に前
記第３の工程にて中心位置補整が施された位置での補間
係数を積算し、その積算結果に現画素の値を加算して、
補間画素の値を演算するとよい。同様に、第８の工程
は、第７の工程からの現画素と遅延画素との値の差をと
り、その結果に第６の工程にて算出された補間係数を積
算し、その積算結果に現画素の値を加算して、補間画素
の値を演算するとよい。

【００２６】さらに、第７の工程は第６の工程にて前回
求めた画素の位置に等間隔の距離を加算してその値が元
画像の画素間距離を越えた際に、元画像の次の画素を順
次読み出すとよい。

【００２７】また、第２の工程にて算出された中心位置
補整値は、ズーム倍率に対応してあらかじめ蓄積され
て、最初の画素値を補間演算する際に倍率データに応じ
て読み出されるようにするとよい。これらの場合、中心
位置補整値は、隣接する画素間の距離以上の補整値とし
てダイナミックレンジが拡張されて、その補整値にて画
素単位で補整することで、故意に中心位置をずらした画
像を得るようにしてもよい。

【００２８】

【作用】本発明における電子ズーム処理装置および電子
ズーム処理方法によれば、ズーム倍率が設定されて元画
像が供給されると、まず、処理画素決定手段にてズーム
倍率に応じて元画像の中心画素に対する処理開始画素が
決定される。この際に、処理画素決定手段は、たとえば
ズーム処理前の元画像の中心画素の位置と処理開始画素
の位置との差の２倍にズーム倍率を積算して求まるズー
ム処理後の画素数の関係から処理開始画素の位置を逆算
して、その整数値から開始画素を決定し、入力画素の処
理開始位置を決定する。次に、補整値算出手段にて、求
められた処理開始画素の位置の演算結果の小数部を処理
画素決定手段から受けて、たとえば、その小数部の値と
元画像の画素間隔とを積算することにより、処理開始画
素の中心ずれを求めて、これを中心位置補整値として出
力する。これにより、画素値演算手段にて、求める画像
の画素端の位置が中心位置補整値にて補整されて、その
位置での画素値が読み出された元画像の処理開始画素と
次の画素から内挿補間演算により求められる。次に、画
像端の画素値が求められると、画素値演算手段にて画素
端の位置から順次ズーム倍率に応じた等間隔の距離を加
算して、その加算値がたとえば元画像の画素間隔を越え
ると、入力画素の次の画素を読み出して、前の画素と読
み出した画素との間にて求める画素の位置を求め、その
位置にて内挿補間演算によりそれぞれの画素の値が求め
られていく。この結果、求める画像の中心画素は、画素
端にて中心位置補整が施されているので、元画像の中心
画素の位置と重なり、中心位置のずれのないズーム処理
演算が順次行なわれる。これをそれぞれの走査線毎に実
行して、それぞれの走査線のズーム処理が行なわれる
と、上記と同様に垂直方向のズーム処理が行なわれて、
この結果の画像がズーム倍率に応じた拡大または縮小処
理された画像を表わす映像信号として出力される。

【００２９】

【実施例】次に本発明による電子ズーム処理装置および
電子ズーム処理方法の一実施例を添付図面を参照して詳
細に説明する。図１には、本発明による電子ズーム処理
方法が適用された電子ズーム処理装置の一実施例が示さ
れている。本実施例における電子ズーム処理装置100
は、元画像の画素データを順次入力して、これらを内挿
補間演算にてディジタル演算して拡大または縮小された
画像を表わす映像信号を出力する信号処理装置であり、
たとえば、ビデオカメラまたは電子スチルカメラなどの
撮像機器に適用された際に、図２に示すように撮像系か
らの映像信号を受けてズーム処理し、処理した信号をフ
レームメモリまたはフィールドメモリなどのバッファ11
0 に蓄積して、ファインダおよび記録再生系に出力す
る。特に、本実施例の電子ズーム処理装置100 は、画素
端から順次補間画素を求める際に、元画像の中心画素に
対する処理開始画素を求めて、その処理開始画素におけ
る中心画素からの位置ずれを求め、これより中心位置補
整値を画像端の求める画素に対して補整する点に大きな
特徴を有する。

【００３０】詳細には本実施例の電子ズーム処理装置10
0 は、図１に示すように処理開始画素決定部10と、中心
位置補整値算出部12と、補間係数演算部14と、内挿補間
演算部16と、画素入力部18とを含む。処理開始画素決定
部10は、図示しない倍率入力部から設定されるズーム倍
率ｒを受けて元画像の処理開始画素の位置R(x,y)を決定
する演算部であり、たとえば、ビデオカメラなどでは演
算処理用のマイクロプロセッサなどが有効に適用され
る。この処理開始画素決定部10では、たとえば、ビデオ
カメラのCCD(Charged Coupled Device) の画素数または
ディジタル処理装置での元画像を蓄積するフレームメモ
リなどの容量から元画像の画素数MxN が与えられてお
り、また、ズーム処理後の画素数mxn も表示装置などの
画素数から与えられている。本実施例では、たとえば、
水平方向にて元画像の画素数Ｍの２分の１、つまり元画
像の中心位置と処理開始画像の位置Rxとの差の２倍にズ
ーム倍率ｒを積算して得られるズーム処理後の画素数ｍ
の関係から、既知となっている画素数M,m およびズーム
倍率ｒから逆算して処理開始画素の位置Rxを算出してい
る。同様に、垂直方向の画素数N,n およびズーム倍率ｒ
から処理開始画素の垂直位置Ryを求めている。

【００３１】たとえば、図５に示すように水平方向ｍ画
素のズーム画像を得る場合、ズーム処理前の画像の中心
位置をＳとすると、ズーム画像の画素数ｍは、 m=2 ×（ズーム前の中心位置Ｓ−処理開始画素位置Ｒ）
×ズーム倍率ｒ という式にて求められる。ここで、ズーム前の中心座標
Ｓは、元画像の画素数Ｍが通常、偶数画素数であるの
で、S=(M/2+0.5) となる。しかし、その点が画素格子上
に存在しないので、M/2 にある画素を中心位置とみなす
と、 m=2r(M/2-Rx) となり、処理開始画素の水平方向の位置Rxは、 Rx=(M-m/r)/2 となる。同様に、処理開始画素の垂直方向の位置Ryは、 Ry=(N-n/r)/2 となる。

【００３２】この結果、処理開始画素決定部10は、元画
像の画素数M,N と、処理後の画素数m,n と、ズーム倍率
ｒとから処理開始画素の位置R(x,y)を求める。その演算
結果は、本実施例ではズーム倍率ｒが、たとえば1/4 倍
から２倍まで1/100 の精度にて連続的に設定可能となっ
ているとして、1/1000の精度にて処理開始画素の位置R
(x,y)を求めて、その整数部の値を処理開始画素として
画素入力部18に供給し、小数部の値を中心ずれとして中
心位置補整値算出部12に供給する。具体的には、M=m=64
0,N=n=480 として、ズーム倍率r=1.31とすると、 Rx=(640-640/1.31)/2=75.725 Ry=(480-480/1.31)/2=56.794 となる。したがって、R(x,y)の整数部(75,56) を画素入
力部18に供給し、少数部(0.725,0.794) を中心位置補整
値算出部12に供給する。

【００３３】中心位置補整値算出部12は、処理画素決定
部10からの中心ずれの値を受けて、これを元画像の画素
間隔に積算して、中心位置補整値を算出する補整値出力
回路である。たとえば、図８(A) に示すように上記画素
から小数点以下を切り捨てた状態にて順次補間演算する
と、元画像の中心画素に対して中心ずれが生じる。した
がって、本実施例では、その中心ずれを図８(B) に示す
ようにオフセット値、つまり中心位置補整値として与え
る。本実施例では、たとえばそれぞれの画素値を８ビッ
トのディジタル値にて取り扱うとすると、元画像の画素
間隔を2⁸ =256に換算して、これに処理画素決定部10か
らの1/1000の精度の小数部を積算する。この結果の補整
値は、整数値３桁の値として算出されて、最初の画素の
補間係数として補間係数演算部14に供給される。具体的
には、処理開始画素決定部10からの水平方向の中心ずれ
=0.725から補整値を演算すると、0.725 ×256=186 とな
りたとえば、図９に示すように、求める画像の画素端の
位置が処理開始画素の位置から186 の距離に補整され
る。

【００３４】補間係数演算部14は、最初の画素では中心
補整値算出部12からの補整値を補間係数として内挿補間
演算部16に供給し、それ以降の画素ではズーム倍率ｒと
元画像の画素間距離にて算出される等間隔の値を、求め
た最初の画素の位置に順次加算して対応の入力画素間で
の位置を算出する位置演算回路である。本実施例ではた
とえば、図11に示すようにズーム倍率ｒと元画像の画素
間距離にて算出される等間隔の値をズーム倍率データと
して受け、これを加算器142 を介して出力するととも
に、そのデータを加算器142 にフィードバックして次の
値と加算して再び出力する回路にて形成されている。加
算器142 は、たとえば８ビットの加算回路であり、加算
値が８ビットを越えた場合にキャリービットＣを画素入
力部18に供給する。そのキャリービットＣは、次の入力
画素の読み出しに使用される。具体的には、元画像の画
素間距離を2⁸=256として、ズーム倍率ｒ=1.31 とする
と、求める画素間距離は256/1.31≒195 となり、195 の
距離を順次前回の画素位置に加算して、256 を越えた場
合に画素入力部18にキャリービットＣを供給し、256 を
越えた値を補間係数として内挿補間演算部16に供給す
る。図11の実施例では、補整値算出回路、つまり上記中
心位置補整値算出部12を含み、画素端ではスイッチ144
が補整値算出回路12からの出力を加算器142 に与え、そ
れ以降はフィードバック回路側に切り替えられて、補整
値に等間隔の距離を表わすズーム倍率データが順次加算
される。

【００３５】図１に戻って内挿補間演算部16は、画素入
力部18からの元画像の画素値に補間係数演算部14からの
補間係数を積算して、補間画素の値を演算する主演算回
路であり、たとえば図13に示すように、引算回路162
と、積算回路164 と、加算回路164 などから形成されて
いる。すなわち、現画素の画素値をｂ、前画素の値をａ
とし、補間係数をｘとすると、求める補間画素の値ｙ
は、 y=a(1-x)+bx =a-ax+bx =a+(b-a)x となる。したがって、図13に示すように(b-a) を演算す
る引算回路162 と、その演算結果に補間係数演算部14か
らの補間係数ｘを積算する積算回路164 と、その結果に
前画素ａを加算する加算回路168 とにて補間画素の値ｙ
を演算して、これを出力する。

【００３６】画素入力部18は、処理開始画素決定部10か
らの演算値および補間係数演算部14からのキャリービッ
トｃに応動して、順次元画像の画素を読み出す画素読出
回路であり、それぞれ読み出した画素を遅延させる遅延
回路を含む。たとえば、図13に示すように読み出した画
素ｂを補間画素演算部16の引算回路162 に現画素として
供給し、遅延回路182 にて遅延させた前回の画素ａを引
算回路162 および加算回路164 に供給する。

【００３７】以上のような構成の本実施例における電子
ズーム処理装置の動作を以下に説明すると、まず、操作
者がズーム倍率ｒを設定すると、処理開始画素決定部10
にて元画像の画素数M,N およびズーム処理後の画素数m,
n に基づいてカメラの撮像系またはフレームメモリなど
からの元画像の読み出し開始画素の位置を決定して、画
素入力部18に供給する。

【００３８】たとえば、図５に示すように拡大処理を行
なう場合、その水平走査方向において画素数M,m をそれ
ぞれ640 として、ズーム倍率ｒ=1.31 とすると、処理開
始画素の位置Rxは、 Rx=(M-m/r)/2 = 320(1-1/1.31) =75.725 となる。また、垂直方向の画素数N,n を480 とすると、
処理開始画素の垂直方向の位置Ryは、 Ry=(N-n/r)/2 =(480-480/1.31)/2 =56.794 となる。

【００３９】これにより、処理開始画素決定部10は、そ
の整数値(75,56) を画素入力部18に出力して、小数値
(0.725,0.794) を中心補整値算出部12にそれぞれ出力す
る。

【００４０】次に、処理開始画素決定部10から小数値
(0.725,0.794) を受けた中心補整値算出部12は、これら
に元画像の画素間距離256 を積算して、求める最初の画
素の補間係数として中心位置補整値を算出する。この場
合、補整値は、まず、水平方向の0.725x256 ≒186 が演
算されて、補間係数演算部14を介して補間画素演算部16
に供給される。

【００４１】一方、整数値(75,56) を受けた画素入力部
18では、まず、その画素を読み出して遅延回路182 に蓄
積し、次いで、次の画素(76,56) を読み出して補間画素
演算部16に供給する。

【００４２】処理開始画素Ｒを受けた補間画素演算部16
は、現画素ｂと遅延画素ａとを引算回路162 にて差をと
り、積算回路164 に出力する。次に、積算回路164 では
補間係数演算部14を介して受けた中心位置補整値ｘ=186
を引算回路162 からの演算結果(b-a) に積算して加算回
路166 に供給する。これにより、加算回路166 では積算
回路回路164 の演算結果に遅延画素ａを加算して、{a+
(b-a)x}となる画像端の画素の値が演算されて出力され
る。つまり、図９に示すように求める最初の画素Z1は、
補整値186 の位置にて最初の画素Y1と次の画素Y2の間に
て内挿補間演算されて出力される。

【００４３】第１の補間画素Z1の値が演算されると、補
間係数算出部14はその位置にズーム倍率ｒに基づいて算
出される補間距離を算出して加算する。この場合は、25
6 ÷1.31=195を算出して、これを求めた画素の位置、つ
まり中心位置補整値186 に加算器142 にて加算して、19
5+186=381 を得る。この値は元画像の画素間距離256を
越えるので、加算器142 では画素入力部18にキャリービ
ットＣを送って、381-256=125 を補間係数として補間画
素演算部16に供給する。

【００４４】これにより、画素入力部18では３番目の画
素ｃを読み出して、遅延画素ｂとともに補間画素演算部
16に供給する。補間画素演算部16では上記と同様に画素
b,cおよび補間係数k(=125) から{c+(b-c)k}の補間演算
により、補間画素を求めて出力する。たとえば、図９に
示す例では入力画素Y2,Y3 から補間係数125 にて第２の
補間画素Z2が演算される。

【００４５】以下同様に、求める画素間の距離195 を加
算器142 にて前回の位置に加算して元画像の距離256 を
越えると、画素入力部18にキャリービットＣを送り、そ
こで読み出された画素と遅延画素との値から順次その間
の補間係数ｋを積算して、補間画素を求めていく。たと
えば３番目の求める画素Z3は、125+195=320-256=64の補
間係数ｋにて、入力画素Y4と遅延画素Y3とから補間演算
され、４番目の画素Z4は64+195=259-256=3の補間係数ｋ
にて入力画素Y5と遅延画素Y4とから補間演算される。特
に、たとえば５番目の画素Z5は、3+195=198 の補間係数
にて４番目の画素Z4と同一の入力画素Y5と遅延画素Y4と
から補間演算されて元画像の画素より画素数が増加する
ことになる。以上の動作を繰り返して、第１の走査線の
最後の画素を求めると、次の走査線にて処理開始画素を
(75,56+1) に進めて、再び画像端の中心位置補整を行な
って、上記の動作を繰り返す。

【００４６】以上の動作をそれぞれの水平走査線毎に繰
り返し、水平方向の演算が終了すると、求めたそれぞれ
の水平走査線の画素から垂直方向の画素を上記と同様に
して補間演算する。この場合も、画素端にて中心位置補
整を行なって、順次垂直方向に補間演算される。たとえ
ば図14に示すように、水平走査方向にて、入力画素(x1,
y1) と(x2,y1) にて求められた画素z1と、次の走査ライ
ンの入力画素(x1,y2)と(x2,y2) にて求められた画素z2
から、さらにそれらの間にて中心位置補整が垂直方向に
施された位置(x,y) にて補間演算されて、その画素が拡
大または縮小された画素として出力される。

【００４７】以上の動作例では、ズーム倍率ｒ=1.31 と
して拡大処理を施す場合を例に挙げて説明したが、たと
えば図６および図７に示すように縮小する場合には、そ
の処理開始画素Ｒおよび中心位置補整値は、次のように
して求められる。

【００４８】図６では元画像を蓄積する、たとえばフレ
ームメモリがM=640 ,N=480の場合であり、縮小画像の画
素数ｍを500 として、ズーム倍率ｒを0.7 倍とすると、
水平方向の処理開始画素の位置Rxは、 Rx=(M-m/r)/2 =(640-500/0.7)/2 =-37.142 となる。この場合、 処理開始画素が元画像の外になるの
で、仮想的に実際の映像信号が入力される37クロック前
から演算を開始して処理を進める。つまり、この場合、
中心位置補整値算出部12と補間係数演算部14では、上記
と同様に係数値を順次演算して、元画像の最初の画像が
入力された時点にて補間画素演算部14にて実際の縮小画
像の演算が実行されて出力されることになる。この結
果、表示画面では縮小画像の周囲に所定の色の枠（破
線）を施した状態にて表示するようにするとよい。

【００４９】一方、図７では、640 ×480 の標準画面に
1024×512 のフレームメモリに蓄積された画像を縮小し
て表示する場合の例が示されている。この場合、たとえ
ば水平方向の処理開始画素の位置Rxは、ズーム倍率を0.
66とすると、 Rx=(1024-640/0.66)/2 = 27.151 となり、処理開始画素27にて、中心位置補整値0.151x25
6=38を補整係数として演算が開始される。つまり、図６
の例と異なり、メモリに入力画素が存在する。この場合
の水平方向における演算位置の関係が図10に示されてい
る。この図において、求める第１の画素Z1は、処理開始
画素Y1とY2の間にて補整係数38を初期値として補間演算
される。次の画素Z2は、画素Z1の位置に256/0.66=387の
距離が加算されて、387+38=425-256=169を補間係数とし
て入力画素Y2,Y3 から補間演算される。第３の画素Z3
は、さらに、第２の画素Z2の位置に距離387 が加算され
て169+387=556 となり、この場合、キャリービットが２
回発生して、入力画素Y4,Y5 が読み出されて、それらの
間にて補間演算された画素値が得られる。以下、同様
に、１回または２回のキャリービットにて順次元画像か
ら画素が間引かれた状態にて縮小画素が演算されてい
く。

【００５０】以上のように本実施例における電子ズーム
処理装置および電子ズーム処理方法では、処理開始画素
Ｒを元画像の中心位置Ｓから求めて、その際に生じる中
心ずれを、求める画像の画素端にて補整して、以降順次
ズーム倍率から算出される等間隔の距離にて補間画素を
演算していくので、求めたズーム画像に中心ずれが生じ
ることなく、順次画素端から簡易にそれぞれの補間画素
を求めていくことができる。つまり、一般的に知られて
いる電子ズーム処理における画素位置決定方法では、元
の画素間距離D0に対して、処理後の画素間距離をD1とす
ると、D0>D1 のときに拡大、D0<D1 のときに縮小とみる
ことができる。画素位置の決定、すなわち補間係数の算
出は、ズーム処理後の画素間距離D1を加算器により順次
積算してゆき、その加算器の出力を利用する。ところ
で、ズーム処理開始位置は元の画像のサイズとズーム後
の画像サイズおよびズーム倍率から算出されるが、読み
出し開始位置は画像中心の位置を固定して計算すると、
上述のように一般的には整数にならず、小数部分を含む
値となる。本実施例はこの小数部分を画素位置決定時に
オフセット値として加算あるいは減算することで画像全
体の位置をずらすことで中心位置のずれ補正を可能とし
ている。このオフセット値は、当然ながらズーム倍率に
よって変化する。したがって、連続的なズーミングを行
なう場合は複数のオフセット値を連続的に与えて処理す
ることとなり、複数のオフセット値は上記方法で与えら
れる。この結果、それぞれの画像の中心位置がずれるこ
となく、画像の揺れなどが有効に防止される。

【００５１】なお、上記実施例では、元画像を拡大また
は縮小する場合を例に挙げて説明したが、本発明では、
たとえばビデオカメラなどでの手ぶれ補正装置などに適
用してもよい。この場合、たとえば、角速度センサなど
の手ぶれセンサを用い、そのセンサからの出力から画像
の移動量を演算して求め、これをオフセット値として上
記電子ズーム処理に与えて、元画像の画素間距離以上の
ダイナミックレンジを拡大した補整量として、故意に画
像の位置をずらすように手ぶれ補正を行なうようにする
とよい。

【００５２】また、上記実施例では図２に示すようにカ
メラの撮像系からの映像信号を受けてバッファ110 に蓄
積するように構成したが、本発明ではたとえば図３また
は図４に示すように撮像機器以外の処理装置に適用して
もよい。この場合、図３では一般的な処理装置に適用さ
れた例であり、フィールドメモリまたはフレームメモリ
などの記憶回路200 にビデオデッキまたはビデオカメラ
などからの映像信号を蓄積して、このメモリ200 からの
映像信号を順次上記ズーム処理装置100 に読み出してズ
ーム処理し、再生装置などに拡大または縮小した画像と
して出力する。図４ではズーム処理した画像に、さらに
反転、回転などの特殊処理を施して出力する場合に適用
される構成であり、メモリ(A) 200 に一旦蓄積した画像
を上記電子ズーム処理装置100 に順次読み出してズーム
処理を施して、その画像を第２のメモリ(B) 300 の任意
のアドレスに蓄積して画像の反転、回転などの特殊処理
を施した状態にて蓄積し、順次読み出して出力するもの
である。

【００５３】さらに、上記実施例では図11に示すように
演算処理プロセッサCPU からの演算結果を補整値算出回
路12に受けて、中心位置補整値を演算するようにした
が、本発明においては、たとえば図12に示すようにズー
ム倍率に応じてあらかじめ算出しておいた中心位置補整
値をRAM,ROM などのメモリ120 に蓄積して、画像端の演
算の際にズーム倍率データに応じて読み出し、画素端の
補間演算を実行するようにしてもよい。

【００５４】また、上記実施例では水平走査線の画素を
補間処理した後に垂直走査方向の画素を補間演算するよ
うに処理したが、本発明では水平／垂直方向のいずれの
方向から処理を開始してもよい。有利には、垂直方向の
処理を先に実行することにより、メモリなどを節約でき
る場合がある。また、上記実施例では水平方向と垂直方
向のズーム倍率ｒが同じ場合を例に挙げて説明したが、
本発明ではズーム倍率は水平方向と垂直方向で異なって
いてもよい。

【００５５】さらに、上記実施例では補間演算部16をハ
ード的に構成した場合を例に挙げて説明したが、本発明
ではたとえば図15に示すように画素補間演算をソフトウ
ェアにて演算する論理演算回路160 にて構成してもよ
い。この場合、回路160 は現画素ｂおよび前画素ａさら
に補間係数ｘを受けて、論理演算結果ｙ=a(1-x)+bxを出
力する。

【００５６】

【発明の効果】以上のように本発明における電子ズーム
処理装置および電子ズーム処理方法によれば、画像端か
ら順次補間演算する際に、処理開始画素を元画像の中心
位置に対して求め、そのときの中心ずれを求める最初の
画素に補整して補間演算を行なうようにしたので、ズー
ム処理を時間的に連続的に行なう場合に生じていた画像
の中心位置のずれを連続的に補整することができる。こ
れにより、画像が揺らいで見える現象を完全に取り除く
ことができ、安定した画像が得られる。また、この場
合、画像撮影の際のぶれを角速度センサなどにて検出し
ておき、それより求められる移動量に基づいて画素位置
を補整することにより、故意に中心位置をずらした画像
が得られるため、手ぶれ補整処理装置などにも有効に応
用が可能となるなどの効果がある。

【図面の簡単な説明】

【図１】本発明による電子ズーム処理方法が適用される
電子ズーム処理装置の一実施例を示すブロック図であ
る。

【図２】図１の実施例による電子ズーム処理装置が撮像
機器に適用される場合の構成を示すブロック図である。

【図３】図１の実施例による電子ズーム処理装置が一般
的な画像処理装置に適用される場合の構成を示すブロッ
ク図である。

【図４】図１の実施例による電子ズーム処理装置が特殊
効果を施す画像処理装置に適用される場合の構成を示す
ブロック図である。

【図５】図１の実施例による電子ズーム処理装置にて処
理開始位置を求める際の拡大処理例を示す図である。

【図６】図１の実施例による電子ズーム処理装置にて処
理開始位置を求める際の縮小処理を示す図である。

【図７】図１の実施例による電子ズーム処理装置にて処
理開始位置を求める際の縮小処理を示す図である。

【図８】図１の実施例による電子ズーム処理装置にて行
なう中心位置補整を説明するための図である。

【図９】図１の実施例による電子ズーム処理装置にて拡
大処理を行なう場合の水平方向の演算例を示す図であ
る。

【図１０】図１の実施例による電子ズーム処理装置にて
縮小処理を行なう場合の水平方向の演算例を示す図であ
る。

【図１１】図１の実施例による電子ズーム処理装置の要
部を示す構成図である。

【図１２】図12の実施例の他の例を示す構成図である。

【図１３】図１の実施例による電子ズーム処理装置の要
部を示す構成図である。

【図１４】内挿補間演算を説明するための図である。

【図１５】図14の実施例の他の例を示す構成図である。

【符号の説明】

10 処理開始画素決定部 12 中心位置補整値算出部 14 補間係数演算部 16 補間画素演算部 18 画素入力部 162 引算回路 164 積算回路 166 加算回路 182 遅延回路

Claims (20)

【特許請求の範囲】
1. 【請求項１】 入力した映像信号を設定されたズーム倍
   率に応じてディジタル演算して、その映像信号にて表わ
   される画像を拡大または縮小処理する電子ズーム処理装
   置において、該処理装置は、 入力した元画像の映像信号のうちズーム処理を開始する
   画素の位置をその元画像の中心画素に対して決定する処
   理画素決定手段と、 該処理画素決定手段にて決定された処理開始画素での中
   心画素に対する位置ずれを求めて、これより中心位置補
   整値を算出する補整値算出手段と、 該補整値算出手段にて求めた中心位置補整値を、求める
   画素の最初の画素の位置に対して補整して、その補整位
   置での画素値を元画像の開始画素と次の画素の値から内
   挿補間演算により求め、該画素以降の画素の位置を倍率
   に応じた等しい間隔にて求めてそれぞれの画素値を順次
   対応する入力画素から内挿補間演算により求める画素値
   演算手段とを含むことを特徴とする電子ズーム処理装
   置。
2. 【請求項２】 請求項１に記載の電子ズーム処理装置に
   おいて、前記処理画素決定手段は、ズーム処理前の画像
   の中心画素の位置と処理開始画素の位置との差の２倍に
   ズーム倍率を積算して求まるズーム処理後の画素数の関
   係から処理開始画素の位置を逆算して、その結果の整数
   部を処理開始画素の位置として求めることを特徴とする
   電子ズーム処理装置。
3. 【請求項３】 請求項２に記載の電子ズーム処理装置に
   おいて、前記補整値算出手段は、前記処理画素決定手段
   にて求めた処理開始画素の位置の演算結果の小数部を開
   始画素での中心画素に対する位置ずれとして求めて、こ
   れに入力画素の画素間距離を積算した値を中心位置補整
   値として算出することを特徴とする電子ズーム処理装
   置。
4. 【請求項４】 請求項１に記載の電子ズーム処理装置に
   おいて、前記画素値演算手段は、求める画素の位置を前
   回の画素の位置にズーム倍率に応じた等間隔の距離を順
   次加算して対応の元画像の画素間に対する位置を求め
   て、これを補間係数とする補間係数演算手段と、該補間
   係数演算手段にて求めた位置に対応する元画像の画素を
   順次遅延回路を介して入力する画素入力手段と、該画素
   入力手段からの現時点での画素と遅延画素とに前記補間
   係数を積算して、求める画素の画素値を演算する補間画
   素値演算手段とを含むことを特徴とする電子ズーム処理
   装置。
5. 【請求項５】 請求項４に記載の電子ズーム処理装置に
   おいて、前記補間画素値演算手段は、現画素と遅延画素
   との値の差をとる引算手段と、該引算手段の出力に前記
   補間係数演算手段からの補間係数を積算する積算手段
   と、該積算手段の出力に前画素の値を加算する加算手段
   を含むことを特徴とする電子ズーム処理装置。
6. 【請求項６】 請求項５に記載の電子ズーム処理装置に
   おいて、前記補間画素演算手段の引算手段と、積算手段
   と、加算手段とは、それぞれハード的な演算回路にて形
   成されていることを特徴とする電子ズーム処理装置。
7. 【請求項７】 請求項５に記載の電子ズーム処理装置に
   おいて、前記補間画素演算手段の引算手段と、積算手段
   と、加算手段とは、それぞれソフトウェアにて実現する
   ことを特徴とする電子ズーム処理装置。
8. 【請求項８】 請求項４に記載の電子ズーム処理装置に
   おいて、前記補間係数演算手段は、前回求めた画素の位
   置に等間隔の距離を加算して、その値が元画像の画素間
   距離を越えた際に、前記画素入力手段に元画像の次の画
   素を読み出す指示を与えることを特徴とする電子ズーム
   処理装置。
9. 【請求項９】 請求項４に記載の電子ズーム処理装置に
   おいて、前記補間係数演算手段は前記補整値算出手段に
   接続され、最初の画素の値を求める際に前記補整値算出
   手段からの中心位置補整値を前記補間画素演算手段に供
   給してその画素値を求め、以降の画素を求める際に等間
   隔の距離にて求めた補間係数を前記補間画素値演算手段
   に供給して順次以降の画素を求めることを特徴とする電
   子ズーム処理装置。
10. 【請求項１０】 請求項９に記載の電子ズーム処理装置
    において、前記補整値算出手段にて算出された中心位置
    補整値は、ズーム倍率に対応してあらかじめ記憶手段に
    蓄積されて、前記補間画素値演算手段にて最初の画素値
    を補間演算する際に倍率データに応じて読み出されて該
    補間画素値演算手段に供給されることを特徴とする電子
    ズーム処理装置。
11. 【請求項１１】 請求項９または請求項１０に記載の電
    子ズーム処理装置において、前記補間係数演算手段は、
    中心位置補整値のダイナミックレンジを拡張し、隣接す
    る画素間の距離以上の補整を画素単位で補整すること
    で、故意に中心位置をずらした画像を得ることを特徴と
    する電子ズーム処理装置。
12. 【請求項１２】 入力した映像信号を設定されたズーム
    倍率に応じてディジタル演算して、その映像信号にて表
    わされる画像を拡大または縮小処理する電子ズーム処理
    方法において、該方法は、 入力した元画像のそれぞれの画素に基づいて、求める画
    素を画像端から順次内挿補間演算にてディジタル演算し
    て求める際に、 入力した元画像の映像信号のうちズーム処理を開始する
    画素の位置をその元画像の中心画素に対して決定する第
    １の工程と、 該第１の工程にて決定された処理開始画素での中心画素
    に対する位置ずれを求めて、これより中心位置補整値を
    算出する第２の工程と、 該第２の工程にて求めた中心位置補整値を、求める画素
    の最初の画素の位置に対して補整する第３の工程と、 前記第１の工程にて決定された元画像の画素および次の
    画素を順次読み出す第４の工程と、 前記第３の工程にて補整した位置での画素値を前記第４
    の工程にて読み出した元画像の開始画素と次の画素の値
    から内挿補間演算する第５の工程と、 該第５の工程にて求めた画素以降の画素の位置を倍率に
    応じた等しい間隔にて求める第６の工程と、 該第６の工程にて求めた位置に対応する元画像の画素を
    順次読み出す第７の工程と、 該第７の工程にて読み出した入力画素から前記第６の工
    程による位置での画素値を順次内挿補間演算により求め
    る第８の工程を含むことを特徴とする電子ズーム処理方
    法。
13. 【請求項１３】 請求項12に記載の電子ズーム処理方法
    において、前記第１の工程は、ズーム処理前の画像の中
    心画素の位置と処理開始画素の位置との差の２倍にズー
    ム倍率を積算して求まるズーム処理後の画素数の関係か
    ら処理開始画素の位置を逆算して、その結果の整数部を
    処理開始画素の位置として求めることを特徴とする電子
    ズーム処理方法。
14. 【請求項１４】 請求項13に記載の電子ズーム処理方法
    において、前記第２の工程は、前記第１の工程にて求め
    た処理開始画素の位置の演算結果の小数部に入力画素の
    画素間距離を積算して中心位置補整値を算出することを
    特徴とする電子ズーム処理方法。
15. 【請求項１５】 請求項13に記載の電子ズーム処理方法
    において、前記第４の工程および第７の工程は、読み出
    された元画像のそれぞれの画素を遅延させて現時点の画
    素と遅延画素とを順次対応の求める画素に対して出力す
    ることを特徴とする電子ズーム処理方法。
16. 【請求項１６】 請求項15に記載の電子ズーム処理方法
    において、前記第５の工程は、前記第４の工程から処理
    開始画素を遅延画素として受け、その次の画素を現画素
    として受け、それらの値の差をとり、その結果に前記第
    ３の工程にて中心位置補整が施された位置での補間係数
    を積算し、その積算結果に現画素の値を加算して、画像
    端の補間画素の値を演算することを特徴とする電子ズー
    ム処理方法。
17. 【請求項１７】 請求項15に記載の電子ズーム処理方法
    において、前記第８の工程は、前記第７の工程からの現
    画素と遅延画素との値の差をとり、その結果に前記第６
    の工程にて算出された補間係数を積算し、その積算結果
    に前画素の値を加算して、補間画素の値を演算すること
    を特徴とする電子ズーム処理方法。
18. 【請求項１８】 請求項15に記載の電子ズーム処理方法
    において、前記第７の工程は、前記第６の工程にて前回
    求めた画素の位置に等間隔の距離を加算してその値が元
    画像の画素間距離を越えた際に、前記第７の工程にて元
    画像の次の画素を順次読み出すことを特徴とする電子ズ
    ーム処理方法。
19. 【請求項１９】 請求項13に記載の電子ズーム処理方法
    において、前記第２の工程にて算出された中心位置補整
    値は、ズーム倍率に対応してあらかじめ蓄積されて、最
    初の画素値を補間演算する際に倍率データに応じて読み
    出されることを特徴とする電子ズーム処理方法。
20. 【請求項２０】 請求項13または請求項19に記載の電子
    ズーム処理方法において、中心位置補整値は、隣接する
    画素間の距離以上の補整値としてダイナミックレンジが
    拡張されて、該補整値にて画素単位で補整することで、
    故意に中心位置をずらした画像を得ることを特徴とする
    電子ズーム処理方法。