JP3939772B2 - ディジタル画像処理装置 - Google Patents
ディジタル画像処理装置 Download PDFInfo
- Publication number
- JP3939772B2 JP3939772B2 JP24266295A JP24266295A JP3939772B2 JP 3939772 B2 JP3939772 B2 JP 3939772B2 JP 24266295 A JP24266295 A JP 24266295A JP 24266295 A JP24266295 A JP 24266295A JP 3939772 B2 JP3939772 B2 JP 3939772B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- processing
- image processing
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、所望の画像を表わすディジタル画像信号を画像処理するディジタル画像処理装置に係り、画像の所望の部分に対して画像加工を行なうディジタル画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、高精細画像を表わすディジタル画像信号を生成するディジタルスチルカメラなどの撮像装置から得られた高画素密度の画像信号を、たとえば光ディスクなどの大容量情報記録媒体に記録したり、その画像信号の表わす画像を可視画像としてプリントすることが行なわれている。また、動画像を撮影するムービーカメラでは、撮像レンズの撮影倍率を可変とするズームレンズが搭載され、また、そのズーム倍率を補うことを一つの目的として、撮像により得られた各フレームのディジタル画像信号を補間処理して画像を拡大する電子ズーミング機能が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の電子ズーム機能などの画像処理では、処理する画像全体に対して、特定の画像処理を施すように構成されていたので、画像の特定部分に対して画像を特殊加工することが困難であった。たとえば、画像信号を画素ごとに補間処理する電子ズーム機能ではディジタル演算処理量が多くなり、この機能に対しさらに画像の特定部分をのみを加工する機能を付加すると、非常に複雑な回路が必要とされ、また、その処理速度が遅くなるという問題があった。
【０００４】
このような状況の下、たとえば、本出願人による特許出願、「デジタル画像処理装置（特願平6-86863 号）」には、小規模の回路構成によって電子ズーム処理を行なうことのできるディジタル画像処理装置を開示している。しかし、これも画像の特定部分に対し部分的に特殊効果処理を施すことのできるものではなかった。
【０００５】
本発明はこのような従来技術の欠点を解消し、画像の特定の部分に対し特殊効果などの画像処理を簡便な構成にて高速に施すことのできるディジタル画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上述の課題を解決するために、１画面の画像をディジタル値にて表わす画像信号を所定のブロックごとに処理して出力するディジタル画像処理装置において、この装置は、画像信号を記憶する第１の記憶手段と、第１の記憶手段に記憶された画像信号を複数の小ブロックに区分し、この区分されたブロックごとの画像信号を第１の記憶手段から読み出して出力させる記憶制御手段と、第１の記憶制御手段から出力されたブロックの画像信号を順次記憶するブロックメモリと、ブロックメモリに記憶されたブロックの画像信号を順次入力し、このブロックごとに画像処理を行なって画像を加工する画像処理手段と、画像処理手段にて処理されて出力された小ブロックの画像信号を記憶する第２の記憶手段とを備え、画像処理手段は、ブロックメモリに蓄積されるブロックごとの画像信号をそれぞれ異なる処理特性にて画像処理する複数の処理特性を有した処理手段と、特定のブロックの画像信号を処理するときに、複数の処理特性のいずれかを選択する選択手段とを有し、選択手段にて選択された処理特性にて特定のブロックを画像処理させて、この画像処理されたブロックごとの画像信号を第２の記憶手段に出力することを特徴とする。
【０００７】
この場合、画像処理手段は、複数の処理特性を有する複数の処理手段を有し、選択手段は、特定のブロックの画像信号を処理するときに、複数の処理特性のいずれかの処理特性を有した処理手段を選択するとよい。
【０００８】
この場合さらに複数の処理手段は、それぞれカットオフ周波数が異なるローパスフィルタを含むとよい。
【０００９】
また、複数の処理手段は、ブロックごとの画像信号の所定の周波数帯域を通過させるバンドパスフィルタを含むとよい。
【００１０】
また、画像処理手段は、第１の記憶手段から読み出された輝度信号を画像処理する第１の画像処理手段と、第１の記憶手段から読み出されたクロマ信号を画像処理する第２の画像処理手段とを含むとよい。
【００１１】
また、この装置は、画像処理手段にて画像処理するブロックを選択的に指定する指定手段を有し、画像処理手段は、指定手段にて指定されたブロックの画像信号を選択手段にて選択された処理特性にて画像処理するとよい。
【００１２】
また、処理手段は、ブロックメモリに蓄積されたブロックごとの画像信号をこのブロックごとに補間演算する電子ズーム処理をする演算手段を含むとよい。
【００１３】
この場合、画像処理手段は、ズーミング時の画素位置をブロックごとに設定する設定手段と、画素位置をブロックごとに修正する修正手段とを含み、処理手段は、修正手段にて修正された画素位置に基づいてブロックごとの画像信号をズーム処理するとよい。
【００１４】
この場合さらに、修正手段は、ズーム倍率に応じた画素間隔と、処理するブロックのアドレスに応じた係数とを乗算して、修正された画素位置を算出するとよい。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明によるディジタル画像処理装置の実施例を詳細に説明する。図２を参照すると本発明が適用されたディジタル画像処理装置の一実施例が示されている。このディジタル画像処理装置10は、画像メモリ12に蓄積された一画面分の輝度信号(Y) と色差点順次信号(C) とを含むディジタル画像信号をズームブロック14にて所定のブロックごとに画像処理をして画像メモリ16に蓄積させる際、一画面の各ブロックごとにその画像処理特性を変更して、一画面の画像における画像特性を部分的に特殊処理を施すことのできる画像処理装置である。
【００１６】
この画像処理装置10は、同図に示したように、２次元イメージセンサなど画像入力装置から出力された一画面分のディジタル画像信号を入力200 に入力し、この画像信号を順次蓄積する画像メモリ12を有し、この画像メモリ12はメモリコントローラ18からの制御に応じて蓄積した画像信号を出力202 に出力する記憶回路である。本実施例における画像メモリ12は、このメモリコントローラ18の制御に応じてその記憶領域に蓄積された画像信号の輝度信号(Y) を16×16画素の所定のブロックごとに分割し、またクロマ信号(Cr,Cb) をそれぞれ16×８画素の所定のブロックごとに分割してそれぞれ読み出し、読み出したブロックごとの画像信号をその出力202 に出力する。画像メモリ12の出力202 はズームブロック14に接続されている。
【００１７】
ズームブロック14は、画像メモリ12から出力されたブロックごとの画像信号をそのブロックごとに拡大および縮小を行なうズーム処理機能を有した画像処理回路である。詳しくはこのズームブロック14は、画像メモリ12から出力された画像信号のうち輝度成分を表わす輝度信号をブロックごとに一時格納するブロックメモリ20a および20b と、その色差成分を表わすクロマ信号(Cr,Cb) をブロックごとに一時格納するブロックメモリ22a および22b とを有している。
【００１８】
ブロックメモリ20および22は、それぞれ、16×16画素、 (16×8)×２画素のブロックごとに入力した画像信号を蓄積する記憶領域を有したバッファメモリである。これらメモリ20および22はそれぞれ、入力202 に入力した各ブロックの画像信号を後述するズームコントローラ26の制御を受けて交互に記憶するメモリ20a および20b と、メモリ22a および22b とを有し、メモリ20には前述の輝度信号が記憶され、メモリ22にはクロマ信号が記憶される。ブロックメモリ20および22の出力はそれぞれズーム処理回路24に接続されている。
【００１９】
ズーム処理回路24は、ブロックメモリから出力されたブロックごとに所定の画像信号処理を施して、処理された画像信号をそのブロックごとに出力204 に出力する。本実施例におけるズーム処理回路24は、ズームコントローラ26からの制御に応じて、ブロックメモリから出力されたブロックごとの画像信号に対し、ズームコントローラ26からの制御を受けて、それぞれ適切な補間処理およびフィルタ処理などの画像処理を行なう機能を有している。ズーム処理回路24は、ブロックごとに処理した画像信号をその出力204 に接続された画像メモリ16に出力する。この画像メモリ16は、画像メモリ12と同様に一画面分の画像を表わす画像信号を蓄積する記憶回路である。とくにこの画像メモリ16は、ブロックごとの画像信号を所定の記憶領域に蓄積し、一画面分の画像信号が蓄積されると、その画面の画像信号を線順次に読み出して出力する。画像メモリ16の出力206 は、たとえば、その画像信号の表わす画像を表示する表示装置、所定の記録紙にプリントする印刷装置および画像信号を所定の記録形式に変換して光ディスクなどの情報記憶媒体に記録する記憶装置に接続される。
【００２０】
本実施例におけるズーム処理回路24を図１を参照してさらに詳しく説明すると、同図に示すようにズーム処理回路24は、ブロックメモリ20の出力100 にそれぞれ接続され、入力100 に入力した輝度信号(Y) をブロックの垂直方向に画素数変換を行なって画素補間処理をする垂直補間回路50と、ブロック内の水平方向の複数ラインの画素を記憶するラインメモリ52とを有している。ラインメモリ52で１ライン遅延した出力102 は垂直補間回路50に接続され、垂直補間回路50は、ブロック内のラインごとの輝度信号を垂直方向に補間する。垂直補間回路50の出力104 は水平補間回路54に接続され、水平補間回路54は、垂直補間回路50にて垂直補間された輝度信号を、そのブロックの水平方向に補間する。これら垂直補間回路50および水平補間回路54は、後述するズームコントローラ26の制御により、画素数変換を行なう電子ズーム処理機能を有し、電子ズーム処理における画像拡大時には、ブロックメモリの読み出しアドレスが制御されてブロック内の画素が重複読み出しされ、一方画像縮小時には、垂直補間回路50および水平補間回路54にてブロック内の画素を間引きすることによって、それぞれ電子ズーミング処理が行なわれる。本実施例では、元の画像の１／４倍の縮小処理から元の画像の２倍の拡大処理までの範囲を連続的にズーム処理を行なう。
【００２１】
水平補間回路54の出力106 は遅延回路56に接続され、遅延回路56は、輝度信号とともに処理されるクロマ信号とのタイミングを合わせるために、入力された輝度信号の出力を遅らせる回路である。遅延回路56の出力108 はフィルタバンクＹ58に接続されている。
【００２２】
一方、ブロックメモリ22の出力102 に接続された同時化回路60は、入力102 に点順次で入力されるそれぞれのブロックのクロマ信号(Cr,Cb) をそれぞれラッチして、これらクロマ信号CrおよびCbを同じタイミングにてそれぞれ出力110 および112 に出力する回路である。同時化回路60の出力110 はCr信号であり、一方は垂直補間回路62に接続され、他方はラインメモリ64に接続されている。また、同時化回路60の出力112 はCb信号であり、一方は垂直補間回路68に接続され、他方はラインメモリ70に接続されている。
【００２３】
垂直補間回路62および68は、垂直補間回路50と同様に、それぞれブロックごとのクロマ信号を垂直方向に補間を行なう画素補間処理回路である。垂直補間回路62および68は、それぞれ、ブロックの水平方向の複数ラインの画素を記憶するラインメモリ64および70の出力に接続され、これらラインメモリにより１ライン遅延して出力された画素と、入力110 および112 に入力したブロックメモリからの画素とで垂直方向に補間する。垂直補間回路62および68の出力114 および116 は、それぞれ水平補間処理回路64および72に接続され、これらは水平補間回路54と同様に、垂直方向に補間処理されたブロックのクロマ信号をそれぞれ水平方向に補間する補間処理回路である。これら垂直補間回路62および68と、水平補間回路64および72とは、後述するズームコントローラ26の制御により、画素数変換を行なう電子ズーム処理機能を有し、本実施例では、元の画像の１／４倍の縮小処理から元の画像の２倍の拡大処理までの範囲を連続的にズーム処理を行なう。水平補間回路64および72の出力118 および120 はそれぞれサンプリング回路66に接続され、サンプリング回路66は、同時化回路60にて同時化され、それぞれ補間されたクロマ信号を点順次に並べ替える回路である。サンプリング回路66は、点順次化したクロマ信号をCr,Cb の順またはCb,Cr の順に出力する。また、サンプリング回路66は、ズーム処理における縮小時には、入力したクロマ信号をサブサンプリングしてデータを間引く機能を有している。サンプリング回路66の出力122 はフィルタバンクＣに接続されている。
【００２４】
本実施例におけるフィルタバンクＹ58およびＣ74はぞれぞれ、入力108 および122 に入力したブロックごとの画像信号を所望のフィルタ特性にて濾過する回路である。このフィルタバンク58の一例を図３を参照して説明すると、同図には、それぞれ互いに処理特性の異なる複数のフィルタ80a,80b および80c を有し、それらフィルタの出力をズームコントローラ26（図２）から出力された制御信号に応じて選択する場合の実施例が示されている。
【００２５】
詳しくは、フィルタ80a,80b および80c は、このフィルタバンク58の入力108 に接続され、これらフィルタ80は、それぞれカットオフ周波数が異なる低域通過型フィルタ(LPF) にて構成され、フィルタ80a,80b,80c の順にカットオフ周波数が低いフィルタである。したがって、ブロックごとにフィルタバンク58に入力された輝度信号は、フィルタ80a にてその輝度信号の表わす画像が最も尖鋭化され、逆にフィルタ80c にてその輝度信号の表わす画像が最もぼけた画像となるとともに、高域ノイズ成分が除去される。なお、フィルタ80b にて濾過された輝度信号は、その信号の表わす画像がフィルタ80a の出力とフィルタ80c の出力との中間尖鋭度の状態となる。フィルタ80a,80b および80c の出力300,302 および304 は、それぞれ切換回路82に接続されている。
【００２６】
切換回路82は、フィルタ80a,80b および80c の出力およびこのフィルタバンク58の入力108 を切り換えることによって、その出力306 に接続する切換回路である。切換回路82は、フィルタ80a,80b および80c の出力を切り換える切換スイッチ84と、切換スイッチ84の出力端子308 および接続線108 にそれぞれ接続され、これらを切り換えて出力306 に接続する切換スイッチ86とを有している。切換スイッチ84および86の接続切換は、それぞれ制御入力310 および312 に入力されるズームコントローラ26からの制御信号に応動して制御される。とくに切換スイッチ86は、入力108 をその出力端子306 に接続した場合、フィルタバンク58に入力したブロックごとの輝度信号をフィルタを介さずに出力する機能を有している。
【００２７】
このように、本実施例におけるフィルタバンク58は、それぞれ処理特性の異なる特定の処理特性を有した複数のフィルタ80が切換回路82にて選択可能に構成され、切換回路82にて選択されたフィルタの出力がフィルタバンク58の出力として出力される。フィルタバンク74の構成もこのフィルタバンク58の構成と同じ構成でよい。
【００２８】
また、フィルタバンク58は、たとえば、図４に示したように、係数Gnによってフィルタ特性を可変とすることのできるディジタルフィルタにて構成することができる。このように構成したフィルタバンクを図１に示したフィルタバンクＹ58に適用した場合の構成を同図を参照して説明すると、フィルタバンク58の入力は、乗算器88-1およびメモリ90-1に接続されている。メモリ90-1,90-2,90-3および90-4それぞれの出力108-1,108-2,108-3,108-4 は、それぞれ次段階のメモリ90-2,90-3,90-4,90-5 に接続されているとともに、これら出力は、それぞれ乗算器88-2,88-3,88-4および88-5に接続されている。また、メモリ90-5の出力108-5 は乗算器88-6に接続されている。これらメモリ90は、それぞれ入力されたブロックごとの輝度信号を格納し、格納した輝度信号を順次乗算器88に出力する遅延機能を有したシフトレジスタである。乗算器88-1,88-2,88-3,88-4,88-5および88-6の入力は、それぞれ、フィルタバンク58への入力108 およびそれぞれのメモリ90の出力に接続され、これら入力に入力される輝度信号と、入力400,401,402,403,404 および405 にそれぞれ入力される乗算係数Gn(G1 〜G5) とを乗算する乗算回路である。
【００２９】
乗算器88の出力はそれぞれ加算器92に接続され、加算器92は、それぞれ入力された乗算器88の出力信号を加算することによって、ブロックごとの輝度信号の高域周波数成分を濾過した画像信号を出力する。
【００３０】
乗算器88に供給される乗算係数Gnは、同図に示したROM94 にGnテーブルとしてあらかじめ記憶されている。ROM94 には、それぞれフィルタ特性の異なるフィルタ機能を実現するための複数のGnテーブルが格納されている。本実施例では、ROM94 はローパスフィルタ特性やバンドパスフィルタ特性を実現するためのテーブル情報が格納され、第１のGnテーブルは、たとえば最もカットオフ周波数が高いローパスフィルタを構成するための乗算係数Gnであり、第３のGnテーブルは、最もカットオフ周波数が低いローパスフィルタを構成するための乗算係数Gnである。第２のGnテーブルはこれら第１および第３のGnテーブルの中間の特性を有したフィルタを構成する乗算係数である。
【００３１】
これらGnテーブルの出力410,412 および414 はそれぞれ切換スイッチ96の入力端子に接続され、切換スイッチ96は、制御入力310 に供給される制御信号に従って、これら入力端子を切り換えてその出力端子416 に接続する切換回路である。スイッチ96の出力端子416 はさらに、切換スイッチ98の一方の入力端子に接続され、切換スイッチ98は、この入力端子416 と、入力端子418 とを制御入力312 に供給される制御信号に従って、これら入力端子を切り換えてその出力端子420 に接続する。これら切換スイッチ96,98 の制御入力310 および312 と、入力端子418 とはそれぞれズームコントローラ26に接続されている。とくに入力端子418 には、コントローラ26にて設定されたGnテーブルが入力され、フィルタバンク58の外部から乗算係数Gnを設定することができる。
【００３２】
切換スイッチ98の出力端子420 は、Gnレジスタ99に接続され、このレジスタ99は、スイッチ回路96および（または）98にて選択されたGnテーブルの乗算係数Gnをラッチするレジスタである。レジスタ99は、ラッチした乗算係数G1〜G6をそれぞれ接続線400 〜405 を介して乗算器88-1〜88-6に転送する。乗算器88-1〜88-6は、レジスタ99から転送された乗算係数Gnを、それぞれ入力108,108-1,108-2,108-3,108-4 および108-5 に入力したブロックごとの輝度信号に乗算する。
【００３３】
このように、この第２の実施例におけるフィルタバンク58は、乗算係数Gnの値を複数のグループからなるGnテーブルの中から選択的に変更することによって、それぞれフィルタ特性の異なるフィルタを構成することができる。このため乗算器88、メモリ90および加算器90から構成されるディジタルフィルタ回路をさらに複数用意する必要がない。なお、フィルタバンク74の構成もこの図４に示したフィルタバンク58の構成と同じ構成でよい。
【００３４】
以上、図３および図４を参照して説明したフィルタバンクの構成例は、いずれもローパスフィルタ機能を有するものであったが、本発明はこれに限らず、たとえば、図５に示すように複数のローパスフィルタ機能に代えて、もしくはローパスフィルタ機能に加えて、所定周波数を中心とする所定帯域の画像信号を通過させる帯域フィルタ（BPF;バンドパスフィルタ）をフィルタバンクに構成してもよい。この場合、BPF(A)およびBPF(B)は、それぞれのブロックにおける輪郭補正を行なう機能を実現し、とくに中心周波数が高域に設定されたフィルタほど輪郭強調処理が施される。このように、本実施例におけるフィルタバンクは、入力されるブロックごとにその画像処理特性を変更するので、一画面の特定部分に対する処理特性をブロック単位で変更することによって、画面の特定領域を他の領域とは異なる特性にて画像処理を施し、部分的に先鋭化された画像や、部分的にぼけたソフトフォーカスのような画像や、部分的に画像の輪郭が強調された画像などを簡便な構成にて得ることができる。
【００３５】
このようなブロック単位にて画像処理特性を変更するための制御信号は、図２に示したズームコントローラ26から出力されてフィルタバンク58および74に入力される。このズームコントローラ26は、ズーム処理回路24における補間処理およびフィルタ処理などの画像処理を制御する制御回路である。
【００３６】
詳しくはコントローラ26は、画像メモリ12に蓄積された画像信号をブロックごとに読み出すようにメモリコントローラ18を制御する読出制御機能を有している。
【００３７】
また、コントローラ26は、画像メモリから読み出された輝度信号およびクロマ信号をそれぞれブロックメモリ20および22に蓄積させ、これらメモリに蓄積された画像信号をそれぞれ読み出して出力させる制御を行なう機能を有している。この場合、コントローラ26は、ブロックごとの輝度信号をブロックメモリ20a および20b にそれぞれ交互に蓄積させ、同様にブロックごとのクロマ信号をブロックメモリ22a および22b にそれぞれ交互に蓄積させる。
【００３８】
さらにコントローラ26は、ズーム処理回路24における補間処理を制御する機能を有している。詳しくはコントローラ26は、垂直補間回路50にて一次線形補間処理する際に必要となる補間係数を算出する機能を有している。この補間処理は、たとえば、ブロックメモリ20a および20b から接続線100 を介して直接垂直補間回路50に入力される輝度信号をｂ、ラインメモリによって遅延された１ライン前の輝度信号をａ、コントローラ26にて算出した補間係数の値をｋとすると、次式にて表わす演算処理を実行することによって、そのブロックの垂直方向に補間された輝度信号Ｙが生成される。
【００３９】
【数１】
ＹorＣ＝｛ａ（ｎ−ｋ）＋ｂｋ｝／ｎ ・・・・（１）
垂直補間回路62および68も同様にして、コントローラ26にて算出された補間係数を式（１）に代入して演算処理することにより垂直方向のクロマ信号Ｃを得ることができる。なお、式（１）におけるｎは、補間の際の分解能であり、たとえば、補間係数ｋが３ビットの分解能のときｎ＝２3 となる。
【００４０】
水平補間回路54,64 および72は、それぞれ１画素前のデータを保持するバッファ（図示せず）を含み、このバッファにて遅延された１画素前の画像信号（たとえば輝度信号）をａ、それぞれ垂直補間回路から出力された画像信号をｂ、ズームコントローラ26にて算出した補間係数の値をｋとすると、前述の式（１）と同様な演算処理により水平方向に補間した画像信号（輝度信号Ｙおよびクロマ信号Ｃ）をそれぞれ得ることができる。
【００４１】
また、コントローラ26は、フィルタバンク58および74を制御する機能を有している。具体的には、フィルタバンク58および74が図３に示した構成の場合には、コントローラ26は、フィルタ80a,80b および80c の出力を切り換えるための制御信号を生成して、切換スイッチ84の制御入力に310 に供給する。また、コントローラ26は、切換スイッチ86の入力端子108 および入力端子308 を切り換えるための制御信号を生成して切換スイッチ84の制御入力312 に供給する。
【００４２】
これらフィルタバンク26のフィルタ特性を切り換えるための制御信号は、有利には指示入力装置30から入力される指示信号に応動して生成される。たとえば、画像メモリ16の出力206 に、このメモリから読み出された画像信号の表わす画像を可視表示するカラーディスプレイなどの表示装置が接続されているときには、ズームブロック14にて処理された画像信号に対応する画像がその表示画面に表示される。したがって、この場合、操作者は、その画像を黙視しながらズーム処理およびフィルタ処理の効果を確認することができる。つまり、指示入力装置30は、一画面の画像に対し操作に応じた所定の範囲の部分を指定する指示信号と、その指定した部分に対する処理の度合い、つまりフィルタ特性を選択するための指示信号を生成する機能を有している。ズームコントローラ26は、この指示信号を受けて、画面の指定された領域に対応する部分のブロックの画像信号を処理する際、指示信号にて指定されたフィルタ特性のフィルタ80の出力を採用するようにフィルタバンク58および74を制御する。また、コントローラ26は、フィルタ特性を選択する指示信号が補正なしを示していれば、スイッチ86の入力端子108 を出力端子306 に接続させる制御信号をスイッチ86に供給して、この場合には、フィルタバンク58および74に入力した画像信号に対しフィルタ処理を施さずにそのまま出力する。
【００４３】
また、フィルタバンク58および74の構成が、図４に示した構成の場合には、コントローラ26は、ROM94 に蓄積された複数のGnテーブルのうち１つを選択するための制御信号を生成し、この制御信号をスイッチ96の制御入力に供給することによって、ROM94 の出力410,412 および414 のいずれかをその出力端子416 に接続させる。さらにコントローラ26は、Gnテーブルにおける乗算係数Gnを生成する機能を有し、所望の乗算係数をフィルタバンクの外部から設定することができる。この場合、生成した乗算係数Gnをスイッチ98の入力端子418 に供給するとともに、スイッチ98の入力端子418 をその出力端子に接続させる制御信号をスイッチ98の制御入力312 に供給する。
【００４４】
このように本実施例におけるズームコントローラ26は、とくに、ズーム処理回路24（図２）におけるフィルタやそのフィルタ特性を選択し、選択したフィルタ特性にて電子ズーム機能の処理単位である画像信号のブロックに画像処理させる機能を有している。
【００４５】
さらにズームコントローラ26は、ズーム処理回路24にてブロックごとの画像信号を垂直および水平補間する際に必要となる補間係数を設定する機能を有している。具体的には本実施例におけるコントローラ26は、ズーム倍率に応じた水平方向の画素間隔(MDH) と垂直方向の画素間隔(MDV) とを決定し、これら画素間隔と、画素位置(MDH,MDV) と、最初の画素位置(MDHIP,MDVP)に基づいて、たとえば補間処理後の水平方向の画素位置(MDHI)を次式にしたがって算出する。
【００４６】
【数２】
ＭＤＨＩ＝ＭＤＨ＋ＭＤＨＩ（Ｌ） ・・・・（２）
ここで、ＭＤＨＩ（Ｌ）は、たとえば11ビットのＭＤＨＩのうち下位８ビットのデータである。また、最初の画素位置(MDHIP) は、ＭＤＨＩ（Ｌ）に代入される。
【００４７】
図６に示すように、元になるブロックの画素のデータをA1,A2,A3,A4, ・・・、その画素間隔を256 、電子ズーム処理後の画素のデータをB1,B2,B3,B4, ・・・、その画素間隔を200 とし、また、最初の画素B1がA1よりも128 だけ右側の位置にあるとすると、画素B1を前述の式（１）にしたがって画素A1,A2 および画素位置128 に対応する補間係数ｋによって算出する。次にB2を算出する場合には、上記式（２）に従って処理後の画素位置MDHIを算出する。この場合、MDH が200 、MDHI(L) が128 であるのでMDHIは328 と算出される。このMDHIは256 を超えているため次の画素A3と画素A2との補間処理によって画素B2を算出する。また、MDHI(L) は72となって、この72に対応する補間係数ｋが設定される。
【００４８】
同様にしてB3を算出する場合、式（２）からMDHI=200+72=272 を求め、同様にして次の画素A4と、画素A3と、この場合のMDHI(L)=16とに対応する補間係数ｋによって画素B3を算出する。続いてB4を算出する場合には、式（２）からMDHI=200+16=216 を算出する。この場合、画素B4は、A3,A4 およびMDHL(L)216に対応する補間係数ｋによって算出される。コントローラ26は以降同様にして画素B1〜B16 を算出し、また垂直方向の補間処理も同様に行なう。このようにしてコントローラ26は、補間演算のための補間係数を算出してそれぞれ補間処理部に通知する。
【００４９】
以上のような構成で、ディジタル画像処理装置10の動作を以下に説明する。図２に示した画像メモリ12に入力した一画面分の画像信号（輝度信号および色差点順次信号）がその記憶領域に蓄積されると、メモリコントローラ18の制御に従ってその画面の縦横16画素ごとに分割されて読み出される。画像メモリ12から読み出された最初のブロックの輝度信号はズームブロック14のブロックメモリ20a に一旦蓄積され、また最初のブロックのクロマ信号はブロックメモリ22a に一旦蓄積される。次に、画像メモリ12から読み出されたブロックごとの輝度信号とクロマ信号とはそれぞれブロックメモリ20b および22b に蓄積される。蓄積されたこれら画像信号はそれぞれズーム処理回路24に出力されるとともに、以降同様にして画像メモリ12からブロックごとに読み出された画像信号がそれぞれのブロックメモリに交互に蓄積される。
【００５０】
ズーム処理回路24に入力された画像信号の輝度信号は、図１に示した垂直補間回路50およびラインメモリ52にそれぞれ入力され、垂直補間回路50に入力した輝度信号とラインメモリ52から出力された１ライン分前の輝度信号と、コントローラ26にて算出された補間係数とを式（１）に適用して演算処理され、垂直方向に補間された輝度信号が垂直補間回路50から水平補間回路54に出力される。この垂直方向に補間された輝度信号も同様にしてコントローラ26にて算出された補間係数に基づいて水平方向に補間された輝度信号が算出される。このようにして垂直および水平方向に補間処理された輝度信号は遅延回路56に出力され、クロマ信号との同期がとられてフィルタバンクＹ58に入力される。
【００５１】
一方、ズーム処理回路24に入力されたクロマ信号は、同時化回路60に入力されて、その出力110 および112 にそれぞれクロマ信号CrおよびCbが同時に出力される。出力されたクロマ信号はそれぞれ、垂直補間回路62および68にて垂直方向の補間処理が実行され、さらにそれぞれ水平補間処理回路64および72にて水平方向の補間処理が行なわれる。これら補間処理も輝度信号と同様にしてコントローラ26にて算出された補間係数に基づいて行なわれる。このようにして補間処理されたクロマ信号はサンプリング回路66にて点順次にて出力されるようサンプリングして並べ替えられ、通常はクロマ信号Cr,Cb の順にサンプリング回路66から出力されフィルタバンクＣ74に入力される。この場合、水平方向に１ブロック前の１ラインの出力画素数が奇数である場合には、Cb,Cr の順にサンプリング回路66にて点順次化されて出力される。
【００５２】
以上のようにしてそれぞれフィルタバンク58および74に入力されたブロックごとの輝度信号とクロマ信号は、それぞれのブロックごとにコントローラ26にて制御された画像処理特性にて処理される。フィルタバンク58および74が図３に示した実施例の構成の場合におけるフィルタバンク58に入力した輝度信号について、説明すると、フィルタバンク58の入力108 に入力した輝度信号は、それぞれフィルタ80a,80b および80c に入力される。これらフィルタ80に入力した輝度信号はそれぞれのフィルタ特性にて濾過されてスイッチ84のそれぞれの入力端子300,302 および304 に供給される。
【００５３】
ここでスイッチ84は、コントローラ26から供給される制御信号310 に従ってそのブロックに対する接続が制御され、たとえばフィルタ80a が選択されている場合には、図示の接続となって入力端子300 が出力308 に接続され、さらにコントローラ26からスイッチ86に供給される制御信号312 に従ってこの入力端子308 が出力306 に接続される。このような接続の場合には、フィルタ80a の出力がフィルタバンク58の出力として採用されてフィルタバンク58から出力される。このようにフィルタバンクでは、入力されたブロックごとの画像信号がコントローラ26にて選択されたフィルタ特性にて処理されて出力される。フィルタバンク74も同様にしてコントローラ26にて選択されたフィルタ特性のフィルタを用いてクロマ信号が処理されて出力される。
【００５４】
以上のようにしてフィルタバンクの処理特性を画像の処理単位である１ブロックごとに選択可能なように構成されているので、複数ブロックからなる画像の所定部分のみをぼかしたり、先鋭化させたりすることができる。この場合、選択するフィルタ特性をノイズ成分の除去の目的に合致した特性として、一画面の特定部分に対して、たとえば狭帯域のフィルタ特性を有したフィルタを選択することで、高域ノイズ成分等を除去することができる。また、フィルタバンクにたとえば図５に示すフィルタ特性のバンドパスフィルタ(BPF(A),BPF(B)) を用いて輪郭強調処理を行なう場合には、画面の特定部分のみに対して輪郭強調処理を行なうことができるので、強調処理をより効果的に活用することができる。このように以上説明した実施例では、画像の処理単位であるブロックごとに画像処理を適切に行なうことで簡便な回路規模にて所望する特殊効果を得ることができた。
【００５５】
次に示す実施例では、図２に示したズームコントローラ26にてズーム処理を制御する際、ズーム後の画素位置の算出をブロックごとに設定し直して変更することによって、画面の場所ごとにズーム倍率を可変とすることができる画像処理装置について説明する。図７を参照すると、ズームコントローラ26（図２）における水平方向の画素位置(MDH) を算出するためのブロック図が示されている。
【００５６】
前述した実施例では、補間処理後の画素位置を前記式（２）にて算出したが、本実施例では、次式（３）にて算出するようにコントローラ26が構成されている。
【００５７】
【数３】
ＭＤＨＩ＝ＭＤＨ’＋ＭＤＨＩ（Ｌ） ・・・・（３）
ただし ＭＤＨ’＝ｅ×ＭＤＨＩ（Ｌ）
本実施例では画素間隔(MDH) を他の画素間隔(MDH')にすげ替えることによって画面内の各部分にて部分的にズーム倍率が可変となるように構成されている。詳しくは、図７に示すように、本実施例におけるコントローラ26は、修正された画素位置(MDH')を算出するための算出回路700 を有し、この算出回路700 は、基準のズーム倍率に応じて画素間隔(MDH) を出力する間隔設定回路702 と、現在処理しているブロックのブロックアドレスに応じて変化する変数ｅを表わすテーブル情報が記憶されたメモリ回路704 と、間隔設定回路702 の出力とメモリ回路704 からブロックアドレスに応じて出力された変数ｅとを乗算して変更されたMDH'を出力する乗算回路706 とを有している。
【００５８】
乗算回路706 の出力は加算回路708 の一方の入力710 に接続され、他方の入力712 には、画素位置(MDHI(L)) を記憶するメモリ回路714 が接続されている。またメモリ回路714 の入力716 には最初の画素位置(MDHIP) を出力する初期位置設定回路718 が接続され、メモリ回路714 はまずこのMDHIP をロードして記憶する。また加算器路708 の出力720 は、ズーミング時の画素位置を指定する情報として補間処理回路にて補間処理する際に用いられるとともに、この出力720 はメモリ回路714 に接続されている。メモリ回路714 は、入力720 に入力する画素位置MDHIの下位８ビットをMDHI(L) として格納する。
【００５９】
メモリ回路704 には、たとえば図８に示すように、ブロックアドレスに応じてその値が山なりの放物線上に沿って変化する変数ｅが設定されたテーブル情報が格納されている。本実施例ではこのテーブル情報があらかじめメモリ回路704 に記憶されているが、これに限らず、たとえばコントローラ26の外部から所望のテーブル情報をメモリ回路704 に記憶させるように構成されていてもよい。また、変数ｅは、図８において下に凸のような特性曲線を有するように設定されてもよい。
【００６０】
以上のようなズームコントローラ26の構成で、ブロックごとにズーム倍率を変更することによって、魚眼レンズ効果を得る場合の動作を以下に説明する。
【００６１】
間隔設定回路702 にはズーム倍率に応じた画素間隔MDH が設定され、設定されたMDH は乗算回路706 に入力される。一方、メモリ回路704 に入力されたブロックアドレスに応じて、これに対応する変数ｅが乗算回路706 に出力される。これらMDH と変数ｅとは乗算回路706 にて乗算されて（ｅ×MDH ）、その演算結果が修正されたMDH'として加算回路708 に入力される。
【００６２】
加算回路708 の他方の入力712 にはメモリ回路714 から出力されたMDHI(L) が入力され、このMDHI(L) とMDH'とが加算されて、修正された画素位置MDHI' が出力720 に出力される。またこのMDHI' の下位ビットのデータは、メモリ回路714 に入力されてその値が更新され、次のブロックに対する画素位置の算出の際に使用される。また、垂直方向の画素位置算出についても同様の処理にて実現される。
【００６３】
このようにしてズーム処理回路24に入力されたブロックごとの画像信号はブロックごとの画素位置がたとえば図９に示すように修正されて、画面の部分的にズーム倍率が可変とされた画像を得ることができる。この場合、変数ｅの特性が上に凸の特性を示しているので、画面の中央部分の画素間隔が拡大された魚眼レンズ効果を得ることができる。またこの特性が下に凸を示す変数ｅを表わすテーブル情報がメモリ702 に設定されている場合には、中央部分の画素間隔が縮小され、周辺部の画素間隔が拡大された特殊な画像を得ることができる。
【００６４】
この第３の実施例においても、前述した第１および第２の実施例と同様に、画像処理した画像を表示装置に表示させて、この特殊効果を画面で確認しながら、ズーム処理する領域を可変とすることができる。また、この第３の実施例を第１または第２の実施例と組み合わせて構成することもでき、その場合、魚眼レンズ効果を得るとともに、たとえば画面の中央部分などの特定の領域に対して画像の尖鋭度を変化させることができ、特殊効果をより効果的に実現することができる。
【００６５】
以上説明したように本実施例では、画像の処理単位のブロックごとに電子ズーム処理された画素の画素位置を可変として、画面内において連続的にズーム倍率を可変させることによって、魚眼レンズ効果などの特殊な画像処理を簡便な構成にて実現している。したがって、このような特殊効果を高速に処理することができ、静止画像のみならず動画像に対して画像処理する場合にも対応することができる。
【００６６】
本実施例におけるディジタル画像処理装置10は、このように画像を表わすディジタル画像信号に対し特殊効果を施すことができるので、この装置は、たとえばフィルムに記録された画像を読み取って、ディジタル画像信号を出力するフィルムスキャナ、動画像を撮影するムービーカメラ、静止画像を撮影するディジタルスチルカメラなどの画像入力装置や、これら装置にて得られた画像を編集加工するディジタル編集装置などの装置に組み込むことができる。またディジタル処理された画像を出力する表示装置や印刷装置などの画像出力装置にディジタル画像処理装置10を適用してもよい。
【００６７】
【発明の効果】
このように本発明によれば、処理手段にてブロックごとの画像信号を、それぞれのブロックに対してそれぞれ異なる処理特性にて画像処理をすることができるように構成されているので、画面の所望する部分に対し画像処理特性を変えた画像を簡便な構成にて実現することができるとともに、その処理速度を高速化することができる。したがって画像処理手段にて画像処理する際に、複数のブロックから構成された範囲の特定部分に対して希望する特殊効果を施すことができる。この結果、画面の場所に応じてズーム倍率を変化させることが簡便な構成にて実現される。
【図面の簡単な説明】
【図１】本発明が適用されたディジタル画像処理装置の主要部分の実施例を示すブロック図である。
【図２】本発明が適用されたディジタル画像処理装置の一実施例を示すブロック図である。
【図３】図１に示したフィルタバンクの一実施例を示すブロック図である。
【図４】図１に示したフィルタバンクの一実施例を示すブロック図である。
【図５】図１に示したフィルタバンクにおける特性例を示すグラフである。
【図６】画素補間処理の一例を示す図である。
【図７】図２に示したズームコントローラにおける構成例を示すブロック図である。
【図８】図７に示したメモリに蓄積された係数ｅをブロックアドレスに対応して表わした図である。
【図９】図７に示したズームコントローラによるブロックごとの画素位置を修正した場合の一例を示す図である。
【符号の説明】
10 ディジタル画像処理装置
14 ズームブロック
20,22 ブロックメモリ
24 ズーム処理回路
26 ズームコントローラ
50,62,68 垂直補間回路
52,64,70 ラインメモリ
54,64,72 水平補間回路
56 遅延回路
66 サンプリング回路
58,74 フィルタバンク
【発明の属する技術分野】
本発明は、所望の画像を表わすディジタル画像信号を画像処理するディジタル画像処理装置に係り、画像の所望の部分に対して画像加工を行なうディジタル画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、高精細画像を表わすディジタル画像信号を生成するディジタルスチルカメラなどの撮像装置から得られた高画素密度の画像信号を、たとえば光ディスクなどの大容量情報記録媒体に記録したり、その画像信号の表わす画像を可視画像としてプリントすることが行なわれている。また、動画像を撮影するムービーカメラでは、撮像レンズの撮影倍率を可変とするズームレンズが搭載され、また、そのズーム倍率を補うことを一つの目的として、撮像により得られた各フレームのディジタル画像信号を補間処理して画像を拡大する電子ズーミング機能が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の電子ズーム機能などの画像処理では、処理する画像全体に対して、特定の画像処理を施すように構成されていたので、画像の特定部分に対して画像を特殊加工することが困難であった。たとえば、画像信号を画素ごとに補間処理する電子ズーム機能ではディジタル演算処理量が多くなり、この機能に対しさらに画像の特定部分をのみを加工する機能を付加すると、非常に複雑な回路が必要とされ、また、その処理速度が遅くなるという問題があった。
【０００４】
このような状況の下、たとえば、本出願人による特許出願、「デジタル画像処理装置（特願平6-86863 号）」には、小規模の回路構成によって電子ズーム処理を行なうことのできるディジタル画像処理装置を開示している。しかし、これも画像の特定部分に対し部分的に特殊効果処理を施すことのできるものではなかった。
【０００５】
本発明はこのような従来技術の欠点を解消し、画像の特定の部分に対し特殊効果などの画像処理を簡便な構成にて高速に施すことのできるディジタル画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は上述の課題を解決するために、１画面の画像をディジタル値にて表わす画像信号を所定のブロックごとに処理して出力するディジタル画像処理装置において、この装置は、画像信号を記憶する第１の記憶手段と、第１の記憶手段に記憶された画像信号を複数の小ブロックに区分し、この区分されたブロックごとの画像信号を第１の記憶手段から読み出して出力させる記憶制御手段と、第１の記憶制御手段から出力されたブロックの画像信号を順次記憶するブロックメモリと、ブロックメモリに記憶されたブロックの画像信号を順次入力し、このブロックごとに画像処理を行なって画像を加工する画像処理手段と、画像処理手段にて処理されて出力された小ブロックの画像信号を記憶する第２の記憶手段とを備え、画像処理手段は、ブロックメモリに蓄積されるブロックごとの画像信号をそれぞれ異なる処理特性にて画像処理する複数の処理特性を有した処理手段と、特定のブロックの画像信号を処理するときに、複数の処理特性のいずれかを選択する選択手段とを有し、選択手段にて選択された処理特性にて特定のブロックを画像処理させて、この画像処理されたブロックごとの画像信号を第２の記憶手段に出力することを特徴とする。
【０００７】
この場合、画像処理手段は、複数の処理特性を有する複数の処理手段を有し、選択手段は、特定のブロックの画像信号を処理するときに、複数の処理特性のいずれかの処理特性を有した処理手段を選択するとよい。
【０００８】
この場合さらに複数の処理手段は、それぞれカットオフ周波数が異なるローパスフィルタを含むとよい。
【０００９】
また、複数の処理手段は、ブロックごとの画像信号の所定の周波数帯域を通過させるバンドパスフィルタを含むとよい。
【００１０】
また、画像処理手段は、第１の記憶手段から読み出された輝度信号を画像処理する第１の画像処理手段と、第１の記憶手段から読み出されたクロマ信号を画像処理する第２の画像処理手段とを含むとよい。
【００１１】
また、この装置は、画像処理手段にて画像処理するブロックを選択的に指定する指定手段を有し、画像処理手段は、指定手段にて指定されたブロックの画像信号を選択手段にて選択された処理特性にて画像処理するとよい。
【００１２】
また、処理手段は、ブロックメモリに蓄積されたブロックごとの画像信号をこのブロックごとに補間演算する電子ズーム処理をする演算手段を含むとよい。
【００１３】
この場合、画像処理手段は、ズーミング時の画素位置をブロックごとに設定する設定手段と、画素位置をブロックごとに修正する修正手段とを含み、処理手段は、修正手段にて修正された画素位置に基づいてブロックごとの画像信号をズーム処理するとよい。
【００１４】
この場合さらに、修正手段は、ズーム倍率に応じた画素間隔と、処理するブロックのアドレスに応じた係数とを乗算して、修正された画素位置を算出するとよい。
【００１５】
【発明の実施の形態】
次に添付図面を参照して本発明によるディジタル画像処理装置の実施例を詳細に説明する。図２を参照すると本発明が適用されたディジタル画像処理装置の一実施例が示されている。このディジタル画像処理装置10は、画像メモリ12に蓄積された一画面分の輝度信号(Y) と色差点順次信号(C) とを含むディジタル画像信号をズームブロック14にて所定のブロックごとに画像処理をして画像メモリ16に蓄積させる際、一画面の各ブロックごとにその画像処理特性を変更して、一画面の画像における画像特性を部分的に特殊処理を施すことのできる画像処理装置である。
【００１６】
この画像処理装置10は、同図に示したように、２次元イメージセンサなど画像入力装置から出力された一画面分のディジタル画像信号を入力200 に入力し、この画像信号を順次蓄積する画像メモリ12を有し、この画像メモリ12はメモリコントローラ18からの制御に応じて蓄積した画像信号を出力202 に出力する記憶回路である。本実施例における画像メモリ12は、このメモリコントローラ18の制御に応じてその記憶領域に蓄積された画像信号の輝度信号(Y) を16×16画素の所定のブロックごとに分割し、またクロマ信号(Cr,Cb) をそれぞれ16×８画素の所定のブロックごとに分割してそれぞれ読み出し、読み出したブロックごとの画像信号をその出力202 に出力する。画像メモリ12の出力202 はズームブロック14に接続されている。
【００１７】
ズームブロック14は、画像メモリ12から出力されたブロックごとの画像信号をそのブロックごとに拡大および縮小を行なうズーム処理機能を有した画像処理回路である。詳しくはこのズームブロック14は、画像メモリ12から出力された画像信号のうち輝度成分を表わす輝度信号をブロックごとに一時格納するブロックメモリ20a および20b と、その色差成分を表わすクロマ信号(Cr,Cb) をブロックごとに一時格納するブロックメモリ22a および22b とを有している。
【００１８】
ブロックメモリ20および22は、それぞれ、16×16画素、 (16×8)×２画素のブロックごとに入力した画像信号を蓄積する記憶領域を有したバッファメモリである。これらメモリ20および22はそれぞれ、入力202 に入力した各ブロックの画像信号を後述するズームコントローラ26の制御を受けて交互に記憶するメモリ20a および20b と、メモリ22a および22b とを有し、メモリ20には前述の輝度信号が記憶され、メモリ22にはクロマ信号が記憶される。ブロックメモリ20および22の出力はそれぞれズーム処理回路24に接続されている。
【００１９】
ズーム処理回路24は、ブロックメモリから出力されたブロックごとに所定の画像信号処理を施して、処理された画像信号をそのブロックごとに出力204 に出力する。本実施例におけるズーム処理回路24は、ズームコントローラ26からの制御に応じて、ブロックメモリから出力されたブロックごとの画像信号に対し、ズームコントローラ26からの制御を受けて、それぞれ適切な補間処理およびフィルタ処理などの画像処理を行なう機能を有している。ズーム処理回路24は、ブロックごとに処理した画像信号をその出力204 に接続された画像メモリ16に出力する。この画像メモリ16は、画像メモリ12と同様に一画面分の画像を表わす画像信号を蓄積する記憶回路である。とくにこの画像メモリ16は、ブロックごとの画像信号を所定の記憶領域に蓄積し、一画面分の画像信号が蓄積されると、その画面の画像信号を線順次に読み出して出力する。画像メモリ16の出力206 は、たとえば、その画像信号の表わす画像を表示する表示装置、所定の記録紙にプリントする印刷装置および画像信号を所定の記録形式に変換して光ディスクなどの情報記憶媒体に記録する記憶装置に接続される。
【００２０】
本実施例におけるズーム処理回路24を図１を参照してさらに詳しく説明すると、同図に示すようにズーム処理回路24は、ブロックメモリ20の出力100 にそれぞれ接続され、入力100 に入力した輝度信号(Y) をブロックの垂直方向に画素数変換を行なって画素補間処理をする垂直補間回路50と、ブロック内の水平方向の複数ラインの画素を記憶するラインメモリ52とを有している。ラインメモリ52で１ライン遅延した出力102 は垂直補間回路50に接続され、垂直補間回路50は、ブロック内のラインごとの輝度信号を垂直方向に補間する。垂直補間回路50の出力104 は水平補間回路54に接続され、水平補間回路54は、垂直補間回路50にて垂直補間された輝度信号を、そのブロックの水平方向に補間する。これら垂直補間回路50および水平補間回路54は、後述するズームコントローラ26の制御により、画素数変換を行なう電子ズーム処理機能を有し、電子ズーム処理における画像拡大時には、ブロックメモリの読み出しアドレスが制御されてブロック内の画素が重複読み出しされ、一方画像縮小時には、垂直補間回路50および水平補間回路54にてブロック内の画素を間引きすることによって、それぞれ電子ズーミング処理が行なわれる。本実施例では、元の画像の１／４倍の縮小処理から元の画像の２倍の拡大処理までの範囲を連続的にズーム処理を行なう。
【００２１】
水平補間回路54の出力106 は遅延回路56に接続され、遅延回路56は、輝度信号とともに処理されるクロマ信号とのタイミングを合わせるために、入力された輝度信号の出力を遅らせる回路である。遅延回路56の出力108 はフィルタバンクＹ58に接続されている。
【００２２】
一方、ブロックメモリ22の出力102 に接続された同時化回路60は、入力102 に点順次で入力されるそれぞれのブロックのクロマ信号(Cr,Cb) をそれぞれラッチして、これらクロマ信号CrおよびCbを同じタイミングにてそれぞれ出力110 および112 に出力する回路である。同時化回路60の出力110 はCr信号であり、一方は垂直補間回路62に接続され、他方はラインメモリ64に接続されている。また、同時化回路60の出力112 はCb信号であり、一方は垂直補間回路68に接続され、他方はラインメモリ70に接続されている。
【００２３】
垂直補間回路62および68は、垂直補間回路50と同様に、それぞれブロックごとのクロマ信号を垂直方向に補間を行なう画素補間処理回路である。垂直補間回路62および68は、それぞれ、ブロックの水平方向の複数ラインの画素を記憶するラインメモリ64および70の出力に接続され、これらラインメモリにより１ライン遅延して出力された画素と、入力110 および112 に入力したブロックメモリからの画素とで垂直方向に補間する。垂直補間回路62および68の出力114 および116 は、それぞれ水平補間処理回路64および72に接続され、これらは水平補間回路54と同様に、垂直方向に補間処理されたブロックのクロマ信号をそれぞれ水平方向に補間する補間処理回路である。これら垂直補間回路62および68と、水平補間回路64および72とは、後述するズームコントローラ26の制御により、画素数変換を行なう電子ズーム処理機能を有し、本実施例では、元の画像の１／４倍の縮小処理から元の画像の２倍の拡大処理までの範囲を連続的にズーム処理を行なう。水平補間回路64および72の出力118 および120 はそれぞれサンプリング回路66に接続され、サンプリング回路66は、同時化回路60にて同時化され、それぞれ補間されたクロマ信号を点順次に並べ替える回路である。サンプリング回路66は、点順次化したクロマ信号をCr,Cb の順またはCb,Cr の順に出力する。また、サンプリング回路66は、ズーム処理における縮小時には、入力したクロマ信号をサブサンプリングしてデータを間引く機能を有している。サンプリング回路66の出力122 はフィルタバンクＣに接続されている。
【００２４】
本実施例におけるフィルタバンクＹ58およびＣ74はぞれぞれ、入力108 および122 に入力したブロックごとの画像信号を所望のフィルタ特性にて濾過する回路である。このフィルタバンク58の一例を図３を参照して説明すると、同図には、それぞれ互いに処理特性の異なる複数のフィルタ80a,80b および80c を有し、それらフィルタの出力をズームコントローラ26（図２）から出力された制御信号に応じて選択する場合の実施例が示されている。
【００２５】
詳しくは、フィルタ80a,80b および80c は、このフィルタバンク58の入力108 に接続され、これらフィルタ80は、それぞれカットオフ周波数が異なる低域通過型フィルタ(LPF) にて構成され、フィルタ80a,80b,80c の順にカットオフ周波数が低いフィルタである。したがって、ブロックごとにフィルタバンク58に入力された輝度信号は、フィルタ80a にてその輝度信号の表わす画像が最も尖鋭化され、逆にフィルタ80c にてその輝度信号の表わす画像が最もぼけた画像となるとともに、高域ノイズ成分が除去される。なお、フィルタ80b にて濾過された輝度信号は、その信号の表わす画像がフィルタ80a の出力とフィルタ80c の出力との中間尖鋭度の状態となる。フィルタ80a,80b および80c の出力300,302 および304 は、それぞれ切換回路82に接続されている。
【００２６】
切換回路82は、フィルタ80a,80b および80c の出力およびこのフィルタバンク58の入力108 を切り換えることによって、その出力306 に接続する切換回路である。切換回路82は、フィルタ80a,80b および80c の出力を切り換える切換スイッチ84と、切換スイッチ84の出力端子308 および接続線108 にそれぞれ接続され、これらを切り換えて出力306 に接続する切換スイッチ86とを有している。切換スイッチ84および86の接続切換は、それぞれ制御入力310 および312 に入力されるズームコントローラ26からの制御信号に応動して制御される。とくに切換スイッチ86は、入力108 をその出力端子306 に接続した場合、フィルタバンク58に入力したブロックごとの輝度信号をフィルタを介さずに出力する機能を有している。
【００２７】
このように、本実施例におけるフィルタバンク58は、それぞれ処理特性の異なる特定の処理特性を有した複数のフィルタ80が切換回路82にて選択可能に構成され、切換回路82にて選択されたフィルタの出力がフィルタバンク58の出力として出力される。フィルタバンク74の構成もこのフィルタバンク58の構成と同じ構成でよい。
【００２８】
また、フィルタバンク58は、たとえば、図４に示したように、係数Gnによってフィルタ特性を可変とすることのできるディジタルフィルタにて構成することができる。このように構成したフィルタバンクを図１に示したフィルタバンクＹ58に適用した場合の構成を同図を参照して説明すると、フィルタバンク58の入力は、乗算器88-1およびメモリ90-1に接続されている。メモリ90-1,90-2,90-3および90-4それぞれの出力108-1,108-2,108-3,108-4 は、それぞれ次段階のメモリ90-2,90-3,90-4,90-5 に接続されているとともに、これら出力は、それぞれ乗算器88-2,88-3,88-4および88-5に接続されている。また、メモリ90-5の出力108-5 は乗算器88-6に接続されている。これらメモリ90は、それぞれ入力されたブロックごとの輝度信号を格納し、格納した輝度信号を順次乗算器88に出力する遅延機能を有したシフトレジスタである。乗算器88-1,88-2,88-3,88-4,88-5および88-6の入力は、それぞれ、フィルタバンク58への入力108 およびそれぞれのメモリ90の出力に接続され、これら入力に入力される輝度信号と、入力400,401,402,403,404 および405 にそれぞれ入力される乗算係数Gn(G1 〜G5) とを乗算する乗算回路である。
【００２９】
乗算器88の出力はそれぞれ加算器92に接続され、加算器92は、それぞれ入力された乗算器88の出力信号を加算することによって、ブロックごとの輝度信号の高域周波数成分を濾過した画像信号を出力する。
【００３０】
乗算器88に供給される乗算係数Gnは、同図に示したROM94 にGnテーブルとしてあらかじめ記憶されている。ROM94 には、それぞれフィルタ特性の異なるフィルタ機能を実現するための複数のGnテーブルが格納されている。本実施例では、ROM94 はローパスフィルタ特性やバンドパスフィルタ特性を実現するためのテーブル情報が格納され、第１のGnテーブルは、たとえば最もカットオフ周波数が高いローパスフィルタを構成するための乗算係数Gnであり、第３のGnテーブルは、最もカットオフ周波数が低いローパスフィルタを構成するための乗算係数Gnである。第２のGnテーブルはこれら第１および第３のGnテーブルの中間の特性を有したフィルタを構成する乗算係数である。
【００３１】
これらGnテーブルの出力410,412 および414 はそれぞれ切換スイッチ96の入力端子に接続され、切換スイッチ96は、制御入力310 に供給される制御信号に従って、これら入力端子を切り換えてその出力端子416 に接続する切換回路である。スイッチ96の出力端子416 はさらに、切換スイッチ98の一方の入力端子に接続され、切換スイッチ98は、この入力端子416 と、入力端子418 とを制御入力312 に供給される制御信号に従って、これら入力端子を切り換えてその出力端子420 に接続する。これら切換スイッチ96,98 の制御入力310 および312 と、入力端子418 とはそれぞれズームコントローラ26に接続されている。とくに入力端子418 には、コントローラ26にて設定されたGnテーブルが入力され、フィルタバンク58の外部から乗算係数Gnを設定することができる。
【００３２】
切換スイッチ98の出力端子420 は、Gnレジスタ99に接続され、このレジスタ99は、スイッチ回路96および（または）98にて選択されたGnテーブルの乗算係数Gnをラッチするレジスタである。レジスタ99は、ラッチした乗算係数G1〜G6をそれぞれ接続線400 〜405 を介して乗算器88-1〜88-6に転送する。乗算器88-1〜88-6は、レジスタ99から転送された乗算係数Gnを、それぞれ入力108,108-1,108-2,108-3,108-4 および108-5 に入力したブロックごとの輝度信号に乗算する。
【００３３】
このように、この第２の実施例におけるフィルタバンク58は、乗算係数Gnの値を複数のグループからなるGnテーブルの中から選択的に変更することによって、それぞれフィルタ特性の異なるフィルタを構成することができる。このため乗算器88、メモリ90および加算器90から構成されるディジタルフィルタ回路をさらに複数用意する必要がない。なお、フィルタバンク74の構成もこの図４に示したフィルタバンク58の構成と同じ構成でよい。
【００３４】
以上、図３および図４を参照して説明したフィルタバンクの構成例は、いずれもローパスフィルタ機能を有するものであったが、本発明はこれに限らず、たとえば、図５に示すように複数のローパスフィルタ機能に代えて、もしくはローパスフィルタ機能に加えて、所定周波数を中心とする所定帯域の画像信号を通過させる帯域フィルタ（BPF;バンドパスフィルタ）をフィルタバンクに構成してもよい。この場合、BPF(A)およびBPF(B)は、それぞれのブロックにおける輪郭補正を行なう機能を実現し、とくに中心周波数が高域に設定されたフィルタほど輪郭強調処理が施される。このように、本実施例におけるフィルタバンクは、入力されるブロックごとにその画像処理特性を変更するので、一画面の特定部分に対する処理特性をブロック単位で変更することによって、画面の特定領域を他の領域とは異なる特性にて画像処理を施し、部分的に先鋭化された画像や、部分的にぼけたソフトフォーカスのような画像や、部分的に画像の輪郭が強調された画像などを簡便な構成にて得ることができる。
【００３５】
このようなブロック単位にて画像処理特性を変更するための制御信号は、図２に示したズームコントローラ26から出力されてフィルタバンク58および74に入力される。このズームコントローラ26は、ズーム処理回路24における補間処理およびフィルタ処理などの画像処理を制御する制御回路である。
【００３６】
詳しくはコントローラ26は、画像メモリ12に蓄積された画像信号をブロックごとに読み出すようにメモリコントローラ18を制御する読出制御機能を有している。
【００３７】
また、コントローラ26は、画像メモリから読み出された輝度信号およびクロマ信号をそれぞれブロックメモリ20および22に蓄積させ、これらメモリに蓄積された画像信号をそれぞれ読み出して出力させる制御を行なう機能を有している。この場合、コントローラ26は、ブロックごとの輝度信号をブロックメモリ20a および20b にそれぞれ交互に蓄積させ、同様にブロックごとのクロマ信号をブロックメモリ22a および22b にそれぞれ交互に蓄積させる。
【００３８】
さらにコントローラ26は、ズーム処理回路24における補間処理を制御する機能を有している。詳しくはコントローラ26は、垂直補間回路50にて一次線形補間処理する際に必要となる補間係数を算出する機能を有している。この補間処理は、たとえば、ブロックメモリ20a および20b から接続線100 を介して直接垂直補間回路50に入力される輝度信号をｂ、ラインメモリによって遅延された１ライン前の輝度信号をａ、コントローラ26にて算出した補間係数の値をｋとすると、次式にて表わす演算処理を実行することによって、そのブロックの垂直方向に補間された輝度信号Ｙが生成される。
【００３９】
【数１】
ＹorＣ＝｛ａ（ｎ−ｋ）＋ｂｋ｝／ｎ ・・・・（１）
垂直補間回路62および68も同様にして、コントローラ26にて算出された補間係数を式（１）に代入して演算処理することにより垂直方向のクロマ信号Ｃを得ることができる。なお、式（１）におけるｎは、補間の際の分解能であり、たとえば、補間係数ｋが３ビットの分解能のときｎ＝２3 となる。
【００４０】
水平補間回路54,64 および72は、それぞれ１画素前のデータを保持するバッファ（図示せず）を含み、このバッファにて遅延された１画素前の画像信号（たとえば輝度信号）をａ、それぞれ垂直補間回路から出力された画像信号をｂ、ズームコントローラ26にて算出した補間係数の値をｋとすると、前述の式（１）と同様な演算処理により水平方向に補間した画像信号（輝度信号Ｙおよびクロマ信号Ｃ）をそれぞれ得ることができる。
【００４１】
また、コントローラ26は、フィルタバンク58および74を制御する機能を有している。具体的には、フィルタバンク58および74が図３に示した構成の場合には、コントローラ26は、フィルタ80a,80b および80c の出力を切り換えるための制御信号を生成して、切換スイッチ84の制御入力に310 に供給する。また、コントローラ26は、切換スイッチ86の入力端子108 および入力端子308 を切り換えるための制御信号を生成して切換スイッチ84の制御入力312 に供給する。
【００４２】
これらフィルタバンク26のフィルタ特性を切り換えるための制御信号は、有利には指示入力装置30から入力される指示信号に応動して生成される。たとえば、画像メモリ16の出力206 に、このメモリから読み出された画像信号の表わす画像を可視表示するカラーディスプレイなどの表示装置が接続されているときには、ズームブロック14にて処理された画像信号に対応する画像がその表示画面に表示される。したがって、この場合、操作者は、その画像を黙視しながらズーム処理およびフィルタ処理の効果を確認することができる。つまり、指示入力装置30は、一画面の画像に対し操作に応じた所定の範囲の部分を指定する指示信号と、その指定した部分に対する処理の度合い、つまりフィルタ特性を選択するための指示信号を生成する機能を有している。ズームコントローラ26は、この指示信号を受けて、画面の指定された領域に対応する部分のブロックの画像信号を処理する際、指示信号にて指定されたフィルタ特性のフィルタ80の出力を採用するようにフィルタバンク58および74を制御する。また、コントローラ26は、フィルタ特性を選択する指示信号が補正なしを示していれば、スイッチ86の入力端子108 を出力端子306 に接続させる制御信号をスイッチ86に供給して、この場合には、フィルタバンク58および74に入力した画像信号に対しフィルタ処理を施さずにそのまま出力する。
【００４３】
また、フィルタバンク58および74の構成が、図４に示した構成の場合には、コントローラ26は、ROM94 に蓄積された複数のGnテーブルのうち１つを選択するための制御信号を生成し、この制御信号をスイッチ96の制御入力に供給することによって、ROM94 の出力410,412 および414 のいずれかをその出力端子416 に接続させる。さらにコントローラ26は、Gnテーブルにおける乗算係数Gnを生成する機能を有し、所望の乗算係数をフィルタバンクの外部から設定することができる。この場合、生成した乗算係数Gnをスイッチ98の入力端子418 に供給するとともに、スイッチ98の入力端子418 をその出力端子に接続させる制御信号をスイッチ98の制御入力312 に供給する。
【００４４】
このように本実施例におけるズームコントローラ26は、とくに、ズーム処理回路24（図２）におけるフィルタやそのフィルタ特性を選択し、選択したフィルタ特性にて電子ズーム機能の処理単位である画像信号のブロックに画像処理させる機能を有している。
【００４５】
さらにズームコントローラ26は、ズーム処理回路24にてブロックごとの画像信号を垂直および水平補間する際に必要となる補間係数を設定する機能を有している。具体的には本実施例におけるコントローラ26は、ズーム倍率に応じた水平方向の画素間隔(MDH) と垂直方向の画素間隔(MDV) とを決定し、これら画素間隔と、画素位置(MDH,MDV) と、最初の画素位置(MDHIP,MDVP)に基づいて、たとえば補間処理後の水平方向の画素位置(MDHI)を次式にしたがって算出する。
【００４６】
【数２】
ＭＤＨＩ＝ＭＤＨ＋ＭＤＨＩ（Ｌ） ・・・・（２）
ここで、ＭＤＨＩ（Ｌ）は、たとえば11ビットのＭＤＨＩのうち下位８ビットのデータである。また、最初の画素位置(MDHIP) は、ＭＤＨＩ（Ｌ）に代入される。
【００４７】
図６に示すように、元になるブロックの画素のデータをA1,A2,A3,A4, ・・・、その画素間隔を256 、電子ズーム処理後の画素のデータをB1,B2,B3,B4, ・・・、その画素間隔を200 とし、また、最初の画素B1がA1よりも128 だけ右側の位置にあるとすると、画素B1を前述の式（１）にしたがって画素A1,A2 および画素位置128 に対応する補間係数ｋによって算出する。次にB2を算出する場合には、上記式（２）に従って処理後の画素位置MDHIを算出する。この場合、MDH が200 、MDHI(L) が128 であるのでMDHIは328 と算出される。このMDHIは256 を超えているため次の画素A3と画素A2との補間処理によって画素B2を算出する。また、MDHI(L) は72となって、この72に対応する補間係数ｋが設定される。
【００４８】
同様にしてB3を算出する場合、式（２）からMDHI=200+72=272 を求め、同様にして次の画素A4と、画素A3と、この場合のMDHI(L)=16とに対応する補間係数ｋによって画素B3を算出する。続いてB4を算出する場合には、式（２）からMDHI=200+16=216 を算出する。この場合、画素B4は、A3,A4 およびMDHL(L)216に対応する補間係数ｋによって算出される。コントローラ26は以降同様にして画素B1〜B16 を算出し、また垂直方向の補間処理も同様に行なう。このようにしてコントローラ26は、補間演算のための補間係数を算出してそれぞれ補間処理部に通知する。
【００４９】
以上のような構成で、ディジタル画像処理装置10の動作を以下に説明する。図２に示した画像メモリ12に入力した一画面分の画像信号（輝度信号および色差点順次信号）がその記憶領域に蓄積されると、メモリコントローラ18の制御に従ってその画面の縦横16画素ごとに分割されて読み出される。画像メモリ12から読み出された最初のブロックの輝度信号はズームブロック14のブロックメモリ20a に一旦蓄積され、また最初のブロックのクロマ信号はブロックメモリ22a に一旦蓄積される。次に、画像メモリ12から読み出されたブロックごとの輝度信号とクロマ信号とはそれぞれブロックメモリ20b および22b に蓄積される。蓄積されたこれら画像信号はそれぞれズーム処理回路24に出力されるとともに、以降同様にして画像メモリ12からブロックごとに読み出された画像信号がそれぞれのブロックメモリに交互に蓄積される。
【００５０】
ズーム処理回路24に入力された画像信号の輝度信号は、図１に示した垂直補間回路50およびラインメモリ52にそれぞれ入力され、垂直補間回路50に入力した輝度信号とラインメモリ52から出力された１ライン分前の輝度信号と、コントローラ26にて算出された補間係数とを式（１）に適用して演算処理され、垂直方向に補間された輝度信号が垂直補間回路50から水平補間回路54に出力される。この垂直方向に補間された輝度信号も同様にしてコントローラ26にて算出された補間係数に基づいて水平方向に補間された輝度信号が算出される。このようにして垂直および水平方向に補間処理された輝度信号は遅延回路56に出力され、クロマ信号との同期がとられてフィルタバンクＹ58に入力される。
【００５１】
一方、ズーム処理回路24に入力されたクロマ信号は、同時化回路60に入力されて、その出力110 および112 にそれぞれクロマ信号CrおよびCbが同時に出力される。出力されたクロマ信号はそれぞれ、垂直補間回路62および68にて垂直方向の補間処理が実行され、さらにそれぞれ水平補間処理回路64および72にて水平方向の補間処理が行なわれる。これら補間処理も輝度信号と同様にしてコントローラ26にて算出された補間係数に基づいて行なわれる。このようにして補間処理されたクロマ信号はサンプリング回路66にて点順次にて出力されるようサンプリングして並べ替えられ、通常はクロマ信号Cr,Cb の順にサンプリング回路66から出力されフィルタバンクＣ74に入力される。この場合、水平方向に１ブロック前の１ラインの出力画素数が奇数である場合には、Cb,Cr の順にサンプリング回路66にて点順次化されて出力される。
【００５２】
以上のようにしてそれぞれフィルタバンク58および74に入力されたブロックごとの輝度信号とクロマ信号は、それぞれのブロックごとにコントローラ26にて制御された画像処理特性にて処理される。フィルタバンク58および74が図３に示した実施例の構成の場合におけるフィルタバンク58に入力した輝度信号について、説明すると、フィルタバンク58の入力108 に入力した輝度信号は、それぞれフィルタ80a,80b および80c に入力される。これらフィルタ80に入力した輝度信号はそれぞれのフィルタ特性にて濾過されてスイッチ84のそれぞれの入力端子300,302 および304 に供給される。
【００５３】
ここでスイッチ84は、コントローラ26から供給される制御信号310 に従ってそのブロックに対する接続が制御され、たとえばフィルタ80a が選択されている場合には、図示の接続となって入力端子300 が出力308 に接続され、さらにコントローラ26からスイッチ86に供給される制御信号312 に従ってこの入力端子308 が出力306 に接続される。このような接続の場合には、フィルタ80a の出力がフィルタバンク58の出力として採用されてフィルタバンク58から出力される。このようにフィルタバンクでは、入力されたブロックごとの画像信号がコントローラ26にて選択されたフィルタ特性にて処理されて出力される。フィルタバンク74も同様にしてコントローラ26にて選択されたフィルタ特性のフィルタを用いてクロマ信号が処理されて出力される。
【００５４】
以上のようにしてフィルタバンクの処理特性を画像の処理単位である１ブロックごとに選択可能なように構成されているので、複数ブロックからなる画像の所定部分のみをぼかしたり、先鋭化させたりすることができる。この場合、選択するフィルタ特性をノイズ成分の除去の目的に合致した特性として、一画面の特定部分に対して、たとえば狭帯域のフィルタ特性を有したフィルタを選択することで、高域ノイズ成分等を除去することができる。また、フィルタバンクにたとえば図５に示すフィルタ特性のバンドパスフィルタ(BPF(A),BPF(B)) を用いて輪郭強調処理を行なう場合には、画面の特定部分のみに対して輪郭強調処理を行なうことができるので、強調処理をより効果的に活用することができる。このように以上説明した実施例では、画像の処理単位であるブロックごとに画像処理を適切に行なうことで簡便な回路規模にて所望する特殊効果を得ることができた。
【００５５】
次に示す実施例では、図２に示したズームコントローラ26にてズーム処理を制御する際、ズーム後の画素位置の算出をブロックごとに設定し直して変更することによって、画面の場所ごとにズーム倍率を可変とすることができる画像処理装置について説明する。図７を参照すると、ズームコントローラ26（図２）における水平方向の画素位置(MDH) を算出するためのブロック図が示されている。
【００５６】
前述した実施例では、補間処理後の画素位置を前記式（２）にて算出したが、本実施例では、次式（３）にて算出するようにコントローラ26が構成されている。
【００５７】
【数３】
ＭＤＨＩ＝ＭＤＨ’＋ＭＤＨＩ（Ｌ） ・・・・（３）
ただし ＭＤＨ’＝ｅ×ＭＤＨＩ（Ｌ）
本実施例では画素間隔(MDH) を他の画素間隔(MDH')にすげ替えることによって画面内の各部分にて部分的にズーム倍率が可変となるように構成されている。詳しくは、図７に示すように、本実施例におけるコントローラ26は、修正された画素位置(MDH')を算出するための算出回路700 を有し、この算出回路700 は、基準のズーム倍率に応じて画素間隔(MDH) を出力する間隔設定回路702 と、現在処理しているブロックのブロックアドレスに応じて変化する変数ｅを表わすテーブル情報が記憶されたメモリ回路704 と、間隔設定回路702 の出力とメモリ回路704 からブロックアドレスに応じて出力された変数ｅとを乗算して変更されたMDH'を出力する乗算回路706 とを有している。
【００５８】
乗算回路706 の出力は加算回路708 の一方の入力710 に接続され、他方の入力712 には、画素位置(MDHI(L)) を記憶するメモリ回路714 が接続されている。またメモリ回路714 の入力716 には最初の画素位置(MDHIP) を出力する初期位置設定回路718 が接続され、メモリ回路714 はまずこのMDHIP をロードして記憶する。また加算器路708 の出力720 は、ズーミング時の画素位置を指定する情報として補間処理回路にて補間処理する際に用いられるとともに、この出力720 はメモリ回路714 に接続されている。メモリ回路714 は、入力720 に入力する画素位置MDHIの下位８ビットをMDHI(L) として格納する。
【００５９】
メモリ回路704 には、たとえば図８に示すように、ブロックアドレスに応じてその値が山なりの放物線上に沿って変化する変数ｅが設定されたテーブル情報が格納されている。本実施例ではこのテーブル情報があらかじめメモリ回路704 に記憶されているが、これに限らず、たとえばコントローラ26の外部から所望のテーブル情報をメモリ回路704 に記憶させるように構成されていてもよい。また、変数ｅは、図８において下に凸のような特性曲線を有するように設定されてもよい。
【００６０】
以上のようなズームコントローラ26の構成で、ブロックごとにズーム倍率を変更することによって、魚眼レンズ効果を得る場合の動作を以下に説明する。
【００６１】
間隔設定回路702 にはズーム倍率に応じた画素間隔MDH が設定され、設定されたMDH は乗算回路706 に入力される。一方、メモリ回路704 に入力されたブロックアドレスに応じて、これに対応する変数ｅが乗算回路706 に出力される。これらMDH と変数ｅとは乗算回路706 にて乗算されて（ｅ×MDH ）、その演算結果が修正されたMDH'として加算回路708 に入力される。
【００６２】
加算回路708 の他方の入力712 にはメモリ回路714 から出力されたMDHI(L) が入力され、このMDHI(L) とMDH'とが加算されて、修正された画素位置MDHI' が出力720 に出力される。またこのMDHI' の下位ビットのデータは、メモリ回路714 に入力されてその値が更新され、次のブロックに対する画素位置の算出の際に使用される。また、垂直方向の画素位置算出についても同様の処理にて実現される。
【００６３】
このようにしてズーム処理回路24に入力されたブロックごとの画像信号はブロックごとの画素位置がたとえば図９に示すように修正されて、画面の部分的にズーム倍率が可変とされた画像を得ることができる。この場合、変数ｅの特性が上に凸の特性を示しているので、画面の中央部分の画素間隔が拡大された魚眼レンズ効果を得ることができる。またこの特性が下に凸を示す変数ｅを表わすテーブル情報がメモリ702 に設定されている場合には、中央部分の画素間隔が縮小され、周辺部の画素間隔が拡大された特殊な画像を得ることができる。
【００６４】
この第３の実施例においても、前述した第１および第２の実施例と同様に、画像処理した画像を表示装置に表示させて、この特殊効果を画面で確認しながら、ズーム処理する領域を可変とすることができる。また、この第３の実施例を第１または第２の実施例と組み合わせて構成することもでき、その場合、魚眼レンズ効果を得るとともに、たとえば画面の中央部分などの特定の領域に対して画像の尖鋭度を変化させることができ、特殊効果をより効果的に実現することができる。
【００６５】
以上説明したように本実施例では、画像の処理単位のブロックごとに電子ズーム処理された画素の画素位置を可変として、画面内において連続的にズーム倍率を可変させることによって、魚眼レンズ効果などの特殊な画像処理を簡便な構成にて実現している。したがって、このような特殊効果を高速に処理することができ、静止画像のみならず動画像に対して画像処理する場合にも対応することができる。
【００６６】
本実施例におけるディジタル画像処理装置10は、このように画像を表わすディジタル画像信号に対し特殊効果を施すことができるので、この装置は、たとえばフィルムに記録された画像を読み取って、ディジタル画像信号を出力するフィルムスキャナ、動画像を撮影するムービーカメラ、静止画像を撮影するディジタルスチルカメラなどの画像入力装置や、これら装置にて得られた画像を編集加工するディジタル編集装置などの装置に組み込むことができる。またディジタル処理された画像を出力する表示装置や印刷装置などの画像出力装置にディジタル画像処理装置10を適用してもよい。
【００６７】
【発明の効果】
このように本発明によれば、処理手段にてブロックごとの画像信号を、それぞれのブロックに対してそれぞれ異なる処理特性にて画像処理をすることができるように構成されているので、画面の所望する部分に対し画像処理特性を変えた画像を簡便な構成にて実現することができるとともに、その処理速度を高速化することができる。したがって画像処理手段にて画像処理する際に、複数のブロックから構成された範囲の特定部分に対して希望する特殊効果を施すことができる。この結果、画面の場所に応じてズーム倍率を変化させることが簡便な構成にて実現される。
【図面の簡単な説明】
【図１】本発明が適用されたディジタル画像処理装置の主要部分の実施例を示すブロック図である。
【図２】本発明が適用されたディジタル画像処理装置の一実施例を示すブロック図である。
【図３】図１に示したフィルタバンクの一実施例を示すブロック図である。
【図４】図１に示したフィルタバンクの一実施例を示すブロック図である。
【図５】図１に示したフィルタバンクにおける特性例を示すグラフである。
【図６】画素補間処理の一例を示す図である。
【図７】図２に示したズームコントローラにおける構成例を示すブロック図である。
【図８】図７に示したメモリに蓄積された係数ｅをブロックアドレスに対応して表わした図である。
【図９】図７に示したズームコントローラによるブロックごとの画素位置を修正した場合の一例を示す図である。
【符号の説明】
10 ディジタル画像処理装置
14 ズームブロック
20,22 ブロックメモリ
24 ズーム処理回路
26 ズームコントローラ
50,62,68 垂直補間回路
52,64,70 ラインメモリ
54,64,72 水平補間回路
56 遅延回路
66 サンプリング回路
58,74 フィルタバンク
Claims (8)
- １画面の画像をディジタル値にて表わす画像信号を所定のブロックごとに処理して出力するディジタル画像処理装置において、該装置は、
画像信号を記憶する第１の記憶手段と、
該第１の記憶手段に記憶される画像信号を複数の小ブロックに区分し、該区分されたブロックごとの画像信号を前記第１の記憶手段から読み出して出力させる記憶制御手段と、
前記第１の記憶制御手段から出力される前記ブロックの画像信号を順次記憶するブロックメモリと、
前記ブロックメモリに記憶されたブロックの画像信号を順次入力し、該ブロックごとに画像処理を行なって前記画像を加工する画像処理手段と、
前記画像処理手段にて処理されて出力される小ブロックの画像信号を記憶する第２の記憶手段とを備え、
前記画像処理手段は、前記ブロックメモリに蓄積されるブロックごとの画像信号をそれぞれ異なる複数のフィルタ処理特性にて画像処理する処理手段であって、前記ブロックメモリに蓄積されたブロックごとの画像信号を該ブロックごとに補間演算して画素位置変換を行う処理手段と、
特定のブロックの画像信号を処理するときに、前記複数のフィルタ処理特性のいずれかを選択する選択手段と、
画素位置を前記ブロックごとに設定する設定手段と、前記画素位置をブロックごとに修正する修正手段とを有し、前記処理手段は、前記修正手段にて修正された画素位置と、前記ブロックごとにズーム倍率を可変にする特性曲線とに基づいて前記ブロックごとの画像信号を画素位置変換する電子ズーム処理を行い、
前記選択手段にて選択されるフィルタ処理特性にて前記特定のブロックを画像処理させて、該画像処理されたブロックごとの画像信号を前記第２の記憶手段に出力することを特徴とするディジタル画像処理装置。 - 請求項１に記載のディジタル画像処理装置において、前記画像処理手段は、前記複数のフィルタ処理特性を有する複数の処理手段を有し、
前記選択手段は、特定のブロックの画像信号を処理するときに、前記複数のフィルタ処理特性のいずれかのフィルタ処理特性を有する処理手段を選択することを特徴とするディジタル画像処理装置。 - 請求項２に記載のディジタル画像処理装置において、前記複数の処理手段は、それぞれカットオフ周波数が異なるフィルタ処理特性のローパスフィルタを含むことを特徴とするディジタル画像処理装置。
- 請求項２に記載のディジタル画像処理装置において、前記複数の処理手段は、前記ブロックごとの画像信号の所定の周波数帯域を通過させるフィルタ処理特性のバンドパスフィルタを含むことを特徴とするディジタル画像処理装置。
- 請求項１に記載のディジタル画像処理装置において、前記画像処理手段は、前記第１の記憶手段から読み出される輝度信号と、前記第１の記憶手段から読み出されるクロマ信号とをそれぞれ画像処理することを特徴とするディジタル画像処理装置。
- 請求項１に記載のディジタル画像処理装置において、該装置は、前記画像処理手段にて画像処理するブロックを選択的に指定する指定手段を有し、
前記画像処理手段は、前記指定手段にて指定されるブロックの画像信号を前記選択手段にて選択されるフィルタ処理特性にて画像処理することを特徴とするディジタル画像処理装置。 - 請求項１に記載のディジタル画像処理装置において、前記修正手段は、ズーム倍率に応じた画素間隔と、処理するブロックのアドレスに応じた係数とを乗算して前記修正された画素位置を算出することを特徴とするディジタル画像処理装置。
- 請求項１に記載のディジタル画像処理装置において、前記特性曲線は、処理しているブロックのアドレスに応じて変化する変数を表すテーブル情報であることを特徴とするディジタル画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24266295A JP3939772B2 (ja) | 1995-09-21 | 1995-09-21 | ディジタル画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24266295A JP3939772B2 (ja) | 1995-09-21 | 1995-09-21 | ディジタル画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0993486A JPH0993486A (ja) | 1997-04-04 |
| JP3939772B2 true JP3939772B2 (ja) | 2007-07-04 |
Family
ID=17092382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24266295A Expired - Fee Related JP3939772B2 (ja) | 1995-09-21 | 1995-09-21 | ディジタル画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3939772B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060033831A1 (en) | 1999-09-14 | 2006-02-16 | Nikon Corporation | Electronic still camera |
| US7715656B2 (en) * | 2004-09-28 | 2010-05-11 | Qualcomm Incorporated | Magnification and pinching of two-dimensional images |
| CN1859576A (zh) | 2005-10-11 | 2006-11-08 | 华为技术有限公司 | 对空间分层编码视频图象的上采样方法及其系统 |
| CN1794821A (zh) * | 2006-01-11 | 2006-06-28 | 浙江大学 | 可分级视频压缩中插值的方法与装置 |
| JP6355315B2 (ja) * | 2013-10-29 | 2018-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2019041264A1 (zh) * | 2017-08-31 | 2019-03-07 | 深圳市大疆创新科技有限公司 | 图像处理装置、方法及相关电路 |
-
1995
- 1995-09-21 JP JP24266295A patent/JP3939772B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0993486A (ja) | 1997-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0641508B1 (en) | Method and apparatus for enhancing sharpness of a sequence of images subject to continuous zoom | |
| JP2011239231A (ja) | 画像処理装置、および、画像処理装置の制御方法 | |
| JP2003069960A (ja) | パノラマ／ウォータガラス機能実現のための映像処理装置およびその実現方法 | |
| JP3939772B2 (ja) | ディジタル画像処理装置 | |
| EP1592235A1 (en) | Image processing device, image processing program and program-recorded recording medium | |
| JP2732772B2 (ja) | デジタル信号処理回路 | |
| JP3972478B2 (ja) | 撮像装置 | |
| EP0589721A1 (en) | Digital zooming circuit with compensation of the edge degradation | |
| JPH0773302A (ja) | 画像情報処理システム | |
| JPH0142557B2 (ja) | ||
| JP3106759B2 (ja) | 撮像装置 | |
| GB2245795A (en) | Generating convoluted digital video signals | |
| JP3684588B2 (ja) | 映像信号処理装置 | |
| JPH07177407A (ja) | 撮像装置 | |
| JP3352116B2 (ja) | 画像処理装置 | |
| JPH1153530A (ja) | 画像補間装置 | |
| JP2006134030A (ja) | 画像処理装置 | |
| JP3397377B2 (ja) | 撮像装置 | |
| JP3529590B2 (ja) | 撮像システム | |
| JP3406352B2 (ja) | ２：１飛越しフォーマット・ビデオ信号作成装置及び方法 | |
| KR100220821B1 (ko) | 전자 줌 영역 가변 장치 | |
| JPH04343584A (ja) | 画像データ処理装置 | |
| JP2005012740A (ja) | 画像処理装置および画像処理方法 | |
| JP3257145B2 (ja) | 撮像装置 | |
| JPH07177531A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060425 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060627 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070329 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |