JPH06266831A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明の目的は、倍率変換時にみられる画質劣
化等を防止し、より周辺画素との相関のとれたより自然
な変換画像の提供にある。 【構成】本画像処理装置は、ｉ×ｊのフィルタ演算係数
が設定される空間領域を持ちその空間領域に変換手段１
からの映像信号が画素単位で入力し各フィルタ演算係数
が演算動作クロックに基づいて変化し、映像信号が入力
されたｉ×ｊ画素のうち補間のために必要な複数の画素
に各フィルタ演算係数を掛け、その画素信号の加算値を
１画素とする演算を行なって新たな補間データを生成す
る空間フィルタ２を備える。空間フィルタ２で演算対象
となる画素の変倍率に応じて空間フィルタ２の演算動作
クロックをクロック発生手段４で変化させ、空間フィル
タ２から出力された補間データを含む画像データを記憶
手段５に記憶する。そして記憶手段５に対する画像デー
タの書込み及び読出しを制御部６で制御する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像信号に対してリア
ルタイムに拡大、縮小等の変換を行い、原画像を任意の
倍率に変換する画像処理装置に関する。

【０００２】

【従来の技術】画像を表示する場合、原画像の倍率，解
像度が変化しないときは特に倍率変換等の処理を施すこ
となく表示させることができるが、表示装置によっては
原画像と異なる解像度を持っている場合もあるので、こ
のようなときは原画像を変倍して倍率，解像度を対象表
示装置に合わせる必要がある。

【０００３】一般的な画像の倍率変換方法として、拡大
率に応じて同一画素あるいは同一ラインの画像データを
繰り返して拡大する拡大方法や、縮小率に応じてある一
定の割合で隣接の画素の上下ラインの画像データを間引
いて縮小する縮小方法が知られている。

【０００４】また、より自然な画像を得ることのできる
倍率変換方法として、新たな補間データを変換前の隣接
画素のデータに基づいて補間演算して拡大、縮小用の補
間画素とする方法がある。このような倍率変換方法が特
開平２−２２２９９２号に記載されている。

【０００５】同公開公報に記載された倍率変換方法は、
補間する画素の水平方向の左右の２画素，さらには垂直
方向の上下も含めた４画素間で直線近似を行ない、拡
大、縮小のための補間データを得る。例えば、８／５倍
の拡大において、新たな補間データを演算し拡大する場
合、一定周期で５画素から８画素へ変換していく。

【０００６】図１１（ａ）〜（ｂ）は水平方向補間の状
態を示しており、同図（ｃ）は輝度計算のモデル図を示
している。ａ，ｂは変換前の画素と補間画素との距離
比、Ｄ１，Ｄ２は変換前の画素の輝度値、Ｆは補間画素
の輝度値を示している。図１１に示すように、水平方向
補間では左右の画素をもとに次式にて直線近似して補間
する画素の輝度計算を行っている。 Ｆ＝（ａＤ２＋ｂＤ１）／（ａ＋ｂ） この輝度計算により、補間画素は拡大縮小率に応じて隣
接の変換前の画素間の比に基づいて補間されることにな
る。

【０００７】

【発明が解決しようとする課題】しかしながら、上述し
た各種の変倍方法には以下のような問題点があった。す
なわち、繰り返して同じデータを並べることで画像を拡
大したり、データを間引くことで画像を縮小させると、
拡大率が大きい場合や縮小率が小さい場合、補間後の画
像が原画像に比べて急激に変化する部分が現れたりす
る。そのため変換後の画像が不自然な画像となって見ず
らくなったり、認識出来なくなってしまう可能性があ
る。

【０００８】また隣接画素間（２画素、あるいは４画
素）による直線近似を行う方法では、演算する画素が隣
接画素に限られるので、隣接画素のデータにノイズデー
タが混在していた場合、このノイズデータの影響を強く
受けた補間演算が行われてしまい画質が劣化する。

【０００９】本発明は以上のような実情に鑑みてなされ
たもので、任意の変換変率に対し、空間フィルタを用い
て周辺画素を含めた補間演算を行うことができ、変換処
理にみられる不自然な画像変換や、それに伴う画質劣化
等の問題を解消でき、より周辺画素との相関のとれたよ
り自然な変換画像が得られる画像処理装置を提供するこ
とを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は、所定の画像を形成する映像
信号をデジタル変換する変換手段と、ｉ×ｊのフィルタ
演算係数が設定される空間領域を持ち、その空間領域に
前記変換手段からの映像信号が少なくとも１画素単位で
入力し、前記各フィルタ演算係数が演算動作クロックに
基づいて変化し、映像信号が入力されたｉ×ｊ画素のう
ち補間のために必要な複数の画素に各フィルタ演算係数
を掛け、その画素信号の加算値を１画素とする演算を行
なって新たな補間データを生成する空間フィルタと、前
記空間フィルタで演算対象となる画素の変倍率に応じて
前記空間フィルタの演算動作クロックを変化させるクロ
ック発生手段と、前記空間フィルタから出力された補間
データを含む画像データを記憶する記憶手段と、前記記
憶手段に対する画像データの書込み及び読出しを制御す
る制御部とを具備して構成される。

【００１１】

【作用】本発明の画像処理装置では、補間データを隣接
画素のみならず周囲画素も用いて拡大、縮小率に応じた
相関をとる補間演算が行なわれるので、任意の拡大、縮
小に伴い周辺画素とより相関のある自然な変化の画像が
得られる。従って、任意の拡大、縮小に対して劣化の少
ないより原画像に忠実で自然な変換画像が表示できる。

【００１２】

【実施例】図１に本発明に係る画像処理装置の概念図を
示す。本画像処理装置は、映像信号をＡ／Ｄ変換するデ
ジタル変換手段１と、そのデジタル変換された画像信号
を各ライン単位で記憶する記憶部を備え１画素単位でｉ
×ｊの演算係数を変化できる空間フィルター２と、その
空間フィルター２の演算係数を選択する係数選択用フレ
ームメモリ３と、変倍率に応じて演算動作クロックを変
化させるクロック発生部４と、変倍後の画像データを記
憶する記憶部５と、記憶部５の画像データの書込み及び
読出しを制御する制御部６とを備えている。係数選択用
フレームメモリ３に記憶するデータ、クロック発生部４
及び制御部６の動作タイミングは、ＣＰＵ７から制御さ
れている。

【００１３】図２に示す画像処理装置は、図１に示す概
念図を具体化したものである。以下、図２に示す画像処
理装置を本発明の一実施例として説明する。図２に示す
１１はテレビカメラであり、そのテレビカメラ１１から
の入力画像をＡＤコンバータ１２に入力してデジタル信
号に変換している。ＡＤコンバータ１２でデジタル変換
された画像信号は空間フィルタ１３に入力される。

【００１４】なお本実施例で用いている空間フィルタ１
３は４×４画素サイズの空間領域を持っているので、演
算には連続した４ライン分のデータを送る必要がある。
そのためＡＤコンバータ１２からの画像信号を各ライン
ごとに記憶するラインメモリ１４−１〜１４−３を備え
ている。これら１ライン分のデータを記憶出来る容量を
持った３つのラインメモリ１４−１〜１４−３を用い
て、順次連続する４ラインのデータを演算部１５へ供給
している。演算部１５は，画像データを拡大、縮小する
ための演算を行うところである。演算部１５の内部構成
を図３及び図４に示す。

【００１５】図３に示すように、演算部１５は、第一〜
第四のブロック１５−１〜１５−４に分割されている。
各ブロック１５−１〜１５−４は、ラインメモリ１４か
ら各ラインの画像データが並列に入力される。

【００１６】第一のブロック１５−１は、１ライン目の
画像データが入力され、第二〜第四は２〜４ライン目の
画像データが入力される。なお第一〜第四のブロック１
５−１〜１５−４の内部構造は同様に構成されている。

【００１７】第一のブロック１５−１の構成を図４に示
す。ブロック内部には直列に接続された４つのデータラ
ッチ回路１６−１〜１６−４があり、ラインメモリ１４
からの画像信号が１画素ごと入力され、順次画像データ
をシフトしていき１ライン内で連続する４画素がデータ
ラッチ回路１６−１〜１６−４にセットされる。

【００１８】これは他のブロックでも同様で、演算部全
体として同一ライン内の連続する４画素がセットされか
つ、連続するラインの計１６画素のデータがセットされ
ることになる。

【００１９】上記データラッチ回路１６−１〜１６−４
に対して乗算部１７−１〜１７−４が設けられている。
各データラッチ回路１６−１〜１６−４がラッチした連
続する４画素の信号に対してそれぞれ設定されたフィル
タ演算係数（以下、係数と呼ぶ）と乗算する。この乗算
結果は加算器１８へ入力する。他のブロックでも同様で
計１６画素のデータが加算器１８へ入力し、そこで全て
の値が加算されることとなる。

【００２０】乗算器１７−１〜１７−４に対応して係数
レジスタ１９−１〜１９−４が設けられている。係数レ
ジスタはそれぞれ複数のレジスタからなり各レジスタに
それぞれ異なる数値係数を設定できる。例えば４つのレ
ジスタを備えた場合には、４ブロックあるので１６画素
分の演算用の係数データを独立に１画素につき４種設定
できることになる。係数レジスタ１９−１〜１９−４は
ＣＰＵ２４から任意の係数が予め設定される。一つの係
数レジスタに持たせるレジスタの数（係数値）は、後述
する係数パターンの種類に応じて決められる。

【００２１】各係数レジスタ１９−１〜１９−４毎にセ
レクタ２１−１〜２１−４が設けられている。各セレク
タ２１−１〜２１−４は対応する各係数レジスタに接続
され、外部から与えられる係数選択信号により、係数レ
ジスタから所定の係数を選択する。

【００２２】各セレクタ２１−１〜２１−４に与えられ
る係数選択信号は、係数選択信号メモリ２３に記憶され
ている。この係数選択信号は、複数の係数レジスタの中
からいずれのレジスタを選択するかを指示する情報であ
る。係数選択信号メモリ２３は、予め入力の１フレーム
画像の画素に対応させて、１画素単位で係数選択情報が
割り付けられている。係数選択信号メモリ２３に対する
データの設定はＣＰＵ２４によって任意に１画素ごとに
行うことができる。

【００２３】ところで、本実施例では、１枚の画像全体
を一律に倍率変換することができるが、空間フィルター
１３の係数が１画素毎に変化可能なので一画面中の任意
の領域を指定して任意倍率に変化させることもできる。
また通常は１画素ごとに各種画像処理を実現可能な所定
の係数パータンを設定するように係数選択信号が設定さ
れているが、本実施例では拡大の際に同一の原画素に対
して複数の補間画素を得るために複数の係数パターンに
切換えられる。そこで拡大領域に対しては同一画素に対
して複数の係数パータンが所定のタイミングで（実際に
は高速の動作クロックにより）設定されるように係数選
択信号が設定されている。

【００２４】セレクタ２１−１〜２１−４が選択した係
数は、各セレクタに対応して設けられた係数ラッチ回路
２２−１〜２２−４を介して乗算部１７−１〜１７−４
へ与えられる。

【００２５】このような空間フィルタ１３は、動作クロ
ック発生部２５において拡大、縮小率により決定された
クロック出力により動作する。演算後のデータはメモリ
コントロール回路２６に制御されて画像メモリ２７に記
憶される。また画像メモリ２７の画像データはメモリコ
ントロール回路２６により読出され、ＤＡコンバータ２
８を通して表示モニタ２９へ拡大縮小表示される。次
に、以上のように構成された本実施例における拡大、縮
小の原理について述べる。

【００２６】先ず、空間フィルター１３の４×４の乗算
部１７に設定する係数パータンを、画像の変換倍率に応
じて決めておく。係数の設定は、変換倍率によって補間
画素の相対位置が決まるので、補間画素に対して補間演
算に必要な周囲の原画素との距離から相関率を算出し、
その相関率を係数として設定する。

【００２７】例えば、図５に示すように４×４の原画素
Ｘ１〜Ｘ１６に対する補間画素Ｘ０を得るための係数パ
ターンは以下のようにして求められる。ｍ／ｎ倍に拡
大、縮小するときは、隣り合う画素との距離比はｍの周
期で繰り返すことになる。そこで周囲画素との比をａ、
ｂ、ｃ、ｄ、また補間画素Ｘ０の位置をｉ列、ｊ行とす
ると、その比は拡大率縮小率により ａ：ｂ＝ｎｉ％ｍ：ｍ−ａ ｃ：ｄ＝ｎｊ％ｍ：ｎ−ｃ と求められる。なお％は余り、ｍ、ｎに互いに素であ
る。これから、補間演算に必要な原画素Ｘｎ、補間画素
と各原画素Ｘｎとの距離をＬｎとすると、Ｌ１＝（ａ²
＋ｃ² ）^1/2 ，Ｌ２＝（ｂ² ＋ｃ² ）^1/2 ，Ｌ３＝（ａ
² ＋ｄ² ）^1/2 ，Ｌ４＝（ｂ² ＋ｄ² ）^1/2 ，Ｌ５＝
（ｃ² ＋（２ａ＋ｂ）² ）^1/2 ，…というように格子状
の画素間の距離計算から得ることができる。そして、そ
れぞれの補間画素に対する相関率は １／Ｌ１：１／Ｌ２…：１／Ｌｎ となる。よって、補間画素の輝度値（Ｘ０）は Ｘ０＝Σ（Ｘｎ／Ｌｎ）／Σ（１／Ｌｎ） となる。従って、補間画素ＸＯに対する各係数Ｋｎとし
ては相関率として補間画素と周辺画素との距離の逆数を
設定しておけばよい。

【００２８】図６及び図７を参照して、画像の指定領域
を３倍に拡大する場合について説明する。図６に示すよ
うに、Ｘ１〜Ｘ１６の原画素に対して補間画素１〜９を
得るためには、各補間画素１〜９に対応して定められた
図７に示す大きさの係数パターンが９つ必要になる。実
際の係数パータンのデータ例を図８（ａ）〜（ｉ）に示
す。係数選択用フレームメモリ３には、係数レジスタ群
１９から図８（ａ）〜（ｉ）の係数パータンを（ａ）〜
（ｉ）の順にセレクタ２１に選択させる係数選択信号が
格納されている。

【００２９】空間フィルター１３の４×４の乗算部１７
に補間演算の対象画素が設定されると、ＣＰＵ２４から
の指示により動作クロック発生部２５が９倍の動作クロ
ックを発生させる。空間フィルター１３では、入力画像
が１画素が送られる間に、動作クロック発生部２５から
の動作クロックによって９回の補間演算が実行される。
一方、係数選択信号用メモリ２３もクロック発生部２５
からの動作クロックによって９回動作し、図８（ａ）〜
（ｉ）の係数パータンを（ａ）〜（ｉ）の順に選択する
係数選択信号をセレクタ２１に与える。従って、空間フ
ィルター１３では、同一の原画素に対し９回の補間演算
が実施され、各演算毎に係数パータンが（ａ）〜（ｉ）
に切換えられる。

【００３０】このように動作クロック発生部２５からの
９倍の動作クロックを用いて補間演算を行い、テレビカ
メラ１１から入力される画素に対して高速に補間演算を
実施して拡大画像データを得る。補間の必要がなければ
原画素を出力してもよい。

【００３１】この係数パターンは一定の周期で繰り返さ
れ、そして最終的に指定した領域が縦横３倍に拡大され
画素数が９倍の情報に増えて画像メモリ２７に記憶され
る。また整数以外の倍率の場合も、倍率に応じた周期で
係数パータンを切換えて空間フィルター１３に設定す
る。例えば８／５倍のときは、動作クロックは６４／２
５倍のクロックで行い、入力の５×５画素を原画素とし
て、８×８画素への拡大演算を行う。その結果、画素数
が５×５画素単位で２５画素から６４画素へと増加す
る。

【００３２】縮小の場合は、後段のメモリコントロール
回路２６が縮小率に応じて書き込み／読出し時に間引き
制御を行う。空間フィルタ１３は、入力画像の読込み周
期と同じ速度の動作クロックで動作させる場合と、入力
画像の読込み周期よりも遅い動作クロックで動作させる
場合とがある。

【００３３】入力画像の読込み周期と同じ速度の動作ク
ロックの場合は、演算後の画素数は変わらずに補間され
た画像データが出力される。そしてメモリコントロール
回路２６が縮小率に応じて必要な補間画素のみを選択的
に画像メモリ２７に記憶する。これにより画像メモリ２
７には、縮小された画像データが格納されたことにな
る。この画像メモリ２７に格納された画像データを、メ
モリコントロール回路２６が読出して表示モニタ２９に
表示させれば、縮小された画像が表示される。或いは、
空間フィルター１３から出力される補間データを間引か
ずにそのまま画像メモリ２７に記憶し、メモリコントロ
ール回路２６が読出す際に縮小率に必要な画素を選択的
に読出して表示させるようにする。このような手法によ
っても同様に縮小された画像を表示させることができ
る。

【００３４】また空間フィルター１３の動作クロックを
入力画像の読込み周期よりも遅くする場合は、補間の演
算回数は減少し１ラインにつき縮小表示に必要な画素に
ついての補間演算を行う。そしてメモリコントロール回
路２６が、縮小率に応じて必要な補間ラインを選択的に
記憶する。この結果、画像メモリ２７には縦，横方向に
画素データ数の間引かれた画像データが記憶される。或
いは、そのままの補間データを間引かずに記憶し、表示
する際に縮小率に応じた必要なラインを選択して縮小画
像を表示する。例えば、１／３倍の縮小の場合を図９を
参照して説明する。図中白丸は原画素を示し、黒丸は補
間画素を示している。

【００３５】入力画像の動作クロック速度と同じ場合
は、補間演算後の画像データは３画素おきで、かつ３ラ
インおきに記憶すればよい。また、入力画像のクロック
に対して１／３倍のクロックで動作させた場合、入力の
３画素に対して補間演算を１回という割合で行う。従っ
て、縮小演算された補間画素は１ラインにつき１／３倍
の画像データとして出力され、さらにメモリコントロー
ル回路２６において３ラインにつき１ラインだけ記憶す
るラインの間引きを行い、最終的にデータ数は１／９に
減少しメモリへ縮小画像が記憶される。なお補間画素に
対する係数は、前述した方法により決める。図１０に
は、上述した方法で決定した係数のデータ例を示す。

【００３６】また５／８倍の場合は入力８×８画素に対
して５×５画素の補間演算を行う。このときの周期は８
×８画素単位である。また、本実施例のほかにより周囲
画素との相関をとった拡大縮小を行ないたい場合は、演
算を行う画素を増加させればよく、空間フィルタのサイ
ズも必要に応じて変えれば可能となる。本発明は上記実
施例に限定されるものではなく、本発明の要旨を逸脱し
ない範囲内で種々変形実施可能である。

【００３７】

【発明の効果】以上詳記したように本発明によれば、任
意の変倍率に対し、空間フィルタを用いて周辺画素を含
めた補間演算を行うことで、変換処理にみられる不自然
な画像変換や、それに伴う画質劣化等の問題を解消で
き、より周辺画素との相関のとれたより自然な変換画像
が得られる。

【図面の簡単な説明】

【図１】本発明に係る画像処理装置の概念図である。

【図２】本発明の一実施例である画像処理装置の機能ブ
ロック図である。

【図３】図２に示す画像処理装置に備えられた空間フィ
ルターの構成図である。

【図４】空間フィルターを構成する１ブロック内の構成
図である。

【図５】４×４の原画素と補間画素との相対関係を示す
図である。

【図６】４×４の原画素から９画素分の補間画素を得た
状態を示す図である。

【図７】４×４画素の演算係数を示す図である。

【図８】原画像を３倍に拡大する際に用いる９つの係数
パターンを示す図である。

【図９】１／３倍に縮小する際の原画素と補間画素との
関係を示す図である。

【図１０】データ数を１／９に縮小する係数パターンを
示す図である。

【図１１】倍率変換前の画素データ、水平方向への倍率
変換後の画素データ、及び輝度値の演算モデルを示す図
である。

【符号の説明】

１２…ＡＤコンバータ、１３…空間フィルタ、１４−１
〜１４−３…ラインメモリ、１５…演算部、１６−１〜
１６−４…データラッチ回路、１７−１〜１７−４…乗
算部、１８…加算器、１９…係数レジスタ群、２１…セ
レクタ、２２…係数ラッチ、２３…係数選択信号用メモ
リ、２４…ＣＰＵ，２５…動作クロック発生部、２６…
メモリコントロール回路、２７…画像メモリ、２８…Ｄ
Ａコンバータ、２９…表示モニタ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像を任意の倍率で変倍する画像処理装
   置において、 所定の画像を形成する映像信号をデジタル変換する変換
   手段と、 ｉ×ｊのフィルタ演算係数が設定される空間領域を持
   ち、その空間領域に前記変換手段からの映像信号が少な
   くとも１画素単位で入力し、前記各フィルタ演算係数が
   演算動作クロックに基づいて変化し、映像信号が入力さ
   れたｉ×ｊ画素のうち補間のために必要な複数の画素に
   各フィルタ演算係数を掛け、その画素信号の加算値を１
   画素とする演算を行なって新たな補間データを生成する
   空間フィルタと、 前記空間フィルタで演算対象となる画素の変倍率に応じ
   て前記空間フィルタの演算動作クロックを変化させるク
   ロック発生手段と、 前記空間フィルタから出力された前記補間データを含む
   画像データを記憶する記憶手段と、 前記記憶手段に対する画像データの書込み及び読出しを
   制御する制御部と、を具備したことを特徴とする画像処
   理装置。