JP2692531B2

JP2692531B2 - 画像の鮮鋭化方法及び装置

Info

Publication number: JP2692531B2
Application number: JP5128573A
Authority: JP
Inventors: 晃井上
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1992-06-18
Filing date: 1993-05-31
Publication date: 1997-12-17
Anticipated expiration: 2012-12-17
Also published as: JPH0668252A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビジョン、スキャ
ナ、ファクシミリ、プリンタ等に用いられる画像の鮮鋭
さを調節する技術に関する。

【０００２】

【従来の技術】従来、画像を鮮鋭化する方法として、ア
ンシャープマスキングがある。

【０００３】アンシャープマスキングは、もとの画像ｆ
からｆのぼけた画像ｆ^-を引いたものをある定数倍し、
ｆに加える処理である。これは式（１）で表される。

【０００４】ｆｓ＝ｆ＋ｋ（ｆ−ｆ^-）（１）式（１）のｆ−ｆ^-は、画像からその低周波成分を引い
ているので画像の高周波成分を表している。よってアン
シャープマスキングは画像の高周波成分を定数倍して原
画像に加えることにより鮮鋭化する方法である。一般的
に、鮮鋭化は高周波成分の強調を行うことであり、鮮鋭
化方法として式（１）を一般化すると、高周波フィルタ
をｇｓとして、ｆｓ＝ｆ＋ｋ（ｆ＊ｇｓ）（２）で表される。＊はコンボリューションを表す。

【０００５】アンシャープマスキングの改良として、特
開平３−２７８２８４号公報にみられるように、画像の
エッジ部のみを検出するエッジ検出フィルタの出力に基
づいて鮮鋭度を強調する方法がある。この画像の鮮鋭度
強調方法は、まず各画素においてその近傍領域にエッジ
検出フィルタを作用させる。そして、その出力値の関数
として、その画素における式（１）の係数ｋを求めるも
のであった。つまり係数ｋの値を、各画素の近傍の状況
に合わせて、画素ごとに変化させることにより、画像の
平坦部分での粒状性の強調による画質低下を防ぐもので
あった。

【０００６】また、従来、画像の鮮鋭度を算出するに
は、その画像のぼけに関する知識が必要であった。例え
ば、ステップ関数を画像観測システムに入力した時の出
力である、ＥｄｇｅＳｐｒｅａｄＦｎｃｔｉｏｎ
（ＥＳＦ）や、観測システムの振幅伝達関数（ＭＴＦ）
を用いて算出していた。

【０００７】

【発明が解決しようとする課題】従来の画像の鮮鋭化方
法のアンシャープマスキングは、画像のぼけの程度に合
わせて、強調する高周波成分（式（２）におけるｆ＊ｇ
ｓ）と、定数倍するための係数（式（２）のｋ）の２つ
のパラメータを適切に調整する必要があるが、通常この
作業はオペレータが、一枚一枚目視で確認しながら最適
値を見つけなければならないという欠点がある。

【０００８】なぜなら鮮鋭化は、鮮鋭化後の画質を改善
することが目的であるから、例えば画像がかなりぼけて
いるときは係数ｋを大きくしなければならないし、逆に
画像がそれほどぼけていないときは係数ｋは小さくしな
ければならないからである。つまり、鮮鋭化によって高
画質化を図るためには、鮮鋭化のパラメータを画像のぼ
けの程度によって変更しなければならないからである。

【０００９】この問題点は、特開平３−２７８２８４号
公報の方法においても同様に存在する。この方法におい
ては、画素ごとに係数ｋを求めるためのエッジ検出フィ
ルタの出力の関数（公報ではルックアップテーブル）
を、画像のぼけの程度に合わせて変更する必要があるた
め、アンシャープマスキングと同様に一枚一枚目視で確
認しなければならないという欠点がある。

【００１０】以上の問題点は、鮮鋭化する画像のぼけの
程度がある程度限定されていれば、それほど問題とはな
らない。なぜなら鮮鋭化のパラメータの最適値も限定さ
れるので、一枚一枚目視で確認しながらパラメータを変
更する必要がないからである。また、鮮鋭化する画像の
ぼけの程度が限定されていなくても、ぼけの程度が数値
的に測定できれば、その値に合わせて鮮鋭化のパラメー
タを変更すればよいので、問題とはならない。

【００１１】しかし実際のスキャナ、コピー機などに入
力される画像は、様々なぼけ方をしており、ぼけの程度
を限定できない。また、従来ぼけの程度を数値的に測定
するには、一般にその画像のぼけのメカニズム（画像の
伝達関数）が既知でなければならないが、スキャナ、コ
ピー機などに入力される画像の大部分については、ぼけ
のメカニズムが未知である。

【００１２】以上より、異なるぼけの程度をもつ不特定
多数の画像を、鮮鋭化して高画質化するためには、オペ
レータが一枚一枚試行錯誤しながら鮮鋭化パラメータを
決定しなければならないという欠点がある。

【００１３】さらに、従来このような鮮鋭化パラメータ
を最適に決定するためには、熟練したオペレータの技術
と経験が必要であり、一般に人がこれを行うことは困難
であるという欠点がある。

【００１４】本発明の目的は、ぼけのメカニズムが未知
であっても、ぼけの程度が異なる不特定多数の画像に対
して、最適で高画質な鮮鋭化を自動的に行うことであ
る。

【００１５】

【課題を解決するための手段】本発明の鮮鋭化方法は、
画像を鮮鋭化する際に、画像のエッジ領域における高周
波成分または高周波帯域積分の強度の積分値を、エッジ
の面積で正規化した値に基づいて鮮鋭化することを特徴
とする。

【００１６】また本発明の画像の鮮鋭化装置は、入力画
像の輝度情報をもとに鮮鋭度を算出する鮮鋭度算出手段
と、算出された鮮鋭度をもとに鮮鋭化パラメータを決定
するパラメータ決定手段と、パラメータ算出手段で求め
た鮮鋭化パラメータを用いて、入力画像の輝度を強調す
る画素強調手段とからなる画像の鮮鋭化装置であって、
前記鮮鋭度算出手段が、入力画像のエッジ領域を抽出す
るエッジ領域抽出手段と、前記エッジ領域抽出手段の出
力からエッジ面積を算出するエッジ面積算出手段と、画
像の高周波成分または高周波帯域成分を抽出する高周波
濾過手段と、抽出されたエッジ領域において前記高周波
成分または前記高周波帯域成分の強度を積分する高周波
強度積分手段と、前記高周波強度積分手段の出力を、前
記エッジ面積算出手段の出力で正規化する面積正規化手
段とからなることを特徴とする。

【００１７】

【００１８】

【００１９】

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【００２６】

【００２７】

【００２８】

【作用】以下に、本発明の画像の鮮鋭化方法の原理を説
明する。

【００２９】本発明の原理は、入力画像の輝度情報だけ
から鮮鋭度を求め、その値をもとに鮮鋭化を行うもので
ある。

【００３０】画像の鮮鋭さに関する情報は、画像の輝度
変化の激しい部分に含まれている。このことは、同じ絵
柄でぼけた画像とシャープな画像を比較すると、輝度変
化の激しい部分では両者の間に明らかに違いがあるのが
分かるが、輝度変化の少ない平坦部分では両者の間には
あまり違いがない、という事実からわかる。

【００３１】この事実を利用し、入力画像の輝度情報の
中から、輝度変化の激しい部分に注目する。また、画像
をいくつかの部分領域に分割した時、一般にシャープな
領域は、高周波数成分を多く含むことがわかっている。
よって、輝度変化の激しい部分の局所的な高周波成分を
用いることによって、入力画像の輝度情報だけから、鮮
鋭度を算出することができる。

【００３２】通常は、輝度変化の激しい部分の局所的な
高周波成分の、画像内での平均によって、鮮鋭度を算出
する。

【００３３】このようにして得られた鮮鋭度をもとに、
鮮鋭化の各種パラメータを求め、それによって鮮鋭化を
行う。鮮鋭化のパラメータとは、主に、高周波強調フィ
ルタのサイズと、高周波強調量である。高周波強調フィ
ルタは式（２）のｇｓであり、高周波強調量は、ｋに当
たる。例えば鮮鋭度Ｓが、高いときにはあまり高周波を
強調する必要がないので、ｇｓのサイズを小さくし、強
調係数ｋの値も小さくする。また鮮鋭度Ｓが低いときに
は、ｇｓのサイズを大きくし、強調係数ｋの値も大きく
する。

【００３４】パラメータの求め方として、パラメータｋ
をとすると、図１４の関数１３１を用意し、ｋ＝Ｋ
（Ｓ）によってｋを求める方法がある（Ｓは鮮鋭度）。
以上より入力画像に応じて自動的に最適な鮮鋭化ができ
る。

【００３５】また、本発明の原理は、画像の各部分の輝
度変化の激しさをエッジらしさとし、各部分領域の高周
波数成分の強度をエッジらしさで重み付けした値の積分
値を、その画像の鮮鋭度とし、この鮮鋭度をもとに画像
を鮮鋭化するものである。

【００３６】画像の各部分のエッジらしさを求めるに
は、画像にエッジ検出フィルタを作用させれば良い。ま
た局所領域の輝度値の分散などをとってもよい。本発明
の鮮鋭化方法における鮮鋭度の定義式の一例を式（３）
に示す。入力画像をｆ、エッジらしさ検出用フィルタを
ｅｅ、高周波フィルタまたは高周波帯域フィルタをｓ
ｓ、＊をコンボリューションとすると、鮮鋭度Ｓは、

【００３７】

【００３８】となる。｜ｆ＊ｅｅ｜は入力画像ｆからエ
ッジらしさを検出する処理を一般的に表したものであ
り、絶対値は必要でない場合もある。

【００３９】式（３）における鮮鋭度定義に使用される
高周波帯域フィルタｓｓは、人間にとっての各空間周波
数成分の鮮鋭さに対する重みを表すものを用いる。また
ｓｓは高域カットオフのない高周波フィルタでもよい。
その一例として図１３に高周波帯域フィルタ１２１を示
す。

【００４０】

【００４１】本発明の鮮鋭化方法は、入力画像の濃度変
化の激しい部分としてエッジ領域のみに注目し、この部
分における高周波成分の強度の平均（これを遠泳度とす
る）を計算し、この値に基づいて鮮鋭化のパラメータを
決定した後、鮮鋭化を行うものである。

【００４２】鮮鋭度の求め方について図１２と図１３を
もとに説明する。画像１１１の鮮鋭度を求めるには、ま
ず画像１１１のエッジ領域１１２を抽出する。このエッ
ジ領域１１２における高周波強調の平均が鮮鋭度であ
る。よって次に画像１１１に図１３のような空間周波数
特性を持つ高周波帯域フィルタ１２１を作用させ、その
出力の強度をエッジ領域１１２で積分する。この積分値
をエッジ面積１１３で正規化する事によって鮮鋭度が得
られる。

【００４３】鮮鋭度の定義の一例を式（４）に示す。画
像をｆ、鮮鋭度をＳ、エッジ領域Ｅ（ｆ）、エッジ領域
の面積をＡＥ（ｆ）、高周波帯域フィルタｓｓとする。
これらはそれぞれ図１２における、画像１１１、エッジ
領域１１２、エッジ面積１１３、高周波帯域フィルタ１
２１に相当する。＊はコンボリューションを表すものと
する。また式（３）、式（４）では、高周波成分の強度
は、高周波成分ｆ＊ｓｓの絶対値をとっているが、強度
の定義としては、他に高周波成分の二乗値などがある。

【００４４】

【００４５】エッジ領域Ｅ（ｆ）の抽出方法には一次微
分フィルタ、二次微分フィルタ、高周波フィルタ等の出
力をしきい値処理する方法がある。

【００４６】以上のようにして求めた鮮鋭度から鮮鋭化
のパラメータを求める。例えば、式（２）に従って鮮鋭
化を行うときは、ｇｓ及びｋがパラメータとなる。パラ
メータの求め方としては、パラメータをｋとすると、図
１４のような関数１３１を用意し、ｋ＝Ｋ（Ｓ）によっ
てｋを求める方法がある（Ｓは鮮鋭度）。実際には、鮮
鋭度の値が大きければ、係数ｋの値を小さくし、鮮鋭度
の値が小さければ係数ｋの値を大きくするというように
すればよい。それによって鮮鋭化後の画像がシャープに
なりすぎたり、シャープさが不足したりして画質が低下
することを防ぐことが出来る。

【００４７】また、パラメータが複数ある時には前記関
数１３１のような関数を複数個用意すれば良い。

【００４８】パラメータが求まると、その値を鮮鋭化の
式（例えば式（２））に代入して鮮鋭化する。

【００４９】また、第１、第２の発明の鮮鋭化方法にお
いて、鮮鋭度を算出する時に、入力画像の一部分だけを
用いて算出する方法もある。例えば画面中の対象物は画
面の中心付近にあることが多いので、中心付近の領域だ
けを用いて鮮鋭度を測定する方法がある。この方法は、
計算時間が少なくてすむという効果がある。

【００５０】以上、第１、第２、第３の発明の作用につ
いて２次元処理を対象に述べたが、本発明を１ライン
（縦方向または横方向）ずつ行うことが可能であること
は自明である。

【００５１】

【実施例】以下に、本発明の実施例である画像の鮮鋭化
装置を図面を用いて説明する。

【００５２】図１に本発明の画像の鮮鋭化装置の第一の
実施例を示す。入力画像１の輝度情報から、鮮鋭度算出
装置２によって鮮鋭度６を算出する。算出の方法につい
ては、作用の項で述べた。鮮鋭度算出装置２は、例え
ば、すでに述べた算出方法をプログラムされたマイクロ
コンピュータなどがある。

【００５３】パラメータ算出手段３は、鮮鋭度６から入
力画像１の輝度値を補正するためのパラメータを求め、
画像強調手段４へ送信する。パラメータの例としては、
画像を高周波強調するときの、高周波フィルタのサイズ
や、その強調係数、あるいは鮮鋭度６の値によっては、
高周波強調ではなく、高周波カットやヒストグラム変換
などの命令を送ることが考えられる。

【００５４】画素強調装置４は、パラメータを解釈し、
入力画像１の画素値に指定された処理を施すようプログ
ラムされた装置である。

【００５５】図２の鮮鋭度算出装置１１は、鮮鋭度算出
手段２の一例を示すものであり、第一の実施例におい
て、鮮鋭度算出手段２を、図２の鮮鋭度算出装置１１に
置き換えた構成をしている。

【００５６】鮮鋭度の入力画像１が入力されると、鮮鋭
度算出手段２によって鮮鋭度６を算出する。鮮鋭度算出
手段２として、図２の鮮鋭度算出手段１１を用いる。

【００５７】鮮鋭度算出手段１１は、まず入力画像１の
高周波成分または高周波帯域成分を高周波濾過手段１２
によって抽出する。

【００５８】高周波濾過手段１２は、人間にとっての各
空間周波数成分の鮮鋭さに対する重みを表すフィルタを
作用させるものである。よって高周波濾過手段２は視覚
の空間周波数特性に対応した高域カットオフのある高周
波帯域フィルタが望ましいが、高域カットオフのない高
周波フィルタでもよい。

【００５９】同時にエッジらしさ抽出手段１３によって
入力画像１のエッジらしさを抽出する。エッジらしさ抽
出手段１３の例としては、一次微分や二次微分エッジ検
出フィルタを用いたり、局所的な輝度の分散を計算する
方法がある。

【００６０】次にエッジらしさ重み付け手段１４で、前
記高周波成分にエッジらしさで、重み付けする。通常
は、高周波出成分にエッジらしさを掛け合わせる。この
出力に対し、強度積分手段１５によって、エッジらしさ
の強度（絶対値もしくは、二乗値）を求めた後に画像内
積分を行い、鮮鋭度６を算出する。

【００６１】

【００６２】図３に本発明の画像の鮮鋭化装置におけ
る、鮮鋭度算出手段の例を示す。

【００６３】鮮鋭度算出手段２１は、入力画像１から高
周波濾過手段２２によって、画像の高周波成分または高
周波帯域成分を抽出する。同時に、エッジ領域抽出手段
２３によって入力画像１のエッジ領域が抽出される。

【００６４】エッジ領域抽出手段２３の例としては、画
像に一次微分フィルタ、二次微分フィルタ、高周波フィ
ルタ等を作用させ、その出力をしきい値処理する（出力
においてある値以上の画素で形成される領域を抽出す
る）方法が公知である。

【００６５】また、高周波濾過手段２２は、前記高周波
濾過手段１２と同様である。

【００６６】次に高周波強度積分手段２４によって、エ
ッジ領域抽出手段２３で抽出された領域において、前記
高周波濾過手段２２の出力を強度に変換した上で積分す
る。強度としては、高周波成分の絶対値もしくは二乗値
などがある。

【００６７】また同時にエッジ面積算出手段２５によっ
て、エッジ領域抽出手段２３で抽出された領域の面積で
あるエッジ面積２８を求める。エッジ面積算出手段５の
例としては、前記エッジ領域抽出手段３の出力につい
て、ある値以上の画素の数を積算する方法がある。

【００６８】次に面積正規化手段２６により前記高周波
強度積分手段２４の出力値をエッジ面積２８で正規化し
て鮮鋭度６を求める。面積正規化手段２６の例として
は、エッジ面積２８で除算するのが普通であるが、ルッ
クアップテーブルによって適当な値に変換する方法もあ
る。

【００６９】このようにして得られた鮮鋭度６から、パ
ラメータ算出手段３を通じて鮮鋭化を施す。

【００７０】図４に本発明の画像の鮮鋭化装置におけ
る、鮮鋭度算出手段のもう一つの例を示す。

【００７１】本例は、図３の鮮鋭度算出手段における、
エッジ領域抽出手段２３と高周波濾過手段２２を、高周
波濾過手段３２一つに置き換え、さらにしきい値処理手
段３３を追加した構成となっている。

【００７２】入力画像１に高周波濾過手段３２を作用さ
せ、高周波成分を抽出させる。次に高周波濾過手段３２
によってしきい値処理手段３３によってしきい値処理
し、エッジ領域を抽出する。このエッジ領域をもとに、
エッジ面積算出手段３５によってエッジ面積３８を算出
する。エッジ領域と第一の高周波濾過手段３２の出力か
ら、高周波強度積分手段３４によって高周波強度を積分
する。

【００７３】さらに、面積正規化手段３６で高周波強度
積分手段３４の出力をエッジ面積３８で正規化し、鮮鋭
度６を得る。

【００７４】鮮鋭度算出手段３１は鮮鋭度算出手段２１
に比べて、エッジ領域抽出手段を必要としないのでコス
トダウンを図ることができる。

【００７５】図５に本発明の第二の実施例を示す。

【００７６】本実施例は、図１の画素強調手段４を高周
波強調手段４１に置き換えた構成をしている。

【００７７】図５のパラメータ算出手段４７は、高周波
濾過パラメータ４５と、高周波強調係数４６を高周波強
調手段４１に出力する。パラメータ算出手段４７の例と
しては、鮮鋭度６の値によってどの高周波フィルタ、も
しくは高周波強調係数を選択するかをルックアップテー
ブルに記憶しておき、このテーブルを参照する装置など
がある。

【００７８】高周波強調手段４１では、まず強調用高周
波濾過手段４２によって入力画像１に高周波濾過パラメ
ータ４５で指定されたパラメータを持つフィルタを作用
させる。そしてその出力に対し、乗算手段４３によって
高周波強調係数４６を乗算する。乗算手段４３の出力
に、加算手段４４によって入力画像１を加算する。

【００７９】以上の処理を高周波強調手段４１で行い、
出力画像５を出力する。

【００８０】図６に本発明の第三の実施例を示す。

【００８１】本実施例は、図１の画素強調手段４を高周
波強調手段５１に置き換えた構成をしている。

【００８２】鮮鋭度算出手段５２は、鮮鋭度算出手段２
と同様に鮮鋭度６を算出するが、同時に高周波成分５５
を出力する。

【００８３】係数算出手段５３では、鮮鋭度６をもと
に、高周波強調係数５４を出力する。係数算出手段５３
は例えばあらかじめ記憶さておいたルックアップテーブ
ルを参照する方法などがある。

【００８４】高周波強調手段５１は、鮮鋭度算出手段５
２から、直接、高周波数成分５５を入力する。これは、
図２、図３、図４における高周波数成分１６、２７、３
７を表す。つまり本装置は強調するべき高周波成分を、
鮮鋭度算出に用いる高周波濾過手段によって同時に得る
ことを目的としている。高周波強調手段５１では、乗算
手段５６によって高周波成分５５に高周波強調係数５４
を乗算する。そして、加算手段５７によって乗算手段５
６の出力と入力画像１を加算し、出力画像を得る。

【００８５】図７に本発明の第四の実施例を示す。入力
画像１は自動係数算出手段７０に入力され、ここから高
周波強調係数７４と高周波数成分６７が出力される。

【００８６】画像が自動係数算出手段７０に入力される
と、エッジ領域抽出手段６２によってエッジ領域が抽出
される。同時に、第一の高周波濾過手段６１によって入
力画像１の高周波成分６７を抽出する。

【００８７】次に第一の高周波強度積分手段６４によっ
て、エッジ領域抽出手段６２で抽出された領域におい
て、前記第一の高周波濾過手段６１の出力を強度に変換
した上で積分する。強度としては、高周波成分の絶対値
もしくは二乗値などがある。また同時にエッジ面積算出
手段６３によって、エッジ領域抽出手段６２で抽出され
た領域の面積（エッジ面積）を求める。

【００８８】次に前記第一の高周波濾過手段６１の出力
から、さらに第二の高周波濾過手段６５によって高周波
成分を抽出する。そして第二の高周波強度積分手段６６
によって、前記エッジ領域抽出手段６２で抽出された領
域において、前記第二の高周波濾過手段６５の出力を強
度に変換した上で積分する。

【００８９】次にあらかじめ入力されている目的の鮮鋭
度６９と、前記エッジ面積と、前記第一の高周波強度積
分手段６４の出力と、前記第二の高周波強度積分手段６
６の出力から、係数算出手段６８によって高周波強調係
数７４を算出する。以上が自動強調係数算出手段７０の
構成である。

【００９０】次に乗算手段７１によって前記高周波成分
６７に高周波強調係数７４を乗算し、最後に加算手段７
２により、乗算手段７４の出力とし入力画像１を加算す
ることによって鮮鋭化画像を得る。

【００９１】エッジ領域抽出手段６２、エッジ面積算出
手段６３、及び第一の高周波濾過手段２２、第二の高周
波濾過手段６５の例としては第一の実施例と同じであ
る。

【００９２】係数算出手段６８の例を以下に述べる。こ
の処理の目的は、入力画像の鮮鋭度を、目的の鮮鋭度６
９に変換するための高周波強調係数７４の値を算出する
ことである。鮮鋭度の定義は前記式（４）とし、画像強
調式を次の式（５）とする。

【００９３】ｆｓ＝ｆ＋ｋ（ｆ＊ｓｓ）（４）式（５）は式（２）の高周波フィルタｇｓを式（４）の
高周波帯域フィルタｓｓにおきかえたものでるある。高
周波帯域ファルタｓｓは、人間にとっての各空間周波数
成分の鮮鋭さに対する重みを表すものであるが、高域カ
ットオフのない高周波フィルタでも実用上問題はない。

【００９４】鮮鋭化後の画像の鮮鋭度Ｓ’は式（６）と
なる。

【００９５】

【００９６】ここで鮮鋭度Ｓ’が目的の鮮鋭度Ｓ０とな
るように鮮鋭化するための係数ｋを算出する。そこで式
（６）のＳ’にＳ０を代入し、変形する式（７）とな
る。

【００９７】

【００９８】ここで計算を簡単化するための式（７）を
式（８）で近似する。

【００９９】

【０１００】よって式（９）を得る。

【０１０１】

【０１０２】ここで鮮鋭化後のエッジ領域Ｅ（ｆｓ）は
鮮鋭化前と変化しないものとすると、Ｅ（ｆｓ）＝Ｅ（ｆ）、ＡＥ（ｆｓ）＝ＡＥ（ｆ）（１０）よって式（９）は、式（１１）となる。

【０１０３】

【０１０４】式（１１）より、分子の第一項Ｓ０は目的
の鮮鋭度６９、分子の第二項は第一の高周波強度濾過手
段６１の出力、分母は第二の高周波強度濾過手段６５の
出力に対応する。よって係数算出手段６８は、式（１
１）に従って計算する手段であればよい。

【０１０５】図８に本発明の第五の実施例を示す。本実
施例は図７のエッジ領域抽出手段６２と第一の高周波濾
過手段６１を、第一の高周波濾過手段６１一つに置き換
え、さらにしきい値処理手段７５を追加した構成となっ
ている。

【０１０６】入力画像１に第一の高周波濾過手段６１を
作用させ、高周波成分を抽出する。次にその出力をしき
い値処理手段７５によってしきい値処理し、エッジ領域
を抽出する。このエッジ領域をもとに、エッジ面積算出
手段６３によってエッジ面積を算出する。エッジ領域と
第一の高周波濾過手段６１の出力から、第一の高周波強
度積分手段６４によって高周波強度を積分する。

【０１０７】さらに、第一の高周波濾過手段６１の出力
に、第二の高周波濾過手段６５を作用させ、この出力と
前記エッジ領域より、第二の高周波強度積分手段６６に
よって高周波強度を積分する。

【０１０８】次に、第一の高周波強調積分手段６４の出
力値と、第二の高周波強度積分手段６６と、エッジ面積
と、目的の鮮鋭度６９から、係数算出手段６８によって
高周波強調係数７４を算出する。

【０１０９】その他の構成は第四の実施例と同じであ
る。本実施例は、第四の実施例に比べ、エッジ領域抽出
手段が一つ減るのでコストダウンを図ることが出来る。

【０１１０】図９に本発明の第六の実施例を示す。

【０１１１】本実施例は、第四の実施例に、出力画像５
を再び自動強調係数算出装置７０へ戻すかどうかを選択
するセレクタ８１と、高周波強調係数７４の値を記憶し
ておき、係数算出の繰り返しを続けるかどうか判断する
判断手段８２を付加した構成となっている。判断手段８
２は、まず最初の出力画像を得るために使用した高周波
強調係数７４を記憶しておく。ここで最初の出力画像５
をｆｓ０とし、最初の高周波強調係数７４をｋ０とす
る。

【０１１２】最初の出力画像ｆｓ０は、、セレクタ８１
によって、図７の自動係数算出装置７０のエッジ領域抽
出手段６２に再び入力される。これにより新しいエッジ
領域Ｅ（ｆｓ０）が得られる。Ｅ（ｆｓ０）をもとにエ
ッジ面積算出手段６３、第一の高周波強度算出手段６
４、第二の高周波強度積分手段６６によって、エッジ面
積、積分値を算出した後、係数算出手段６８によって、
次の高周波強度係数ｋ１を算出する。

【０１１３】ｋ１を用いて乗算手段７１、加算手段７２
を作用させて鮮鋭化を行い次の出力画像ｆｓ１を得る。
次に判断手段８２によって以前記憶していたｋ０とｋ１
を比較し、さらに高周波強調係数の算出を繰り返すかど
うかを判断する。繰り返すと判断されれば、判断手段８
２は今度はｋ１を記憶しておいて、再び出力画像ｆｓ１
を自動係数算出手段７０にフィードバックするようにセ
レクタ８１に指令をだす。そして高周波強調係数ｋ２を
得、今度はｋ１とｋ２を比較する。このようにして判断
手段８２が繰り返しをやめると判断するまで続ける。

【０１１４】判断手段８２の例としては、両者の値の差
の絶対値がある値以下であれば繰り返しを終了し、そう
でなければ繰り返すという手段がある。また、繰り返し
数をあらかじめ決めておく方法もある。この場合は判断
手段８２は以前の高周波強調係数を記憶しておく必要は
ない。

【０１１５】判断手段８２を付加することにより、鮮鋭
化後のエッジ領域が計算され、第１０の発明の鮮鋭化装
置において述べた式（９）によって高周波強調係数を計
算する事になり、第１０の鮮鋭化装置よりも目的の鮮鋭
度６９により近付けることができる。

【０１１６】図１０に本発明の第七の実施例を示す。

【０１１７】本実施例は、本発明を動画像に適用するも
のである。入力動画像９１に対し、サンプリング手段９
２によってｎフレーム（ｎ＝１，２，３・・・）ごとに
画像をサンプリングする。そして鮮鋭度算出手段９３に
よって、サンプリングされた画像の鮮鋭度を算出する。
その出力の鮮鋭度から、パラメータ算出手段９４によっ
て画像強調のためのパラメータを算出する。このパラメ
ータを用い、画像強調手段９５によって、入力動画像９
１を強調し、出力動画像９６を得る。

【０１１８】サンプリング間隔がｎのとき、入力動画像
のｉ番目の画像がサンプリングされると、次のｎフレー
ムの時間内でパラメータＰ（ｉ）を計算する。よって出
力画像のｉ＋ｎ番目の画像からｎフレーム分は、パラメ
ータＰ（ｉ）によって画像の鮮鋭化が行われる。このよ
うにして、ｎを十分小さく取れば、動画像の各場面に適
応的な鮮鋭化を行うことが出来る。

【０１１９】図１１に本発明の第八の実施例を示す。本
実施例は、第一、第二、第三、第四、第五、第六、第七
の実施例における鮮鋭度算出手段または、自動係数算出
手段の前に、鮮鋭度１０３を算出するための参照領域を
制限するためのウィンドウ設定手段１０１を有してい
る。

【０１２０】図１１では入力画像１はまずウィンドウ設
定手段１０１に入力され、鮮鋭度測定領域を指定され
る。ウィンドウ設定手段１０１の例としては、画像の中
央部だけを抽出したり、動画像であれば、動きのある部
分を抽出する方法がある。そして、指定された領域のみ
のデータを、鮮鋭度算出手段１０２に入力する。

【０１２１】入力画像１のデータすべてを用いて鮮鋭度
１０３を計算するよりも、ウィンドウ設定手段１０１に
よって、データ量を減らすことで、計算コストを低減す
ることが出来る。また、画像内の対象物は一般に中央部
分に配置されていることが多いので、画面の中央部分だ
けにウィンドウを設定することによって、画像内の対象
物の鮮鋭度に応じた鮮鋭化を行うことが出来る。

【０１２２】

【発明の効果】本発明は、画像のエッジ領域における高
周波成分の平均強度である鮮鋭度をもとに、鮮鋭化を行
うので、画像のぼけのメカニズムが未知のときでも、最
適な鮮鋭化のパラメータを自動的に求めることができ
る。よって熟練オペレータを必要とせず、一枚一枚目視
で確認しながらパラメータを決める必要もない。つま
り、ぼけの程度が異なる不特定多数の画像に対して、最
適で高画質な鮮鋭化を自動的に行うことができる。

【０１２３】また、静止画像だけでなく動画像にも適用
できる。

【０１２４】本発明はあらゆる画像入力、伝送、出力装
置（プリンタ、スキャナ、ＦＡＸ、コピー等）に実装可
能であり、適用の対象は広範囲にわたる。

【図面の簡単な説明】

【図１】本発明の画像の鮮鋭化装置の第一実施例を示す
ブロック図

【図２】鮮鋭度算出手段の一例を示すブロック図

【図３】鮮鋭度算出手段の一例を示すブロック図

【図４】鮮鋭度算出手段の一例を示すブロック図

【図５】本発明の画像の鮮鋭化装置の第二実施例を示す
ブロック図

【図６】本発明の画像の鮮鋭化装置の第三実施例を示す
ブロック図

【図７】本発明の画像の鮮鋭化装置の第四実施例を示す
ブロック図

【図８】本発明の画像の鮮鋭化装置の第五実施例を示す
ブロック図

【図９】本発明の画像の鮮鋭化装置の第六実施例を示す
ブロック図

【図１０】本発明の画像の鮮鋭化装置の第七実施例を示
すブロック図

【図１１】本発明の画像の鮮鋭化装置の第八実施例を示
すブロック図

【図１２】本発明の画像の鮮鋭化方法の原理を説明する
ための図

【図１３】高周波帯域フィルタの例

【図１４】鮮鋭度から高周波強調係数を求める為の関数
の例

【符号の説明】

１入力画像２，１１，２１，３１，５２，９３，１０２鮮鋭度算
出手段３，４７，９４パラメータ算出手段４，９５画素強調手段５出力画像６，１０３鮮鋭度１２，２２高周波濾過手段１３エッジらしさ抽出手段１４エッジらしさ重み付け手段１５強度積分手段１６，２７，３７，６７高周波数成分２３，６２エッジ領域抽出手段２４，３４，６３高周波強度積分手段２５，３５エッジ面積算出手段２６，３６面積正規化手段３３しきい値処理手段４１，５１，７３高周波強調手段４２強調用高周波濾過手段４３，５６，７１乗算手段４４，５７，７２加算手段４５高周波濾過パラメータ４６，５４，７４高周波強調係数５３，６８係数算出手段６１第一の高周波濾過手段６４第一の高周波強度積分手段６５第二の高周波濾過手段６６第二の高周波強度積分手段６９目的の鮮鋭度７０，７６自動係数算出手段７５しきい値処理手段８１セレクタ８２判断手段９１入力動画像９２画像サンプリング手段９６出力動画像１０１ウィンドウ設定手段１１１画像１１２エッジ領域１１３エッジ領域の面積１２１高周波帯域フィルタ１３１関数

Claims

(57)【特許請求の範囲】

【請求項１】画像の鮮鋭化する際に、画像のエッジ領域
における高周波成分または高周波帯域成分の強度の積分
値を、エッジ領域の面積で正規化した値に基づいて鮮鋭
化することを特徴とする画像の鮮鋭化方法。
【請求項２】入力画像の輝度情報をもとに鮮鋭度を算出
する鮮鋭度算出手段と、算出された鮮鋭度をもとに鮮鋭
化パラメータを決定するパラメータ決定手段と、パラメ
ータ算出手段で求めた鮮鋭化パラメータを用いて、入力
画像の輝度を強調する画素強調手段とからなる画像の鮮
鋭化装置であって、前記鮮鋭度算出手段が、入力画像の
エッジ領域を抽出するエッジ領域抽出手段と、前記エッ
ジ領域抽出手段の出力からエッジ面積を算出するエッジ
面積算出手段と、画像の高周波成分または高周波帯域成
分を抽出する高周波濾過手段と、抽出されたエッジ領域
において前記高周波成分または前記高周波帯域成分の強
度を積分する高周波強度積分手段と、前記高周波強度積
分手段の出力を、前記エッジ面積算出手段の出力で正規
化する面積正規化手段とからなることを特徴とする画像
の鮮鋭化装置。
【請求項３】前記鮮鋭度算出手段において、前記エッジ
領域抽出手段と前記高周波濾過手段とを一つの高周波濾
過手段に置き換え、この高周波濾過手段の出力をしきい
値処理することによりエッジ領域を抽出するしきい値処
理手段を有することを特徴とする請求項２記載の画像の
鮮鋭化装置。
【請求項４】前記鮮鋭度算出手段の出力をもとに、あら
かじめ設定された複数の画素強調用の高周波濾過フィル
タから１つを指定する選択信号と、高周波強調計数の２
つまたは両方を出力する前記パラメータ決定手段と、前
記選択信号によって選択されたフィルタを用いて入力画
像の高周波成分または高周波帯域成分を抽出する強調用
高周波濾過手段と、前記強調用高周波濾過手段の出力と
前記高周波強調係数を乗算する乗算手段と、前記乗算手
段の出力に入力画像を加算する加算手段を有することを
特徴とする請求項２又は３記載の画像の鮮鋭化装置。
【請求項５】前記高周波濾過手段の出力を、入力画像の
高周波強調に利用するため、前記鮮鋭度算出手段の出力
をもとに高周波強調係数を出力する前記パラメータ決定
手段と、前記高周波強調係数を前記鮮鋭度算出手段内の
高周波濾過手段の出力に乗算する乗算手段と、乗算手段
の出力に入力画像のを加算する加算手段を有することを
特徴とする請求項２又は３記載の画像の鮮鋭化装置。
【請求項６】入力画像のエッジ領域を抽出するエッジ領
域抽出手段と、前記エッジ領域抽出手段の出力からエッ
ジ面積を算出するエッジ面積算出手段と、前記入力画像
の高周波成分または高周波帯域成分を抽出する第一の高
周波濾過手段と、前記エッジ領域抽出手段の出力である
エッジ領域において前記第一の高周波濾過手段の出力の
強度を積分する第一の高周波強度積分手段と、前記第一
の高周波濾過手段の出力から高周波成分を抽出する第二
の高周波濾過手段と、前記エッジ領域において第二の高
周波濾過手段の出力の強度を積分する第二の高周波強度
積分手段と、あらかじめ入力されている目的の鮮鋭度
と、前記エッジ面積算出手段の出力と、前記第一の高周
波強度積分手段の出力と、前記第二の高周波強度積分手
段の出力から、高周波強調係数を算出する自動強調係数
算出手段と、前記自動強調係数算出手段の出力値を前記
第一の高周波濾過手段の出力に乗算する乗算手段と、前
記乗算手段の出力と前記入力画像を加算して出力画像を
得る加算手段とからなることを特徴とする画像の鮮鋭化
装置。
【請求項７】前記エッジ領域抽出手段と、前記第一の高
周波濾過手段とを、一つの第一の高周波濾過手段に置き
換え、この第一の高周波濾過手段の出力をしきい値処理
することにより、エッジ領域を抽出するしきい値処理手
段を有することを特徴とする請求項６記載の画像の鮮鋭
化装置。
【請求項８】出力画像を再び前記自動強調係数算出手段
に入力して再び高周波強調係数を計算するか、またはそ
のまま出力するかを選択するセレクタと、出力画像を算
出する際に用いた高周波強調係数と、前回の出力画像に
用いられた高周波強調係数を比較し、繰り返しを続ける
かどうか判断し、セレクタに指示を送る判断手段とを有
することを特徴とする請求項６記載の画像の鮮鋭化装
置。
【請求項９】入力動画像に対し、ｎフレーム（ｎ＝１，
２，３・・・）ごとに画像をサンプリングする画像サン
プリング手段と、人間の知覚する主観的鮮鋭さを数値的
に表す鮮鋭度を、請求項２、３、４又は５における鮮鋭
度算出手段を用いて、サンプリングされた画像につき１
つ算出する、サンプリング画像鮮鋭度算出手段と、その
出力である鮮鋭度から、サンプリングされた画像ごとに
強調用パラメータを算出するパラメータ算出手段と、得
られたパラメータによって、入力動画像に対し強調を行
う画素強調手段とを有することを特徴とする画像の鮮鋭
化装置。
【請求項１０】鮮鋭度算出手段または、自動強調係数算
出手段の前段に、鮮鋭度を算出するための参照領域を制
限するためのウィンドウ設定手段を有することを特徴と
する請求項２、３、４、５、６、７又は８記載の画像の
鮮鋭化装置。