JP3318248B2

JP3318248B2 - 画質改善装置及び記録媒体

Info

Publication number: JP3318248B2
Application number: JP35647797A
Authority: JP
Inventors: 利明原田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1997-12-25
Filing date: 1997-12-25
Publication date: 2002-08-26
Anticipated expiration: 2017-12-25
Also published as: JPH11187288A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、テレビカメラや
スキャナによって入力された画像のノイズの低減を行な
うことにより、画質を改善した画像を生成する画質改善
方法および画質改善装置及び記録媒体に関する。

【０００２】

【従来の技術】従来においては、例えば特開平８−３１
７２５５号公報に、画像からノイズ低減する画質改善方
法が提案されている。

【０００３】この画質改善方法では、まず、入力画像の
各画素について、各画素とその近傍の画素から画素値の
平均と分散の値を求める。次に、その平均の値を対応す
る画素の画素値とする平均値画像と、その分散の値を対
応する画素の画素値とする分散画像とを生成する。そし
て、その分散画像の画素値に応じて、入力画像の対応す
る画素値と平均値画像の対応する画素値との差を強調し
た値をその対応する画素値とする画質改善画像を生成す
る。

【０００４】

【発明が解決しようとする課題】従来の技術で示した画
質改善方法では、以下のような課題がある。（１）分散等の統計量を求める際の計算量が多い。（２）分散画像の画素値に応じた画像の強調を行う際の
しきい値を決定するための指針がない。（３）画像中に小さい黒点（または白点）があった場合
に、その点のコントラストが低下する場合がある。上述
の分散画像を求める際に参照する領域（上記における近
傍の領域）を広くとった場合、分散画像の画素値は入力
画像と平均値画像の上記領域での分散値であるため、小
さい点が存在する部分では分散画像の画素値は小さい値
になってしまう。したがって、分散画像の画素値に応じ
て平均値画像に足し込まれる入力画像の対応する画素値
と平均値画像の対応する画素値との差を強調した値も小
さくなり、上述の小さい点の部分のコントラストが低下
してしまう。

【０００５】本発明は、上記課題に鑑みてなされたもの
であり、強いノイズ除去効果を少ない計算量でかつ少な
い誤動作にて得ることができる画質改善装置及び記録媒
体を提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１に記載の画質改
善装置は、複数の画素からなる第１画像の少なくとも改
善対象部分の画質を改善する画質改善装置であって、前
記改善対象部分に存在する各画素に対して、該画素を含
む該画素の近傍の領域内の画素値の最大値、最小値及び
平均値を求める演算手段と、前記改善対象部分に存在す
る各画素に対して、前記最大値と前記最小値の差がノイ
ズレベルに対応して決められたしきい値以下または該し
きい値よりも小さい場合に画素値を前記平均値に変換
し、それ以外の場合に実際に入力された画素値のままと
する画質改善手段と、前記第１画像とは異なる第２画像
を用いてノイズレベルを検出し、該ノイズレベルに応じ
て前記しきい値を算出するしきい値演算手段とを有して
なり、該しきい値演算手段は、前記第１画像と第２画像
の差をとり差画像を生成する差画像生成手段と、前記差
画像の標準偏差を求めることにより画像中に含まれるノ
イズ成分の標準偏差を求める標準偏差演算手段と、前記
標準偏差に基づきしきい値を求めるしきい値算出手段と
を有してなり、前記標準偏差演算手段は、前記差画像の
ヒストグラムを生成するヒストグラム生成手段と、前記
ヒストグラムのピークとなる画素値ｘ２、画素値ｘ２か
ら前記ヒストグラム上の最大の画素値までの画素数の総
和Ａ、および、画素値ｘ２から画素値の大きくなる方向
に画素数を加算していき、その加算値が上記画素数の総
和Ａの１／２に最も近くなる画素値ｘ１を求め、標準偏
差σを、σ＝（ｘ１−ｘ２）／０．６７なる式によって
求める標準偏差算出手段と、を有するものである。

【０００７】

【０００８】

【０００９】請求項２に記載の画質改善装置は、請求項
１に記載の画質改善装置において、前記第２画像は、前
記第１画像をその画素ピッチの整数倍だけずらした画像
であるものである。

【００１０】請求項３に記載の画質改善装置は、請求項
１に記載の画質改善装置において、前記第２画像は、同
一撮像装置により短い時間間隔で前記第１画像とともに
撮像された画像であるものである。

【００１１】請求項４に記載の画質改善装置は、請求項
１に記載の画質改善装置において、前記第２画像は、イ
メージシフト動作によって前記第１画像とともに得られ
た画像であり、前記演算手段及び前記画質改善手段は、
前記第２画像の改善対象部分の画質をも改善するもので
ある。

【００１２】請求項５に記載の画質改善装置は、請求項
４に記載の画質改善装置において、前記画質改善手段に
て出力される画素値が該当画素の画素値または平均値の
どちらの値を使用しているのかをフラグ情報として記録
するフラグ情報記録手段と、少なくとも画質改善後の前
記第１画像及び前記第２画像を合成することで１枚の画
像を得る際に、前記第１画像及び前記第２画像からは得
られない虚画素を、前記フラグ情報を参照して補間する
補間手段と、を有するとともに、前記補間手段は、補間
画素の周囲の画素の内、画素値として平均値を用いてい
るものの個数が所定値以上の場合に、前記補間の画素値
をそれに隣接するいずれかの画素の画素値とするもので
ある。

【００１３】

【００１４】

【００１５】請求項６に記載の画質改善プログラムを記
憶した記録媒体は、複数の画素からなる第１画像の少な
くとも改善対象部分の画質を改善する画質改善プログラ
ムを記憶した記録媒体であって、前記画質改善プログラ
ムは、コンピューターに、請求項１ないし５のいずれか
一項に記載の画質改善装置による画質改善方法を実行さ
せるものである。

【００１６】

【発明の実施形態】（実施の形態１）以下、実施の形態
１の画質改善装置について、図１を用いて説明する。図
１は、この実施の形態１における画質改善装置の構成を
示す構成図である。

【００１７】図１において、１は入力画像記憶手段、２
は領域情報抽出手段、３は最小値算出手段、４は最大値
算出手段、５は平均値算出手段、６はノイズレベル算出
手段、７はしきい値算出手段、８は画質改善手段、９は
画質改善画像記憶手段、１０は画像アドレス管理手段を
それぞれ示している。なお、最小値算出手段３，最大値
算出手段４，平均値算出手段５は請求項における演算手
段を、ノイズレベル算出手段６、しきい値算出手段７は
請求項におけるしきい値演算手段を構成している。ま
た、請求項における標準偏差演算手段は、後述する標準
偏差算出手段１０６及びヒストグラム生成手段１０５か
ら構成されている。

【００１８】同図において、入力画像記憶手段１に記憶
される画像は水平Ｘ画素×垂直Ｙ画素のモノクロ画像と
する。ただし、入力画像記憶手段１では、２枚の画像を
記憶するものとする。

【００１９】この図１に示した画質改善装置では、記憶
された２つの画像（画像１，画像２）の内の画像１の各
画素について、その画素及び近傍の画素の画素値から最
大値，最小値，平均値を算出する。また、２つの画像の
両方を用いてノイズレベル（しきい値）を抽出する。そ
して、画像１の各画素について、算出した最大値と最小
値の差が上記しきい値を越える（またはしきい値以上
の）場合は該当画素の画素値を実際の画素値のままと
し、算出した最大値と最小値の差が上記しきい値以下
（またはしきい値より小さい）場合は該当画素の値を上
記平均値とする。以下に、この処理ついて説明するが、
まず図１の画質改善装置の各構成要素を説明する。

【００２０】なお、ここでは、入力画像記憶手段１にお
ける１枚目（画像１）と２枚目（画像２）の画像中の座
標（ｉ，ｊ）における画素値をそれぞれＩ１（ｉ，
ｊ）、Ｉ２（ｉ，ｊ）（０≦ｉ＜Ｘ、０≦ｊ＜Ｙ）で表
すことにする。また、画質改善画像記憶手段９で記憶す
る画像改善された画像中の座標（ｉ，ｊ）における画素
値をＯ（ｉ，ｊ）（０≦ｉ＜Ｘ、０≦ｊ＜Ｙ）で表すこ
とにする。

【００２１】入力画像記憶手段１は、例えば２画面分の
記憶容量をもつメモリであり、１画面分の画像を記憶す
る２つのメモリ（画像１記憶領域１０１，画像２記憶領
域１０２）を有している。

【００２２】領域情報抽出手段２は、上記入力画像記憶
手段１より特定の領域の画素値を読み出してくる手段で
ある。具体的には、画像１における各画素について順
に、その画素及びその近傍の画素を読み出す。以下、各
画素について読み出される該当画素とその近傍の画素か
らなる領域を、単に画素領域と称する。

【００２３】最小値算出手段３は、上記領域情報抽出手
段２により読み出された画素領域内でもっとも小さい値
となる画素値を求める。

【００２４】最大値算出手段４は、上記領域情報抽出手
段２により読み出された画素領域内でもっとも大きい値
となる画素値を求める。

【００２５】平均値算出手段５は、上記領域情報抽出手
段２により読み出された画素領域内における画素の値の
平均値を求める。

【００２６】ノイズレベル算出手段６は、上記入力画像
記憶手段１中の画像１記憶領域１０１、画像２記憶領域
１０２に記憶されている２枚の画像の差分をとることに
より差画像を生成、さらに上記差画像の標準偏差を求め
る手段である。構成要素としては、差画像生成手段１０
４、ヒストグラム生成手段１０５、標準偏差算出手段１
０６を有する。差画像生成手段１０４は、画像１記憶領
域１０１の画像と画像２記憶領域１０２の画像の２枚の
画像についての差分をとった画像（差画像）を生成する
手段である。ヒストグラム生成手段１０５は、上記差画
像について画素値のヒストグラムを生成する手段であ
る。標準偏差算出手段１０６は、上記ヒストグラムを利
用して画像中に含まれるノイズ成分の標準偏差を算出す
る手段である。

【００２７】しきい値算出手段７は、上記ノイズレベル
算出手段６により求めた標準偏差の値を参照して画質改
善手段８で使用するしきい値を算出する手段である。

【００２８】画質改善手段８は、上記最小値算出手段
３、最大値算出手段４、平均値算出手段５、しきい値算
出手段７よりそれぞれ求めた領域内の最小値、領域内の
最大値、領域内の平均値、２枚の画像のノイズレベルに
依存するしきい値より、画質改善画像の画素値を決定す
る手段である。

【００２９】画質改善画像記憶手段９は、例えば１画面
分の記憶容量をもつメモリであり、図１の場合には画像
１を画質改善した後の画像を記憶する。

【００３０】画像アドレス管理手段１０は、上記領域情
報抽出手段２と画質改善手段８において、それぞれ入力
画像記憶手段１、画質改善画像記憶手段９へアクセスす
る際の画像の座標を与える手段である。

【００３１】次に、本画質改善装置の動作を、図１を参
照して説明する。入力画像記憶手段１には、例えば、図
示しない撮像装置により入力された連続した２フレーム
（通常１／３０秒の時間間隔）のモノクロ画像が記憶さ
れているものとする。この場合、上記２枚の画像は空間
的にほぼ等しい位置で撮像された画像とみなすことがで
きる。例えば、画像１記憶領域１０１に上記２フレーム
中の１フレーム目の画像が、画像１記憶領域１０１に２
フレーム目の画像が記憶されるとする。記憶された２枚
の画像は、上記領域情報抽出手段２と上記ノイズレベル
算出手段６により読み出される。

【００３２】画像アドレス管理手段１０は、上記領域情
報抽出手段２での該当画素（領域の中心の画素）の座標
を与える。また、上記画質改善手段８の出力を上記画質
改善画像記憶手段９に書き込む際の座標を与える。ま
た、この画像アドレス管理手段１０は、記憶された入力
画像の１枚目Ｉ１（ｉ，ｊ）、画質改善画像Ｏ（ｉ，
ｊ）について、ｉ（０≦ｉ＜Ｘ），ｊ（０≦ｊ＜Ｙ）に
ついてのすべての組み合わせを実現するようにｉ、ｊの
走査を行う。これにより、画像中の全画素について画質
改善が行われる。

【００３３】上記領域情報抽出手段２は、画像アドレス
管理手段１０より与えられる座標をもとに、特定の領域
の複数画素を入力画像記憶手段１に記憶されている２枚
の画像のうちの１枚目の画像の画素情報を画像１記憶領
域１０１より読み出す。

【００３４】図４を参照して、その動作の具体例を説明
する。図４において、ＰＨ，ＰＶはそれぞれ入力画像記
憶手段１に記憶される画像を撮像した固体撮像素子の水
平画素ピッチ、垂直画素ピッチである。また、四角の領
域はそれぞれの画素であることを表わす。画像アドレス
管理手段１０より座標（ｉ，ｊ）が与えられた場合、こ
の具体例では図４のハッチング領域の画素の画素値（Ｉ
１（ｉ，ｊ），Ｉ１（ｉ，ｊ−２），Ｉ１（ｉ−１，ｊ
−１），Ｉ１（ｉ，ｊ−１），Ｉ１（ｉ＋１，ｊ−
１），Ｉ１（ｉ−２，ｊ），Ｉ１（ｉ−１，ｊ），Ｉ１
（ｉ＋１，ｊ），Ｉ１（ｉ＋２，ｊ），Ｉ１（ｉ−１，
ｊ＋１），Ｉ１（ｉ，ｊ＋１），Ｉ１（ｉ＋１，ｊ＋
１），Ｉ１（ｉ，ｊ＋２）の計１３画素）を読み出し
て、それぞれの画素値を例えばレジスタを使用して記憶
する。

【００３５】次に、上記領域情報抽出手段２にて読み出
した画素情報をもとに、最小値算出手段３により最小の
値となる画素値、最大値算出手段４により最大の値とな
る画素値、平均値算出手段５により領域内の全画素につ
いての平均値を求める。平均値ｍは、以下の（数１）式
により計算する。

【００３６】

【数１】

【００３７】ノイズレベル算出手段６中の差画像生成手
段１０４は、上記入力画像記憶手段１の画像１記憶領域
１０１と画像２記憶領域１０２に記憶された２枚の画像
の画素値をもとに、画像中のノイズレベルを算出する。
具体的には、上述のＩ１（ｉ，ｊ）、Ｉ２（ｉ，ｊ）を
用いて、両画像の差画像Ｄ（ｉ，ｊ）を以下の（数２）
式により計算する。

【００３８】

【数２】

【００３９】次に、ヒストグラム生成手段１０５によ
り、上記差画像Ｄ（ｉ，ｊ）の画素値についてのヒスト
グラムを作成する。そして、ヒストグラム上でピーク
（最も画素数の多い箇所）となる画素値ｘ２を求める。
続いて、ｘ２からヒストグラム上の最大の画素値までの
画素数の総和Ａを求める。次に、ｘ２から画素値の大き
くなる方向に画素数を加算していき、その加算値が上記
画素数の総和Ａの１／２のに最も近くなる画素値ｘ１を
求める。

【００４０】次に、標準偏差算出手段１０６により、画
像中に含まれるノイズ成分の標準偏差を求める。ここ
で、標本集団ｘが母平均μ、母分散σ×σの正規分布で
ある場合の、下記の（数３）式による標準型への変換を
考える。

【００４１】

【数３】

【００４２】上記の変換を行うことにより、標本集団ｚ
は母平均０、母分散１の標準正規分布となる。ここで、
上記標準正規分布において標本数が最も多くなるピーク
以降の確率密度関数を積分した値が例えば０．２５の場
合を考える。この場合、ｚが０．６７となるため、上記
差分画像により表わされるノイズの分布を正規分布とす
ると、下記の（数４）式が成立する。

【００４３】

【数４】

【００４４】ここで、（数４）式での標準偏差σは、１
画面目の画像と２画面目の画像の差画像より求めてい
る。そこで、２枚の画像が全く等しい撮像位置で撮影さ
れている場合、上記差画像は２枚の画像中のノイズ成分
の差成分をあらわすことになる。したがって、各々１枚
の画像でのノイズ成分の標準偏差σ２を求めるには、上
記差画像で表われるノイズ成分が実効値となるので以下
の式で求めることができる。

【００４５】

【数５】

【００４６】上記（数５）式より、１枚の画像単体につ
いてのノイズ成分の標準偏差σ２を求めることができ
る。

【００４７】ここで、上記のようにヒストグラムを使用
してノイズ成分の標準偏差を求める方法の利点について
述べる。例えば、２枚の画像にわずかに相対的な撮像位
置のずれがある場合を考える。上記２枚の画像の差画像
のノイズ成分の標準偏差を求める方法としては例えば仮
平均を使用して求める方法が公知であるが、この方法で
は２枚の画像の相対的な撮像位置がずれているために元
の画像のエッジ部分に差画像でもエッジが表われてしま
い、標準偏差を求める際の誤差要因となる。ここで、ヒ
ストグラムを使用した場合は、差画像に表われたエッジ
はヒストグラムの両端（最大となる画素値と最小となる
画素値）の近傍に現れることになる。したがって、ヒス
トグラムのピーク近辺の形状を参照して標準偏差を求め
る本発明の手法では、上記エッジによる誤差の影響は少
なくなるいう利点がある。

【００４８】上記ノイズレベル算出手段６で求めた標準
偏差σ２の値を使用して、上記しきい値算出手段７では
画質改善手段８で使用するしきい値Ｔを算出する。具体
的には、しきい値Ｔは以下の（数６）式により求める。

【００４９】

【数６】

【００５０】ここでｋ＝６としているのは、誤動作によ
る画質劣化とノイズ除去効果のトレードオフのためであ
る。（統計的なノイズ除去率約９９．７％）ここで、誤
動作による画質劣化を少なくしたい場合には例えばｋ＝
２（統計的なノイズ除去率約６８．３％）のようにｋの
値として６より小さい値を使用すれば良い。また、平滑
化効果を高めたい場合はｋ＝１０（ノイズ除去率１００
％）のようにｋの値として６より大きい値を使用すれば
よい。

【００５１】上記画質改善手段８は、以上の構成要素で
求めた、領域内の最小値・最大値・平均値、および、１
枚の画像についてのノイズ成分の標準偏差σ２から求め
たしきい値Ｔを用いて、画質改善画像を生成する。具体
的には、上記領域情報内の最大値から最小値を減じた値
が上記しきい値Ｔよりも大きい場合は、該当画素（画像
アドレス管理手段１０により与えられた座標の画素）の
画素値として領域情報抽出手段２で得られた画素群の中
央に位置する画像の値をそのまま使用する。また、上記
領域情報内の最大値から最小値を減じた値が上記しきい
値Ｔ以下の場合は、該当画素の画素値として上記平均値
算出手段５で得られた平均値を使用する。このようにし
て得られた該当画素の画素値は、画質改善画像記憶手段
９の画像アドレス管理手段１０より与えられる座標に対
応するアドレスに書き込まれる。

【００５２】本実施の形態における画質改善手段によれ
ば、しきい値を求める際にヒストグラムを使用してお
り、分散等の統計量を求めることに比べ乗除算をほとん
ど使用しないため、計算量を少なくすることができる。
また、画像のノイズレベルを求めそこからしきい値を決
定しているため、画像の撮像状況に応じたレベルのノイ
ズ除去が可能となる。また、領域内に特異な画素（例え
ば画像中に小さい黒点（または白点）がある場合等）が
あった場合でも、その点のコントラストが低下する等の
誤動作がないという効果がある。

【００５３】なお、本実施の形態では、画質改善される
画像を入力画像記憶手段１の１枚目の画像としたが、２
枚目の画像を対象として同様の処理を行ってもよい。

【００５４】また、本実施の形態では、領域情報抽出手
段２において領域の形状を菱形にしているが、正方形・
長方形等の他の形状の領域を用いてもよい。また、領域
の大きさもこれに限るものではない。

【００５５】さらに、本実施の形態では差分画像のピー
クを求める際に、もっとも標本数の多い画素値をピーク
としたが、誤動作をさけるためにヒストグラム上の近傍
の複数画素値の画素数の和によりピークを求めてもよ
い。この場合は、ヒストグラムが平滑化されるため標本
数が少ない場合等の理由による誤動作を少なくすること
ができる。

【００５６】また、本実施の形態ではモノクロ画像を対
象としているが、カラー画像を対象とした場合において
も、ＲＧＢそれぞれの画像に対して本発明の画質改善処
理を行えばよい。また、輝度・色差信号からなる画像情
報の場合についても同様である。

【００５７】（実施の形態２）図２は、本発明に係る画
質改善装置の実施の形態２を示す構成図であって、図中
実施の形態１を示す図１と同一構成部分は同一符号をも
って表し、その説明を省略する。

【００５８】本実施の形態の画質改善装置が実施の形態
１の画質改善装置と異なっているのは入力画像記憶手段
２１，ノイズレベル算出手段２２の部分である。その他
の部分の動作は、実施例１の場合と同様であるため説明
を省略する。

【００５９】入力画像記憶手段２１は、例えば１画面分
の記憶容量をもつメモリであり、画像記憶領域１０７を
有している。この画像記憶領域１０７は、図示しない撮
像装置により入力された１フレームのモノクロ画像が記
憶されているものとする。記憶された画像は、上記領域
情報抽出手段２と上記ノイズレベル算出手段２２により
読み出される。

【００６０】なお、入力画像記憶手段２１における画像
中の座標（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）（０
≦ｉ＜Ｘ，０≦ｊ＜Ｙ）で表すことにする。

【００６１】ノイズレベル算出手段２２は、上記入力画
像記憶手段２１に記憶されている１枚の画像とその１枚
の画像を右に１画素ずらした画像の２枚の画像の差分を
とることにより差画像を生成、さらに上記差画像の標準
偏差を求める。このノイズレベル算出手段２２は、差画
像生成手段１０８、ヒストグラム生成手段１０５、標準
偏差算出手段１０６を有している。差画像生成手段１０
８は、画像記憶領域１０７の画像とその画像を右に１画
素シフトした画像との差分をとった画像（差画像）を生
成する。ヒストグラム生成手段１０５は、上記差画像に
ついてのヒストグラムを生成する。標準偏差算出手段１
０６は、上記ヒストグラムを利用して画像中に含まれる
ノイズ成分の標準偏差を算出する。

【００６２】差画像生成手段１０８は具体的には、上述
のＩ（ｉ，ｊ）を用いて、両画像の差分画像Ｄ（ｉ，
ｊ）を以下の（数７）式により計算する。

【００６３】

【数７】

【００６４】次に、ヒストグラム生成手段１０５は上記
差分画像Ｄ（ｉ，ｊ）のヒストグラムを作成する。その
後の処理については実施の形態１と同じであるため説明
を省略する。

【００６５】本実施の形態における画質改善手段によれ
ば、しきい値を求める際にヒストグラムを使用してお
り、分散等の統計量を求めることに比べ乗除算をほとん
ど使用しないため、計算量を少なくすることができる。
また、ノイズレベルを求めそこからしきい値を決定して
いるため、画像の撮像状況に応じたレベルのノイズ除去
が可能となる。また、領域内に特異な画素（例えば画像
中に小さい黒点（または白点）がある場合等）があった
場合でも、その点のコントラストが低下する等の誤動作
がないという効果がある。また、１フレームの画像のみ
を使用してノイズレベルを求めているため、入力画像記
憶段２１の記憶容量を特別に増やす必要がないという利
点がある。

【００６６】本実施の形態において、差分画像を求める
際に原画像と原画像を右に１画素ずらした画像との間で
の演算を行ったが、上、下、左、または斜めに動かす構
成としてもよい。

【００６７】また、本実施の形態ではモノクロ画像を対
象としているが、カラー画像を対象とした場合において
も、ＲＧＢそれぞれの画像に対して本発明の画質改善処
理を行えばよい。また、輝度・色差信号からなる画像情
報の場合についても同様である。

【００６８】（実施の形態３）図３は、本発明の実施の
形態３の画質改善装置を示す構成図であって、図中実施
の形態１を示す図１と同一構成部分は同一符号をもって
表し、その説明を省略する。

【００６９】本実施の形態が実施の形態１と異なるのは
入力画像記憶手段３１、領域情報抽出手段３２、画質改
善手段３３、画質改善画像記憶手段３４、画像アドレス
管理手段３５、フラグ情報記憶手段３６、イメージシフ
ト補間手段３７、光量補正手段３８の部分である。その
他の部分の動作は、実施の形態１の場合と同様であるた
め説明を省略する。なお、本実施の形態の画質改善装置
は、イメージシフト動作により生成された２フレームの
画像の両方から改善画像を形成するものである。

【００７０】以下、本実施の形態の画質改善装置の動作
について説明する。入力画像記憶手段３１は、例えば２
画面分の記憶容量をもつメモリであり、イメージシフト
機構をもつ撮像装置により入力された２フレームのモノ
クロ画像を記憶する。この入力画像記憶手段３１は、画
像１記憶領域１０９と画像２記憶領域１１０を有してい
る。記憶された画像は、上記領域情報抽出手段３２と上
記ノイズレベル算出手段６により読み出される。ここ
で、上記イメージシフト機構としては、例えば本出願人
が先に出願した特願平８−８６２８公報に記載の機構が
使用できる。

【００７１】ここでは、イメージシフトの例としてＣＣ
Ｄの水平画素ピッチをＰＨ、垂直画素ピッチをＰＶとし
た場合において、１枚目の画像に対して２枚目の動きベ
クトル［０．５×ＰＨ，０．５×ＰＶ］となる空間的な
撮像位置で撮像されるイメージシフトを行う場合につい
て説明する。図５はイメージシフト動作を説明する図で
ある。

【００７２】図５において、ＰＨ，ＰＶはそれぞれ撮像
に使用した撮像素子の水平方向の画素ピッチ、垂直方向
の画素ピッチである。また、図中の四角はそれぞれ画素
を表わしている。また、図では空間的な撮像位置をあわ
せた形にて表現しており、右下がりのハッチングの四角
がイメージシフトでの１枚目の撮像画像であり、右上が
りの四角がイメージシフトでの２枚目の撮像画像であ
る。図中の白抜きの四角は実画素として存在していない
画素（補間画素）を示している。なお、図中のＳ（ｘ，
ｙ）は座標（ｘ，ｙ）に対応する画素を示している。

【００７３】なお、以下では入力画像記憶手段３１にお
ける画像中の座標（ｉ，ｊ）における画素値をそれぞれ
Ｉ１（ｉ，ｊ），Ｉ２（ｉ，ｊ）（０≦ｉ＜Ｘ、０≦ｊ
＜Ｙ）で表して説明する。

【００７４】画像アドレス管理手段３５は、上記領域情
報抽出手段３２に対して該当画素（領域の中心点の座
標）の座標を与える。また、上記画質改善手段３３の出
力を上記画質改善画像記憶手段３４に書き込む際の座標
を与える。また、この画像アドレス管理手段３５にて、
ｉ（０≦ｉ≦Ｘ），ｊ（０≦ｊ≦Ｙ）についてのすべて
の組み合わせを実現するようにｉ，ｊの走査を行う。ま
た、本実施の形態の場合には、入力画像記憶手段３１上
の２枚の画像についてそれぞれ画質改善画像を作成する
ので、上記ｉ，ｊの走査を２枚の画像Ｉ１（ｉ，ｊ），
Ｉ２（ｉ，ｊ）についてそれぞれ行う。以上により、２
枚の画像中の全画素について画質が改善される。

【００７５】領域情報抽出手段３２は、画像アドレス管
理手段３５より与えられる１枚目または２枚目の画像の
どちらにアクセスするかの情報と画像の座標情報をもと
に、上記入力画像記憶手段３１より特定の領域の画素値
を読み出す。ここで、特定領域とは画像アドレス管理手
段３５により指定された該当画素とその近傍の画素から
なる領域である。

【００７６】領域情報抽出手段３２により読み出された
画素値は最小値算出手段３，最大値算出手段４，平均値
算出手段５に入力される。これらは上記特定領域におけ
る画素値の最小値，最大値，平均値の算出を行い、画質
改善手段３３に出力する。

【００７７】一方、ノイズレベル算出手段６，しきい値
算出手段７は、実施の形態１で示した手法によりしきい
値を算出し、画質改善手段３３に出力する。

【００７８】画質改善手段３３は、上記特定の領域内の
画素値の最小値，最大値，平均値およびしきい値を用い
て、画質改善画像を生成する。アルゴリズムについて
は、実施の形態１の場合と同様であるため説明を省略す
る。そして、上記画質改善手段３３で得られた該当画素
の画素値は、画質改善画像記憶手段３４の画像アドレス
管理手段１０より与えられるフレーム・座標に対応する
アドレスに書き込まれる。

【００７９】画質改善画像記憶手段３４は、水平（２×
Ｘ）画素×垂直（２×Ｙ）画素の記憶領域を持つメモリ
であり、イメージシフト補間手段３７によりアクセスさ
れて、記憶したノイズ除去後のイメージシフトで得られ
た２枚の画像に対して、イメージシフト合成画像を作成
する際に実画素として存在していない画素（虚画素）に
対して補間が行われる。

【００８０】本実施の形態では、イメージシフト補間手
段３７が画質改善手段３３での処理を利用することで少
ない計算量で補間を行う。この処理について以下に詳細
に説明する。

【００８１】補間前において画質改善画像記憶手段３４
に記憶された画質改善画像は、画質改善手段３３の処理
を受けており、特定領域の平均値を画素値として持つ画
素と、実際に撮像された値を画素値としてもつ画素が混
在したものとなる。ここで、特定領域の平均値を画素値
としてもつ画素は、その画素を中心とする領域内におけ
る画素値の差が小さい画素である。したがって、このよ
うな平均値を画素値として有する画素により略囲まれて
いるような画素（虚画素）は、その取り囲む画素と略同
一の画素値を有していると考えて良い。本実施の形態で
は、このような考えに基づき、上記のような条件を満た
す画素（虚画素）の画素値を単に隣接する実画素の画素
値で表現することで、補間処理に要する計算量を減少さ
せる。

【００８２】具体的には、画質改善手段３３が画質改善
画像の画素値として該当画素の画素値，領域の平均値の
どちらを出力したかについてフラグ情報記憶手段３６に
フラグ情報として記録するようにしている。例えば、該
当画素の画素値（中心画素値）として出力した場合は
０、平均値として出力した場合は１というようにビット
情報として、上記フラグ情報記憶手段３６の図示しない
フラグ情報記憶領域に記録する。フラグ情報記憶手段３
６は、例えば２×Ｘ×Ｙビットの容量を持つメモリであ
る。上記画質改善手段３３により、フラグ情報を書き込
まれる。

【００８３】そして、イメージシフト補間手段３７が、
実画素として存在していない画素Ｓ（ｘ，ｙ）について
その周囲４画素（実画素）に対応するフラグ情報を上記
フラグ情報記憶手段３６より読み出し、フラグ情報のう
ち３箇所以上が１である場合（つまり３箇所以上が平均
値の画素値を有している場合）はニアレストネイバー補
間により画素補間を行う。すなわち、画素Ｓ（ｘ，ｙ）
の値としては、例えば画素Ｓ（ｘ−１，ｙ）における画
素値を用いる。周囲４画素に対応するフラグ情報のうち
３箇所未満が１である場合は以下の（数８）を計算する
ことにより補間画素の値を求める。

【００８４】

【数８】

【００８５】以上のアルゴリズムで計算された補間画素
は、画質改善画像記憶手段３４中の上記座標Ｓ（ｘ，
ｙ）に対応するアドレスに記録される。

【００８６】また、画質改善画像手段３４に記憶された
画質改善画像は、光量補正手段３８により、イメージシ
フトで撮像された２枚の画像の光量差および補間により
生じた画質劣化が補正される。この光量縫製手段３８は
フィルタからなり、イメージシフト画像に対する補間処
理が終了してから、画質改善画像記憶手段３４より補間
後の画像を読み出し光量補正を施し、再び画質改善画像
記憶手段３４に記録する。

【００８７】光量補正手段３８は、以下の（数９）式を
計算することによりことにより光量補正を実現する。こ
こで、Ｓ（ｘ，ｙ）は、上記イメージシフト補間手段３
７による補間処理後の補間画像であるとする。したがっ
て、水平（２×Ｘ）画素×垂直（２×Ｙ）画素の画像に
対する処理を行う。

【００８８】

【数９】

【００８９】以上のようにして、イメージシフト画像に
対しても、ノイズ除去による画質改善およびイメージシ
フト合成処理の演算量を削減することができる。この種
のイメージシフト合成処理の例としては、本出願人より
出願された特願平９−１７３８１７公報がある。

【００９０】以上説明した本実施の形態における画質改
善装置によれば、しきい値を求める際にヒストグラムを
使用しており、分散等の統計量を求めることに比べ乗除
算をほとんど使用しないため、計算量を少なくすること
ができる。また、ノイズレベルを求めそこからしきい値
を決定しているため、画像の撮像状況に応じたレベルの
ノイズ除去が可能となる。また、領域内に特異な画素
（例えば画像中に小さい黒点（または白点）がある場合
等）があった場合でも、その点のコントラストが低下す
る等の誤動作がない。また、イメージシフト補間処理で
の補間方法についてのフラグ情報を記憶しておくことに
より、計算量の多いイメージシフト補間処理の演算量を
削減することができるという効果がある。また、イメー
ジシフト撮像装置に適用するため、入力画像記憶手段３
１の記憶容量を本処理のためだけに増設する必要がない
という利点がある。

【００９１】なお、本実施の形態では、ニアレストネイ
バー補間を補間画素の左の画素から行っているが、上・
下・右の画素から行ってもよい。

【００９２】また、本実施の形態ではモノクロ画像を対
象としているが、カラー画像を対象とした場合において
も、ＲＧＢそれぞれの画像に対して本発明の画質改善処
理を行えばよい。また、輝度・色差信号からなる画像情
報の場合についても同様である。

【００９３】また、本実施の形態では、イメージシフト
補間手段３７において実画素として存在していない画素
についてその周囲４画素に対応するフラグ情報を上記フ
ラグ情報記憶手段より読み出し、フラグ情報のうち３箇
所以上が１である場合はニアレストネイバー補間により
画素補間を行う構成としているが、フラグ情報のうち２
箇所以上が１である場合にニアレストネイバー補間を行
う構成としてもよい。

【００９４】さらに、本実施の形態では、イメージシフ
トで得られた２枚の画像についての差画像を生成する構
成としているが、イメージシフトで得られる２枚の画像
それぞれに対して実施の形態２の手法を用いてノイズ除
去とフラグ情報の記憶を行い、イメージシフト合成を行
う構成にしても同様の効果を得ることができる。

【００９５】なお、以上の実施の形態では、１つの画像
全体の画質を改善する場合について示したが、勿論画像
中の一部分（改善対象部分）のみの画質を改善しても良
い。

【００９６】また、以上の実施の形態では、ノイズレベ
ル及びしきい値を算出したが、予め決められた所定値で
あっても構わない。

【００９７】さらに、以上の実施の形態では、最大値，
最小値，平均値に基づき画質を改善する例について述べ
たが、本実施の形態で示した算出方法により算出したノ
イズレベル（しきい値）を用いて、各画素の画素値の妥
当性を判断し（例えば、各画素の画素値のその近傍の画
素からの変化量がノイズに起因するものか否かを判断
し）、その結果に基づいて画質を改善するものであって
も良い。

【００９８】また、以上の実施の形態で説明した本発明
の画質改善装置による画質改善方法は、画質改善プログ
ラムを用いてコンピュータを動作させることにより実行
されるものであってもよい。この画質改善プログラムは
例えばＣＤ−ＲＯＭや磁気テープ等の記録媒体に記録さ
れており、この記録媒体によってコンピュータに供給さ
れるものであってもよいし、また、通信モデムを介して
コンピュータに供給されるものであってもよい。

【００９９】

【発明の効果】請求項１に記載の発明では、最大値，最
小値及び平均値を求め、上記最大値と最小値の差としき
い値との比較結果に基づいて、画素値として上記平均値
を使用するかそのままの値を使用するかを決めるだけで
画質の改善を実現できる。つまり、非常に簡単な構成に
より画質の改善が可能である。

【０１００】また、他の画像を用いてノイズレベルを求
め、そのノイズレベルによりしきい値を決定する。そし
て、そのしきい値を使用して画質改善を行うことによ
り、誤動作による画質劣化を防ぎ、画像のノイズレベル
に応じた高いノイズ除去効果を得ることができる。

【０１０１】また、２枚の画像に対する差画像のヒスト
グラムを利用することにより、少ない計算量にて、空間
的な撮像位置の差によるノイズレベル検出誤差を少なく
することができる。

【０１０２】請求項２に記載の発明では、１枚の画像か
ら画質を改善できる。また、１枚分の画像メモリのみ持
てばよいため、画像メモリを特別に追加をすることな
く、誤動作による画質劣化を防ぎ、画像のノイズレベル
に応じた高いノイズ除去効果を得ることが可能となる。

【０１０３】請求項３に記載の発明では、同一の撮像装
置により短い時間間隔にて撮像された２枚の画像を使用
して画質改善を行うことにより、上記２枚の画像を空間
的にほぼ等しい位置で撮像された画像とみなすことがで
き、ノイズレベル検出の際の誤差を少なくすることがで
きる。

【０１０４】請求項４に記載の発明では、イメージシフ
トで得られた２枚の画像を使用して画質改善を行うこと
により、イメージシフト撮像装置に対して画像メモリを
追加することなしに、誤動作による画質劣化を防ぎ、画
像のノイズレベルに応じた高いノイズ除去効果を得るこ
とが可能となる。

【０１０５】請求項５に記載の発明では、イメージシフ
トで得られた２枚の画像を使用して画像に含まれるノイ
ズレベルを求め、そのノイズレベルよりしきい値を決定
し、そのしきい値を使用して画質改善を行うことによ
り、イメージシフト撮像装置に対して画像メモリを追加
することなしに、誤動作による画質劣化を防ぎ、画像の
ノイズレベルに応じた高いノイズ除去効果を得ることが
できる。さらに、イメージシフト補間処理時の補間方法
を記憶しておくことにより画質を劣化すること無しにイ
メージシフト合成処理の演算量を減少することができ
る。

【０１０６】また、画質を劣化すること無しにイメージ
シフト合成処理の演算量を大幅に減少することができ
る。

【０１０７】

【０１０８】請求項６に記載の発明では、本発明の画質
改善装置の汎用性を向上させることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の構成を示すブロック図
である。

【図２】本発明の実施の形態２の構成を示すブロック図
である。

【図３】本発明の実施の形態３の構成を示すブロック図
である。

【図４】図１における領域情報抽出手段の説明図であ
る。

【図５】図３におけるイメージシフト補間手段の説明図
である。

【符号の説明】

１入力画像記憶手段２領域情報抽出手段３最小値算出手段４最大値算出手段５平均値算出手段６ノイズレベル算出手段７しきい値算出手段８画質改善手段９画質改善画像記憶手段１０画像アドレス管理手段

Claims

(57)【特許請求の範囲】

【請求項１】複数の画素からなる第１画像の少なくとも
改善対象部分の画質を改善する画質改善装置であって、前記改善対象部分に存在する各画素に対して、該画素を
含む該画素の近傍の領域内の画素値の最大値、最小値及
び平均値を求める演算手段と、前記改善対象部分に存在する各画素に対して、前記最大
値と前記最小値の差がノイズレベルに対応して決められ
たしきい値以下または該しきい値よりも小さい場合に画
素値を前記平均値に変換し、それ以外の場合に実際に入
力された画素値のままとする画質改善手段と、前記第１画像とは異なる第２画像を用いてノイズレベル
を検出し、該ノイズレベルに応じて前記しきい値を算出
するしきい値演算手段とを有してなり、該しきい値演算手段は、前記第１画像と第２画像の差をとり差画像を生成する差
画像生成手段と、前記差画像の標準偏差を求めることにより画像中に含ま
れるノイズ成分の標準偏差を求める標準偏差演算手段
と、前記標準偏差に基づきしきい値を求めるしきい値算出手
段とを有してなり、前記標準偏差演算手段は、前記差画像のヒストグラムを生成するヒストグラム生成
手段と、前記ヒストグラムのピークとなる画素値ｘ２、画素値ｘ
２から前記ヒストグラム上の最大の画素値までの画素数
の総和Ａ、および、画素値ｘ２から画素値の大きくなる
方向に画素数を加算していき、その加算値が上記画素数
の総和Ａの１／２に最も近くなる画素値ｘ１を求め、標
準偏差σを、σ＝（ｘ１−ｘ２）／０．６７なる式によ
って求める標準偏差算出手段と、を有することを特徴と
する画質改善装置。
【請求項２】請求項１記載の画質改善装置において、前
記第２画像は、前記第１画像をその画素ピッチの整数倍
だけずらした画像であることを特徴とする画質改善装
置。
【請求項３】請求項１記載の画質改善装置において、前
記第２画像は、同一撮像装置により短い時間間隔で前記
第１画像とともに撮像された画像であることを特徴とす
る画質改善装置。
【請求項４】請求項１記載の画質改善装置において、前
記第２画像は、イメージシフト動作によって前記第１画
像とともに得られた画像であり、前記演算手段及び前記
画質改善手段は、前記第２画像の改善対象部分の画質を
も改善することを特徴とする画質改善装置。
【請求項５】請求項４に記載の画質改善装置において、
前記画質改善手段にて出力される画素値が該当画素の画
素値または平均値のどちらの値を使用しているのかをフ
ラグ情報として記録するフラグ情報記憶手段と、少なく
とも画質改善後の前記第１画像及び前記第２画像を合成
することで１枚の画像を得る際に、前記第１画像及び前
記第２画像からは得られない虚画素を、前記フラグ情報
を参照して補間する補間手段と、を有するとともに、前記補間手段は、補間画素の周囲の画素の内、画素値と
して平均値を用いているものの個数が所定値以上の場合
に、前記補間の画素値をそれに隣接するいずれかの画素
の画素値とすることを特徴とする画質改善装置。
【請求項６】複数の画素からなる第１画像の少なくとも
改善対象部分の画質を改善する画質改善プログラムを記
憶した記録媒体であって、前記画質改善プログラムは、コンピューターに、請求項
１ないし５のいずれか一項に記載の画質改善装置による
画質改善方法を実行させることを特徴とする記録媒体。