JPH0795344B2

JPH0795344B2 - 画像修正方法

Info

Publication number: JPH0795344B2
Application number: JP61276217A
Authority: JP
Inventors: 敏裕小島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1986-11-19
Filing date: 1986-11-19
Publication date: 1995-10-11
Anticipated expiration: 2010-10-11
Also published as: JPS63129470A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は、画像修正方法に関する。

［従来の技術］撮像管、CCDセンサ等の撮像デバイスを通して読取られ
たデジタル画像データの一部を、与えられた条件に基づ
いて、他のデータと置換えることによって、画像データ
の修正を行う方法が従来から知られている。この修正方
法は、写真の分野で行われており、レタッチと呼ばれて
いる。

このレタッチは、フィルム、印画紙上の画像の内で、修
正を加えたい部分に、その周辺の画像から予想される色
を細い筆で塗る方法であり、これによって、たとえば、
顔のほくろを消したり、髭そり跡をなくしたり、フィル
ム上に付着していたごみ、傷の影であって印画紙に写り
込んだものを、印画紙にプリントするときに消したりす
るものである。

しかし、この作業は非常に細かく、また通常、塗る色は
顔料を混ぜて作るので、その色を適切に調合することが
困難であり、未熟練者にとっては満足できる修正を加え
ることが困難である。

一方、デジタル画像処理の分野では、上記作業と同等の
作業をコンピュータで実現している。この場合、モニタ
ディスプレー上に修正したい画像を拡大して表示し、デ
ジタイザ等の位置指定装置によって、修正したい部分
（被修正画素）の近傍から被修正画素位置を埋める色を
持つ画素の位置を指定し、この位置に対応する画像デー
タの組を読み込み記憶する。そして、被修正画素の位置
を位置指定位置で指定し、上記記憶したデータの組を、
その指定した位置に対応するメモリに書込む。これによ
って、写真の世界で行われているレタッチの作業がコン
ピュータで実現される。

デジタル画像は、多くの画素で構成され、その画素を最
小単位といて取扱うことができる。デジタル画像処理で
のレタッチは、まず、画像を拡大してモニタに表示し、
その後に画素を指定できるので、細かい作業を必要とし
ない。また、被修正画素の周辺の画像データを容易に利
用できる。さらに、画素単位で指定するので、修正範囲
が必要以上に大きくならない。これらの点において、写
真でのレタッチと比較して、熟練者でなくとも満足でき
る修正が可能であるという利点がある。

しかし、上記コンピュータによる従来方法は、修正すべ
き画素の数が少ないと、その手間も比較的少ないが、画
素データは非常に数多くの画素（たとえば、通常のTVレ
ベルの画像で約25万画素、より高制細な画像では100万
画素以上）で構成されるので、極く僅かの修正であって
も、数十画素以上になることが多い。したがって、上記
コンピュータによる作業は、実際には、画素の修正作業
が大変煩雑で、長時間を要するという問題がある。

［発明の目的］本発明は、上記従来方法における問題点に着目してなさ
れたもので、熟練者でなくても、画像を満足に修正で
き、しかもその修正作業が容易である画像修正方法を提
供することを目的とするものである。

［発明の実施例］以下、ごみ、傷が付着しているフィルムからデジタル画
像を入力し、赤外光成分データを用いて、フィルムに付
着したごみ、傷の位置を検知し、そのごみ、傷を除去し
て画像修正するという場合を例にとって説明する。

第12図は、本発明の一実施例を説明する図である。

この実施例は、画像入力装置１と、画像データをたくわ
えるイメージメモリ２と、画像データを二値化する回路
３と、二値化された画像データをたくわえるビットプレ
ーンメモリ４と、入力装置１とイメージメモリ３と二値
化回路４とを結ぶI/Oインターフェース５と、処理、制
御を行なうCPU6とが設けられている。

画像入力装置１によって読まれたフィルムの画像データ
のうち、可視光成分データはイメージメモリ２にたくわ
えられ、赤外光成分のデータは、二値化回路３で二値化
された後、ビットプレーンメモリ４にたくわえられる。

CPU6は、イメージメモリ２、ビットプレーンメモリ４の
内容を読み出して、以下に説明する処理を加える。

フィルムを透過した赤外光成分は、フィルムに写ってい
る画像情報を含まず、第３図に示すごみ、傷等のデータ
で構成される。なお、第２図は、この場合の画像データ
である。

第４図は、第３図（ａ）の部分の画像データを示す図で
ある。

この第４図において、ごみ、傷の位置と、これら以外の
画像の位置とでは、顕著な相違が現れ、したがって、適
当な閾値によって赤外光成分データを２値化し、ごみ、
傷の位置を示すビットプレーンを作る。

第５図は、第３図（ｂ）の部分のビットプレーンを示す
図である。

このビットプレーンは、ごみ、傷の位置を「１」で示
し、これら以外の画像の位置を「０」として示したもの
である。

次に、上記ビットプレーンと画像データとに基づいて画
像修正する動作について説明する。

本発明の基本概念は以下の通りである。

本発明の第１の基本概念は、被修正画素を埋めるデータ
は、その被修正画素に近く存在する正常画素（修正の必
要があるデータ、既に修正されたデータではないもの）
を優先することである。ここで、画素同志の距離は、第
６図（ａ）に示すように、画素の中心間の距離である。

第６図（ｂ）は、注目画素（現在、注目している画素）
Ｘの周辺５×５画素内の各画素を、注目画素Ｘから近い
順に、Ａ、Ｂ、…Ｅの各グループにグループ化した状態
を示す図である。

また、対象としている画素は、フィルム等から入力した
自然画であり、一般に、自然画は、完全に同一の画素デ
ータが連続して起こる確率は少ない。その理由は、ま
ず、フィルムに写っている被写体自体、一様なものは少
ないことと、フィルム等に記録されるときに、その媒体
の持つノイズが加わることと、デジタル画像として入力
するときにノイズが加わることである。

このような画像の一部に、修正部分として同一データを
連続させる（位置的に隣り合せる）ことは不自然であ
る。したがって、同一データが連続する確率が少ない状
態にする。これが、本発明の第２の基本概念である。

さらに、注目画素から離れるほど、画素間の相関は一般
的に小さくなるので、あまり離れている画素からデータ
を持ってくると、そのデータが修正用データとしては適
当でない確率が高まる。また、１修正画素当りの演算の
対象とするデータ数が多くなるので、演算時間も長くな
る。したがって、マトリックスサイズに上限を設ける。
これが本発明の第３の概念である。

ところで、上記基本概念に基づいて注目画素（異常画
素）を修正する場合、所定データを他の部分からもって
くるだけでは、画像を拡大したときに、修正した部分で
あることが顕著に判明する。この理由は、以下の通りで
ある。

一般に、フィルム上の画像を画像入力装置が入力する場
合、多少とも必ずぼける。つまり、第10図（ａ）に示す
ように、フィルム上に点像がある場合、理想的には、同
図（ｂ）に示すようなレスポンスにならなければならな
いが、実際は、同図（ｃ）に示すようなレスポンスにな
る。この現象を、本明細書においては「ぼける」とい
う。この「ぼけ」は、ある点像の影響がその周辺に及ん
でいるためであり、したがって、デジタル画像データを
有する画素は、その周辺のデータに影響を与えている。

上記修正された画素について考えると、その修正された
画素は、データを周辺から移植しただけであり、その周
囲の画素とは影響を与えあってはいない。これが原因と
なって、修正された画素が正常画素の中で浮き上ってし
まう。

そこで、正常画素の中で浮き上らないようにするため
に、データ修正後に、その修正された画素（注目画素）
について、その注目画素の周辺データと加重平均をと
る。この場合、単純に平均すると、ぼけ過るので、画像
入力機の特性に近いぼけが得られるように、加重平均の
重みを付ける。

第11図は、画素をぼかすデジタルフィルタの一例を示す
図である。

この図に示すＮを変化させることによって、ぼけの程度
が変るので、Ｎの値を画像入力機の特性に近くなるよう
に適当に設定し、このときに、加重平均の重みが付けら
れる。

第７図は、画素の位置と添え字の関係を示す図である。

Ｍ×Ｎの画素データをＤ（i,j）とし、ビットプレーン
をBP（i,j）とする。ここで、ｉ＝１、２、…Ｍであ
り、ｊ＝１、２、…Ｎである。また、Ｄ（i,j）を注目
画素として設定する。

第１図は、本発明の一実施例を示すフローチャートであ
る。

ビットプレーンの注目画素（BP（i,j））を調べて、そ
れが正常画素（「０」）であるならば（S1）、S4に進
む。

一方、注目画素（BP（i,j））が異常画素（「０」）な
らば、注目画素の１画素左上、右上、左下、右下、の画
素（第９図（ａ）に斜線で示す画素）を調べる（S2）。
すなわち、BP（i-1,j-1）、BP（ｉ＋1,j-1）、BP（i-1,
j＋１）、BP（ｉ＋1,j＋１）の４つの内、正常画素が存
在するか否かを調べる。１つでも正常画素が存在する場
合、その正常画素の中の任意の１つをランダムに選択
し、その選択した画像データを注目画素の新たなデータ
とする（S11）。そして、S4に進む。

S2において、総て異常画素である場合、注目画素の２画
素左、上、右、下の画素（第９図（ｂ）に斜線で示す画
素）を調べる（S3）。すなわち、BP（i-2,j）、BP（i,j
-2）、BP（ｉ＋2,j）、BP（ｉ＋2,J＋２）の４つの画素
の内、正常画素が存在するか否かを調べる。

正常画素が存在する場合、その正常画素の中の任意の１
つのランダムに選択し、この選択された正常画素の画像
データを注目画素の新たなデータとする（S11）。

S3において、総てが異常画素である場合、注目画素の左
上、右上、２画素左、２画素上の合計４画素（第９図
（ｃ）に斜線で示す画素）の任意の１つをランダムに選
択し、この選択された画素データを注目画素のデータと
する（S12）。

この場合、上記４画素は、本来は異常画素であったが、
第８図に示すように画像の左上から右下に向けた順次、
修正処理するために、既に修正されたという理由で選ば
れた４画素である。

そして、注目画素Ｘの上に存在する画素Ｙ（第８図
（ｄ）に示す）が異常画素ならば（S4）、つまり、BP
（i,J-1）が「１」ならば、その注目画素をぼかす（S
5）。すなわち、注目画素の画像データを、次式で示す
Ｄ（i,j-1）に置きかえる。

Ｄ（i,j-1）＝｛３×Ｄ（i,j-1）＋Ｄ（i-1,j-1）＋Ｄ
（i,j-2）＋Ｄ（i,j）＋Ｄ（ｉ＋1,j-1）｝/7 この式は、第11図におけるＮを３にした場合の例であ
る。この加重平均によって得られたデータを、注目画素
の最終データとして使用する。これによって、注目画素
のぼけが行なわれる。

そして、現在の注目画素の処理を終了し、次の画素を新
しい注目画素とし（S6）、S1に戻る。このようにして、
上記処理を画像全体に行なう。画像の周囲２画素幅内の
画素は、上記アルゴリズムを適用できず、上記処理をし
ない。

本発明の第１の基本概念が存在するにもかかわらず、S2
において注目画素の上下左右の画素をアルゴリズム中に
入ない理由を次に述べる。

S2において、上下左右の画素から同様のアルゴリズムを
スタートさせた場合、修正したい部分の大きさが３×３
以上になると、３画素同一データが位置的に必ず連続す
ることになる。

第９図（ａ）は、それを説明するための図であり、斜線
部分が修正したい部分である。

ここで、上下左右のデータを利用するという段階を挿入
したすると、同図のＢの位置にはＣのデータ、Ｄにはｈ
のデータ、Ｆにはｉのデータ、Ｈにはｎのデータが必ず
くる。また、Ｅには、ｃ、ｈ、ｉ、ｎのどれかのデータ
がくることになるので、ｃ−Ｂ−Ｅ、ｈ−Ｄ−Ｅ、ｎ−
Ｈ−Ｅ、ｉ−Ｆ−Ｅの各組の内の１組は、必ず同一のデ
ータとなる。なお、同図に示す矢印は、どのデータを利
用できるかという可能性を示している。

第９図（ｂ）は、上記と同じ条件で上記提案のアルゴリ
ズムを適用した場合を示す図である。

たとえば、Ｄにはｆのデータまたはｊのデータがくる
し、Ｅにはｃ、ｈ、ｉ、またはｎのデータがくる。この
場合、３画素同一データが続くことは起こり得ない。逆
に、上記提案のアルゴリズムにおいて、たとえば、第９
図（ｃ）のように、修正画素が斜線部分のように広範囲
になったときに初めて、同図のＡ、Ｂ、Ｃの位置にａの
データが移るので、３画素同一データが連続する。

以上の理由によって、本発明の第２の基本概念に基づ
き、修正画素の上下左右の画素からはデータを持ってこ
ない。

上記実施例においては赤外光成分を利用してごみ、傷を
修正する例を挙げたが、男性の顔画像の中のひげのそり
跡を消す（修正する）場合等のように、顔という位置的
な限定と、黒に近いという色の限定等のように、他の条
件を与えるようにしてもよい。

［発明の効果］本発明によれば、熟練者でなくても、画像を満足に修正
でき、しかもその修正作業が容易であるという効果を有
する。

【図面の簡単な説明】

第１図は、本発明の一実施例を示す動作のフローチャー
トである。第２図は、ごみ、傷の影響を受けた画像の可視光成分を
示す図である。第３図は、第２図における画像の赤外光成分を示す図で
ある。第４図は、第３図の（ａ）の部分のデータの構成を示す
図である。第５図は、第３図の（ｂ）の部分を二値化したビットプ
レーンデータの一例を示す図である。第６図、第７図、第８図、第９図は、それぞれ、上記実
施例の原理を説明するための画素配列図である。第10図、第11図は、本発明の原理を説明する図である。第12図は、上記実施例の説明図である。

Claims

【特許請求の範囲】

【請求項１】デジタル画像を構成する画素について、修
正の必要がある異常画素と、修正の必要がない正常画素
とに分る段階と；前記異常画素のうち注目する注目画素の周囲に存在する
画素について、前記注目画素からの距離が等しい位置に
存在するもの同志のグループにグループ化する段階と；前記距離が短いグループの順に、前記グループの中か
ら、前記正常画素を選択する段階と；前記距離が所定の値になるまで、前記選択動作を繰り返
しても、前記正常画素を選択することができないとき
に、前記注目異常画素の近くに存在する画素であって修
正された画素の中から、所定画素を選択する段階と；前記各段階で選択された画素の画像データを、前記注目
画素の新データにする段階と；この注目画素の新データと、前記注目画素の周辺に存在
する画素の画像データとの加重平均をとる段階と；この加重平均によって得られたデータを、前記注目画素
の最終データにする段階と；で構成されることを特徴とする画像修正方法。
【請求項２】特許請求の範囲第１項において、上記加重平均は、画像入力機の特性に応じて行なわれる
ことを特徴とする画像修正方法。