JPS62204379A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ′［産業上の利用分野］ 本発明は画像処理装置に関し、特に画像処理装置との対
話ｌｌｌ５理により、画像中の特定画像を切出し可能な
画像処理装置に関する。

［従来の技術］ 写真画像等から、例えば人物のみの特定画像（以下、被
写体画像という）を切り出して、残りの画像（以下、背
景画像という）を除去する処理は、一般に熟練を要しか
つ処理に多大の時間と人手とを要する。そこで、この種
の画像処理を容易化すべく種々の画像処理装置が提案さ
れている。

一つは、電子計算機に画像ディスプレイ装置を接続して
そこに対象画像を表示し、操作者がジョイスティック等
の座標入力装置を用いて前記ディスプレイの画像の上に
重ねて表示したカーソルを画像中の被写体画像と背景画
像との境界に沿うように８動させ、計算機に切出し座標
を入力する。

計算機はこの座標データを用いて被写体画像を切り出し
、または背景画像を消去する。この装置によれば、被写
体画像を拡大して切出しができること、また修正容易で
あること等の利点があるものの、やはり操作者が被写体
画像の輪郭を正確に追跡する必要があるのでかなりの時
間と熟練を要する。

他の一つは、画像全体について各画素強度の空間微分を
行い、微係数の絶対値がある閾値より大きい画素を被写
体画像の境界候補として検出するものである。一般に、
被写体画像と背景画像の境界部分では画素強度に顕著な
変化がある。従ってかかる方法による装置は被写体画像
の自動切出しを可能にするものとして有用である。しか
し、この方法では不連続な境界候補が被写体画像の内側
のみならず背景画像の内部でも検出されるので、不要な
境界候補を取り除く処理が必要になる。

しかも従来はこの処理を人手と熟練にたよっていた。

更に他の一つは、被写体画像と背景画像の濃度差、色彩
差に着目したものであり、画素強度又は色彩の同一性を
検出して被写体画像内部であるか否かを判定するもので
ある。しかし実際問題として、被写体画像内で濃度や色
彩が一様である場合は少ないから、目的の境界が精度よ
く検出されないかった。

このように、従来装置では被写体画像を抽出するのにか
なりの熟練と労力を要した。

［発明が解決しようとする問題点］ 本発明は上述した従来技術の欠点に鑑みて成されたもの
であって、その目的とする所は、被写体画像の共通性を
よく示す判断要素で当該被写体画像を弁別し、かつオペ
レータ操作の介入を最小限とすることにより、熟練を要
せずして迅速かつ容易に・被写体画像を抽出できる画像
処理装置を提供することにある。

［問題点を解決するための手段］ この問題点を解決するために例えば第１図に示す実施例
の画像処理装置は、カラー画像中め特定画像を抽出する
画像処理装置であって、オリジナル画像データから色相
画像データ及び明度画像データを形成する画像変換手段
（ＣＰＵ）２と、前記色相画像データ及び明度画像デー
タに微分フィルタ処理を施してエツジ画像を形成するエ
ツジ画像形成手段（ＣＰＵ）２と、前記エツジ画像の工
ッジ線上において１又は２以上の点を指定する指定手段
５．４と、前記指定した点のエツジ画素情報に基づいて
所定閾値幅を決定し、該閾値幅に含まれる前記エツジ画
像のエツジ画素を抽出する画像抽出手段（ＣＰＵ）２を
備える。

［作用］ かかる第１図の構成において、オリジナルのカラーＲＧ
Ｂ画像から色相画像Ｈ１明度画像Ｖを抽出し、得られた
色相画像Ｈ１明度画像Ｖから微分フィルターによってエ
ツジ成分を抽出する０次いでオペレータ操作が介入し、
何れの画像がよく被写体画像を弁別しているかを判断し
て、好ましくは一方のエツジ画像を選択し、かつ選択し
たエツジ画像のうち被写体画像を囲むようなエツジ上の
点を数点指定する０次にＣＰＵ２は指定点の画素情報に
基づいて所定の閾値幅を決定し、該閾値幅に含まれるエ
ツジ画素とそれ以外のエツジ画素を分けるように２値化
処理を行う。またこれと共に不要な孤立点の除去処理を
する。

［実施例］ 以下、添付図面に従って本発明の実施例を詳細に説明す
る。第１図は実施例の画像処理装置のブロック構成図で
ある。図において、１はＣＣＤカメラ、ドラム゛スキャ
ナー等の画像入力装置であって、ここで発生した例えば
ＲＧＢ３原色ディジタル画像データはセントラルブロセ
ッシングユニット（ＣＰＵ）２を介して画像メモリ６の
ＲＧＢ画像画像領域６１に収納される。これはオリジナ
ル画像である。オリジナル画像６１はＣＰＵ２によって
色相Ｈ（Ｈｕｅ）、明度Ｖ　（Ｖａｌｕｅ　）　、彩度
Ｓ（５ａｔｕｒａｔｉｏｎ）が演算され、その演算結果
はＨ３Ｖ画像画像領域６２に格納される。これらは色相
画像Ｈ１明度画像Ｖ、彩度画像Ｓである。更にＣＰＵ２
は色相画像Ｈ１明度画像Ｖについて夫々微分フィルター
によりエツジ度ｄ　Ｈ／　ｄ　ｓ　。

ｄ　Ｖ　／　ｄ　ｓを求め、その演算結果をｄ　Ｈ／　
ｄ　ｓ画像領域６３及びｄ　Ｖ　／　ｄ　ｓ画像領域６
４に格納する。これらは色相エツジ画像ｄ　Ｈ／　ｄ　
ｓ、明度エツジ画像ｄ　Ｖ　／　ｄ　ｓである０次にオ
ペレータ操作が介入して、色相エツジ画像ｄ　Ｈ／　ｄ
　ｓ及び明度エツジ画像ｄ　Ｖ　／　ｄ　ｓの何れがよ
く被写体画像を弁別しているかを判断して、好ましくは
一方のエツジ画像を選択し、かつ選択したエツジ画像の
うち被写体画像を囲むようなエツジ上の点を数点指定す
る０次にＣＰＵ２は指定点のエツジ画素情報に基づいて
所定の閾値幅を決定し、該閾値幅に含まれるエツジ画素
とそれ以外のエツジ画素を分けるように２値化処理を行
う、またこれと共に不要な孤立点の除去処理をする。５
は上述したエツジ画像上の点を指定するための座標を入
力する座標入力装置であって、例えばディジタイザであ
る。

４はカラーモニタであって画像メモリ６の各種画像を必
要に応じてカラー表示する。７はプリンタ、フィルムレ
コーダ等の画像出力装置であって、切り出した被写体画
像、背景を塗りつぶした画像、あるいは被写体画像を切
り出すためにし成したマスク画像等を出力するのに用い
る。

また、上述した一連の処理や制御の機能はセントラルブ
ロセツシングユニット（ＣＰＵ）２によって実現される
ものであり、そのための例えば第２図、第３図に示すよ
うな処理プログラムはＲＡＭ、ＲＯＭから成る主メモリ
３に格納されている。８は各ブロック間を接続するＣＰ
Ｕ２の共通バスである。

以下、この装置を用いて被写体画像を切り出す場合を説
明する。

第３図は色相Ｈ１１度Ｖの計算処理を示すフローチャー
トである。ステップＳ３１では１画素データの各Ｒ，Ｇ
、Ｂ値から最大のデータＭａｘ（ＲＧＢ）を抽出してレ
ジスタＭに格納する。

ステップ５３２では逆に最小のデータＭｉｎ（ＲＧＢ）
を抽出してレジスタｍに格納する。ステップＳ３３では
レジスタＭとレジスタｍの内容を加算して２で割り、結
果を明度レジスタＢｒに格納する。即ち、オリジナル画
像の３原色ＲＧＢデータから色相Ｈを捨象して明度Ｖの
みを抽象し、結果をＨ３Ｖ画像画像６２の明度画像画像
Ｖに格納する。これは被写体領内の共通性をよく示す一
つの判断材料である。ステップＳ３４ではレジスタＭと
レジスタｍの内容が等しいか否かを判別する。

等しければ色相は存在しないからステップＳ４１に進み
、その旨を“０”で定義する。即ち、色相画像画像では
色相を有しない画素は“０”にされる。色相成分のみを
抽象するためである。またステップＳ３４で等しくない
ときはステップＳ３５でレジスタＭとレジスタＲの内容
が等しいか否かを判別する０等しければ赤色の成分を多
く含むのでステップＳ３フに進み、色相レジスタＨｒに
（２＋　（Ｇ−Ｂ）／　（Ｍ−ｍ））の計算結果を格納
する。該計算式の右辺における定数“２“は後にステッ
プＳ４０の処理で掛ける角度６０度の倍数を意味し、赤
色の成分を多く含む色相が角度にして１２０度を中心に
符号化されることを意味する。ステップＳ３５で等しく
ないときはステップＳ３６でレジスタＭとレジスタＧの
内容が等しいか否かを判別する０等しければ緑色の成分
を多く含むのでステップＳ３９に進み、色相レジスタＨ
ｒに（４＋　（Ｂ−Ｒ）／　（Ｍ−ｍ））の計算結果を
格納する。同じく定数“４”は緑７色の成分を多く含む
色相が角度にして１２４０度を中心に符号化されること
を意味する。ステップｓ３６で等しくないときは青色の
成分を多く含むのでステップ５３８に進み、色相レジス
タＨｒに（（Ｒ−ｃ）　／　（Ｍ−ｍ）　）の計算結果
を格納する。緑色の成分を多く含む色相は角度にして０
度を中心に符号化されることを意味する。ステップＳ４
０では色相レジスタＨｒの内容に角度６０度を掛けて符
号化する。この場合に３６０進法を使用する。以上によ
り、３原色ＲＧＢデータから色相Ｈのみを抽象して結果
をＨ３Ｖ画像画像６２の色相−画像画像Ｈに格納する。

これは被写体領内の共通性をよく示すもう一つの判断材
料である。

尚、本実施例では彩度Ｓについては使用していない。

第２図は被写体画像の切出し処理を示すフローチャート
である。ステップＳ１ではオリジナルＲＧＢ画像データ
を入力し、画像メモリ６の領域６１にストアする。ステ
ップＳ２では前述した第３図の処理によってＲＧＢ画像
データを夫々色相画像Ｈ１彩度画像Ｓ、明度画像Ｖに変
換し、画像メモリ６の領域６２にストアする。カラー画
像の場合は、被写体画像の弁別はＲＧＢ画像データその
もので扱うよりも色相Ｈや明度Ｖのみを夫々抽象して扱
った方が有利である。ＲＧＢデータそのままでは色相同
一でも明度による影響を受けるし、また明度同二でも色
相による影響を受けるからである。実施例ではＲＧＢの
各８ビツトデータをＨ５ｖの各８ビツトデータに変換し
、ステップＳ３で色相画像Ｈと明度画像Ｖをカラーモニ
タ４に表示する。

ステップＳ４では色相画像データと明度画像データにつ
いて夫々微分フィルターをかけて、色相及び明度のエツ
ジ画像を抽出し、各エツジ画像をカラーモニタ４に表示
する。

第４図は実施例の微分オペレータとの関係において色相
画像または明度画像の画素配列を示す図である。第４図
において、色相画像または明度画像の各画素Ａ〜工は一
例の３×３の微分フィルターに対応し、例えば次式によ
ってエツジ成分Ｅが計算される。

Ｅ冨（（Ａ＋Ｂ＋Ｃ−Ｇ−Ｈ−Ｉ）　２÷（Ａ＋Ｄ＋Ｇ
−Ｃ−Ｆ−Ｉ）’　）　’／２ステップＳ５では、オペ
レータがモニタ４を見て、被写体画像のエツジ部分が色
相エツジ画像によく現われているか、または明度エツジ
画像によく現われているか、または双方のエツジ画像共
によく又は分散して現われているかを判断し、後の抽出
処理に使用するエツジ画像を決定する。

ステップＳ６では、選択したエツジ画像について、被写
体画像を囲むようなエツジ線上の数点を指定する。この
指定方法は例えばエツジ線上の数点をディスプレイ上で
ライトベン等で指示する。

ステップＳ７では指定したエツジ線上の数点の画素デー
タを参照し、当該エツジ画像の２値化処理を行う、この
２値化のために使用する初期閾値の幅は前記指定された
エツジ線上の数点の画素データの最小値と最大値の範囲
とされ、この範囲内に含まれるエツジ画素データは論理
“１”に２値化し、それ以外のエツジ画素データは論理
“０”に２値化する。

第９図（ａ）、（ｂ）は指定した数点について各画素の
エツジ強度を集計したヒストグラムの図である。例えば
このヒストグラムが第９図（ａ）又は（ｂ）のように分
布しているとすれば、これに対応する初期閾値幅はＣＰ
Ｕ２によってＩＴＨに自動設定される。しかし、この初
期閾値幅ＩＴＨで行なった被写体画像抽出の最終結果が
満足するものでないと台は、ステップＳ１２のオペレー
タ操作により、例えば第９図（ａ）のように閾値幅をＷ
ＴＨに広めたり、または第９図（ｂ）のように閾値幅を
ＮＴＨにせばめたりする。こうして、被写体画像抽出の
ための最適エツジ線２値化処理を達成することになる。

またステップＳｌｌのオペレータの判断により点の指定
をし直すことも可能である。ステップＳ６におけるエツ
ジ上の数点の指定は、エツジの濃い部分又は薄い部分に
かたよれば２値化エツジ線幅が細くなり、と切れを生じ
る場合がある。従って、オペレータはエツジ線上の濃い
部分と薄い部分を指定すればよい。

即ち、被写体゛画像を囲むように適当な間隔で機械的に
まんべんなく指定すればよい。

ステップＳ８では孤立点除去処理を行う。ステップＳ７
の処理で２値化された画像は多くのノイズを含んでおり
、これを取り除くために孤立点の除去処理が必要となる
。

第５図は孤立点除去を自動化する目的で設けたＮＸＭ画
素の孤立点除去ウィンドウの図である。

尚、図はＮＸＮの場合を示している。例えば、図のよう
な矩形ウィンドウの外周２２に対応する４ｘ（Ｎ−１）
個の画素データを見て、その全ての値をたし合わせた場
合に、和の値が“Ｏ″になるときは、この外周２２の全
画素で囲まれた内側の（（Ｎ−２）Ｘ　（Ｎ−２））個
の画像にある画素クラスタが孤立していると判断し、そ
の画素クラスタを除去する。

第６図（ａ）〜（ｅ）は孤立点除去ウィンドウのサイズ
の決定処理を説明する図である。第６図（ａ）は最終的
に被写体画像３１を囲むようなエツジ線３２を想定した
ものである。ＣＰＵ２はその前に、第６図（ｂ）に示す
各指定点３３の間を直線で結ぶような線分を想定し、そ
の中で最短長を有する線分Ａを検出する。これにより、
ＣＰＵ２は第６図（ｃ）のように線分Ａを孤立点除去ウ
ィンドウの外周２２の略半径とするようなサイズに初期
設定する。ＣＰＵ２はこの孤立点除去ウィンドウで全画
面を走査し、孤立点を除去する。しかし、こうして孤立
点を除去したことにより、被写体画像のエツジ線の一部
が失なわれる場合もある。この場合もステップＳ１２で
オペレータ操作が介入し、例えば第６図（ｄ）のように
して孤立点除去ウィンドウ外周２２のサイズをせばめた
り、または第６図（ｅ）のようにして孤立点除去ウィン
ドウ外周２２のサイズを広めたりして、調整できる。

ステップＳ９では被写体画像を囲むエツジ線追跡を行い
、被写体画像を囲むように２値化エツジ線を結ぶ。

第７図はｎｘｍ画素の追跡ウィンドウ３ｏにより２値化
エツジ線を結ぶ処理を説明する図である。ＣＰＵ２は追
跡ウィンドウ３ｏを用い、例えば第１番目に指定された
エツジ線３２上の点３３１からスタートし、第２番目に
指定されたエツジ３２上の点３３２に向けたベクトル３
４を想定し、該ベクトル３４の方向を目安にして、実際
の２値化エツジ線３２を追跡してゆく、追跡ウィンドウ
３０のサイズが適当であれば、エツジ線３２をはさむ両
、サイドに常にエツジ線３２でない画像を含むことがで
き、追跡ウィンドウ３０は両サイドの非エツジ画素量が
等しくなるようにして実際の２値化エツジ線３２上を進
む。こうして追跡ウィンドウ３０の中心が点３３２に向
けて移動すると、その中心点の移動軌跡をもって被写体
画像を囲むエツジ線となすことができる。また中心点の
微細な変動は例えばベクトル３４の方向を加味してなめ
らかにすることも可能である。

ステップＳ１０ではオペレータがエツジ抽出の良否を判
断する１例えばオリジナル画像とステップＳ９で得たエ
ツジ線画像をオーバレイ表示して評価する。よければこ
の被写体画像をエツジ線に沿うて切り出し、ファイリン
グする。また満足いかなければステップＳｉｔに進み、
エツジポイントの指定をやり直すか、パラメータの変更
をするかの判断をオペレータにあおぐ。エツジポイント
の指定をやり直すときはステップＳ６に戻る。また、そ
うでないときはステップＳ１２に進み、必要に応じて２
値化処理の閾値幅、孤立点除去ウィンドウ外周２２のサ
イズ、追跡ウィンドウ３０のサイズ等のパラメータを変
更してステップＳ７に戻る。

第８図（ａ）〜（ｃ）はステップＳ１２におけるパラメ
ータ変更の一態様を示す図である。

２値化処理と孤立点除去処理をした結果、第８図（ｂ）
のように２値化エツジ線が途中で不連続となり、それ故
に最終抽出画像のエツジ線がスムーズに結べていないと
オペレータが判断した場合は、オペレータが２値化エツ
ジを太らすための命令をする。これにより、ＣＰＵ２は
２値化処理の閾値幅を広げ、エツジ線を太らせる。また
ＣＰＵ２は同時に孤立点除去ウィンドウのサイズを小さ
くして除去される孤立点のサイズを小さくする。

これにより第８図（ａ）のように２値化エツジ線が連続
することが期待される。逆に第８図（Ｃ）のように２値
化エツジ線が太すぎた場合はオペレータがエツジ線を細
くする命令をする。これにより、ＣＰＵ２は閾値幅をせ
ばめ、孤立点除去ウィンドウのサイズを大きくする０以
上のような、オペレータの比較的簡単な操作の介入によ
り満足のゆく２値化エツジ線の抽出が得られる。

尚、上述した被写体画像の切出技術は、その前提となっ
ている画像のエツジ抽出の分野にも応用できる。

また、上述したエツジ追跡処理はりモートセンシングに
おける川、道路の追跡等にも応用できる。

つまり、画像処理におけるエツジ抽出、エツジ追跡の分
野であれば応用可能である。

［発明の効果］ 以上述べた如く本発明によれば、オペレータの簡単な指
示で、被写体画像の輪郭線を電子計算機が自動的かつ高
精度に切り出すことができるので、従来、熟練者のみが
行えた背景画像除去等の写真画像処理が誰にでも行える
ようになり、コスト低減効果もある。

また、本発明による画像切出し機能は、他の画像の拡大
、縮小等の操作機能、編集機能と合せることにより、電
子計算機による文書画像処理の有効性を高める効果があ
る。

【図面の簡単な説明】

第１図は実施例の画像処理装置のブロック構成図、 第２図は被写体画像の切出し処理を示すフローチャート
、 第３図は色相及び明度の計算処理を示すフローチャート
、 第４図は微分オペレータとの関係において色相画像また
は明度画像の画素配列を示す図、第５図は孤立点除去を
自動化する目的で設けたｎＸｍ画素の孤立点除去ウィン
ドウの図、第６図（ａ）〜（ｅ）は孤立点除去ウィンド
ウのサイズの決定処理を説明する図、 第７図はｎＸｍ画素の追跡ウィンドウによりエツジ線を
結ぶ処理を説明する図、 第８図（ａ）〜（Ｃ）はパラメータ変更の一態様を示す
図、 第９図（ａ）、（ｂ）は指定した数点について各画素の
エツジ強度を集計したヒストグラムの図である。 図中、１・・・画像入力装置、２・・・セントラルブロ
セツシングユニット（ＣＰＵ）、３・・・主メモリ、４
・・・カラーモニタ、５・・・座標入力装置、６・・・
画像メモリ、フ・・・画像出力装置、８・・・共通バス
である。 特許出願人　　キャノン株式会社 第３図 第４図 第５ｖＡ 第６１１ （ａ　）　　　　　　　　　　　　（ｄ　）（ｂ） 第８図 （Ｃ） ルー−ＷＴＨ−’ （ｂ）

Claims (2)

【特許請求の範囲】
1. （１）入力画像中の特定画像を抽出する画像処理装置に
   おいて、入力画像データにフィルタ処理を施してエッジ
   画像を形成するエッジ画像形成手段と、前記エッジ画像
   のエッジ線上において１又は２以上の点を指定する指定
   手段と、前記指定した点のエッジ画素情報に基づいて所
   定閾値幅を決定し、該閾値幅に含まれる前記エッジ画像
   のエッジ画素を抽出する画像抽出手段を備えることを特
   徴とする画像処理装置。
2. （２）エッジ画像形成手段はカラー入力画像データを色
   相データ又は明度データに変換して後、前記色相データ
   又は明度データにフィルタ処理を施すことを特徴とする
   特許請求の範囲第１項記載の画像処理装置。