JPH0392978A - 画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、デジタルで表現された写真やビデオ画像など
の画像中の任意の対象の境界を検出する画像処理装置に
関し、検出した対象の境界の情報に基づいて、その対象
の輪郭画像を得たり、対象のマスク画像を求めて対象の
切り抜き、変形、色の修正●変更などの種々の画像処理
に利用することのできるものである。

（従来の技術） デジタルで表現された写真やビデオ画像などから、その
画像の一部である対象物を切り出す操作は、画像編集な
どを行う際に頻繁に用いられる重要なものである。

従来の方式としては、対象部分を拡大表示して直線●曲
線などで周囲をなぞって切り出すものがある。しかしこ
の方式では大きな対象物や複雑な対象物を切り出す場合
などでは、非常に手間がかかる。

そこで、この手間を削減する方法として対象中に存在す
る色の範囲を指定するもの（例えば、特開昭６２−１９
８９６８号公報参照）、微分処理などによってエッジ抽
出を行うもの（例えば、特開昭８２−２１９１７９号公
報参照）などが提案されている。

（発明が解決しようとする課題） しかし、前者の方式は、ほぼ均一な色で構成された対象
などには有効であるが、その内部に光の反射やテクスチ
ャなどによる色の変化が存在する一般の対象には適用で
きない。

また、後者の方法では、抽出されたエッジが閉ｌｌｈｇ
Ａにならないことが多く、またノイズやテクスチャも抽
出してしまうために非常に困難な後処理が必要である。

本発明は、このような従来技術の欠点を解決し、光の反
射、テクスチャ、ノイズなどの存在する一般的な画像か
ら任意に指定した対象の画像の境界を簡単かつ迅速に検
出することのできる画像処理装置を提供することを目的
とするものである。

（課題を解決するための手段） 本発明の画像処理装置は、第１図に示すよう１こ、オペ
レータが指示した領域を複数の部分領域に分割する領域
分割手段１と、分割された各部分領域内部の画素群を複
数のクラスタに分類する画素分類手段２と、各部分領域
内部のクラスタ境界を抽出するクラスタ境界抽出手段３
と、抽出されたｌつ以上のクラスタ境界から条件にあっ
た１つの境界線を選択する境界線選択手段４と、選択さ
れた境界線を接続する線接続処理手段５とを育するもの
である。

（作　用） 本発明は、第３図（ａ）に示すような処理対象の画像に
オペレータが第３図（ｂ）に示すように対象の境界部分
の領＠（以下、これを指示領域と称す）を入刀する。こ
の指示領域を、領域分割手段１を用いて部分領域に分割
し、この各部分領域毎に画素分類手段２を用いてクラス
タリングを行って画素を分類し、この分類された各クラ
スクの境界をクラスタ境界検出手段３により検出し、検
出したクラスタ境界の中から境界線選択手段４を用いて
１つの境界線を選択することで各部分領域毎に１つずつ
の境界線を得、線接続処理手段５によりこの部分領域毎
の境界線を接続して全体的な境界線線を作成する。得ら
れた境界線は指示した対象の境界を表すものである。

本発明によれば、光の反射、テクスチャ、ノイズなどの
存在する一般的な画像から任意に指定した対象の画像の
境界を簡単かつ迅速に検出することができる。従って、
その検出した境界をもとにして、対象画像またはその背
景画像のマスクを生成して画像の抽出、合成、編集を行
うなど、画像処理に有用である。

（実施例） 以下、本発明を画像切り抜き装置に適用した実施例につ
いて図面を参照して説閘する。

第２図は本発明の一実施例の構成を示すもので、装置全
体の制御を行う制御部２１と、画像や領域情報などを記
憶する記憶部２２と、画像や入力情報などを表示する表
示部２３と、オペレータの指示を人力する入力部２４と
、境界検出部２５と、境界検出部２５で検出された境界
線の情報を用いて画像の切り抜き処理を行う画像演算部
２６とからなっている。そして本発明の特徴とする境界
検出部２５はオペレータが指示した領域を複数の部分Ｍ
＠に分割する領域分割部２５１、分割された各部分領域
内部の画素群を複数のクラスタに分類する画素分類部２
５２、各部分領域内部のクラスタ境界を抽出するクラス
タ境界抽出部２５３、抽出された１つ以上のクラスタ境
界から条件にあった１つの境界線を選択する境界線選択
部２５４、選択された境界線を接続して閉曲線を作成す
る線接続処理部２５５を備えている。

以下、第４図のフローチャートに従って実施例の動作を
説明する。

ＣＩＥ　　表示部２３に対象画像３１を表示する。

この時点での表示画像を第３図（ａ）に示す。

［２コ　オペレータが入力部２４を用いて、対象３２の
周囲を境界を含む幅の閉曲線で囲んで指示領域３３を指
定する。この時点での表示画像を第３図（ｂ）に示す。

［３］　領域分割部２５１により、指示領域３３を分割
する。この分割は、分割された各部分領域内に、指示領
域の最も内側に位置する画素群の一部と最も外側に位置
する画素詳の一部が含まれろ上ろｌ７奸＾−　７の上ろ
ナｒｑ宣１１ル将＾雪・出ハー副のフローチャートを第
５図に、この一例による領域分割結果を第７図（ａ）に
示す。なお、第７図（ｂ）の斜線部は部分領域を含んだ
矩形部分５２を示しており、それ以外の矩形部分５３の
情報は以降用いられない。第５図に示す分割を行う方法
については後述する。

［４］　分割された各部分領域毎に、画素分類部２５２
を用いて画素をクラスタリングする。このクラスタリン
グの方法はクラスタ数が予め指定できる方法であればよ
く、例えば、総研出版社刊，田村秀行監修「コンピュー
タ画像処理入門Ｊ　　（１５９頁）記載の既知の方法な
どを用いる。クラスタ数ｎの初期値は２に設定するが、
手順［６］で述べるように手順［８］から処理が戻った
場合はｎは３以上となる。なお、クラスタリングに用い
られる画素の特徴としては、色座標値や微分値など様々
なものが使用可能であり、その数に制限はない。

［５］　クラスタ境界抽出部２５３を用いて、分類され
たクラスタの境界線を抽出する。各クラスタに含まれる
画素は撃がっているとは限らないため複数の境界全てを
抽出する。なお、クラスタ数ｎが３以上の場合は、第８
ｒＩＩＪに示すようにｎ個のクラスタを２つのグループ
に分けてグループ間の境界を求めるという処理を、可能
なクラスタの組合わせ全てに対して行う。

［６］　境界選択部２５４を用いて、手順［５］で抽出
されたクラスタ境界をふる〜）にかける。選択には、一
例として以下のような条件を用いる。

■　部分領域に分割された際の一方の分割線上に始点が
あり、もう一方の分割線上に終点があるもののみ残し、
他は破棄する。（第８図参照）■　土記■の条件を満た
した境界のうち、境界の両側の画素の間の特徴量の差を
合計した値を、境界線の長さで割った値が一番大きい境
界のみ残す。

Ｕお、上記■の条件により、抽出された全ての境界が破
棄された場合は、クラスタ数ｎを＋１して手順［４コに
戻る。

手順［４コ〜［６］で述べた処理を全ての部分領域に対
して行い、各部分領域から１つずつの境界線を得る。

［７］　線接続処理部２５５を用いて、各部分領域で得
られた境界線を接続した閉曲線を得る。

［８］　画像演算部２６を用い、入力部２３からのオペ
レータの指示により閉曲線の内部または外部を塗りつぶ
して切り抜きマスクを作成し、この切り抜きマスクと原
画像間の演算により所望対象画像部分の切り抜きを行う
。

なお、ここで前記手順［３］の部分領域の分割の方法の
一例について第５図（ａ）〜（ｂ）を参照して説明する
。

■　指示領域を囲む矩形を収納できる（ＳＩＺＥＸ＋２
）Ｘ　（Ｓ　Ｉ　ＺＥＹ＋２）の大きさの配列ＤＡＴＡ
を用意し、第６図に示すように指示領域を０１指示領域
の内側を−１、指示領域の外側を＋Ｉと設定したデータ
を入力する（■）。なお、上記ＳＩＺＥＸは指示領域を
囲む矩形のＸ方向（横方向）の長さを表し、ＳＩＺＥＹ
はＹ方向（縦方向）の長さを表す。

■　スタック１に、指示領域を囲む矩形の２頂点の座標
、即ち、矩形の左上の座標（１．１）と右下の座標（Ｓ
　Ｉ　ＺＥＸ＋２，Ｓ　Ｉ　ＺＥＹ＋２）、および分割
方向を表すフラグデータを格納する（■）。

次に、スタックｌが空であるか否かを調べることにより
、さらに分割する必要があるか否かを判定する（■）。

空でないときは分割を行うための手順（■〜［相］）を
実行し、空のときは分割済の各分割領域中に指示領域の
画素を含まない分割領域を除去するための手順（■〜■
）を実行する。

即ち、スタック１が空でなかった場合には、分割処理を
する。そのために、スタック１から矩形の頂点と分割方
向を表すデータを取り出す（■）。

次ニ、スタック中の分割方向が縦か横かによって走査（
スキャン）方向および位置を決定し、走査を行−５　（
■〜Ｏ）。

分割方向が縦のときは、走査方向を（分割しようとして
いる矩形の横幅）／２＋　１列目に設定し、縦方向に走
査する（［相］）。また、分割方向が横のときは、走査
方置を（分割しようとしている矩形の縦幅）／２＋　１
行目に設定し、横方向に走査する（■）。ただし、１は
走査をずらして分割位置を捜すために必要なもので、矩
形の横幅（分割方向が横のときは縦輻）の２分の１の位
置にある縦線（分割方向が横のときは横線）からの走査
位置をずらす量を表すものである。最初は分割を試す矩
形の１／２の位置から走査を始めるために、ｌ＝０とす
る。

上記走査位置を走査してデータを読み出しながら、デー
タの変化を調べて分割可能な条件を備えて〜）るかどう
かを判定する（＠〜■）。

その判定は、具体的には、 ａ）　走査の始点と終点の値を調べ（＠〜■）、これの
どちらかがＯの場合には分割不可能と判定し、分割を試
す位置を移動する（＠〜＠）。

ｂ）　０（またはＯ群）の前後で符号が反転しているか
どうかをチェックする（■）。もし走査順に１→Ｏ→１
あるいは−１→Ｏ→−１のようなパターンが含まれる場
合には、分割不可能と判定して分割を試す位置を移動す
る（［相］〜［相］）。

Ｃ〉　土記ａ），ｂ）以外の場合、即ち走査の始点と終
点の値がいずれもＯでなく、全てのＯ（または０群）の
前後で符号が反転している場合、あるいはＯがなく全て
１または−１である場合は、分割の条件を満たしている
と判定する（＠〜■）。

このようにして、分割可能かを調べる。上記．ａ）ｂ）
の場合、分割不可能であるので分割を試す位置をずらす
。そのずらし方は１画素ずつ両端に向かってずらして行
き（［相］〜＠ｌ）、もし端まで行っても分割できない
場合は、この矩形は分割不可能と判断して（［相］）、
部分領域データ格納用のスタック２にその矩形の頂点の
データを格納する（＠）。

上記ａ），ｂ）以外の場合には、分割できる場所が見つ
かった場合に相当するので、そこで分割した２つの矩形
それぞれの頂点のデータと、次の分割方向を示すフラグ
のデータ計１０個のデータをスタックｌに格納する（旧
。

そして、スタック１のデータがなくなるまで、分割され
た矩形のデータを取り出して、さらに分割を続ける。た
だし、分割の方向は、前回の分割方向が縦ならば次は横
に、よこならば縦になるように設定する。

手順■において、スタック１が空であることを検出した
ときは前述のように分割済の各分割領域中に指示領域の
画素を含む分割領域を残し、含まない分割領域を除去す
るための手順（■〜■）を実行する。

即ち、スタック２から分割された矩形の頂点のデータを
取り出す（■）。その頂点データによって指示される矩
形の配列ＤＡＴＡの内容を取り出し、矩形内に指示領域
画素が含まれるかを調べる（■）。その結果、含まれて
いれば、その矩形の頂点データを、指示領域を含む分割
矩形としてスタック３に格納する（■）。矩形内に指示
領域画素が含まれていなかったときは、スタック３には
登録しなｌ，）ことにより、処理の対象から除去する。

以上の手順■〜■をスタック２が空になるまで実行する
（■）。第７図（ａ）はこのような処理により得られる
分割可能な線の例を示す図であり、同図（ｂ）は指示領
域を含む分割矩形を示す図である。

以上に説明した本実施例によれば、光の反射、テクスチ
ャ、ノイズなどの存在する一般的な画像から任意に指定
した対象の画像の境界を簡単かつ迅速に検出することが
でき、また、その検出した境界をもとにして、対象画像
またはその背景画像のマスクを生成して画像の切り抜き
を容易に行うことができる。

上記実施例では、各部分領域中の情報のみから一本の境
界を選択したが、以下の例のように他の部分領域の情報
も用いて選択する方法も可能である。

［６．１１　　実施例の手順［６コ記載の境界選択を条
件■のみで行い、残ったクラスタ境界の情報を一旦記憶
部２２に格納する。また実施例と同様に、■の条件によ
り抽出された全ての境界が破棄された場合は、クラスタ
数ｎを＋１して手順［４］に戻る。

上記の処理を全ての部分領域に対して行い、各部分領域
から少なくとも１つ以上のクラスタ境界を得る。

［６．２コ　ある閉曲線を構成するクラスタ境界の組合
わせを考え、これらを接続する際の端点間の距離の和を
Ｅｄ，境界の両側の画素の間の特徴量の差を合計した値
を境界の長さで割った値の和をＥｖとする。この時に、
下式のＥをなるべく小さくする組合わせを見つけ、その
境界を選択する。

Ｅ　＝　ｐＸ　Ｅ　ｄ　＋　ｑ　Ｘ　Ｅ　ｖ　　　（　
ｐ，　ｑ　ｉｔ　定数）この組合わせは、例えば全探索
や弛緩法などを用いて見つけられる。

（発明の効果） 以上のように本発明によれば、従来難しかった色の変化
やテクスチャなどの存在する一般的な画像中の任意の対
象の境界を簡単な操作により迅速に検出することができ
る。従って、検出した対象の境界から輪郭線やマスク画
像を作成することにより対象画像の切り抜き、修正など
種々の画像処理を容易に行うことができるようになる。

【図面の簡単な説明】

第１図は本発明の基本的構成を示すブロック図である。 第２図は本発明の一実施例のブロック構成図である。 第３図（ａ）および（ｂ）は本発明の一実施例での表示
画像の例を示す図である。 第４図は本発明の一実施例の動作を示すフローチャート
である。 第５図（ａ）および（ｂ）は本発明の一実施例での指示
領域の分割領域の分割方法を示すフローチャートである
。 第６図は指示領域を分割するために指示領域とその指示
領域の内側および外側とにラベルを付した例を示す図で
ある。 第７図（ａ）および（ｂ）は本発明の一実施例での指示
領域の分割を示す図である。 第８図は本発明の一実施例でのクラスタ境界抽出●選択
の説明図である。 １・・・領域分割手段、２・・・画素分類手段、３・・
・クラスク境界抽出手段、 ４・・・境界線選択手 段、 ５・・・線接続処理手段。

Claims (1)

1. 【特許請求の範囲】 オペレータが指示した領域を複数の部分領域に分割する
   領域分割手段と、 分割された各部分領域内部の画素群を複数のクラスタに
   分類する画素分類手段と、 各部分領域内部のクラスタ境界を抽出するクラスタ境界
   抽出手段と、 抽出された１つ以上のクラスタ境界から条件にあった１
   つの境界線を選択する境界線選択手段と、選択された境
   界線を接続する線接続処理手段とを有することを特徴と
   する画像処理装置。