JPH03218581A - 画像セグメンテーション方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、デザインシミュレーション等に必要な、画像
中から特定の部位を切り出す画像セグメンテーション方
法及びその装置に関する。

［従来の技術コ 店頭におけるプレゼンテーションシステム等，画像の豊
な表呪力をもちいたシステムの研究，開発が盛んである
。この画像情報を更に有効に利用するため、背景合成、
物体色変更等のイメージシミュレーションが、家電製品
等のデザインシミュレーションに広く用いられている。

これらイメージシミュレーションを行うためには、画像
中から特定の対象物を切り出しておく必要があり、これ
を画像セグメンテーション技術という。例えば、街で撮
影した車の画像から車の部分だけ分離することが、画像
セグメンテーション技術であり、これを郊外の風景に埋
め込むのがイメージシミュレーションである。

この画像セグメンテーション技術は大きく二つに分けら
れる。第一の方法は色情報を用いるものであり、例えば
、Ｏ　　ｐｌｕｓＥ　　１９８９年１月号第１３１頁か
ら第１４２頁に「フリカラーイメージプロセッサＳＨＡ
ＩＰとその応用」と題して記載されている。これらの方
法は，例えば赤い車を背景から分離する際には、画像中
の各画素の色が、ある範囲の赤い色に入るかどうかの判
定を行行い、その結果で切り出す対象であるかどうかの
識別を行うものである。具体的には、ｊ行ｊ列画素のＲ
ＧＢ各成分の値をｒ（ｉ，ｊＬｇ（ｉｔ　ｊＬｂ（ｉ，
ｊ）としたとき、それぞれの成分での最小最大のしきい
値Σｒａｉｎ　，Σｒｍａｘ，Σｇａｉｎ　，Σｇｍａ
ｘ，Σｂｍｉｎ　，Σｂｍａｘ　，としたとき、次の範
囲を切り出す。

Σｒｗ＋ｉｎ＜　　ｒ　（ｉ　　ｔ　　ｊ　　）＜Σｒ
ｍａｘかつ　Σｇａｉｎ＜　ｇ　（ｉ　ｔ　ｊ　）＜Σ
ｇｍａｘかつ　Σｂｍｉｎ＜　ｂ　（　ｉ　＋　ｊ　）
＜Σｂｍａｘ最も一般的な色情報を用いたセグメンテー
ション方法であり、上記公知例でふれたＳＨＡＩＰなど
各社で採用されている。

ここで識別処理というのは、画像全体あるいは一部の領
域の中の各画素が識別のための条件（この場合は、（２
）の条件）を満たすかどうかの判定をすることである。

この条件を満たすと判定された画素の集合よりなる領域
（これをマスクという）は、画像中の他の領域と分離す
へき領域と一致しているのが最善であるが、識別処理の
能力により、必ずしも一致しない。

この処理で、Ｒ　１ｎ等を決定するため、赤、緑青のそ
れぞれの色について別々にヒストグラム；．作成して表
示することもある。

ここで、ヒストグラムとは、画像全体あるい番・一部の
領域の中の画素の赤、緑、青の値の分布｛示すものであ
り、赤、緑、青の各成分に関し、→の値と、その値を持
つ画素の個数に関した情報委示すものである。また、上
述した赤い車の例で番；背景中に赤いポストなどがある
と、これも切り８されてしまうので、処理範囲を実空間
（ｉ−ｊｆｉ間）で限定することによって処理している
。

この技術の特殊なものとしてクロマキー技術力ある。ク
ロマキー技術では、人物等の切り出したい対象を、決ま
った色（緑など）の背景板の前番コ配置させて画像を撮
影する点に特徴がある。こＣ画像から、上述の決まった
色以外の部分を切り仕し対象とすると切り出しが行える
。

第２の方法は画像のエッジの情報、すなわち、画像中の
画素の値（色、明度など）の変化する部分の情報を用い
るものである。これらの方法は、画像中のシーンの理解
や認識のため研究されてきたものであるが、これについ
ては、Ｋ．　Ｈ．Ｂａｌｌａｒｄ，　Ｃ．　Ｂ．　Ｂｒ
ｏｗｎ著Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，Ｐｒｅｒ＋
ｔｉｃｅ−Ｈａｌｌ，　Ｉｎｃ．刊（１９８２）第４章
Ｂｏｕｎｄａｒｙ　Ｄｅｔｅｃｔｉｏｎに述べられてい
る。基本的には、画像中の隣接する画素間の色や画像濃
度の差の大きい所をエッジとして求め、これをつなぐこ
とにより輪郭を求める。ニツジを求めるために用いられ
るのは次のようなものである。

白黒濃淡画像の場合、ｌｖＪ画像をａ（１＋ｊ）で表す
。ｉ方向が横方向に，ｊ方向が縦方向に対応する。

（１）一次微分 横方向：　ａ（ｉ＋１，ｊ）−ａ（ｉｌｊＬ縦方向：　
ａ　（１’＊Ｊ　＋ｌ）　　ａ　（ｌ　ＩＪＬなど （２）２次微分： 横方向：　ａ（ｉ＋１，，））　　２ａ（ｌｅｊ）＋（
ａ（ｘ　　　１＋Ｊ）＊ 縦方向：　ａ（ｉ，ｊ＋１）　−２ａ（ｉ，ｊ）＋　ａ
（ｘ　ｖ　　ｊ　　ＩＬａ（ｉ　＋　ＩＩＪ）十ａ（ｉ
−１，ｊ）＋ａ（ｉ，ｊ＋１）＋ａ（ｘｔｊ１）　　４
　ａ（ｌｔｊ）など （３）ゼロクロッシング ２次微分が正から負へ、あるいは、負から正八変化する
点。位置以外に強度の情報を用いる場合には、その変化
の度合いく３次微分に相当する）を用いる。

上記（二つの方法では、１画素あたり１６７０万色のフ
ルカラー画像や１画像あたり２５６階調の白黒濃淡画像
を主な対象としたものである。これらの他、１画素あた
り２階調の２｛１ｉ画像のような単純なものについては
各種の処理が可能である。

例えば、白い背景の中に黒で書かれた対象が他の画像バ
タンと重畳しないである場合、対象の境界部分を指定す
ると、境界を順に追跡して切り出すものがある。

また，これまで述べてきた方法のように画像処理技術で
切り出すのではなく、マウス等の外部入力装置により直
接的に対象の輪郭の座標を入力する方法もある。即ち、
マウスの操作と位置を同期して画面上にカーソルを表示
しカーソルを切り出し対象の輪郭に沿うように操作して
、その軌跡をもって輪郭とするものである。

その他，上記第２の方法に関連する最近の研究としては
，ダイナミックモデルを用いたＳＮＡＫＥと名付けられ
たシステムがあり、Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｆ
ｉｒｓｔ　ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅ
ｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ（１９
８７），　ＩＥＥＥＣｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ
　Ｐｒｅｓｓの第２５９頁から第２６８頁に記載されて
いる。

［発明が解決しようとする課題］ しかしながら，上記した従来技術のうち、第１の色情報
を用いるものは、ＲＧＢ空間内で，切り出したい対象領
域の分布が弧立していて，直方体でかつ良好に識別でき
る場合に有効であって，色調が場所に依存して微妙に変
化するような画像中では、単一の識別の基準を全画面に
適用することは難しいという問題があった。

また，赤、緑、青に対して別々のヒストグラムを用いて
も，画像中の色分布を十分把握できず，従って識別のた
めのしきい値の設定が的確に行おれないため、良好な画
像セグメンテーションができないという問題があった。

本発明は、この問題点を解決するためになされたもので
ある。

本発明の第１の目的は、画像中の色の分布がより複雑で
あったり、また場所により微妙に変化しているような場
合でも、画像中から特定の部位を切り出すことができる
画像セグメンテーション方法及びその装置を提供するこ
とにある。

また、上記従来技術のうち、第一の方法である色情報を
用いるものは，切り出される対象の色が一様でその他の
部分と異なる色分布をしている場合以外には適用できな
いというもうーっの問題点があった。

また，上記従来技術のうち第二の方法であるエッジ情報
を用いるものは、画像中のノイズなどのため、対象のエ
ッジ以外にもた多数のエッジが現れるため、また、逆に
対象の輪郭となるべき位置でもエッジがとぎれることが
あるため、これらを取捨選択して、対象のエッジだけを
つなぎあわせるのは難しい。これらは、工場のライン中
などの限定された環境の中だけで成立したり、多大な計
算時間を要するものがほとんどである。

また、３番目に述べた２値画像の方法は，２値画像数や
階調数の少ない多値画像以外に適用するのは困難である
。特に背景が一様な階調でない場合には全く適用できな
い。

最後に述べた外部入力装置から直接輪郭位置を指定する
方法は、輪郭位置を正確に指定する作業量が大であると
いう点問題があった。

本発明の第２の目的は、フルカラー画像中の異なる色が
混在する対象物や白黒濃淡画像にも適用できる処理時間
が小さくかつ作業量の小さい画像セグメンテーション方
法及びその装置を提供することにある。

［課題を解決するための手段］ 上記第１の目的を達成するために、処理領域を重複を許
す複数個の小領域に分解し、それぞれの小領域に対して
、切り出す部分の画素と不要な部分の画素を一個あるい
は複数個指定し、それぞれの画素の色情報から特徴量空
間における代表点と参照点を決定し、該代表点と該参照
点を結ぶ線分に直交する平面または曲面を識別面として
識別処理を行っている。

そして，上記小領域間の重複部分については、それらの
間の領域を統合，排除する論理演算を行うことにより切
り出し部分を生成していく。

また，該識別面は、該線分をｔ対１−ｔに内分する平面
であり、ｔの値として、ヒストグラムの極小部に対応す
る位置に上記識別面が位置するような値を選ぶ。

更に，上記識別処理における代表点と参照点が複数個あ
る場合、ある代表点に関しては、複数の参照点との識別
結果の論理積をとり、その結果をそれぞれの代表点に関
し論理和をとることにより識別処理を行っている。

平面の位置を直接入力する平面位置入力装置を備えてお
り、該装置は、該平面に設けられた複数個のパルス発信
源と，該発信源から発信されるパルスを受信する複数個
の受信器とから構成され、発信から受信までの時間を計
測することにより、該平面の位置を計測している。

上記第２の目的を達成するために、画像中に存在する切
り出し対象の構造に関する先験的，かつ、節点とそれを
つなぐ曲線よりなる線画で表現された３次元構造を任意
の方向から２次元に投影したところの変形及び変更可能
な形状モデルがある場合には、この形状モデルと画像中
の対象の輪郭上の節点などを位置的に粗く関連付け，そ
れに従い画像を各曲線ごとにある幅を持つ帯状画像に再
編成した後，この再編成画像上でのエッジ情報に基づい
た画像処理をすることにより対象の輪郭、構造の詳細を
求めることにより達成される。

上記形状モデルがない場合には、画像中に存在する切り
出し対象の輪郭付近の位置座標を入力装置より入力し、
これら点列にそって、ある幅の帯状の画像領域を抽出し
、これを矩形の画像に再編成し、この再編成画像上での
エッジ情報に基づいた画像処理をすることにより対象の
輪郭，構造の詳細を求めることにより達成される． ［作用コ 上記第１の目的を達成するための手段では画像を入力、
表示してから，処理領域を指定し、この処理領域に対し
て識別処理を行う。この識別処理は、画面上で、マスク
として切り出したい部分をビックすることにより、代表
点のＲＧＢ成分を入力し、またマスクでないは不要の部
分をピックすることにより、参照点のＲＧＢ成分を入力
し、これら２つの点を結ぶ線分に直交する平面を識別面
として識別処理を行う。

そして、切り出し結果を表示し、この切り出し結果を保
存するか否かの分岐処理を行う。これを保存しない場合
は、識別処理を行う前の状態までマスクを戻し，それを
表示する。これを保存する場合は、保存のための処理を
する。

上記第２の目的を達成するための手段では、画像中の対
象に粗く関連付けられた形状モデルや、入力装置より入
力された点列は切り出し対象の輪郭に概略そっている。

これらにそって再編成された帯状の画像は、元の画像に
比べて次のような著しい特徴を持っている。再編成され
た画像中で輪郭にそった方向を横方向、それに直交する
方向を縦方向とすると，（１）各縦ライン中で輪郭にな
る点は一点であり、（２）隣接する各縦ライン中で輪郭
になる点は近接している。すなわち、再編成された帯状
画像中では、輪郭は大略横方向に走っているという特徴
である。この特徴はエッジ情報より輪郭をもとめる際の
有効な制約条件となる。

これを利用し、次のような方法が可能になる。

上記第２の目的を達成するための手段のうち第１の方法
は協調アルゴリズムあるいはニューラルネットワークの
１手法であるホップフィールドネットワークと呼ばれる
ものである。前者についてはＤ．阿ａｒｒ，　Ｔ．　Ｐ
．ｏｇｇｉｏ　がＣｏｏｐｅｒａｔｉｖｅ　ｏｆｓｔｅ
ｒｅｏ　ｄｉｓｐａｒｉｔｙ　と題し＋Ｓｃｉｅｎｃｅ
，　ｖｏｌ．　１９４，ｐ，２８３　（１９７６）にス
テレオ処理への適用に関し論じているものが有名である
。後者については、ニューラルネットワーク情報処理、
産業図書（１９８８年）第２０頁から第２７頁に解説さ
れている。ｃＤ，ｊ；　ｔ）を時刻ｔにおける，帯状画
像のｉ行ｊ列画素の値とする。簡単のため、Ｃ（ｘ，ｊ
；ｔ）は１とＯのどちらかの値をとるものとし、これに
微分等の処理をしてエッジ成分を抽出したエッジマップ
画像を初期状態、すなわちＣ（ｘｔｊ；Ｏ）とする。エ
ッジマップも簡単のためＯと１の値しかとらないものと
する。エッジがある画素は１、エッジでない画素はＯで
ある。このＣ（ｉ，ｊ　；　ｔ）につき、次の繰返し計
算を行なう。

Ｃ（ｉ，ｊ　　：　　ｔ＋１）＝σ（Ａ（ｉ，ｊ　　：
　　ｔ）ｉ　Ｂ（１＋Ｊ　　：　ｊ）＋δｃ（ｉｔｊ　
；　ｏ））ただし、σ｛　｝は下のような、しきい値σ
ｔｈでの階段関数である。

σ｛ｘ｝＝Ｏ，ｘ＜σｔｈ σ（ｘ）＝　１　，ｘ≧σｔｈ また、 Ａ（ｉ，ｊ　：　ｔ）＝Ｃ（ｉ−Ｌｊ　；　ｔ）＋Ｃ（
ｉ−１，ｊ　；　ｔ）十Ｃ（ｉ＋１，ｊ　；　ｔ）＋Ｃ
（　ｉ＋　２＊　ｊ　；　ｔ　） Ａ（ｉ，，）：ｔ）は、横方向の強調（隣接する縦ライ
ンでは輪郭は近接する）を表し、Ｂ（ｘ，，）：ｔ）は
縦方向の抑制（各縦ラインで輪郭は１点）を表す。Ｃ（
ｘｙｊ；　Ｏ）は初期状態でエッジのある場所が輪郭に
なる可能性が高いということを表している。この方法に
ついてテストデータで行なったシミュレーション結果を
第１６図に示す。初期状態にあったノイズによるエッジ
や、輪郭の欠けが計算をくりかえすうちに完全な輪郭と
なってレ１る。

なお、簡単のためＣ（ｉ．ｊ　；　ｏ）を２値として取
扱をしたが、より一般の連続の実数値の取扱いも可能で
ある。その場合はσ（ｘ）は階段関数ではなくシグモイ
ド関数になる。

上記第２の目的を達成するための手段のうち第２の方法
はシミュレーティドアニーリングあるいはモンテカルロ
シミュレーションとよばれる方法に基づいている。これ
についても上述のニューラルネットワーク情報処理、産
業図書（１　９　８　８年）第３１頁から第３３頁にＧ
ｉｂｂｓ　Ｓａｍｐｌｅｒという名前で解説されている
。本アルゴリズムは、物性物理学におけるモデル（固体
表面の物理吸着系）と類似の発想に基づくものである。

固体表面の上に１次元的にばねで繋がれた質点（吸着原
子などに対応する）の鎖が横たえられていると想定する
（第１７図）。固体表面はエッジの初期状態に対応し，
エッジのある位置は凹んでいる。そのため、質点はエッ
ジの上にあると位置エネルギーを得る。

質点は縦方向のみに移動できるように束縛されていて、
横には動けないとする（各縦ランイで輪郭は１点）。質
点と質点の間はばねで繋がれているので、質点同士は横
に並んでいると弾性エネルギーを得し、縦方向に離れる
とエネルギーを損する（隣接する縦ラインでは輪郭は近
接する）。これにより系の全エネルギーは決定される。

この系を有限温度でシミュレートすると、熱エネルギー
のために鎖は動き回り，配置のエネルギー（位置エネル
ギーと弾性エネルギーの和）は高い状態にある。徐々に
系の温度を下げていくと、配置のエネルギーが最小にな
るような場所に，それぞれの質点は落ちこんでいく。シ
ミュレーションはモンテカルロ法の通常の手順にしたが
う。まず、ある温度Ｔでのモンテカルロ法基本操作は以
下の通り．（１）一様乱数をふり，動かしてみる質点を
決定する。

（２）一様乱数をふり、（１）で決定された質点の動か
し方を決定める。

本シミュレーションでは、上に一つ動くか、下に一つ動
くかの２通りから選択する。

（３）配置のエネルギーの変化量ΔＥを計算する。

（４）ΔＥが負なら、無条件で（２）の試行を存続させ
る。ΔＥが０ならば（２）の試行を元に戻す。ΔＥが正
ならば、一様乱数をふり、ｅｘｐ（一ΔＥ／Ｔ）との大
小を比較する。一様乱数のほうが大ならば，（２）の試
行を元に戻す。そうでないならば、試行を保存する。

この操作を質点の個数回だけ行なうことを、ｌモンテカ
ルロステップという。次に、シミュレーションの手順を
説明する。

（１）鎖を初期配置に置く。仮りに、中央横一列に配置
する。

（２）高温（典型的なΔＥより十分大な温度）でしばら
く動かす。

（３）温度を除々に下げる。

この他、上述の帯状画像の特徴を用いた各種のアルゴリ
ズムが可能である。

以上のように、輪郭の概略位置を入力するという作業量
の少ない処理を付加し、画像を再編成して帯状画像を作
成することにより有効な制約条件を課すことができ，従
来困難であったエッジの分布から輪郭を抽出することが
可能となる。

［実施例］ 以下、本発明の実施例（３例）を用いて説明する。第１
の実施例は、本発明の第１の目的を達成するための手段
を用いたものである． 第４図は、本発明の実施例のハードウェア構成図であっ
て、コンピュータ４０１、ディジタル化された画像を蓄
えるメモリー４０３、カラー画像あるいは、文字表示を
行うＣＲＴ４０２、写真をディジタル画像として入力及
び画像を印刷する画像入出力装置４０７、キーボード４
０４、マウス４０５、第９図で後述する平面位置入力装
置４０８から構成されている。

ここで，マウス４０５の機能について説明すると、コン
ピュータ４０１上の制御プログラムにより，マウス４０
５で指示された平面位置に従い，ＣＲＴ４０２上に小さ
い矢印が表示され、マウス４０５を動かすことにより、
操作者はこの矢印をＣＲＴ４０２の画面上で自由に動か
すことができる。また，マウス４０５上のボタン４０６
を押すと、ＣＲＴ４０２上の画面中の矢印の先の位置情
報がコンピュータ４０１に送られ、その上で動作するソ
フトウェアで用いることができる。

以下，この操作を両面中である場所を「ピックする」と
いう用語を用いることにする。

またＣＲＴ４０２上に表示される画像の質については現
在、縦横１０００ＸＩＯＯＯすなわち、１画面百万画素
程度で，赤緑青それぞれ２５６階調で合計１６７０万色
程度のものが一般的であるので、本発明でもこの程度の
画質のものを用いる。

しかしこ九に限定されるものではない。画像入出力装置
４０７もこれに対応できる性能のものを用いる。

第１図から第３図は、本発明の実施例に係る処理手順を
示したフローチャートである。

第１図を用いて本発明の基本的な処理手順を説明すると
、ステップ１０１では画像を入力し表示する５ステップ
１０２では処理領域を指定し、ステップ１０３では、こ
の処理領域に対して・識別処理を行う。この処理につい
ては後述する。

ステップ１０４では切り出し結果を表示する。

例えば、マスクとして切り出された部分は、白抜きにし
て表示する。ステップ１０５では、第４図のキーボード
４０４の入力に従いこの切り出し結果を保存するか否か
の分岐処理を行う。これを保存しない場合は、ステップ
１０６でステップ１０３の識別処理を行う前の状態まで
マスクを戻し、それを表示する。これを保存する場合は
、ステップ１０７で、これを保存する処理をする。具体
的には、表示を行うマスクとは保存用のマスクをメモリ
中に確保しておき，これに書き込む。

ステップ１０８では、処理を継続するか否かをキーボー
ド４０４の入力に従って行う。継続する場合には，ステ
ップ１０２に戻り、新たな処理領域を設定するところか
ら繰り返す。処理を継続しない場合には、結果を出力し
終了する。

第２図、第３図によって，ステップ１０３の識別処理を
説明する。

第２図は、代表点と参照点を１点ずつ指定する場合の処
理フローである。すなわち、ステップ２０１では、画面
上で、マスクとして切り出したい部分をピックすること
により、代表点のＲＧＢ成分を入力し、ステップ２０２
では、マスクでない不要の部分をピックすることにより
、参照点のＲＧＢ成分を入力する。

これについて，第５図の具体例を用いて説明すると、同
図において、車５０１のうち，処理領域５０２中でカー
ソル５０３を出し、カーソル５０３の場所を読み取り、
画像上の位置を特定し、その画像の赤、緑、青の値を入
力する。

第５ａ図において、カーソルがポインティングしている
部分は、切り出したい部分すなわち、画像中の他の領域
と分離する領域であり，ここの色を代表色と呼ぶ。そし
て、第５ｂ図で、マウスがポインティングしている部分
は、不要な部分すなわち、識別処理においてマスクにな
るべきでない領域であり、ここの色を参照色と呼ぶ。こ
のカーソルを用いる処理により、画像上の場所を指示す
るだけで、その画表の赤，緑、青の値を入力することが
できる。

ステップ２０３では，これら２つの点を結ぶ線分に直交
する平面を識別面とするため，線分のどこを平面が通る
かの指定を行う。

本発明の識別面について説明すると、色空間での識別は
、第６ａ図に示すように、座標軸６０４で展開される色
空間の上で，識別の条件として任意の位置方向の平面や
曲面を用いる。すなわち、識別面６０３を用いることに
より色分布６０１と色分布６０２が識別される。また，
一枚の平面や曲面でなく第６ｂ図に示すような、識別面
６０８と識別面６０９を用いることにより、色分布６０
５、色分布６０６、色分布６０７のような複雑なものも
識別可能となる。

以下、ステップ２０１から２０３までを式を用いて説明
する。

代表点の色：ν　”＝　（Ｐ　ｒ”　−　Ｐ”ｇ　，　
ＰＱｂ）参照点の色＝７’　　”＝（ｐＦ，ｐＦ，ｐ，
）とすると、ＲＧＢ空間において、代表点と参照点をｔ
：１−ｔに内分する平面の方程式は、次のようになる。

αγ＋βｇ十γｂ十δ＝０ ただし ・・・・・・・・・・・・（３） （３）式で、ｔの値を決定すれば、識別面は完全に決定
される。

このｔの決定は、キーボード４０４の入力によるか，あ
るいは次のようにして行う。第７ｂ図は、代表色７０７
と参照色７０８を結ぶ線分の上に、第７ａ図の色分布の
各点を射影して作ったちヒストグラム７１０である。そ
して、例えば、該ヒストグラム７１０の極小部７１１に
対応する位置に識別面７０９が位置するようなｔの値を
選ぶことができる。

ここでは、前者を採り、キーボードから数値を入力する
ことにより識別面を決定する。この平面による切り出し
結果をステップ１０４で表示し、満足な結果が得られる
までくり返す。

ステップ２０４では，処理領域の各画素のＲＧＢ値が、
識別面に関して、代表点と同じ側にあるかどうかを判定
する。ステップ２０５では、以前の識別によるマスクと
重複する領域については、論理演算を行う。ここで論理
演算というのは、マスクである場合を「真」、マスクで
ない場合を「偽」として、ある画素が複数の小領域での
識別処理を受けるときに、それらの結果を統合するため
に用いられる。

本発明の実施例では、論理積をとる．具体的には、以前
の識別結果と今回の識別結果の両方ともマスクである場
合のみ、マスクであると判定する。

すなわち例えば、第８ａ図、第８ｂ図において、処理領
域８０２と処理領域８０３のそれぞれで識別処理を行い
、これを第８ｃ図のような論理演算を行う。車８０１の
ボディーカラーが一定である場合でも、撮影位置などに
より微妙に色調が異なるので、このような分割処理によ
って良好な切り出し処理ができる。

ステップ２０４とステップ２０５は、処理領域中の画素
すべてについて繰り返す。

第３図は、代表点、参照点を複数個指定する場合の、ス
テップ１０３の識別処理の詳細フローである。

ステップ３０１ではピックにより代表点をｎ点入力する
。ステップ３０２では、同様に、参照点をｍ点入力する
。これら、ｎＸｍ個の代表点と参照点の組のそれぞれに
ついて識別面を設定する。

それぞれについてパラメータｔを決定してもよいが、本
発明の実施例ではすべてｔ＝０．５とする。

これは、代表点と参照点の中間付近にヒストグラムの極
小位置が来る場合が多く、従って切り出しが成功する場
合が多いという理由による。

ｋ番目の代表点とＱ番目の参照点の間の識別面の代表点
側の領域をΩ．とすると，最終的には次の領域を識別し
て切り出す領域とすればよい。

ステップ３０４では、各画素について式（４）を満たす
か否かによって識別を行い、ステップ３０５では、以前
の結果との論理演算を行う。

ステップ１０３の識別処理は、第９図の平面位置を直接
入力する機器を用いることによってもできる。

すなわち、矩形の平面９０３の４隅には、発信源９０１
が設けられ、これが発信したパルスを受信器９０２が受
信する。この機器は、そのまま、ｒｇｂ空間とその中の
平面に対応させることができる。例えば、ある発信源か
らパルスが発行されてから、各受信器に到達するまでの
時間を計り、その違いを求めることにより、その発信源
の位置がわかる。つまり、平面９０３をこの機器の中に
配置することにより、平面の方程式の係数のようなパラ
メータや、平面が含む点の位置座標といった数値の情報
を入力することなしに、平面の位置を入力することがで
きる。この平面を識別面とすることよより、識別処理を
行うこともできる。

以上のように、本発明の実施例では、ステップ１０２か
らステップ１０７までのループの中で、ループ毎に、ス
テップ１０２で処理領域の指定を行っていたが、このル
ープ処理の前にキーボードから入力された画像上の位置
座標の点列に従い、最初に各ループで使用される小領域
を決定しておくこともできる。

また、ステップ１０３の識別面は次のような処理で決定
することもできる。すなわち、下記に示す分離の尺度Ｊ
を最小にする’ＦＱ．’Ｆ”．ｔ（参照点、代表点の名
赤、緑、青成分と、ｔで合計７つのパラメータ）を探索
して決定し、この値を用いて識別平面を決める。

以上、この第１の実施例で説明したように、本発明の第
１の目的を達成するための手段によれば、色の分布が複
雑な画像から、特定の領域を分離する場合にも，良好な
分離、切り出しの処理ができるという効果がある。

以下、本発明の第２の実施例を、第１０図から第１７図
を用いて説明する。本実施例のハードウェア構成図は第
１の実施例を共通であり、第４図を用いるが、平面位置
入力装ｉ！４０８は使用しない。本実施例は、第２の目
的を達するための手段を説明するものである。

第１０図は本発明の実施例に係る処理手順を示したフロ
ーチャートである。また、第１１図から第１７図は本発
明の実施例に係る処理手順の内容を詳細に説明する図で
ある。

第１０図を用いて本発明の基本的な処理手順を説明する
と、ステップ１００１では、画像を入力し表示する。例
えば、第１１図の概略輪郭指定点のｘ印を除いたものを
想定する。第１１図切り出し対象１１０１、すなわち車
体の部分を他の背景部分より切り出すのが本実施例の目
的である。ステップ１００２ではマウス操作により概略
輪郭点１１０２が指定される。この点の個数は、第１１
図に示す通り、それらをつなぐと、切り出し対象の概略
の輪郭となる程度であり、また、これらの点は正確に輪
郭のうえに位置していなくともよい。

ステソプ１００３ではステップ１００２で入力され概略
輪郭位置に従い、第１２図輪郭周辺部である幅（典型的
には２０から４０画素幅程度。これには限らない。）で
抜きだし、これをＡ−Ａ’の部分で切り離してリサンプ
ル処理を行い，矩形の細長いディジタル画像である帯状
画像１２０２を作成する。リサンプル処理については、
第１３図で説明する。リサンプル処理では，概略輪郭で
定義された、ＡＢＣＤの台形１ｏ３１を矩形の帯状画像
にするため、台形１３０１を格子に区切り、その格子点
の位置の原画像の画素の値を帯状画像の対応する画素の
値にすることである。直下の画素の値のみを用いること
もあるが周辺画素の値を補閲して用いることが多い。ス
テップ１００３では、この帯状画像１２０２に従来技術
の項目で述べた方法でエッジ画像を作成する。本実施例
では、ゼロクッシングを用いる。その結果が第６図エッ
ジ画像１４０１である。このエッジ画像１４０１のなか
で横方向に真の輪郭が走っているはずで、これを行うの
がステップ１０ｏ５のエッジ接続処理であり、この内容
については作用の項で説明した。本実施例ではホップフ
ィールドネットワークの方法を用いる。エッジ接続処理
の結果、輪郭（整形前）１４０２が得られる。エッジ整
形処理だけでは、完全でない場合もあるため、ステップ
１００６では輪郭整形処理を行う。輪郭（整形前）のな
かにあるような孤立した飛びの除去などが目的である。

本処理の場合、輪郭（整形前）を端から探索し、不連続
点にはさまれている短い線分を検出したらそれを消去し
その両側の端を結ぶ、という処理を行った。その結果輪
郭（整形後）１４０３が得られる。ステップｌ　００５
のエッジ接続処理だけで完全な場合（飛びが検出されな
かったとき）はステップ１００６の輪郭整形処理は行わ
れない。ステップ１００７では、第１２図の輪郭周辺部
１２０１から帯状画像１２０２を作成したときの逆の変
換を適用して輪郭（ｌｌ形後）を原画像に再マッピング
する。ステップ１００８では原画像に重ねて、原画像と
同じサイズの、輪郭の中と外を区別するマスク画像を作
成する。典型的には、輪郭の外の画素の場所にはＯ．＠
郭上及び内容には１を割り当てる。このマスク原画像と
別に保持することもできるが、同じ画像ファイルに保持
することもできる。すなわち、多くのフルカラーグラフ
ィックワークステーションではｌ画素を３２ビットで表
現していることを利用する。

赤青緑それぞれ２５６階調用いるためには、それぞれ８
ビットあればよいので、１６７０万色表現するためには
、１画素あたり２４ビットあればよいのだが、処理の都
合上もう８ビット余計に冗長ビットを持っている場合が
多い。この冗長ビットの部分にマスク画像を蓄えれば、
画像の記憶容量を増加させず切り出し対象の情報を付加
することができる。ステップ１００８ではこのマスク情
報の付いた画像を第４図メモリー４０３に記憶させる。

このマスク情報付き画像ファイルは、イメージシミュレ
ーションのアプリケーションプログラムにおいて使用す
ることができる。例えば、他の背景画像に自動車の車体
を重畳合成する場合には，マスクがＯの画素は背景画像
の画素値を、マスクが１の画素は重畳画像（車）の画素
値を持つ画像を作成すれば良い。また，色彩変更処理で
は、マスクが１の画素のみに、それぞれの色彩変更処理
アルゴリズムを適用すれば、車体の部分のみの色彩が変
更される。

以上説明した第２の実施例の各ステップでは次のような
代替処理が可能である。

ます、ステップ１００２では離散的に数個の概ｌ８ｆｉ
＋郭位置をマウスよりピックで入力していたが、そのか
わりにマウス連続的に輪郭付近を走らせ、その軌跡を用
いることもできる。その軌跡の上に数個の概略輪郭位置
を設定すればよいが、軌跡の上に等間隔で配置したり、
曲率が大きいところに配置するなどの方法がある。また
、帯状画像を連続的なマウスの軌跡を膨張・収縮させる
ことにより求めることもできる。

ステップ１００２では予め自動車の車体に対する典型的
な形状のモデルがある場合には、これを輪郭を含む概略
形状として用いることができる。

第１５図３次元形状モデル１５０１は３次元の形状デー
タであり、視点の位置を定義すれば透視変換により２次
元形状モデル１５０２を作成できる。

２次元形状モデルは陰線消去をしたものであり車体を指
定された視点からみたときの画像を線画化したときの概
略形状を表し、線分、曲線、ノード１５０３、交点１５
０４よりなる。この２次元形状モデルのノードと交点を
画像と位置的に対応させると、各線分，曲線は，対象画
像中の車体の概略形状になる。以下ステップの処理は各
線分、曲線ごとに独立して帯状画像を作成して行うこと
により同様に進行する。

ステップ１００４のエッジ画像作成では、従来技術の項
目で述べたように、ゼロクロッシングの代わりに１次微
分をとることができる。

ステップ１００５のエッジ接続処理では、ホップフィー
ルドネットワークの代わりにシミュレーティドアニーリ
ングを用いることができる。

ステップ１００８のマスクデータへの書き込みは、複数
のマスク（例えば、車体とタイヤを別々のマスクにして
保持する）を異なる２５５以下の整数値として書き込む
ことができる。

次に、本発明の第３の実施例を第１８図から第２ｏ図を
用いて説明する。本実施例も第２の実施例と同じ目的で
あり、第２０図は第１０図ステップ１００１からステッ
プ１００７までに相当するものである。第２の実施例と
異なる点は、第２の実施例のように、概略輪郭位置をす
べて指定してからエッジ接続処理を行うのではなく、１
点指定する毎に部分帯状画像を作成して、その中で個別
にエッジ接続処理を行うことである。

ステップ１８０１では切り出し対象の画像を入力表示す
る。ステップ１８０２では、第１の概略輪郭点の位置を
ピック入力する。ステップ１８０３以降はループである
。ステップ１８０３では次の概略輪郭点の位置をピック
入力する。ステップ１８０４では、ステップ１８ｏ３で
入力された第１９図概略輪郭点１９０１とその直前に入
力された概略輪郭点１９０２を用いて、二つの概略輪郭
点を結ぶ方向に沿って帯状画像を作成する。

ステップ１９０５からステップ１９ｏ７までは、第２の
実施例のステップ１００４からステップ１００６までと
、処理対象が部分帯状画像であることを除いて、同じで
ある。ステップ１８０８ではこの部分帯状画像に関する
計算された輪郭を原画像に重畳して表示する、ステップ
１８０９は全体の輪郭を抽呂し終って処理を終了するか
どうかの分岐である。終了しない場合にはステップ１８
１０に進みステップ１８０８で直前に行った部分帯状画
像の輪郭抽出結果の保存を行うかどうかの分岐処理を行
う。保存しない場合は最後に指示された概略輪郭点と部
分輪郭をキャンセルしステップ１８０３に戻る。保存す
る場合には、そのままステップ１８０３に戻る。本実施
例に続き、第２の実施例のようにマスク画像作成、画像
ファイルへの書きだしを行ってイメージシミュレーショ
ンへ適用することができる。

以上説明した第３の実施例の各ステップでは次のような
代替処理が可能である。

ステップ１８０４では、部分帯状画像のりサンプル方法
を簡易にすることができる。概域輸郭点のなす線分が横
向きに近いときには第２０図（ａ）のように矩形に並べ
替える。概略輪郭点が縦方向に近い場合には第２０図（
ｂ）のように並べなおす。単なる並べ替えであり、補間
などは伴わない処理を行う。

第２，第３の実施例によれば、本発明は切り出したい対
象の輪郭にたいする概略位置の指定をするだけで、詳細
の輪郭形状を得ることができるという効果がある。

〔発明の効果〕

以上、説明したように、本発明によれば、外部から入力
される切り出し対象あるいは、その境界に関する情報を
入力し，切り出し処理を行い、従来できなかった、色の
分布が複雑な場合や、対象と、背景が同種の色の場合に
も適用できる、という効果がある。

【図面の簡単な説明】

第１図〜第３図は本発明の実施例に係る処理手順を示し
たフローチャート、第４図は本発明の実施例のハードウ
ェア構成図、第５ａ図、第５ｂ図は切り出し部分と不要
部分とを指示した図、第６ａ図、第６ｂ図は本発明によ
る識別面を示す図、第７ａ図、第７ｂ図は色分布とヒス
トグラムを示す図、第８ａ図、第８ｂ図、第８ｃ図は処
理領域の論理演算を説明する図、第９図は本発明の平面
位置入力装置を示す図、第１０図は本発明の第２の実施
例の処理のフローチャート、第１１図から第１７図は第
２の実施例の処理の内容を説明する図，第１８図は本発
明の第３の実施例の処理のフローチャート、 第１９図、 第２０図は第３の実施 例の処理の内容を説明する図である。 第 ｌ 図 第２目 第１１ ｂ 第 Ａ ｂ目 ｂ 第？Ｃ目 （ デθ２ 第７θ目 第 ７２記 ／２ρ２ 才にイスミｊしイ名と 第／夕目 第 （り　エノシ褐和期橿 （り １日Ｂ ？２ 已 （Ｃ） ２８月 第２０図

Claims (1)

1. 【特許請求の範囲】 １、ディジタル的に表現されたカラーあるいは白黒濃淡
   の画像中から特定の対象を切り出す方法において、外部
   より入力される、切り出し対象あるいはその境界に関す
   る属性、位置を指定あるいは限定する情報に基づき、指
   定された画像上の位置または限定された画像上の範囲、
   あるいは属性の範囲について切りだし処理を行うことを
   特徴とする画像セグメンテーション方法。 ２、上記外部より入力される情報は、画像中に存在する
   対象の構造に関する先験的、かつ変形及び変更可能な形
   状モデルを持ち、この形状モデルと画像中の対象を空間
   的に粗く関連付けたものであり、この関連に従い画像を
   再編成し、この再編成画像上での画像処理により対象の
   輪郭を決定する請求項１項の画像セグメンテーション方
   法。 ３、上記変形及び変更可能な形状モデルは節点とそれを
   互いにつなぐ曲線または直線よりなる線画で表現された
   ３次元構造を任意の方向から２次元に投影した物である
   請求項２項の画像セグメンテーション方法。 ４、上記再編成画像は、画像中大略１方向に輪郭が位置
   しているものである請求項２項の画像セグメンテーショ
   ン方法。 ５、上記画像処理はエッジ抽出処理をした後に、エッジ
   抽出画像を初期状態として、縦方向の抑制、横方向の強
   調をかけるところの反復計算を行うところの相互結合ニ
   ューラルネットワーク処理の結果に、必要な場合には孤
   立線分除去処理を加えたものである請求項２項の画像セ
   グメンテーション方法。 ６、上記画像処理はエッジ抽出処理をした後に、エッジ
   抽出画像のエッジのある部分はポテンシャルエネルギー
   が低いとし、縦方向に束縛されたばねでつながれた粒子
   をモンテカルロシミュレーションにより動作させ、最低
   エネルギー状態を求めることにより、必要な場合には孤
   立線分除去処理を加える請求項２項の画像セグメンテー
   ション方法。 ７、上記エッジ抽出処理は横方向または縦方向、あるい
   はそれら両方向を組み入れた１次微分である請求項５項
   の画像セグメンテーション方法。 ８、上記エッジ抽出処理は横方向または、縦方向、ある
   いはそれら両方向を組み入れた１次微分である請求項６
   項の画像セグメンテーション方法。 ９、上記エッジ抽出処理は横方向または縦方向、あるい
   はそれら両方向を組み入れた２次微分である請求項５項
   の画像セグメンテーション方法。 １０、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れた２次微分である請求項６
   項の画像セグメンテーション方法。 １１、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れたゼロクロッシングである
   請求項５項の画像セグメンテーション方法。 １２、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れたゼロクロッシングである
   請求項６項の画像セグメンテーション方法。 １３、上記外部より入力される情報は、画像中のある対
   象の真の輪郭の付近の点列の位置座標であり、これら入
   力された点列にそって、ある幅の帯状の画像領域を抽出
   しこれを矩形の画像に再編成した後、この対象の輪郭の
   詳細を、真の輪郭は概略この帯状領域に沿って存在する
   という性質を利用して、この矩形画像中で画像処理をす
   ることにより求める請求項１項の画像セグメンテーショ
   ン方法。 １４、上記画像処理はエッジ抽出処理をした後に、エッ
   ジ抽出画像を初期状態として、縦方向の抑制、横方向の
   強調をかける反復計算を行う相互結合ニューラルネット
   ワーク処理の結果に、必要な場合には孤立線分除去処理
   を加えたものである請求項１３項の画像セグメンテーシ
   ョン方法。 １５、上記画像処理はエッジ抽出処理をした後に、エッ
   ジ抽出画像のエッジのある部分はポテンシャルエネルギ
   ーが低いとし、縦方向に束縛されたばねでつながれた粒
   子モンテカルロシミュレーションにより動作させ、最低
   エネルギー状態を求めることにより、必要な場合には孤
   立線分除去処理を加えたものである請求項１３項の画像
   セグメンテーション方法。 １６、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れた１次微分である請求項１
   ４項の画像セグメンテーション方法。 １７、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れた１次微分である請求項１
   ５項の画像セグメンテーション方法。 １８、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れた２次微分である請求項１
   ４項の画像セグメンテーション方法。 １９、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れた２次微分である請求項１
   ５項の画像セグメンテーション方法 ２０、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れたゼロクッシングである請
   求項１４項の画像セグメンテーション方法。 ２１、上記エッジ抽出処理は横方向または縦方向、ある
   いはそれら両方向を組み入れたゼロクッシングである請
   求項１５項の画像セグメンテーション方法。 ２２、上記外部より入力される情報は、画像中の処理領
   域を重複を許す複数個の小領域に分解し、それぞれの小
   領域に対して、切り出す部分の画素と不要な部分の画素
   を一個あるいは複数個指定したそれぞれの画素の色情報
   であり、それらの色情報から該代表点と該参照点を結ぶ
   線分に直交する平面または曲面を識別面として識別処理
   を行う請求項１項の画像セグメンテーション方法。 ２３、上記特徴量はカラー画像の赤、緑、青の３成分で
   ある請求項２２項の画像セグメンテーション方法。 ２４、上記小領域間の重複部分については、それらの間
   の領域を統合、排除する論理演算を行うことにより切り
   出し部分を生成していく請求項２２項の画像セグメンテ
   ーション方法。 ２５、上記識別面は、上記線分をｔ対１−ｔに内分する
   変面または曲面である請求項２２項の画像セグメンテー
   ション方法。 ２６、上記ｔの値は、ヒストグラムの極小部に対応する
   位置に上記識別面が位置するような値である請求項２５
   項の画像セグメンテーション方法。 ２７、上記ｔの値は０．５である請求項２６項の画像セ
   グメンテーション方。 ２８、上記識別処理は、代表点と参照点が複数個ある場
   合、ある代表点に関しては、複数の参照点との識別結果
   の論理積をとり、その結果をそれぞれの代表点に関し論
   理和をとる請求項２２項の画像セグメンテーション方法
   。 ２９、ディジタル的に表現されたカラー画像から特定の
   対象を切り出す装置において、平面の位置を直接入力す
   る平面位置入力装置を備えたことを特徴とする画像処理
   装置。 ３０、上記入力装置は、上記平面に設けられた複数個の
   パルス発信源と、該発信源から発信されるパルスを受信
   する複数個の受信器と、発信から受信までの時間を計測
   することにより、該平面の位置を計測する計測器とから
   なる請求項２９項の画像処理装置。