JPH07121710A

JPH07121710A - 画像セグメンテーション方法及び装置

Info

Publication number: JPH07121710A
Application number: JP5291285A
Authority: JP
Inventors: Makoto Kato; 誠加藤; Shinichiro Miyaoka; 伸一郎宮岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-10-27
Filing date: 1993-10-27
Publication date: 1995-05-12

Abstract

(57)【要約】【目的】切り出したい対象や背景が一様な色や濃度でな
い場合、あるいは検出したエッジの候補が多数表れたり
とぎれたりする場合でも、対象とする物の輪郭を正確に
抽出できる画像セグメンテーション方法および装置を提
供することを目的とする。【構成】ディジタル的に表現された画像データ中の対象
物の輪郭上の一画素を始めに外部から指定し、その画素
またはそれまでに決定された輪郭上の最後の画素から対
象物の輪郭の探索を行なう方向を外部から指定し、始め
に指定された画素またはそれまでに決定された輪郭上の
最後の画素から、前記指定された方向に、対象物の輪郭
を探索し決定するようにして、対象物の切り出しを行
う。【効果】エッジ成分の複雑な画像中から、物体領域の輪
郭を外部からの入力従い、効率的に切り出すことができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デザインシミュレーシ
ョン等に必要な、画像情報中から特定の部位を切り出
す、画像セグメンテーション方法及びその装置に関す
る。

【０００２】

【従来の技術】近年、店頭におけるプレゼンテーション
システム等、画像の豊かな表現力を用いたシステムの研
究、開発が盛んである。また、家電製品等のデザインシ
ミュレーションにおいては、画像情報を更に有効に利用
するため、背景合成、物体色変更等のイメージシミュレ
ーションが広く用いられている。

【０００３】これらイメージシミュレーションを行うた
めには、画像中から特定の対象物を切り出す必要があ
る。このような画像中から対象物を切り出す技術を、画
像セグメンテーション技術という。例えば、街で撮影し
た車の画像から車の部分だけ分離することが、画像セグ
メンテーション技術である。切り出した車の画像を郊外
の風景に埋め込むのがイメージシミュレーションであ
る。

【０００４】画像セグメンテーションを行う方法は、大
きく二つに分けられる。

【０００５】第一の方法は、色情報を用いるものであ
る。これは、例えば、「ＯｐｌｕｓＥ」１９８９年１
月号第１３１頁から第１４２頁の「フルカラーイメージ
プロセッサＳＨＡＩＰとその応用」（以下、公知例１と
呼ぶ）に記載されている。

【０００６】この方法は、例えば赤い車を背景から分離
する際には、画像中の各画素の色が、ある範囲の赤い色
に入るかどうかの判定を行い、その結果で切り出す対象
であるかどうかの識別を行うものである。具体的には、
ｉ行ｊ列画素のＲＧＢ各成分の値をr(i,j),g(i,j),b(i,
j)とし、それぞれの成分における最小最大のしきい値を
それぞれΣrmin、Σrmax、Σgmin、Σgmax、Σbmin、Σ
bmaxとしたとき、次の範囲を切り出すという方法であ
る。

【０００７】Σrmin＜r(i,j)＜Σrmax かつ Σgmin＜g(i,j)＜Σgmax かつ Σbmin＜b(i,j)＜Σbmax

【０００８】この方法は、最も簡単な色情報を用いた画
像セグメンテーション方法であり、上記公知例１に記載
されているＳＨＡＩＰ（シャープ株式会社の商品名）な
ど各社で採用されている。この技術の特殊なものとし
て、クロマキー技術がある。クロマキー技術では、人物
等の切り出したい対象を、決まった色（緑など）の背景
板の前に配置させて画像を撮影する点に特徴がある。こ
の画像から、上述の決まった色以外の部分を切り出し対
象として上述の方法を適用すると、切り出したい対象物
の切り出しが行える。

【０００９】第２の方法は、画像のエッジの情報、すな
わち、画像中の画素の値（色、明度など）の変化する部
分の情報を用いるものである。この方法は、画像中のシ
ーンの理解や認識のため研究されてきたものであり、例
えば、D. H. Ballard, C. B.Brown 著 Computer Visio
n, Prentice-Hall, Inc. 刊（１９８２）第４章 Bounda
ry Detection （以下、公知例２と呼ぶ）に述べられて
いる。

【００１０】この方法は、基本的には、画像中の隣接す
る画素間の色や画像濃度の差の大きい所をエッジとして
求め、これをつなぐことにより輪郭を求める方法であ
る。ここで、「エッジ」とは画像中に存在するなんらか
の意味での線分を表し、「輪郭」とは画像中に存在する
物理的に意味のある物体の外形を表すものとする。物体
の全体が画像中に隠れず見えている場合には、輪郭は閉
曲線になるものである。エッジは、輪郭上にも、それ以
外にも数多く存在する。また逆に、後に述べるエッジ検
出オペレータのような通常の画像処理の技法では、輪郭
上の全てがエッジと認定されるわけではない。

【００１１】エッジを求めるために用いられるエッジ検
出オペレータは、例えば次のような演算である。

【００１２】白黒濃淡画像の場合、ｉ，ｊ画素の値（色
や明度等）をａ(i,j) で表す。ｉ方向が横方向に、ｊ方
向が縦方向に対応する。

【００１３】（１）一次微分横方向 : a(i+1,j)-a(i,j), 縦方向 : a(i,j+1)-a(i,j), 絶対値 : (a(i+1,j)-a(i,j))の平方と(a(i,j+1)-a(i,j)) の平方の和の平方根など。

【００１４】（２）２次微分横方向 : a(i+1,j)-2a(i,j)+a(i-1,j), 縦方向 : a(i,j+1)-2a(i,j)+a(i,j-1), 両方向 : a(i+1,j)+a(i-1,j)+a(i,j+1)+a(i,j-1)-4a(i,
j) など。ここで、最後の両方向のものを、特に、ラプラシ
アンということがある。

【００１５】このような演算を画像中の全画素ａ(i,j)
について計算し、その計算結果が所定値より大きい画素
をエッジとして検出するのである。

【００１６】ここでいう一次微分や二次微分は注目画素
の周辺の積和演算であり、数学的にはある配列をカーネ
ルとするコンボリューション演算を行っていることに相
当する。ただし、上に挙げたうち、１次微分の絶対値は
コンボリューション演算の結果に対して絶対値をとった
ものであり、コンボリューション演算そのままではな
い。ラプラシアンの場合を例にとると、このコンボリュ
ーション演算のカーネルは、次のような３行３列のもの
である。０１０１ −４１０１０

【００１７】下に示すのは、注目する画素a(i,j)とその
周辺の画素とを、３行３列に並べたものである。上記の
コンボリューション演算のカーネルと下記の画素の行列
とを積和したものが、コンボリューション演算であるこ
とはいうまでもない。 a(i-1,j-1) a(i,j-1) a(i+1,j-1) a(i-1,j) a(i,j) a(i+1,j) a(i-1,j+1) a(i,j+1) a(i+1,j+1)

【００１８】すなわち、上記ラプラシアンは下記の積和
演算を行ったものである。 0 ×a(i-1,j-1) + 1×a(i,j-1) + 0×a(i+1,j-1) + 1 ×a(i-1,j) + (-4) ×a(i,j) + 1 ×a(i+1,j) + 0 ×a(i-1,j+1) + 1×a(i,j+1) + 0×a(i+1,j+1)

【００１９】この種のコンボリューション演算は、上述
の３行３列のものに限らず、自然数ｎ、ｍに対して、ｎ
行ｍ列のものが存在し、エッジ抽出に適用可能であるこ
とが知られている。

【００２０】以上のようにして、エッジ検出オペレータ
を用いたコンボリューション演算により、エッジを求め
ることができる。次に、これらのエッジをつないで、画
像中に存在する物理的に意味のある物体の外形である輪
郭を求める。

【００２１】エッジをつなぐ方法としては、エッジ追跡
法が一般的である。この方法は、上記公知例２の第１３
１ページから第１３７ページに示されている。エッジを
つなぐ方法は種々考案されているが、基本的に、画像中
の対象物体の輪郭上の１点を指定し、そこから周辺にエ
ッジのある方向を自動的に探索して、これを次々繋いで
いくことにより輪郭を求めるものである。

【００２２】

【発明が解決しようとする課題】上記従来技術のうち、
公知例１の色情報を用いた方法は、単調な背景の中に色
が異なる物がある場合などでは、うまく切り出しが行え
る。しかし、切り出したい対象や背景が一様な色でない
場合には、適用が難しい。極端な例では、虹色に滑らか
に変化するグラデーションを背景とする物体を切り出す
ことができない。

【００２３】また、上記従来技術のうち、公知例２のエ
ッジをつなぐ方法では、エッジを探索して次々につなぐ
処理を始めから終りまでコンピュータによる自動処理で
行っているため、つなぎ方がうまくいかないことが多
い。例えば、エッジの候補が多数表れたり、とぎれたり
する場合は、つなぎ方がうまくいかないことが多い。

【００２４】本発明は、上述の従来例における問題点に
鑑み、切り出したい対象や背景が一様な色や濃度でない
場合、あるいは検出したエッジの候補が多数表れたりと
ぎれたりする場合でも、対象とする物の輪郭を正確に抽
出できる画像セグメンテーション方法及び装置を提供す
ることを目的とする。

【００２５】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、ディジタル的に表現された画像データ中
から特定の対象物を切り出す画像セグメンテーション方
法であって、前記対象物の輪郭上の一画素を指定する第
１のステップと、前記指定された画素から前記対象物の
輪郭の探索を行なう方向を指定する第２のステップと、
前記第１のステップで指定された画素から前記第２のス
テップで指定された方向に、前記対象物の輪郭を探索し
決定する第３のステップとを備えたことを特徴とする。

【００２６】また、ディジタル的に表現された画像デー
タ中から特定の対象物を切り出す画像セグメンテーショ
ン方法であって、前記対象物の輪郭上の一画素を外部か
ら指定する第１のステップと、前記第１のステップで指
定された画素またはそれまでに決定された輪郭上の最後
の画素から前記対象物の輪郭の探索を行なう方向を、外
部から、指定する第２のステップと、前記第１のステッ
プで指定された画素またはそれまでに決定された輪郭上
の最後の画素から、前記第２のステップで指定された方
向に、前記対象物の輪郭を探索し決定する第３のステッ
プとを備え、前記第２のステップおよび第３のステップ
を繰り返し実行することにより前記対象物を切り出すこ
とを特徴とする。

【００２７】輪郭を探索する方向の決定は、第１のステ
ップで指定された画素またはそれまでに決定された輪郭
上の最後の画素の位置と、外部から指定された画素の位
置との関係をもって定めればよい。例えば、第１のステ
ップで指定された画素またはそれまでに決定された輪郭
上の最後の画素から、外部から指定された画素に向かう
方向をもって、輪郭を探索する方向とすればよい。

【００２８】対象物の輪郭を探索し決定する前記第３の
ステップは、前記第２のステップで指定された方向に応
じて、その方向のエッジ成分を選択的に抽出するエッジ
検出オペレータを選択するステップと、前記第２のステ
ップで指定された方向に応じて、前記第１のステップで
指定された画素またはそれまでに逐次的に決定された輪
郭上の最後の画素から、次に決定される輪郭上の画素を
探索する方向を決定するとともに、該方向にある所定数
の画素を次に決定される輪郭上の画素の候補として挙げ
るステップと、前記候補の画素に対し、前記エッジ検出
オペレータを作用させるステップと、前記エッジ検出オ
ペレータを作用させた結果に基づいて、前記候補の画素
から、対象物の輪郭上の次の画素を決定するステップと
を備えるようにするとよい。

【００２９】さらに、エッジを誤ってつないだときに
は、外部からの入力に応じて、逐次的に決定された前記
対象物の輪郭を未決定の状態に戻すステップを備えると
よい。また、本発明は、ディジタル的に表現された画像
データ中から特定の対象物を切り出す画像セグメンテー
ション装置であって、前記対象物の輪郭上の一画素を指
定するための第１の指定手段と、前記指定された画素か
ら前記対象物の輪郭の探索を行なう方向を指定するため
の第２の指定手段と、前記第１の指定手段で指定された
画素から前記第２の指定手段で指定された方向に、前記
対象物の輪郭を探索し決定する輪郭決定手段とを備えた
ことを特徴とする。

【００３０】さらに、ディジタル的に表現された画像デ
ータ中から特定の対象物を切り出す画像セグメンテーシ
ョン装置であって、前記対象物の輪郭上の一画素を外部
から指定するための第１の指定手段と、前記第１の指定
手段で指定された画素またはそれまでに決定された輪郭
上の最後の画素から前記対象物の輪郭の探索を行なう方
向を、外部から、指定するための第２の指定手段と、前
記第１の指定手段で指定された画素またはそれまでに決
定された輪郭上の最後の画素から、前記第２の指定手段
で指定された方向に、前記対象物の輪郭を探索し決定す
る輪郭決定手段とを備えたことを特徴とする。

【００３１】

【作用】上記構成によれば、それまでに逐次的に決定さ
れた最後の輪郭画素から次に決定される輪郭画素の探索
を行なう方向を外部から入力指定することにより、次に
探索すべきエッジの方向に関する情報をその都度指定す
ることが可能になる。したがって、輪郭を探索して決定
する処理に際して、その方向のエッジをより検出しやす
いエッジ検出オペレータを選択して用いることが可能に
なり、結果的に有効なエッジ探索が行われることにな
る。また、その方向指示を輪郭抽出の進行に従って細か
く指示できるから、複雑な輪郭形状に対応できる。ま
た、やりなおしの指示に対応して、一旦決定した輪郭を
元に戻すことができ、再び探索方向を指示することによ
り正しい輪郭抽出が可能になる。

【００３２】

【実施例】以下、本発明の１実施例である画像セグメン
テーションシステムにつき、図１から図１１を用いて説
明する。

【００３３】最初に、本実施例の概要および目的を簡単
に説明しておく。本実施例のシステムは、図６のように
画面上に表示された画像中の対象物（この場合は車）の
輪郭を対話的に抽出するものである。本実施例では、粗
いおおざっぱな外部からの入力（人手を想定）による点
（Ｐ（ｋ）等）に基づき、計算機処理により対象物に忠
実な輪郭（太線部）を抽出していく。なお、図６に図示
した画像は白黒が明確なもので濃淡がないが、これに限
らず、本発明は写真のような濃淡のある画像に適用して
好適である。

【００３４】まず、本実施例のシステムのハードウェア
構成を説明する。図４は、本実施例のハ−ドウェア構成
図であって、通常のカラー画像表示が可能なワークステ
ーションやパーソナルコンピュータの構成を示したもの
である。

【００３５】図４では、シングルバスアーキテクチャの
ものが示してあるがこれに限られるものではない。ま
た、本発明はネットワークにより互いに接続されている
コンピュータシステムで計算機資源を分散して実施する
ことも可能であり、本図面に示してあるスタンドアロン
コンピュータに限られるものではない。

【００３６】この図中、主プロセッサ４０１は、主に主
記憶４０２を利用して演算などを実行する。画像や文字
などは、ディスプレイ４０５に表示される。その表示
は、ディスプレイコントローラ４０４が、フレームバッ
ファ４０３上に形成されたビットマップパターンを制御
することにより行う。

【００３７】画像やプログラムなどの情報は、ハードデ
ィスク４０７に蓄えられているが、画像はイメージスキ
ャナ等の画像入力装置４０８から入力することもでき
る。ハードディスク４０７や画像入力装置は、入出力プ
ロセッサ４０６により制御される。また、外部からの命
令および指示は、キーボード４０９やマウス４１０から
入力される。また、これらの各部は、システムバス４１
１で結合され、これを介してデータを交換する。

【００３８】ここで、マウス４１０の機能について説明
する。

【００３９】ディスプレイ４０５上には、マウス４１０
の位置に応じて小さな矢印等が表示される。そして、マ
ウス４１０を動かすことにより、操作者は、この矢印を
ディスプレイ４０５の画面上で自由に動かすことができ
る。また、マウス４１０上には、区別して用いることが
できる右ボタンと左ボタンの二つが設けられている。こ
れらのボタンを押すことにより、ディスプレイ４０５上
の画面中の矢印等の先の位置情報が得られ、本ハードウ
ェア上での応用ソフトウェアで用いることができる。以
下、この操作を「ピックする」と呼ぶことにする。

【００４０】また、マウス４１０では、ボタンが押され
ているか押されていないかを区別することができるもの
とし、それぞれ、マウスＯＮ、マウスＯＦＦの状態と呼
ぶ。なお、マウスには制御方法およびボタンの数など各
種のものがあり、上述のマウスに限定されるものではな
い。

【００４１】ディスプレイ４０５上に表示される画像の
質については、縦横１０００×１０００画素程度、すな
わち１画面１００万画素程度で、赤青緑それぞれ２５６
階調で合計１６７０万色程度のものが一般的であるの
で、本実施例でもこの程度の画質のものを用いる。しか
し、本発明は、これに限定されるものではない。画像入
力装置４０８もこれに対応できるものを用いる。

【００４２】図５は、主に図４の主記憶４０２上に形作
られるところの、メモリの論理的構成図である。大きく
分けて、プログラムメモリ５０１とデータメモリ５０２
からなるが、計算機システムのオペレーションシステム
等の部分は除外してあり、本発明に関連する部分のみ示
してある。

【００４３】プログラムメモリ５０１は、全体の処理の
流れを制御する全体制御部５０３、輪郭自動推定部５０
４、および輪郭画像補間部５０５よりなる。輪郭自動推
定部５０４については、図３を参照して後に詳しく説明
する。輪郭画像補間部５０５については、図２を参照し
て後に詳しく説明する。

【００４４】データメモリ５０２は、画像データ５０
６、抽出される輪郭データ５０７、エッジ検出に用いら
れるエッジ検出オペレータのコンボリューションのカー
ネルパタンであるところのエッジオペレータのカーネル
データ５０８、および作業用の領域５０９よりなる。

【００４５】図１は、本実施例のシステムの処理の流れ
図である。このうち、ステップ１０８では輪郭の自動推
定を行うが、その詳細は図２で説明する。また、ステッ
プ１０９は輪郭をマウスの画面上での移動軌跡そのもの
とする処理であり（ステップ１０８を「自動切り出し」
と呼ぶのに対して、このステップ１０９は「手動切り出
し」といえる）、その詳細は図３で説明する。

【００４６】まず、ステップ１０１では処理対象の画像
を入力する。画像は、図５の画像データ５０６としてデ
ータメモリ５０２に格納される。その内容は、図４のデ
ィスプレイ４０５に表示される。

【００４７】ステップ１０２では、探索の開始点となる
画素Ｐ（１）をマウスピック操作により指定する。すな
わち、マウス操作でカーソルを輪郭画素の上にもってい
き、左ボタンを押す操作をする。なお、本実施例では、
点の指定は左ボタン、動作の制御（ステップ１１３な
ど）は右ボタンを用いる。

【００４８】ステップ１０３では、処理の制御パラメー
タの初期化を行う。ここで、使用される記号について、
まとめて説明する。ｋは外部からマウスにより入力され
る画素Ｐ（ｋ）の番号、ｒ（ｋ）は第１番目の画素Ｐ
（１）から第ｋ番目の画素Ｐ（ｋ）までに抽出された輪
郭画素の総数である。

【００４９】また、後のステップで用いるが、Ｐ（ｋ）
を指定した際に新たに抽出された画素の個数をｓ（ｋ）
とする。すなわち、ｓ（１）＋ｓ（２）＋・・・＋ｓ
（ｋ）＝ｒ（ｋ）である。ただし、ｓ（１）＝１とす
る。更に、Ｑ（ｒ（ｋ））は、抽出された輪郭画素であ
る。操作者が指定した画素Ｐ（ｋ）はとびとびである
が、Ｑ（ｒ（ｋ））は連結している。また、Ｐ（ｋ）お
よびＱ（ｒ（ｋ））は、具体的には縦座標と横座標から
なり、それぞれ、（Ｐｉ（ｋ），Ｐｊ（ｋ）），（Ｑｉ
（ｒ（ｋ）），Ｑｊ（ｒ（ｋ）））を示す。Ｐ（ｋ），
Ｑ（ｒ（ｋ））は、図５の輪郭データ５０７として格納
される。その構造を、図７に示す。

【００５０】ステップ１０３では、この他、ステップ１
０７での判定のためのモードを自動モードに設定する。
モードとしては、自動モードと手動モードがある。自動
モードとは、操作者がマウスによりとびとびに画素を指
定したとき、それらの画素間の輪郭を自動的に探索して
決定するモードである。手動モードとは、操作者が指定
した画素を結ぶ直線を輪郭として決定するモードであ
る。

【００５１】モードの設定は、具体的には、図５の作業
領域５０９にモード指定の変数をとっておき、例えば、
自動モードのときには１、手動モードのときには０と定
義しておき、これを書き替えることによって行う。この
モードは、ステップ１１５で変更されうる。

【００５２】ステップ１０４では、新たに入力されるマ
ウス入力が右ボタンか左ボタンかを判定し、それに応じ
て分岐する。左ボタンが押された場合には、ステップ１
０５からの輪郭画素の抽出処理に進む。右ボタンが押さ
れた場合には、ステップ１１２からのＵＮＤＯ（やりな
おし）、モード変更などの動作制御に進む。なお、本ス
テップ１０４では、マウス入力が行われるまでは待機状
態にある。

【００５３】まず、左ボタンが押された場合について説
明する。ステップ１０５では、指定画素の数ｋを１増加
する。ステップ１０６では、マウスの左ボタンを押した
時点のマウスカーソルの位置を取得し、図７の指定画素
Ｐ（ｋ）に格納する。ステップ１０７では、その時点で
のモードが自動モードか手動モードかによって分岐す
る。

【００５４】自動モードのときは、ステップ１０８で、
第ｋ−１番目の指定画素Ｐ（ｋ−１）と第ｋ番目の指定
画素Ｐ（ｋ）との間の輪郭画素ｓ（ｋ）個を自動抽出す
る。この処理の詳細は、図２を参照して後に詳しく説明
する。自動切り出しの後、ステップ１１０に進む。

【００５５】ステップ１０７でモードが手動モードであ
ったときは、ステップ１０９に進むで手動切り出しを行
う。これは、第ｋ−１番目の指定画素Ｐ（ｋ−１）と第
ｋ番目の指定画素Ｐ（ｋ）をほぼ線分で結んだことに相
当する輪郭画素ｓ（ｋ）個を抽出する処理である。これ
については、図３を参照して後に詳しく説明する。手動
切り出しの後、ステップ１１０に進む。

【００５６】ステップ１１０では、ステップ１０８また
はステップ１０９で新たに輪郭画素がｓ（ｋ）個抽出さ
れたことにより、輪郭画素の総数ｒ（ｋ）にこれを加算
する。

【００５７】ステップ１１１では、これまでに抽出され
た輪郭画素Ｑ（１）からＱ（ｒ（ｋ））までを表示す
る。この表示は、元の画像データの該当画素だけ色を変
える（黒にするなど）ことにより行う。例えば、図６の
画像であれば、×印で図示してある操作者が指定した画
素Ｐ（１），Ｐ（２），…，Ｐ（ｋ），Ｐ（ｋ＋１）に
応じて抽出された輪郭画素が太線で表示されている。ス
テップ１１１の後、ステップ１０４に戻る。

【００５８】ステップ１０４で右ボタンが押されたとき
には、ステップ１１２に進み、画面上に操作メニュー１
１０１が表示される。図１１は、画面の右上に表示され
た操作メニュー１１０１を示す。操作メニュー１１０１
は、ＵＮＤＯボタン１１０２、完了ボタン１１０３、モ
ードボタン１１０４、およびキャンセルボタン１１０５
の４個のボタンよりなる。これらの４個のボタンは、マ
ウスの右ボタンで指定される。

【００５９】ステップ１１３では、操作メニュー１１０
１のどのボタンが押されたかを判別し、それに応じて分
岐する。

【００６０】まず、ＵＮＤＯボタンが指定されたとき
は、ステップ１１４に進み、指定画素の番号ｋを１減ら
す。すなわち、直前のＰ（ｋ）の指定をなかったことに
する。そこからステップ１１１に進み、輪郭画素を表示
し、ステップ１０４に戻る。ステップ１１１の表示を行
う直前では、それまでに抽出された輪郭画素Ｑ（１）か
らＱ（ｒ（ｋ））までが表示されているが、ステップ１
１１で輪郭画素Ｑ（１）からＱ（ｒ（ｋ−１））まで表
示することにより、Ｑ（ｒ（ｋ−１））からＱ（ｒ
（ｋ））までの輪郭画素は消去されるので、輪郭画素の
表示は前回表示より短くなることになる。

【００６１】ステップ１１３で完了ボタン１１０３が指
定されたときには、ステップ１１６以降の処理で、輪郭
抽出の最後の仕上げを行う。すなわち、それまでに次々
と抽出されてきた輪郭を閉曲線にする。

【００６２】まず、ステップ１１６では、ｋを１増加さ
せる。しかし、新たにマウスピックにより点が指定され
た訳ではなく、ステップ１１７では、ステップ１０２で
指定した第１番目の画素Ｐ（１）を次の指定画素Ｐ
（ｋ）とみなす。ステップ１１８で行われる自動切り出
しは、ステップ１０８と同じであり、図２で詳細に説明
する。ステップ１１９もステップ１１０と同じである。

【００６３】しかしながら、ステップ１１８の自動切り
出しでは、うまく閉曲線にならないこともある。すなわ
ち、指定画素Ｐ（ｋ−１）からＰ（ｋ）＝Ｐ（１）まで
つながらないこともある。ステップ１２０ではその判定
を行い、分岐処理をする。うまくつながった場合には、
輪郭画素Ｑ（ｒ（ｋ））がＱ（１）＝Ｐ（１）と同じ画
素になるはずである。ステップ１２０で一致しなかった
ときには、ステップ１１８の自動切り出しの結果をキャ
ンセルし、ステップ１２１で手動切り出しを行う。これ
についても図３で詳細に説明する。ステップ１２２で
は、閉曲線になった輪郭を表示する。ステップ１２３で
は輪郭データを保存格納し、終了する。

【００６４】ステップ１１３でモードボタン１１０４が
指定されたときには、ステップ１１５でモードを変更
し、ステップ１０４に戻る。モードの変更は、現モード
が自動モードのときは手動モードに、現モードが手動モ
ードのときは自動モードに、それぞれ変更することにな
る。

【００６５】ステップ１１３でキャンセルボタン１１０
５が指定された場合には、ステップ１０４での右ボタン
指定をなかったことにして、操作メニュー１１０１の表
示を消去し、ステップ１０４に戻る。

【００６６】このような図１の手順により、本実施例の
システムでは、自動抽出、手動抽出、およびＵＮＤＯを
組合せて使うことができ、効率のよい物体切り出しを行
うことができる。従来あるような自動切り出しのみのツ
ールでは、全ての輪郭の部位に対して切り出しが成功す
るとは限らないので、処理を終了し、手動抽出に相当す
る別ツールでこれを補う等の手間が必要になることが多
い。また、全体の輪郭を手切りのみのツールで行うのは
多大な労力が必要である。しかし、上記の図１の手順に
よれば、自動抽出、手動抽出、およびＵＮＤＯを組合せ
て使うことができるので、効率よく対象物を切り出すこ
とができる。

【００６７】図２は、ステップ１０８およびステップ１
１８の自動切り出し処理の詳細な手順を示す。

【００６８】まず、ステップ２０１で、抽出された輪郭
画素の個数を示すパラメータｓ（ｋ）を初期化する。

【００６９】ステップ２０２ではエッジ検出オペレータ
を選択する。エッジ検出オペレータのカーネルは、図５
のエッジ検出オペレータのデータ５０８に蓄えられてい
る。エッジ検出オペレータの選択は、図１のステップ１
０６で指定された指定画素Ｐ（ｋ）と、最後に抽出され
た輪郭画素Ｑ（ｒ（ｋ−１））との関係（ｋの定義によ
り、Ｐ（ｋ＋１）とＱ（ｒ（ｋ））との関係と考えても
同じである）に応じて行われる。すなわち、最後に抽出
された輪郭画素Ｑ（ｒ（ｋ−１））からいま指定された
指定画素Ｐ（ｋ）に向かう方向に応じて、その方向のエ
ッジを検出するのに好適なエッジ検出オペレータを選択
する。

【００７０】図１０は、図５のカーネルデータ５０８に
蓄えられている８つのエッジ検出オペレータのカーネル
パタンの模式図である。この８つの中から１つを選択す
る。図中の角度θは、最後に抽出された輪郭画素Ｑ（ｒ
（ｋ−１））から指定画素Ｐ（ｋ）に向かう有向線分が
水平右方向となす角度を０°から３６０°で表わしたも
のである。この角度θに従いカーネルパタンを選択する
と、Ｑ（ｒ（ｋ−１））からＰ（ｋ）に向かう方向のエ
ッジ成分を最もよく検出する。例えば、図１０の左の列
の一番上のカーネルパタンは、０＜θ＜22.5， 337.5＜
θ＜360 のときに選択されるものであるが、このカーネ
ルパタンによりほぼ水平方向のエッジをうまく検出する
ことができる。他のカーネルパタンも、角度θの方向の
エッジをうまく検出することができるようになってい
る。

【００７１】ここで、図１０に示した各カーネルパタン
の５行×５列のマトリクスは通常の空間フィルタのマス
クを表わしており、従来の技術で述べたコンボリューシ
ョン（従来の技術の欄では３行３列のもので説明した）
のカーネルパタンである。黒丸が１、白丸が−１、それ
以外が０を、それぞれ表わしている。なお、このカーネ
ルパタンに限らず、他のパタンを用いてもよい。また、
候補の数も８つに限らない。もっと細分化してもよい
し、粗くしてもよい。

【００７２】以上のようにステップ２０２でエッジオペ
レータを決定した後、ステップ２０３では、探索処理の
方向を選択する。探索処理の方向の選択とは、それまで
に決定した輪郭画素のうち最後の画素から次に探索する
画素がどの方向にあるかを決定するものである。

【００７３】図９のように、本実施例では、縦方向、横
方向、および４５度方向に沿った探索方法を採用する。
図中、開始点９０１がＱ（ｒ（ｋ−１））に対応し、探
索目標９０２が指定画素Ｐ（ｋ）に対応する。向きも考
えると、探索方向の候補は８方向あることになる。そこ
で、エッジ検出オペレータの選択と同様にして、最後に
抽出された輪郭画素Ｑ（ｒ（ｋ−１））から指定画素Ｐ
（ｋ）へ向かう線分の方向に基づいて、８通りの方向の
うちの１つを選択する。

【００７４】簡単にいえば、２２．５°，６７．５°，
１１２．５°，１５７．５°，２０２．５°，２４７．
５°，２９２．５°，３３７．５°，を境界とし、線分
が横方向に近いときはエッジ探索を縦の数画素について
行ない、線分が縦方向に近い時は、エッジ探索を横の方
向で行ない、また、４５°方向（１３５°、２２５°、
３１５°）に近いときには斜めの探索を行うようにす
る。

【００７５】図９（ａ）では、開始点９０１から探索目
標９０２に向かう方向、すなわち輪郭画素Ｑ（ｒ（ｋ−
１））から指定画素Ｐ（ｋ）へ向かう方向がほぼ横（水
平）方向であるから、探索方向は横方向になり、それま
でに決定された最後の輪郭画素の右側の５つの？が探索
範囲（次の輪郭画素の候補）となっている。図９（ｂ）
では、開始点９０１から探索目標９０２に向かう方向、
すなわち輪郭画素Ｑ（ｒ（ｋ−１））から指定画素Ｐ
（ｋ）へ向かう方向がほぼ縦（垂直）方向であるから、
探索方向は縦方向になり、それまでに決定された最後の
輪郭画素の下側の５つの？が探索範囲（次の輪郭画素の
候補）となっている。図９（ｃ）では、開始点９０１か
ら探索目標９０２に向かう方向、すなわち輪郭画素Ｑ
（ｒ（ｋ−１））から指定画素Ｐ（ｋ）へ向かう方向が
ほぼ４５度方向であるから、探索方向は４５度方向にな
り、それまでに決定された最後の輪郭画素の右上側の５
つの？が探索範囲（次の輪郭画素の候補）となってい
る。

【００７６】なお、探索方向は８つの中から選択するよ
うになっているが、８つに限らず、もっと少なくしても
よいし、多くしてもよい。また、上記のエッジ検出オペ
レータの選択とは独立であり、例えばエッジ検出オペレ
ータは図１０のような８つの方向に応じて選択し、図９
の探索方向は縦横に沿う４方向から選ぶようにしてもよ
い。

【００７７】ステップ２０３で探索方向を決定したら、
ステップ２０４では、図９の探索範囲の各画素（？で図
示してある）に対し、ステップ２０２で選択されたエッ
ジ検出オペレータを作用させる。具体的には、？で図示
してある画素を中心として、上下合計５画素および水平
方向に５画素をとり、それらの画素とエッジ検出オペレ
ータのカーネルパタンとの積和を計算する。

【００７８】ステップ２０５では、ステップ２０４でエ
ッジ検出オペレータを作用させた結果が最大の画素をも
って輪郭画素と決定する。ここで、探索範囲は図９に示
したように５画素としているので、５つの？の画素のう
ち端の画素が輪郭と決定されたときには注意が必要であ
る。すなわち、輪郭画素が桂馬の関係で間が飛ぶことに
なるので、直前までに決定された最後の輪郭画素と今輪
郭画素と決定した？の画素との間の？の画素も一緒に抽
出し、一度に２画素抽出する。

【００７９】ステップ２０６では、ステップ２０５で新
たに輪郭画素が１画素抽出されたか、上述したように２
画素抽出されたかによる分岐である。輪郭画素として抽
出されたのが１画素であるときは、ステップ２０７で、
輪郭画素の個数ｓ（ｋ）を１増加させる。輪郭画素とし
て抽出されたのが２画素であるときは、ステップ２０８
で、輪郭画素の個数ｓ（ｋ）を２増加させる。

【００８０】次に、ステップ２０９では、ステップ２０
５で抽出された輪郭画素が、図９の探索終了線９０３に
達したかどうかを判定し、分岐を行う。探索終了線に達
していないときにはステップ２０４にもどり、次の探索
を行う。終了線に達していたときには図１に戻る。な
お、探索終了線としては、探索目標９０２を通り探索方
向に垂直な方向の直線を取るものとする。この探索終了
線に沿った画素まで、輪郭画素が至ったとき、処理終了
になる。

【００８１】図３は、図１のステップ１０９とステップ
１２１の手動切り出し処理の詳細な手順を示す。

【００８２】ここでは、輪郭画素Ｑ（ｒ（ｋ−１））か
ら指定画素Ｐ（ｋ）までディジタル的に直線を引いて輪
郭とする。図８は、直線を引いた例を示す。このような
直線を引くアルゴリズムは、各種知られており、どれを
採用してもよい。ここでは、最も単純なＤＤＡ（ｄｉｇ
ｉｔａｌｄｉｆｆｅｒｅｎｔｉａｌａｎａｌｙｚｅ
ｒ）アルゴリズムに従う。このアルゴリズムについて
は、例えば、Ｊ．Ｄ．Ｆｏｌｅｙ他３名著、Ｃｏｍｐｕ
ｔｅｒＧｒａｐｈｉｃｓ２ｎｄＥｄｉｔｉｏｎ
−ｐｒｉｎｃｉｐｌｅｓａｎｄｐｒａｃｔｉｃｅ−
，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ，１９９０刊第７
３ページから第７４ページに記載されている。

【００８３】まず、ステップ３０１では、輪郭画素Ｑ
（ｒ（ｋ−１））から指定画素Ｐ（ｋ）への有向線分の
向きが縦か横かの判定を行う。これは、ＤＤＡアルゴリ
ズムが縦と横の場合に用いる座標が逆であるためであ
る。

【００８４】次に、ステップ３０２では、輪郭画素の個
数ｓ（ｋ）を決定する。横方向の場合はＰｉ（ｋ）−Ｑ
ｉ（ｒ（ｋ−１））の絶対値、縦方向の場合にはＰｊ
（ｋ）−Ｑｊ（ｒ（ｋ−１））の絶対値がｓ（ｋ）にな
る。

【００８５】ステップ３０３では、ＤＤＡアルゴリズム
で輪郭画素を決める。これは、横方向の例で説明する
と、Ｑ（ｒ（ｋ−１））からＰ（ｋ）への平均の傾きを
実数値で求めておき、１画素横に進むごとにこれを加算
していき、四捨五入することにより縦の座標Ｑｊ（ｋ
１）を求めるというものである。

【００８６】

【発明の効果】以上説明したように、本発明によれば、
対象物の輪郭の探索を行う方向を指定し、その方向に輪
郭を探索し決定していくので、切り出したい対象や背景
が一様な色や濃度でない場合、あるいは検出したエッジ
の候補が多数表れたりとぎれたりする場合でも、対象と
する物の輪郭を正確に抽出できる。

【図面の簡単な説明】

【図１】本発明の１実施例に係る画像セグメンテーショ
ンシステムの処理の流れ図

【図２】実施例のシステムの自動切り出し処理の流れ図

【図３】実施例のシステムの手動切り出し処理の流れ図

【図４】実施例のシステムのハードウェア構成図

【図５】実施例のシステムのメモリー構成図

【図６】輪郭探索方法の説明図

【図７】輪郭点データの構成図

【図８】手動輪郭点抽出の説明図

【図９】自動輪郭探索方法の説明図

【図１０】エッジ検出カーネルパタンの図

【図１１】操作メニューの説明図

【符号の説明】

４０１…主プロセッサ、４０２…主記憶、４０３…フレ
ームバッファ、４０４…ディスプレイコントローラ、４
０５…ディスプレイ、４０６…入出力プロセッサ、４０
７…ハードディスク、４０８…画像入力装置、４０９…
キーボード、４１０…マウス、４１１…システムバス。

Claims

【特許請求の範囲】

【請求項１】ディジタル的に表現された画像データ中か
ら特定の対象物を切り出す画像セグメンテーション方法
であって、前記対象物の輪郭上の一画素を指定する第１のステップ
と、前記指定された画素から前記対象物の輪郭の探索を行な
う方向を指定する第２のステップと、前記第１のステップで指定された画素から前記第２のス
テップで指定された方向に、前記対象物の輪郭を探索し
決定する第３のステップとを備えたことを特徴とする画
像セグメンテーション方法。
【請求項２】ディジタル的に表現された画像データ中か
ら特定の対象物を切り出す画像セグメンテーション方法
であって、前記対象物の輪郭上の一画素を外部から指定する第１の
ステップと、前記第１のステップで指定された画素またはそれまでに
決定された輪郭上の最後の画素から前記対象物の輪郭の
探索を行なう方向を、外部から、指定する第２のステッ
プと、前記第１のステップで指定された画素またはそれまでに
決定された輪郭上の最後の画素から、前記第２のステッ
プで指定された方向に、前記対象物の輪郭を探索し決定
する第３のステップとを備え、前記第２のステップおよ
び第３のステップを繰り返し実行することにより前記対
象物を切り出すことを特徴とする画像セグメンテーショ
ン方法。
【請求項３】請求項１または２に記載の画像セグメンテ
ーション方法において、前記第２のステップは、前記第
１のステップで指定された画素またはそれまでに決定さ
れた輪郭上の最後の画素の位置と、外部から指定された
画素の位置との関係をもって、輪郭を探索する方向を定
めることを特徴とする画像セグメンテーション方法。
【請求項４】請求項３に記載の画像セグメンテーション
方法において、前記第２のステップは、前記第１のステ
ップで指定された画素またはそれまでに決定された輪郭
上の最後の画素から、外部から指定された画素に向かう
方向をもって、輪郭を探索する方向とすることを特徴と
する画像セグメンテーション方法。
【請求項５】請求項１または２に記載の画像セグメンテ
ーション方法において、前記第３のステップは、前記第２のステップで指定された方向に応じて、その方
向のエッジ成分を選択的に抽出するエッジ検出オペレー
タを選択するステップと、前記第２のステップで指定された方向に応じて、前記第
１のステップで指定された画素またはそれまでに逐次的
に決定された輪郭上の最後の画素から、次に決定される
輪郭上の画素を探索する方向を決定するとともに、該方
向にある所定数の画素を次に決定される輪郭上の画素の
候補として挙げるステップと、前記候補の画素に対し、前記エッジ検出オペレータを作
用させるステップと、前記エッジ検出オペレータを作用させた結果に基づい
て、前記候補の画素から、対象物の輪郭上の次の画素を
決定するステップとを備えたことを特徴とする画像セグ
メンテーション方法。
【請求項６】請求項１または２に記載の画像セグメンテ
ーション方法において、さらに、外部からの入力に応じ
て、逐次的に決定された前記対象物の輪郭を未決定の状
態に戻すステップを備えたことを特徴とする画像セグメ
ンテーション方法。
【請求項７】ディジタル的に表現された画像データ中か
ら特定の対象物を切り出す画像セグメンテーション装置
であって、前記対象物の輪郭上の一画素を指定するための第１の指
定手段と、前記指定された画素から前記対象物の輪郭の探索を行な
う方向を指定するための第２の指定手段と、前記第１の指定手段で指定された画素から前記第２の指
定手段で指定された方向に、前記対象物の輪郭を探索し
決定する輪郭決定手段とを備えたことを特徴とする画像
セグメンテーション装置。
【請求項８】ディジタル的に表現された画像データ中か
ら特定の対象物を切り出す画像セグメンテーション装置
であって、前記対象物の輪郭上の一画素を外部から指定するための
第１の指定手段と、前記第１の指定手段で指定された画素またはそれまでに
決定された輪郭上の最後の画素から前記対象物の輪郭の
探索を行なう方向を、外部から、指定するための第２の
指定手段と、前記第１の指定手段で指定された画素またはそれまでに
決定された輪郭上の最後の画素から、前記第２の指定手
段で指定された方向に、前記対象物の輪郭を探索し決定
する輪郭決定手段とを備えたことを特徴とする画像セグ
メンテーション装置。
【請求項９】請求項７または８に記載の画像セグメンテ
ーション装置において、前記輪郭決定手段は、前記第２の指定手段で指定された方向に応じて、その方
向のエッジ成分を選択的に抽出するエッジ検出オペレー
タを選択する手段と、前記第２の指定手段で指定された方向に応じて、前記第
１の指定手段で指定された画素またはそれまでに逐次的
に決定された輪郭上の最後の画素から、次に決定される
輪郭上の画素を探索する方向を決定するとともに、該方
向にある所定数の画素を次に決定される輪郭上の画素の
候補として挙げる手段と、前記候補の画素に対し、前記エッジ検出オペレータを作
用させる手段と、前記エッジ検出オペレータを作用させた結果に基づい
て、前記候補の画素から、対象物の輪郭上の次の画素を
決定する手段とを備えたことを特徴とする画像セグメン
テーション装置。
【請求項１０】請求項７または８に記載の画像セグメン
テーション装置において、さらに、外部からの入力に応
じて、逐次的に決定された前記対象物の輪郭を未決定の
状態に戻す手段を備えたことを特徴とする画像セグメン
テーション装置。