JP3794502B2

JP3794502B2 - 画像領域抽出方法及び画像領域抽出装置

Info

Publication number: JP3794502B2
Application number: JP32153494A
Authority: JP
Inventors: 知生光永; 卓志戸塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-29
Filing date: 1994-11-29
Publication date: 2006-07-05
Anticipated expiration: 2021-07-05
Also published as: US5887082A; US6252985B1; JPH08163434A

Description

【０００１】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
作用
実施例
（１）全体構成（図１）
（２）実施例による対象物領域の抽出処理（図２〜図７）
（３）実施例による対象物領域抽出アルゴリズム（図８〜図１３）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像領域抽出方法及び画像領域抽出装置に関し、例えば映像制作に関する作業のうち画像合成処理を行う際に必要となるキー信号（マスク画像）を生成する際に適用して好適なものである。
【０００３】
【従来の技術】
従来、画像中より対象物を抽出するための技術として、マスク画像手描き（ビデオマツト）法、クロマキー処理及びルミナンスキー処理や粗輪郭指定と細線化による方法（井上誠喜「画像合成のための対象物抽出方法」電子情報通信学会論文誌 D-II voi.j74-D-II 1411〜1418頁、1991年）がある。
【０００４】
マスク画像手描き法は、ペイントツール等を用いて対象物領域を手描きで指定する方法であり、人が判断できる物体境界を正確に入力できる唯一の方法である。クロマキー処理及びルミナンスキー処理は、画像の色情報や輝度情報などをしきい値処理して領域分割する方法であり、全画素に対して一様な処理を実行するので自動的に処理することができる。また粗輪郭指定と細線化による方法は、対象物の輪郭を含む粗領域を指定し、この粗領域を対象物の輪郭に合致するようにエツジ強度に基づいて細線化して対象物の形状を得る方法である。
【０００５】
【発明が解決しようとする課題】
ところでクロマキー処理及びルミナンスキー処理は、場所によつて大きく性質が異なる画像に対して、画像全体の画素値より単一のしきい値を求める処理のため任意背景の画像には適用できず、合成することを目的に一様な背景で撮影された画像だけしか適用できない。
【０００６】
粗輪郭指定と細線化による方法は、粗い領域を指定しかつ不均一な背景より対象物領域を抽出し得る方法であるが、エツジ強度だけに基づいた処理のために、対象物の輪郭でない強いエツジのある領域では正しい結果が得られないのでビデオマツト法と比較して精度的に劣る場合がある。また背景の性質が画像上の位置によつて異なることに対して単一の領域抽出アルゴリズムを用いているため任意背景に完全に対応することができない。
【０００７】
従つてこれらの方法のうち任意背景より高精度に対象物領域を抽出し得る方法はビデオマツト法しかなかつた。ところがこのビデオマツト法は、対象物領域を１画素単位で指定する作業が必要となるため、熟練と多くの時間が必要となり作業効率がよくないという問題があつた。
【０００８】
本発明は以上の点を考慮してなされたもので、画像中より高精度かつ効率良く所望の領域を抽出し得る画像領域抽出方法及び画像領域抽出装置を提案しようとするものである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、予め指定された、抽出したい対象物と背景との粗い境界領域を表す境界領域画像と原画像とを利用して所望の領域抽出を行う画像領域抽出方法において、境界領域画像の境界領域を複数の小領域で覆う小領域被覆ステツプと、小領域に対して複数の対象物領域抽出アルゴリズムの中から予め設定された対象物領域抽出アルゴリズムを実行し、各小領域より所望の領域とそれ以外の領域との境界を検出する境界検出ステツプと、境界の検出結果を受けユーザにより指定された任意の小領域に対して、予め設定された対象領域抽出アルゴリズムと異なり複数の対象物領域抽出アルゴリズムの中からユーザにより指定された領域抽出アルゴリズムを実行し、各小領域より所望の領域とそれ以外の領域との境界を再検出する境界再検出ステツプと、境界検出ステツプによる検出結果と境界再検出ステツプによる再検出結果とに基づいて境界領域内のマスク画像である境界領域マスク画像を生成する境界領域マスク画像生成ステツプと、境界領域マスク画像と境界領域画像から求めた非境界領域マスク画像とを利用してマスク画像を生成するマスク画像生成ステツプと、マスク画像に基づいて所望の領域抽出を行う領域抽出ステツプとを設けるようにした。
【００１０】
【作用】
境界領域画像を複数の小領域に分割し、当該各小領域に対してそれぞれ予め設定された対象物領域抽出アルゴリズムを実行し、さらにユーザに指定された小領域に対してこれと異なる対象物領域抽出アルゴリズムを実行することにより、各小領域において所望の領域と所望の領域以外の領域との境界を精度良く検出し得、当該検出結果に基づいて境界領域マスク画像を生成し当該境界領域マスク画像に基づいて所望の領域を抽出することができる。これにより、画像中より高精度かつ効率良く所望の領域を抽出し得る。
【００１１】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１２】
（１）全体構成
図１において、１は全体として本発明の実施例による対象物領域抽出装置を示している。図１に示すように、この対象物領域抽出装置１は、境界領域分割部２、境界領域マスク生成部３、非境界領域マスク生成部４及び合成部５によつて構成されている。境界領域マスク生成部３は入力手段（図示せず）を有し、当該入力手段より複数個の対象物領域抽出アルゴリズムが入力される。また各対象物領域抽出アルゴリズムも入力手段を有する。
【００１３】
図１に示すように、対象物領域抽出装置１には、抽出したい対象物を含む画像と、当該対象物と背景との境界領域を粗く指定した粗境界領域画像とが入力される。ここで粗境界領域画像は２値のマスク画像である。境界領域分割部２は入力された粗境界領域画像を小領域に分割し、これらの小領域の位置情報を境界領域マスク生成部３に送出する。
【００１４】
境界領域マスク生成部３は、入力手段より入力される対象物領域抽出アルゴリズムのうち適切な対象物領域抽出アルゴリズムを用いて各小領域に対して対象物抽出処理を実行することにより全境界領域のマスクを生成して合成部５に送出する。ここで対象物領域抽出アルゴリズムの選択は外部入力による。
【００１５】
非境界領域マスク生成部４は入力された粗境界領域以外のマスクを生成し、生成した粗境界領域以外のマスクを合成部５に送出する。合成部５では、境界領域マスク生成部３と非境界領域マスク生成部４で生成された２つのマスクを合成して対象物領域を指定する２値のマスク画像を生成する。
【００１６】
（２）実施例による対象物領域の抽出処理
対象物領域抽出処理装置１では、まず入力された粗境界領域画像を境界領域分割部２で小領域に分割する。この実施例では境界領域を分割する形状として、境界領域の太さよりも大きい定形のブロツクを用いる。ここで境界領域分割部２によるブロツクの生成手順を図２に示す。ステツプＳＰ１より開始して、ステツプＳＰ２において、まず図３（Ａ）に示すように画像中にブロツクを格子状に生成した後、図３（Ｂ）に示すように、生成したブロツクのうち境界領域が横切るブロツク以外のブロツクを消去する。
【００１７】
次にステツプＳＰ３に進み、図３（Ｃ）に示すように、残つたブロツクについて、境界領域がブロツクの中心付近を通過するように各ブロツクを移動させ、全境界領域がブロツクのいずれかに含まれるようにする。このとき全境界領域がブロツクのいずれかに含まれるという条件が満たされない場合には、格子をずらしてブロツクを生成してブロツク数を増やした後、再度ステツプＳＰ１及びステツプＳＰ２の処理を実行する。全境界領域がブロツクのいずれかに含まれると、ステツプＳＰ５において処理を終了し、各ブロツクの位置情報が境界領域マスク生成部３に送出される。
【００１８】
図４に示すように、境界領域マスク生成部３は、制御部３Ａ、サンプリング部３Ｂ、マスク生成部３Ｃ及びスイツチ３Ｄより構成されている。制御部３Ａは境界領域マスク生成部３全体を制御しており、制御部３Ａの処理手順を図５に示す。制御部３Ａは非選択モードと選択モードの２種類の状態を有する。非選択モードは画像データ入力が更新されたときに選択され、最初の結果を出力するモードである。選択モードは任意のブロツクに対して対象物領域抽出処理をインタラクテイブに実行するモードであり、新しい画像入力に対して非選択モードによる最初の結果をみて、修正が必要なブロツクに対して選択モードによる対象物領域抽出処理を実行する。
【００１９】
非選択モードでは、入力されたブロツク位置リストの全ブロツクに対して以下の処理を実行する。図５に示すように、まず対象物領域抽出アルゴリズムを選択する（アルゴリズム番号更新）。この場合非選択モードでは全て予め設定したデフオルトのアルゴリズムが選択される。次にサンプリング部３Ｂに知らせるブロツクを更新する（ブロツク番号更新）。非選択モードでは全ブロツクが順に選択される。
【００２０】
次にサンプリング部３Ｂにブロツク位置を指定し、画像データと粗境界領域画像より必要な領域をサンプリングするようにサンプリング命令を出力する。サンプリング部３Ｂでは、画像データと入力された粗境界領域画像より、制御部３Ａより通知されたブロツク位置の領域を切り出してそれぞれのブロツクを生成する。生成した２つのブロツクは対象物領域抽出処理に用いるためにスイツチ３Ｄを介していずれかの対象物領域抽出アルゴリズムに送られる。
【００２１】
次に制御部３Ａはスイツチ３Ｄに対し、選択された対象物領域抽出アルゴリズムと現在のモードを知らせて対象物領域抽出処理を実行させる。すなわち各対象物領域抽出アルゴリズムとのインタフエースであるスイツチ３Ｄは、選択されたアルゴリズムに対して、動作モード（非選択モード又は選択モード）と入力データとしての２つのブロツクとを送出する。またスイツチ３Ｄはアルゴリズムからの対象物領域抽出結果を受け取つてマスク生成部３Ｃにその結果とブロツクの位置情報とを送出する。
【００２２】
全ブロツクに対して以上の処理が終了すると、制御部３Ａはマスク生成部３Ｃに境界領域マスク画像を出力する許可を送る。すなわちマスク生成部３Ｃは得られた各ブロツクの対象物領域抽出結果を画像上に並べて境界領域マスク画像を生成し、制御部３Ａより出力の許可を得ると、生成した境界領域マスク画像を出力する。またマスク生成部３Ｃは、境界領域マスク画像を生成したとき、各ブロツクの対象物領域抽出結果のうち粗境界領域画像によつて指定される画素だけ結果にコピーする。
【００２３】
図６に示すように、非境界領域マスク生成部４では、境界領域の外側がα＝０、境界領域の内側がα＝１、境界領域が不定（便宜上α＝0.5 とする）であるようなマスク画像を生成する。境界領域の内側領域の判別は、入力される粗境界領域画像の内側領域の任意の点に予めシードポイントを入れておくことにより、塗りつぶし処理で判別する。
【００２４】
以上のようにして境界領域マスク生成部３で生成された境界領域マスク画像と、非境界領域マスク生成部４で生成された非境界領域マスク画像とは、図７に示すように合成部５で合成されてマスク画像として出力される。すなわち合成部５は、非境界領域マスク画像のうち画素値が0.5 である画素を境界領域マスク画像の画素値に置き換える操作をする。
【００２５】
（３）実施例による対象物領域抽出アルゴリズム
対象物領域抽出装置１では、複数の対象物領域抽出アルゴリズムを用意している。この実施例では、対象物領域抽出アルゴリズムとして、楕円体色空間分割による方法と軸選択エツジの検出による方法を用いた場合について説明する。またこの実施例では、非選択モードで軸選択エツジの検出による方法が選択されるものとする。
【００２６】
まず楕円体色空間分割法は、画像中の所定単位毎の画素データの色情報を色空間上に配して得られる色分布を任意個数の３次元楕円体面で近似し、当該楕円体面を用いて色空間を分割して、各画素を判別する方法である。この楕円体色空間分割法を対象物領域抽出アルゴリズムとして実施例に適用した場合の処理手順を図８に示す。
【００２７】
この実施例ではブロツク内の画素値が与えられる。まずステツプＳＰ１より開始して、ステツプＳＰ２において、図９（Ａ）に示すようにブロツク内において分けたい２領域の内側をラフに入力する。次にステツプＳＰ３において、図９（Ｂ）に示すように、上述の楕円体近似のアルゴリズムを用いて２領域に対しそれぞれの楕円体を決定する。これにより色空間が、対象物領域（α＝１）、背景領域（α＝０）及び境界領域（０＜α＜１）に分けられる。
【００２８】
その後ステツプＳＰ４に進み、図９（Ｃ）に示すように、各画素が対象物領域、背景領域及び境界領域のどの領域に属するかを判別し、抽出結果として各画素のα値が出力され、ステツプＳＰ５において処理を終了する。この場合境界領域に属するときは２つの楕円体に対する位置関係によつてα値が計算される。
【００２９】
次に軸選択エツジ検出による方法は、画像上又は色空間上においてエツジ検出軸方向を選択して対象物境界をエツジ検出する方法である。この軸選択エツジ検出による方法を対象物領域抽出アルゴリズムとして用いた場合の処理手順を図１０に示す。まず非選択モードとして画像上の軸選択を行う方法を用いる。ここで非選択モードではインタラクテイブな入力は行わない。
【００３０】
この実施例ではブロツク内で粗境界領域の場所を得ることができる。ステツプＳＰ１より開始して、ステツプＳＰ２において、図１１（Ａ）に示すように粗境界領域内の各画素に対し、粗境界領域の接線の法線方向に軸を設定する。次にステツプＳＰ３に進み、図１１（Ｂ）に示すように粗境界領域内の各画素に対し、設定した軸方向の勾配のエツジを検出して対象物境界を検出する。次にステツプＳＰ４に進み、図１１（Ｃ）に示すように対象物側を塗りつぶして対象物領域を抽出し、ステツプＳＰ５において処理を終了する。この場合ブロツク内が対象物境界のエツジ点によつて２分割されるので、対象物側を塗りつぶすことによつて対象物領域を抽出することができる。
【００３１】
次に選択モードとして色空間上の軸選択を行う方法を用いた場合の処理手順を図１２に示す。ステツプＳＰ１より開始して、ステツプＳＰ２において、図１３（Ａ）に示すように色空間上の軸方向を入力する。次にステツプＳＰ３に進み、図１３（Ｂ）に示すように画素値を選択された軸方向に射影し、この値を用いてエツジを検出して対象物境界を検出する。次にステツプＳＰ４に進み、図１３（Ｃ）に示すように対象物側を塗りつぶすことにより対象物領域を抽出し、ステツプＳＰ５において処理を終了する。この場合ブロツク内が対象物境界のエツジ点によつて２分割されるので、対象物側を塗りつぶすことによつて対象物領域を抽出することができる。
【００３２】
以上の構成によれば、画像中の対象物輪郭を含む領域を複数のブロツクに分割し、対象物領域抽出アルゴリズムとして楕円体色空間分割法又は軸選択エツジ検出法を用いて各ブロツク毎に個別に対象物領域抽出処理を実行したことにより、画像中より高精度かつ効率良く対象物領域を抽出することができる。
【００３３】
なお上述の実施例においては、対象物領域抽出アルゴリズムとして楕円体色空間分割法や軸選択エツジ検出法を用いた場合について述べたが、本発明はこれに限らず、他の対象物領域抽出アルゴリズムを用いてもよい。
【００３４】
【発明の効果】
上述のように本発明によれば、所望の領域と当該所望の領域以外の領域との境界領域が粗く指定された粗境界領域画像を複数の小領域に分割し、当該各小領域に対してそれぞれ予め設定された対象物領域抽出アルゴリズムを実行し、さらにユーザに指定された小領域に対してこれと異なる対象物領域抽出アルゴリズムを実行することにより、各小領域において所望の領域と所望の領域以外の領域との境界を精度良く検出し得、当該検出結果に基づいて境界領域マスク画像を生成して、当該境界領域マスク画像に基づいて所望の領域を抽出することにより、画像中より高精度かつ効率良く所望の領域を抽出し得る。
【図面の簡単な説明】
【図１】対象物領域抽出装置の概略構成を示すブロツク図である。
【図２】境界領域分割の処理手順を示すフローチヤートである。
【図３】境界領域分割部での処理の流れを示すブロツク図である。
【図４】境界領域マスク生成部での処理の流れを示すブロツク図である。
【図５】境界領域マスク生成部の制御部での処理の流れを示すブロツク図である。
【図６】非境界領域マスク生成部での処理の流れを示すブロツク図である。
【図７】合成部での処理の流れを示すブロツク図である。
【図８】対象物領域抽出アルゴリズムとして楕円体色空間分割法を実施例に適用した場合の処理手順を示すフローチヤートである。
【図９】対象物領域抽出アルゴリズムとして楕円体色空間分割法を実施例に適用した場合の処理の流れを示す略線図である。
【図１０】対象物領域抽出アルゴリズムとして画像上の軸選択を実施例に適用した場合の処理手順を示すフローチヤートである。
【図１１】画像上の軸選択を用いた場合の処理の流れを示す略線図である。
【図１２】対象物領域抽出アルゴリズムとして色空間上の軸選択を実施例に適用した場合の処理手順を示すフローチヤートである。
【図１３】色空間上の軸選択を用いた場合の処理の流れを示す略線図である。
【符号の説明】
１……対象物領域抽出装置、２……境界領域分割部、３……境界領域マスク生成部、３Ａ……制御部、３Ｂ……サンプリング部、３Ｃ……マスク生成部、３Ｄ……スイツチ、４……非境界領域マスク生成部、５……合成部。

Claims

予め指定された、抽出したい対象物と背景との粗い境界領域を表す境界領域画像と原画像とを利用して所望の領域抽出を行う画像領域抽出方法において、
上記境界領域画像の境界領域を複数の小領域で覆う小領域被覆ステツプと、
上記小領域に対して複数の対象物領域抽出アルゴリズムの中から予め設定された対象物領域抽出アルゴリズムを実行し、上記各小領域より上記所望の領域とそれ以外の領域との境界を検出する境界検出ステツプと、
上記境界の検出結果を受けユーザにより指定された任意の上記小領域に対して、上記予め設定された対象領域抽出アルゴリズムと異なり上記複数の対象物領域抽出アルゴリズムの中から上記ユーザにより指定された領域抽出アルゴリズムを実行し、上記各小領域より上記所望の領域とそれ以外の領域との境界を再検出する境界再検出ステツプと、
上記境界検出ステツプによる検出結果と上記境界再検出ステツプによる再検出結果とに基づいて上記境界領域内のマスク画像である境界領域マスク画像を生成する境界領域マスク画像生成ステツプと、
上記境界領域マスク画像と上記境界領域画像から求めた非境界領域マスク画像とを利用してマスク画像を生成するマスク画像生成ステツプと、
上記マスク画像に基づいて上記所望の領域抽出を行う領域抽出ステツプと
を具えることを特徴とする画像領域抽出方法。
上記小領域被覆ステツプは、
上記境界領域が各小領域におけるそれぞれの中心付近を通過すると共に全境界領域が当該小領域のいずれかに含まれるよう、上記境界領域を上記複数の小領域で覆う
ことを特徴とする請求項１に記載の画像領域抽出方法。
上記マスク画像生成ステツプは、
上記境界領域画像の境界領域、当該境界領域の外側、及び当該境界領域の内側を判別可能な上記非境界領域マスク画像を利用して上記マスク画像を生成する
ことを特徴とする請求項１に記載の画像領域抽出方法。
上記マスク画像生成ステツプは、
上記非境界領域マスク画像の境界領域部分に対してのみ、上記境界領域マスク画像の情報を更新する
ことを特徴とする請求項１に記載の画像領域抽出方法。
上記対象物領域抽出アルゴリズムは、
画像中の所定方向にエツジ検出軸を設定し、当該エツジ検出軸方向に沿った画素値の勾配におけるエツジを検出して、当該検出したエツジを境界として画像領域を分割し抽出する処理である
ことを特徴とする請求項１に記載の画像領域抽出方法。
上記対象物領域抽出アルゴリズムは、
画像を構成する画素の色情報を３次元の色空間上に配し、当該色空間内の所定方向にエツジ検出軸を設定して各画素の色情報を当該エツジ検出軸方向に射影したときの値を基にエツジを検出して、当該検出したエツジを境界として各画素を２つの領域に分割し、一方の領域を抽出する処理である
ことを特徴とする請求項１に記載の画像領域抽出方法。
予め指定された、抽出したい対象物と背景との粗い境界領域を表す境界領域画像と原画像とを利用して所望の領域抽出を行う画像領域抽出装置において、
上記境界領域画像の境界領域を複数の小領域で覆う小領域被覆手段と、
上記小領域に対して複数の対象物領域抽出アルゴリズムの中から予め設定された対象物領域抽出アルゴリズムを実行し、上記各小領域より上記所望の領域とそれ以外の領域との境界を検出する境界検出手段と、
上記境界の検出結果を受けユーザにより指定された任意の上記小領域に対して、上記予め設定された対象領域抽出アルゴリズムと異なり上記複数の対象物領域抽出アルゴリズムの中から上記ユーザにより指定された領域抽出アルゴリズムを実行し、上記各小領域より上記所望の領域とそれ以外の領域との境界を再検出する境界再検出手段と、
上記境界検出手段による検出結果と上記境界再検出手段による再検出結果とに基づいて上記境界領域内のマスク画像である境界領域マスク画像を生成する境界領域マスク画像生成手段と、
上記境界領域マスク画像と上記境界領域画像から求めた非境界領域マスク画像とを利用してマスク画像を生成するマスク画像生成手段と、
上記マスク画像に基づいて上記所望の領域抽出を行う領域抽出手段と
を具えることを特徴とする画像領域抽出装置。
上記小領域被覆手段は、
上記境界領域が各小領域におけるそれぞれの中心付近を通過すると共に全境界領域が当該小領域のいずれかに含まれるよう、上記境界領域を上記複数の小領域で覆う
ことを特徴とする請求項７に記載の画像領域抽出装置。
上記マスク画像生成手段は、
上記境界領域画像の境界領域、当該境界領域の外側、及び当該境界領域の内側を判別可能な上記非境界領域マスク画像を利用して上記マスク画像を生成する
ことを特徴とする請求項７に記載の画像領域抽出装置。
上記マスク画像生成手段は、
上記非境界領域マスク画像の境界領域部分に対してのみ、上記境界領域マスク画像の情報を更新する
ことを特徴とする請求項７に記載の画像領域抽出装置。