JP3814353B2 - 画像分割方法および画像分割装置 - Google Patents
画像分割方法および画像分割装置 Download PDFInfo
- Publication number
- JP3814353B2 JP3814353B2 JP32329996A JP32329996A JP3814353B2 JP 3814353 B2 JP3814353 B2 JP 3814353B2 JP 32329996 A JP32329996 A JP 32329996A JP 32329996 A JP32329996 A JP 32329996A JP 3814353 B2 JP3814353 B2 JP 3814353B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- extracted
- region
- line
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、基準画像を用いて入力画像から抽出対象となる画像領域を分割するための画像分割方法および画像分割装置に関する。
【０００２】
【従来の技術】
一般に、画像切出し（抽出）を行う手法として、特定の色背景を用いるクロマキーや、所定の画像処理（ヒストグラム処理、差分、微分処理、輪郭強調、輪郭追跡など）によりキー信号を生成するビデオマット（テレビビジョン学会報告、VOL.12,pp.29-34,1988）などの手法が知られている。
【０００３】
上述の手法において、背景画像との差分に基づいて画像抽出を行う手法は古典的なものであり、例えば、特開平４−２１６１８１号公報には、背景画像と処理対象画像との差分データにマスク画像（特定処理領域）を設定して画像中の複数の特定領域における対象物体を抽出また検出する方法が記載されている。また、特公平７−１６２５０号公報に記載の方式では、抽出対象の色彩モデルを用いて背景を含む原画像の色彩変換データ、背景画像と原画像との明度の差データから抽出対象の存在確立分布を求めて画像抽出を行う。
【０００４】
背景画像との差分方式は、一般的には背景画像と被写体像の各画素間で輝度レベルまたは色成分などの差異を所定の評価関数で表し、閾値処理して差異レベルが所定値以上の領域を抽出するものである。例えば評価関数としては、各点を中心とする所定サイズのブロック間の相互間数（Digital Picture Processing(2nd ed),by Rosendfeld,A. and Kak,A.C.,Academic Press,1982) 、正規化主成分特徴量（電子情報通信学会論文誌 Vol.J74-D-II,pp. 1731-740)、標準偏差値と差分値との重み付き加算値（テレビジョン学会誌、VOL.45,pp.1270-1276,1991）、色相と輝度レベルに関する局所ヒストグラム間距離（テレビジョン学会誌、VOL.45,pp.1270-1276,1991）などがある。
【０００５】
また、特定対象の識別、認識を行う手法としては、その対象に関するモデル画像またはテンプレートを予め準備し、また識別対象の物体の画像領域を予め他の領域と分離するかまたは識別対象画像領域の大きさの正規化、位置の固定などを行うかまたは大きさが異なる複数のモデル画像を用意し、対象画像上を走査しながらモデル画像またはテンプレートと識別対象との類似度を相関関係などの尺度を用いて判定する方法が多く用いられている。
【０００６】
【発明が解決しようとする課題】
しかし、画像切出しにおいて、クロマキー方式では、特別な色背景を要するなど背景に対する制約が大きく屋外での使用が難しい、また背景と同色の被写体領域では色抜けが生じるなどの問題がある。また、ビデオマット方式では、輪郭の指定作業において作業者が画素単位で正確に行う必要があるから、輪郭の指定作業には労力と熟練とを要するという問題がある。
【０００７】
また、上述した背景画像との差分方式では、被写体上の背景と類似した部分領域において背景か被写体かを判別することが難しいこと、背景画像と入力画像間での撮影条件（例えば露光条件、倍率、照明条件、ピント条件、視点位置など）の差異を一般的に許容しないことなどの問題がある。特に、入力画像の被写体を除いた背景と背景画像とが異なる場合には、仮にそれらが類似していてもそれらの差異に関する許容度は著しく低い。また、ノイズの影響を排除しながら被写体の細かい輪郭形状、細かな凹凸形状を残すことは非常に難しい。
【０００８】
特定対象画像の識別、認識方式においては、上述したような前処理のうち他の領域との分離処理が一般的に認識技術の表裏一体をなし複雑かつ困難なものになる。また、予め認識対象の大きさ、位置が分からないために行う上述のサイズ位置などの正規化を自動化することは難しい。さらに、サイズが異なる複数のモデル画像を用意することはデータベースの記憶容量の制約により制限され、汎用化は非常に難しい。
【００１３】
本発明の目的は、基準画像と入力画像の背景部分との間にある違いに対する許容度が高い画像切出しを行うことができる画像分割方法および画像分割装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために本願の請求項１に記載の発明は、入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割方法であって、前記入力画像および前記基準画像の各画像中におけるエッジ強度分布を抽出するエッジ強度分布抽出ステップと、前記抽出された各画像中におけるエッジ強度分布に基づき該各画像中における各エッジについて所定の方向別ラインを検出し、方向別ラインラベル付けを行う方向別ライン検出ステップと、前記各画像における前記検出された方向別ラインの分布に基づき前記抽出対象となる画像領域に特異な輪郭部分を抽出する特異輪郭抽出ステップと、前記抽出された特異輪郭部分を表す分布データに基づき前記抽出対象となる画像領域を切り出す画像切出しステップとを有し、前記特異輪郭抽出ステップは、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出ステップを有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする。
【００１５】
また本願の請求項５に記載の発明は、入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割装置であって、前記入力画像および前記基準画像の各画像中におけるエッジ強度分布を抽出するエッジ強度分布抽出手段と、前記抽出された各画像中におけるエッジ強度分布に基づき該各画像中における各エッジについて所定の方向別ラインを検出し、方向別ラインラベル付けを行う方向別ライン検出手段と、前記各画像における前記検出された方向別ラインの分布に基づき前記抽出対象となる画像領域に特異な輪郭部分を抽出する特異輪郭抽出手段と、前記抽出された特異輪郭部分を表す分布データに基づき前記抽出対象となる画像領域を切り出す画像切出し手段とを有し、前記特異輪郭抽出手段は、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出手段を有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする。
【００１６】
また本願の請求項９に記載の発明は、入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割装置であって、前記基準画像を記憶する記憶手段と、前記入力画像および前記基準画像の各画像におけるエッジ分布を抽出するエッジ抽出手段と、前記抽出された各画像中におけるエッジ分布に基づき該各画像における方向別ライン分布を検出する方向別ライン検出手段と、前記基準画像と前記入力画像との間の対応点情報を抽出する対応点抽出手段と、前記抽出された対応点情報に基づき前記各画像のいずれか一方に対し幾何学的変換を施す変換手段と、前記幾何学的変換が施された画像と他方の画像間の前記方向別ライン分布の差異に基づき特異エッジを抽出する特異エッジ抽出手段と、前記抽出された特異エッジに基づき前記入力画像から前記抽出対象となる画像領域を分割する分割手段とを有し、前記特異エッジ抽出手段は、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出手段を有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする。
【００３２】
【発明の実施の形態】
以下に、本発明の実施の形態について図を参照しながら説明する。
【００３３】
（実施の第１形態）
図１は本発明の画像分割装置の実施の一形態を構成する画像切出し手段の構成を示すブロック図である。
【００３４】
本実施の形態では、切出し対象となる被写体を含む入力画像と該被写体を除いた背景画像とを用いて、入力画像から被写体を切り出す処理を行う。入力画像および背景画像は、図１に示すように、画像入力手段１から画像切出し手段２に入力される。画像入力手段１は、例えば、レンズ、絞りおよびそれらの駆動制御手段を含む結像工学系、イメージセンサ、映像信号処理回路部、画像記録部などを主な構成要素とする撮像装置からなる。
【００３５】
画像切出し手段２は、図１に示すように、画像入力手段１から入力される入力画像および背景画像と、マウス、キーボートなどのデータ入力手段１５から入力されるデータとを記憶する記憶手段３と、入力画像と背景画像との間の対応点を探索し、対応点位置データを生成する対応点抽出手段７とを有する。
【００３６】
生成された対応点位置データは幾何学的変換手段８に与えられ、幾何学的変換手段８は対応点位置データに基づき背景画像または入力画像の一方に対し幾何学的変換を施す。一方に幾何学的変換が施された各画像は階調変換推定および変換手段（以下、階調変換手段）９に与えられ、階調変換手段９は、対応点間の画像値（例えばＲ，Ｇ，Ｂ値など）データに基づき対応点を含む領域の画素間の階調が略等しくするための階調変換関数を推定し、この階調変換関数を用いて一方の画像に階調補正を施す。
【００３７】
幾何学的変換、階調変換後の各画像はエッジ強度抽出手段４に与えられ、エッジ強度抽出手段４は各画像におけるエッジ分布を抽出する。抽出された各画像のエッジ分布は方向別ラインラベリング手段５および局所支配的ライン方向抽出手段６に与えられる。方向別ラインラベリング手段５は、抽出された各画像のエッジ分布に基づき各エッジについて方向別ライン検出とラベリングとを行う。局所支配的ライン方向抽出手段６は、各画像を適当なサイズの複数のブロックに分割し、エッジ分布に基づき局所的支配的ライン方向検出とラベルリングとを行う。
【００３８】
ラベリング処理によって得られた各データは特異輪郭抽出復元手段１０に与えられ、特異輪郭抽出復元手段１０は、入力画像と背景画像との同一近傍領域において対応する方向別ラインラベルが異なる入力画像中のエッジを被写体の輪郭線、すなわち特異輪郭として抽出するとともに、該特異輪郭を平滑化した後に初期核の一部として復元する処理を行う。
【００３９】
抽出された特異輪郭は初期マスク領域抽出手段１１に与えられ、初期マスク領域抽出手段１１は閾値処理により特異輪郭の一部を初期核として抽出する。抽出された初期核は領域成長手段１２に与えられ、領域成長手段１２は初期核の近傍領域との類似度の閾値処理により領域成長を行う。
【００４０】
領域成長によって得られた成長領域データは切出し画像出力手段１３に与えられ、切出し画像出力手段１３は、成長領域データが示す領域を被写体切出しマスク領域とし、この被写体切出しマスク領域に該当する領域を入力画像から抽出する。抽出された領域の画像データは画像表示手段１４に与えられ、画像表示手段１４は抽出された領域の画像データが示す画像（被写体）を表示する。
【００４１】
次に、本実施の形態における画像切出し処理について図２ないし図５を参照しながら説明する。図２は図１の画像切出し手段による画像切出し処理を示すフローチャート、図３は図２の画像切出し処理における画像入力処理を示すフローチャート、図４は図２の画像切出し処理における初期核データ処理を示すフローチャート、図５は図２の画像切出し処理における初期の領域成長処理を示すフローチャートである。
【００４２】
図２を参照するに、まずステップＳ１で画像入力処理を行う。この画像入力処理では、図３に示すように、ステップＳ１０１で画像入力手段１から切出すべき対象（被写体）が存在する入力画像とその対象が存在しない背景画像とを画像入力手段１から入力し、記憶手段３に記憶する。次いで、後続の処理の効率を上げるために、ステップＳ１０２で、適当な縮尺率で入力された画像データの間引き処理を行い、続くステップＳ１０３で、入力画像に対し被写体を含む領域を処理領域として設定する領域設定をデータ入力手段１５のマウスなどを用いて行う。この間引き、領域設定後の各画像は再度記憶手段３に記憶され、この記憶された画像が後続の処理に用いられる。
【００４３】
次いで、ステップＳ２に進み、各画像の左右端から画像フレーム幅の２５％から３５％の領域範囲で、または前記ステップＳ１０３で処理領域が設定されている場合にはその領域の外側領域で、各画像間の対応点の探索と抽出とを対応点抽出手段７で行う。この対応点の探索範囲の設定例を図９（ａ），（ｂ）に示す。入力画像（対象画像）を図９（ａ）に示す画像とし、背景画像（基準画像）を図９（ｂ）に示す画像とすると、各画像の左右端からの所定領域範囲（左右端から２点鎖線で示す位置までの範囲）が対応点探索範囲として設定され、丹生りょｋ画像において対応点探索範囲に被写体の一部分が含まれるときでも、この対応点探索範囲は標準的に固定される。対応点探索範囲に被写体の一部分が含まれることにより対応点の抽出誤差が発生することがあるが、後述する対応点の絞り込みにより誤って抽出された対応点は排除され、対応点の抽出誤差に起因する問題（幾何学的変換誤差）の発生は未然に防止される。
【００４４】
対応点の抽出は、後述する背景画像または入力画像のいずれか一方に対する幾何学的変換に対する、視点位置の変動、手振れなどによる画像の位置ずれ、回転などの変動、倍率変動などの条件の違いを吸収する目的で行われる。この対応点の抽出方法としては、一方の画像の各点を中心とした所定サイズのブロックと他方の画像の所定サイズのブロック間において、相関係数が最大となる互いの点どうしを求めるブロックマッチング方法が用いられるが、これに代えて他の方法を用いることも可能である。対応点が抽出されると、抽出された各対応点の位置を示す対応点位置データが生成される。
【００４５】
次いで、ステップＳ３に進み、幾何学的変換手段８により、対応点位置データを用いて各画像間の互いに対応する画素の位置が一致するようにすなわち画像フレーム内の同一位置となるように、一方の画像に幾何学的変換を施すための変換行列の推定と変換を行う。本実施の形態では、背景画像に幾何学的変換を施すものとする。この幾何学的変換には、平行移動、回転、ある点を中心とした拡大縮小、またはこれらの組合せによる変換が含まれている。この処理においては、対応点間で推定された変換行列を用いて一方の点から他方の対応する点への変換を行い、変換された点と対応すべき点との位置の誤差が予め定められている閾値より大きくなるような対応点の組を除外し、残りの対応点の組を用いて変換行列の推定を再度行うようにしてもよい。また、上述した誤差の平均値が所定の閾値以下となるまで対応の絞り込みを繰り返し行うようにしてもよい。
【００４６】
続くステップＳ４では、階調変換手段９により、対応点どうしの画素レベルが一致するような階調変換の変換関数または変換表を作成し、変換関数または変換表に従い一方の画像の階調を変換（補正）する。本実施の形態では、背景画像に対し階調変換を行うものとする。具体的には、ＲＧＢの各画素値について背景画像と入力画像間の対応点の変換関数または変換表（ＲＧＢの各レベル、すなわち０から２５５レベルまでの各レベルに対する変換値を表す関数または表）を最小二乗法などにより回帰分析により推定する。変換関数または変換表に従う階調変換を行うことにより、露光条件やホワイトバランス特性などの変動を入力画像と背景画像間で吸収して後述する画像切出しの精度を安定的に向上させることができる。
【００４７】
一方の画像の階調の変換後、ステップＳ５に進み、エッジ強度抽出手段４により、エッジ抽出処理を行い、続くステップＳ６で、方向別ラインラベリング手段５により方向別ライン検出とラベリングとを行う。エッジ抽出処理では、ＳＯＢＥＬ演算子などの微分処理演算子などを用いる。また、方向別ライン検出とラベリングとしては、例えば、水平方向、垂直方向、４５度斜め方向、−４５度斜め方向の順に、
【００４８】
【数１】
の各行列と画像とのコンボリューション演算を行い、その値の高低に基づきラベル付けを各画素毎に行う方法が用いられる。具体的には、各方向検出演算子（行列）とエッジデータとのコンボリューション値が所定の閾値より大でかつ最大となる方向に対しラベル付けが行われる。いずれの方向も閾値以下の場合は、ラベルなしとなる。または適正な閾値を用いてコンボリューション値が閾値以上の値を有する画素に、各ラインのラベル付けを重複を許して与えてもよい。方向別ライン検出は上述の方法によるものに限定されることはなく、例えばより精密な方向検出のためには、検出行列のサイズを５×５以上にして与えることにより、上記４方向に加えて＋／−３０度方向、＋／−６０度方向などを検出することができる。
【００４９】
次いで、ステップＳ７に進み、局所支配的ライン方向抽出手段６により、局所的ライン方向抽出手段６で画像を適当なサイズ例えば５×５画像サイズの複数のブロックに分割し、各ブロック内で各方向別ラベル付きエッジの総数を求め、その総数の最も多くラベルが付された方向を局所支配的ライン方向として、ブロックのライン方向ラベル代表値を抽出し、そのブロック内の各画素位置に同一ラベルを付与する。
【００５０】
この局所支配的ライン方向の抽出過程の一例を図１１に示す。例えば、図１１（ａ）に示す画像を入力画像（対象画像）とし、図１１（ｂ）に示す画像を背景画像（基準画像）とすると、ステップＳ７には前記ステップＳ３で幾何学的変換が施された背景画像が与えられ、この背景画像と入力画像とは、図１１（ｃ），（ｄ）に示すように、所定サイズの複数のブロックに分割される。各画像の各ブロックのライン方向が検出され、対応するブロックには方向別ラベルが付与される。そのラベル付与の結果、入力画像、背景画像の各画像の対応するブロックのそれぞれには、図１１（ｅ），（ｆ）に示すように、水平方向ラベル、垂直方向、４５度方向ラベルまたは−４５度方向ラベルが付与されることになる。
【００５１】
このラベリング処理後、ステップＳ８に進み、特異輪郭抽出復元手段１０により、特異輪郭抽出処理を行う。基本的には、背景画像上のエッジと異なる方向ラベルを有するラインを被写体固有の輪郭線すなわち特異輪郭として抽出するが、背景画像と入力画像間の位置合せすなわち幾何学的変換に伴う誤差、または幾何学的変換誤差がなくてもフォーカシング変動、露光（照明）条件変動により、同じ背景部分であっても同一ラインが同一場所に存在するとは限らない。
【００５２】
このような問題に対応するために、背景画像の局所支配的ラインラベルを用いて各画素位置においてそのラベルと入力画像におけるライン方向ラベルとを比較し、そのラベルと入力画像におけるライン方向ラベルとが一致すれば、そのラインを背景画像の領域部分のエッジの一部であると推定し、異なれば、そのラインを被写体固有の輪郭（特異輪郭）の一部として抽出する方法が用いられている。本例では、入力画像の方向別ラインラベルと背景画像の局所支配的方向別ラインラベルとを用いているが、この逆の組合せ、または全てのラベルを用いて特異輪郭の抽出を行うことも可能である。
【００５３】
また、他の方法としては、入力画像の各エッジ上の点と同一位置を中心として背景画像上に局所的に近傍領域（例えば５×５画像サイズ）を設け、その領域内でエッジを探索し、同一ラベルのエッジが存在すればそのエッジを背景領域のエッジであると判定し、ラベルが異なれば特異輪郭として抽出するものを用いることができる。
【００５４】
さらに、特異輪郭抽出のさらに他の例を図１２に示す。背景のパターンが無地の被写体（切出し対象）によって遮られ、かつ被写体の色または画素値と背景部分の画素値の間に大きな差がない場合、すなわち低コントラストな部分が存在する場合には、上述した方法によりラベル付けを行っても、所望の被写体固有の輪郭線を容易に抽出することができないことが多い。具体的には、図１２（ａ）に示す画像を入力画像（対象画像）とし、図１２（ｂ）に示す画像を背景画像（基準画像）とし、入力画像における被写体の鉢の輪郭線の一部（点線で示す部分）が低コントラストであるときには、この輪郭線の一部を抽出することができないことがある。そこで、図１２（ｃ），（ｄ）に示すように、各画像を所定サイズの複数のブロックに分割して各ブロックに局所支配的ライン方向ラベルを付与する。次いで、図１２（ｅ）に拡大図示したラベルなしのブロックとラベル付きブロックとの境界上（またはその最近傍）の点から局所的に背景または被写体の輪郭線の端点位置を探索、抽出する。この場合、背景の輪郭線部分は高コントラストかつ明瞭に現れているから、検出を容易に行うことができる。この端点位置どうしを結ぶことにより被写体と背景との境界線、すなわち遮蔽輪郭線を被写体の輪郭線（特異輪郭）として抽出することができる。
【００５５】
このように、ステップＳ２からステップＳ８までの処理により、撮影条件の変動、特に視点位置、フォーカシング、倍率などが変動しても高い許容度をもって被写体固有の輪郭を高精度に抽出することができる（但し、被写体の輪郭が背景の輪郭と場所、方向ともに一致するよう場合を除く）。
【００５６】
次いで、ステップＳ９に進み、初期マスク領域抽出手段１１により初期核データ抽出処理を行う。この処理では、図４に示すように、まずステップＳ９０１で背景画像と入力画像の各画像間において各画像の画素の色成分（ＲＧＢ値、色相、または彩度）の差異を求め、例えばその差異から各成分の差分絶対値を算出して各成分の差分絶対値を閾値処理するなどして初期核抽出を行う。ここで閾値を比較的高く設定することにより、ノイズや撮影条件の差異に起因する画素値の変動の影響を排除し、かつ淡い陰影などを除去することができる。初期核を表すデータ（初期核データ）としては、被写体領域を「０」と背景領域を「１」とする二値化データが用いられる。
【００５７】
このように単に差分データを閾値処理するだけでは、細かなノイズが残ることが多いから、このノイズを除去する目的で、ステップＳ９０２で、孤立領域（点）の除去を行う。具体的には、背景部分の孤立点または面積が小さい孤立領域が除去される。また、孤立領域（点）の除去に代えて、適当なサイズのメディアンフィルタなどの平滑化フィルタで初期核データからノイズ成分を除去する平滑化処理を用いることもできる。
【００５８】
なお、背景部分のみを選択して自動的に除去することは通常困難であり、結果として被写体の部分領域、特に被写体の細かい部分形状が除去されることがある。そのために、ステップＳ１０に進み、特異輪郭抽出復元手段１０により、孤立領域（点）の除去後にステップＳ８で抽出された特異輪郭を初期核の一部として復元する。
【００５９】
この初期核データ抽出処理例を図８に示す。本例では、図８（ａ）に示す画像を入力画像（対象画像）とし、図８（ｂ）に示す画像を背景画像（基準画像）とすると、図８（ｃ）に示すように、初期核データ抽出処理によるマスク領域が得られ、このマスク領域の黒色で示す領域は被写体領域を表している。
【００６０】
この図から分かるように、一般的に背景と被写体との組合せにおいては、この段階で切り出すべき被写体の領域が完全に抽出されることはあり得ない。すなわち、入力画像と背景画像間において同一箇所で部分的にＲＧＢレベル、またはそれらの局所的統計量（平均値、標準偏差など）が類似した領域がある場合には、その部分領域が閾値処理後には未抽出領域として残る。よって、この未抽出領域の抽出を行うために、ステップＳ１１で、領域成長手段１２により初期核の成長処理を行う。
【００６１】
この初期核の成長処理では、初期マスクの各核領域の境界上の点において近傍画素（または領域）との画素特徴量の類似度を求め、これが所定の閾値より高いときには当該近傍画素を同一被写体領域と見做してマスク領域に併合する。本実施の形態では、図５に示すように、まず、領域成長を行う前に、ステップＳ１１０１で初期核の成長範囲を制限するための最大領域成長範囲の設定をマスク領域を示すデータに基づき行う。
【００６２】
次いで、ステップＳ１１０２に進み、類似度判定に必要な特徴量パラメータとして輝度レベル、色相の近傍との差異の初期閾値を設定する。これらの初期閾値を背景画像と入力画像間のそれぞれのパラメータに関する差分（差分絶対値）データの平均値、標準偏差などの統計量に基づき自動的に設定することも可能である。
【００６３】
続くステップＳ１１０３では、最大領域成長範囲およびエッジ強度分布に基づき各閾値を可変に設定する。まず、最大領域成長範囲の中では閾値を高く、その範囲外では閾値を低く設定する。具体的には、点（Ｘ，Ｙ）が最大領域成長範囲にあるときには高い閾値例えば初期閾値を、範囲外にあるときには低い閾値例えば初期閾値の１割の値をそれぞれ設定する。また、最大領域成長範囲外の閾値を分布関数により設定することもでき、この閾値の分布関数としては、最大領域成長範囲の境界線からの距離が大きくなる従い閾値が減少するような任意の関数を用いることができる。さらに他の閾値の設定方法としては、最大領域成長範囲内の閾値を成長方向別に与え、入力画像の局所支配的ライン方向にはそれと異なる方向の閾値より高い値を設定する方法がある。
【００６４】
本実施の形態では、入力画像のエッジ強度分布を所定の閾値で二値化し、エッジが存在する位置およびその近傍で閾値を低く設定する。特にエッジの種類を限定し、特異輪郭線上のエッジとその近傍でのみ閾値を低く設定するようにしてもよい。閾値の分布としては、エッジの位置で最も低く（例えば「０」とするとエッジと交差する領域の成長は完全に抑止される）、その近傍ではエッジからの距離に対し若干の増加を呈するもの、またはエッジとその近傍で一様に低い値を取るものが用いられる。なお、最大領域成長範囲の境界線を入力画像に重畳して画像表示手段１４に表示し、ユーザがこれに基づき適正な平滑化フィルタサイズを設定するようにしてもよい。
【００６５】
以上の閾値設定により、その値を多少大まかに設定したとしても、被写体の輪郭形状に沿った形状の変動が少ないなどの領域成長結果の安定が達成される。また、最大領域成長範囲の境界線と被写体の外側輪郭形状とが異なる場合でも、領域成長の結果として得られる輪郭線と実際の被写体の輪郭線とを最終的に一致させることができる。
【００６６】
次いで、ステップ１１０４に進み、近傍画素との類似度判定に基づく領域成長を行う。本実施の形態では、近傍画素とのＲＧＢそれぞれの差分絶対値のいずれもが閾値以下となるか、または色相の差分絶対値が閾値以下となるかを類似度判定の条件すなわち成長の条件に用い、いずれか一方の条件が成立すると、当該近傍画素を同一被写体領域として併合する。類似判定に用いる特徴量としてはこれらに限定されるものではなく、例えば彩度などの低次特徴量、または高次特徴量としてエッジを含む局所的ラインセグメントの部分形状（セグメントとの向きなど）、局所空間周波数、さらにはＲＧＢ値などの低次特徴量を統計処理して得られる特徴量（分散、モーメントなど）を用いてよい。また、領域成長の併合処理は必ずしも画素単位で行うことに限定されるものではなく、他の方法で求めた領域どうしで行うようにすることも可能である。
【００６７】
この領域成長の結果の一例を図８（ｄ）に示す。本図８（ｄ）と図８（ａ）とを比較すると、領域成長の結果として得られる輪郭線は実際の被写体の輪郭線に略一致していることが分かる。
【００６８】
この領域成長後、ステップＳ１２に進み、マスク領域内の一定サイズ以下の穴を自動的に埋める穴埋め処理を行う。この穴埋め処理は、画像特徴量の近傍領域との類似度、均質性などとは一切無関係にすなわち入力画像データとは一切無関係に行われ、領域成長後の領域を示す二値化マスクデータに対し行われるものである。続くステップＳ１３では、この穴埋め処理が施された領域成長後のマスク領域を被写体切出しマスク領域とし、これに該当する領域すなわち被写体領域を入力画像から抽出する。なお、この処理において、被写体マスク領域の境界線の平滑化処理、または境界線の補正処理などを行った後に、被写体領域の抽出を行うようにしてもよい。この穴埋め処理の結果を図８（ｅ）に示す。
【００６９】
次いで、ステップＳ１４で抽出された領域の画像データ（または画像ファイル）を画像表示手段１４に出力し、切出し画像すなわち被写体を表示する。この切出し処理の結果により、例えば図８（ａ）に示す入力画像から図８（ｆ）に示す被写体が切出されて表示される。このように入力画像から被写体を切出し、表示することにより本処理は終了する。
【００７０】
（実施の第２形態）
次に、本発明の実施の第２形態について図６を参照しながら説明する。図６は本発明の画像識別装置の実施の一形態の主要部構成を示すブロック図である。
【００７１】
本実施の形態では、所定物体を表す標準モデル画像と基準画像とを用いて該基準画像中に存在しない識別対象を含む対象画像に対し該識別対象を識別するための画像識別装置について説明する。
【００７２】
画像識別装置２０は、図６に示すように、カメラ、スキャナなどの画像入力手段２００から入力される対象画像およびデータベース２０１に格納されている基準画像を一時的に記憶する一次記憶手段２１０を有する。本実施の形態では、例えば、図９（ａ）に示す画像が対象画像として、図９（ｂ）に示す画像が基準画像として用いられている。
【００７３】
一次記憶手段２１０に記憶されている対象画像および基準画像は対応点抽出手段２０４に与えられる。対応点抽出手段２０４は、対象画像と基準画像間の画像サイズの正規化（同一化）を拡大縮小処理などにより行った後、対応点抽出処理を行う。この対応点抽出処理は、上述した実施の第１形態と同様のものであり、その説明は省略する。
【００７４】
この対応点抽出手段２０４による処理後の処理順序は、図６に示す各手段の接続順に同じであり、次ぎに幾何学的変換手段２０５による処理が実行される。幾何学的変換手段２０５は、基準画像または対象画像の実質的に共通な部分（例えば対象画像から識別対象を共通部分）において一方の各画素位置の画像情報が他方の画像情報と略一致するようなアフィン変換行列を対応点データに基づき推定し、変換（平行移動、回転、倍率変換などを含む）を基準画像に対して実行する。但し、前もって対象の画像サイズは分からないから、例えば実施の第１形態と同様に各画像の左右端からそれぞれ画像フレーム幅の２５％から３５％の領域範囲で対応点の探索と抽出とを対応点抽出手段２０４により行う（図９（ａ），（ｂ）を参照）。
【００７５】
幾何学的変換手段２０５による処理に続いてエッジ強度抽出手段２０２による処理が実行される。エッジ強度抽出手段２０２は、対応点データに基づき幾何学的変換後の基準画像および対象画像の各画像中におけるエッジ分布を抽出し、続く方向別ラインラベリング手段２０３は、抽出された各画像のエッジ分布に基づき各エッジについて方向別ライン検出とラベリングとを行う。そのラベリングの結果、対象画像、背景画像のそれぞれには、図９（ｃ），（ｄ）に示すように、水平方向ラベル、垂直方向、４５度方向ラベルまたは−４５度方向ラベルのいずれかが付与されることになり、そのラベル付与の決定方法は、実施の第１形態と同様に、各方向の検出演算子（行列）とエッジデータとのコンボリューション値が最大となる方向に対しラベル付けを行う。
【００７６】
次いで、オートフレーミング手段２０６により処理が実行される。オートフレーミング手段２０６は、基準画像と対象画像との各位置における方向別ラインラベルの一致度に基づき、各位置における方向別ラインラベルの一致度が基準値より小くなる領域を検出し、該領域を含むような最小サイズの矩形領域（または楕円、多角形などの単純な図形領域）を識別対象の存在範囲として出力する。このラベル一致度の付与方法としては、例えば、同一ラベルならば一致度を「１」、直交方向ラベルならば一致度を「−１」、いずれでもなければ一致度を「０」をとする方法がある。なお、この一致度「０」には一方にラインが存在し、他方にはラインが存在しない場合を含む。また、多くのラベル方向がある場合は、方向の近さに応じて一致度の値を与えてもよい。この場合には、一致度のとり得る値はより多くなる。基準値としては、上述した一致度の付与方法であれば、例えば「１」とすればよい。この存在範囲の重心位置とサイズとは識別対象の画像上の位置とサイズとに相当する。
【００７７】
このオートフレーミングにより、例えば図５（ｃ）に示すように、一点鎖線で囲まれた矩形領域が識別対象の存在範囲として抽出される。
【００７８】
続いてモデル画像サイズ変更手段２０７による処理が実行される。モデル画像サイズ変更手段２０７は、オートフレーミング手段２０６によって推定された識別対象の存在範囲のサイズ（例えば縦横サイズまたは面積）に、標準モデル画像のサイズ（例えば標準モデル画像の枠の縦横サイズ）が一致するように変更する。また、縦横比がフレーミング後のフレームと標準モデル画像のフレームとで異なる場合には、それが一致するように標準モデル画像の縦横サイズを異なる倍率で変更することもできる。この標準モデル画像はデータベース２０１に基準画像とともに格納されている。本実施の形態では、この標準モデル画像として図９（ｅ）に示す画像が用いられ、本サイズ変更により図９（ｆ）に示す縮小された標準モデル画像が得られる。
【００７９】
次いで、類似度判定手段２０８による処理が実行される。類似度判定手段２０８は、サイズ変換後の標準モデル画像と対象画像中の特定された存在範囲の識別対象を含む画像部分との類似度を判定する。この類似度判定方法としては、上述のオートフレーミングと同様に、方向別ラインラベルの一致度比較（図１０（ａ），（ｂ）に示す各画像のラインラベルデータの一致度比較）をエッジ毎に局所的に行い、この一致度比較により一致度が高い領域（図１０（ｃ），（ｄ）を参照）を検出し、さらに識別対象の画像部分についてはその境界線（輪郭線；図１０（ｅ）を参照）を抽出するとともに、ラベル付けがされた標準モデル画像のラベル成分によって構成される輪郭線（図１０（ｆ）を参照）を生成した後に、それら輪郭線どうしの一致度を判定する。このようにして、方向別ラインラベルデータに基づき識別対象の輪郭を絞り込むことにより、既存の手法、例えば動的輪郭、可変形状テンプレートマッチングなどに比して識別対象および標準モデルの輪郭の比較すべき部分を高速にかつ確実に抽出することができる。輪郭の一致度は輪郭線の各点の位置を重心からの距離と方向との関数として極座標展開して符号化し、その符号化データのフーリエ変換係数の一致度などから判定する。
【００８０】
類似度判定の他の方法としては、標準モデル画像と識別対象との対応点抽出（上述の実施の第１形態と同じ）および局所領域間の相関係数値の平均、分散などの統計量を用いる。この場合、対象画像のフレーミング範囲内において、なお残存する背景部分と標準モデル画像の背景部分（一般的に無地で色、輝度レベルが均一）との不一致領域では対応点が求まらないか、または対応点を求める際に用いる相関計数などの尺度が低いことなどを条件として、そのような部分が選択的に除去される。また、対応点が検出された領域についてはブロック分割が行われ、各対応ブロックの相関係数の平均値が算出され、その値が基準値より高ければ標準モデル画像と同じ対象である、または同じカテゴリであるという判定結果が出力される。この方法の場合、相関係数の種類などは特に限定されない。
【００８１】
さらに他の方法として、標準モデル画像の対象物体の輪郭線を予め抽出しておき、その輪郭線を対象画像の存在範囲領域に重心位置が略一致するように初期輪郭として設定し、その後、動的輪郭、可変形状テンプレートマッチングなどの既存の手法を用いて比較すべき輪郭部分を抽出する方法を用いることもできる。この方法においては、色情報の一致度は形状に関する概略の一致を前提とした上でＲＧＢ値または色相などの差異を各領域毎に求め、その平均値または絶対値の総和などに基づき最終的に類似度を判定する。
【００８２】
類似度判定に方向別ラインラベルを用いる他の例としては、輪郭形状の特徴部分、特に曲率の極大または極小部分の位置での方向別ラベルの差異、およびその特徴部分に内接する部分領域の色情報、輝度情報または局所空間周波数、あるいは分散、モーメントなどの領域特徴量の差異を判定するものがある。この方法においては、特徴部分の内側外側の判定は基本的に抽出された特徴分布の重心位置と特徴位置とを結ぶ線分上にあるものを内側と判定する。
【００８３】
なお、いうまでもなく類似度判定方法は上述した方法に限定されるものではない。
【００８４】
類似度判定結果が得られると、この類似度判定結果は識別結果出力手段２０９により出力される。
【００８５】
以上のように、対象画像と基準画像との正規化を行った後に、方向別ラインラベルの差異に基づく識別対象の存在範囲の特定、および類似度判定を行うことにより、高速かつ確実な対象識別を行うことができる。
【００８６】
なお、上述の各処理を実行する各手段を専用のハードウェアで構成することもでき、また上述の各処理を実行する各手段をＣＰＵが実行可能なソフトウェアで構成することもできる。
【００８７】
（実施の第３形態）
次に、本発明の実施の第３形態について図７を参照しながら説明する。図７は本発明の画像分割装置の実施の他の形態を構成する画像切出し手段の構成を示すブロック図である。
【００８８】
本実施の形態では、図７に示すように、代表背景画像として、予め撮影された典型的な背景シーン、またはコンピュータグラフィックス、ペインティングソフトなどを使用して作成された背景画像のスケッチを用い、この代表背景画像をデータベース３０１に格納している。切出し対象となる被写体を含む入力画像は、撮像装置などの画像入力手段３００から画像切出し手段３０に入力される。画像切出し手段３０は、画像入力手段３００から入力される入力画像を一次記憶手段３１２に格納するとともに、表示手段３１１に表示する。表示手段３１１には入力画像とともに、データベース３０１に格納されている代表背景画像の画像サンプルが表示され、ユーザは入力画像の背景に最もマッチした代表背景画像を画像サンプルから選択する。選択された代表背景画像は一次記憶手段３１２に記憶される。例えば、入力画像（対象画像）として図１３（ａ）に示す画像が入力されると、この入力像に対して最もマッチした代表背景画像として図１３（ｂ）に示す画像が選択される。
【００８９】
対応点抽出手段３０４、エッジ強度抽出手段３０２、方向別ラインラベリング手段３０３は、実施の第１形態と同様に、入力画像と代表背景画像とに対して処理を実行し、幾何学的変換手段３０５は背景画像に対し幾何学的変換を施す。
【００９０】
本実施の形態では、特に、代表背景画像と入力画像中の背景部分との細部の違いに対する許容度を上げるために、対応点抽出前に各画像の方向別ラインラベル付けを粗い解像度で行い、その解像でエッジ特徴点の方向を考慮した対応点抽出処理を行う。具体的には、各画像を所定サイズのフィルタ（例えばGaussian filter ）で平滑化（またはブロック分割して各ブロック内の平均値で各画素値を置換）して、エッジ検出と方向別ラベル付けとを行った後に対応点抽出を行う。
【００９１】
対応点抽出においては、各エッジを中心として所定サイズのブロックマッチングを行ってもよいが、類似度尺度しては実施の第１形態に示した相関係数の類の他に、方向ラベルの一致度をいれる。但し、方向ラベルの違いに対する許容度を緩和するように設定され、例えば、１０度程度の違いは考慮されないように設定されている。対応点抽出に方向ラベルと色情報を合わせて用いる場合には、方向ラベルの相違を優先し、色の差異に対する許容度を比較的高く設定する。
【００９２】
幾何学的変換行列の推定に用いて変換する処理においては、上述の実施の第１形態で述べたように、対応点間で推定された変換行列を用いて一方の点から他方の対応する点への変換を行い、変換された点と対応すべき点との位置の誤差が予め定められている閾値より大きくなるような対応点の組を除外し、残りの対応点の組を用いて変換行列の推定を再度行うようにしてもよい。また、上述した誤差の平均値が所定の閾値以下となるまで対応の絞り込みを繰り返し行うようにしてもよい。
【００９３】
また、幾何学的変換行列の推定はブロック分割して局所的に行い、場所毎に異なる変換行列を求めて変換を行ってもよい。
【００９４】
局所支配的ライン方向抽出手段３０６は、代表背景画像を適当なサイズの複数のブロックに分割して各ブロック内で方向別ライン画素数の投票を行い、最も投票数の多い方向ラベルを当該ブロックの支配的ライン方向としてラベル付けする。
【００９５】
特異輪郭抽出手段３０７は、入力画像のエッジ方向別ラインラベルと、代表背景画像における入力画像のエッジと同一位置の点を含むブロックの局所支配的ラインラベルまたはエッジに付与された方向別ラインラベルとを比較し、それらが異なるとそのエッジを被写体の特異輪郭として抽出する。なお、一般的には、ライン方向ラベルのみでは抽出すべき被写体の輪郭を特定することは困難であるから、予め抽出すべき被写体を囲む最小サイズの処理枠をマニュアル設定してから行うようにすることが好ましい。この特異輪郭の抽出例を図１３（ｃ）に示す。
【００９６】
特異領域抽出手段３０８は、ライン長が基準値以上のラインにおいて、そのラインより局所的に分断される２つの局所領域の色、輝度レベルなどの特徴量を方向ラベルとともに、ラインの属性情報として抽出し、その入力画像と代表背景画像の属性どうしの相違を場所毎に比較することにより、被写体固有の色または輝度を有する部分領域を特異領域として抽出する。具体的には、属性情報の内、特に色に関しては、例えばＲＧＢ各成分の局所（例えば５×５画素サイズ）平均値、または色相と彩度の局所的平均値に関する差分絶対値を閾値処理する（閾値より高ければ被写体に固有の特異領域とする）ことにより被写体固有度を判断する。閾値は、例えば色成分に関するヒストグラムを入力画像と代表背景画像とで局所毎に作成し、その最大ピークレベルの色成分値の差異に基づいて設定することが可能である。但し、ヒストグラムの作成対象となる局所領域サイズは、上述した平均値算出のための局所領域サイズより大きくする（例えば３０×３０画素サイズ）。一例としては、最大ピークの色成分値の差異が大きいほど閾値が高くなるようにする。例えば、図１３（ａ）に示す入力画像に対する特異領域としては、図１３（ｄ）に示すように、黒く塗りつぶされた領域が抽出される。
【００９７】
なお、特異輪郭抽出手段３０７により、特異領域抽出手段３０８の出力に基づき属性値の異なる領域に隣接するライン成分を優先的に抽出するように設定することも可能である。
【００９８】
抽出された特異領域は、実施の第１形態における初期マスク領域に相当するものであり、抽出された特異領域に対する領域成長が領域成長手段３９で行われる。この領域成長手段３０９による成長処理は、実施の第１形態における領域成長処理内容と同様に行われる。
【００９９】
領域成長後のマスク領域は被写体切出しマスク領域とされ、これに該当する領域すなわち被写体領域は切出し画像出力手段３１０で入力画像から抽出される。この抽出された領域の画像データは表示手段３１１に出力され、表示手段３１１には切出し画像すなわち被写体が表示される。この切出しの結果、例えば、図１３（ａ）に示す入力画像から図１３（ｅ）に示す画像が切り出される。
【０１００】
【発明の効果】
以上に説明したように、本発明によれば、基準画像と入力画像の背景部分との間に位置ずれ、回転ずれ、歪みの違いなどが存在する場合にそれらの違いを吸収して被写体固有の輪郭のみを抽出することができ、基準画像と入力画像の背景部分との間にある違いに対する許容度が高い画像切出しを行うことができる。
【図面の簡単な説明】
【図１】本発明の画像分割装置の実施の一形態を構成する画像切出し手段の構成を示すブロック図である。
【図２】図１の画像切出し手段による画像切出し処理を示すフローチャートである。
【図３】図２の画像切出し処理における画像入力処理を示すフローチャートである。
【図４】図２の画像切出し処理における初期核データ処理を示すフローチャートである。
【図５】図２の画像切出し処理における初期の領域成長処理を示すフローチャートである。
【図６】本発明の画像識別装置の実施の一形態の主要部構成を示すブロック図である。
【図７】本発明の画像分割装置の実施の他の形態を構成する画像切出し手段の構成を示すブロック図である。
【図８】本発明の実施の第１形態の各処理により得られた画像例を示す図である。
【図９】本発明の実施の第２形態の各処理により得られた画像例を示す図である。
【図１０】本発明の実施の第２形態の各処理により得られた画像例を示す図である。
【図１１】局所支配的ライン方向ラベルの抽出過程を説明するための画像例を示す図である。
【図１２】遮蔽輪郭線の抽出過程を説明するための画像例を示す図である。
【図１３】本発明の実施の第３形態の処理により得られた画像例を示す図である。
【符号の説明】
１、２００、３００ 画像入力手段
２，３０ 画像切出し手段
３ 記憶手段
４，２０２，３０２ エッジ強度抽出手段
５，２０３，３０３ 方向別ラインラベリング手段
６，６０６ 局所支配的ライン方向抽出手段
７，２０４，３０４ 対応点抽出手段
８，２０５，３０５ 幾何学的変換手段
９ 階調変換関数推定および変換手段
１０ 特異輪郭抽出復元手段
１１ 初期マスク領域抽出手段
１２ 領域成長抽出手段
１３，３１０ 切出し画像出力手段
１４ 画像表示手段
２０ 画像識別装置
２０１，３０１ データベース
２０６ オートフレーミング手段
２０７ モデル画像サイズ変更手段
２０８ 類似度判定手段
２０９ 識別結果出力手段
２１０，３１２ 一次記憶手段
３０７ 特異輪郭抽出手段
３０８ 特異領域抽出手段
３１１ 表示手段
【発明の属する技術分野】
本発明は、基準画像を用いて入力画像から抽出対象となる画像領域を分割するための画像分割方法および画像分割装置に関する。
【０００２】
【従来の技術】
一般に、画像切出し（抽出）を行う手法として、特定の色背景を用いるクロマキーや、所定の画像処理（ヒストグラム処理、差分、微分処理、輪郭強調、輪郭追跡など）によりキー信号を生成するビデオマット（テレビビジョン学会報告、VOL.12,pp.29-34,1988）などの手法が知られている。
【０００３】
上述の手法において、背景画像との差分に基づいて画像抽出を行う手法は古典的なものであり、例えば、特開平４−２１６１８１号公報には、背景画像と処理対象画像との差分データにマスク画像（特定処理領域）を設定して画像中の複数の特定領域における対象物体を抽出また検出する方法が記載されている。また、特公平７−１６２５０号公報に記載の方式では、抽出対象の色彩モデルを用いて背景を含む原画像の色彩変換データ、背景画像と原画像との明度の差データから抽出対象の存在確立分布を求めて画像抽出を行う。
【０００４】
背景画像との差分方式は、一般的には背景画像と被写体像の各画素間で輝度レベルまたは色成分などの差異を所定の評価関数で表し、閾値処理して差異レベルが所定値以上の領域を抽出するものである。例えば評価関数としては、各点を中心とする所定サイズのブロック間の相互間数（Digital Picture Processing(2nd ed),by Rosendfeld,A. and Kak,A.C.,Academic Press,1982) 、正規化主成分特徴量（電子情報通信学会論文誌 Vol.J74-D-II,pp. 1731-740)、標準偏差値と差分値との重み付き加算値（テレビジョン学会誌、VOL.45,pp.1270-1276,1991）、色相と輝度レベルに関する局所ヒストグラム間距離（テレビジョン学会誌、VOL.45,pp.1270-1276,1991）などがある。
【０００５】
また、特定対象の識別、認識を行う手法としては、その対象に関するモデル画像またはテンプレートを予め準備し、また識別対象の物体の画像領域を予め他の領域と分離するかまたは識別対象画像領域の大きさの正規化、位置の固定などを行うかまたは大きさが異なる複数のモデル画像を用意し、対象画像上を走査しながらモデル画像またはテンプレートと識別対象との類似度を相関関係などの尺度を用いて判定する方法が多く用いられている。
【０００６】
【発明が解決しようとする課題】
しかし、画像切出しにおいて、クロマキー方式では、特別な色背景を要するなど背景に対する制約が大きく屋外での使用が難しい、また背景と同色の被写体領域では色抜けが生じるなどの問題がある。また、ビデオマット方式では、輪郭の指定作業において作業者が画素単位で正確に行う必要があるから、輪郭の指定作業には労力と熟練とを要するという問題がある。
【０００７】
また、上述した背景画像との差分方式では、被写体上の背景と類似した部分領域において背景か被写体かを判別することが難しいこと、背景画像と入力画像間での撮影条件（例えば露光条件、倍率、照明条件、ピント条件、視点位置など）の差異を一般的に許容しないことなどの問題がある。特に、入力画像の被写体を除いた背景と背景画像とが異なる場合には、仮にそれらが類似していてもそれらの差異に関する許容度は著しく低い。また、ノイズの影響を排除しながら被写体の細かい輪郭形状、細かな凹凸形状を残すことは非常に難しい。
【０００８】
特定対象画像の識別、認識方式においては、上述したような前処理のうち他の領域との分離処理が一般的に認識技術の表裏一体をなし複雑かつ困難なものになる。また、予め認識対象の大きさ、位置が分からないために行う上述のサイズ位置などの正規化を自動化することは難しい。さらに、サイズが異なる複数のモデル画像を用意することはデータベースの記憶容量の制約により制限され、汎用化は非常に難しい。
【００１３】
本発明の目的は、基準画像と入力画像の背景部分との間にある違いに対する許容度が高い画像切出しを行うことができる画像分割方法および画像分割装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために本願の請求項１に記載の発明は、入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割方法であって、前記入力画像および前記基準画像の各画像中におけるエッジ強度分布を抽出するエッジ強度分布抽出ステップと、前記抽出された各画像中におけるエッジ強度分布に基づき該各画像中における各エッジについて所定の方向別ラインを検出し、方向別ラインラベル付けを行う方向別ライン検出ステップと、前記各画像における前記検出された方向別ラインの分布に基づき前記抽出対象となる画像領域に特異な輪郭部分を抽出する特異輪郭抽出ステップと、前記抽出された特異輪郭部分を表す分布データに基づき前記抽出対象となる画像領域を切り出す画像切出しステップとを有し、前記特異輪郭抽出ステップは、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出ステップを有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする。
【００１５】
また本願の請求項５に記載の発明は、入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割装置であって、前記入力画像および前記基準画像の各画像中におけるエッジ強度分布を抽出するエッジ強度分布抽出手段と、前記抽出された各画像中におけるエッジ強度分布に基づき該各画像中における各エッジについて所定の方向別ラインを検出し、方向別ラインラベル付けを行う方向別ライン検出手段と、前記各画像における前記検出された方向別ラインの分布に基づき前記抽出対象となる画像領域に特異な輪郭部分を抽出する特異輪郭抽出手段と、前記抽出された特異輪郭部分を表す分布データに基づき前記抽出対象となる画像領域を切り出す画像切出し手段とを有し、前記特異輪郭抽出手段は、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出手段を有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする。
【００１６】
また本願の請求項９に記載の発明は、入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割装置であって、前記基準画像を記憶する記憶手段と、前記入力画像および前記基準画像の各画像におけるエッジ分布を抽出するエッジ抽出手段と、前記抽出された各画像中におけるエッジ分布に基づき該各画像における方向別ライン分布を検出する方向別ライン検出手段と、前記基準画像と前記入力画像との間の対応点情報を抽出する対応点抽出手段と、前記抽出された対応点情報に基づき前記各画像のいずれか一方に対し幾何学的変換を施す変換手段と、前記幾何学的変換が施された画像と他方の画像間の前記方向別ライン分布の差異に基づき特異エッジを抽出する特異エッジ抽出手段と、前記抽出された特異エッジに基づき前記入力画像から前記抽出対象となる画像領域を分割する分割手段とを有し、前記特異エッジ抽出手段は、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出手段を有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする。
【００３２】
【発明の実施の形態】
以下に、本発明の実施の形態について図を参照しながら説明する。
【００３３】
（実施の第１形態）
図１は本発明の画像分割装置の実施の一形態を構成する画像切出し手段の構成を示すブロック図である。
【００３４】
本実施の形態では、切出し対象となる被写体を含む入力画像と該被写体を除いた背景画像とを用いて、入力画像から被写体を切り出す処理を行う。入力画像および背景画像は、図１に示すように、画像入力手段１から画像切出し手段２に入力される。画像入力手段１は、例えば、レンズ、絞りおよびそれらの駆動制御手段を含む結像工学系、イメージセンサ、映像信号処理回路部、画像記録部などを主な構成要素とする撮像装置からなる。
【００３５】
画像切出し手段２は、図１に示すように、画像入力手段１から入力される入力画像および背景画像と、マウス、キーボートなどのデータ入力手段１５から入力されるデータとを記憶する記憶手段３と、入力画像と背景画像との間の対応点を探索し、対応点位置データを生成する対応点抽出手段７とを有する。
【００３６】
生成された対応点位置データは幾何学的変換手段８に与えられ、幾何学的変換手段８は対応点位置データに基づき背景画像または入力画像の一方に対し幾何学的変換を施す。一方に幾何学的変換が施された各画像は階調変換推定および変換手段（以下、階調変換手段）９に与えられ、階調変換手段９は、対応点間の画像値（例えばＲ，Ｇ，Ｂ値など）データに基づき対応点を含む領域の画素間の階調が略等しくするための階調変換関数を推定し、この階調変換関数を用いて一方の画像に階調補正を施す。
【００３７】
幾何学的変換、階調変換後の各画像はエッジ強度抽出手段４に与えられ、エッジ強度抽出手段４は各画像におけるエッジ分布を抽出する。抽出された各画像のエッジ分布は方向別ラインラベリング手段５および局所支配的ライン方向抽出手段６に与えられる。方向別ラインラベリング手段５は、抽出された各画像のエッジ分布に基づき各エッジについて方向別ライン検出とラベリングとを行う。局所支配的ライン方向抽出手段６は、各画像を適当なサイズの複数のブロックに分割し、エッジ分布に基づき局所的支配的ライン方向検出とラベルリングとを行う。
【００３８】
ラベリング処理によって得られた各データは特異輪郭抽出復元手段１０に与えられ、特異輪郭抽出復元手段１０は、入力画像と背景画像との同一近傍領域において対応する方向別ラインラベルが異なる入力画像中のエッジを被写体の輪郭線、すなわち特異輪郭として抽出するとともに、該特異輪郭を平滑化した後に初期核の一部として復元する処理を行う。
【００３９】
抽出された特異輪郭は初期マスク領域抽出手段１１に与えられ、初期マスク領域抽出手段１１は閾値処理により特異輪郭の一部を初期核として抽出する。抽出された初期核は領域成長手段１２に与えられ、領域成長手段１２は初期核の近傍領域との類似度の閾値処理により領域成長を行う。
【００４０】
領域成長によって得られた成長領域データは切出し画像出力手段１３に与えられ、切出し画像出力手段１３は、成長領域データが示す領域を被写体切出しマスク領域とし、この被写体切出しマスク領域に該当する領域を入力画像から抽出する。抽出された領域の画像データは画像表示手段１４に与えられ、画像表示手段１４は抽出された領域の画像データが示す画像（被写体）を表示する。
【００４１】
次に、本実施の形態における画像切出し処理について図２ないし図５を参照しながら説明する。図２は図１の画像切出し手段による画像切出し処理を示すフローチャート、図３は図２の画像切出し処理における画像入力処理を示すフローチャート、図４は図２の画像切出し処理における初期核データ処理を示すフローチャート、図５は図２の画像切出し処理における初期の領域成長処理を示すフローチャートである。
【００４２】
図２を参照するに、まずステップＳ１で画像入力処理を行う。この画像入力処理では、図３に示すように、ステップＳ１０１で画像入力手段１から切出すべき対象（被写体）が存在する入力画像とその対象が存在しない背景画像とを画像入力手段１から入力し、記憶手段３に記憶する。次いで、後続の処理の効率を上げるために、ステップＳ１０２で、適当な縮尺率で入力された画像データの間引き処理を行い、続くステップＳ１０３で、入力画像に対し被写体を含む領域を処理領域として設定する領域設定をデータ入力手段１５のマウスなどを用いて行う。この間引き、領域設定後の各画像は再度記憶手段３に記憶され、この記憶された画像が後続の処理に用いられる。
【００４３】
次いで、ステップＳ２に進み、各画像の左右端から画像フレーム幅の２５％から３５％の領域範囲で、または前記ステップＳ１０３で処理領域が設定されている場合にはその領域の外側領域で、各画像間の対応点の探索と抽出とを対応点抽出手段７で行う。この対応点の探索範囲の設定例を図９（ａ），（ｂ）に示す。入力画像（対象画像）を図９（ａ）に示す画像とし、背景画像（基準画像）を図９（ｂ）に示す画像とすると、各画像の左右端からの所定領域範囲（左右端から２点鎖線で示す位置までの範囲）が対応点探索範囲として設定され、丹生りょｋ画像において対応点探索範囲に被写体の一部分が含まれるときでも、この対応点探索範囲は標準的に固定される。対応点探索範囲に被写体の一部分が含まれることにより対応点の抽出誤差が発生することがあるが、後述する対応点の絞り込みにより誤って抽出された対応点は排除され、対応点の抽出誤差に起因する問題（幾何学的変換誤差）の発生は未然に防止される。
【００４４】
対応点の抽出は、後述する背景画像または入力画像のいずれか一方に対する幾何学的変換に対する、視点位置の変動、手振れなどによる画像の位置ずれ、回転などの変動、倍率変動などの条件の違いを吸収する目的で行われる。この対応点の抽出方法としては、一方の画像の各点を中心とした所定サイズのブロックと他方の画像の所定サイズのブロック間において、相関係数が最大となる互いの点どうしを求めるブロックマッチング方法が用いられるが、これに代えて他の方法を用いることも可能である。対応点が抽出されると、抽出された各対応点の位置を示す対応点位置データが生成される。
【００４５】
次いで、ステップＳ３に進み、幾何学的変換手段８により、対応点位置データを用いて各画像間の互いに対応する画素の位置が一致するようにすなわち画像フレーム内の同一位置となるように、一方の画像に幾何学的変換を施すための変換行列の推定と変換を行う。本実施の形態では、背景画像に幾何学的変換を施すものとする。この幾何学的変換には、平行移動、回転、ある点を中心とした拡大縮小、またはこれらの組合せによる変換が含まれている。この処理においては、対応点間で推定された変換行列を用いて一方の点から他方の対応する点への変換を行い、変換された点と対応すべき点との位置の誤差が予め定められている閾値より大きくなるような対応点の組を除外し、残りの対応点の組を用いて変換行列の推定を再度行うようにしてもよい。また、上述した誤差の平均値が所定の閾値以下となるまで対応の絞り込みを繰り返し行うようにしてもよい。
【００４６】
続くステップＳ４では、階調変換手段９により、対応点どうしの画素レベルが一致するような階調変換の変換関数または変換表を作成し、変換関数または変換表に従い一方の画像の階調を変換（補正）する。本実施の形態では、背景画像に対し階調変換を行うものとする。具体的には、ＲＧＢの各画素値について背景画像と入力画像間の対応点の変換関数または変換表（ＲＧＢの各レベル、すなわち０から２５５レベルまでの各レベルに対する変換値を表す関数または表）を最小二乗法などにより回帰分析により推定する。変換関数または変換表に従う階調変換を行うことにより、露光条件やホワイトバランス特性などの変動を入力画像と背景画像間で吸収して後述する画像切出しの精度を安定的に向上させることができる。
【００４７】
一方の画像の階調の変換後、ステップＳ５に進み、エッジ強度抽出手段４により、エッジ抽出処理を行い、続くステップＳ６で、方向別ラインラベリング手段５により方向別ライン検出とラベリングとを行う。エッジ抽出処理では、ＳＯＢＥＬ演算子などの微分処理演算子などを用いる。また、方向別ライン検出とラベリングとしては、例えば、水平方向、垂直方向、４５度斜め方向、−４５度斜め方向の順に、
【００４８】
【数１】
【００４９】
次いで、ステップＳ７に進み、局所支配的ライン方向抽出手段６により、局所的ライン方向抽出手段６で画像を適当なサイズ例えば５×５画像サイズの複数のブロックに分割し、各ブロック内で各方向別ラベル付きエッジの総数を求め、その総数の最も多くラベルが付された方向を局所支配的ライン方向として、ブロックのライン方向ラベル代表値を抽出し、そのブロック内の各画素位置に同一ラベルを付与する。
【００５０】
この局所支配的ライン方向の抽出過程の一例を図１１に示す。例えば、図１１（ａ）に示す画像を入力画像（対象画像）とし、図１１（ｂ）に示す画像を背景画像（基準画像）とすると、ステップＳ７には前記ステップＳ３で幾何学的変換が施された背景画像が与えられ、この背景画像と入力画像とは、図１１（ｃ），（ｄ）に示すように、所定サイズの複数のブロックに分割される。各画像の各ブロックのライン方向が検出され、対応するブロックには方向別ラベルが付与される。そのラベル付与の結果、入力画像、背景画像の各画像の対応するブロックのそれぞれには、図１１（ｅ），（ｆ）に示すように、水平方向ラベル、垂直方向、４５度方向ラベルまたは−４５度方向ラベルが付与されることになる。
【００５１】
このラベリング処理後、ステップＳ８に進み、特異輪郭抽出復元手段１０により、特異輪郭抽出処理を行う。基本的には、背景画像上のエッジと異なる方向ラベルを有するラインを被写体固有の輪郭線すなわち特異輪郭として抽出するが、背景画像と入力画像間の位置合せすなわち幾何学的変換に伴う誤差、または幾何学的変換誤差がなくてもフォーカシング変動、露光（照明）条件変動により、同じ背景部分であっても同一ラインが同一場所に存在するとは限らない。
【００５２】
このような問題に対応するために、背景画像の局所支配的ラインラベルを用いて各画素位置においてそのラベルと入力画像におけるライン方向ラベルとを比較し、そのラベルと入力画像におけるライン方向ラベルとが一致すれば、そのラインを背景画像の領域部分のエッジの一部であると推定し、異なれば、そのラインを被写体固有の輪郭（特異輪郭）の一部として抽出する方法が用いられている。本例では、入力画像の方向別ラインラベルと背景画像の局所支配的方向別ラインラベルとを用いているが、この逆の組合せ、または全てのラベルを用いて特異輪郭の抽出を行うことも可能である。
【００５３】
また、他の方法としては、入力画像の各エッジ上の点と同一位置を中心として背景画像上に局所的に近傍領域（例えば５×５画像サイズ）を設け、その領域内でエッジを探索し、同一ラベルのエッジが存在すればそのエッジを背景領域のエッジであると判定し、ラベルが異なれば特異輪郭として抽出するものを用いることができる。
【００５４】
さらに、特異輪郭抽出のさらに他の例を図１２に示す。背景のパターンが無地の被写体（切出し対象）によって遮られ、かつ被写体の色または画素値と背景部分の画素値の間に大きな差がない場合、すなわち低コントラストな部分が存在する場合には、上述した方法によりラベル付けを行っても、所望の被写体固有の輪郭線を容易に抽出することができないことが多い。具体的には、図１２（ａ）に示す画像を入力画像（対象画像）とし、図１２（ｂ）に示す画像を背景画像（基準画像）とし、入力画像における被写体の鉢の輪郭線の一部（点線で示す部分）が低コントラストであるときには、この輪郭線の一部を抽出することができないことがある。そこで、図１２（ｃ），（ｄ）に示すように、各画像を所定サイズの複数のブロックに分割して各ブロックに局所支配的ライン方向ラベルを付与する。次いで、図１２（ｅ）に拡大図示したラベルなしのブロックとラベル付きブロックとの境界上（またはその最近傍）の点から局所的に背景または被写体の輪郭線の端点位置を探索、抽出する。この場合、背景の輪郭線部分は高コントラストかつ明瞭に現れているから、検出を容易に行うことができる。この端点位置どうしを結ぶことにより被写体と背景との境界線、すなわち遮蔽輪郭線を被写体の輪郭線（特異輪郭）として抽出することができる。
【００５５】
このように、ステップＳ２からステップＳ８までの処理により、撮影条件の変動、特に視点位置、フォーカシング、倍率などが変動しても高い許容度をもって被写体固有の輪郭を高精度に抽出することができる（但し、被写体の輪郭が背景の輪郭と場所、方向ともに一致するよう場合を除く）。
【００５６】
次いで、ステップＳ９に進み、初期マスク領域抽出手段１１により初期核データ抽出処理を行う。この処理では、図４に示すように、まずステップＳ９０１で背景画像と入力画像の各画像間において各画像の画素の色成分（ＲＧＢ値、色相、または彩度）の差異を求め、例えばその差異から各成分の差分絶対値を算出して各成分の差分絶対値を閾値処理するなどして初期核抽出を行う。ここで閾値を比較的高く設定することにより、ノイズや撮影条件の差異に起因する画素値の変動の影響を排除し、かつ淡い陰影などを除去することができる。初期核を表すデータ（初期核データ）としては、被写体領域を「０」と背景領域を「１」とする二値化データが用いられる。
【００５７】
このように単に差分データを閾値処理するだけでは、細かなノイズが残ることが多いから、このノイズを除去する目的で、ステップＳ９０２で、孤立領域（点）の除去を行う。具体的には、背景部分の孤立点または面積が小さい孤立領域が除去される。また、孤立領域（点）の除去に代えて、適当なサイズのメディアンフィルタなどの平滑化フィルタで初期核データからノイズ成分を除去する平滑化処理を用いることもできる。
【００５８】
なお、背景部分のみを選択して自動的に除去することは通常困難であり、結果として被写体の部分領域、特に被写体の細かい部分形状が除去されることがある。そのために、ステップＳ１０に進み、特異輪郭抽出復元手段１０により、孤立領域（点）の除去後にステップＳ８で抽出された特異輪郭を初期核の一部として復元する。
【００５９】
この初期核データ抽出処理例を図８に示す。本例では、図８（ａ）に示す画像を入力画像（対象画像）とし、図８（ｂ）に示す画像を背景画像（基準画像）とすると、図８（ｃ）に示すように、初期核データ抽出処理によるマスク領域が得られ、このマスク領域の黒色で示す領域は被写体領域を表している。
【００６０】
この図から分かるように、一般的に背景と被写体との組合せにおいては、この段階で切り出すべき被写体の領域が完全に抽出されることはあり得ない。すなわち、入力画像と背景画像間において同一箇所で部分的にＲＧＢレベル、またはそれらの局所的統計量（平均値、標準偏差など）が類似した領域がある場合には、その部分領域が閾値処理後には未抽出領域として残る。よって、この未抽出領域の抽出を行うために、ステップＳ１１で、領域成長手段１２により初期核の成長処理を行う。
【００６１】
この初期核の成長処理では、初期マスクの各核領域の境界上の点において近傍画素（または領域）との画素特徴量の類似度を求め、これが所定の閾値より高いときには当該近傍画素を同一被写体領域と見做してマスク領域に併合する。本実施の形態では、図５に示すように、まず、領域成長を行う前に、ステップＳ１１０１で初期核の成長範囲を制限するための最大領域成長範囲の設定をマスク領域を示すデータに基づき行う。
【００６２】
次いで、ステップＳ１１０２に進み、類似度判定に必要な特徴量パラメータとして輝度レベル、色相の近傍との差異の初期閾値を設定する。これらの初期閾値を背景画像と入力画像間のそれぞれのパラメータに関する差分（差分絶対値）データの平均値、標準偏差などの統計量に基づき自動的に設定することも可能である。
【００６３】
続くステップＳ１１０３では、最大領域成長範囲およびエッジ強度分布に基づき各閾値を可変に設定する。まず、最大領域成長範囲の中では閾値を高く、その範囲外では閾値を低く設定する。具体的には、点（Ｘ，Ｙ）が最大領域成長範囲にあるときには高い閾値例えば初期閾値を、範囲外にあるときには低い閾値例えば初期閾値の１割の値をそれぞれ設定する。また、最大領域成長範囲外の閾値を分布関数により設定することもでき、この閾値の分布関数としては、最大領域成長範囲の境界線からの距離が大きくなる従い閾値が減少するような任意の関数を用いることができる。さらに他の閾値の設定方法としては、最大領域成長範囲内の閾値を成長方向別に与え、入力画像の局所支配的ライン方向にはそれと異なる方向の閾値より高い値を設定する方法がある。
【００６４】
本実施の形態では、入力画像のエッジ強度分布を所定の閾値で二値化し、エッジが存在する位置およびその近傍で閾値を低く設定する。特にエッジの種類を限定し、特異輪郭線上のエッジとその近傍でのみ閾値を低く設定するようにしてもよい。閾値の分布としては、エッジの位置で最も低く（例えば「０」とするとエッジと交差する領域の成長は完全に抑止される）、その近傍ではエッジからの距離に対し若干の増加を呈するもの、またはエッジとその近傍で一様に低い値を取るものが用いられる。なお、最大領域成長範囲の境界線を入力画像に重畳して画像表示手段１４に表示し、ユーザがこれに基づき適正な平滑化フィルタサイズを設定するようにしてもよい。
【００６５】
以上の閾値設定により、その値を多少大まかに設定したとしても、被写体の輪郭形状に沿った形状の変動が少ないなどの領域成長結果の安定が達成される。また、最大領域成長範囲の境界線と被写体の外側輪郭形状とが異なる場合でも、領域成長の結果として得られる輪郭線と実際の被写体の輪郭線とを最終的に一致させることができる。
【００６６】
次いで、ステップ１１０４に進み、近傍画素との類似度判定に基づく領域成長を行う。本実施の形態では、近傍画素とのＲＧＢそれぞれの差分絶対値のいずれもが閾値以下となるか、または色相の差分絶対値が閾値以下となるかを類似度判定の条件すなわち成長の条件に用い、いずれか一方の条件が成立すると、当該近傍画素を同一被写体領域として併合する。類似判定に用いる特徴量としてはこれらに限定されるものではなく、例えば彩度などの低次特徴量、または高次特徴量としてエッジを含む局所的ラインセグメントの部分形状（セグメントとの向きなど）、局所空間周波数、さらにはＲＧＢ値などの低次特徴量を統計処理して得られる特徴量（分散、モーメントなど）を用いてよい。また、領域成長の併合処理は必ずしも画素単位で行うことに限定されるものではなく、他の方法で求めた領域どうしで行うようにすることも可能である。
【００６７】
この領域成長の結果の一例を図８（ｄ）に示す。本図８（ｄ）と図８（ａ）とを比較すると、領域成長の結果として得られる輪郭線は実際の被写体の輪郭線に略一致していることが分かる。
【００６８】
この領域成長後、ステップＳ１２に進み、マスク領域内の一定サイズ以下の穴を自動的に埋める穴埋め処理を行う。この穴埋め処理は、画像特徴量の近傍領域との類似度、均質性などとは一切無関係にすなわち入力画像データとは一切無関係に行われ、領域成長後の領域を示す二値化マスクデータに対し行われるものである。続くステップＳ１３では、この穴埋め処理が施された領域成長後のマスク領域を被写体切出しマスク領域とし、これに該当する領域すなわち被写体領域を入力画像から抽出する。なお、この処理において、被写体マスク領域の境界線の平滑化処理、または境界線の補正処理などを行った後に、被写体領域の抽出を行うようにしてもよい。この穴埋め処理の結果を図８（ｅ）に示す。
【００６９】
次いで、ステップＳ１４で抽出された領域の画像データ（または画像ファイル）を画像表示手段１４に出力し、切出し画像すなわち被写体を表示する。この切出し処理の結果により、例えば図８（ａ）に示す入力画像から図８（ｆ）に示す被写体が切出されて表示される。このように入力画像から被写体を切出し、表示することにより本処理は終了する。
【００７０】
（実施の第２形態）
次に、本発明の実施の第２形態について図６を参照しながら説明する。図６は本発明の画像識別装置の実施の一形態の主要部構成を示すブロック図である。
【００７１】
本実施の形態では、所定物体を表す標準モデル画像と基準画像とを用いて該基準画像中に存在しない識別対象を含む対象画像に対し該識別対象を識別するための画像識別装置について説明する。
【００７２】
画像識別装置２０は、図６に示すように、カメラ、スキャナなどの画像入力手段２００から入力される対象画像およびデータベース２０１に格納されている基準画像を一時的に記憶する一次記憶手段２１０を有する。本実施の形態では、例えば、図９（ａ）に示す画像が対象画像として、図９（ｂ）に示す画像が基準画像として用いられている。
【００７３】
一次記憶手段２１０に記憶されている対象画像および基準画像は対応点抽出手段２０４に与えられる。対応点抽出手段２０４は、対象画像と基準画像間の画像サイズの正規化（同一化）を拡大縮小処理などにより行った後、対応点抽出処理を行う。この対応点抽出処理は、上述した実施の第１形態と同様のものであり、その説明は省略する。
【００７４】
この対応点抽出手段２０４による処理後の処理順序は、図６に示す各手段の接続順に同じであり、次ぎに幾何学的変換手段２０５による処理が実行される。幾何学的変換手段２０５は、基準画像または対象画像の実質的に共通な部分（例えば対象画像から識別対象を共通部分）において一方の各画素位置の画像情報が他方の画像情報と略一致するようなアフィン変換行列を対応点データに基づき推定し、変換（平行移動、回転、倍率変換などを含む）を基準画像に対して実行する。但し、前もって対象の画像サイズは分からないから、例えば実施の第１形態と同様に各画像の左右端からそれぞれ画像フレーム幅の２５％から３５％の領域範囲で対応点の探索と抽出とを対応点抽出手段２０４により行う（図９（ａ），（ｂ）を参照）。
【００７５】
幾何学的変換手段２０５による処理に続いてエッジ強度抽出手段２０２による処理が実行される。エッジ強度抽出手段２０２は、対応点データに基づき幾何学的変換後の基準画像および対象画像の各画像中におけるエッジ分布を抽出し、続く方向別ラインラベリング手段２０３は、抽出された各画像のエッジ分布に基づき各エッジについて方向別ライン検出とラベリングとを行う。そのラベリングの結果、対象画像、背景画像のそれぞれには、図９（ｃ），（ｄ）に示すように、水平方向ラベル、垂直方向、４５度方向ラベルまたは−４５度方向ラベルのいずれかが付与されることになり、そのラベル付与の決定方法は、実施の第１形態と同様に、各方向の検出演算子（行列）とエッジデータとのコンボリューション値が最大となる方向に対しラベル付けを行う。
【００７６】
次いで、オートフレーミング手段２０６により処理が実行される。オートフレーミング手段２０６は、基準画像と対象画像との各位置における方向別ラインラベルの一致度に基づき、各位置における方向別ラインラベルの一致度が基準値より小くなる領域を検出し、該領域を含むような最小サイズの矩形領域（または楕円、多角形などの単純な図形領域）を識別対象の存在範囲として出力する。このラベル一致度の付与方法としては、例えば、同一ラベルならば一致度を「１」、直交方向ラベルならば一致度を「−１」、いずれでもなければ一致度を「０」をとする方法がある。なお、この一致度「０」には一方にラインが存在し、他方にはラインが存在しない場合を含む。また、多くのラベル方向がある場合は、方向の近さに応じて一致度の値を与えてもよい。この場合には、一致度のとり得る値はより多くなる。基準値としては、上述した一致度の付与方法であれば、例えば「１」とすればよい。この存在範囲の重心位置とサイズとは識別対象の画像上の位置とサイズとに相当する。
【００７７】
このオートフレーミングにより、例えば図５（ｃ）に示すように、一点鎖線で囲まれた矩形領域が識別対象の存在範囲として抽出される。
【００７８】
続いてモデル画像サイズ変更手段２０７による処理が実行される。モデル画像サイズ変更手段２０７は、オートフレーミング手段２０６によって推定された識別対象の存在範囲のサイズ（例えば縦横サイズまたは面積）に、標準モデル画像のサイズ（例えば標準モデル画像の枠の縦横サイズ）が一致するように変更する。また、縦横比がフレーミング後のフレームと標準モデル画像のフレームとで異なる場合には、それが一致するように標準モデル画像の縦横サイズを異なる倍率で変更することもできる。この標準モデル画像はデータベース２０１に基準画像とともに格納されている。本実施の形態では、この標準モデル画像として図９（ｅ）に示す画像が用いられ、本サイズ変更により図９（ｆ）に示す縮小された標準モデル画像が得られる。
【００７９】
次いで、類似度判定手段２０８による処理が実行される。類似度判定手段２０８は、サイズ変換後の標準モデル画像と対象画像中の特定された存在範囲の識別対象を含む画像部分との類似度を判定する。この類似度判定方法としては、上述のオートフレーミングと同様に、方向別ラインラベルの一致度比較（図１０（ａ），（ｂ）に示す各画像のラインラベルデータの一致度比較）をエッジ毎に局所的に行い、この一致度比較により一致度が高い領域（図１０（ｃ），（ｄ）を参照）を検出し、さらに識別対象の画像部分についてはその境界線（輪郭線；図１０（ｅ）を参照）を抽出するとともに、ラベル付けがされた標準モデル画像のラベル成分によって構成される輪郭線（図１０（ｆ）を参照）を生成した後に、それら輪郭線どうしの一致度を判定する。このようにして、方向別ラインラベルデータに基づき識別対象の輪郭を絞り込むことにより、既存の手法、例えば動的輪郭、可変形状テンプレートマッチングなどに比して識別対象および標準モデルの輪郭の比較すべき部分を高速にかつ確実に抽出することができる。輪郭の一致度は輪郭線の各点の位置を重心からの距離と方向との関数として極座標展開して符号化し、その符号化データのフーリエ変換係数の一致度などから判定する。
【００８０】
類似度判定の他の方法としては、標準モデル画像と識別対象との対応点抽出（上述の実施の第１形態と同じ）および局所領域間の相関係数値の平均、分散などの統計量を用いる。この場合、対象画像のフレーミング範囲内において、なお残存する背景部分と標準モデル画像の背景部分（一般的に無地で色、輝度レベルが均一）との不一致領域では対応点が求まらないか、または対応点を求める際に用いる相関計数などの尺度が低いことなどを条件として、そのような部分が選択的に除去される。また、対応点が検出された領域についてはブロック分割が行われ、各対応ブロックの相関係数の平均値が算出され、その値が基準値より高ければ標準モデル画像と同じ対象である、または同じカテゴリであるという判定結果が出力される。この方法の場合、相関係数の種類などは特に限定されない。
【００８１】
さらに他の方法として、標準モデル画像の対象物体の輪郭線を予め抽出しておき、その輪郭線を対象画像の存在範囲領域に重心位置が略一致するように初期輪郭として設定し、その後、動的輪郭、可変形状テンプレートマッチングなどの既存の手法を用いて比較すべき輪郭部分を抽出する方法を用いることもできる。この方法においては、色情報の一致度は形状に関する概略の一致を前提とした上でＲＧＢ値または色相などの差異を各領域毎に求め、その平均値または絶対値の総和などに基づき最終的に類似度を判定する。
【００８２】
類似度判定に方向別ラインラベルを用いる他の例としては、輪郭形状の特徴部分、特に曲率の極大または極小部分の位置での方向別ラベルの差異、およびその特徴部分に内接する部分領域の色情報、輝度情報または局所空間周波数、あるいは分散、モーメントなどの領域特徴量の差異を判定するものがある。この方法においては、特徴部分の内側外側の判定は基本的に抽出された特徴分布の重心位置と特徴位置とを結ぶ線分上にあるものを内側と判定する。
【００８３】
なお、いうまでもなく類似度判定方法は上述した方法に限定されるものではない。
【００８４】
類似度判定結果が得られると、この類似度判定結果は識別結果出力手段２０９により出力される。
【００８５】
以上のように、対象画像と基準画像との正規化を行った後に、方向別ラインラベルの差異に基づく識別対象の存在範囲の特定、および類似度判定を行うことにより、高速かつ確実な対象識別を行うことができる。
【００８６】
なお、上述の各処理を実行する各手段を専用のハードウェアで構成することもでき、また上述の各処理を実行する各手段をＣＰＵが実行可能なソフトウェアで構成することもできる。
【００８７】
（実施の第３形態）
次に、本発明の実施の第３形態について図７を参照しながら説明する。図７は本発明の画像分割装置の実施の他の形態を構成する画像切出し手段の構成を示すブロック図である。
【００８８】
本実施の形態では、図７に示すように、代表背景画像として、予め撮影された典型的な背景シーン、またはコンピュータグラフィックス、ペインティングソフトなどを使用して作成された背景画像のスケッチを用い、この代表背景画像をデータベース３０１に格納している。切出し対象となる被写体を含む入力画像は、撮像装置などの画像入力手段３００から画像切出し手段３０に入力される。画像切出し手段３０は、画像入力手段３００から入力される入力画像を一次記憶手段３１２に格納するとともに、表示手段３１１に表示する。表示手段３１１には入力画像とともに、データベース３０１に格納されている代表背景画像の画像サンプルが表示され、ユーザは入力画像の背景に最もマッチした代表背景画像を画像サンプルから選択する。選択された代表背景画像は一次記憶手段３１２に記憶される。例えば、入力画像（対象画像）として図１３（ａ）に示す画像が入力されると、この入力像に対して最もマッチした代表背景画像として図１３（ｂ）に示す画像が選択される。
【００８９】
対応点抽出手段３０４、エッジ強度抽出手段３０２、方向別ラインラベリング手段３０３は、実施の第１形態と同様に、入力画像と代表背景画像とに対して処理を実行し、幾何学的変換手段３０５は背景画像に対し幾何学的変換を施す。
【００９０】
本実施の形態では、特に、代表背景画像と入力画像中の背景部分との細部の違いに対する許容度を上げるために、対応点抽出前に各画像の方向別ラインラベル付けを粗い解像度で行い、その解像でエッジ特徴点の方向を考慮した対応点抽出処理を行う。具体的には、各画像を所定サイズのフィルタ（例えばGaussian filter ）で平滑化（またはブロック分割して各ブロック内の平均値で各画素値を置換）して、エッジ検出と方向別ラベル付けとを行った後に対応点抽出を行う。
【００９１】
対応点抽出においては、各エッジを中心として所定サイズのブロックマッチングを行ってもよいが、類似度尺度しては実施の第１形態に示した相関係数の類の他に、方向ラベルの一致度をいれる。但し、方向ラベルの違いに対する許容度を緩和するように設定され、例えば、１０度程度の違いは考慮されないように設定されている。対応点抽出に方向ラベルと色情報を合わせて用いる場合には、方向ラベルの相違を優先し、色の差異に対する許容度を比較的高く設定する。
【００９２】
幾何学的変換行列の推定に用いて変換する処理においては、上述の実施の第１形態で述べたように、対応点間で推定された変換行列を用いて一方の点から他方の対応する点への変換を行い、変換された点と対応すべき点との位置の誤差が予め定められている閾値より大きくなるような対応点の組を除外し、残りの対応点の組を用いて変換行列の推定を再度行うようにしてもよい。また、上述した誤差の平均値が所定の閾値以下となるまで対応の絞り込みを繰り返し行うようにしてもよい。
【００９３】
また、幾何学的変換行列の推定はブロック分割して局所的に行い、場所毎に異なる変換行列を求めて変換を行ってもよい。
【００９４】
局所支配的ライン方向抽出手段３０６は、代表背景画像を適当なサイズの複数のブロックに分割して各ブロック内で方向別ライン画素数の投票を行い、最も投票数の多い方向ラベルを当該ブロックの支配的ライン方向としてラベル付けする。
【００９５】
特異輪郭抽出手段３０７は、入力画像のエッジ方向別ラインラベルと、代表背景画像における入力画像のエッジと同一位置の点を含むブロックの局所支配的ラインラベルまたはエッジに付与された方向別ラインラベルとを比較し、それらが異なるとそのエッジを被写体の特異輪郭として抽出する。なお、一般的には、ライン方向ラベルのみでは抽出すべき被写体の輪郭を特定することは困難であるから、予め抽出すべき被写体を囲む最小サイズの処理枠をマニュアル設定してから行うようにすることが好ましい。この特異輪郭の抽出例を図１３（ｃ）に示す。
【００９６】
特異領域抽出手段３０８は、ライン長が基準値以上のラインにおいて、そのラインより局所的に分断される２つの局所領域の色、輝度レベルなどの特徴量を方向ラベルとともに、ラインの属性情報として抽出し、その入力画像と代表背景画像の属性どうしの相違を場所毎に比較することにより、被写体固有の色または輝度を有する部分領域を特異領域として抽出する。具体的には、属性情報の内、特に色に関しては、例えばＲＧＢ各成分の局所（例えば５×５画素サイズ）平均値、または色相と彩度の局所的平均値に関する差分絶対値を閾値処理する（閾値より高ければ被写体に固有の特異領域とする）ことにより被写体固有度を判断する。閾値は、例えば色成分に関するヒストグラムを入力画像と代表背景画像とで局所毎に作成し、その最大ピークレベルの色成分値の差異に基づいて設定することが可能である。但し、ヒストグラムの作成対象となる局所領域サイズは、上述した平均値算出のための局所領域サイズより大きくする（例えば３０×３０画素サイズ）。一例としては、最大ピークの色成分値の差異が大きいほど閾値が高くなるようにする。例えば、図１３（ａ）に示す入力画像に対する特異領域としては、図１３（ｄ）に示すように、黒く塗りつぶされた領域が抽出される。
【００９７】
なお、特異輪郭抽出手段３０７により、特異領域抽出手段３０８の出力に基づき属性値の異なる領域に隣接するライン成分を優先的に抽出するように設定することも可能である。
【００９８】
抽出された特異領域は、実施の第１形態における初期マスク領域に相当するものであり、抽出された特異領域に対する領域成長が領域成長手段３９で行われる。この領域成長手段３０９による成長処理は、実施の第１形態における領域成長処理内容と同様に行われる。
【００９９】
領域成長後のマスク領域は被写体切出しマスク領域とされ、これに該当する領域すなわち被写体領域は切出し画像出力手段３１０で入力画像から抽出される。この抽出された領域の画像データは表示手段３１１に出力され、表示手段３１１には切出し画像すなわち被写体が表示される。この切出しの結果、例えば、図１３（ａ）に示す入力画像から図１３（ｅ）に示す画像が切り出される。
【０１００】
【発明の効果】
以上に説明したように、本発明によれば、基準画像と入力画像の背景部分との間に位置ずれ、回転ずれ、歪みの違いなどが存在する場合にそれらの違いを吸収して被写体固有の輪郭のみを抽出することができ、基準画像と入力画像の背景部分との間にある違いに対する許容度が高い画像切出しを行うことができる。
【図面の簡単な説明】
【図１】本発明の画像分割装置の実施の一形態を構成する画像切出し手段の構成を示すブロック図である。
【図２】図１の画像切出し手段による画像切出し処理を示すフローチャートである。
【図３】図２の画像切出し処理における画像入力処理を示すフローチャートである。
【図４】図２の画像切出し処理における初期核データ処理を示すフローチャートである。
【図５】図２の画像切出し処理における初期の領域成長処理を示すフローチャートである。
【図６】本発明の画像識別装置の実施の一形態の主要部構成を示すブロック図である。
【図７】本発明の画像分割装置の実施の他の形態を構成する画像切出し手段の構成を示すブロック図である。
【図８】本発明の実施の第１形態の各処理により得られた画像例を示す図である。
【図９】本発明の実施の第２形態の各処理により得られた画像例を示す図である。
【図１０】本発明の実施の第２形態の各処理により得られた画像例を示す図である。
【図１１】局所支配的ライン方向ラベルの抽出過程を説明するための画像例を示す図である。
【図１２】遮蔽輪郭線の抽出過程を説明するための画像例を示す図である。
【図１３】本発明の実施の第３形態の処理により得られた画像例を示す図である。
【符号の説明】
１、２００、３００ 画像入力手段
２，３０ 画像切出し手段
３ 記憶手段
４，２０２，３０２ エッジ強度抽出手段
５，２０３，３０３ 方向別ラインラベリング手段
６，６０６ 局所支配的ライン方向抽出手段
７，２０４，３０４ 対応点抽出手段
８，２０５，３０５ 幾何学的変換手段
９ 階調変換関数推定および変換手段
１０ 特異輪郭抽出復元手段
１１ 初期マスク領域抽出手段
１２ 領域成長抽出手段
１３，３１０ 切出し画像出力手段
１４ 画像表示手段
２０ 画像識別装置
２０１，３０１ データベース
２０６ オートフレーミング手段
２０７ モデル画像サイズ変更手段
２０８ 類似度判定手段
２０９ 識別結果出力手段
２１０，３１２ 一次記憶手段
３０７ 特異輪郭抽出手段
３０８ 特異領域抽出手段
３１１ 表示手段
Claims (10)
- 入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割方法であって、
前記入力画像および前記基準画像の各画像中におけるエッジ強度分布を抽出するエッジ強度分布抽出ステップと、
前記抽出された各画像中におけるエッジ強度分布に基づき該各画像中における各エッジについて所定の方向別ラインを検出し、方向別ラインラベル付けを行う方向別ライン検出ステップと、
前記各画像における前記検出された方向別ラインの分布に基づき前記抽出対象となる画像領域に特異な輪郭部分を抽出する特異輪郭抽出ステップと、
前記抽出された特異輪郭部分を表す分布データに基づき前記抽出対象となる画像領域を切り出す画像切出しステップとを有し、
前記特異輪郭抽出ステップは、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出ステップを有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする画像分割方法。 - 前記画像切出しステップは、前記入力画像から前記抽出対象となる画像領域の一部を部分領域として抽出する部分領域抽出ステップと、前記抽出された部分領域を核としてその近傍領域との類似度の閾値処理により領域成長を行う領域成長ステップと、前記領域成長によって得られた領域を前記抽出対象となる画像領域として抽出する抽出ステップとを有することを特徴とする請求項１記載の画像分割方法。
- 前記画像切出しステップは、前記抽出対象となる画像領域の一部を二値化してマスクデータとして抽出する部分領域抽出ステップと、前記抽出されたマスクデータを平滑化する平滑化ステップと、前記マスクデータの平滑化後に前記特異輪郭部分をマスクデータとして復元する特異輪郭復元ステップとを有することを特徴とする請求項１記載の画像分割方法。
- 前記領域成長ステップは、前記エッジからの領域成長方向が該エッジの方向別ラベルに略一致するように前記領域成長を制御することを特徴とする請求項２記載の画像分割方法。
- 入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割装置であって、
前記入力画像および前記基準画像の各画像中におけるエッジ強度分布を抽出するエッジ強度分布抽出手段と、
前記抽出された各画像中におけるエッジ強度分布に基づき該各画像中における各エッジについて所定の方向別ラインを検出し、方向別ラインラベル付けを行う方向別ライン検出手段と、
前記各画像における前記検出された方向別ラインの分布に基づき前記抽出対象となる画像領域に特異な輪郭部分を抽出する特異輪郭抽出手段と、
前記抽出された特異輪郭部分を表す分布データに基づき前記抽出対象となる画像領域を切り出す画像切出し手段とを有し、
前記特異輪郭抽出手段は、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出手段を有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする画像分割装置。 - 前記画像切出し手段は、前記入力画像から前記抽出対象となる画像領域の一部を部分領域として抽出する部分領域抽出手段と、前記抽出された部分領域を核としてその近傍領域との類似度の閾値処理により領域成長を行う領域成長手段と、前記領域成長によって得られた領域を前記抽出対象となる画像領域として抽出する抽出手段とを有することを特徴とする請求項５記載の画像分割装置。
- 前記画像切出し手段は、前記抽出対象となる画像領域の一部を二値化してマスクデータとして抽出する部分領域抽出手段と、前記抽出されたマスクデータを平滑化する平滑化手段と、前記マスクデータの平滑化後に前記特異輪郭部分をマスクデータとして復元する特異輪郭復元手段とを有することを特徴とする請求項５記載の画像分割装置。
- 前記領域成長手段は、前記エッジからの領域成長方向が該エッジの方向別ラベルに略一致するように前記領域成長を制御することを特徴とする請求項６記載の画像分割装置。
- 入力画像から抽出対象となる画像領域を、該画像領域を除いた他の領域に略等しい領域を表す基準画像を用いて分割するための画像分割装置であって、
前記基準画像を記憶する記憶手段と、
前記入力画像および前記基準画像の各画像におけるエッジ分布を抽出するエッジ抽出手段と、
前記抽出された各画像中におけるエッジ分布に基づき該各画像における方向別ライン分布を検出する方向別ライン検出手段と、
前記基準画像と前記入力画像との間の対応点情報を抽出する対応点抽出手段と、
前記抽出された対応点情報に基づき前記各画像のいずれか一方に対し幾何学的変換を施す変換手段と、
前記幾何学的変換が施された画像と他方の画像間の前記方向別ライン分布の差異に基づき特異エッジを抽出する特異エッジ抽出手段と、
前記抽出された特異エッジに基づき前記入力画像から前記抽出対象となる画像領域を分割する分割手段とを有し、
前記特異エッジ抽出手段は、前記入力画像と前記基準画像とをそれぞれ複数のブロックに分割し、各ブロック内の支配的ライン方向成分を検出する支配的ラインマップ抽出手段を有し、前記入力画像の各ブロックの内の前記支配的方向ライン成分が存在しないブロックと前記支配的方向ライン成分が存在するブロックとの境界近傍にある境界点を抽出し、該境界点を含む所定の局所領域について該境界点と最短距離に位置する前記入力画像のエッジを前記抽出対象となる画像領域と前記他の領域との境界となる遮蔽境界線の一部として検出することを特徴とする画像分割装置。 - 前記幾何学的変換は、平行移動、回転、倍率変換、透視変換のうちの少なくとも１つに関する全体的または局所的処理を含むことを特徴とする請求項９記載の画像分割装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32329996A JP3814353B2 (ja) | 1996-11-20 | 1996-11-20 | 画像分割方法および画像分割装置 |
| US08/972,166 US6453069B1 (en) | 1996-11-20 | 1997-11-17 | Method of extracting image from input image using reference image |
| US10/150,062 US6766055B2 (en) | 1996-11-20 | 2002-05-20 | Method of extracting image from input image using reference image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32329996A JP3814353B2 (ja) | 1996-11-20 | 1996-11-20 | 画像分割方法および画像分割装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10149449A JPH10149449A (ja) | 1998-06-02 |
| JP3814353B2 true JP3814353B2 (ja) | 2006-08-30 |
Family
ID=18153240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32329996A Expired - Fee Related JP3814353B2 (ja) | 1996-11-20 | 1996-11-20 | 画像分割方法および画像分割装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3814353B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010062954A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | 対応点推定装置、対応点推定方法及び対応点推定プログラム |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000293696A (ja) | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
| US7574070B2 (en) | 2003-09-30 | 2009-08-11 | Canon Kabushiki Kaisha | Correction of subject area detection information, and image combining apparatus and method using the correction |
| JP4765363B2 (ja) * | 2005-03-24 | 2011-09-07 | 日産自動車株式会社 | 乗員検出装置及び乗員検出方法 |
| JP4316629B2 (ja) | 2007-03-29 | 2009-08-19 | 株式会社東芝 | 画像処理システム、画像取得方法及びプログラム |
| JP2010039868A (ja) * | 2008-08-06 | 2010-02-18 | Sharp Corp | 位置座標処理装置、及び、位置座標処理方法 |
| JP5228926B2 (ja) * | 2009-01-12 | 2013-07-03 | 株式会社デンソー | 歩行者検出装置 |
| JP5300670B2 (ja) * | 2009-09-14 | 2013-09-25 | 株式会社東芝 | パターン検査装置及びパターンを有する構造体の製造方法 |
| JP5742399B2 (ja) * | 2011-04-06 | 2015-07-01 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| JP2013021215A (ja) * | 2011-07-13 | 2013-01-31 | Canon Inc | ビーム計測装置、描画装置、および物品の製造方法 |
| JP6606858B2 (ja) * | 2015-05-12 | 2019-11-20 | 沖電気工業株式会社 | 物体検出装置および物体検出方法 |
| JP2017215510A (ja) | 2016-06-01 | 2017-12-07 | 株式会社ジャパンディスプレイ | 表示装置 |
| US11176672B1 (en) * | 2018-06-28 | 2021-11-16 | Shimadzu Corporation | Machine learning method, machine learning device, and machine learning program |
-
1996
- 1996-11-20 JP JP32329996A patent/JP3814353B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010062954A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | 対応点推定装置、対応点推定方法及び対応点推定プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10149449A (ja) | 1998-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6453069B1 (en) | Method of extracting image from input image using reference image | |
| US10592754B2 (en) | Shadow removing method for color image and application | |
| JP3679512B2 (ja) | 画像抽出装置および方法 | |
| US6389155B2 (en) | Image processing apparatus | |
| JP5542889B2 (ja) | 画像処理装置 | |
| JP4154374B2 (ja) | パターンマッチング装置及びそれを用いた走査型電子顕微鏡 | |
| US20060017825A1 (en) | Method and apparatus for effecting automatic red eye reduction | |
| JP3814353B2 (ja) | 画像分割方法および画像分割装置 | |
| KR20050022306A (ko) | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 | |
| CN111415363A (zh) | 一种图像边缘识别方法 | |
| CN108038458B (zh) | 基于特征摘要图的视频中的户外场景文本自动获取方法 | |
| CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
| JP3636936B2 (ja) | 濃淡画像の２値化方法および濃淡画像の２値化プログラムを記録した記録媒体 | |
| CN108647680B (zh) | 图像定位框检测方法和装置 | |
| JPH11306325A (ja) | 対象物検出装置及び対象物検出方法 | |
| WO2022056875A1 (zh) | 一种铭牌图像的分割方法、装置和计算机可读存储介质 | |
| CN112052859B (zh) | 一种自由场景下的车牌精准定位方法及装置 | |
| JP2981382B2 (ja) | パターンマッチング方法 | |
| CN109934215B (zh) | 一种身份证识别方法 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN112669360A (zh) | 一种基于非封闭多维轮廓特征序列的多源图像配准方法 | |
| CN117934973B (zh) | 智能摄像机图像处理方法、装置、设备及存储介质 | |
| Mariani | Subpixellic eyes detection | |
| JPH06251147A (ja) | 映像特徴処理方法 | |
| Long et al. | An Efficient Method For Dark License Plate Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051220 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |