JPH10149449A

JPH10149449A - 画像分割方法、画像識別方法、画像分割装置および画像識別装置

Info

Publication number: JPH10149449A
Application number: JP8323299A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継; Tatsuji Katayama; 達嗣片山; Koji Hatanaka; 耕治畑中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-11-20
Filing date: 1996-11-20
Publication date: 1998-06-02
Anticipated expiration: 2016-11-20
Also published as: JP3814353B2

Abstract

(57)【要約】【課題】入力画像中における外部からの侵入物の存在
範囲を高精度にかつ自動的に検出することができるとと
もに、切出しまたは認識などを行う対象の存在範囲を高
精度に検出することができる画像分割方法を提供する。【解決手段】画像切出し処理では、ステップＳ５でエ
ッジ強度抽出手段４により、エッジ抽出処理を行い、続
くステップＳ６で、方向別ラインラベリング手段５によ
り方向別ライン検出とラベリングとを行い、ステップＳ
８で、特異輪郭抽出復元手段１０により、特異輪郭抽出
処理を行う。この特異輪郭抽出処理では、基本的には、
背景画像上のエッジと異なる方向ラベルを有するライン
を被写体固有の輪郭線すなわち特異輪郭として抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、基準画像を用いて
入力画像から抽出対象となる画像領域を分割するための
画像分割方法、基準画像を用いて入力画像から抽出対象
となる画像領域を識別するための画像識別方法、画像分
割装置および画像分割装置に関する。

【０００２】

【従来の技術】一般に、画像切出し（抽出）を行う手法
として、特定の色背景を用いるクロマキーや、所定の画
像処理（ヒストグラム処理、差分、微分処理、輪郭強
調、輪郭追跡など）によりキー信号を生成するビデオマ
ット（テレビビジョン学会報告、VOL.12,pp.29-34,198
8）などの手法が知られている。

【０００３】上述の手法において、背景画像との差分に
基づいて画像抽出を行う手法は古典的なものであり、例
えば、特開平４−２１６１８１号公報には、背景画像と
処理対象画像との差分データにマスク画像（特定処理領
域）を設定して画像中の複数の特定領域における対象物
体を抽出また検出する方法が記載されている。また、特
公平７−１６２５０号公報に記載の方式では、抽出対象
の色彩モデルを用いて背景を含む原画像の色彩変換デー
タ、背景画像と原画像との明度の差データから抽出対象
の存在確立分布を求めて画像抽出を行う。

【０００４】背景画像との差分方式は、一般的には背景
画像と被写体像の各画素間で輝度レベルまたは色成分な
どの差異を所定の評価関数で表し、閾値処理して差異レ
ベルが所定値以上の領域を抽出するものである。例えば
評価関数としては、各点を中心とする所定サイズのブロ
ック間の相互間数（Digital Picture Processing(2nde
d),by Rosendfeld,A. and Kak,A.C.,Academic Press,19
82) 、正規化主成分特徴量（電子情報通信学会論文誌
Vol.J74-D-II,pp. 1731-740)、標準偏差値と差分値との
重み付き加算値（テレビジョン学会誌、VOL.45,pp.1270
-1276,1991）、色相と輝度レベルに関する局所ヒストグ
ラム間距離（テレビジョン学会誌、VOL.45,pp.1270-127
6,1991）などがある。

【０００５】また、特定対象の識別、認識を行う手法と
しては、その対象に関するモデル画像またはテンプレー
トを予め準備し、また識別対象の物体の画像領域を予め
他の領域と分離するかまたは識別対象画像領域の大きさ
の正規化、位置の固定などを行うかまたは大きさが異な
る複数のモデル画像を用意し、対象画像上を走査しなが
らモデル画像またはテンプレートと識別対象との類似度
を相関関係などの尺度を用いて判定する方法が多く用い
られている。

【０００６】

【発明が解決しようとする課題】しかし、画像切出しに
おいて、クロマキー方式では、特別な色背景を要するな
ど背景に対する制約が大きく屋外での使用が難しい、ま
た背景と同色の被写体領域では色抜けが生じるなどの問
題がある。また、ビデオマット方式では、輪郭の指定作
業において作業者が画素単位で正確に行う必要があるか
ら、輪郭の指定作業には労力と熟練とを要するという問
題がある。

【０００７】また、上述した背景画像との差分方式で
は、被写体上の背景と類似した部分領域において背景か
被写体かを判別することが難しいこと、背景画像と入力
画像間での撮影条件（例えば露光条件、倍率、照明条
件、ピント条件、視点位置など）の差異を一般的に許容
しないことなどの問題がある。特に、入力画像の被写体
を除いた背景と背景画像とが異なる場合には、仮にそれ
らが類似していてもそれらの差異に関する許容度は著し
く低い。また、ノイズの影響を排除しながら被写体の細
かい輪郭形状、細かな凹凸形状を残すことは非常に難し
い。

【０００８】特定対象画像の識別、認識方式において
は、上述したような前処理のうち他の領域との分離処理
が一般的に認識技術の表裏一体をなし複雑かつ困難なも
のになる。また、予め認識対象の大きさ、位置が分から
ないために行う上述のサイズ位置などの正規化を自動化
することは難しい。さらに、サイズが異なる複数のモデ
ル画像を用意することはデータベースの記憶容量の制約
により制限され、汎用化は非常に難しい。

【０００９】本発明の第１の目的は、入力画像中におけ
る外部からの侵入物の存在範囲を高精度にかつ自動的に
検出することができるとともに、切出しまたは認識など
を行う対象の存在範囲を高精度に検出することができる
画像分割方法を提供することにある。

【００１０】本発明の第２の目的は、基準画像と入力画
像との間に撮影条件、照明条件などの変動に起因する差
異があるときでも、入力画像からの画像の切出しを安定
的に行うことができる画像分割方法を提供することにあ
る。

【００１１】本発明の第３の目的は、被写体の画像サイ
ズ、位置の違いの影響を受けずに、認識対象を安定にか
つ自動的に認識することができるとともに、経済的に優
れている画像識別方法および画像識別装置を提供するこ
とにある。

【００１２】本発明の第４の目的は、シェーディングな
どのノイズの影響を排除しながら高速に画像切出しを行
うことができる画像分割方法を提供することにある。

【００１３】本発明の第５の目的は、基準画像と入力画
像の背景部分との間にある違いに対する許容度が高い画
像切出しを行うことができる画像分割方法および画像分
割装置を提供することにある。

【００１４】

【課題を解決するための手段】請求項１記載の発明は、
基準画像を用いて該基準画像中に存在しない物体を含む
入力画像から該物体を分割するための画像分割方法であ
って、前記基準画像および前記入力画像の各画像中にお
けるエッジ強度分布を抽出するエッジ強度分布抽出ステ
ップと、前記抽出された各画像中におけるエッジ強度分
布に基づき該各画像中における各エッジについて所定の
方向別ライン成分を検出する方向別ライン検出ステップ
と、前記基準画像と前記入力画像との間における前記検
出された方向別ライン成分の差異の分布に基づき前記入
力画像中の物体の存在範囲を特定する画像領域特定ステ
ップとを有することを特徴とする。

【００１５】請求項２記載の発明は、画像入力装置など
の外部装置からの入力画像から所定の画像領域を基準画
像を用いて分割するための画像分割方法であって、前記
入力画像および前記基準画像の各画像中におけるエッジ
分布を抽出するエッジ分布抽出ステップと、前記抽出さ
れた各画像中におけるエッジ分布に基づき該各画像中に
おける所定の方向別ライン分布を検出する方向別ライン
検出ステップと、前記基準画像と前記入力画像との間に
おける前記検出された方向別ライン分布の差異に基づき
特異エッジを抽出する特異エッジ抽出ステップと、前記
抽出された特異エッジに基づき前記入力画像中の所定の
画像領域を抽出する画像抽出ステップとを有することを
特徴とする。

【００１６】請求項３記載の発明は、所定物体を表す標
準モデル画像と基準画像とを用いて該基準画像中に存在
しない物体を含む入力画像における該物体を識別するた
めの画像識別方法であって、前記基準画像および前記入
力画像の各画像中におけるエッジ強度分布を抽出するエ
ッジ強度分布抽出ステップと、前記抽出された各画像中
におけるエッジ強度分布に基づき該各画像中における各
エッジについて所定の方向別ライン成分を検出する方向
別ライン検出ステップと、前記基準画像と前記入力画像
との間における前記検出された方向別ライン成分の差異
の分布に基づき前記入力画像中の物体の存在範囲を特定
するオートフレーミングステップと、前記特定された前
記物体の存在範囲に基づき前記標準モデル画像に対する
サイズを推定して求めるモデルサイズ推定ステップとを
有し、前記標準モデル画像のサイズを前記求められたサ
イズに変更した後に、前記入力画像中の前記存在範囲に
ある前記物体画像と前記サイズが変更された標準モデル
画像との類似度に基づき前記物体を識別することを特徴
とする。

【００１７】請求項４記載の発明は、基準画像を用いて
該基準画像中に存在しない物体を含む入力画像から該物
体を分割するための画像分割方法であって、前記基準画
像および前記入力画像の各画像中におけるエッジ強度分
布を抽出するエッジ強度分布抽出ステップと、前記抽出
された各画像中におけるエッジ強度分布に基づき該各画
像中における各エッジについて所定の方向別ライン成分
を検出する方向別ライン検出ステップと、前記基準画像
と前記入力画像との間における前記検出された方向別ラ
イン成分の差異の分布に基づき前記入力画像中の物体の
存在範囲を特定するオートフレーミングステップと、前
記特定された前記物体の存在範囲内で前記物体の切出し
処理を行う切出し処理ステップとを有することを特徴と
する。

【００１８】請求項５記載の発明は、入力画像から抽出
対象となる画像領域を、該画像領域を除いた他の領域に
略等しい領域を表す基準画像を用いて分割するための画
像分割方法であって、前記入力画像および前記基準画像
の各画像中におけるエッジ強度分布を抽出するエッジ強
度分布抽出ステップと、前記抽出された各画像中におけ
るエッジ強度分布に基づき該各画像中における各エッジ
について所定の方向別ラインを検出し、方向別ラインラ
ベル付けを行う方向別ライン検出ステップと、前記各画
像における前記検出された方向別ラインの分布に基づき
前記抽出対象となる画像領域に特異な輪郭部分を抽出す
る特異輪郭抽出ステップと、前記抽出された特異輪郭部
分を表す分布データに基づき前記抽出対象となる画像領
域を切り出す画像切出しステップとを有することを特徴
とする。

【００１９】請求項６記載の発明は、請求項５記載の画
像分割方法において、前記画像切出しステップは、前記
入力画像から前記抽出対象となる画像領域の一部を部分
領域として抽出する部分領域抽出ステップと、前記抽出
された部分領域を核としてその近傍領域との類似度の閾
値処理により領域成長を行う領域成長ステップと、前記
領域成長によって得られた領域を前記抽出対象となる画
像領域として抽出する抽出ステップとを有することを特
徴とする。

【００２０】請求項７記載の発明は、請求項５記載の画
像分割方法において、前記特異輪郭抽出ステップは、前
記入力画像と前記基準画像との同一近傍領域において対
応する方向別ラインラベルが異なる入力画像中のエッジ
を前記特異輪郭部分として抽出することを特徴とする。

【００２１】請求項８記載の発明は、請求項５記載の画
像分割方法において、前記特異輪郭抽出ステップは、前
記基準画像を複数のブロックに分割し、各ブロック内の
支配的ライン方向成分を検出する支配的ラインマップ抽
出ステップと、前記入力画像の各エッジ毎にそれに付け
られたラベルと該エッジが属するブロック内の支配的方
向ライン成分とを比較するライン方向比較ステップとを
有し、前記方向別ラインに付けられたラベルと前記エッ
ジが属するブロック内の支配的方向ライン成分とが異な
るときには該エッジを前記入力画像の特異輪郭部分とし
て抽出することを特徴とする。

【００２２】請求項９記載の発明は、請求項５記載の画
像分割方法において、前記画像切出しステップは、前記
抽出対象となる画像領域の一部を二値化してマスクデー
タとして抽出する部分領域抽出ステップと、前記抽出さ
れたマスクデータを平滑化する平滑化ステップと、前記
マスクデータの平滑化後に前記特異輪郭部分をマスクデ
ータとして復元する特異輪郭復元ステップとを有するこ
とを特徴とする。

【００２３】請求項１０記載の発明は、請求項５記載の
画像分割方法において、前記特異輪郭抽出ステップは、
前記抽出対象となる画像領域と前記他の領域との境界と
なる遮蔽境界線を検出し、該検出した遮蔽境界線を前記
特異輪郭部分とすることを特徴とする。

【００２４】請求項１１記載の発明は、請求項１０記載
の画像分割方法において、前記特異輪郭抽出ステップ
は、前記入力画像と前記基準画像とをそれぞれ複数のブ
ロックに分割し、各ブロック内の支配的ライン方向成分
を検出する支配的ラインマップ抽出ステップを有し、前
記入力画像の各ブロックの内の前記支配的方向ライン成
分が存在しないブロックと前記支配的方向ライン成分が
存在するブロックとの境界近傍にある境界点を抽出し、
該境界点を含む所定の局所領域について該境界点と最短
距離に位置する前記入力画像のエッジを前記遮蔽境界線
の一部として検出することを特徴とする。

【００２５】請求項１２記載の発明は、請求項６記載の
画像分割方法において、前記領域成長ステップは、前記
エッジからの領域成長方向が該エッジの方向別ラベルに
略一致するように前記領域成長を制御することを特徴と
する。

【００２６】請求項１３記載の発明は、入力画像から抽
出対象となる画像領域を、該画像領域を除いた他の領域
に略等しい領域を表す基準画像を用いて分割するための
画像分割方法であって、前記入力画像および前記基準画
像の各画像中における低解像度画像部分を抽出する低解
像度画像抽出ステップと、前記入力画像と前記基準画像
とに対するマッチング処理を行う画像マッチングステッ
プと、前記入力画像と前記基準画像とをそれぞれ複数の
ブロックに分割し、各ブロック内の支配的ライン方向成
分を検出する支配的ラインマップ抽出ステップと、前記
入力画像の各エッジのライン方向ラベルと該エッジ位置
における前記基準画像の前記支配的ラインマップのラベ
ルとの一致度に基づき前記画像領域を抽出する抽出ステ
ップとを有することを特徴とする。

【００２７】請求項１４記載の発明は、請求項１３記載
の画像分割方法において、前記画像マッチングステップ
は、前記基準画像と前記入力画像との間の対応点を抽出
する対応点抽出ステップと、前記抽出され対応点に基づ
き前記画像のいづれか一方に幾何学的変換を施す第１の
変換ステップと、前記幾何学的変換後に前記対応点を含
む領域の各対応画素間の階調が略等しくなるように前記
画像のいずれか一方に階調補正を施す第２の変換ステッ
プとを有することを特徴とする。

【００２８】請求項１５記載の発明は、請求項１４記載
の画像分割方法において、前記幾何学的変換は、平行移
動、回転、倍率変換、透視変換のうちの少なくとも１つ
に関する全体的または局所的処理を含むことを特徴とす
る。

【００２９】請求項１６記載の発明は、入力画像から抽
出対象となる画像領域を、該画像領域を除いた他の領域
に略等しい領域を表す基準画像を用いて分割するための
画像分割装置であって、前記基準画像を記憶する記憶手
段と、前記入力画像および前記基準画像の各画像におけ
るエッジ分布を抽出するエッジ抽出手段と、前記抽出さ
れた各画像中におけるエッジ分布に基づき該各画像にお
ける方向別ライン分布を検出する方向別ライン検出手段
と、前記基準画像と前記入力画像との間の対応点情報を
抽出する対応点抽出手段と、前記抽出された対応点情報
に基づき前記各画像のいずれか一方に対し幾何学的変換
を施す変換手段と、前記幾何学的変換が施された画像と
他方の画像間の前記方向別ライン分布の差異に基づき特
異エッジを抽出する特異エッジ抽出手段と、前記抽出さ
れた特異エッジに基づき前記入力画像から前記抽出対象
となる画像領域を分割する分割手段とを有することを特
徴とする。

【００３０】請求項１７記載の発明は、請求項１６記載
の画像分割装置において、前記幾何学的変換は、平行移
動、回転、倍率変換、透視変換のうちの少なくとも１つ
に関する全体的または局所的処理を含むことを特徴とす
る。

【００３１】請求項１８記載の発明は、所定物体を表す
標準モデル画像と基準画像とを用いて該基準画像中に存
在しない物体を含む入力画像における該物体を識別する
ための画像識別装置であって、前記入力画像の各画像中
におけるエッジ強度分布を抽出するエッジ強度分布抽出
手段と、前記抽出された各画像中におけるエッジ強度分
布に基づき該各画像中における各エッジについて所定の
方向別ライン成分を検出する方向別ライン検出手段と、
前記基準画像と前記入力画像との間における前記検出さ
れた方向別ライン成分の差異の分布に基づき前記入力画
像中の物体の存在範囲を特定するオートフレーミング手
段と、前記特定された前記物体の存在範囲に基づき前記
標準モデル画像に対するサイズを推定して求めるモデル
サイズ推定手段とを有し、前記標準モデル画像のサイズ
を前記求められたサイズに変更した後に、前記入力画像
中の前記存在範囲にある前記物体画像と前記サイズが変
更された標準モデル画像との類似度に基づき前記物体を
識別することを特徴とする。

【００３２】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図を参照しながら説明する。

【００３３】（実施の第１形態）図１は本発明の画像分
割装置の実施の一形態を構成する画像切出し手段の構成
を示すブロック図である。

【００３４】本実施の形態では、切出し対象となる被写
体を含む入力画像と該被写体を除いた背景画像とを用い
て、入力画像から被写体を切り出す処理を行う。入力画
像および背景画像は、図１に示すように、画像入力手段
１から画像切出し手段２に入力される。画像入力手段１
は、例えば、レンズ、絞りおよびそれらの駆動制御手段
を含む結像工学系、イメージセンサ、映像信号処理回路
部、画像記録部などを主な構成要素とする撮像装置から
なる。

【００３５】画像切出し手段２は、図１に示すように、
画像入力手段１から入力される入力画像および背景画像
と、マウス、キーボートなどのデータ入力手段１５から
入力されるデータとを記憶する記憶手段３と、入力画像
と背景画像との間の対応点を探索し、対応点位置データ
を生成する対応点抽出手段７とを有する。

【００３６】生成された対応点位置データは幾何学的変
換手段８に与えられ、幾何学的変換手段８は対応点位置
データに基づき背景画像または入力画像の一方に対し幾
何学的変換を施す。一方に幾何学的変換が施された各画
像は階調変換推定および変換手段（以下、階調変換手
段）９に与えられ、階調変換手段９は、対応点間の画像
値（例えばＲ，Ｇ，Ｂ値など）データに基づき対応点を
含む領域の画素間の階調が略等しくするための階調変換
関数を推定し、この階調変換関数を用いて一方の画像に
階調補正を施す。

【００３７】幾何学的変換、階調変換後の各画像はエッ
ジ強度抽出手段４に与えられ、エッジ強度抽出手段４は
各画像におけるエッジ分布を抽出する。抽出された各画
像のエッジ分布は方向別ラインラベリング手段５および
局所支配的ライン方向抽出手段６に与えられる。方向別
ラインラベリング手段５は、抽出された各画像のエッジ
分布に基づき各エッジについて方向別ライン検出とラベ
リングとを行う。局所支配的ライン方向抽出手段６は、
各画像を適当なサイズの複数のブロックに分割し、エッ
ジ分布に基づき局所的支配的ライン方向検出とラベルリ
ングとを行う。

【００３８】ラベリング処理によって得られた各データ
は特異輪郭抽出復元手段１０に与えられ、特異輪郭抽出
復元手段１０は、入力画像と背景画像との同一近傍領域
において対応する方向別ラインラベルが異なる入力画像
中のエッジを被写体の輪郭線、すなわち特異輪郭として
抽出するとともに、該特異輪郭を平滑化した後に初期核
の一部として復元する処理を行う。

【００３９】抽出された特異輪郭は初期マスク領域抽出
手段１１に与えられ、初期マスク領域抽出手段１１は閾
値処理により特異輪郭の一部を初期核として抽出する。
抽出された初期核は領域成長手段１２に与えられ、領域
成長手段１２は初期核の近傍領域との類似度の閾値処理
により領域成長を行う。

【００４０】領域成長によって得られた成長領域データ
は切出し画像出力手段１３に与えられ、切出し画像出力
手段１３は、成長領域データが示す領域を被写体切出し
マスク領域とし、この被写体切出しマスク領域に該当す
る領域を入力画像から抽出する。抽出された領域の画像
データは画像表示手段１４に与えられ、画像表示手段１
４は抽出された領域の画像データが示す画像（被写体）
を表示する。

【００４１】次に、本実施の形態における画像切出し処
理について図２ないし図５を参照しながら説明する。図
２は図１の画像切出し手段による画像切出し処理を示す
フローチャート、図３は図２の画像切出し処理における
画像入力処理を示すフローチャート、図４は図２の画像
切出し処理における初期核データ処理を示すフローチャ
ート、図５は図２の画像切出し処理における初期の領域
成長処理を示すフローチャートである。

【００４２】図２を参照するに、まずステップＳ１で画
像入力処理を行う。この画像入力処理では、図３に示す
ように、ステップＳ１０１で画像入力手段１から切出す
べき対象（被写体）が存在する入力画像とその対象が存
在しない背景画像とを画像入力手段１から入力し、記憶
手段３に記憶する。次いで、後続の処理の効率を上げる
ために、ステップＳ１０２で、適当な縮尺率で入力され
た画像データの間引き処理を行い、続くステップＳ１０
３で、入力画像に対し被写体を含む領域を処理領域とし
て設定する領域設定をデータ入力手段１５のマウスなど
を用いて行う。この間引き、領域設定後の各画像は再度
記憶手段３に記憶され、この記憶された画像が後続の処
理に用いられる。

【００４３】次いで、ステップＳ２に進み、各画像の左
右端から画像フレーム幅の２５％から３５％の領域範囲
で、または前記ステップＳ１０３で処理領域が設定され
ている場合にはその領域の外側領域で、各画像間の対応
点の探索と抽出とを対応点抽出手段７で行う。この対応
点の探索範囲の設定例を図９（ａ），（ｂ）に示す。入
力画像（対象画像）を図９（ａ）に示す画像とし、背景
画像（基準画像）を図９（ｂ）に示す画像とすると、各
画像の左右端からの所定領域範囲（左右端から２点鎖線
で示す位置までの範囲）が対応点探索範囲として設定さ
れ、丹生りょｋ画像において対応点探索範囲に被写体の
一部分が含まれるときでも、この対応点探索範囲は標準
的に固定される。対応点探索範囲に被写体の一部分が含
まれることにより対応点の抽出誤差が発生することがあ
るが、後述する対応点の絞り込みにより誤って抽出され
た対応点は排除され、対応点の抽出誤差に起因する問題
（幾何学的変換誤差）の発生は未然に防止される。

【００４４】対応点の抽出は、後述する背景画像または
入力画像のいずれか一方に対する幾何学的変換に対す
る、視点位置の変動、手振れなどによる画像の位置ず
れ、回転などの変動、倍率変動などの条件の違いを吸収
する目的で行われる。この対応点の抽出方法としては、
一方の画像の各点を中心とした所定サイズのブロックと
他方の画像の所定サイズのブロック間において、相関係
数が最大となる互いの点どうしを求めるブロックマッチ
ング方法が用いられるが、これに代えて他の方法を用い
ることも可能である。対応点が抽出されると、抽出され
た各対応点の位置を示す対応点位置データが生成され
る。

【００４５】次いで、ステップＳ３に進み、幾何学的変
換手段８により、対応点位置データを用いて各画像間の
互いに対応する画素の位置が一致するようにすなわち画
像フレーム内の同一位置となるように、一方の画像に幾
何学的変換を施すための変換行列の推定と変換を行う。
本実施の形態では、背景画像に幾何学的変換を施すもの
とする。この幾何学的変換には、平行移動、回転、ある
点を中心とした拡大縮小、またはこれらの組合せによる
変換が含まれている。この処理においては、対応点間で
推定された変換行列を用いて一方の点から他方の対応す
る点への変換を行い、変換された点と対応すべき点との
位置の誤差が予め定められている閾値より大きくなるよ
うな対応点の組を除外し、残りの対応点の組を用いて変
換行列の推定を再度行うようにしてもよい。また、上述
した誤差の平均値が所定の閾値以下となるまで対応の絞
り込みを繰り返し行うようにしてもよい。

【００４６】続くステップＳ４では、階調変換手段９に
より、対応点どうしの画素レベルが一致するような階調
変換の変換関数または変換表を作成し、変換関数または
変換表に従い一方の画像の階調を変換（補正）する。本
実施の形態では、背景画像に対し階調変換を行うものと
する。具体的には、ＲＧＢの各画素値について背景画像
と入力画像間の対応点の変換関数または変換表（ＲＧＢ
の各レベル、すなわち０から２５５レベルまでの各レベ
ルに対する変換値を表す関数または表）を最小二乗法な
どにより回帰分析により推定する。変換関数または変換
表に従う階調変換を行うことにより、露光条件やホワイ
トバランス特性などの変動を入力画像と背景画像間で吸
収して後述する画像切出しの精度を安定的に向上させる
ことができる。

【００４７】一方の画像の階調の変換後、ステップＳ５
に進み、エッジ強度抽出手段４により、エッジ抽出処理
を行い、続くステップＳ６で、方向別ラインラベリング
手段５により方向別ライン検出とラベリングとを行う。
エッジ抽出処理では、ＳＯＢＥＬ演算子などの微分処理
演算子などを用いる。また、方向別ライン検出とラベリ
ングとしては、例えば、水平方向、垂直方向、４５度斜
め方向、−４５度斜め方向の順に、

【００４８】

【数１】の各行列と画像とのコンボリューション演算を行い、そ
の値の高低に基づきラベル付けを各画素毎に行う方法が
用いられる。具体的には、各方向検出演算子（行列）と
エッジデータとのコンボリューション値が所定の閾値よ
り大でかつ最大となる方向に対しラベル付けが行われ
る。いずれの方向も閾値以下の場合は、ラベルなしとな
る。または適正な閾値を用いてコンボリューション値が
閾値以上の値を有する画素に、各ラインのラベル付けを
重複を許して与えてもよい。方向別ライン検出は上述の
方法によるものに限定されることはなく、例えばより精
密な方向検出のためには、検出行列のサイズを５×５以
上にして与えることにより、上記４方向に加えて＋／−
３０度方向、＋／−６０度方向などを検出することがで
きる。

【００４９】次いで、ステップＳ７に進み、局所支配的
ライン方向抽出手段６により、局所的ライン方向抽出手
段６で画像を適当なサイズ例えば５×５画像サイズの複
数のブロックに分割し、各ブロック内で各方向別ラベル
付きエッジの総数を求め、その総数の最も多くラベルが
付された方向を局所支配的ライン方向として、ブロック
のライン方向ラベル代表値を抽出し、そのブロック内の
各画素位置に同一ラベルを付与する。

【００５０】この局所支配的ライン方向の抽出過程の一
例を図１１に示す。例えば、図１１（ａ）に示す画像を
入力画像（対象画像）とし、図１１（ｂ）に示す画像を
背景画像（基準画像）とすると、ステップＳ７には前記
ステップＳ３で幾何学的変換が施された背景画像が与え
られ、この背景画像と入力画像とは、図１１（ｃ），
（ｄ）に示すように、所定サイズの複数のブロックに分
割される。各画像の各ブロックのライン方向が検出さ
れ、対応するブロックには方向別ラベルが付与される。
そのラベル付与の結果、入力画像、背景画像の各画像の
対応するブロックのそれぞれには、図１１（ｅ），
（ｆ）に示すように、水平方向ラベル、垂直方向、４５
度方向ラベルまたは−４５度方向ラベルが付与されるこ
とになる。

【００５１】このラベリング処理後、ステップＳ８に進
み、特異輪郭抽出復元手段１０により、特異輪郭抽出処
理を行う。基本的には、背景画像上のエッジと異なる方
向ラベルを有するラインを被写体固有の輪郭線すなわち
特異輪郭として抽出するが、背景画像と入力画像間の位
置合せすなわち幾何学的変換に伴う誤差、または幾何学
的変換誤差がなくてもフォーカシング変動、露光（照
明）条件変動により、同じ背景部分であっても同一ライ
ンが同一場所に存在するとは限らない。

【００５２】このような問題に対応するために、背景画
像の局所支配的ラインラベルを用いて各画素位置におい
てそのラベルと入力画像におけるライン方向ラベルとを
比較し、そのラベルと入力画像におけるライン方向ラベ
ルとが一致すれば、そのラインを背景画像の領域部分の
エッジの一部であると推定し、異なれば、そのラインを
被写体固有の輪郭（特異輪郭）の一部として抽出する方
法が用いられている。本例では、入力画像の方向別ライ
ンラベルと背景画像の局所支配的方向別ラインラベルと
を用いているが、この逆の組合せ、または全てのラベル
を用いて特異輪郭の抽出を行うことも可能である。

【００５３】また、他の方法としては、入力画像の各エ
ッジ上の点と同一位置を中心として背景画像上に局所的
に近傍領域（例えば５×５画像サイズ）を設け、その領
域内でエッジを探索し、同一ラベルのエッジが存在すれ
ばそのエッジを背景領域のエッジであると判定し、ラベ
ルが異なれば特異輪郭として抽出するものを用いること
ができる。

【００５４】さらに、特異輪郭抽出のさらに他の例を図
１２に示す。背景のパターンが無地の被写体（切出し対
象）によって遮られ、かつ被写体の色または画素値と背
景部分の画素値の間に大きな差がない場合、すなわち低
コントラストな部分が存在する場合には、上述した方法
によりラベル付けを行っても、所望の被写体固有の輪郭
線を容易に抽出することができないことが多い。具体的
には、図１２（ａ）に示す画像を入力画像（対象画像）
とし、図１２（ｂ）に示す画像を背景画像（基準画像）
とし、入力画像における被写体の鉢の輪郭線の一部（点
線で示す部分）が低コントラストであるときには、この
輪郭線の一部を抽出することができないことがある。そ
こで、図１２（ｃ），（ｄ）に示すように、各画像を所
定サイズの複数のブロックに分割して各ブロックに局所
支配的ライン方向ラベルを付与する。次いで、図１２
（ｅ）に拡大図示したラベルなしのブロックとラベル付
きブロックとの境界上（またはその最近傍）の点から局
所的に背景または被写体の輪郭線の端点位置を探索、抽
出する。この場合、背景の輪郭線部分は高コントラスト
かつ明瞭に現れているから、検出を容易に行うことがで
きる。この端点位置どうしを結ぶことにより被写体と背
景との境界線、すなわち遮蔽輪郭線を被写体の輪郭線
（特異輪郭）として抽出することができる。

【００５５】このように、ステップＳ２からステップＳ
８までの処理により、撮影条件の変動、特に視点位置、
フォーカシング、倍率などが変動しても高い許容度をも
って被写体固有の輪郭を高精度に抽出することができる
（但し、被写体の輪郭が背景の輪郭と場所、方向ともに
一致するよう場合を除く）。

【００５６】次いで、ステップＳ９に進み、初期マスク
領域抽出手段１１により初期核データ抽出処理を行う。
この処理では、図４に示すように、まずステップＳ９０
１で背景画像と入力画像の各画像間において各画像の画
素の色成分（ＲＧＢ値、色相、または彩度）の差異を求
め、例えばその差異から各成分の差分絶対値を算出して
各成分の差分絶対値を閾値処理するなどして初期核抽出
を行う。ここで閾値を比較的高く設定することにより、
ノイズや撮影条件の差異に起因する画素値の変動の影響
を排除し、かつ淡い陰影などを除去することができる。
初期核を表すデータ（初期核データ）としては、被写体
領域を「０」と背景領域を「１」とする二値化データが
用いられる。

【００５７】このように単に差分データを閾値処理する
だけでは、細かなノイズが残ることが多いから、このノ
イズを除去する目的で、ステップＳ９０２で、孤立領域
（点）の除去を行う。具体的には、背景部分の孤立点ま
たは面積が小さい孤立領域が除去される。また、孤立領
域（点）の除去に代えて、適当なサイズのメディアンフ
ィルタなどの平滑化フィルタで初期核データからノイズ
成分を除去する平滑化処理を用いることもできる。

【００５８】なお、背景部分のみを選択して自動的に除
去することは通常困難であり、結果として被写体の部分
領域、特に被写体の細かい部分形状が除去されることが
ある。そのために、ステップＳ１０に進み、特異輪郭抽
出復元手段１０により、孤立領域（点）の除去後にステ
ップＳ８で抽出された特異輪郭を初期核の一部として復
元する。

【００５９】この初期核データ抽出処理例を図８に示
す。本例では、図８（ａ）に示す画像を入力画像（対象
画像）とし、図８（ｂ）に示す画像を背景画像（基準画
像）とすると、図８（ｃ）に示すように、初期核データ
抽出処理によるマスク領域が得られ、このマスク領域の
黒色で示す領域は被写体領域を表している。

【００６０】この図から分かるように、一般的に背景と
被写体との組合せにおいては、この段階で切り出すべき
被写体の領域が完全に抽出されることはあり得ない。す
なわち、入力画像と背景画像間において同一箇所で部分
的にＲＧＢレベル、またはそれらの局所的統計量（平均
値、標準偏差など）が類似した領域がある場合には、そ
の部分領域が閾値処理後には未抽出領域として残る。よ
って、この未抽出領域の抽出を行うために、ステップＳ
１１で、領域成長手段１２により初期核の成長処理を行
う。

【００６１】この初期核の成長処理では、初期マスクの
各核領域の境界上の点において近傍画素（または領域）
との画素特徴量の類似度を求め、これが所定の閾値より
高いときには当該近傍画素を同一被写体領域と見做して
マスク領域に併合する。本実施の形態では、図５に示す
ように、まず、領域成長を行う前に、ステップＳ１１０
１で初期核の成長範囲を制限するための最大領域成長範
囲の設定をマスク領域を示すデータに基づき行う。

【００６２】次いで、ステップＳ１１０２に進み、類似
度判定に必要な特徴量パラメータとして輝度レベル、色
相の近傍との差異の初期閾値を設定する。これらの初期
閾値を背景画像と入力画像間のそれぞれのパラメータに
関する差分（差分絶対値）データの平均値、標準偏差な
どの統計量に基づき自動的に設定することも可能であ
る。

【００６３】続くステップＳ１１０３では、最大領域成
長範囲およびエッジ強度分布に基づき各閾値を可変に設
定する。まず、最大領域成長範囲の中では閾値を高く、
その範囲外では閾値を低く設定する。具体的には、点
（Ｘ，Ｙ）が最大領域成長範囲にあるときには高い閾値
例えば初期閾値を、範囲外にあるときには低い閾値例え
ば初期閾値の１割の値をそれぞれ設定する。また、最大
領域成長範囲外の閾値を分布関数により設定することも
でき、この閾値の分布関数としては、最大領域成長範囲
の境界線からの距離が大きくなる従い閾値が減少するよ
うな任意の関数を用いることができる。さらに他の閾値
の設定方法としては、最大領域成長範囲内の閾値を成長
方向別に与え、入力画像の局所支配的ライン方向にはそ
れと異なる方向の閾値より高い値を設定する方法があ
る。

【００６４】本実施の形態では、入力画像のエッジ強度
分布を所定の閾値で二値化し、エッジが存在する位置お
よびその近傍で閾値を低く設定する。特にエッジの種類
を限定し、特異輪郭線上のエッジとその近傍でのみ閾値
を低く設定するようにしてもよい。閾値の分布として
は、エッジの位置で最も低く（例えば「０」とするとエ
ッジと交差する領域の成長は完全に抑止される）、その
近傍ではエッジからの距離に対し若干の増加を呈するも
の、またはエッジとその近傍で一様に低い値を取るもの
が用いられる。なお、最大領域成長範囲の境界線を入力
画像に重畳して画像表示手段１４に表示し、ユーザがこ
れに基づき適正な平滑化フィルタサイズを設定するよう
にしてもよい。

【００６５】以上の閾値設定により、その値を多少大ま
かに設定したとしても、被写体の輪郭形状に沿った形状
の変動が少ないなどの領域成長結果の安定が達成され
る。また、最大領域成長範囲の境界線と被写体の外側輪
郭形状とが異なる場合でも、領域成長の結果として得ら
れる輪郭線と実際の被写体の輪郭線とを最終的に一致さ
せることができる。

【００６６】次いで、ステップ１１０４に進み、近傍画
素との類似度判定に基づく領域成長を行う。本実施の形
態では、近傍画素とのＲＧＢそれぞれの差分絶対値のい
ずれもが閾値以下となるか、または色相の差分絶対値が
閾値以下となるかを類似度判定の条件すなわち成長の条
件に用い、いずれか一方の条件が成立すると、当該近傍
画素を同一被写体領域として併合する。類似判定に用い
る特徴量としてはこれらに限定されるものではなく、例
えば彩度などの低次特徴量、または高次特徴量としてエ
ッジを含む局所的ラインセグメントの部分形状（セグメ
ントとの向きなど）、局所空間周波数、さらにはＲＧＢ
値などの低次特徴量を統計処理して得られる特徴量（分
散、モーメントなど）を用いてよい。また、領域成長の
併合処理は必ずしも画素単位で行うことに限定されるも
のではなく、他の方法で求めた領域どうしで行うように
することも可能である。

【００６７】この領域成長の結果の一例を図８（ｄ）に
示す。本図８（ｄ）と図８（ａ）とを比較すると、領域
成長の結果として得られる輪郭線は実際の被写体の輪郭
線に略一致していることが分かる。

【００６８】この領域成長後、ステップＳ１２に進み、
マスク領域内の一定サイズ以下の穴を自動的に埋める穴
埋め処理を行う。この穴埋め処理は、画像特徴量の近傍
領域との類似度、均質性などとは一切無関係にすなわち
入力画像データとは一切無関係に行われ、領域成長後の
領域を示す二値化マスクデータに対し行われるものであ
る。続くステップＳ１３では、この穴埋め処理が施され
た領域成長後のマスク領域を被写体切出しマスク領域と
し、これに該当する領域すなわち被写体領域を入力画像
から抽出する。なお、この処理において、被写体マスク
領域の境界線の平滑化処理、または境界線の補正処理な
どを行った後に、被写体領域の抽出を行うようにしても
よい。この穴埋め処理の結果を図８（ｅ）に示す。

【００６９】次いで、ステップＳ１４で抽出された領域
の画像データ（または画像ファイル）を画像表示手段１
４に出力し、切出し画像すなわち被写体を表示する。こ
の切出し処理の結果により、例えば図８（ａ）に示す入
力画像から図８（ｆ）に示す被写体が切出されて表示さ
れる。このように入力画像から被写体を切出し、表示す
ることにより本処理は終了する。

【００７０】（実施の第２形態）次に、本発明の実施の
第２形態について図６を参照しながら説明する。図６は
本発明の画像識別装置の実施の一形態の主要部構成を示
すブロック図である。

【００７１】本実施の形態では、所定物体を表す標準モ
デル画像と基準画像とを用いて該基準画像中に存在しな
い識別対象を含む対象画像に対し該識別対象を識別する
ための画像識別装置について説明する。

【００７２】画像識別装置２０は、図６に示すように、
カメラ、スキャナなどの画像入力手段２００から入力さ
れる対象画像およびデータベース２０１に格納されてい
る基準画像を一時的に記憶する一次記憶手段２１０を有
する。本実施の形態では、例えば、図９（ａ）に示す画
像が対象画像として、図９（ｂ）に示す画像が基準画像
として用いられている。

【００７３】一次記憶手段２１０に記憶されている対象
画像および基準画像は対応点抽出手段２０４に与えられ
る。対応点抽出手段２０４は、対象画像と基準画像間の
画像サイズの正規化（同一化）を拡大縮小処理などによ
り行った後、対応点抽出処理を行う。この対応点抽出処
理は、上述した実施の第１形態と同様のものであり、そ
の説明は省略する。

【００７４】この対応点抽出手段２０４による処理後の
処理順序は、図６に示す各手段の接続順に同じであり、
次ぎに幾何学的変換手段２０５による処理が実行され
る。幾何学的変換手段２０５は、基準画像または対象画
像の実質的に共通な部分（例えば対象画像から識別対象
を共通部分）において一方の各画素位置の画像情報が他
方の画像情報と略一致するようなアフィン変換行列を対
応点データに基づき推定し、変換（平行移動、回転、倍
率変換などを含む）を基準画像に対して実行する。但
し、前もって対象の画像サイズは分からないから、例え
ば実施の第１形態と同様に各画像の左右端からそれぞれ
画像フレーム幅の２５％から３５％の領域範囲で対応点
の探索と抽出とを対応点抽出手段２０４により行う（図
９（ａ），（ｂ）を参照）。

【００７５】幾何学的変換手段２０５による処理に続い
てエッジ強度抽出手段２０２による処理が実行される。
エッジ強度抽出手段２０２は、対応点データに基づき幾
何学的変換後の基準画像および対象画像の各画像中にお
けるエッジ分布を抽出し、続く方向別ラインラベリング
手段２０３は、抽出された各画像のエッジ分布に基づき
各エッジについて方向別ライン検出とラベリングとを行
う。そのラベリングの結果、対象画像、背景画像のそれ
ぞれには、図９（ｃ），（ｄ）に示すように、水平方向
ラベル、垂直方向、４５度方向ラベルまたは−４５度方
向ラベルのいずれかが付与されることになり、そのラベ
ル付与の決定方法は、実施の第１形態と同様に、各方向
の検出演算子（行列）とエッジデータとのコンボリュー
ション値が最大となる方向に対しラベル付けを行う。

【００７６】次いで、オートフレーミング手段２０６に
より処理が実行される。オートフレーミング手段２０６
は、基準画像と対象画像との各位置における方向別ライ
ンラベルの一致度に基づき、各位置における方向別ライ
ンラベルの一致度が基準値より小くなる領域を検出し、
該領域を含むような最小サイズの矩形領域（または楕
円、多角形などの単純な図形領域）を識別対象の存在範
囲として出力する。このラベル一致度の付与方法として
は、例えば、同一ラベルならば一致度を「１」、直交方
向ラベルならば一致度を「−１」、いずれでもなければ
一致度を「０」をとする方法がある。なお、この一致度
「０」には一方にラインが存在し、他方にはラインが存
在しない場合を含む。また、多くのラベル方向がある場
合は、方向の近さに応じて一致度の値を与えてもよい。
この場合には、一致度のとり得る値はより多くなる。基
準値としては、上述した一致度の付与方法であれば、例
えば「１」とすればよい。この存在範囲の重心位置とサ
イズとは識別対象の画像上の位置とサイズとに相当す
る。

【００７７】このオートフレーミングにより、例えば図
５（ｃ）に示すように、一点鎖線で囲まれた矩形領域が
識別対象の存在範囲として抽出される。

【００７８】続いてモデル画像サイズ変更手段２０７に
よる処理が実行される。モデル画像サイズ変更手段２０
７は、オートフレーミング手段２０６によって推定され
た識別対象の存在範囲のサイズ（例えば縦横サイズまた
は面積）に、標準モデル画像のサイズ（例えば標準モデ
ル画像の枠の縦横サイズ）が一致するように変更する。
また、縦横比がフレーミング後のフレームと標準モデル
画像のフレームとで異なる場合には、それが一致するよ
うに標準モデル画像の縦横サイズを異なる倍率で変更す
ることもできる。この標準モデル画像はデータベース２
０１に基準画像とともに格納されている。本実施の形態
では、この標準モデル画像として図９（ｅ）に示す画像
が用いられ、本サイズ変更により図９（ｆ）に示す縮小
された標準モデル画像が得られる。

【００７９】次いで、類似度判定手段２０８による処理
が実行される。類似度判定手段２０８は、サイズ変換後
の標準モデル画像と対象画像中の特定された存在範囲の
識別対象を含む画像部分との類似度を判定する。この類
似度判定方法としては、上述のオートフレーミングと同
様に、方向別ラインラベルの一致度比較（図１０
（ａ），（ｂ）に示す各画像のラインラベルデータの一
致度比較）をエッジ毎に局所的に行い、この一致度比較
により一致度が高い領域（図１０（ｃ），（ｄ）を参
照）を検出し、さらに識別対象の画像部分についてはそ
の境界線（輪郭線；図１０（ｅ）を参照）を抽出すると
ともに、ラベル付けがされた標準モデル画像のラベル成
分によって構成される輪郭線（図１０（ｆ）を参照）を
生成した後に、それら輪郭線どうしの一致度を判定す
る。このようにして、方向別ラインラベルデータに基づ
き識別対象の輪郭を絞り込むことにより、既存の手法、
例えば動的輪郭、可変形状テンプレートマッチングなど
に比して識別対象および標準モデルの輪郭の比較すべき
部分を高速にかつ確実に抽出することができる。輪郭の
一致度は輪郭線の各点の位置を重心からの距離と方向と
の関数として極座標展開して符号化し、その符号化デー
タのフーリエ変換係数の一致度などから判定する。

【００８０】類似度判定の他の方法としては、標準モデ
ル画像と識別対象との対応点抽出（上述の実施の第１形
態と同じ）および局所領域間の相関係数値の平均、分散
などの統計量を用いる。この場合、対象画像のフレーミ
ング範囲内において、なお残存する背景部分と標準モデ
ル画像の背景部分（一般的に無地で色、輝度レベルが均
一）との不一致領域では対応点が求まらないか、または
対応点を求める際に用いる相関計数などの尺度が低いこ
となどを条件として、そのような部分が選択的に除去さ
れる。また、対応点が検出された領域についてはブロッ
ク分割が行われ、各対応ブロックの相関係数の平均値が
算出され、その値が基準値より高ければ標準モデル画像
と同じ対象である、または同じカテゴリであるという判
定結果が出力される。この方法の場合、相関係数の種類
などは特に限定されない。

【００８１】さらに他の方法として、標準モデル画像の
対象物体の輪郭線を予め抽出しておき、その輪郭線を対
象画像の存在範囲領域に重心位置が略一致するように初
期輪郭として設定し、その後、動的輪郭、可変形状テン
プレートマッチングなどの既存の手法を用いて比較すべ
き輪郭部分を抽出する方法を用いることもできる。この
方法においては、色情報の一致度は形状に関する概略の
一致を前提とした上でＲＧＢ値または色相などの差異を
各領域毎に求め、その平均値または絶対値の総和などに
基づき最終的に類似度を判定する。

【００８２】類似度判定に方向別ラインラベルを用いる
他の例としては、輪郭形状の特徴部分、特に曲率の極大
または極小部分の位置での方向別ラベルの差異、および
その特徴部分に内接する部分領域の色情報、輝度情報ま
たは局所空間周波数、あるいは分散、モーメントなどの
領域特徴量の差異を判定するものがある。この方法にお
いては、特徴部分の内側外側の判定は基本的に抽出され
た特徴分布の重心位置と特徴位置とを結ぶ線分上にある
ものを内側と判定する。

【００８３】なお、いうまでもなく類似度判定方法は上
述した方法に限定されるものではない。

【００８４】類似度判定結果が得られると、この類似度
判定結果は識別結果出力手段２０９により出力される。

【００８５】以上のように、対象画像と基準画像との正
規化を行った後に、方向別ラインラベルの差異に基づく
識別対象の存在範囲の特定、および類似度判定を行うこ
とにより、高速かつ確実な対象識別を行うことができ
る。

【００８６】なお、上述の各処理を実行する各手段を専
用のハードウェアで構成することもでき、また上述の各
処理を実行する各手段をＣＰＵが実行可能なソフトウェ
アで構成することもできる。

【００８７】（実施の第３形態）次に、本発明の実施の
第３形態について図７を参照しながら説明する。図７は
本発明の画像分割装置の実施の他の形態を構成する画像
切出し手段の構成を示すブロック図である。

【００８８】本実施の形態では、図７に示すように、代
表背景画像として、予め撮影された典型的な背景シー
ン、またはコンピュータグラフィックス、ペインティン
グソフトなどを使用して作成された背景画像のスケッチ
を用い、この代表背景画像をデータベース３０１に格納
している。切出し対象となる被写体を含む入力画像は、
撮像装置などの画像入力手段３００から画像切出し手段
３０に入力される。画像切出し手段３０は、画像入力手
段３００から入力される入力画像を一次記憶手段３１２
に格納するとともに、表示手段３１１に表示する。表示
手段３１１には入力画像とともに、データベース３０１
に格納されている代表背景画像の画像サンプルが表示さ
れ、ユーザは入力画像の背景に最もマッチした代表背景
画像を画像サンプルから選択する。選択された代表背景
画像は一次記憶手段３１２に記憶される。例えば、入力
画像（対象画像）として図１３（ａ）に示す画像が入力
されると、この入力像に対して最もマッチした代表背景
画像として図１３（ｂ）に示す画像が選択される。

【００８９】対応点抽出手段３０４、エッジ強度抽出手
段３０２、方向別ラインラベリング手段３０３は、実施
の第１形態と同様に、入力画像と代表背景画像とに対し
て処理を実行し、幾何学的変換手段３０５は背景画像に
対し幾何学的変換を施す。

【００９０】本実施の形態では、特に、代表背景画像と
入力画像中の背景部分との細部の違いに対する許容度を
上げるために、対応点抽出前に各画像の方向別ラインラ
ベル付けを粗い解像度で行い、その解像でエッジ特徴点
の方向を考慮した対応点抽出処理を行う。具体的には、
各画像を所定サイズのフィルタ（例えばGaussian filte
r ）で平滑化（またはブロック分割して各ブロック内の
平均値で各画素値を置換）して、エッジ検出と方向別ラ
ベル付けとを行った後に対応点抽出を行う。

【００９１】対応点抽出においては、各エッジを中心と
して所定サイズのブロックマッチングを行ってもよい
が、類似度尺度しては実施の第１形態に示した相関係数
の類の他に、方向ラベルの一致度をいれる。但し、方向
ラベルの違いに対する許容度を緩和するように設定さ
れ、例えば、１０度程度の違いは考慮されないように設
定されている。対応点抽出に方向ラベルと色情報を合わ
せて用いる場合には、方向ラベルの相違を優先し、色の
差異に対する許容度を比較的高く設定する。

【００９２】幾何学的変換行列の推定に用いて変換する
処理においては、上述の実施の第１形態で述べたよう
に、対応点間で推定された変換行列を用いて一方の点か
ら他方の対応する点への変換を行い、変換された点と対
応すべき点との位置の誤差が予め定められている閾値よ
り大きくなるような対応点の組を除外し、残りの対応点
の組を用いて変換行列の推定を再度行うようにしてもよ
い。また、上述した誤差の平均値が所定の閾値以下とな
るまで対応の絞り込みを繰り返し行うようにしてもよ
い。

【００９３】また、幾何学的変換行列の推定はブロック
分割して局所的に行い、場所毎に異なる変換行列を求め
て変換を行ってもよい。

【００９４】局所支配的ライン方向抽出手段３０６は、
代表背景画像を適当なサイズの複数のブロックに分割し
て各ブロック内で方向別ライン画素数の投票を行い、最
も投票数の多い方向ラベルを当該ブロックの支配的ライ
ン方向としてラベル付けする。

【００９５】特異輪郭抽出手段３０７は、入力画像のエ
ッジ方向別ラインラベルと、代表背景画像における入力
画像のエッジと同一位置の点を含むブロックの局所支配
的ラインラベルまたはエッジに付与された方向別ライン
ラベルとを比較し、それらが異なるとそのエッジを被写
体の特異輪郭として抽出する。なお、一般的には、ライ
ン方向ラベルのみでは抽出すべき被写体の輪郭を特定す
ることは困難であるから、予め抽出すべき被写体を囲む
最小サイズの処理枠をマニュアル設定してから行うよう
にすることが好ましい。この特異輪郭の抽出例を図１３
（ｃ）に示す。

【００９６】特異領域抽出手段３０８は、ライン長が基
準値以上のラインにおいて、そのラインより局所的に分
断される２つの局所領域の色、輝度レベルなどの特徴量
を方向ラベルとともに、ラインの属性情報として抽出
し、その入力画像と代表背景画像の属性どうしの相違を
場所毎に比較することにより、被写体固有の色または輝
度を有する部分領域を特異領域として抽出する。具体的
には、属性情報の内、特に色に関しては、例えばＲＧＢ
各成分の局所（例えば５×５画素サイズ）平均値、また
は色相と彩度の局所的平均値に関する差分絶対値を閾値
処理する（閾値より高ければ被写体に固有の特異領域と
する）ことにより被写体固有度を判断する。閾値は、例
えば色成分に関するヒストグラムを入力画像と代表背景
画像とで局所毎に作成し、その最大ピークレベルの色成
分値の差異に基づいて設定することが可能である。但
し、ヒストグラムの作成対象となる局所領域サイズは、
上述した平均値算出のための局所領域サイズより大きく
する（例えば３０×３０画素サイズ）。一例としては、
最大ピークの色成分値の差異が大きいほど閾値が高くな
るようにする。例えば、図１３（ａ）に示す入力画像に
対する特異領域としては、図１３（ｄ）に示すように、
黒く塗りつぶされた領域が抽出される。

【００９７】なお、特異輪郭抽出手段３０７により、特
異領域抽出手段３０８の出力に基づき属性値の異なる領
域に隣接するライン成分を優先的に抽出するように設定
することも可能である。

【００９８】抽出された特異領域は、実施の第１形態に
おける初期マスク領域に相当するものであり、抽出され
た特異領域に対する領域成長が領域成長手段３９で行わ
れる。この領域成長手段３０９による成長処理は、実施
の第１形態における領域成長処理内容と同様に行われ
る。

【００９９】領域成長後のマスク領域は被写体切出しマ
スク領域とされ、これに該当する領域すなわち被写体領
域は切出し画像出力手段３１０で入力画像から抽出され
る。この抽出された領域の画像データは表示手段３１１
に出力され、表示手段３１１には切出し画像すなわち被
写体が表示される。この切出しの結果、例えば、図１３
（ａ）に示す入力画像から図１３（ｅ）に示す画像が切
り出される。

【０１００】

【発明の効果】以上に説明したように、請求項１記載の
画像分割方法によれば、基準画像および入力画像の各画
像中におけるエッジ強度分布を抽出するエッジ強度分布
抽出ステップと、抽出された各画像中におけるエッジ強
度分布に基づき該各画像中における各エッジについて所
定の方向別ライン成分を検出する方向別ライン検出ステ
ップと、基準画像と入力画像との間における検出された
方向別ライン成分の差異の分布に基づき入力画像中の物
体の存在範囲を特定する画像領域特定ステップとを有す
るから、入力画像中における外部からの侵入物の存在範
囲を高精度にかつ自動的に検出することができるととも
に、切出しまたは認識などを行う対象の存在範囲を高精
度に検出することができる。また、方向別ライン成分の
差異の分布に基づき入力画像中の物体の存在範囲を特定
するから、シェーディングなどの影響を排除してより正
確な存在領域の検出を行うことができる。

【０１０１】請求項２記載の画像分割方法によれば、入
力画像および基準画像の各画像中におけるエッジ分布を
抽出するエッジ分布抽出ステップと、抽出された各画像
中におけるエッジ分布に基づき該各画像中における所定
の方向別ライン分布を検出する方向別ライン検出ステッ
プと、基準画像と入力画像との間における検出された方
向別ライン分布の差異に基づき特異エッジを抽出する特
異エッジ抽出ステップと、抽出された特異エッジに基づ
き入力画像中の所定の画像領域を抽出する画像抽出ステ
ップとを有するから、基準画像と入力画像との間に撮影
条件、照明条件などの変動に起因する差異があるときで
も、入力画像からの画像の切出しを安定的に行うことが
できる。

【０１０２】請求項３記載の画像識別方法によれば、基
準画像および入力画像の各画像中におけるエッジ強度分
布を抽出するエッジ強度分布抽出ステップと、抽出され
た各画像中におけるエッジ強度分布に基づき該各画像中
における各エッジについて所定の方向別ライン成分を検
出する方向別ライン検出ステップと、基準画像と入力画
像との間における検出された方向別ライン成分の差異の
分布に基づき入力画像中の物体の存在範囲を特定するオ
ートフレーミングステップと、特定された物体の存在範
囲に基づき標準モデル画像に対するサイズを推定して求
めるモデルサイズ推定ステップとを有し、標準モデル画
像のサイズを求められたサイズに変更した後に、入力画
像中の存在範囲にある物体画像とサイズが変更された標
準モデル画像との類似度に基づき物体を識別するから、
被写体の画像サイズ、位置の違いの影響を受けずに、認
識対象を安定にかつ自動的に認識することができるとと
もに、異なるサイズ毎の標準モデル画像を保持する必要
がなく、経済的に優れている。

【０１０３】請求項４記載の画像分割方法によれば、基
準画像および入力画像の各画像中におけるエッジ強度分
布を抽出するエッジ強度分布抽出ステップと、抽出され
た各画像中におけるエッジ強度分布に基づき該各画像中
における各エッジについて所定の方向別ライン成分を検
出する方向別ライン検出ステップと、基準画像と入力画
像との間における検出された方向別ライン成分の差異の
分布に基づき入力画像中の物体の存在範囲を特定するオ
ートフレーミングステップと、特定された物体の存在範
囲内で物体の切出し処理を行う切出し処理ステップとを
有するから、シェーディングなどのノイズの影響を排除
しながら高速に画像切出しを行うことができる。

【０１０４】請求項５記載の画像分割方法によれば、入
力画像および基準画像の各画像中におけるエッジ強度分
布を抽出するエッジ強度分布抽出ステップと、抽出され
た各画像中におけるエッジ強度分布に基づき該各画像中
における各エッジについて所定の方向別ラインを検出
し、方向別ラインラベル付けを行う方向別ライン検出ス
テップと、各画像における検出された方向別ラインの分
布に基づき抽出対象となる画像領域に特異な輪郭部分を
抽出する特異輪郭抽出ステップと、抽出された特異輪郭
部分を表す分布データに基づき抽出対象となる画像領域
を切り出す画像切出しステップとを有するから、基準画
像と入力画像の背景部分との間に位置ずれ、回転ずれ、
歪みの違いなどが存在する場合にそれらの違いを吸収し
て被写体固有の輪郭のみを抽出することができ、基準画
像と入力画像の背景部分との間にある違いに対する許容
度が高い画像切出しを行うことができる。

【０１０５】請求項６記載の画像分割方法によれば、画
像切出しステップは、入力画像から抽出対象となる画像
領域の一部を部分領域として抽出する部分領域抽出ステ
ップと、抽出された部分領域を核としてその近傍領域と
の類似度の閾値処理により領域成長を行う領域成長ステ
ップと、領域成長によって得られた領域を抽出対象とな
る画像領域として抽出する抽出ステップとを有するか
ら、切り出すべき画像領域の一部と基準画像中の同一部
分領域において画像の特徴量が類似している場合でも安
定して切出し対象となる画像領域を抽出することができ
る。

【０１０６】請求項７記載の画像分割方法によれば、特
異輪郭抽出ステップで、入力画像と基準画像との同一近
傍領域において対応する方向別ラインラベルが異なる入
力画像中のエッジを特異輪郭部分として抽出するから、
基準画像と入力画像の背景部分との間に位置ずれ、回転
ずれ、歪みの違いなどが存在する場合にそれらの違いを
吸収して被写体固有の輪郭のみを抽出することができ
る。

【０１０７】請求項８記載の画像分割方法によれば、特
異輪郭抽出ステップは、基準画像を複数のブロックに分
割し、各ブロック内の支配的ライン方向成分を検出する
支配的ラインマップ抽出ステップと、入力画像の各エッ
ジ毎にそれに付けられたラベルと該エッジが属するブロ
ック内の支配的方向ライン成分とを比較するライン方向
比較ステップとを有し、方向別ラインに付けられたラベ
ルとエッジが属するブロック内の支配的方向ライン成分
とが異なるときには該エッジを入力画像の特異輪郭部分
として抽出するから、基準画像と入力画像の背景部分と
の間に位置ずれ、回転ずれ、歪みの違いなどが存在する
場合にそれらの違いを吸収して被写体固有の輪郭のみを
抽出することができる。

【０１０８】請求項９記載の画像分割方法によれば、画
像切出しステップは、抽出対象となる画像領域の一部を
二値化してマスクデータとして抽出する部分領域抽出ス
テップと、抽出されたマスクデータを平滑化する平滑化
ステップと、マスクデータの平滑化後に特異輪郭部分を
マスクデータとして復元する特異輪郭復元ステップとを
有するから、ノイズ、シェーディングの影響を排除しつ
つ、被写体固有の細かい部分形状を安定して抽出するこ
とができる。

【０１０９】請求項１０記載の画像分割方法によれば、
特異輪郭抽出ステップで、抽出対象となる画像領域と前
記他の領域との境界となる遮蔽境界線を検出し、該検出
した遮蔽境界線を特異輪郭部分とするから、エッジ方向
成分が検出し難い場合、例えば、背景または切出し領域
上に細かなパターンが高密度に存在する場合、無地の領
域がその境界線と異なる方向成分を有するライン成分と
交差している場合などにおいても、被写体固有の輪郭線
を安定して抽出することができる。

【０１１０】請求項１１記載の画像分割方法によれば、
特異輪郭抽出ステップは、入力画像と基準画像とをそれ
ぞれ複数のブロックに分割し、各ブロック内の支配的ラ
イン方向成分を検出する支配的ラインマップ抽出ステッ
プを有し、入力画像の各ブロックの内の支配的方向ライ
ン成分が存在しないブロックと支配的方向ライン成分が
存在するブロックとの境界近傍にある境界点を抽出し、
該境界点を含む所定の局所領域について該境界点と最短
距離に位置する入力画像のエッジを遮蔽境界線の一部と
して検出するから、無地の領域がその境界線と異なる方
向成分を有するライン成分と交差している場合に、被写
体固有の輪郭線を安定して抽出することができる。

【０１１１】請求項１２記載の画像分割方法によれば、
領域成長ステップは、エッジからの領域成長方向が該エ
ッジの方向別ラベルに略一致するように領域成長を制御
するから、領域成長によって切出し対象の輪郭の細部の
形状を損なわず、欠損のない画像切出しを行うことがで
きる。

【０１１２】請求項１３記載の画像分割方法によれば、
入力画像および基準画像の各画像中における低解像度画
像部分を抽出する低解像度画像抽出ステップと、入力画
像と基準画像とに対するマッチング処理を行う画像マッ
チングステップと、入力画像と基準画像とをそれぞれ複
数のブロックに分割し、各ブロック内の支配的ライン方
向成分を検出する支配的ラインマップ抽出ステップと、
入力画像の各エッジのライン方向ラベルと該エッジ位置
における基準画像の支配的ラインマップのラベルとの一
致度に基づき画像領域を抽出する抽出ステップとを有す
るから、基準画像と入力画像の背景部分との間にある違
いに対する許容度が高い画像切出しを行うことができ
る。例えば、入力画像の背景部分と基準画像の対応する
領域とが実質的には別のシーンであるが類似度が高い場
合、入力画像と基準画像との撮影条件または撮影手段が
異なる場合などにおいても、高精度な画像切出しを行う
ことができる。

【０１１３】請求項１４記載の画像分割方法によれば、
画像マッチングステップは、基準画像と入力画像との間
の対応点を抽出する対応点抽出ステップと、抽出され対
応点に基づき画像のいづれか一方に幾何学的変換を施す
第１の変換ステップと、幾何学的変換後に対応点を含む
領域の各対応画素間の階調が略等しくなるように画像の
いずれか一方に階調補正を施す第２の変換ステップとを
有するから、撮影条件または撮影手段などの相違によっ
てが基準画像と入力画像の背景部分との間に違いがある
場合、その違いに対する許容度が高い画像切出しを行う
ことができる。

【０１１４】請求項１５記載の画像分割方法によれば、
幾何学的変換は、平行移動、回転、倍率変換、透視変換
のうちの少なくとも１つに関する全体的または局所的処
理を含むから、撮影手段の撮影中のぶれによって発生す
る画像入力時の撮影位置の変動、撮影手段のセンサ面の
回転変動、基準画像の撮影に用いた撮影手段と入力画像
の撮影に用いた撮影手段とが異なるときに生じる画素数
の違い、撮影倍率の違い、収差などの光学的特性の違い
を吸収して安定した画像切出しを行うことができる。

【０１１５】請求項１６記載の画像分割装置によれば、
基準画像を記憶する記憶手段と、入力画像および基準画
像の各画像におけるエッジ分布を抽出するエッジ抽出手
段と、抽出された各画像中におけるエッジ分布に基づき
該各画像における方向別ライン分布を検出する方向別ラ
イン検出手段と、基準画像と入力画像との間の対応点情
報を抽出する対応点抽出手段と、抽出された対応点情報
に基づき各画像のいずれか一方に対し幾何学的変換を施
す変換手段と、幾何学的変換が施された画像と他方の画
像間の方向別ライン分布の差異に基づき特異エッジを抽
出する特異エッジ抽出手段と、抽出された特異エッジに
基づき前記入力画像から前記抽出対象となる画像領域を
分割する分割手段とを有するから、基準画像と入力画像
の背景部分との間に位置ずれ、回転ずれ、歪みの違いな
どが存在する場合にそれらの違いを吸収して被写体固有
の輪郭のみを抽出することができ、基準画像と入力画像
の背景部分との間にある違いに対する許容度が高い画像
切出しを行うことができる。

【０１１６】請求項１７記載の画像分割装置によれば、
幾何学的変換は、平行移動、回転、倍率変換、透視変換
のうちの少なくとも１つに関する全体的または局所的処
理を含むから、撮影手段の撮影中のぶれによって発生す
る画像入力時の撮影位置の変動、撮影手段のセンサ面の
回転変動、基準画像の撮影に用いた撮影手段と入力画像
の撮影に用いた撮影手段とが異なるときに生じる画素数
の違い、撮影倍率の違い、収差などの光学的特性の違い
を吸収して安定した画像切出しを行うことができる。

【０１１７】請求項１８記載の画像識別装置によれば、
入力画像の各画像中におけるエッジ強度分布を抽出する
エッジ強度分布抽出手段と、抽出された各画像中におけ
るエッジ強度分布に基づき該各画像中における各エッジ
について所定の方向別ライン成分を検出する方向別ライ
ン検出手段と、基準画像と前記入力画像との間における
前記検出された方向別ライン成分の差異の分布に基づき
入力画像中の物体の存在範囲を特定するオートフレーミ
ング手段と、特定された前記物体の存在範囲に基づき標
準モデル画像に対するサイズを推定して求めるモデルサ
イズ推定手段とを有し、標準モデル画像のサイズを求め
られたサイズに変更した後に、入力画像中の前記存在範
囲にある物体画像とサイズが変更された標準モデル画像
との類似度に基づき物体を識別するから、被写体の画像
サイズ、位置の違いの影響を受けずに、認識対象を安定
にかつ自動的に認識することができるとともに、異なる
サイズ毎の標準モデル画像を保持する必要がなく、経済
的に優れている。

【図面の簡単な説明】

【図１】本発明の画像分割装置の実施の一形態を構成す
る画像切出し手段の構成を示すブロック図である。

【図２】図１の画像切出し手段による画像切出し処理を
示すフローチャートである。

【図３】図２の画像切出し処理における画像入力処理を
示すフローチャートである。

【図４】図２の画像切出し処理における初期核データ処
理を示すフローチャートである。

【図５】図２の画像切出し処理における初期の領域成長
処理を示すフローチャートである。

【図６】本発明の画像識別装置の実施の一形態の主要部
構成を示すブロック図である。

【図７】本発明の画像分割装置の実施の他の形態を構成
する画像切出し手段の構成を示すブロック図である。

【図８】本発明の実施の第１形態の各処理により得られ
た画像例を示す図である。

【図９】本発明の実施の第２形態の各処理により得られ
た画像例を示す図である。

【図１０】本発明の実施の第２形態の各処理により得ら
れた画像例を示す図である。

【図１１】局所支配的ライン方向ラベルの抽出過程を説
明するための画像例を示す図である。

【図１２】遮蔽輪郭線の抽出過程を説明するための画像
例を示す図である。

【図１３】本発明の実施の第３形態の処理により得られ
た画像例を示す図である。

【符号の説明】

１、２００、３００画像入力手段２，３０画像切出し手段３記憶手段４，２０２，３０２エッジ強度抽出手段５，２０３，３０３方向別ラインラベリング手段６，６０６局所支配的ライン方向抽出手段７，２０４，３０４対応点抽出手段８，２０５，３０５幾何学的変換手段９階調変換関数推定および変換手段１０特異輪郭抽出復元手段１１初期マスク領域抽出手段１２領域成長抽出手段１３，３１０切出し画像出力手段１４画像表示手段２０画像識別装置２０１，３０１データベース２０６オートフレーミング手段２０７モデル画像サイズ変更手段２０８類似度判定手段２０９識別結果出力手段２１０，３１２一次記憶手段３０７特異輪郭抽出手段３０８特異領域抽出手段３１１表示手段

Claims

【特許請求の範囲】

【請求項１】基準画像を用いて該基準画像中に存在し
ない物体を含む入力画像から該物体を分割するための画
像分割方法であって、前記基準画像および前記入力画像
の各画像中におけるエッジ強度分布を抽出するエッジ強
度分布抽出ステップと、前記抽出された各画像中におけ
るエッジ強度分布に基づき該各画像中における各エッジ
について所定の方向別ライン成分を検出する方向別ライ
ン検出ステップと、前記基準画像と前記入力画像との間
における前記検出された方向別ライン成分の差異の分布
に基づき前記入力画像中の物体の存在範囲を特定する画
像領域特定ステップとを有することを特徴とする画像分
割方法。
【請求項２】画像入力装置などの外部装置からの入力
画像から所定の画像領域を基準画像を用いて分割するた
めの画像分割方法であって、前記入力画像および前記基
準画像の各画像中におけるエッジ分布を抽出するエッジ
分布抽出ステップと、前記抽出された各画像中における
エッジ分布に基づき該各画像中における所定の方向別ラ
イン分布を検出する方向別ライン検出ステップと、前記
基準画像と前記入力画像との間における前記検出された
方向別ライン分布の差異に基づき特異エッジを抽出する
特異エッジ抽出ステップと、前記抽出された特異エッジ
に基づき前記入力画像中の所定の画像領域を抽出する画
像抽出ステップとを有することを特徴とする画像分割方
法。
【請求項３】所定物体を表す標準モデル画像と基準画
像とを用いて該基準画像中に存在しない物体を含む入力
画像における該物体を識別するための画像識別方法であ
って、前記基準画像および前記入力画像の各画像中にお
けるエッジ強度分布を抽出するエッジ強度分布抽出ステ
ップと、前記抽出された各画像中におけるエッジ強度分
布に基づき該各画像中における各エッジについて所定の
方向別ライン成分を検出する方向別ライン検出ステップ
と、前記基準画像と前記入力画像との間における前記検
出された方向別ライン成分の差異の分布に基づき前記入
力画像中の物体の存在範囲を特定するオートフレーミン
グステップと、前記特定された前記物体の存在範囲に基
づき前記標準モデル画像に対するサイズを推定して求め
るモデルサイズ推定ステップとを有し、前記標準モデル
画像のサイズを前記求められたサイズに変更した後に、
前記入力画像中の前記存在範囲にある前記物体画像と前
記サイズが変更された標準モデル画像との類似度に基づ
き前記物体を識別することを特徴とする画像識別方法。
【請求項４】基準画像を用いて該基準画像中に存在し
ない物体を含む入力画像から該物体を分割するための画
像分割方法であって、前記基準画像および前記入力画像
の各画像中におけるエッジ強度分布を抽出するエッジ強
度分布抽出ステップと、前記抽出された各画像中におけ
るエッジ強度分布に基づき該各画像中における各エッジ
について所定の方向別ライン成分を検出する方向別ライ
ン検出ステップと、前記基準画像と前記入力画像との間
における前記検出された方向別ライン成分の差異の分布
に基づき前記入力画像中の物体の存在範囲を特定するオ
ートフレーミングステップと、前記特定された前記物体
の存在範囲内で前記物体の切出し処理を行う切出し処理
ステップとを有することを特徴とする画像分割方法。
【請求項５】入力画像から抽出対象となる画像領域
を、該画像領域を除いた他の領域に略等しい領域を表す
基準画像を用いて分割するための画像分割方法であっ
て、前記入力画像および前記基準画像の各画像中におけ
るエッジ強度分布を抽出するエッジ強度分布抽出ステッ
プと、前記抽出された各画像中におけるエッジ強度分布
に基づき該各画像中における各エッジについて所定の方
向別ラインを検出し、方向別ラインラベル付けを行う方
向別ライン検出ステップと、前記各画像における前記検
出された方向別ラインの分布に基づき前記抽出対象とな
る画像領域に特異な輪郭部分を抽出する特異輪郭抽出ス
テップと、前記抽出された特異輪郭部分を表す分布デー
タに基づき前記抽出対象となる画像領域を切り出す画像
切出しステップとを有することを特徴とする画像分割方
法。
【請求項６】前記画像切出しステップは、前記入力画
像から前記抽出対象となる画像領域の一部を部分領域と
して抽出する部分領域抽出ステップと、前記抽出された
部分領域を核としてその近傍領域との類似度の閾値処理
により領域成長を行う領域成長ステップと、前記領域成
長によって得られた領域を前記抽出対象となる画像領域
として抽出する抽出ステップとを有することを特徴とす
る請求項５記載の画像分割方法。
【請求項７】前記特異輪郭抽出ステップは、前記入力
画像と前記基準画像との同一近傍領域において対応する
方向別ラインラベルが異なる入力画像中のエッジを前記
特異輪郭部分として抽出することを特徴とする請求項５
記載の画像分割方法。
【請求項８】前記特異輪郭抽出ステップは、前記基準
画像を複数のブロックに分割し、各ブロック内の支配的
ライン方向成分を検出する支配的ラインマップ抽出ステ
ップと、前記入力画像の各エッジ毎にそれに付けられた
ラベルと該エッジが属するブロック内の支配的方向ライ
ン成分とを比較するライン方向比較ステップとを有し、
前記方向別ラインに付けられたラベルと前記エッジが属
するブロック内の支配的方向ライン成分とが異なるとき
には該エッジを前記入力画像の特異輪郭部分として抽出
することを特徴とする請求項５記載の画像分割方法。
【請求項９】前記画像切出しステップは、前記抽出対
象となる画像領域の一部を二値化してマスクデータとし
て抽出する部分領域抽出ステップと、前記抽出されたマ
スクデータを平滑化する平滑化ステップと、前記マスク
データの平滑化後に前記特異輪郭部分をマスクデータと
して復元する特異輪郭復元ステップとを有することを特
徴とする請求項５記載の画像分割方法。
【請求項１０】前記特異輪郭抽出ステップは、前記抽
出対象となる画像領域と前記他の領域との境界となる遮
蔽境界線を検出し、該検出した遮蔽境界線を前記特異輪
郭部分とすることを特徴とする請求項５記載の画像分割
方法。
【請求項１１】前記特異輪郭抽出ステップは、前記入
力画像と前記基準画像とをそれぞれ複数のブロックに分
割し、各ブロック内の支配的ライン方向成分を検出する
支配的ラインマップ抽出ステップを有し、前記入力画像
の各ブロックの内の前記支配的方向ライン成分が存在し
ないブロックと前記支配的方向ライン成分が存在するブ
ロックとの境界近傍にある境界点を抽出し、該境界点を
含む所定の局所領域について該境界点と最短距離に位置
する前記入力画像のエッジを前記遮蔽境界線の一部とし
て検出することを特徴とする請求項１０記載の画像分割
方法。
【請求項１２】前記領域成長ステップは、前記エッジ
からの領域成長方向が該エッジの方向別ラベルに略一致
するように前記領域成長を制御することを特徴とする請
求項６記載の画像分割方法。
【請求項１３】入力画像から抽出対象となる画像領域
を、該画像領域を除いた他の領域に略等しい領域を表す
基準画像を用いて分割するための画像分割方法であっ
て、前記入力画像および前記基準画像の各画像中におけ
る低解像度画像部分を抽出する低解像度画像抽出ステッ
プと、前記入力画像と前記基準画像とに対するマッチン
グ処理を行う画像マッチングステップと、前記入力画像
と前記基準画像とをそれぞれ複数のブロックに分割し、
各ブロック内の支配的ライン方向成分を検出する支配的
ラインマップ抽出ステップと、前記入力画像の各エッジ
のライン方向ラベルと該エッジ位置における前記基準画
像の前記支配的ラインマップのラベルとの一致度に基づ
き前記画像領域を抽出する抽出ステップとを有すること
を特徴とする画像分割方法。
【請求項１４】前記画像マッチングステップは、前記
基準画像と前記入力画像との間の対応点を抽出する対応
点抽出ステップと、前記抽出され対応点に基づき前記画
像のいづれか一方に幾何学的変換を施す第１の変換ステ
ップと、前記幾何学的変換後に前記対応点を含む領域の
各対応画素間の階調が略等しくなるように前記画像のい
ずれか一方に階調補正を施す第２の変換ステップとを有
することを特徴とする請求項１３記載の画像分割方法。
【請求項１５】前記幾何学的変換は、平行移動、回
転、倍率変換、透視変換のうちの少なくとも１つに関す
る全体的または局所的処理を含むことを特徴とする請求
項１４記載の画像分割方法。
【請求項１６】入力画像から抽出対象となる画像領域
を、該画像領域を除いた他の領域に略等しい領域を表す
基準画像を用いて分割するための画像分割装置であっ
て、前記基準画像を記憶する記憶手段と、前記入力画像
および前記基準画像の各画像におけるエッジ分布を抽出
するエッジ抽出手段と、前記抽出された各画像中におけ
るエッジ分布に基づき該各画像における方向別ライン分
布を検出する方向別ライン検出手段と、前記基準画像と
前記入力画像との間の対応点情報を抽出する対応点抽出
手段と、前記抽出された対応点情報に基づき前記各画像
のいずれか一方に対し幾何学的変換を施す変換手段と、
前記幾何学的変換が施された画像と他方の画像間の前記
方向別ライン分布の差異に基づき特異エッジを抽出する
特異エッジ抽出手段と、前記抽出された特異エッジに基
づき前記入力画像から前記抽出対象となる画像領域を分
割する分割手段とを有することを特徴とする画像分割装
置。
【請求項１７】前記幾何学的変換は、平行移動、回
転、倍率変換、透視変換のうちの少なくとも１つに関す
る全体的または局所的処理を含むことを特徴とする請求
項１６記載の画像分割装置。
【請求項１８】所定物体を表す標準モデル画像と基準
画像とを用いて該基準画像中に存在しない物体を含む入
力画像における該物体を識別するための画像識別装置で
あって、前記基準画像および前記入力画像の各画像中に
おけるエッジ強度分布を抽出するエッジ強度分布抽出手
段と、前記抽出された各画像中におけるエッジ強度分布
に基づき該各画像中における各エッジについて所定の方
向別ライン成分を検出する方向別ライン検出手段と、前
記基準画像と前記入力画像との間における前記検出され
た方向別ライン成分の差異の分布に基づき前記入力画像
中の物体の存在範囲を特定するオートフレーミング手段
と、前記特定された前記物体の存在範囲に基づき前記標
準モデル画像に対するサイズを推定して求めるモデルサ
イズ推定手段とを有し、前記標準モデル画像のサイズを
前記求められたサイズに変更した後に、前記入力画像中
の前記存在範囲にある前記物体画像と前記サイズが変更
された標準モデル画像との類似度に基づき前記物体を識
別することを特徴とする画像識別装置。