JPH10320566A

JPH10320566A - 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体

Info

Publication number: JPH10320566A
Application number: JP9142955A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継; Koji Hatanaka; 耕治畑中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-05-19
Filing date: 1997-05-19
Publication date: 1998-12-04

Abstract

(57)【要約】（修正有）【課題】抽出すべき特定の画像領域を含む主画像及び
抽出すべき特定の画像領域を含まない副画像から特定の
画像領域を高精度で抽出する。【解決手段】各画像についてエッジ強度抽出手段４で
エッジ抽出処理を行い、この処理により抽出された主画
像及び副画像の各エッジデータの差分強度の閾値処理を
行って差分エッジデータを抽出し、抽出された差分エッ
ジデータの外郭輪郭線抽出処理を行い、抽出された外郭
輪郭線から主画像中の主抽出領域を主抽出領域推定手段
１０で推定し、一方で初期領域抽出手段１１が主画像及
び副画像の各画素についての画素値等の差異について閾
値処理等を施し初期領域の抽出を行い、抽出領域決定手
段１２が前述した主抽出領域と初期領域とを統合して正
確な対象領域を抽出する抽出領域決定処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像中から特定対
象の画像領域の抽出を行う画像処理装置、画像処理方法
及びその方法を記憶した記憶媒体に関する。

【０００２】

【従来の技術】従来、画像抽出を行う一般的な方法とし
ては特定の色背景を用いるクロマキーや画像処理（ヒス
トグラム処理、差分、微分処理、輪郭強調、輪郭追跡
等）によりキー信号を生成するビデオマット（テレビジ
ョン学会技術報告、Vol．１２，PP．２９−３４，１９
８８）等が知られる。

【０００３】背景画像と抽出対象を含む入力画像との差
分に基づいて画像抽出を行う方法（以下「背景差分方
式」という）は古典的なものであり、現在では、背景画
像と入力画像との各画素間で輝度レベル又は色成分等の
差異を所定の評価関数で表し、閾値処理をして差異レベ
ルが所定値以上の領域を抽出する方法が一般的である。
例えば、評価関数としては各点を中心とする所定サイズ
のブロック間の相互相関（Digital Picture Processing
（２nd ed．），by Rosenfeld，A．and Kak，A．C．，A
cademic Press，１９８２）、正規化主成分特徴量（電
子情報通信学会論文誌、Vol．J７４−D−II，PP．１７
３１−１７４０）、標準偏差値と差分値との重み付き加
算値（テレビジョン学会誌、Vol．４５，PP．１２７０
−１２７６，１９９１）、色相と輝度レベルに関する局
所ヒストグラム間距離（テレビジョン学会誌、Vol．４
９，PP．６７３−６８０，１９９５）等がある。

【０００４】また、特開平４−２１６１８１号公報に開
示されている画像抽出を行う方法では、背景画像と処理
対象画像との差分データにマスク画像、即ち、特定処理
領域を設定して画像中の複数の特定領域における対象物
体の抽出又は検出を行う。特公平７−１６２５０号公報
に開示されている画像抽出を行う方法は、抽出対象の色
彩モデルを用いて背景を含む現画像の色彩変換データ、
背景画像と現画像との明度の差データから抽出対象の存
在確率分布を求め、画像抽出を行うものであった。

【０００５】背景差分方式で問題となるのは抽出対象に
背景画像と輝度、色彩、又はパターンで類似している部
分領域が存在する場合であり、この場合には背景画像と
抽出対象を含む入力画像との差分が生じないため、抽出
又は検出漏れが生じる。その対策として特開平８−４４
８４４号公報では、背景画像と入力画像とのそれぞれに
ついて勾配を算出し、それぞれの勾配の差分絶対値と各
画像信号の差分絶対値との論理和を求める方法を採って
いる。また、特開平８−２１２３５０号公報では、背景
画像の画素の濃度が中濃度のときは、入力画像の画素の
濃度の変化に対する変化率が小さくなり、背景画像の画
素の濃度が高濃度又は低濃度のときは、入力画像の画素
の濃度の変化に対する変化率が大きくなる特徴量を求め
て閾値処理を行う方法を採っている。

【０００６】

【発明が解決しようとする課題】しかしながら、クロマ
キー方式は特別な色の背景を要する等の背景の制約が大
きく、屋外での使用が困難であること、背景と同色な被
写体領域では色ぬけが生じる等の問題点がある。またビ
デオマット方式は、抽出対象の輪郭の指定作業を人間が
画素単位で正確に行う必要があり、そのためには労力と
熟練を要するという問題点がある。

【０００７】また、背景差分方式は背景画像及び被写体
領域の画像特性（例えば、画素値等）が随所で顕著に異
なる必要があり、一般的な背景との組み合わせでは適用
が困難であった。上述した被写体上の背景と類似した部
分領域がある場合の対策をとった方式（特開平８−４４
８４４号公報、特開平８−２１２３５０号公報）におい
ても、特に画素値の空間的変化率が小さい場合などで背
景であるか被写体であるかの判別が困難または不十分で
ある等の問題があり、自動処理で安定した抽出精度を保
持する実用化が困難であった。

【０００８】また、抽出対象の近傍にその陰影が画像中
に存在する場合、対象画像領域のみを抽出し陰影を自動
除去することは、いずれの方式でも困難であった。

【０００９】そこで、上記問題点を解決すべく、本発明
の第１の目的は、抽出すべき特定の画像領域を含む主画
像及び抽出すべき特定の画像領域を含まない副画像から
特定の画像領域を高精度で抽出することができる画像処
理装置、画像処理方法及びその方法を記憶した記憶媒体
を提供することにある。

【００１０】本発明の第２の目的は、抽出すべき特定の
画像領域の内部に抽出すべきでない画像と類似する領域
が含まれる時でも特定の画像領域を高精度で抽出するこ
とができる画像処理装置、画像処理方法及びその方法を
記憶した記憶媒体を提供することにある。

【００１１】本発明の第３の目的は、抽出すべき特定の
画像領域の近傍に抽出すべき特定の画像に類似する抽出
すべきでない画像がある時でも特定の画像領域を高精度
で抽出することができる画像処理装置、画像処理方法及
びその方法を記憶した記憶媒体を提供することにある。

【００１２】本発明の第４の目的は、抽出すべき特定の
画像領域の内部に抽出すべきでない画像と類似する領域
が大量に含まれる時でも特定の画像領域を高精度で抽出
することができる画像処理装置、画像処理方法及びその
方法を記憶した記憶媒体を提供することにある。

【００１３】本発明の第５の目的は、抽出すべき特定の
画像領域の内部に穴領域が含まれる時でも特定の画像領
域を高精度で抽出することができる画像処理装置、画像
処理方法及びその方法を記憶した記憶媒体を提供するこ
とにある。

【００１４】本発明の第６の目的は、予め抽出すべき特
定の画像領域の概略形状を入力することにより特定の画
像領域を高精度且つ高速度で抽出することができる画像
処理装置、画像処理方法及びその方法を記憶した記憶媒
体を提供することにある。

【００１５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の画像処理装置は、抽出すべき特定の画像
領域を含む主画像と抽出すべき特定の画像領域を含まな
い副画像とからなる複数の画像を入力する画像入力手段
と、前記複数の画像の各エッジ分布を抽出するエッジ分
布抽出手段と、前記複数のエッジ分布の差異に基づいて
前記主画像中の主抽出領域を推定する主抽出領域推定手
段と、前記主抽出領域及び前記複数の画像に基づいて前
記特定の画像領域の抽出又は追跡を行う領域特定手段と
を備えていることを特徴とする。

【００１６】請求項２の画像処理装置は、抽出すべき特
定の画像領域を含む主画像と抽出すべき特定の画像領域
を含まない副画像とからなる複数の画像を入力する画像
入力手段と、前記複数の画像の各エッジ分布を抽出する
エッジ分布抽出手段と、前記複数のエッジ分布の差分デ
ータを抽出する差分エッジ画像抽出手段と、前記差分デ
ータの外郭を追跡して外郭輪郭線を得る外郭輪郭線抽出
手段と、前記外郭輪郭線に基づいて前記主画像中の主抽
出領域を推定する主抽出領域推定手段と、前記主抽出領
域及び前記複数の画像に基づいて前記特定の画像領域の
抽出又は追跡を行う領域特定手段とを備えていることを
特徴とする。

【００１７】請求項３の画像処理装置は、請求項２記載
の画像処理装置において、前記外郭輪郭線抽出手段が前
記差分データの欠損を検出する欠損検出手段と、前記欠
損を連結する連結手段とを備えていることを特徴とす
る。

【００１８】請求項４の画像処理装置は、請求項２又は
３記載の画像処理装置において、前記外郭輪郭線抽出手
段が前記差分データの最上位側、最下位側、最左位側、
及び最右位側に位置する複数の外郭輪郭線を抽出し、前
記主抽出領域推定手段が前記外郭輪郭線について得られ
る複数の外側領域の論理演算に基づいて前記主抽出領域
を推定することを特徴とする。

【００１９】請求項５の画像処理装置は、請求項１乃至
４のいずれか１項記載の画像処理装置において、前記領
域特定手段が前記主画像と前記副画像との差分データに
閾値処理を施して得られる初期領域と前記主抽出領域と
に基づいて特定の画像領域の抽出又は追跡を行うことを
特徴とする。

【００２０】請求項６の画像処理装置は、請求項１乃至
４のいずれか１項記載の画像処理装置において、前記領
域特定手段が前記主抽出領域内において前記初期領域を
核として前記初期領域の近傍領域との類似度の閾値処理
に基づき領域成長させることを特徴とする。

【００２１】請求項７の画像処理装置は、請求項１乃至
６のいずれか１項記載の画像処理装置において、前記領
域特定手段が前記主画像と前記副画像との差分データか
ら前記特定の画像領域の穴領域を判定する穴判定手段
と、前記初期領域から前記穴領域を除いた領域を抽出す
る非穴領域抽出手段とを備えていることを特徴とする。

【００２２】請求項８の画像処理装置は、請求項１乃至
７のいずれか１項記載の画像処理装置において、前記抽
出すべき特定の画像領域の形状の概略情報を入力する概
略形状情報入力手段を備えていることを特徴とする。

【００２３】請求項９の画像処理装置は、請求項１乃至
８のいずれか１項記載の画像処理装置において、前記主
画像と前記副画像とが異なる時刻に撮影された複数の画
像であることを特徴とする。

【００２４】請求項１０の画像処理装置は、請求項１乃
至９のいずれか１項記載の画像処理装置において、前記
主画像が動画像であり、前記副画像が静止画像であるこ
とを特徴とする。

【００２５】請求項１１の画像処理方法は、抽出すべき
特定の画像領域を含む主画像と抽出すべき特定の画像領
域を含まない副画像とからなる複数の画像を入力する画
像入力工程と、前記複数の画像の各エッジ分布を抽出す
るエッジ分布抽出工程と、前記複数のエッジ分布の差異
に基づいて前記主画像中の主抽出領域を推定する主抽出
領域推定工程と、前記主抽出領域及び前記複数の画像に
基づいて前記特定の画像領域の抽出又は追跡を行う領域
特定工程とを含むことを特徴とする。

【００２６】請求項１２の画像処理方法は、抽出すべき
特定の画像領域を含む主画像と抽出すべき特定の画像領
域を含まない副画像とからなる複数の画像を入力する画
像入力工程と、前記複数の画像の各エッジ分布を抽出す
るエッジ分布抽出工程と、前記複数のエッジ分布の差分
データを抽出する差分エッジ画像抽出工程と、前記差分
データの外郭を追跡して外郭輪郭線を得る外郭輪郭線抽
出工程と、前記外郭輪郭線に基づいて前記主画像中の主
抽出領域を推定する主抽出領域推定工程と、前記主抽出
領域及び前記複数の画像に基づいて前記特定の画像領域
の抽出又は追跡を行う領域特定工程とを含むことを特徴
とする。

【００２７】請求項１３の画像処理方法は、請求項１２
記載の画像処理方法において、前記外郭輪郭線抽出工程
が前記差分データの欠損を検出する欠損検出工程と、前
記欠損を連結する連結工程とを含むことを特徴とする。

【００２８】請求項１４の画像処理方法は、請求項１２
又は１３記載の画像処理方法において、前記外郭輪郭線
抽出工程で前記差分データの最上位側、最下位側、最左
位側、及び最右位側に位置する複数の外郭輪郭線を抽出
し、前記主抽出領域推定工程で前記外郭輪郭線について
得られる複数の外側領域の論理演算に基づいて前記主抽
出領域を推定することを特徴とする。

【００２９】請求項１５の画像処理方法は、請求項１１
乃至１４のいずれか１項記載の画像処理方法において、
前記主画像と前記副画像との差分データに閾値処理を施
して得られる初期領域と前記主抽出領域とに基づいて前
記領域特定工程で特定の画像領域の抽出又は追跡を行う
ことを特徴とする。

【００３０】請求項１６の画像処理方法は、請求項１１
乃至１４のいずれか１項記載の画像処理方法において、
前記主抽出領域内において前記初期領域を核として前記
初期領域の近傍領域との類似度の閾値処理に基づき前記
領域特定工程で領域成長させることを特徴とする。

【００３１】請求項１７の画像処理方法は、請求項１１
乃至１６のいずれか１項記載の画像処理方法において、
前記領域特定工程が前記主画像と前記副画像との差分デ
ータから前記特定の画像領域の穴領域を判定する穴判定
工程と、前記初期領域から前記穴領域を除いた領域を抽
出する非穴領域抽出工程とを含むことを特徴とする。

【００３２】請求項１８の画像処理方法は、請求項１１
乃至１７のいずれか１項記載の画像処理方法において、
前記抽出すべき特定の画像領域の形状の概略情報を入力
する概略形状情報入力工程を含むことを特徴とする。

【００３３】請求項１９の画像処理方法は、請求項１１
乃至１８のいずれか１項記載の画像処理方法において、
前記主画像と前記副画像とが異なる時刻に撮影された複
数の画像であることを特徴とする。

【００３４】請求項２０の画像処理方法は、請求項１１
乃至１９のいずれか１項記載の画像処理方法において、
前記主画像が動画像であり、前記副画像が静止画像であ
ることを特徴とする。

【００３５】請求項２１の記憶媒体は、抽出すべき特定
の画像領域を含む主画像と抽出すべき特定の画像領域を
含まない副画像とからなる複数の画像を入力する画像入
力モジュールと、前記複数の画像の各エッジ分布を抽出
するエッジ分布抽出モジュールと、前記複数のエッジ分
布の差異に基づいて前記主画像中の主抽出領域を推定す
る主抽出領域推定モジュールと、前記主抽出領域及び前
記複数の画像に基づいて前記特定の画像領域の抽出又は
追跡を行う領域特定モジュールとを含むプログラムを記
憶したことを特徴とする。

【００３６】請求項２２の記憶媒体は、抽出すべき特定
の画像領域を含む主画像と抽出すべき特定の画像領域を
含まない副画像とからなる複数の画像を入力する画像入
力モジュールと、前記複数の画像の各エッジ分布を抽出
するエッジ分布抽出モジュールと、前記複数のエッジ分
布の差分データを抽出する差分エッジ画像抽出モジュー
ルと、前記差分データの外郭を追跡して外郭輪郭線を得
る外郭輪郭線抽出モジュールと、前記外郭輪郭線に基づ
いて前記主画像中の主抽出領域を推定する主抽出領域推
定モジュールと、前記主抽出領域及び前記複数の画像に
基づいて前記特定の画像領域の抽出又は追跡を行う領域
特定モジュールとを含むプログラムを記憶したことを特
徴とする。

【００３７】請求項２３の記憶媒体は、請求項２２記載
の記憶媒体において、前記外郭輪郭線抽出モジュールが
前記差分データの欠損を検出する欠損検出モジュール
と、前記欠損を連結する連結モジュールとを含むプログ
ラムを記憶したことを特徴とする。

【００３８】請求項２４の記憶媒体は、請求項２２又は
２３記載の記憶媒体において、前記外郭輪郭線抽出モジ
ュールで前記差分データの最上位側、最下位側、最左位
側、及び最右位側に位置する複数の外郭輪郭線を抽出
し、前記主抽出領域推定モジュールで前記外郭輪郭線に
ついて得られる複数の外側領域の論理演算に基づいて前
記主抽出領域を推定するプログラムを記憶したことを特
徴とする。

【００３９】請求項２５の記憶媒体は、請求項２１乃至
２４のいずれか１項記載の記憶媒体において、前記主画
像と前記副画像との差分データに閾値処理を施して得ら
れる初期領域と前記主抽出領域とに基づいて前記領域特
定モジュールで特定の画像領域の抽出又は追跡を行うプ
ログラムを記憶したことを特徴とする。

【００４０】請求項２６の記憶媒体は、請求項２１乃至
２４のいずれか１項記載の記憶媒体において、前記主抽
出領域内において前記初期領域を核として前記初期領域
の近傍領域との類似度の閾値処理に基づき前記領域特定
モジュールで領域成長させるプログラムを記憶したこと
を特徴とする。

【００４１】請求項２７の記憶媒体は、請求項２１乃至
２６のいずれか１項記載の記憶媒体において、前記領域
特定モジュールが前記主画像と前記副画像との差分デー
タから前記特定の画像領域の穴領域を判定する穴判定モ
ジュールと、前記初期領域から前記穴領域を除いた領域
を抽出する非穴領域抽出モジュールとを含むプログラム
を記憶したことを特徴とする。

【００４２】請求項２８の記憶媒体は、請求項２１乃至
２７のいずれか１項記載の記憶媒体において、前記抽出
すべき特定の画像領域の形状の概略情報を入力する概略
形状情報入力モジュールを含むプログラムを記憶したこ
とを特徴とする。

【００４３】請求項２９の記憶媒体は、請求項２１乃至
２８のいずれか１項記載の記憶媒体において、前記主画
像が動画像であり、前記副画像が静止画像であるプログ
ラムを記憶したことを特徴とする。

【００４４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００４５】（１）第１の実施の形態図１は本発明の第１の実施の形態に係る画像処理装置の
構成を示す。本発明の第１の実施の形態に係る画像処理
装置は、画像入力手段１と、画像処理手段２と、画像表
示手段１４とを備えている。

【００４６】画像入力手段１はレンズ、絞り及びそれら
の駆動制御手段を含む結像光学系、イメージセンサ、映
像信号処理回路、画像記録部等を備えている。尚、画像
入力手段１から入力された入力画像のうち抽出対象、即
ち被写体の写った入力画像を主画像とし、その被写体を
除いた背景のみの画像を副画像とする。この主画像及び
副画像は異なる時刻に撮影されたものであってもよい。

【００４７】画像処理手段２は、上記主画像及び副画像
を一次記憶する画像一次記憶手段３、背景画像と入力画
像との対応点抽出手段７、対応点データに基づく背景画
像の幾何学的変換、対応点どうしの画素値（例えばR、
G、B値等）データに基づく背景画像の階調変換関数推定
及び変換手段８（以下「変換手段８」という）、各画像
に関するエッジ強度抽出手段４、差分エッジ抽出手段
５、ノイズ除去手段６、差分エッジの外郭輪郭線抽出手
段９、主抽出領域推定手段１０、主画像と副画像との差
分画素値の閾値処理に基づく初期領域抽出手段１１、抽
出領域決定手段１２、及び画像表示手段１４に抽出領域
画像を出力する抽出領域画像出力手段１３を備えてい
る。エッジ強度抽出手段４は特許請求の範囲に記載され
ているエッジ分布抽出手段を構成し、抽出領域決定手段
１２は特許請求の範囲に記載されている領域特定手段を
構成する。

【００４８】尚、画像処理手段２は図１に示す構成のほ
かに、後述する処理を行うプログラムソフトを備えてい
るコンピュータの内部記憶装置、外部記憶装置、又は記
憶媒体であってもよい。また、同様に処理プログラムが
ゲートアレー化して存在する形態であってもよい。ま
た、画像処理手段２が画像入力手段１に内蔵されるのも
のであってもよい。

【００４９】図２は本発明の第１の実施の形態に係る画
像処理装置が行う画像抽出処理を示す。

【００５０】まず、画像入力手段１より被写体の写った
主画像とその被写体を除いた背景のみの副画像とを入力
する（ステップＳ２０１）。図５（Ａ）に主画像の例を
示し、図５（Ｂ）に副画像の例を示す。次いで、自動処
理又はマウス等の手動の指示手段を用いて主画像上で被
写体を含むように処理領域の設定を行う（ステップＳ２
０２）。但し、この処理領域の設定は必ずしも行う必要
はない。

【００５１】次に、各画像の左右端からそれぞれ画像フ
レーム幅の２５％から３５％の領域、又はステップＳ２
０２の画像抽出の処理領域の外側で対応点の探索と抽出
とを対応点抽出手段７で行う（ステップＳ２０３）。対
応点の抽出は後述する副画像又は主画像のいずれか一方
に対する幾何学的変換を行って、視点位置の変動、手ぶ
れ等による画像の位置ずれ、回転等の変動、倍率変動等
の条件の違いを吸収する目的で行う。

【００５２】対応点抽出方法としては、画像の各点を中
心とした所定サイズのブロックどうしの相関係数が最大
となる点どうしを求めるようなブロックマッチング法等
が用いられるが、これに限定されることなく他の方式を
用いてもよい。

【００５３】更に、変換手段８は、求められた対応点位
置データを用いて一方の画像の各画素位置と他方の画像
の対応する各画素位置とが一致する、即ち画像フレーム
内の同一位置となるように一方の画像、例えば、副画像
の全体又は一部に幾何学的変換、特にアフィン変換を施
して、変換行列の推定及び変換を行い、さらに、主画像
と副画像との各対応点において画素値レベルが一致する
ような階調変換の変換関数又は変換表の作成及び画像変
換を行う（ステップＳ２０４）。上記の幾何学的変換に
は、平行移動、回転、ある点を中心とした拡大縮小、又
はこれらの組み合わせが含まれ、階調変換は副画像につ
いて行うものとする。

【００５４】ここでは、RGBの各画素値について副画像
及び主画像の対応点の変換関数又は変換表、即ち、RGB
の０〜２５５レベルについての変換値を最小二乗法等に
基づく回帰分析により推定する。階調変換の目的は、露
光条件やホワイトバランス特性等の変動を主画像と副画
像との間で吸収して後述する画像抽出の精度を安定的に
向上することである。

【００５５】次に、ステップＳ２０５で各画像について
エッジ強度抽出手段４でエッジ抽出処理が行われたか否
かを判別手段（図示しない）で判別し、エッジ抽出処理
が行われていない場合には、各画像についてエッジ強度
抽出手段４でエッジ抽出処理を行い（ステップＳ２０
６）、さらに方向別ライン検出及びその方向別ラベリン
グを行う（ステップＳ２０７）。図６（Ａ）に主画像の
エッジデータの抽出結果の例を示し、図６（Ｂ）に副画
像のエッジデータの抽出結果の例を示す。

【００５６】ステップＳ２０６のエッジ抽出処理はSOBE
L演算子等の微分演算子を用い、またステップＳ２０７
の方向別ライン検出の方式としては、方向別に定義され
る核（核は行列で与えられる）と画像とのコンボリュー
ション演算によるものが代表的で、本実施の形態におい
てもそのコンボリューション値の大きさに基づいてラベ
ル付けを行う。更に、画像を適当なサイズ、例えば５Ｘ
５画素サイズのブロックに分割し、各ブロック内で各方
向別ラベルエッジの総数を求め、最も総数の多いラベル
を局所支配的ライン方向として、ブロックのライン方向
ラベル代表値として抽出する（ステップＳ２０８）。

【００５７】以上のラベリング処理の後、主画像と副画
像との各エッジデータの差分強度の閾値処理を行って差
分エッジデータを抽出し（ステップＳ２０９）、また差
分エッジデータのノイズ除去処理においては各エッジデ
ータの方向別ラベルが一致し、かつ差分エッジとして残
存するエッジ領域の除去を行う（ステップＳ２１０）。

【００５８】他のノイズ除去処理としては、メディアン
フィルタなどによる平滑化、孤立点または一定サイズ以
下の孤立領域の除去を行ってもよい。この結果、背景部
において残存する差分エッジデータ上のノイズが殆ど除
去される一方、抽出すべき対象の輪郭線も背景部分と同
一の方向成分をもつエッジなどが一部消失することがあ
る。

【００５９】次に、差分エッジデータの外郭輪郭線抽出
処理を行う（ステップＳ２１１）。以下、図２のステッ
プＳ２１１の差分エッジデータの外郭輪郭線抽出処理を
図３を参照しながら説明する。

【００６０】まず、差分エッジデータの外郭線（即ち、
最も外側の輪郭線）上の欠損位置の検出処理を行い（ス
テップＳ４０１）、欠損の連結処理を行い（ステップＳ
４０２）、外郭輪郭線の追跡データ抽出処理を行う（ス
テップＳ４０３）。図６（Ｃ）にノイズ除去後の差分エ
ッジデータの例を示し、図６（Ｄ）に欠損検出及び連結
処理後の外郭線追跡データの例を示す。以下の説明にお
いて画像フレームの水平（横）方向をＸ軸方向、垂直
（縦）方向をＹ軸方向にとるものとする。

【００６１】上記の欠損位置の検出処理（ステップＳ４
０１）は、図４の処理により行われる。即ち、まず、ス
テップＳ４０１１で上下左右の各側において初期追跡デ
ータの抽出処理を行う。

【００６２】具体的には、画像フレームの上下の各側に
おいてはそれぞれ左から右へ走査しながら（主走査方
向）各走査位置の上下方向（副走査方向）において最も
上または下に位置する差分エッジの位置（Ｙ座標）を抽
出する。また、画像フレームの左右の各側においては下
から上へ走査しながら各走査位置において最も左又は右
に位置する外郭差分エッジの位置（Ｘ座標）を抽出す
る。図７（Ａ）にノイズ除去後の欠損が生じている差分
エッジデータの例、図７（Ｂ）に左側の外郭初期追跡デ
ータを太線で示す。

【００６３】上記欠損の始点検出処理（ステップＳ４０
１２）は走査方向に次の外郭差分エッジの予測位置を求
め、次の走査位置において予測位置の近傍または現走査
位置の近傍に差分エッジが存在しない場合には、欠損の
始点候補位置として現走査位置での追跡位置を記録す
る。

【００６４】ステップＳ４０１３で欠損の終点検出処理
を行う。即ち、現走査位置での外郭差分エッジ位置から
見て直前の走査位置での近傍において差分エッジが存在
しない場合には、欠損の終点候補位置として現外郭差分
エッジ位置を記録する。図７（Ｃ）に左側外郭線上の欠
損の始点候補を黒丸で、また終点候補を白丸で示す。

【００６５】更に、上記欠損の連結処理（ステップＳ４
０２）は欠損の各始点候補位置の走査方向において後方
に位置する複数の終点候補位置の中から最も連結ペアと
して確からしい組み合わせの欠損終点位置を選択し、始
点と終点位置の間を線形補間、近似曲線によるフィッテ
ィング、又は主画像のエッジデータの追跡等により連結
データを得る。連結ペアの選択方法の例としては候補位
置間を線形補間して得られる線分上において主画像のエ
ッジデータの存在する割合が最も高い組み合わせ等が好
適に用いられる。また、後述する初期領域データを用い
て上述した線形補間線分が初期領域の輪郭と一致する割
合、又はエッジ上にある割合と初期領域輪郭上にある割
合との両方を加算したものを考慮し、その割合が高い組
み合わせを優先的に選択してもよい。

【００６６】さらに、外郭輪郭線の追跡データ抽出処理
（ステップＳ４０３）においては上記の連結処理を行っ
た後又は行いながら、差分エッジの外郭線追跡データを
上下左右の各側について得る。図７（Ｄ）に左側外郭輪
郭線の連結追跡結果を示す。

【００６７】次に、図３及び図４の処理による効果につ
いて説明する。

【００６８】まず、抽出対象に近接して淡い陰影が存在
する場合には、陰影を除いた対象領域の輪郭のみを自動
抽出することができる。これは、比較的高い閾値を用い
て得た２値化エッジデータに陰影そのものの輪郭が含ま
れない場合である。

【００６９】また外郭輪郭線抽出の際、初期追跡データ
抽出処理（ステップＳ４０１１）に先だって、陰影上の
孤立した外郭輪郭線の除去を行ってもよい。即ち主画像
のエッジデータ上で他のエッジ要素に連結していない孤
立ラインセグメントであって、そのセグメント上で画素
値の濃淡レベルが副画像の同一位置での濃淡レベルより
低い場合にそのセグメントを除去する。これにより陰影
が部分的に高いコントラストで存在しても他の部分でコ
ントラストが低い場合には陰影全体の除去を行うことが
可能である。

【００７０】また他の効果として、抽出対象と背景との
境界線上に部分的にコントラストの低い部分があって主
画像のエッジが抽出されない場合や、抽出対象と背景と
の境界線付近での主画像と副画像とのエッジの方向成分
（又は、他の特徴）が類似している場合等に、差分エッ
ジが抽出対象の輪郭線上で欠損を生じていても安定して
抽出対象の輪郭線を安定して抽出することができる。

【００７１】更にエッジ近傍での支配的方向別ラベルの
一致度に基づくノイズ除去（ステップＳ２１０）と組み
合わせた効果として、背景部にエッジが稠密に分布する
場合、背景部のエッジコントラストが高い場合に残存し
がちな背景エッジを殆ど除去した上で、抽出対象の輪郭
のみを常に高い精度で抽出できる。

【００７２】次に、図２に戻り、主抽出処理推定手段１
０が主抽出領域推定処理を行う（ステップＳ２１２）。
この処理では、各外郭線データに対応する外側領域（例
えば、右側サイドの外郭線追跡データについては、その
外郭線から右側の領域）の論理和をとることにより抽出
すべき被写体以外の背景部領域を得る。図８（Ａ）は左
サイドにおいて得られた連結後の外郭輪郭線に基づいて
得られる背景部（白領域）を示し、図８（Ｂ）は右サイ
ドにおいて得られた連結後の外郭輪郭線に基づいて得ら
れる背景部（白領域）を示し、図８（Ｃ）は上サイドに
おいて得られた連結後の外郭輪郭線に基づいて得られる
背景部（白領域）を示し、図８（Ｄ）は左サイドにおい
て得られた連結後の外郭輪郭線に基づいて得られる背景
部（白領域）を示す。また、図８（Ｅ）は図８（Ａ）〜
（Ｄ）に示した各背景領域の論理和をとった結果を示
し、黒領域が主抽出領域を表す。

【００７３】このような論理演算により、左右上下の４
サイドからの外郭輪郭線抽出データのうちいずれかが、
ノイズの影響等により背景部分のエッジデータを追跡す
ることがあっても、他のサイドからの追跡データにより
補正修復することができる。画像フレームからこの背景
部領域を除いて得られる領域が推定した主抽出領域とし
て出力される。図５（Ｄ）に主抽出領域の例を示す。こ
の図からもわかるように一般的に差分エッジにノイズが
残存する場合等は、主抽出領域が抽出すべき被写体の形
状を全部正確に表すとは限らない。

【００７４】尚、外郭輪郭線抽出処理（ステップＳ２１
１）は上述した方法に限定されず、例えば欠損の始点と
終点との連結処理及び追跡処理を行いながら、抽出対象
領域の輪郭線を閉ループとして求めてもよい。この場合
には主抽出領域推定処理（ステップ２１２）は閉ループ
の内側を主抽出領域として出力する。

【００７５】ステップＳ２１２の主抽出領域推定処理が
終了した後は、ステップＳ２０４に戻り、ステップＳ２
０５においてエッジ抽出処理が行われたか否かを再び判
別手段（図示しない）で判別するが、上述した通りエッ
ジ抽出処理はステップＳ２０６で行われているので、ス
テップＳ２１３に進む。

【００７６】ステップＳ２１３では、初期領域抽出手段
１１が初期領域データ抽出処理を以下に示すように行
う。この処理は主画像及び副画像の各画素についての画
素値（RGB値、色相、又は彩度）の差異（例えば各成分
の差分絶対値）について閾値処理等を施し初期領域抽出
を行う。閾値を比較的高く設定することにより、ノイズ
や撮影条件の差異に起因する画素値の変動の影響を排除
し、かつ淡い陰影等を除去することができる。初期領域
データとしては抽出対象に相当する領域を値０、背景領
域を値１となるように２値化して表す。

【００７７】一般的に単に差分データを閾値処理するだ
けでは、細かなノイズが残ることが多いので、初期領域
データからノイズ成分を除去する、例えば背景部分の孤
立点又は面積の小さい孤立領域の除去をする。初期領域
抽出の結果得られるマスク領域を図５（Ｃ）に示す（抽
出対象に相当する領域を黒で示す）。

【００７８】任意の背景と抽出対象との組み合わせにお
いては、上述した初期領域が抽出すべき対象の領域を正
確に表すことは殆どありえない。即ち、主画像及び副画
像において同一箇所で部分的にRGBレベル、又はそれら
の局所的統計量（平均値、標準偏差等）の類似した領域
がある場合には、その部分領域が閾値処理後に未抽出領
域として残る。

【００７９】次いで、前述した主抽出領域と初期領域と
を統合して正確な（最も確からしい）対象領域を抽出す
ることを目的とする抽出領域決定処理を行う（ステップ
Ｓ２１４）。まず、主抽出領域及び初期領域の各輪郭線
追跡データを外郭輪郭線抽出処理と同様に左右上下の各
サイドについて走査を行いながら求める。

【００８０】次に抽出領域の輪郭線決定処理として、例
えば以下のような処理を実行する。即ち、走査方向の各
位置において初期領域の輪郭線位置と主抽出領域の輪郭
線位置との差が小さく、かつ、初期領域の輪郭線上に主
画像のエッジが存在する場合には初期領域の輪郭線位置
を選択する。また輪郭線位置の差が大きく、かつ、主抽
出領域の輪郭線上に主画像のエッジが存在する場合には
主抽出領域の輪郭線位置を選択する。輪郭線位置の選択
方法としては、その他に各輪郭線位置近傍での画像デー
タ、エッジ分布形状データ等を用いて抽出対象の輪郭線
位置を統計処理手法（最大尤度推定等）により求めても
よい。尚、抽出領域決定処理（ステップＳ２１４）で得
られた抽出領域の例を図５（Ｅ）に示す。

【００８１】抽出領域の画像抽出処理は決定された抽出
領域上にある主画像の画像データ（画素値；RGB値）を
抽出し（ステップＳ２１５）、抽出された画像データに
抽出領域画像出力手段１３が適切なデータフォーマット
の変換、RGB値の補正処理を施した上で抽出画像を出力
し、画像表示手段１４が出力された抽出画像を表示して
（ステップＳ２１６）、本処理を終了する。尚、最終的
な抽出画像を図５（Ｆ）に示す。

【００８２】上述したように、第１の実施の形態によれ
ば、画像入力手段１より抽出すべき特定の画像領域を含
む主画像及び抽出すべき特定の画像領域を含まない副画
像を入力し、各画像についてエッジ強度抽出手段４でエ
ッジ抽出処理を行い（ステップＳ２０６）、この処理に
より抽出された主画像及び副画像の各エッジデータの差
分強度の閾値処理を行って差分エッジデータを抽出し
（ステップＳ２０９）、抽出された差分エッジデータの
外郭輪郭線抽出処理を行い（ステップＳ２１１）、この
処理により抽出された外郭輪郭線から主画像中の主抽出
領域を主抽出領域推定手段１０で推定し、一方で初期領
域抽出手段１１が主画像及び副画像の各画素についての
画素値等の差異について閾値処理等を施し初期領域の抽
出を行い、抽出領域決定手段１２が前述した主抽出領域
と初期領域とを統合して正確な（最も確からしい）対象
領域を抽出する抽出領域決定処理を行う（ステップＳ２
１４）ので、（i）抽出すべき特定の画像領域を含む主
画像及び抽出すべき特定の画像領域を含まない副画像か
ら特定の画像領域を高精度で抽出することができ、（i
i）抽出すべき特定の画像領域の内部に抽出すべきでな
い画像と類似する領域が含まれる時でも特定の画像領域
を高精度で抽出することができ、（iii）抽出すべき特
定の画像領域の近傍に抽出すべき特定の画像に類似する
抽出すべきでない画像がある時でも特定の画像領域を高
精度で抽出することができ、（iv）抽出すべき特定の画
像領域の内部に抽出すべきでない画像と類似する領域が
大量に含まれる時でも特定の画像領域を高精度で抽出す
ることができる。

【００８３】（２）第２の実施の形態図９は本発明の第２の実施の形態に係る画像処理装置の
構成を示す。本発明の第２の実施の形態に係る画像処理
装置は、画像入力手段１と、画像処理手段２と、画像表
示手段１４と、指示入力手段１７とを備えている。

【００８４】画像入力手段１はレンズ、絞り及びそれら
の駆動制御手段を含む結像光学系、イメージセンサ、映
像信号処理回路、画像記録部等を備えている。尚、画像
入力手段１から入力された入力画像のうち抽出対象、即
ち被写体の写った入力画像を主画像とし、その被写体を
除いた背景のみの画像を副画像とする。

【００８５】画像処理手段２は、主画像及び副画像を一
次記憶する画像一次記憶手段３、背景画像と入力画像と
の対応点抽出手段７、対応点データに基づく背景画像の
幾何学的変換及び対応点どうしの画素値（例えばR、G、
B値等）データに基づく背景画像の階調変換関数推定及
び変換手段８、各画像に関するエッジ強度抽出手段４、
差分エッジ抽出手段５、ノイズ除去手段６、差分エッジ
の外郭輪郭線抽出手段９、主抽出領域推定手段１０、主
画像と副画像との差分画素値の閾値処理に基づく初期領
域抽出手段１１、穴判定手段１５、非穴領域抽出手段１
６、処理モード制御手段１８、抽出領域決定手段１２、
及び画像表示手段１４に抽出領域画像を出力する抽出領
域画像出力手段１３を備えている。

【００８６】ユーザが指示入力手段１７より抽出すべき
画像領域の概略形状（例えば穴があるか否か）を指示す
ると、画像処理手段２の内部では処理モード制御手段１
８がその概略形状情報に基づいて処理を制御する。例え
ば、穴ありと指示された場合には第１の実施の形態と同
様に初期領域を初期領域抽出手段１１で抽出した後、穴
の判定を穴判定手段１５で行うように処理を制御する。
この後、初期領域から穴領域を除いた領域が非穴領域抽
出手段１６で抽出される。一方、指示入力手段１７から
穴無しの指示が入力された場合には初期領域抽出結果は
直接抽出領域決定手段１２に出力される。尚、画像処理
手段２に含まれる穴判定手段１５、非穴領域抽出手段１
６、及び処理モード制御手段１８以外の他の手段の機能
は第１の実施の形態で説明したものと同様である。

【００８７】尚、画像処理手段２は図１に示す構成のほ
かに、後述する処理を行うプログラムソフトを備えてい
るコンピュータの内部記憶装置、外部記憶装置、又は記
憶媒体であってもよい。また、同様に処理プログラムが
ゲートアレー化して存在する形態であってもよい。ま
た、画像処理手段２が画像入力手段１に内蔵されるのも
のであってもよい。

【００８８】図１０は本発明の第２の実施の形態に係る
画像処理装置が行う画像抽出処理を示す。まず、画像入
力手段１より被写体の写った主画像とその被写体を除い
た背景のみの副画像とを入力する（ステップＳ１００
１）。次いで、自動処理又はマウス等の手動の指示手段
を用いて主画像上で被写体を含むように処理領域の設定
を行い（ステップＳ１００２）。更に被写体（即ち、抽
出領域）の形状に関する概略情報の入力を行う（ステッ
プＳ１００３）。

【００８９】以下、ステップＳ１００４〜ステップＳ１
０１４の処理は、第１の実施の形態で詳述したステップ
Ｓ２０３〜ステップＳ２１３の処理と同様なので、説明
を省略する。尚、ステップＳ１０１２では、図４で詳述
したステップＳ４０１〜ステップＳ４０３、ステップＳ
４０１１〜ステップＳ４０１３の処理を行う。

【００９０】次に、ステップＳ１０１５において、ステ
ップＳ１００３の抽出領域の形状に関する概略情報の入
力でユーザが穴ありと入力したか否かを判別手段（図示
しない）で判別し、ユーザが穴なしと入力した場合に
は、後述する適応的領域成長を行う（ステップＳ１０１
８）一方、ユーザが穴ありと入力した場合には、穴判定
手段１５が穴判定処理を行い（ステップＳ１０１６）、
非穴領域抽出手段１６が非穴領域抽出を行う（ステップ
Ｓ１０１７）。穴の判定方法としては初期領域内部にお
いて既に穴状領域となって残っている領域について以下
のように行う。即ち、同じ穴状領域にある主画像及び副
画像上の領域の画像データを抽出し、それらの相関値を
求める。その結果が、予め定めた基準値より高ければ穴
と判定し、穴の内部か抽出領域候補かを示す２値データ
として穴と判定された領域の各点で１、非穴領域上の各
点で０となるような穴判定データを生成する。

【００９１】次いで、抽出領域決定手段１２は、主抽出
領域内部において初期領域（穴ありの場合は穴を除いた
領域）を核とする適応的領域成長を行う（ステップＳ１
０１８）。即ち、初期領域のうち主抽出領域からはみ出
した部分についてはその境界上の点からの領域成長は完
全に抑止され、最大の領域成長範囲は主抽出領域内部に
限定される。適応的領域成長は、初期領域の境界上の点
と近傍画素（又は領域）との画像特徴量の類似度を求
め、これが所定の閾値より高ければ初期領域の境界上の
点を同一抽出対象領域とみなしてマスク領域（抽出領
域）に併合する。

【００９２】尚、類似度の判定に必要な特徴量パラメー
タとしては輝度レベル及び色相の値を用いるが、これら
に限定されるものではなく他の特徴量を用いてもよい。
また領域成長での併合は必ずしも画素単位で行われなく
てもよく、領域どうしで併合してもよい。

【００９３】類似度の判定用の閾値としては、穴判定デ
ータ及びエッジ分布に基づき画像中の位置によって空間
的に異なる値に設定する。例えば、穴の内部では閾値を
高く、穴の外部では閾値を低く設定することにより穴の
外部から内部への成長、又は穴の内部から外部への成長
が抑制される。また主画像においてエッジが存在する位
置では存在しない位置での閾値より同様に低く設定する
ことによりエッジを越すような領域成長が抑止される。
領域成長後は、一定サイズ以下の穴を自動的に埋める
（抽出対象領域とする）穴埋め処理を行ってもよい。

【００９４】以上の結果得られる成長済み領域を抽出領
域とし、該当する領域を主画像から抽出し（ステップＳ
１０１９）、抽出された領域に抽出領域画像出力手段１
３が適切なデータフォーマットの変換、RGB値の補正処
理を施した上で抽出画像を出力し、画像表示手段１４が
出力された抽出画像を表示して（ステップＳ１０２
０）、本処理を終了する。

【００９５】尚、ステップＳ１０１９の処理では、抽出
対象領域の境界線の平滑化処理、又は境界線の補正処理
等を行ってからマスクに対応する主画像を抽出してもよ
い。

【００９６】さらに、本実施の形態では抽出領域の形状
に関する概略情報として穴の有無を使用したが他の形状
の概略情報を使用してもよく、加えてそれに適した処理
を行ってもよい。その処理としては主抽出領域内部で行
うもの又は差分エッジの外郭輪郭線を用いるものは全て
含まれ、また適応的領域成長は第１の実施の形態と同様
に穴領域を除いた初期領域と主抽出領域とから抽出領域
を決定する処理で置き換えてもよい。

【００９７】上述したように、第２の実施の形態によれ
ば、第１の実施の形態で実行された処理に加えて、被写
体（即ち、抽出領域）の形状に関する概略情報の入力が
行なわれ（ステップＳ１００３）、当該被写体（即ち、
抽出領域）の内部に穴がある場合には、穴判定手段１５
が穴判定処理を行い（ステップＳ１０１６）、非穴領域
抽出手段１６が非穴領域抽出を行う（ステップＳ１０１
７）ので、抽出すべき特定の画像領域の内部に穴領域が
含まれる時でも特定の画像領域を高精度で抽出すること
ができ、また予め抽出すべき特定の画像領域の概略形状
を入力することにより特定の画像領域を高精度且つ高速
度で抽出することができる。

【００９８】（３）第３の実施の形態図１１は本発明の第３の実施の形態に係る画像処理装置
の構成を示す。本発明の第３の実施の形態に係る画像処
理装置は、画像入力手段１と、画像処理手段２と、画像
表示手段１４とを備えている。

【００９９】画像入力手段１はレンズ、絞り及びそれら
の駆動制御手段を含む結像光学系、イメージセンサ、映
像信号処理回路、画像記録部等を備えている。画像入力
手段１は主画像として動画像、副画像として静止画像を
入力する。

【０１００】画像処理手段２は、主画像１フレーム分一
次記憶手段３ａ、副画像記憶手段３ｂ、アフィン変換行
列推定手段１９、各画像に関するエッジ強度抽出手段
４、差分エッジ抽出手段５、主画像と副画像との差分画
素値の閾値処理に基づく初期マスク領域抽出手段１１、
ノイズ除去手段６、差分エッジの外郭輪郭線抽出手段
９、主抽出領域推定手段１０、一次記憶手段３ｃ、次フ
レームの主抽出領域予測手段２０、追跡対象領域抽出手
段２１、画像表示手段１４に抽出領域画像を出力する追
跡対象領域画像出力手段２２を備えている。

【０１０１】本実施の形態では主画像として動画像を、
副画像として静止画像を入力し、主画像から特定対象の
領域を検出して追跡を行う。

【０１０２】まず、記憶手段３a、３bで主画像１フレー
ム分の画像データ、副画像のデータを記憶しておき、ア
フィン変換行列推定手段１９は主画像と副画像間の大域
的な（抽出対象を除く）平行移動成分、回転成分、及び
倍率変動成分等を補正するアフィン変換行列の推定と前
フレームでの主抽出領域を含む近傍についての局所的な
アフィン変換係数の推定を行う。ここでは第１の実施の
形態と同様にブロックマッチング等の手法を用いて行っ
てもよいし、又は予め特定対象を除いた背景領域が概略
既知の場合にはその領域について他の手法、例えば勾配
法、グローバルなアフィン変換係数の推定法等の動きベ
クトル推定方法を用いてもよい。

【０１０３】主画像と副画像とから差分エッジを抽出し
て主抽出領域を推定するまでの主な処理手段、即ち、各
画像に関するエッジ強度抽出手段４、差分エッジ抽出手
段５、ノイズ除去手段６、差分エッジの外郭輪郭線抽出
手段９、主抽出領域推定手段１０は第１の実施の形態で
説明したものと同様であり、これらが実行する処理も同
様である。さらに期領域抽出手段１１も第１の実施の形
態で説明したものと同様である。また本実施の形態で
は、主画像を撮影又は生成する際に視点の位置が変動し
なければアフィン変換行列の推定及び変換は不要であ
る。

【０１０４】次フレームの主抽出領域予測手段２０では
現フレームの主抽出領域と一次記憶手段３ｃに記憶され
た１フレーム前の主抽出領域とから次フレームでの主抽
出領域を予測する。ここでは、既に推定された主画像と
副画像との局所的アフィン変換行列を用い、現フレーム
の主抽出領域の少なくとも輪郭上の点に対して局所的ア
フィン変換を施すことによって求める。他の方法として
は局所的な動きベクトルを求めて次フレームの主抽出領
域の輪郭上の各点の位置を予測してもよい。

【０１０５】主抽出領域推定手段１０では前フレームで
予測された主抽出領域と現フレームで求めた差分エッジ
の外郭輪郭線とを用いて現フレームでの最も確からしい
主抽出領域を推定する。例えば、予測された主抽出領域
を第１の実施の形態と同様に走査して得られる外郭輪郭
線上に現フレームの主画像のエッジが存在しない場合に
は、差分エッジの外郭給郭線位置を主抽出領域の輪郭の
推定位置とし、その他の場合は予測位置を主抽出領域の
推定位置として求める。

【０１０６】尚、本実施の形態では抽出精度は若干劣化
するが、固定視点位置で得た主画像及び副画像について
次フレームでの主抽出領域の予測を行わず、直接に推定
してもよい。その場合の簡略化した画像処理装置の構成
を図１２に示す。本構成は図１１の構成から一次記憶手
段３ｃ、アフィン変換行列推定手段１９、及び次フレー
ムの主抽出領域予測手段２０が削除されている。

【０１０７】追跡対象領域抽出手段２１及び追跡対象領
域画像出力手段２２は上述の第１の実施の形態の抽出領
域決定手段１２及び抽出領域画像出力手段１３が行う処
理に準ずる。

【０１０８】上述したように、第３の実施の形態によれ
ば、第１の実施の形態と比較し、主画像として動画像
を、副画像として静止画像を入力する部分が異なるもの
の、主画像から特定対象の領域を検出することは変わら
ないので、上述の第１の実施の形態に記載された効果と
同様の効果を奏する。

【０１０９】

【発明の効果】以上詳細に説明したように、請求項１の
画像処理装置、請求項１１の画像処理方法、及び請求項
２１の記憶媒体によれば、抽出すべき特定の画像領域を
含む主画像と抽出すべき特定の画像領域を含まない副画
像とからなる複数の画像が入力され、前記複数の画像の
各エッジ分布が抽出され、前記複数のエッジ分布の差異
に基づいて前記主画像中の主抽出領域が推定され、前記
主抽出領域及び前記複数の画像に基づいて前記特定の画
像領域が抽出又は追跡されるので、抽出すべき特定の画
像領域を含む主画像及び抽出すべき特定の画像領域を含
まない副画像から特定の画像領域を高精度で抽出するこ
とができる。

【０１１０】請求項２の画像処理装置、請求項１２の画
像処理方法、及び請求項２２の記憶媒体によれば、抽出
すべき特定の画像領域を含む主画像と抽出すべき特定の
画像領域を含まない副画像とからなる複数の画像が入力
され、前記複数の画像の各エッジ分布が抽出され、前記
複数のエッジ分布の差分データが抽出され、前記差分デ
ータの外郭を追跡して外郭輪郭線が得られ、前記外郭輪
郭線に基づいて前記主画像中の主抽出領域が推定され、
前記主抽出領域及び前記複数の画像に基づいて前記特定
の画像領域が抽出又は追跡されるので、抽出すべき特定
の画像領域の内部に抽出すべきでない画像と類似する領
域が含まれる時でも特定の画像領域を高精度で抽出する
ことができる。

【０１１１】請求項３の画像処理装置、請求項１３の画
像処理方法、及び請求項２３の記憶媒体によれば、前記
差分データの欠損が検出され、前記欠損が連結されるの
で、抽出すべき特定の画像領域の近傍に抽出すべき特定
の画像に類似する抽出すべきでない画像がある時でも特
定の画像領域を高精度で抽出することができる。

【０１１２】請求項４の画像処理装置、請求項１４の画
像処理方法、及び請求項２４の記憶媒体によれば、前記
差分データの最上位側、最下位側、最左位側、及び最右
位側に位置する複数の外郭輪郭線が抽出され、前記外郭
輪郭線について得られる複数の外側領域の論理演算に基
づいて前記主抽出領域が推定されるので、抽出すべき特
定の画像領域の近傍に抽出すべき特定の画像に類似する
抽出すべきでない画像がある時でも特定の画像領域を高
精度で抽出することができる。

【０１１３】請求項５の画像処理装置、請求項１５の画
像処理方法、及び請求項２５の記憶媒体によれば、前記
主画像と前記副画像との差分データに閾値処理を施して
得られる初期領域と前記主抽出領域とに基づいて特定の
画像領域が抽出又は追跡されるので、抽出すべき特定の
画像領域の内部に抽出すべきでない画像と類似する領域
が大量に含まれる時でも特定の画像領域を高精度で抽出
することができる。

【０１１４】請求項６の画像処理装置、請求項１６の画
像処理方法、及び請求項２６の記憶媒体によれば、前記
主抽出領域内において前記初期領域を核として前記初期
領域の近傍領域との類似度の閾値処理に基づき領域成長
させるので、抽出すべき特定の画像領域の近傍に抽出す
べき特定の画像に類似する抽出すべきでない画像がある
時でも特定の画像領域を高精度で抽出することができ
る。

【０１１５】請求項７の画像処理装置、請求項１７の画
像処理方法、及び請求項２７の記憶媒体によれば、前記
主画像と前記副画像との差分データから前記特定の画像
領域の穴領域が判定され、前記初期領域から前記穴領域
を除いた領域が抽出されるので、抽出すべき特定の画像
領域の内部に穴領域が含まれる時でも特定の画像領域を
高精度で抽出することができる。

【０１１６】請求項８の画像処理装置、請求項１８の画
像処理方法、及び請求項２８の記憶媒体によれば、前記
抽出すべき特定の画像領域の形状の概略情報が入力され
るので、予め抽出すべき特定の画像領域の概略形状を入
力することにより特定の画像領域を高精度且つ高速度で
抽出することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係る画像処理装置
の構成図である。

【図２】本発明の第１の実施の形態に係る画像処理装置
が行う画像抽出処理を示すフローチャートである。

【図３】差分エッジデータの外郭輪郭線抽出処理の説明
図である。

【図４】差分エッジデータの外郭輪郭線上の欠損位置の
検出処理を示すフローチャートである。

【図５】（Ａ）は主画像の例を示す図であり、（Ｂ）は
副画像の例を示す図であり、（Ｃ）は初期領域抽出の結
果得られるマスク領域の例を示す図であり、（Ｄ）は主
抽出領域の例を示す図であり、（Ｅ）は抽出領域決定処
理（ステップＳ２１４）で得られた抽出領域の例を示す
図であり、（Ｆ）は最終的な抽出画像の例を示す図であ
る。

【図６】（Ａ）は主画像のエッジデータの抽出結果の例
を示す図であり、（Ｂ）は副画像のエッジデータの抽出
結果の例を示す図であり、（Ｃ）はノイズ除去後の差分
エッジデータの例を示す図であり、（Ｄ）は欠損検出及
び連結処理後の外郭線追跡データの例を示す図である。

【図７】（Ａ）はノイズ除去後の欠損が生じている差分
エッジデータの例を示す図であり、（Ｂ）は左側の外郭
初期追跡データを太線で示す図であり、（Ｃ）は左側外
郭線上の欠損の始点候補を黒丸で、また終点候補を白丸
で示す図であり、（Ｄ）は左側外郭輪郭線の連結追跡結
果を示す図である。

【図８】（Ａ）は左サイドにおいて得られた連結後の外
郭輪郭線に基づいて得られる背景部（白領域）を示す図
であり、（Ｂ）は右サイドにおいて得られた連結後の外
郭輪郭線に基づいて得られる背景部（白領域）を示す図
であり、（Ｃ）は上サイドにおいて得られた連結後の外
郭輪郭線に基づいて得られる背景部（白領域）を示す図
であり、（Ｄ）は左サイドにおいて得られた連結後の外
郭輪郭線に基づいて得られる背景部（白領域）を示す図
である。また、（Ｅ）は（Ａ）〜（Ｄ）に示した各背景
領域の論理和をとった結果を示す図である。

【図９】本発明の第２の実施の形態に係る画像処理装置
の構成図である。

【図１０】本発明の第２の実施の形態に係る画像処理装
置が行う画像抽出処理を示すフローチャートである。

【図１１】本発明の第３の実施の形態に係る画像処理装
置の構成図である。

【図１２】本発明の第３の実施の形態に係る画像処理装
置の構成図である。

【符号の説明】

１画像入力手段２画像処理手段３画像一次記憶手段４エッジ強度抽出手段５差分エッジ抽出手段６ノイズ除去手段７対応点抽出手段８背景画像の幾何学的変換、背景画像の階調変換関数
推定及び変換手段９外郭輪郭線抽出手段１０主抽出領域推定手段１１初期領域抽出手段１２抽出領域決定手段１３抽出領域画像出力手段１４画像表示手段

Claims

【特許請求の範囲】

【請求項１】抽出すべき特定の画像領域を含む主画像
と抽出すべき特定の画像領域を含まない副画像とからな
る複数の画像を入力する画像入力手段と、前記複数の画
像の各エッジ分布を抽出するエッジ分布抽出手段と、前
記複数のエッジ分布の差異に基づいて前記主画像中の主
抽出領域を推定する主抽出領域推定手段と、前記主抽出
領域及び前記複数の画像に基づいて前記特定の画像領域
の抽出又は追跡を行う領域特定手段とを備えていること
を特徴とする画像処理装置。
【請求項２】抽出すべき特定の画像領域を含む主画像
と抽出すべき特定の画像領域を含まない副画像とからな
る複数の画像を入力する画像入力手段と、前記複数の画
像の各エッジ分布を抽出するエッジ分布抽出手段と、前
記複数のエッジ分布の差分データを抽出する差分エッジ
画像抽出手段と、前記差分データの外郭を追跡して外郭
輪郭線を得る外郭輪郭線抽出手段と、前記外郭輪郭線に
基づいて前記主画像中の主抽出領域を推定する主抽出領
域推定手段と、前記主抽出領域及び前記複数の画像に基
づいて前記特定の画像領域の抽出又は追跡を行う領域特
定手段とを備えていることを特徴とする画像処理装置。
【請求項３】前記外郭輪郭線抽出手段が前記差分デー
タの欠損を検出する欠損検出手段と、前記欠損を連結す
る連結手段とを備えていることを特徴とする請求項２記
載の画像処理装置。
【請求項４】前記外郭輪郭線抽出手段が前記差分デー
タの最上位側、最下位側、最左位側、及び最右位側に位
置する複数の外郭輪郭線を抽出し、前記主抽出領域推定
手段が前記外郭輪郭線について得られる複数の外側領域
の論理演算に基づいて前記主抽出領域を推定することを
特徴とする請求項２又は３記載の画像処理装置。
【請求項５】前記領域特定手段が前記主画像と前記副
画像との差分データに閾値処理を施して得られる初期領
域と前記主抽出領域とに基づいて特定の画像領域の抽出
又は追跡を行うことを特徴とする請求項１乃至４のいず
れか１項記載の画像処理装置。
【請求項６】前記領域特定手段が前記主抽出領域内に
おいて前記初期領域を核として前記初期領域の近傍領域
との類似度の閾値処理に基づき領域成長させることを特
徴とする請求項１乃至４のいずれか１項記載の画像処理
装置。
【請求項７】前記領域特定手段が前記主画像と前記副
画像との差分データから前記特定の画像領域の穴領域を
判定する穴判定手段と、前記初期領域から前記穴領域を
除いた領域を抽出する非穴領域抽出手段とを備えている
ことを特徴とする請求項１乃至６のいずれか１項記載の
画像処理装置。
【請求項８】前記抽出すべき特定の画像領域の形状の
概略情報を入力する概略形状情報入力手段を備えている
ことを特徴とする請求項１乃至７のいずれか１項記載の
画像処理装置。
【請求項９】前記主画像と前記副画像とが異なる時刻
に撮影された複数の画像であることを特徴とする請求項
１乃至８のいずれか１項記載の画像処理装置。
【請求項１０】前記主画像が動画像であり、前記副画
像が静止画像であることを特徴とする請求項１乃至９の
いずれか１項記載の画像処理装置。
【請求項１１】抽出すべき特定の画像領域を含む主画
像と抽出すべき特定の画像領域を含まない副画像とから
なる複数の画像を入力する画像入力工程と、前記複数の
画像の各エッジ分布を抽出するエッジ分布抽出工程と、
前記複数のエッジ分布の差異に基づいて前記主画像中の
主抽出領域を推定する主抽出領域推定工程と、前記主抽
出領域及び前記複数の画像に基づいて前記特定の画像領
域の抽出又は追跡を行う領域特定工程とを含むことを特
徴とする画像処理方法。
【請求項１２】抽出すべき特定の画像領域を含む主画
像と抽出すべき特定の画像領域を含まない副画像とから
なる複数の画像を入力する画像入力工程と、前記複数の
画像の各エッジ分布を抽出するエッジ分布抽出工程と、
前記複数のエッジ分布の差分データを抽出する差分エッ
ジ画像抽出工程と、前記差分データの外郭を追跡して外
郭輪郭線を得る外郭輪郭線抽出工程と、前記外郭輪郭線
に基づいて前記主画像中の主抽出領域を推定する主抽出
領域推定工程と、前記主抽出領域及び前記複数の画像に
基づいて前記特定の画像領域の抽出又は追跡を行う領域
特定工程とを含むことを特徴とする画像処理方法。
【請求項１３】前記外郭輪郭線抽出工程が前記差分デ
ータの欠損を検出する欠損検出工程と、前記欠損を連結
する連結工程とを含むことを特徴とする請求項１２記載
の画像処理方法。
【請求項１４】前記外郭輪郭線抽出工程で前記差分デ
ータの最上位側、最下位側、最左位側、及び最右位側に
位置する複数の外郭輪郭線を抽出し、前記主抽出領域推
定工程で前記外郭輪郭線について得られる複数の外側領
域の論理演算に基づいて前記主抽出領域を推定すること
を特徴とする請求項１２又は１３記載の画像処理方法。
【請求項１５】前記主画像と前記副画像との差分デー
タに閾値処理を施して得られる初期領域と前記主抽出領
域とに基づいて前記領域特定工程で特定の画像領域の抽
出又は追跡を行うことを特徴とする請求項１１乃至１４
のいずれか１項記載の画像処理方法。
【請求項１６】前記主抽出領域内において前記初期領
域を核として前記初期領域の近傍領域との類似度の閾値
処理に基づき前記領域特定工程で領域成長させることを
特徴とする請求項１１乃至１４のいずれか１項記載の画
像処理方法。
【請求項１７】前記領域特定工程が前記主画像と前記
副画像との差分データから前記特定の画像領域の穴領域
を判定する穴判定工程と、前記初期領域から前記穴領域
を除いた領域を抽出する非穴領域抽出工程とを含むこと
を特徴とする請求項１１乃至１６のいずれか１項記載の
画像処理方法。
【請求項１８】前記抽出すべき特定の画像領域の形状
の概略情報を入力する概略形状情報入力工程を含むこと
を特徴とする請求項１１乃至１７のいずれか１項記載の
画像処理方法。
【請求項１９】前記主画像と前記副画像とが異なる時
刻に撮影された複数の画像であることを特徴とする請求
項１１乃至１８のいずれか１項記載の画像処理方法。
【請求項２０】前記主画像が動画像であり、前記副画
像が静止画像であることを特徴とする請求項１１乃至１
９のいずれか１項記載の画像処理方法。
【請求項２１】抽出すべき特定の画像領域を含む主画
像と抽出すべき特定の画像領域を含まない副画像とから
なる複数の画像を入力する画像入力モジュールと、前記
複数の画像の各エッジ分布を抽出するエッジ分布抽出モ
ジュールと、前記複数のエッジ分布の差異に基づいて前
記主画像中の主抽出領域を推定する主抽出領域推定モジ
ュールと、前記主抽出領域及び前記複数の画像に基づい
て前記特定の画像領域の抽出又は追跡を行う領域特定モ
ジュールとを含むプログラムを記憶したことを特徴とす
る記憶媒体。
【請求項２２】抽出すべき特定の画像領域を含む主画
像と抽出すべき特定の画像領域を含まない副画像とから
なる複数の画像を入力する画像入力モジュールと、前記
複数の画像の各エッジ分布を抽出するエッジ分布抽出モ
ジュールと、前記複数のエッジ分布の差分データを抽出
する差分エッジ画像抽出モジュールと、前記差分データ
の外郭を追跡して外郭輪郭線を得る外郭輪郭線抽出モジ
ュールと、前記外郭輪郭線に基づいて前記主画像中の主
抽出領域を推定する主抽出領域推定モジュールと、前記
主抽出領域及び前記複数の画像に基づいて前記特定の画
像領域の抽出又は追跡を行う領域特定モジュールとを含
むプログラムを記憶したことを特徴とする記憶媒体。
【請求項２３】前記外郭輪郭線抽出モジュールが前記
差分データの欠損を検出する欠損検出モジュールと、前
記欠損を連結する連結モジュールとを含むプログラムを
記憶したことを特徴とする請求項２２記載の記憶媒体。
【請求項２４】前記外郭輪郭線抽出モジュールで前記
差分データの最上位側、最下位側、最左位側、及び最右
位側に位置する複数の外郭輪郭線を抽出し、前記主抽出
領域推定モジュールで前記外郭輪郭線について得られる
複数の外側領域の論理演算に基づいて前記主抽出領域を
推定するプログラムを記憶したことを特徴とする請求項
２２又は２３記載の記憶媒体。
【請求項２５】前記主画像と前記副画像との差分デー
タに閾値処理を施して得られる初期領域と前記主抽出領
域とに基づいて前記領域特定モジュールで特定の画像領
域の抽出又は追跡を行うプログラムを記憶したことを特
徴とする請求項２１乃至２４のいずれか１項記載の記憶
媒体。
【請求項２６】前記主抽出領域内において前記初期領
域を核として前記初期領域の近傍領域との類似度の閾値
処理に基づき前記領域特定モジュールで領域成長させる
プログラムを記憶したことを特徴とする請求項２１乃至
２４のいずれか１項記載の記憶媒体。
【請求項２７】前記領域特定モジュールが前記主画像
と前記副画像との差分データから前記特定の画像領域の
穴領域を判定する穴判定モジュールと、前記初期領域か
ら前記穴領域を除いた領域を抽出する非穴領域抽出モジ
ュールとを含むプログラムを記憶したことを特徴とする
請求項２１乃至２６のいずれか１項記載の記憶媒体。
【請求項２８】前記抽出すべき特定の画像領域の形状
の概略情報を入力する概略形状情報入力モジュールを含
むプログラムを記憶したことを特徴とする請求項２１乃
至２７のいずれか１項記載の記憶媒体。
【請求項２９】前記主画像が動画像であり、前記副画
像が静止画像であるプログラムを記憶したことを特徴と
する請求項２１乃至２８のいずれか１項記載の記憶媒
体。