JPH11296659A

JPH11296659A - 画像処理装置

Info

Publication number: JPH11296659A
Application number: JP10160098A
Authority: JP
Inventors: Ryushi Funayama; 竜士船山; Minehiro Konya; 峰弘紺矢; So Takezawa; 創竹澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-04-13
Filing date: 1998-04-13
Publication date: 1999-10-29
Anticipated expiration: 2018-04-13
Also published as: US6332038B1; JP3549725B2

Abstract

(57)【要約】【課題】取得画像から目的とする物体を抽出する際
に、熟練を必要とせず、迅速に、かつ取得画像内の照明
条件等に関わらずに特定物体領域の特定を正確にでき、
さらに、動画像中の特定物体領域に対する追跡処理を正
確に行うことができるように画像処理を行う画像処理装
置を提供することにある。【解決手段】電子画像（静止画像）あるいは電子画像
系列（動画像）を取得する画像取得装置１１と、画像取
得装置１１によって取得された取得画像から操作者が特
定物体領域を切り取って抽出するための画像抽出処理を
行う画像抽出処理装置１２と、画像抽出処理装置１２に
よって抽出された画像を出力する結果出力装置１３とを
備える。画像抽出処理装置１２は、互いに排他である２
つの仮想領域を取得画像中に設定し、これら仮想領域間
の分離度に基づいて特定物体領域を含む部分画像を抽出
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ、ビデオカ
メラ、パーソナルコンピュータ（パソコン）、ワードプ
ロセッサ（ワープロ）、ワークステーション、オフィス
コンピュータ（オフコン）、携帯型情報ツール、コピー
機、スキャナ装置、ファクシミリ装置（ＦＡＸ）、テレ
ビジョン（テレビ）、テレビ電話、テレビ会議システム
等に用いられる電子化された画像（静止画像や動画像）
を処理するための画像処理装置に関するものである。

【０００２】

【従来の技術】一般に、取得画像から目的とする物体や
顔等の特定物体領域を含む画像（抽出対象画像）を抽出
する場合、取得画像が用紙に印刷された状態であるか、
あるいは取得画像が電子的に変換された状態であるかに
よって、画像の抽出方法は異なる。

【０００３】例えば、写真等のように取得画像が用紙に
印刷されている場合では、取得画像に対してハサミやカ
ッター等で目的の大きさに切り取ることで、元画像から
抽出対象画像を抽出している（１）。

【０００４】ＣＣＤ（Charge Coupled Device)カメラや
スキャナ装置等の画像取得装置にて電子的に変換された
画像の場合では、画像取得装置によって取得された元画
像（以下、取得画像と称する）に対してコンピュータ等
によって画像処理（画像抽出処理）を行うことで、取得
画像から抽出対象画像を抽出している（２）。

【０００５】上記（１）の画像抽出方法の場合、実際に
ハサミやカッター等を用いて切り取り作業を行うことは
非常に手間であり、目的の物体をバランス良く配置した
状態で抽出対象画像を取得画像から切り取ることは熟練
を要する。

【０００６】これに対して、上記（２）の画像抽出方法
の場合には、取得画像をパーソナルコンピュータ（以
下、パソコンと称する）等において画像抽出のためのソ
フトウェアを使用して、取得画像から抽出対象画像を抽
出している。

【０００７】通常、上記（２）の画像抽出方法では、取
得画像をディスプレイ装置等の表示装置に表示し、操作
者がマウス等の座標入力装置を用いて座標を指定するこ
とで、所望する抽出対象画像を特定するようになってい
る。このため、ソフトウェアの使用に慣れる必要がある
ものの、（１）の画像抽出方法に比べて熟練を必要とし
ないで、目的の物体をバランス良く配置した状態で抽出
対象画像を取得画像から容易に切り取ることができる。

【０００８】また、（２）の画像抽出方法では、取得画
像中の抽出対象画像が所望する特定物体領域が含まれた
画像であるか否かを同定する方法として、操作者がディ
スプレイ装置に表示された取得画像を見ながらマウス等
を用いて行っているが、この抽出対象画像の同定方法の
他の方法としては、所定の計算方法により抽出対象画像
を同定する方法が提案されている。

【０００９】このような計算による抽出対象画像の同定
方法として、例えば、テンプレートマッチングがある。
このテンプレートマッチングとは、予め記憶された抽出
したい物体（特定物体領域）が有する特徴パターンと、
これに対応する取得画像中の特定物体領域の特徴パター
ンとの差異を計算して得られる評価量が特定の範囲内の
値となったとき、この特定物体領域の特徴パターンと記
憶された特徴パターンとが同等であると判断し、取得画
像中の抽出対象画像を同定する方法である。

【００１０】上記のように取得画像から抽出対象画像を
同定した後、さらに、特定物体領域を特定する必要があ
る。この特定物体領域の特定方法としては、上記のテン
プレートマッチングによる抽出対象画像の同定に使用さ
れた特定物体領域の特徴パターンの形状をもとにして初
期値を設定し、同定した抽出対象画像に対して、動的輪
郭モデルや動的な網のモデルを用いて、抽出対象画像中
の特定物体領域を特定する。

【００１１】例えば、上記の特定物体領域が人間の顔で
ある場合、特徴パターンとして、人間の顔の色分布から
導出される確率密度関数を用いれば、取得画像から顔の
肌色部分だけを分離することができる。

【００１２】また、動画像は静止画像が時系列に配置さ
れた画像系列であるので、動画像中の特定物体領域を追
跡する場合、上記の取得画像から抽出対象画像を同定
し、さらに抽出対象画像から特定物体領域を特定する方
法が適用される。

【００１３】具体的には、まず、動画像をディスプレイ
装置等において画像系列毎に表示する。この一枚の画像
系列を上述した取得画像と考える。そして、この取得画
像中の抽出対象画像を上述のように画像ツール（マウス
等の座標入力装置）やテンプレートマッチングによって
同定する。

【００１４】この時、マウスを用いて抽出対象画像を同
定する場合には、画像ツールによって指定された領域を
特徴パターンとし、この特徴パターンおよび該領域の位
置と大きさを記憶する。一方、テンプレートマッチング
等を用いて抽出対象画像を同定する場合には、同定され
た領域を決めるのに用いられた特徴パターンの大きさ
と、この特徴パターンに対応する取得画像中の位置を記
憶しておく。

【００１５】続いて、画像系列中の次の画像において、
記憶した特徴パターンの大きさおよび位置を少しずつ変
えたものを用意し、それぞれについて取得画像との間で
評価値を計算する。このとき、複数の評価値が得られる
が、この中で最も評価値の優れたもの、すなわち記憶さ
れた特徴パターンと、それに対応する取得画像の部分と
が最も類似しているものの、記憶された特徴パターンの
大きさと位置より、その画像における特定物体領域をそ
の中に含む抽出対象画像を抽出することができる。

【００１６】上記のような処理を次の系列の画像に対し
ても順次行い、次々と連続して処理することにより、動
画像中の特定物体領域の追跡を行うことができる。尚、
この一連の処理において、通常、記憶された特徴パター
ンは随時更新される。

【００１７】したがって、動画像中において追跡しよう
とする特定物体領域が人間の顔であれば、上述したよう
に、予め記憶される特徴パターンとして、人間の顔の色
分布から導出される確率密度関数を用いれば、取得画像
から顔の肌色部分だけを分離することができる。つま
り、動画像中の人間の顔を追跡することができる。

【００１８】

【発明が解決しようとする課題】ところが、ＣＣＤカメ
ラ等により取得された画像等の電子的に変換された画像
から目的とする物体、すなわち特定物体領域を含む抽出
対象画像を抽出するために、パソコンと画像処理用のソ
フトウェアを利用する場合、取得画像中に存在する特定
物体領域をその中に含むように画像の一部を切り取り、
しかも、目的の物体をバランス良く配置した状態で切り
取るには、写真をハサミ等で切り取る方法と同様にある
程度の熟練が必要である。

【００１９】例えば、抽出対象画像のなかの特定物体領
域が画面の端に存在する場合、この特定物体領域を抽出
対象画像のなかでバランス良く配置して該抽出対象画像
を切り取るには、抽出対象画像を切り取った後でさらに
該特定物体領域が中央にくるように位置を変えるような
操作が要求され、画像抽出の処理が非常に煩雑なものと
なる。

【００２０】また、取得画像から抽出対象画像を同定す
るために、テンプレートマッチング等の方法を用いる場
合、取得画像の全ての位置について、予め記憶されてい
る特徴パターンとの差異を計算しなければならず、多く
の計算量が要求される。

【００２１】さらに、取得画像中に含まれる特徴パター
ンの大きさが未知の場合、記憶された特徴パターンのサ
イズを小さいものから大きいものに、様々に変形して取
得画像の全ての位置との差異を計算することを繰り返す
必要があるので、計算量はさらに増加する。

【００２２】また、取得画像中の特徴パターンが変形や
回転していたり、照明条件が記憶さされている特徴パタ
ーンの作成時と取得画像で特徴パターンを見る場合とで
大きく異なっているときには、このテンプレートマッチ
ング方法では、抽出対象画像の同定をうまく行うことが
できないという問題が生じる。

【００２３】また、同定した抽出対象画像から特定物体
領域を特定する場合、動的輪郭モデルや動的な網のモデ
ルを用いている。

【００２４】この動的輪郭モデルを用いた場合、抽出さ
れるのは特定物体領域の輪郭であるので、通常、その輪
郭が囲む領域を物体領域（特定物体領域）とみなす。こ
の方法では、差異を計算した評価値が極小値への収束の
ため、本来の物体輪郭ではない、別の輪郭を抽出する虞
がある。

【００２５】一方、動的な網のモデルを用いた場合に
も、上記動的輪郭モデルの場合と同様に、評価値が局所
解へ落ち込むことで、誤った領域を抽出してしまう虞が
ある。

【００２６】しかも、両モデルともに、多数の繰り返し
演算を必要とする処理であり、多くの計算量が要求され
る。加えて、動的な網モデルは、一回の演算で計算すべ
き量が非常に多いため、動的輪郭モデルに比べてもさら
に多くの計算量が要求される。

【００２７】また、抽出対象画像から特定する特定物体
領域が人間の顔である場合、予め人間の顔の色分布を調
べて確率密度関数を導出しておき、この確率密度関数を
取得画像に適用して顔の肌部分だけを分離しているが、
予め調べた時の照明条件と取得画像から特定物体領域を
抽出する時の照明条件とが大きくことなる場合には、特
定物体領域の特定が正確に行えないという問題が生じて
いる。

【００２８】さらに、従来の動画像中の特定物体領域の
追跡処理においても、前述した静止画像における処理と
同様の問題が生じる。

【００２９】本発明は、上記の問題点を解決するために
なされたもので、その目的は、取得画像から目的とする
物体を抽出する際に、熟練を必要とせず、迅速に、かつ
取得画像内の照明条件等に関わらずに特定物体領域の特
定を正確にでき、さらに、動画像中の特定物体領域に対
する追跡処理を正確に行うことができるように画像処理
を行う画像処理装置を提供することにある。

【００３０】

【課題を解決するための手段】請求項１の画像処理装置
は、上記の課題を解決するために、外部から取得した画
像から抽出対象となる特定物体領域を含む部分画像を抽
出する画像処理装置において、互いに排他である２つの
仮想領域を取得画像中に設定し、これら仮想領域間の分
離度に基づいて上記部分画像を抽出する画像抽出処理手
段を有していることを特徴としている。

【００３１】上記の構成によれば、設定された２つの仮
想領域間の分離度に基づいて、取得画像から特定物体領
域を含む部分画像を抽出するようになっているので、抽
出しようとする特定物体領域とその他の画像領域とを明
確に区別することができる。すなわち、２つの仮想領域
間の分離度を求めることで、該仮想領域内に特定物体領
域が含まれた状態を検出することができる。

【００３２】これにより、仮想領域内に特定物体領域が
含まれた状態を検出した場合に、この仮想領域を含むよ
うな画像を、部分画像とすれば、必然的に特定物体領域
は部分画像中でバランス良く配置された状態となる。

【００３３】したがって、上記画像抽出手段を用いれ
ば、特定物体領域を抽出する部分画像中にバランス良く
配置した状態で、確実に、かつ高速に該部分画像を抽出
することができる。

【００３４】上記の画像抽出手段を実現するためには、
例えば請求項２記載の画像処理装置が適用される。

【００３５】すなわち、請求項２の画像処理装置は、上
記の課題を解決するために、請求項１の構成に加えて、
上記画像抽出処理手段は、取得された画像中の互いに排
他である２つの仮想領域を設定する領域設定手段と、上
記各仮想領域内の画像情報を取得する画像情報取得手段
と、上記画像情報から上記の２つの仮想領域間の分離度
を算出する算出手段と、得られた分離度に基づいて取得
画像中に存在する特定物体領域をその中に含むように画
像の一部を抽出する画像抽出手段とを含むことを特徴と
している。

【００３６】さらに、抽出した部分画像から特定物体領
域を抽出するためには、例えば請求項３記載の画像処理
装置が適用される。

【００３７】すなわち、請求項３の画像処理装置は、上
記の課題を解決するために、請求項２の構成に加えて、
画像抽出手段は、特定物体領域を含むように抽出した部
分画像に対して、該部分画像の一部にさらに仮想領域を
設定し、この仮想領域内の画像情報を取得し、この画像
情報に基づいて、上記特定物体領域を含み、かつ上記部
分画像よりも小さい領域を抽出することを特徴としてい
る。

【００３８】また、上記画像情報は、請求項４の画像処
理装置に記載のように画素の分布情報としても良い。こ
の場合、請求項４の画像処理装置は、上記の課題を解決
するために、請求項３の構成に加えて、取得した画像情
報を画素の分布情報とした場合、この分布情報から確率
密度関数を求め、得られた確率密度関数を上記部分画像
に適用することで、上記特定物体領域を含み、かつ上記
部分画像よりも小さい領域を抽出することを特徴として
いる。

【００３９】また、請求項５の画像処理装置は、上記の
課題を解決するために、請求項１ないし４のいずれかの
構成に加えて、特定物体領域が人間の顔領域であること
を特徴としている。

【００４０】このように、特定物体領域を人間の顔領域
にすれば、人物の写った写真等の画像から、所望する人
間の画像をバランス良く抽出することができる。このと
き、人間の顔領域から得られる画像情報に基づいて該顔
領域を抽出することにより、正確、かつ迅速に顔領域を
抽出することができる。

【００４１】また、請求項６の画像処理装置は、上記の
課題を解決するために、請求項５の構成に加えて、画像
抽出手段は、抽出された人間の顔領域内部の画像情報を
取得する手段と、上記画像情報より、顔の幅、左右の対
称軸、目、鼻、口の垂直位置からなる数値情報を検出す
る手段とを含み、上記数値情報に基づいて、上記顔領域
に含まれる顔部分が一定の大きさおよび位置になるよう
に、取得画像の一部を抽出することを特徴としている。

【００４２】また、請求項７の画像処理装置は、上記の
課題を解決するために、請求項１の構成に加えて、取得
画像中の任意の１点を指定する点指定手段を有し、画像
抽出処理手段は、上記点指定手段により取得画像中に存
在する特定物体領域の中央の１点が指定された場合、こ
の指定点を中に含むような第１の仮想領域と、この第１
の仮想領域と排他的な第２の仮想領域とを設定する領域
設定手段と、これら２つの仮想領域に含まれる画像情報
に基づいて、該２つの仮想領域間の分離度を算出する算
出手段と、上記２つの仮想領域の大きさを逐次変更する
ことによって得られる分離度の系列から、取得画像中に
存在し、かつ点指定手段によって指定された点をその中
央に含むような特定物体領域を、その中央に含むように
画像の一部を抽出する画像抽出手段とを含むことを特徴
としている。

【００４３】上記の構成によれば、請求項１の作用に加
えて、特定物体領域の中央の１点が指定され、この点に
基づいて仮想領域が設定されるので、仮想領域間の分離
度の計算が少なくて済む。この結果、部分画像の抽出に
かかる時間を大幅に短縮させることができる。

【００４４】また、請求項８の画像処理装置は、上記の
課題を解決するために、請求項７の構成に加えて、画像
抽出手段は、特定物体領域を含むように抽出した部分画
像に対して、該部分画像の一部に仮想領域を設定し、こ
の仮想領域内の画像情報を取得し、この画像情報に基づ
いて、上記特定物体領域を含み、かつ上記部分画像より
も小さい領域を抽出することを特徴としている。

【００４５】請求項３では、複数の領域候補である部分
画像が抽出され、その中から適当なものを選択する必要
があるが、請求項８の構成によれば、点指定手段によっ
て特定物体領域の一点が指定され、この指定された点に
基づいて部分画像が抽出されるようになるので、部分画
像から確実に特定物体領域を抽出することができる。

【００４６】また、上記画像情報は、請求項９の画像処
理装置に記載のように画素の分布情報としても良い。こ
の場合、請求項９の画像処理装置は、上記の課題を解決
するために、請求項８の構成に加えて、取得した画像情
報を画素の分布情報とした場合、この分布情報から確率
密度関数を求め、得られた確率密度関数を上記部分画像
に適用することで、上記特定物体領域を含み、かつ上記
部分画像よりも小さい領域を抽出することを特徴として
いる。

【００４７】さらに、請求項１０の画像処理装置は、上
記の課題を解決するために、請求項７ないし９のいずれ
かの構成に加えて、特定物体領域が人間の顔領域である
ことを特徴としている。

【００４８】このように、特定物体領域を人間の顔領域
にすれば、人物の写った写真等の画像から、所望する人
間の画像をバランス良く抽出することができる。このと
き、人間の顔領域から得られる画像情報に基づいて該顔
領域を抽出することにより、正確、かつ迅速に顔領域を
抽出することができる。

【００４９】しかも、点指定手段により特定物体領域の
一点が指定されているので、確実に一つの人間の顔領域
を抽出することができる。

【００５０】また、請求項１１の画像処理装置は、上記
の課題を解決するために、請求項１０の構成に加えて、
画像抽出手段は、抽出された人間の顔領域内部の画像情
報を取得する手段と、上記画像情報より、顔の幅、左右
の対称軸、目、鼻、口の垂直位置からなる数値情報を検
出する手段とを含み、上記数値情報に基づいて、上記顔
領域に含まれる顔部分が一定の大きさおよび位置になる
ように、取得画像の一部を抽出することを特徴としてい
る。

【００５１】上記の構成によれば、請求項１１の作用に
加えて、人間の顔領域からポートレート画像を抽出する
場合、確実に一つのポートレート画像を抽出することが
できる。

【００５２】請求項１２の画像処理装置は、上記の課題
を解決するために、請求項７の構成に加えて、画像抽出
処理手段は、上記点指定手段により取得画像中に存在す
る特定物体領域の中央でない位置に点が指定された場
合、設定される仮想領域の大きさと位置、あるいは仮想
領域の大きさ、位置と形状を逐次更新することによって
得られる分離度の系列から、取得画像中に存在し、かつ
点指定手段によって指定された点をその中に含むような
特定物体領域を、その中に含むように画像の一部を抽出
することを特徴としている。

【００５３】ところで、仮想領域の中心位置と特定物体
領域の中心位置とがほぼ同位置にある場合には、点指定
手段により特定物体領域のほぼ中央に点を指定しても問
題はないが、仮想領域の中心位置と特定物体領域の中心
位置とが大きくずれている場合には、特定物体領域の中
央に点を指定してもうまく仮想領域が設定されないの
で、誤った特定物体領域を抽出してしまう虞がある。

【００５４】ところが、上記の請求項１２の構成によれ
ば、請求項７の作用に加えて、点指定手段により取得画
像中に存在する特定物体領域の中央でない位置に点を指
定することにより、仮想領域の中心と特定物体領域の中
心位置がずれた場合でも確実に特定物体領域を抽出する
ことができる。

【００５５】また、請求項１３の画像処理装置は、上記
の課題を解決するために、請求項１２の構成に加えて、
画像抽出手段は、特定物体領域を含むように抽出した部
分画像に対して、該部分画像の一部に仮想領域を設定
し、この仮想領域内の画像情報を取得し、この画像情報
に基づいて、上記特定物体領域を含み、かつ上記部分画
像よりも小さい領域を抽出することを特徴としている。

【００５６】また、請求項１４の画像処理装置は、上記
の課題を解決するために、請求項１３の構成に加えて、
画像抽出手段は、取得した画像情報を画素の分布情報と
した場合、この分布情報から確率密度関数を求め、得ら
れた確率密度関数を上記部分画像に適用することで、上
記特定物体領域を含み、かつ上記部分画像よりも小さい
領域を抽出することを特徴としている。

【００５７】さらに、請求項１５の画像処理装置は、上
記の課題を解決するために、請求項１２ないし１４のい
ずれかの構成に加えて、特定物体領域が人間の顔領域で
あることを特徴としている。

【００５８】このように、特定物体領域を人間の顔領域
にすれば、人物の写った写真等の画像から、所望する人
間の画像をバランス良く抽出することができる。このと
き、人間の顔領域から得られる画像情報に基づいて該顔
領域を抽出することにより、正確、かつ迅速に顔領域を
抽出することができる。

【００５９】しかも、点指定手段により特定物体領域の
一点が特定物体領域の中央よりもずれた位置に指定され
るので、特定物体領域の中心と抽出対象となっている部
分画像の中心とが大きくずれていても、誤りなく特定物
体領域である人間の顔領域を抽出することができる。

【００６０】また、請求項１６の画像処理装置は、上記
の課題を解決するために、請求項１５の構成に加えて、
画像抽出手段は、抽出された人間の顔領域内部の画像情
報を取得する手段と、上記画像情報より、顔の幅、左右
の対称軸、目、鼻、口の垂直位置からなる数値情報を検
出する手段とを含み、上記数値情報に基づいて、上記顔
領域に含まれる顔部分が一定の大きさおよび位置になる
ように、取得画像の一部を抽出することを特徴としてい
る。

【００６１】上記の構成によれば、請求項１５の作用に
加えて、人間の顔領域からポートレート画像を抽出する
場合、確実に一つのポートレート画像を抽出することが
できる。

【００６２】また、請求項１７の画像処理装置は、上記
の課題を解決するために、請求項１の構成に加えて、画
像抽出処理手段は、取得画像を記憶する記憶手段を含
み、取得画像が一連の電子画像系列からなる動画像であ
る場合、記憶手段に記憶された系列中の特定の一枚の画
像を注目画像として読み出し、この注目画像中に存在す
る特定物体領域をその中に含むように、画像の一部を抽
出すると共に、上記注目画像に対して２つの仮想領域か
らなる１組のウィンドウを設定し、この１組のウィンド
ウ内の画像情報を次の系列の取得画像に対する初期値と
して仮想領域の大きさ、位置を様々に変化させて得られ
る種々の画像情報から、最も適当な１組のウィンドウを
決定することを特徴としている。

【００６３】上記の構成によれば、請求項１の作用に加
えて、時系列的に特定物体領域をバランス良く配置した
部分画像を抽出するようになるので、動画像中の特定物
体領域を追跡することが可能となる。

【００６４】さらに、請求項１８の画像処理装置は、上
記の課題を解決するために、請求項１７の構成に加え
て、画像抽出手段は、特定物体領域を含むように抽出し
た部分画像に対して、該部分画像の一部にさらに仮想領
域を設定し、この仮想領域内の画像情報を取得し、この
画像情報に基づいて、上記特定物体領域を含み、かつ上
記部分画像よりも小さい領域を抽出することを特徴とし
ている。

【００６５】また、請求項１９の画像処理装置は、上記
の課題を解決するために、請求項１７または１８の構成
に加えて、記憶手段に記憶されている一連の電子画像の
中の特定物体領域が人間の顔領域であることを特徴とし
ている。

【００６６】このように、記憶手段に記憶されている一
連の電子画像の中の特定物体領域を人間の顔領域にすれ
ば、人間が写っている動画像から、所望する人間の画像
をバランス良く抽出することができる。このようにすれ
ば、動画像中の特定物体領域である人間を追跡すること
ができる。

【００６７】また、請求項２０の画像処理装置は、上記
の課題を解決するために、請求項１７の構成に加えて、
取得画像中の任意の１点を指定する点指定手段が設けら
れ、上記画像抽出処理手段は、取得画像を記憶する記憶
手段と、取得画像が一連の電子画像系列からなる動画像
であり、かつ上記記憶手段に記憶された系列中の特定の
一枚の画像を注目画像として読み出し、この注目画像中
に存在する特定物体領域の中央が上記点指定手段により
指定された場合、この指定点を中に含むような第１の仮
想領域と、この第１の仮想領域と排他的な第２の仮想領
域とを設定する手段と、これら２つの仮想領域に含まれ
る画像情報に基づいて、該特定物体領域と２つの仮想領
域間の分離度を算出する手段と、上記２つの仮想領域の
大きさを逐次変更することによって得られる分離度の系
列から、取得画像中に存在し、かつ点指定手段によって
指定された点をその中央に含むような特定物体領域を、
その中央に含むように画像の一部を抽出する手段とを有
し、上記の２つの仮想領域の画素値を次の系列の取得画
像に対する初期値として仮想領域の大きさ、位置を様々
に変化させて得られる種々の画像情報から、最も適当な
１組のウィンドウを決定することを特徴としている。

【００６８】上記の構成によれば、請求項１７の作用に
加えて、特定物体領域の中央の１点が指定され、この点
に基づいて仮想領域が設定されるので、仮想領域間の分
離度の計算が少なくて済む。この結果、部分画像の抽出
にかかる時間を大幅に短縮させることができる。

【００６９】さらに、請求項２１の画像処理装置は、上
記の課題を解決するために、請求項２０の構成に加え
て、画像抽出手段は、特定物体領域を含むように抽出し
た部分画像に対して、該部分画像の一部にさらに仮想領
域を設定し、この仮想領域内の画像情報を取得し、この
画像情報に基づいて、上記特定物体領域を含み、かつ上
記部分画像よりも小さい領域を抽出することを特徴とし
ている。

【００７０】上記の構成によれば、請求項２０の作用に
加えて、特定物体領域を含むように抽出した部分画像に
対して、該部分画像の一部にさらに仮想領域を設定し、
この仮想領域内の画像情報を取得し、この画像情報に基
づいて、上記特定物体領域を含み、かつ上記部分画像よ
りも小さい領域を抽出するようになっているので、部分
画像から特定物体領域を確実に抽出することができ、こ
の結果、特定物体領域の追跡をさらに正確に行うことが
できる。

【００７１】また、請求項２２の画像処理装置は、上記
の課題を解決するために、請求項２０または２１の構成
に加えて、上記記憶手段に記憶されている一連の電子画
像の中の特定物体領域が人間の顔領域であることを特徴
としている。

【００７２】このように、記憶手段に記憶されている一
連の電子画像の中の特定物体領域を人間の顔領域にすれ
ば、人間が写っている動画像から、所望する人間の画像
をバランス良く抽出することができる。このようにすれ
ば、動画像中の特定物体領域である人間を追跡すること
ができる。

【００７３】また、請求項２３の画像処理装置は、上記
の課題を解決するために、請求項１７の構成に加えて、
取得画像中の任意の１点を指定する点指定手段が設けら
れ、画像抽出処理手段は、取得画像を記憶する記憶手段
と、取得画像が一連の電子画像系列からなる動画像であ
り、かつ記憶手段に記憶された系列中の特定の一枚の画
像を注目画像として読み出し、この注目画像中に存在す
る特定物体領域の任意の一点が上記点指定手段により指
定された場合、この指定点を中に含むような第１の仮想
領域と、この第１の仮想領域と排他的な第２の仮想領域
とを設定する手段と、これら２つの仮想領域に含まれる
画像情報に基づいて、該特定物体領域と２つの仮想領域
間の分離度を算出する手段と、上記２つの仮想領域の大
きさを逐次変更することによって得られる分離度の系列
から、取得画像中に存在し、かつ点指定手段によって指
定された点をその中央に含むような特定物体領域を、そ
の中央に含むように画像の一部を抽出する手段とを有
し、上記の２つの仮想領域の画素値を次の系列の取得画
像に対する初期値として仮想領域の大きさ、位置を様々
に変化させて得られる種々の画像情報から、最も適当な
１組のウィンドウを決定することを特徴としている。

【００７４】上記の構成によれば、請求項１７の作用に
加えて、点指定手段により取得画像中に存在する特定物
体領域の中央でない位置に点を指定することにより、仮
想領域の中心と特定物体領域の中心位置がずれた場合で
も確実に特定物体領域を抽出することができるので、動
画像中の特定物体領域を含む部分画像の追跡を正確に行
うことができる。

【００７５】さらに、請求項２４の画像処理装置は、上
記の課題を解決するために、請求項２３の構成に加え
て、画像抽出手段は、上記取得した画像情報を画素の分
布情報とした場合、この分布情報から確率密度関数を求
め、得られた確率密度関数を上記部分画像に適用するこ
とで、上記特定物体を含み、かつ上記部分画像よりも小
さい領域を抽出することを特徴としている。

【００７６】また、請求項２５の画像処理装置は、上記
の課題を解決するために、請求項２３の構成に加えて、
画像抽出手段は、特定物体領域を含むように抽出した部
分画像に対して、該部分画像の一部にさらに仮想領域を
設定し、この仮想領域内の画像情報を取得し、この画像
情報に基づいて、上記特定物体領域を含み、かつ上記部
分画像よりも小さい領域を抽出することを特徴としてい
る。

【００７７】また、請求項２６の画像処理装置は、上記
の課題を解決するために、請求項２３ないし２５のいず
れかの構成に加えて、記憶手段に記憶されている一連の
電子画像の中の特定物体領域が人間の顔領域であること
を特徴としている。

【００７８】このように、記憶手段に記憶されている一
連の電子画像の中の特定物体領域を人間の顔領域にすれ
ば、人間が写っている動画像から、所望する人間の画像
をバランス良く抽出することができる。このようにすれ
ば、動画像中の特定物体領域である人間を追跡すること
ができる。

【００７９】さらに、請求項２７の画像処理装置は、上
記の課題を解決するために、請求項２６の構成に加え
て、上記画像抽出手段は、抽出された人間の顔領域内部
の画像情報を取得する手段と、上記画像情報より、顔の
幅、左右の対称軸、目、鼻、口の垂直位置からなる数値
情報を検出する手段とを含み、上記数値情報に基づい
て、上記顔領域に含まれる顔部分が一定の大きさおよび
位置になるように、取得画像の一部を抽出することを特
徴としている。

【００８０】また、上記の課題を解決する手段として
は、上述した請求項１ないし２７までの各手段の他に、
コンピュータで読み取り可能な記録媒体に本願発明の画
像抽出処理を実行するためのプログラムを記録しても良
い。

【００８１】すなわち、請求項２８のコンピュータ読み
取り可能な記録媒体は、上記の課題を解決するために、
取得画像中の互いに排他である２つの仮想領域を該取得
画像中に設定し、これら仮想領域内の画像情報に基づい
て上記特定物体領域を抽出する処理をコンピュータに実
行させるための画像抽出処理プログラムを記録したこと
を特徴としている。

【００８２】また、請求項２９のコンピュータ読み取り
可能な記録媒体は、上記の課題を解決するために、取得
された画像中の互いに排他である２つの仮想領域を設定
し、設定された各仮想領域内の画像情報を取得し、取得
された画像情報から上記の２つの仮想領域間の分離度を
算出し、得られた分離度に基づいて取得画像中に存在す
る特定物体領域をその中に含むように画像の一部を抽出
する処理をコンピュータに実行させるための画像抽出処
理プログラムを記録したことを特徴としている。

【００８３】また、請求項３０のコンピュータ読み取り
可能な記録媒体は、上記の課題を解決するために、取得
画像中に存在する特定物体領域の中央の１点が指定され
た場合、この指定点を中に含むような第１の仮想領域
と、この第１の仮想領域と排他的な第２の仮想領域とを
設定し、設定された２つの仮想領域に含まれる画像情報
に基づいて、該２つの仮想領域間の分離度を算出し、上
記２つの仮想領域の大きさを逐次変更することによって
得られる分離度の系列から、取得画像中に存在し、かつ
指定された点をその中央に含むような特定物体領域を、
その中央に含むように画像の一部を抽出する処理をコン
ピュータに実行させるための画像抽出処理プログラムを
記録したことを特徴としている。

【００８４】また、請求項３１のコンピュータ読み取り
可能な記録媒体は、上記の課題を解決するために、取得
画像中に存在する特定物体領域の中央でない位置に点が
指定された場合、設定される仮想領域の大きさと位置、
あるいは仮想領域の大きさ、位置と形状を逐次更新する
ことによって得られる分離度の系列から、取得画像中に
存在し、かつ指定された点をその中に含むような特定物
体領域を、その中に含むように画像の一部を抽出する処
理をコンピュータに実行させるための画像抽出処理プロ
グラムを記録したことを特徴としている。

【００８５】また、請求項３２のコンピュータ読み取り
可能な記録媒体は、上記の課題を解決するために、記憶
された取得画像が一連の電子画像系列からなる動画像で
ある場合、記憶された画像系列中の特定の一枚の画像を
注目画像として読み出し、この注目画像中に存在する特
定物体領域をその中に含むように、画像の一部を抽出す
ると共に、上記注目画像に対して２つの仮想領域からな
る１組のウィンドウを設定し、この１組のウィンドウ内
の画像情報を次の系列の取得画像に対する初期値として
仮想領域の大きさ、位置を様々に変化させて得られる種
々の画像情報から、最も適当な１組のウィンドウを決定
する処理をコンピュータに実行させるための画像抽出処
理プログラムを記録したことを特徴としている。

【００８６】また、請求項３３のコンピュータ読み取り
可能な記録媒体は、上記の課題を解決するために、記憶
された取得画像が一連の電子画像系列からなる動画像で
あり、かつ上記記憶手段に記憶された系列中の特定の一
枚の画像を注目画像として読み出し、この注目画像中に
存在する特定物体領域の中央が指定された場合、この指
定点を中に含むような第１の仮想領域と、この第１の仮
想領域と排他的な第２の仮想領域とを設定し、これら２
つの仮想領域からなる１組のウィンドウに含まれる画像
情報に基づいて、該特定物体領域と２つの仮想領域間の
分離度を算出し、上記２つの仮想領域の大きさを逐次変
更することによって得られる分離度の系列から、取得画
像中に存在し、かつ点指定手段によって指定された点を
その中央に含むような特定物体領域を、その中央に含む
ように画像の一部を抽出すると共に、上記注目画像に対
して２つの仮想領域からなる１組のウィンドウを設定
し、この１組のウィンドウ内の画像情報を次の系列の取
得画像に対する初期値として仮想領域の大きさ、位置を
様々に変化させて得られる種々の画像情報から、最も適
当な１組のウィンドウを決定する処理をコンピュータに
実行させるための画像抽出処理プログラムを記録したこ
とを特徴としている。

【００８７】さらに、請求項３４のコンピュータ読み取
り可能な記録媒体は、上記の課題を解決するために、記
憶された取得画像が一連の電子画像系列からなる動画像
であり、かつ上記電子画像系列中の特定の一枚の画像を
注目画像として読み出し、この注目画像中に存在する特
定物体領域の任意の一点が指定された場合、この指定点
を中に含むような第１の仮想領域と、この第１の仮想領
域と排他的な第２の仮想領域とを設定し、これら２つの
仮想領域に含まれる画像情報に基づいて、該特定物体領
域と２つの仮想領域間の分離度を算出し、上記２つの仮
想領域の大きさを逐次変更することによって得られる分
離度の系列から、取得画像中に存在し、かつ点指定手段
によって指定された点をその中央に含むような特定物体
領域を、その中央に含むように画像の一部を抽出すると
共に、上記注目画像に対して２つの仮想領域からなる１
組のウィンドウを設定し、この１組のウィンドウ内の画
像情報を次の系列の取得画像に対する初期値として仮想
領域の大きさ、位置を様々に変化させて得られる種々の
画像情報から、最も適当な１組のウィンドウを決定する
処理をコンピュータに実行させるための画像抽出処理プ
ログラムを記録したことを特徴としている。

【００８８】

【発明の実施の形態】〔実施の形態１〕本発明の実施の
一形態について説明すれば、以下の通りである。

【００８９】本実施の形態に係る画像処理装置は、外部
から入力された画像、すなわち装置が外部から取得した
画像（以下、取得画像と称する）に含まれる物体、例え
ば写真等における操作者が所望する人間の顔等を、該取
得画像から抽出処理する装置である。

【００９０】すなわち、上記画像処理装置は、例えば図
２に示すように、電子画像（静止画像）あるいは電子画
像系列（動画像）を取得する画像取得手段としての画像
取得装置１１と、画像取得装置１１によって取得された
取得画像から操作者が所望する物体の画像領域（以下、
特定物体領域と称する）を切り取って抽出するための画
像抽出処理を行う画像抽出処理装置１２と、画像抽出処
理装置１２によって抽出された画像を出力する結果出力
装置１３と、画像抽出処理装置１２における処理に関す
る情報を記録あるいは再生する処理情報記録再生装置１
４が設けられている。

【００９１】上記処理情報記録再生装置１４は、画像抽
出処理装置１２に内蔵されているコンピュータにより読
み取り可能な記録媒体に対して情報の記録再生を行う装
置である。処理情報記録再生装置１４として、例えば、
フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、
光磁気ディスクドライブ等の外部の記録再生装置が用い
られる。上記フロッピーディスクドライブでは、記録媒
体としてフロッピーディスクが用いられ、また、ＣＤ−
ＲＯＭドライブでは、記録媒体としてＣＤ−ＲＯＭが用
いられ、光磁気ディスクドライブの場合には光磁気ディ
スクが用いられる。他の処理情報記録再生装置１４であ
ってもその装置に応じた記録媒体が用いられることはい
うまでもない。

【００９２】上記記録媒体には、画像抽出処理装置１２
において処理に必要な処理用プログラムや処理に必要な
各種データ等が記録される一方、画像抽出処理装置１２
において処理された情報が必要に応じて記録される。
尚、この記録媒体の詳細については後述する。

【００９３】したがって、上記処理情報記録再生装置１
４は、画像抽出処理装置１２において処理された情報を
記録媒体に記録する一方、画像抽出処理装置１２におい
て処理に必要な処理用プログラムや処理用の各種データ
等の処理情報を読み出して画像抽出処理装置１２に該処
理情報を転送するようになっている。

【００９４】また、画像抽出処理装置１２内で処理対象
となる画像情報を記録した記録媒体を処理情報記録再生
装置１４で再生し、画像抽出処理装置１２に転送するこ
とで、処理情報記録再生装置１４を画像取得装置１１に
換えて用いることが可能となる。

【００９５】したがって、上記画像取得装置１１が処理
情報記録再生装置１４を兼ねる場合には、画像取得装置
１１として、フロッピーディスク／ＣＤ−ＲＯＭ／ハー
ドディスク／光磁気ディスク／デジタルビデオディスク
等の記録媒体からデジタルの静止画像あるいは動画像を
取得する装置が用いられる。尚、ＣＤ−ＲＯＭおよびデ
ジタルビデオディスクについては、情報の記録および再
生が可能なものを使用する。

【００９６】また、画像取得装置１１としては、例えば
処理対象となる画像が静止画像である写真／印刷物から
デジタルの静止画像を取得する例えばスキャナ装置、テ
レビ／ビデオから取得したアナログの動画像をデジタル
の動画像に変換するアナログ／デジタル変換装置、デジ
タルカメラ／デジタルビデオカメラ等のデジタルの静止
画像あるいは動画像を取得するデジタル画像取得装置、
インターネット／ＬＡＮ等のネットワークからデジタル
の静止画像あるいは動画像を取得する装置等が用いられ
る。

【００９７】このようにして取得された画像は、画像抽
出処理装置１２に転送され、所定の画像抽出処理が施さ
れた後、処理結果が操作者に分かるように結果出力装置
１３にて処理結果が出力される。

【００９８】上記結果出力装置１３としては、上記画像
抽出処理装置１２で抽出された特定物体領域を表示する
ためのディスプレイ等の表示装置や、他の電子機器（プ
リンタ等）が用いられる。

【００９９】上記画像抽出処理装置１２は、画像取得装
置１１にて取得された取得画像から特定物体領域を仮想
領域を用いて抽出処理する装置であり、記憶部１５、演
算部１６を有している。ここで、仮想領域とは、ユーザ
が切り取りを希望する特定物体領域を含む画像領域を示
す。この仮想領域を用いた画像抽出処理の詳細について
は、後述する。

【０１００】上記画像抽出処理装置１２の記憶部１５
は、図３に示すように、仮想領域設定処理用プログラム
１５ａ、顔パラメータ検出処理用プログラム１５ｂ、領
域抽出処理用プログラム１５ｃ等の処理用プログラムを
記憶したＲＯＭ（図示せず）と、取得画像を一時的に記
憶すると共に、ＲＯＭに記憶された処理用プログラム等
を一時的に記憶するメインメモリ１５ｄとなるＲＡＭ
（図示せず）とからなる。

【０１０１】上記仮想領域設定処理用プログラム１５ａ
は、後述する分離度を計算するために必要な仮想領域の
形状を設定するためのプログラムである。本実施の形態
では、仮想領域設定処理用プログラム１５ａとして、ユ
ーザがペンやマウス等の座標入力装置を用いて仮想領域
の形状を自由に描画できるようなプログラムを採用して
いる。

【０１０２】上記顔パラメータ検出処理用プログラム１
５ｂは、顔の幅、左右の対称軸、目、鼻、口の垂直位置
などの顔パラメータを検出するためのプログラムであ
る。本実施の形態では、顔パラメータ検出処理用プログ
ラム１５ｂとして、例えば目、鼻、口の垂直位置を検出
する方法、すなわち顔肌領域を抽出した後に、それに対
応する顔画像の輝度値を水平方向に投影したヒストグラ
ムを用いるようなプログラムを採用している。この顔パ
ラメータ検出処理用プログラム１５ｂを実行した場合の
処理の詳細は、実施の形態３で説明する。

【０１０３】上記領域抽出処理用プログラム１５ｃは、
物体の領域を抽出するためのプログラムである。本実施
の形態では、領域抽出処理用プログラム１５ｃとして、
設定された仮想領域（分離度を計算する仮想領域とは別
に設定された仮想領域）中の画素値の分布が正規分布に
従っていると仮定して確率密度関数を算出し、この確率
密度関数を取得画像に適用することで物体の領域を抽出
するようなプログラムを採用している。

【０１０４】尚、上記の各プログラムは、上述のように
ＲＯＭに予め記憶させても良く、また、図１８に示すよ
うに、ＣＤ−ＲＯＭやフロッピーディスク等の記録媒体
１７に記憶させても良い。この場合、記録媒体１７に
は、仮想領域設定処理用プログラム１７ａ、顔パラメー
タ検出処理用プログラム１７ｂ、領域抽出処理用プログ
ラム１７ｃの少なくとも１つのプログラムを記憶させて
いれば良い。そして、残りのプログラムについては、記
憶部１５のＲＯＭに記憶させれば良い。

【０１０５】また、上記画像抽出処理装置１２の演算部
１６は、図４に示すように、画像取得装置１１にて取得
された画像に対して施す処理を行うための各種処理部か
ら構成されている。つまり、演算部１６は、分離度計算
処理部１６ａ、領域抽出処理部１６ｂ、画素情報読取処
理部１６ｃ、人物画像抽出処理部１６ｄ、基本演算処理
部１６ｅで構成されており、上記記憶部１５に記憶され
ている処理用プログラムや、取得画像の画像データ等と
連携して各種処理を行うようになっている。

【０１０６】上記分離度計算処理部１６ａは、２つの仮
想領域間の分離度を計算する処理部である。ここで、分
離度とは、一般に、ある集合を２つのクラスに分割した
場合、クラス間の変動が全集合の変動に占める割合であ
る。上記の２つのクラスが、完全に分離している場合、
分離度は最大値である１となり、完全に分離されていな
い場合、分離度は最小値である０に近くなる。したがっ
て、分離度は、２値化の際の最適しきい値の決定に使用
される。尚、分離度計算処理部１６ａにおける分離度の
計算の詳細については後述する。

【０１０７】上記領域抽出処理部１６ｂは、上述の仮想
領域設定処理用プログラム１５ａを実行することによっ
て設定された仮想領域の画素情報に基づいて物体の領域
を抽出する処理部である。

【０１０８】上記画素情報読取処理部１６ｃは、記憶部
１５に記憶されている取得画像から画像情報を読み出す
処理部である。

【０１０９】上記人物画像抽出処理部１６ｄは、上述の
顔パラメータ検出処理用プログラム１５ｂを実行するこ
とによって検出された顔パラメータに基づいて、取得画
像から人物画像の切り取りを行う処理部である。

【０１１０】上記基本演算処理部１６ｅは、四則演算や
その他の基本的な演算を行う処理部である。

【０１１１】ここで、取得画像から特定物体領域を抽出
する処理について以下に説明する。尚、ここで行われる
処理は、画像抽出処理装置１２にて行われる。

【０１１２】先ず、取得画像に設定される仮想領域につ
いて説明する。抽出対象となる物体（以下、単に物体と
称する）の形が既知である場合、例えば物体の形状が円
である場合、図５に示すように、２つのサイズの異なる
第１の円１０１・第２の円１０２を、それぞれの円の中
心が重なるように設定する。そして、図６に示すよう
に、内側の第１の円１０１で囲まれた領域を第１の仮想
領域（第１のウィンドウ）１０３とし、外側の第２の円
１０２で囲まれ、かつ上記第１の円１０１を含まない領
域を第２の仮想領域（第２のウィンドウ）１０４とす
る。

【０１１３】このように、ユーザが切り取りを希望する
物体の形状が円であれば、ウィンドウを円形状に設定
し、円以外の既知の形状の物体の場合、その物体の形状
と同じ形状のウィンドウを設定する。つまり、物体の形
状が既知のものであれば、ウィンドウの形状も特定物体
の形状に合わせることが望ましい。例えば、物体が矩形
状であれば、図７（ａ）に示すように、ウィンドウも矩
形状にする。また、物体が楕円形状であれば、図７
（ｂ）に示すように、ウィンドウも楕円形状にする。さ
らに、物体が自動車型の形状であれば、図７（ｃ）に示
すように、ウィンドウも自動車型の形状にするのが望ま
しい。

【０１１４】具体的には、画像抽出処理装置１２の記憶
部１５に記憶されている仮想領域設定処理用プログラム
１５ａが演算部１６で実行されることにより、所望のウ
ィンドウが取得画像に対して設定される。

【０１１５】次に、上述のように設定されるウィンドウ
を用いた抽出対象画像の抽出処理について、図１に示す
フローチャートを参照しながら以下に説明する。

【０１１６】ここでは、画像取得装置１１により取得さ
れた取得画像を、例えば図８（ａ）に示すように、物体
１１１〜１１３が表示面に存在する画像とした場合に、
この取得画像の中で操作者が抽出を希望する物体が円形
状の物体１１１とし、この物体１１１を含む抽出領域で
構成される抽出対象画像１１４を、取得画像から図８
（ｂ）に示すように抽出する場合について考える。ここ
で、抽出対象画像とは、特定物体領域をそのなかに含む
状態で取得画像から切り取れる部分画像のことである。

【０１１７】始めに、初期ウィンドウを設定する（Ｓ
１）。

【０１１８】つまり、取得画像上の任意の位置に初期サ
イズのウィンドウ（初期ウィンドウ）を設定する。ここ
では、画像抽出処理装置１２によって、図８（ａ）に示
すように、取得画像中の抽出対象となる物体１１１が円
形状であるので、図９に示すように、取得画像中の任意
の位置に初期ウィンドウ１２１が設定される。

【０１１９】上記初期ウィンドウ１２１は、同心円上に
直径の異なる２つの円を含み、それぞれの円によって、
内側の円で囲まれた領域の第１のウィンドウ１２１ａ、
外側の円で囲まれ、かつ内側の円を含まない領域の第２
のウィンドウ１２１ｂを構成している。

【０１２０】上記初期ウィンドウ１２１を構成する各ウ
ィンドウのサイズは、対象となる物体の大きさのとり得
る値等に依存して設定されるが、通常、取得画像のサイ
ズよりも小さいサイズに設定される。

【０１２１】続いて、ウィンドウに基づき、分離度を計
算する（Ｓ２）。

【０１２２】つまり、上記の２つの第１のウィンドウ１
２１ａ、第２のウィンドウ１２１ｂのそれぞれに含まれ
る画像情報を取得する。ここでの画像情報とは、各領域
に含まれる画素の数（画素数）と、各画素の画素値であ
る。上記画素値は、画素が持っている値であり、例えば
濃淡画像の場合には、画素の輝度値（明るさ）等を示
す。そして、画像抽出処理装置１２は、演算部１６の分
離度計算処理部１６ａにて取得された画素値に基づい
て、第１のウィンドウ１２１ａと第２のウィンドウ１２
１ｂとの間の分離度ηを計算する。

【０１２３】分離度ηは、分離度計算処理部１６ａにお
いて、次のようにして計算される。例えば、図９におい
て、ウィンドウの内側の領域（第１のウィンドウ１２１
ａ）をＰinner 、ウィンドウの外側の領域( 第２のウィ
ンドウ１２１ｂ）をＰouter、両者を合わせた領域をＰ
とし、当該画像において領域Ｐinner 内に存在する画素
の数をｎinner 、領域Ｐouter 内に存在する画素の数を
ｎouter 、領域Ｐ内に存在する画素の数、すなわちｎin
ner ＋ｎouter をＮとする。領域Ｐ内での位置ｉにおけ
る画素値をＰi 、領域Ｐでの画素値の平均をＰ〜、領域
Ｐinner での画素値の平均値をＰinner 〜、領域Ｐoute
r での画素値の平均値をＰouter 〜とすると、以下の式
（１）〜（３）が成立する。

【０１２４】

【数１】

【０１２５】

【数２】

【０１２６】

【数３】

【０１２７】尚、上記式（１）〜（３）において、Ｐバ
ーは領域Ｐでの画素値の平均を示すＰ〜、Ｐinner バー
は領域Ｐinner での画素値の平均値を示すＰinner 〜、
Ｐouter バーは領域Ｐouter での画素値の平均値を示す
Ｐouter 〜を表す。

【０１２８】上記のように算出された分離度ηは、一
旦、画像抽出処理装置１２の記憶部１５のメインメモリ
１５ｄに記憶される。

【０１２９】次に、ウィンドウのサイズを若干大きくす
ると共に、拡大したウィンドウにおける分離度を計算す
る（Ｓ３）。

【０１３０】つまり、画像抽出処理装置１２は、演算部
１６の領域抽出処理部１６ｂにおいて、算出した分離度
ηに基づいて初期ウィンドウ１２１を、図９に示すよう
に、該初期ウィンドウ１２１よりも若干大きくし、拡大
ウィンドウ１２２を設定する。このウィンドウの拡大時
に、ウィンドウ中心の位置は変えないようにする。例え
ば、初期ウィンドウ１２１の形状が円形であれば、円の
中心を固定したまま、直径を大きくして拡大ウィンドウ
１２２のサイズアップを図る。

【０１３１】このときのサイズアップは、例えば第１の
ウィンドウ１２１ａ、第２のウィンドウ１２１ｂのサイ
ズを予め設定し、この設定値を定数倍にすることにより
行う。したがって、上記拡大ウィンドウ１２２は、初期
ウィンドウ１２１と同様に、同心円上に直径の異なる２
つの円を含み、それぞれの円によって、内側の円で囲ま
れた領域の第１のウィンドウ１２２ａ、外側の円で囲ま
れ、かつ内側の円を含まない領域の第２のウィンドウ１
２２ｂを構成している。

【０１３２】続いて、ウィンドウが十分な大きさになっ
たか否かを判断する（Ｓ４）。

【０１３３】ここでは、上述した初期ウィンドウ１２１
において、第１のウィンドウ１２１ａと第２のウィンド
ウ１２１ｂとの間の分離度と同様に、上記拡大ウィンド
ウ１２２に対して第１のウィンドウ１２２ａと第２のウ
ィンドウ１２２ｂとの間の分離度を求める。

【０１３４】上記のように、演算部１６の分離度計算処
理部１６ａにて、ウィンドウを大きくしながら分離度を
計算する一方、該ウィンドウが十分な大きさになったと
判断されれば、上記ウィンドウの拡大とウィンドウの分
離度の計算とを停止する。

【０１３５】一方、ウィンドウが十分な大きさになって
いないと判断されれば、Ｓ２に移行し、再びウィンドウ
の拡大と、分離度の計算とを行う。

【０１３６】十分な大きさとは、例えば２つのウィンド
ウのうち内側のウィンドウの領域の境界線が画面をはみ
出すようになったときの大きさとする。この画面とは、
操作者が最初に取得した取得画像の画面である。このよ
うに、ウィンドウを設定することにより、このウィンド
ウによって特定物体の抽出を含む画像（抽出対象画像）
の抽出を行うことができる。

【０１３７】以上のようなプロセスを経ると、入力画像
である取得画像上の特定の位置について、ウィンドウを
徐々に大きくした場合に分離度の推移が見られる。すな
わち、特定物体上の任意の位置について、図１０に示す
ように、分離度の推移のグラフが得られる。つまり、取
得画像は、量子化されているので、特定物体の任意の位
置に存在する画素について、当該グラフを得ることがで
きる。この取得画像上の任意の画素について、分離度の
推移グラフを得るプロセスを、分離度計測プロセスと称
する。

【０１３８】本実施の形態では、上記分離度計測プロセ
スを１枚の取得画像に含まれる全ての画素について行
う。例えば、図１１に示す取得画像では、左上の画素か
ら右下の画素に向かって全ての画素について順に、分離
度計測プロセスを行っていることを示している。そし
て、このようにして得られた複数の分離度推移グラフの
中から、分離度の値や推移が一定のルールに従っている
ときのウィンドウの位置とウィンドウのサイズを画像抽
出処理装置１２内の記憶部１５に記憶する。

【０１３９】ここで、上記一定のルールとは、分離度に
対してしきい値を設定し、分離度計測プロセスを行って
得られる分離度が上記のしきい値を超えた場合に記憶部
１５にそのときのウィンドウの位置とサイズとを記憶す
るようにするルールとする。

【０１４０】したがって、分離度計測プロセスによって
測定された分離度がしきい値を超えない場合には、その
ウィンドウ内に特定物体領域が含まれている可能性は低
いと判断し、次のウィンドウにおける分離度を測定する
ようにする。

【０１４１】次に、分離度の推移がどのように行われる
のかを図１２を参照しながら以下に説明する。

【０１４２】ここでは、図１２に示すように、均一背景
の画像中に同一画素値からなる真円形領域１３１のみが
存在しており、分離度計算用のウィンドウの形状も真円
形とした場合について分離度の推移の説明を行う。そし
て、ウィンドウの中心を画像中の円形領域の中心に重
ね、分離度計測プロセスを実行する。

【０１４３】図１２では、３つのウィンドウが取得画像
中に表示されている例を示している。ここでは、例え
ば、最内部側に存在する領域を初期ウィンドウ１３２と
し、この初期ウィンドウ１３２は、内側の第１のウィン
ドウ１３２ａと外側の第２のウィンドウ１３２ｂとで構
成されている。

【０１４４】この初期ウィンドウ１３２について、分離
度を計算した後、この初期ウィンドウ１３２の外側に内
側の第１のウィンドウ１３３ａと外側の第２のウィンド
ウ１３３ｂとで構成される第１拡大ウィンドウ１３３が
設定される。そして、同様に、上記第１拡大ウィンドウ
１３３についても分離度を計算した後、この第１拡大ウ
ィンドウ１３３の外側に、内側の第１のウィンドウ１３
４ａと外側の第２のウィンドウ１３４ｂとで構成される
第２拡大ウィンドウ１３４が設定される。尚、初期ウィ
ンドウ１３２と第１拡大ウィンドウ１３３との間や、第
１拡大ウィンドウ１３３と第２拡大ウィンドウ１３４と
の間においもて分離度が計測される。

【０１４５】図１２では、第１拡大ウィンドウ１３３の
内側の第１のウィンドウ１３３ａの内側境界線と真円形
領域１３１の輪郭が一致している。

【０１４６】上述のような分離度計測プロセスによって
得られた分離度推移グラフを図１３に示す。ここで、グ
ラフ中のウィンドウサイズａの値に相当する図１２に示
すウィンドウは、初期ウィンドウ１３２であり、ウィン
ドウサイズｃの値に相当するウィンドウは、第１拡大ウ
ィンドウ１３３であり、ウィンドウサイズｄの値に相当
するウィンドウは、第２拡大ウィンドウ１３４である。
すなわち、初期ウィンドウ１３２は、初期サイズのウィ
ンドウであることを、また、第２拡大ウィンドウ１３４
は、最大サイズのウィンドウであることを示している。
また、第１拡大ウィンドウ１３３は、該第１拡大ウィン
ドウ１３３の内側境界と真円形領域１３１の輪郭が一致
していることを示している。

【０１４７】また、図１３に示すグラフから、以下のこ
とが分かる。分離度計測プロセスでは、ウィンドウサイ
ズａから徐々にウィンドウサイズを大きくしながら分離
度を計算していくが、図１２に示すように、初期ウィン
ドウ１３２においては真円形領域１３１内に全て含まれ
ている、すなわち内側領域の第１のウィンドウ１３２ａ
および外側領域の第２のウィンドウ１３２ｂとも全く同
じ画素値の画素で塗りつぶされた状態となっているの
で、分離度の値は０となる。この分離度の値は、ウィン
ドウの外側境界が真円形領域１３１の輪郭と一致するま
で０となる。

【０１４８】そして、ウィンドウの外側境界が真円形領
域１３１の輪郭を超えると、ウィンドウの外側領域に真
円形領域１３１を構成する画素と背景を構成する画素と
が混在することになり、分離度は上昇する。この分離度
の上昇は、ウィンドウサイズがｃの値、すなわち、第１
拡大ウィンドウ１３３の第１のウィンドウ１３３ａの境
界が真円形領域１３１の輪郭に一致するまで続く。

【０１４９】さらに、ウィンドウのサイズがｃの値を超
えれば、ウィンドウの内側領域にも背景を構成する画素
が入ってくるため、分離度は減少に転じ、ウィンドウサ
イズが大きくなるほど分離度は減少することになる。

【０１５０】したがって、第１拡大ウィンドウ１３３の
内側領域である第１のウィンドウ１３３ａの内側境界と
真円形領域１３１の輪郭が一致している点（図１３のグ
ラフのｃの値）で分離度が最大となるため、この点で第
１拡大ウィンドウ１３３の第１のウィンドウ１３３ａで
囲まれた領域を物体領域と見なすことができる。

【０１５１】また、ウィンドウサイズを大きくしてい
き、分離度が０を超えた時の、該ウィンドウの外側領域
で囲まれた領域も同様に物体領域とみなすことができ
る。

【０１５２】ここで、実画像に上記分離度計測プロセス
を適用する場合、取得画像中の背景が完全に均一になる
ことはないので、図１３において計測する分離度に適当
なしきい値ｓ１を設定しておき、分離度がしきい値ｓ１
を超えた時点（ウィンドウサイズｂ）でのウィンドウの
内側境界で囲まれた領域を物体領域とみなすか、あるい
は、分離度が一定値をとるしきい値ｓ２（＜１）以上で
最大になる時点でのウィンドウの内側境界で囲まれた領
域を物体領域と見なす。つまり、分離度は、背景と物体
との画素値の差に依存しない正規化量なので、上述した
しきい値ｓ１、ｓ２を適当に設定しておけば、背景、物
体の画素値（色、輝度）に関係なく同じ値で適用可能と
なっている。

【０１５３】以上のようにして、ユーザが所望する特定
の物体をそのなかに含む境界を検出することが可能とな
る。この境界の位置、大きさに基づいて、取得画像の一
部を切り取ることができる。例えば、図１４（ａ）は、
取得画像中の円形の物体（目的物体）１３５に対して、
物体領域１３６が検出された状態を示しており、この物
体領域１３６の外接矩形１３７を想定し、図１４（ｂ）
に示すように、この外接矩形１３７に適当なマージンを
つけて拡大した矩形をもって切取矩形１３８としてい
る。この結果、目的物体１３５をその中に含むように部
分画像である切取矩形（抽出対象画像）１３８を取得画
像から切り取ることができる。

【０１５４】つぎに、取得画像から切り取られた目的の
物体を含む抽出対象画像である切取矩形１３８から、さ
らに該物体を抽出する処理について以下に説明する。こ
こでは、上記切取矩形１３８から目的物体１３５を抽出
するための処理について、図１５および図１６（ａ）〜
（ｃ）を参照しながら以下に説明する。ここで、領域抽
出処理用プログラム１５ｃが演算部１６で実行されるこ
とにより抽出対象画像の抽出あるいは特定物体領域の抽
出処理が行われる。

【０１５５】図１５に示す切取矩形１３８では、目的と
する物体である目的物体１３５がほぼ中央に配置される
と共に、抽出対象外の物体である第１の物体１３９、第
２の物体１４０が上記目的物体１３５の近傍に配置され
ている。また、目的物体１３５、第１の物体１３９、第
２の物体１４０の各物体は、それぞれ均一な色や明るさ
を有する画素で構成されているものとする。

【０１５６】一般に、人間が見て均一の明るさに見える
物体でも、該物体の領域中の画素の色や明るさ等を示す
画素値はまったく同一の値ではない。したがって、人間
が見て同色であると判断した画像領域内の画素の画素値
の分布を調べると、図１７に示すような正規分布（正規
確率密度関数）に近似できる場合がある。この場合、平
均と分散の値から、図１７で示す斜線領域Ｓの面積で表
される確からしさが適当な範囲に収まるときの画素値の
下限値Ｐ１および上限値Ｐ２を求めることができる。こ
のとき、確からしさの適当な範囲とは、例えば９５％以
内等があげられる。

【０１５７】したがって、図１５に示す切取矩形１３８
内の目的物体１３５においても同様のことが言える。つ
まり、目的物体１３５を構成する画素の画素値は正規分
布となる。また、目的物体１３５は、切取矩形１３８の
ほぼ中央にくるように配置されているので、該切取矩形
１３８の中央付近の画素の画素値の分布を調べることに
より、切取矩形１３８内の目的物体１３５を同定するこ
とができる。

【０１５８】具体的には、まず、図１６（ａ）に示すよ
うに、切取矩形１３８に対してほぼ中央付近の矩形状の
領域１３８ａを設定し、この領域１３８ａに含まれる画
素の画素値の分布を調べることで、目的物体１３５の画
素の画素値の分布の近似とすることができる。

【０１５９】続いて、上述のようにして求めた画素値の
分布（確率密度関数）から適当な確率範囲での画素値の
下限および上限を求め、画素値がその範囲にあるものと
ないものとで、切取矩形１３８内の画素を分離する。分
離した結果、図１６（ｂ）に示すように、画素の一部が
欠けた目的物体１３５と、ノイズ成分１３５ａ…とが得
られる。この状態では、目的物体１３５を正確に抽出し
たことにはならないので、目的物体１３５の欠けた画素
を補間する補間処理（膨張／収縮処理等）と、ノイズ成
分１３５ａの除去処理（孤立点除去処理）を行うこと
で、図１６（ｃ）に示すように、目的物体１３５のみを
完全に抽出した状態にすることができる。

【０１６０】以上の説明では、分離度計測プロセスを取
得画像のすべての位置、すなわち画素について行ってい
るが、これでは、処理に時間がかかり過ぎる虞がある。
そこで、取得画像の一点を指定して、この一点に対して
分離度計測プロセスを実行することにより処理時間を短
縮させることが考えられる。

【０１６１】そこで、上記のような画像処理装置とし
て、例えば図１９に示すように、図２で示した画像処理
装置の画像抽出処理装置１２に点指定手段としての座標
指定装置２１が接続されたものが考えられる。すなわ
ち、上記画像処理装置では、座標指定装置２１によって
指定された任意の取得画像上の画素について、分離度計
測プロセスを実行し、分離度の推移を得るようになって
いる。この分離度の推移を、上述したルール、すなわち
図１２に示したルールで調べることにより、取得画像中
に存在し、かつ座標指定装置２１によって指定された点
をその中に含むような特定物体領域を含むような画像の
一部を抽出することができる。

【０１６２】したがって、図２に示すような画像処理装
置では、ユーザによって取得画像中に座標が指定される
ことがないため、抽出される領域範囲は複数の候補が存
在する。その中で、上述したようなルールで適当な領域
を選択するか、あるいはユーザが複数の候補の中から一
番適当な領域を選択するか等の操作が必要となる。これ
に対して、図１９に示す画像処理装置は、座標指定装置
２１を備えているため、分離度計測プロセスを一度だけ
実行することにより、確実に一つの領域範囲を抽出する
ことができる。

【０１６３】この結果、図１９に示す画像処理装置は、
図２に示す画像処理装置に比べて、領域範囲の選択にか
かる時間を短縮させることができるので、物体の抽出に
かかる全体の処理時間を短縮させることができる。

【０１６４】また、図１９に示す画像処理装置の画像抽
出処理装置１２は、図２に示す画像処理装置の画像抽出
処理装置１２と同様に、特定物体領域を含むように抽出
した部分画像に対して、該部分画像の一部に仮想領域を
設定し、この仮想領域内の画像情報を取得し、この画像
情報に基づいて、上記特定物体を含み、かつ上記部分画
像よりも小さい領域を抽出するようになっている。

【０１６５】さらに、上記画像抽出処理装置１２は、取
得した画像情報を画素の分布情報とした場合、この分布
情報から確率密度関数を求め、得られた確率密度関数を
上記部分画像に適用することで、上記特定物体を含み、
かつ上記部分画像よりも小さい領域を抽出するようにな
っている。

【０１６６】上記座標指定装置２１において指定される
点を目的物体の抽出に使用されるウィンドウの中心に固
定することにより、バランスよく物体を配置した状態で
抽出対象画像を抽出することができる。

【０１６７】例えば図２０に示す切取矩形１３８におい
て、目的物体１３５と第１の物体１３９のみを残した画
像とした場合、目的物体１３５の抽出に用いられるウィ
ンドウ（以下、分離度ウィンドウと称する）は、座標指
定装置２１によって指定された点Ｘに、中心を固定した
状態で使用される。

【０１６８】したがって、得られる抽出対象画像は、指
定された点Ｘを分離度ウィンドウの中心とした領域境界
に限定される。

【０１６９】さらに、分離度ウィンドウの中心を固定し
た場合の抽出対象画像の抽出処理について、図１９ない
し図２３を参照しながら以下に説明する。

【０１７０】まず、図２０に示すように、円形の目的物
体１３５が存在している取得画像において、座標指定装
置２１により目的物体１３５の中心点にほぼ一致する点
Ｘが指定された時、該目的物体１３５を覆うような境界
線１４２で囲まれた領域が円形状である分離度ウィンド
ウとして得られる。このようにして得られた分離度ウィ
ンドウを用いれば、目的物体１３５を適切に抽出処理す
ることができる。

【０１７１】一方、図２１に示すように、円形の目的物
体１３５が存在している取得画像において、座標指定装
置２１により目的物体１３５の中心点とずれた位置に点
Ｘ’が指定されたとき、目的物体１３５よりも小さな範
囲を示す分離度ウィンドウの境界線１４２’が得られ
る。これは、ウィンドウの中心を固定して分離度測定プ
ロセスを実行しているためであり、外側ウィンドウの境
界線が境界線１４２’と重なった時に分離度の所定のし
きい値を超えるか、あるいは内側ウィンドウの境界線が
境界線１４２’に重なった時に分離度が最大になるため
である。

【０１７２】このように、ウィンドウの中心と、抽出す
べき物体の中心とが同位置、あるいは近傍位置にない
と、分離度ウィンドウが適切に設定されないので、誤っ
た抽出対象画像を抽出してしまう虞がある。

【０１７３】そこで、上記の問題を解決するために、ウ
ィンドウの中心を固定せずに適当にずらしながら分離度
測定プロセスを実行する。具体的には、ある時点での分
離度ウィンドウが図２２（ａ）に示すような状態である
とき、次の時点のウィンドウは、図２２（ｂ）に示すよ
うに、図２２（ａ）のウィンドウと中心が同一で、内側
および外側ウィンドウのサイズを一定のルールに従って
拡大したものが用いられる。

【０１７４】ここで、上記の分離度ウィンドウを用いた
場合の取得画像の抽出処理について図２３（ａ）
（ｂ）、図２６に示すフローチャートを参照しながら以
下に説明する。

【０１７５】まず、座標指定装置２１を用いて取得画像
上の任意の点を指定する。そして、この点を中心とし
て、内側ウィンドウ、外側ウィンドウの２つの初期ウィ
ンドウを設定する（Ｓ１１）。

【０１７６】ここでは、図２３（ａ）に示すように、内
側ウィンドウと外側ウィンドウとが同心円状に配置され
た初期ウィンドウ１５０ａが設定される。尚、図２３
（ａ）（ｂ）において、実線で描かれた円は外側ウィン
ドウを示し、破線で描かれた円は内側ウィンドウを示す
ものとする。

【０１７７】次に、内側ウィンドウを固定し、複数の外
側ウィンドウを設定する（Ｓ１２）。

【０１７８】つまり、上記初期ウィンドウ１５０ａを元
分離度ウィンドウとし、この元分離度ウィンドウとは別
に、複数の分離度ウィンドウを設定する。ここでは、図
２３（ａ）に示すように、初期ウィンドウ１５０ａを含
めて、９個の分離度ウィンドウ１５０ｂ〜１５０ｉが設
定される。

【０１７９】このとき、内側ウィンドウの位置はそのま
まで、外側ウィンドウの位置をずらしている。分離度ウ
ィンドウ１５０ｂでは、内側ウィンドウの半径分だけ、
外側ウィンドウを左上にずらしている。また、残りの分
離度ウィンドウについても同様にして、外側ウィンドウ
を内側ウィンドウの半径分だけ移動させる。すなわち、
分離度ウィンドウ１５０ｃでは上にずらし、分離度ウィ
ンドウ１５０ｄでは右上にずらし、分離度ウィンドウ１
５０ｅでは左にずらし、分離度ウィンドウ１５０ｆでは
右にずらし、分離度ウィンドウ１５０ｇでは左下にずら
し、分離度ウィンドウ１５０ｈでは下にずらし、分離度
ウィンドウ１５０ｉでは右下にずらしている。

【０１８０】続いて、すべてのウィンドウの分離度を計
算する（Ｓ１３）。

【０１８１】すなわち、図２３（ａ）に示すように設定
された９個の分離度ウィンドウ１５０ａ〜１５０ｉの分
離度を全て計算する。

【０１８２】そして、分離度の一番小さいウィンドウを
選択する（Ｓ１４）。このとき、分離度の最も小さい分
離度ウィンドウを最小分離度ウィンドウとして記憶して
おき、この時の分離度のを値を今回設定した９個の分離
度ウィンドウの代表分離度とする。本実施の形態では、
図２３（ａ）に示す分離度ウィンドウ１５０ｄが最小分
離度ウィンドウとして記憶されたものとする。

【０１８３】続いて、Ｓ１４において記憶された最小分
離度ウィンドウに対して、内側ウィンドウと外側ウィン
ドウとの中心が一致しているか否かを判断する（Ｓ１
５）。ここで、内側ウィンドウと外側ウィンドウとの中
心が一致していないと判断されれば、Ｓ１６に移行す
る。一方、内側ウィンドウと外側ウィンドウとの中心が
一致していれば、Ｓ１７に移行する。

【０１８４】すなわち、最小分離度ウィンドウが、図２
３（ａ）に示す分離度ウィンドウ１５０ａ以外の分離度
ウィンドウのように内側ウィンドウと外側ウィンドウと
の中心が一致していなければ、内側ウィンドウををずら
し、外側ウィンドウの中心に該内側ウィンドウの中心を
一致させる（Ｓ１６）。

【０１８５】そして、内側ウィンドウと外側ウィンドウ
とのウィンドウサイズを若干大きくする（Ｓ１７）。

【０１８６】すなわち、図２３（ｂ）に示すように、内
側ウィンドウと外側ウィンドウとの中心がずれている最
小分離度ウィンドウ１５０ｄに対して、内側ウィンドウ
をずらして該内側ウィンドウと外側ウィンドウとの中心
を一致させた分離度ウィンドウ１５０ｊを得る。そし
て、この分離度ウィンドウ１５０ｊのウィンドウサイズ
を若干大きくして、分離度ウィンドウ１５０ｋを得る。

【０１８７】したがって、Ｓ１５において、Ｓ１４で選
択された分離度ウィンドウの内側ウィンドウと外側ウィ
ンドウとの中心が一致していれば、すなわち、図２３
（ａ）に示す初期ウィンドウ１５０ａのように内側ウィ
ンドウと外側ウィンドウとの中心が一致していれば、Ｓ
１７に移行してそのままウィンドウサイズを若干大きく
する。

【０１８８】上記のようにして、中心を一致させた新ウ
ィンドウを基にし、中心を固定して内側および外側ウィ
ンドウのサイズを一定のルールに従って拡大したもの、
すなわち、図２３（ｂ）に示す分離度ウィンドウ１５０
ｋを次のステップの元分離度ウィンドウとする。

【０１８９】続いて、ウィンドウが十分な大きさになっ
たか否かを判断する（Ｓ１８）。

【０１９０】つまり、分離度ウィンドウ１５０ｋにおい
て、内側ウィンドウと外側ウィンドウとの間の分離度を
求める一方、該ウィンドウが十分な大きさになったと判
断されれば、上記ウィンドウの拡大を停止する。

【０１９１】一方、ウィンドウが十分な大きさになって
いないと判断されれば、Ｓ１２に移行し、分離度ウィン
ドウ１５０ｋを元分離度ウィンドウとして、内側ウィン
ドウを固定して外側ウィンドウをずらした複数の分離度
ウィンドウを設定する。ここで、十分な大きさとは、例
えば２つのウィンドウのうち内側のウィンドウの領域の
境界線が画面をはみ出すようになったときの大きさとす
る。この画面とは、操作者が最初に取得した取得画像の
画面である。このように、ウィンドウを設定することに
より、このウィンドウによって特定物体の抽出を含む画
像（抽出対象画像）の抽出を行うことができる。

【０１９２】上述のような処理を分離度計測プロセス１
とする。

【０１９３】続いて、適当な大きさの分離度ウィンドウ
を用いて、抽出対象画像の境界（以下、物体境界と称す
る）を得るには、以下に示す２通りの方法がある。

【０１９４】方法Ａ上記分離度計測プロセス１で得られた分離度の系列は、
例えば図２４に示すようなグラフで表せる。すなわち、
図２４に示すグラフから、あるしきい値Ｓ１を超えた時
のウィンドウサイズＷ１の分離度ウィンドウの外側ウィ
ンドウを物体境界とすることができる。後は、この取得
画像中に存在し、かつ図１９に示す画像処理装置の座標
指定装置２１によって指定された点をその中に含むよう
な特定物体領域をさらにその中に含むなような抽出対象
画像を抽出できるような画像処理装置を実現できる。

【０１９５】方法Ｂ上記分離度計測プロセス１にて、各ステップでの最小分
離度ウィンドウが記憶されている。この記憶された最小
分離度ウィンドウを利用して、抽出対象画像を抽出す
る。すなわち、各分離度ウィンドウの外側ウィンドウ
を、新しい分離度ウィンドウの内側ウィンドウとして、
中心を固定したままで、その内側ウィンドウを大きくし
たものを外側ウィンドウとすることで、新しい分離度ウ
ィンドウを設定する。

【０１９６】すなわち、分離度計測プロセス１での各ス
テップの外側ウィンドウを内側ウィンドウとする分離度
ウィンドウの系列ができることになる。

【０１９７】そして、この新しい分離度ウィンドウでの
分離度を計算することによって、図２５に示すように、
新しい分離度の系列を示すグラフが得られる。この分離
度の系列を示すグラフから、分離度が最大となるステッ
プでの分離度ウィンドウの内側ウィンドウのサイズＷ２
を物体境界とすることができる。後は、この取得画像中
に存在し、かつ図１９に示す画像処理装置の座標指定装
置２１によって指定された点をその中に含むような特定
物体領域をさらにその中に含むなような抽出対象画像を
抽出できるような画像処理装置を実現できる。

【０１９８】ここまでは、取り込んだ画像、すなわち取
得画像について処理を行っているので、画像処理装置に
入力される画像が静止した状態について説明した。これ
を利用して、動画像について追跡処理を行う方法につい
て以下の実施の形態２にて説明する。

【０１９９】〔実施の形態２〕本発明の他の実施の形態
について説明すれば以下の通りである。尚、この処理を
行う装置としては、図２および図１９に示す装置が適用
されるので、装置についての説明は省略する。

【０２００】はじめに、動画追跡処理を説明するまえ
に、物体の検出について、図２９および図３０のフロー
チャートを参照しながら説明する。

【０２０１】図２９は、前述した、分離度ウィンドウを
用いて、物体境界を検出する方法Ａの処理の流れを示す
フローチャートである。また、図３０は、前述した、分
離度ウィンドウを用いて、物体境界を検出する方法Ｂの
処理の流れを示すフローチャートである。

【０２０２】方法Ａによれば、図２９に示すように、ま
ず、分離度計測プロセスが実行される（Ｓ３１）。ここ
での分離度計測プロセスは、図１あるいは図２６で示し
た分離度計測プロセスのいずれかが実行される。

【０２０３】次に、得られた分離度の結果から仮想領域
（ウィンドウ）の内側境界を物体境界とする（Ｓ３
２）。すなわち、分離度ウィンドウの内側ウィンドウを
物体境界としている。

【０２０４】また、方法Ｂによれば、図３０に示すよう
に、まず、分離度計測プロセスが実行される（Ｓ４
１）。ここでの分離度計測プロセスは、図１あるいは図
２６で示した分離度計測プロセスのいずれかが実行され
る。

【０２０５】次に、得られた分離度の結果から仮想領域
（ウィンドウ）の外側境界を物体境界とする（Ｓ４
２）。すなわち、分離度ウィンドウの外側ウィンドウを
物体境界としている。

【０２０６】続いて、動画追跡処理について説明する。
まず、物体境界を検出する（Ｓ２１）。ここでの物体検
出は、上述した方法ＡあるいはＢにて行われる。

【０２０７】検出された物体境界は、図２７（ａ）に示
すように、記憶部１５に記憶された画像系列中の一枚の
画像（注目画像）中において、目的物体１５１に対して
得られる物体境界１５２である。そして、上記画像系列
中の図２７（ａ）で示した画像の次の時刻の画像が示さ
れれば、図２７（ｂ）に示すように、目的物体１５１が
目的物体１５３の位置に移動したことが示され、このと
き、前時刻での物体境界１５２は同じ位置の物体境界１
５４となっている。

【０２０８】図２７（ｂ）に示す物体の物体境界１５４
は、分離度計測プロセスでの内側ウィンドウあるいは外
側ウィンドウの境界である。したがって、この物体境界
１５４をこの画像での元ウィンドウとする。ここで、分
離度計測プロセス後の物体境界の求め方により、物体境
界１５４が内側ウィンドウになるか外側ウィンドウにな
るかが決定される。

【０２０９】そして、Ｓ２１で物体検出され、元ウィン
ドウが設定された後、この元ウィンドウに対し、ウィン
ドウ位置をずらしたものを複数パターン用意する（Ｓ２
２）。すなわち、図２７（ｂ）において、図２７（ａ）
で示した物体の物体境界１５２の中心位置を示す点Ｘを
中心として、上下左右斜め方向に該点Ｘから等距離の位
置に８個の点Ｘ’…を設定し、これら各点Ｘ’を中心と
する８個の境界を想定する。尚、このように目的物体が
移動する方向やパターン数、距離は、入力される画像系
列における物体の移動量や、要求される物体の追跡精度
等によって決まる。

【０２１０】次いで、すべてのウィンドウで分離度を計
算する（Ｓ２３）。

【０２１１】つまり、上記物体境界１５４は、中心位置
が点Ｘであるウィンドウ境界であり、他のウィンドウ中
心である点Ｘ’に対しては、中心のずれ量と同じだけウ
ィンドウ境界もずらしている。このため、最初の中心で
ある点Ｘを含む９個の中心を有し、それに対応した物体
境界１５４を、分離度計測プロセスに使用される分離度
ウィンドウの内側ウィンドウとしている。

【０２１２】したがって、この内側ウィンドウに対応し
た外側ウィンドウを考えることにより、これら９個の分
離度ウィンドウでの分離度をそれぞれ計算する。

【０２１３】そして、分離度がもっとも大きいウィンド
ウを移動先ウィンドウとして記憶する（Ｓ２４）。

【０２１４】つまり、図２７（ｂ）に示すように、中心
となる点Ｘの右斜め下の点Ｘ’１を中心とするウィンド
ウ境界を分離度ウィンドウの分離度が最も小さいと判断
された場合、図２７（ｃ）に示すように、点Ｘ’１と、
この点Ｘ’１を中心とする物体境界１５５とが、移動先
ウィンドウとして選択された中心およびウィンドウの内
側境界となる。

【０２１５】続いて、追跡しようとする物体の見かけ上
の大きさが変化しているか否かを判定する（Ｓ２５）。
ここで、物体の見かけ上の大きさが変化しない場合に
は、Ｓ２９に移行して、ユーザの終了指示があったか否
かを判定する。そして、ユーザの終了指示があれば、動
画追跡処理を終了する。

【０２１６】一方、Ｓ２９で、ユーザによる終了指示が
なければ、記憶したウィンドウを次時刻画像の元ウィン
ドウとし、Ｓ２２に移行する（Ｓ３０）。

【０２１７】これにより、目的物体の見かけ上の大きさ
が変化しない場合には、Ｓ２４で記憶したウィンドウを
次時刻の元ウィンドウとして処理を繰り返すようにな
り、結果として、目的物体の追跡を行うこととなる。こ
れにより、取得画像中の目的物体の見かけ上の大きさが
変化しないとき、すなわち、目的物体の移動がカメラと
平行である場合の物体の移動の追跡ができたことにな
る。

【０２１８】一方、Ｓ２５において、目的物体の見かけ
上の大きさが変化していると判定さた場合、すなわち、
カメラに対して奥行き方向にも目的物体が移動する場
合、上記のカメラに対する平行移動の追跡に加え、奥行
き方向の移動も追跡する必要がある。

【０２１９】そこで、図２７（ｄ）において、目的物体
１５３の平行移動が追跡された際のウィンドウ境界およ
びその中心点が、物体境界１５５と点Ｘ’１となってい
る。この物体境界１５５と点Ｘ’１とをこの画像におけ
る元ウィンドウとする。

【０２２０】したがって、移動先ウィンドウの中心を固
定し、大きさを変えたウィンドウを複数パターン用意す
る（Ｓ２６）。ここで、ウィンドウの中心となる点Ｘ’
１を固定し、ウィンドウの大きさを一定量小さくしたも
のと大きくしたものとを設定する。

【０２２１】図２７（ｄ）では、元ウィンドウよりも小
さくした縮小ウィンドウ１５６と、元ウィンドウよりも
大きくした拡大ウィンドウ１５７との２種類設定してい
る。尚、この縮小ウィンドウ１５６の数と拡大ウィンド
ウ１５７の数はこれに限定するものではない。

【０２２２】そして、これらの各ウィンドウを内側ウィ
ンドウとして、これに対応する外側ウィンドウをそれぞ
れ設定して分離度計測プロセスで使用する分離度ウィン
ドウとする。この分離度ウィンドウの個数や大きさの変
化量は、入力される画像系列における物体の移動量や、
要求される物体の追跡精度等によって決まる。

【０２２３】続いて、すべてのウィンドウで分離度を計
算する（Ｓ２７）。すなわち、元ウィンドウを含めて、
上記のように設定した分離度ウィンドウにおける分離度
を計算する。

【０２２４】そして、分離度がもっとも大きいウィンド
ウを移動先ウィンドウとして記憶する（Ｓ２８）。図２
７（ｄ）においては、縮小ウィンドウ１５６の物体境界
が移動先ウィンドウとして選択されたウィンドウの内側
境界となる。

【０２２５】次に、ユーザによる終了指示があったか否
かが判定される（Ｓ２９）。ここで、ユーザにより終了
が指示されれば、動画追跡の処理を終了する。また、ユ
ーザが終了指示していなければ、Ｓ３０に移行し、Ｓ２
８で記憶したウィンドウを次時刻画像の元ウィンドウと
する。そして、再びＳ２２に移行して、処理を繰り返
す。これらの処理を繰り返すことで目的物体の奥行き方
向の追跡を行うことができる。

【０２２６】したがって、例えばビデオカメラ等に上述
した動画像を追跡する機能を追加することにより、様々
な分野において利用が考えられる。

【０２２７】例えば、動画像を追跡する機能をビデオカ
メラに持たせることにより、被写体を常にフレームの中
心にくるように制御することが考えられる。

【０２２８】また、被写体を部屋内の人物とした場合
に、この人物の動きに合わせてエアコンの出力を微妙に
調整することが考えられる。

【０２２９】さらに、被写体の追跡機能を有するビデオ
カメラを自動車に取り付けて、他の車や障害物を追跡し
て自動運転等に応用することも考えられる。

【０２３０】以上の実施の形態１および２では、抽出対
象となる物体、すなわち目的物体について主に抽出方法
を具体的に説明しているが、以下の実施の形態３では、
目的物体の具体例として人間の顔を用いた場合について
説明する。

【０２３１】〔実施の形態３〕本発明のさらに他の実施
の形態について以下に説明する。

【０２３２】尚、本実施の形態では、画像処理装置の構
成および特定物体の抽出方法については、前記実施の形
態１および２と同じとし、その説明は省略する。したが
って、以下の説明は、静止画像および動画像のいずれで
も適用可能であり、前記実施の形態１および２で説明し
た特定物体の抽出方法についていずれの方法でも適用可
能である。

【０２３３】すなわち、前記実施の形態１および２で説
明した画像処理装置において、分離度を計算する時の画
素値、および特定物体を構成する画素値を、取得画像で
ある入力デジタル画像を構成する画措置のＲＧＢ値から
計算される彩度値、あるいは色相値とすることで、人間
の顔を抽出するのに適した構成にすることができる。

【０２３４】具体的に示すと、図２あるいは図１９に示
す画像処理装置の画像抽出手段である画像抽出処理装置
１２は、抽出された人間の顔領域内部の画像情報を取得
する手段と、上記画像情報より、顔の幅、左右の対称
軸、目、鼻、口の垂直位置からなる数値情報を検出する
手段とを含み、上記数値情報に基づいて、上記顔領域に
含まれる顔部分が一定の大きさおよび位置になるよう
に、取得画像の一部を抽出することになる。

【０２３５】ここで、特定物体領域を人間の顔領域とし
た場合の該特定物体領域の抽出処理の詳細について以下
に説明する。尚、以下の説明で処理される手順は、顔パ
ラメータ検出処理用プログラム１５ｂに基づいて演算部
１６内で行われるものとする。

【０２３６】本処理を始める前に、予め以下の手順で人
問の顔の肌の色分布を解析しておく。すなわち、１．人間が手作業により、人物顔が写っている画像（図
３１（ａ））より顔の肌部分のみを抽出した画像（図３
１（ｂ））を作成する。

【０２３７】２．同様の画像を別の人物についても作成
し、複数人数分の画像を作成する。

【０２３８】３．それら肌部分画像において、画素の色
分布を、図３２に示す出現頻度のヒストグラムとして表
す。すなわち、図３２（ａ）に示す曲線３２ａは色相の
ヒストグラム、図３２（ｂ）に示す曲線３２ｃは彩度の
ヒストグラム、図３２（ｃ）に示す曲線３２ｅは明度の
ヒストグラムを示している。

【０２３９】４．各ヒストグラムにて、分布の平均と分
散を求め、分布に最もよくフィットするような正規確率
密度関数を求める。色相、彩度、明度の各正規確率密度
関数は、それぞれ図３２（ａ）では曲線３２ｂ、図３２
（ｂ）では曲線３２ｄ、図３２（ｃ）では曲線３２ｆで
示される。

【０２４０】かくして、顔の肌の色分布は、色相、彩
度、明度それぞれについて、その平均値と分散（それぞ
れ、μhue 、σhue ²、μsat 、σsat ²、μval 、σ
val ²）の２つの引数で表される正規確率密度関数（Ｐh
ue(hue)、Ｐsat(sat)、Ｐval(val)) で表すことができ
る。この関数を、肌領域確率密度関数と呼ぶ。各関数は
以下の式（４）〜（６）で表される。

【０２４１】Ｐhue(hue)〜Ｎ( μhue,σhue²）・・・（４）Ｐsat(sat)〜Ｎ（μsat,σsat²）・・・（５）Ｐval(val)〜Ｎ（μval,σval²）・・・（６）なお、平均と分散を求めて正規分布にあてはめる際、平
均から大きくずれるような値（例えば、図３２（ａ）の
色相の分布ヒストグラム（曲線３２ａ）において、２０
位を中心に±３０程度にほとんどの画素の色相が分布す
るような場合に、１００や−１５０といった値）は、例
え数が少なくとも、分散を大きく見積もってしまうこと
になるため、それらの色相値を持つ画素は異常値として
除去したのち、平均と分散を計算したほうが、より正し
い分布にあてはめられる正規分布曲線（確率密度関数）
を得ることができる。

【０２４２】さて、顔肌領域画像の生成の処理の流れに
ついて、図３３に示すフローチャートおよび図３４を参
照しながら以下に説明する。

【０２４３】まず、ユーザによる位置あるいは領域の指
定が行われる（Ｓ５１）。すなわち、ユーザ入力に基づ
き最初の処理領域を設定する。例えば図１６に示す目的
物体１３５を人物顔とした場合、図３４（ａ）に示すよ
うに、元画像より切り取られた画像３４ａの中央付近に
サンプリング用の矩形、すなわち設定領域矩形３４ｂを
設定する。そして、この設定領域矩形３４ｂ内の画素値
を調べて、後段の確率密度関数を導出する。

【０２４４】続いて、設定領域矩形３４ｂ内にて、色
相、彩度、明度のいずれかが、一定の確率以下の画素、
あるいは色相値、彩度値、明度値が特定の範囲外にある
画素を除く（Ｓ５２）。すなわち、設定領域内にて、前
節で求めた色相、彩度、明度をそれぞれ引数とする３つ
の正規確率密度関数に、各画素の色相値、彩度値、明度
値を代入して確率を求め、各確率が特定の比率以上にな
るような画素を最初の顔肌候補画素とする。この時、設
定する確率は、例えば５％のように、なるべく広い範囲
をとるように小さめに設定すべきである。このようにし
て、ユーザ指定によって設定された領域のなかで、多少
なりとも肌である可能性のある画素を最初の肌候補画素
とする。

【０２４５】そして、残った画素の色相、彩度、明度の
平均および分散を求める（Ｓ５３）。ここで、肌候補画
素の選択を、確率を基準にして行うことを述べたが、撮
像系の特性などにより、適宜、この確率での画素値（色
相、彩度、明度）に近い値で適当にしきい値を調整する
ことも有効である。

【０２４６】新しく計算された色相、彩度、明度の平
均、分散をそれぞれ、μhue ’、σhue ’²、μsat
’、σsat ’²、μval ’、σval ’²とすると、色
相、彩度、明度を引数とした新しい確率密度関数 (Ｐhu
e(hue)、Ｐsat ’(sat) 、Ｐval ’(val))はそれぞれ、
以下の式（７）〜（９）で表される。

【０２４７】Ｐhue ’(hue) 〜Ｎ( μhue ’, σhue ’²）・・・（７）Ｐsat ’(sat) 〜Ｎ( μsat ’, σsat ’²）・・・（８）Ｐval ’(val) 〜Ｎ( μval ’, σval ’²）・・・（９）上記の式（７）〜（９）で示された確率密度関数を用い
て顔肌を構成する画素を選択する。

【０２４８】すなわち、Ｓ５３で求めた色相の平均と分
散にもとづく正規確率密度関数を用い、画像全体に含ま
れるすべての画素から、一定の確率以下の画素、あるい
は色相値が特定の範囲外にある画素を除く（Ｓ５４）。

【０２４９】具体的には、画像に含まれるすべての画素
を初期値とし、そのなかで、色相値を引数として得られ
た顔肌確率（Ｐhue ’(hue) ）が一定値以下の画素を除
去する。

【０２５０】次いで、Ｓ５４の処理で残った画素のう
ち、Ｓ５３で求めた彩度の平均と分散にもとづく正規確
率密度関数を用い、一定の確率以下の画素、あるいは彩
度値が特定の範囲外にある画素を除く（Ｓ５５）。

【０２５１】具体的には、彩度値を引数として得られた
顔肌確率（Ｐhue ’(sat) ）が一定値以下の画素を除去
する。

【０２５２】次いで、Ｓ５５の処理で残った画素のう
ち、Ｓ５３で求めた明度の平均と分散にもとづく正規確
率密度関数を用い、一定の確率以下の画素、あるいは明
度値が特定の範囲外にある画素を除く（Ｓ５６）。

【０２５３】具体的には、明度値を引数として得られた
顔肌確率（Ｐhue ’(val) ）が一定値以下の画素を除去
する。

【０２５４】最後に、上記の各処理において残った画素
の集合を顔肌領域画像とする（Ｓ５７）。すなわち、図
３４（ｂ）に示すような顔肌領域画像３４ｃが得られ
る。得られた顔肌領域画像３４ｃは、さらに、後述の顔
マスクの生成処理によって、図３４（ｃ）に示すような
顔マスク３４ｄとなる。

【０２５５】ここで、しきい値として設定される確率の
下限は、最初の顔肌候補画素を求めた時より高く設定す
る。例えば、前者が５％なら、後者は３０％というよう
にする。これにより、最初の顔肌候補画素を求めた時に
ノイズとして誤抽出されていたような画素も、後段で行
われた手法では誤抽出されないといった特徴があること
になる。

【０２５６】ここで、顔肌画素の選択を、確率を基準に
して行うことを述べたが、撮像系の特性などにより、適
宜、この確率での画素値（色相、彩度、明度）に近い値
で適当にしきい値を調整することも有効である。

【０２５７】例えば、図３５（ａ）（ｂ）は明度と頻度
の関係を表す図である。すなわち、図３５（ａ）に示す
画像の明度に関して言及すると、顔肌と髪の毛では明ら
かに明度が異なり、図３５（ｂ）に示すヒストグラムを
とると明度値の小さいほうに髪の毛を表す山３５ａおよ
び、明度の比較的高いほうに顔肌領域を表す山３５ｂが
現れることになる。

【０２５８】図３５（ａ）に示した画像に対して、単純
に確率をしきい値として画素を選択してしまうと、図３
５（ｂ）の３５ｃのような位置にしきい値が設定されて
しまい、髪の毛の一部も顔肌画素として抽出されてしま
う可能性がある。そこで、このような場合には、適当な
明度値以下で大津の判別分析のようなアルゴリズム（谷
内田、“ロボットビジョン”、昭晃堂、ISBN4-7856-307
4-4 C3355 、1990．に紹介）を適用し、明度のしきい値
を３５ｄのように、より適当な値に設定することが可能
となる。

【０２５９】以上のような方法で、適応的に顔肌関数を
更新することにより、図３６（ａ）に示すような処理対
象画像の場合、図３６（ｃ）に示すような顔肌領域画像
を得ることができる。これは、従来のような固定関数で
抽出する手法で得られる顔肌領域画像（図３６（ｂ））
に比べ、ノイズによる誤抽出が少なくなるという利点が
ある。

【０２６０】続いて、顔の幅、左右の対称軸、目、鼻、
口の垂直位置からなる数値情報を得るのに用いられる顔
マスクの生成処理について、図３７のフローチャートお
よび図３８を参照しながら以下に説明する。尚、ここで
は、取得画像としてカラー画像を用いて説明するので、
以下の説明において取得画像を入力カラー画像とする。

【０２６１】まず、顔肌領域画像の生成を行う（Ｓ６
１）。この顔肌領域画像は、例えば図３４（ｂ）に示す
ように、図３３に示す処理（Ｓ５１〜Ｓ５７）によって
生成される。

【０２６２】次いで、生成された顔肌領域画像に対して
最大面積領域を選択する（Ｓ６２）。例えばＳ６１によ
って得られた顔肌領域画像に対し、図３８（ａ）に示す
ような入力カラー画像に対して図３８（ｃ）に示すよう
に、まず、連結画素を結合していくことによりラベル画
像を作成し、もっとも大きな面積をもつラベル領域のみ
を残し、図３８（ｄ）に示すような２値画像とする。

【０２６３】続いて、穴埋め処理を行う（Ｓ６３）。こ
こで、残った領域について、白色画素で囲まれた黒色画
素（穴）を白色画素に置き換えることにより、図３８
（ｅ）に示すように、穴を塞いだ画像とする。

【０２６４】そして、１回収縮処理を施す（Ｓ６４）。
つまり、Ｓ６３で得られた画像に対し、収縮処理を１回
施す。

【０２６５】次いで、最大面積領域を選択する（Ｓ６
５）。つまり、収縮処理を施した画像に対して、この時
点で再びラベル画像を作成し、最大面積領域のみを残
す。

【０２６６】続いて、ｎ回膨張処理を施す（Ｓ６６）。
その後、ｎ回収縮処理を施す（Ｓ６７）。続いて、最大
面積領域を選択し（Ｓ６８）、これによって、図３８
（ｆ）に示すような顔マスクが得られる。

【０２６７】したがって、上記の顔マスクの生成処理に
よって、上述したように、図３４（ｂ）に示す顔肌領域
画像３４ｃから、図３４（ｃ）に示す顔マスク３４ｄが
得られる。

【０２６８】ここでｎは、３〜４などの、画像サイズや
特性などにより適当な値を選択すべきである。なお、膨
張処理、収縮処理は（谷内田、“ロボットビジョン”、
昭晃堂、ISBN4-7856-3074-4 C3355 、1990．に紹介）な
どに紹介されている。

【０２６９】上記の顔マスク生成処理において得られた
顔マスク（図３８（ｆ））は、以下に示す顔の中心軸を
検出するための処理等における処理範囲を限定するのに
用いる。

【０２７０】ここで、顔の中心軸を検出するための処理
の流れについて、図３９のフローチャートおよび図３８
を参照しながら以下に説明する。

【０２７１】まず、顔マスクを生成する（Ｓ７１）。こ
こでは、図３７に示す処理の流れによって顔マスクを生
成するものとする。

【０２７２】Ｓ７１における顔マスクの生成と並行し
て、入力カラー画像を濃淡画像に変換する（Ｓ７２）。
例えば図３８（ａ）に示す入力カラー画像より輝度成分
のみを取り出し、図３８（ｂ）に示すような濃淡画像を
得る。

【０２７３】次に、顔マスク内のみ濃淡画像を垂直方向
に微分する（Ｓ７３）。すなわち、図３８（ｂ）に示す
濃淡画像に対し、図３８（ｆ）に示す顔マスクの白画素
に対応する画素における垂直方向の微分値を画素値とす
る微分画像を得る。この微分画像は、例えば図３８
（ｇ）のようになる。

【０２７４】なお、この微分画像において、顔マスクの
黒画素に対応する画素の画素値は０とする。ここで、微
分画像を得るためには、Ｐｒｅｗｉｔｔのオペレータな
どによる方法が一般的である（谷内田、“ロボットビジ
ョン”、昭晃堂、ISBN4-7856-3074-4 C3355 、199
0．）。

【０２７５】続いて、得られた微分画像を垂直方向に投
影して、ヒストグラムを得る（Ｓ７４）。このようにし
て得られたヒストグラムは、図３８（ｈ）のようにな
る。

【０２７６】次いで、上記ヒストグラムの折り返し誤差
が最小になる位置を検出する（Ｓ７５）。ここで、ヒス
トグラムの垂直方向の軸は、該当する水平位置での微分
画像における画素値の合計が示される。そして、図４０
（ａ）に示すように、ヒストグラムを左右に分割するよ
うな垂直の軸を考え、この軸に添ってヒストグラムを折
り曲げて重ねた時、図４０（ｂ）に示すように、対応す
る縦軸の値の差の２乗和が最小となるような軸の位置を
探し、これをもって顔の中心軸（図４０（ｃ））を表す
ものとする。

【０２７７】次に、鼻の垂直位置の検出処理の流れにつ
いて、図４１のフローチャートおよび図４２を参照しな
がら以下に説明する。

【０２７８】まず、顔マスクの生成を行う（Ｓ８１）と
共に、入力カラー画像を濃淡画像に変換する（Ｓ８
２）。ここで、顔マスクおよび濃淡画像は、図４２
（ａ）に示す入力カラー画像から生成および変換される
ものであり、図４２（ｃ）に示すように、顔マスクが生
成され、図４２（ｂ）に示すような濃淡画像に変換され
る。

【０２７９】次いで、顔マスク内のみ濃淡画像を水平方
向に投影する（Ｓ８３）。すなわち、顔マスク内のみ濃
淡画像を水平方向に探索し、図４２（ｄ）に示すような
輝度値の平均値を投影したヒストグラムを生成する。

【０２８０】続いて、低解像度のヒストグラムを生成す
る（Ｓ８４）。つまり、図４２（ｅ）に示すような生成
されたヒストグラムの解像度を低下させたヒストグラム
を生成する。

【０２８１】次に、低解像度のヒストグラムにて中央付
近のピーク位置を探す（Ｓ８５）。例えば図４２（ｅ）
において、ヒストグラムのピーク位置４２ａが探索され
る。

【０２８２】そして、ピークが存在するか否かを判定す
る（Ｓ８６）。ここで、ピークが存在しない場合、ヒス
トグラムの中央を鼻の垂直位置とする（Ｓ８８）。

【０２８３】一方、Ｓ８６においてピークが存在してい
ると判定されれば、Ｓ８５で検出された、ピーク位置に
対応する元解像度のヒストグラム位置の近辺を探索し、
そのピーク位置を鼻の垂直位置とする（Ｓ８７）。

【０２８４】このように、ピークが見つかった場合、低
解像度ヒストグラムで検出されたピーク位置に対応する
元解像度ヒストグラムの位置の近傍を探索し、ピークを
探す。すなわち、図４２（ｆ）において、ヒストグラム
のピーク位置４２ｂが探索される。このピーク位置４２
ｂをもって、図４２（ｇ）に示すように、鼻の垂直位置
４２ｃとする。

【０２８５】次に、目の垂直位置を検出処理の流れにつ
いて、図４３のフローチャートおよび図４４を参照しな
がら以下に説明する。

【０２８６】まず、水平方向のヒストグラム生成を行う
（Ｓ９１）。この水平方向のヒストグラム生成は、前述
の図４１に示すフローチャートで示した方法と同じ方法
で行われる。生成された水平方向のヒストグラムは、図
４４（ａ）に示すようになる。

【０２８７】次いで、ヒストグラムの鼻の垂直位置より
上を探索し、深いほうから２つの谷を見つける（Ｓ９
２）。

【０２８８】そして、谷が２つ見つかったか否かを判定
する（Ｓ９３）。ここで、谷が２つ見つかれば、２つの
谷のうち下の方を目の垂直位置として選択する（Ｓ９
４）。すなわち、生成された水平方向のヒストグラムに
て、図４１に示すフローチャートによって検出された鼻
の垂直位置、図４４（ａ）に示す位置４４ａより上方位
置の範囲４４ｂを探索し、図４４（ｂ）に示すように、
深いほうから谷を２つ検出する（谷４４ｃ，谷４４
ｄ）。谷が２つ見つかった場合、この２つの谷のうち、
下方の谷４４ｃを目の垂直位置とする。

【０２８９】一方、Ｓ９３で谷が２つでないと判定され
れば、さらに谷が１つだけ見つかったか否かを判定する
（Ｓ９５）。ここで、谷が１つだけみつかれば、見つか
った谷を目の垂直位置とする（Ｓ９６）。すなわち、谷
が１つだけ見つかった場合は、その谷を目の垂直位置と
する。

【０２９０】また、Ｓ９５において、谷が１つもみつか
らなかった場合、鼻の垂直位置からヒストグラムの上端
の中央を目の垂直位置とする（Ｓ９７）。すなわち、谷
が１つも見つからない場合は、鼻の垂直位置とヒストグ
ラムの上端との中央を目の垂直位置とする。つまり、図
４４（ｃ）における目の垂直位置４４ｅとなる。

【０２９１】続いて、口の垂直位置の検出処理の流れに
ついて、図４５のフローチャートおよび図４６を参照し
ながら以下に説明する。

【０２９２】まず、水平方向のヒストグラム生成を行う
（Ｓ１０１）。この水平方向のヒストグラム生成は、前
述の図４１に示すフローチャートで示した方法と同じ方
法で行われる。生成された水平方向のヒストグラムは、
図４６（ａ）に示すようになる。

【０２９３】次いで、ヒストグラムの垂直位置より下方
を探索し、深いほうから３つの谷を見つける（Ｓ１０
２）。

【０２９４】そして、谷が３つ見つかったか否かを判定
する（Ｓ１０３）。ここで、谷が３つ見つかった場合、
真ん中の谷位置を口の垂直位置とする（Ｓ１０４）。

【０２９５】すなわち、図４６（ａ）に示すヒストグラ
ムにて、すでに検出されている鼻の垂直位置４６ａより
下方の範囲４６ｂを探索し、図４６（ｂ）に示すよう
に、深いほうから谷位置４６ｃ〜４６ｅの３つを検出す
る。谷が３つ見つかった場合、真ん中の谷位置４６ｄ
を、口の垂直位置とする。図４６（ｃ）における口の垂
直位置４６ｆとなる。

【０２９６】一方、Ｓ１０３で谷が３つ見つからなけれ
ば、谷が２つみつかったか否かを判定する（Ｓ１０
５）。ここで、谷が２つみつかった場合、２つの谷位置
での顔マスクの幅の比が特定の値を超えたか否かを判定
する（Ｓ１０６）。

【０２９７】Ｓ１０６において、顔マスクの幅の比が特
定の値を超えていなければ、２つの谷のうち、下方の谷
位置を口の垂直位置とする（Ｓ１０８）。

【０２９８】また、Ｓ１０６において、顔マスクの幅の
比が特定の値を超えていれば、２つの谷のうち上方の谷
位置を口の垂直位置とする（Ｓ１０７）。

【０２９９】すなわち、谷が２つしか見つからない場合
は、まず、図４６（ｄ）に示すように、２つの谷位置に
おける顔マスクの幅４６ｇ，４６ｈを検出する。上の谷
位置での顔マスクの幅４６ｇに対する、下の谷位置での
顔マスクの幅４６ｈの比を求め、その値が一定の値（例
えば、０．７など）を超えた場合、２つの谷のうち上方
の谷位置を口の垂直位置とする。そうでない場合は、下
方の谷位置を口の垂直位置とする。

【０３００】一方、Ｓ１０５において、谷が２つ見つか
らない場合、谷が１つ見つかったか否かが判定される
（Ｓ１０９）。ここで、谷が１つ見つかった場合、見つ
かった谷を口の垂直位置とする（Ｓ１１０）。また、谷
が１つも見つからない場合、鼻の垂直位置からヒストグ
ラムの下端の中央を口の垂直位置とする（Ｓ１１１）。

【０３０１】以上のようにして、図４７に示すように、
顔マスク４７ａ、目の垂直位置４７ｂ、口の垂直位置４
７ｃが得られる。このように、目の垂直位置から口の垂
直位置まで順に、水平に画素を探索して顔マスク４７ａ
の幅を求める。当該区間における顔マスク４７ａの幅の
中央値をもって、顔の幅４７ｄとする。

【０３０２】続いて、上述のように、顔マスク、顔の中
心軸、目・口の垂直位置より目〜口の高さ、顔の幅が検
出された後、これらの情報を用い、顔のサイズ、水平位
置、垂直位置がバランスよく収まるように顔が含まれる
ように、原画像から画像の一部を矩形状に切り出す処理
の流れについて、図４８のフローチャートを参照しなが
ら以下に説明するまず、横幅の計測に失敗していないか
否かを判定する（Ｓ１２１）。すなわち、はじめに顔の
横幅が信用できるかどうかの判定を行なう。上述したよ
うに、目の垂直位置から口の垂直位置まで順に、水平に
画素を探索することによって顔の横幅を検出している。
そして、前述したように、顔の中心軸も得られており、
当該中心軸より左側を左顔幅、右側を右顔幅とする。

【０３０３】したがって、顔の横幅の計測の失敗の有無
は、左顔幅、右顔幅が０ではないことを確認することに
よって判定することができる。

【０３０４】そして、Ｓ１２１にて顔幅の計測が失敗で
ないと判定されれば、左右の比率があまりにも大き過ぎ
ないか否かを判定する（Ｓ１２２）。すなわち、左顔幅
と右顔幅の比率を計算し、この比率が予め設定したしき
い値の範囲内に入っているか否かを確認する。

【０３０５】Ｓ１２２にて左右の比率が大き過ぎない場
合、すなわち、左右の顔幅の比率が予め設定されたしき
い値の範囲内に入っている場合、目〜口高さとユーザ指
定の比が大き過ぎないか否かを判定する（Ｓ１２３）。

【０３０６】つまり、Ｓ１２３では、顔の横幅が信用で
きるとした場合に、次に検出した目〜口の高さが信用で
きるか否かの判定を行なう。この判定方法として、例え
ば検出した目〜口高さと入力画像から抽出された抽出画
像の高さとの比率を計算し、この比率が予め設定したし
きい値の範囲内に入っていることを確認する。

【０３０７】そして、Ｓ１２３にて顔の横幅が信用でき
ると判定された場合、目〜口高さおよび顔幅の重み付き
平均から切り出し矩形を決定する（Ｓ１２４）。すなわ
ち、顔の横幅及び目〜口の高さの両方が信用できる場合
には、両方の値から切り出し矩形を決定する。具体的に
は、まず検出した顔の中心軸及び検出した鼻の垂直位置
を基準点とする。次に顔の横幅及び目〜口の高さに予め
設定した倍率を掛けて重み付き相加平均を計算する。基
準点から上下左右それぞれの方向に対し予め設定した倍
率を先ほど計算した平均に掛けた長さを取り、それによ
り得られる矩形を切り出し矩形とする。

【０３０８】一方、Ｓ１２３にて目〜口の高さが信用で
きないと判定された場合、横幅のみから切り出し矩形を
決定する（Ｓ１２５）。すなわち、目〜口高さの比率が
しきい値の範囲外であった場合には検出した目及び口の
垂直位置（及び目〜口の高さ）は信用できないとし、顔
の横幅から切り出し矩形を決定する。具体的には、検出
した顔の中心軸及びユーザ指定により得られる矩形の縦
方向の中心を基準点とし、上下左右それぞれの方向に対
し予め設定した倍率を顔の横幅に掛けた長さを取り、そ
れにより得られる矩形を切り出し矩形とする。

【０３０９】また、Ｓ１２１で横幅の計測に失敗した場
合、あるいはＳ１２２で左右の比率がしきい値の範囲外
であった場合には、推定した顔の横幅は信用できないと
し、検出した目〜口の高さより切り出し矩形を決定する
（Ｓ１２６）。具体的には、検出した顔の中心線及び検
出した鼻の位置を基準点とし、上下左右それぞれの方向
に対し予め設定した倍率を目〜口の高さに掛けた長さを
取り、それにより得られる矩形を切り出し矩形とする。

【０３１０】最後に、Ｓ１２４〜Ｓ１２６にて求められ
た切り出し矩形と設定領域矩形の比率が大き過ぎないか
否かを判定する（Ｓ１２７）。すなわち、切り出し矩形
のサイズと設定領域矩形から求められる矩形サイズの比
率を計算し、この比率が予め設定したしきい値の範囲内
に入っているか否かを判定する。ここで、設定領域矩形
とは、前記実施の形態１の画像処理装置にて目的物体１
３５に対して得られる物体領域１３６に相当するもので
ある。

【０３１１】Ｓ１２７にて、比率がしきい値の範囲内に
入っている場合には、処理を終了する。

【０３１２】一方、Ｓ１２７にて、比率がしきい値の範
囲内に入っていなかった場合には、切り出し矩形は適当
でないとし、設定領域矩形から切り出し矩形を決定する
（Ｓ１２８）。具体的には、設定領域矩形の中心を基準
点とし、この基準点から上下左右それぞれの方向に対し
予め設定した倍率を当該矩形の縦の長さに掛けた長さを
取り、それにより得られる矩形を切り出し矩形とする。

【０３１３】以上のように特定物体領域を人間の顔領域
とした場合、人物の写った写真等の画像から、所望する
人間の画像をバランス良く抽出することができる。この
とき、人間の顔領域から得られる画像情報に基づいて該
顔領域を抽出することにより、正確、かつ迅速に顔領域
を抽出することができる。

【０３１４】

【発明の効果】請求項１の発明の画像処理装置は、以上
のように、外部から取得した画像から抽出対象となる特
定物体領域を含む部分画像を抽出する画像処理装置にお
いて、互いに排他である２つの仮想領域を取得画像中に
設定し、これら仮想領域間の分離度に基づいて上記部分
画像を抽出する画像抽出処理手段を有している構成であ
る。

【０３１５】それゆえ、設定された２つの仮想領域間の
分離度に基づいて、取得画像から特定物体領域を含む部
分画像を抽出するようになっているので、抽出しようと
する特定物体領域とその他の画像領域とを明確に区別す
ることができる。すなわち、２つの仮想領域間の分離度
を求めることで、該仮想領域内に特定物体領域が含まれ
た状態を検出することができる。

【０３１６】これにより、仮想領域内に特定物体領域が
含まれたことを検出した場合に、この仮想領域を含むよ
うな画像を、部分画像とすれば、必然的に特定物体領域
は部分画像中でバランス良く配置された状態となる。

【０３１７】したがって、上記画像抽出処理手段を用い
れば、特定物体領域を抽出する部分画像中にバランス良
く配置した状態で、確実に、かつ高速に該部分画像を抽
出することができるという効果を奏する。

【０３１８】上記の画像抽出処理手段を実現するために
は、例えば請求項２の発明の画像処理装置が適用され
る。

【０３１９】すなわち、請求項２の発明の画像処理装置
は、以上のように、請求項１の構成に加えて、上記画像
抽出処理手段は、取得された画像中の互いに排他である
２つの仮想領域を設定する領域設定手段と、上記各仮想
領域内の画像情報を取得する画像情報取得手段と、上記
画像情報から上記の２つの仮想領域間の分離度を算出す
る算出手段と、得られた分離度に基づいて取得画像中に
存在する特定物体領域を、その中に含むように画像の一
部を抽出する画像抽出手段とを含む構成である。

【０３２０】さらに、抽出した部分画像から特定物体領
域を抽出するためには、例えば請求項３の発明の画像処
理装置が適用される。

【０３２１】すなわち、請求項３の発明の画像処理装置
は、以上のように、請求項２の構成に加えて、画像抽出
手段は、特定物体領域を含むように抽出した部分画像に
対して、該部分画像の一部にさらに仮想領域を設定し、
この仮想領域内の画像情報を取得し、この画像情報に基
づいて、上記特定物体領域を含み、かつ上記部分画像よ
りも小さい領域を抽出する構成である。

【０３２２】また、上記画像情報は、請求項４の発明の
画像処理装置に記載のように画素の分布情報としても良
い。この場合、請求項４の画像処理装置は、以上のよう
に、請求項３の構成に加えて、取得した画像情報を画素
の分布情報とした場合、この分布情報から確率密度関数
を求め、得られた確率密度関数を上記部分画像に適用す
ることで、上記特定物体領域を含み、かつ上記部分画像
よりも小さい領域を抽出する構成である。

【０３２３】また、請求項５の発明の画像処理装置は、
以上のように、請求項１ないし４のいずれかの構成に加
えて、特定物体領域が人間の顔領域である構成である。

【０３２４】このように、特定物体領域を人間の顔領域
にすれば、人物の写った写真等の画像から、所望する人
間の画像をバランス良く抽出することができる。このと
き、人間の顔領域から得られる画像情報に基づいて該顔
領域を抽出することにより、正確、かつ迅速に顔領域を
抽出することができるという効果を奏する。

【０３２５】また、請求項６の発明の画像処理装置は、
以上のように、請求項５の構成に加えて、画像抽出手段
は、抽出された人間の顔領域内部の画像情報を取得する
手段と、上記画像情報より、顔の幅、左右の対称軸、
目、鼻、口の垂直位置からなる数値情報を検出する手段
とを含み、上記数値情報に基づいて、上記顔領域に含ま
れる顔部分が一定の大きさおよび位置になるように、取
得画像の一部を抽出する構成である。

【０３２６】また、請求項７の発明の画像処理装置は、
以上のように、請求項１の構成に加えて、取得画像中の
任意の１点を指定する点指定手段を有し、画像抽出処理
手段は、上記点指定手段により取得画像中に存在する特
定物体領域の中央の１点が指定された場合、この指定点
を中に含むような第１の仮想領域と、この第１の仮想領
域と排他的な第２の仮想領域とを設定する領域設定手段
と、これら２つの仮想領域に含まれる画像情報に基づい
て、該２つの仮想領域間の分離度を算出する算出手段
と、上記２つの仮想領域の大きさを逐次変更することに
よって得られる分離度の系列から、取得画像中に存在
し、かつ点指定手段によって指定された点をその中央に
含むような特定物体領域を、その中央に含むように画像
の一部を抽出する画像抽出手段とを含む構成である。

【０３２７】それゆえ、請求項１の作用に加えて、特定
物体領域の中央の１点が指定され、この点に基づいて仮
想領域が設定されるので、仮想領域間の分離度の計算が
少なくて済む。この結果、部分画像の抽出にかかる時間
を大幅に短縮させることができるという効果を奏する。

【０３２８】また、請求項８の発明の画像処理装置は、
以上のように、請求項７の構成に加えて、画像抽出手段
は、特定物体領域を含むように抽出した部分画像に対し
て、該部分画像の一部に仮想領域を設定し、この仮想領
域内の画像情報を取得し、この画像情報に基づいて、上
記特定物体領域を含み、かつ上記部分画像よりも小さい
領域を抽出する構成である。

【０３２９】請求項３では、複数の領域候補である部分
画像が抽出され、その中から適当なものを選択する必要
があるが、請求項８の構成によれば、点指定手段によっ
て特定物体領域の一点が指定され、この指定された点に
基づいて部分画像が抽出されるようになるので、部分画
像から確実に特定物体領域を抽出することができるとい
う効果を奏する。

【０３３０】また、上記画像情報は、請求項９の発明の
画像処理装置に記載のように画素の分布情報としても良
い。この場合、請求項９の発明の画像処理装置は、以上
のように、請求項８の構成に加えて、取得した画像情報
を画素の分布情報とした場合、この分布情報から確率密
度関数を求め、得られた確率密度関数を上記部分画像に
適用することで、上記特定物体領域を含み、かつ上記部
分画像よりも小さい領域を抽出する構成である。

【０３３１】さらに、請求項１０の発明の画像処理装置
は、以上のように、請求項７ないし９のいずれかの構成
に加えて、特定物体領域が人間の顔領域である構成であ
る。

【０３３２】このように、特定物体領域を人間の顔領域
にすれば、人物の写った写真等の画像から、所望する人
間の画像をバランス良く抽出することができる。このと
き、人間の顔領域から得られる画像情報に基づいて該顔
領域を抽出することにより、正確、かつ迅速に顔領域を
抽出することができるという効果を奏する。

【０３３３】しかも、点指定手段により特定物体領域の
一点が指定されているので、確実に一つの人間の顔領域
を抽出することができるという効果を奏する。

【０３３４】また、請求項１１の発明の画像処理装置
は、以上のように、請求項１０の構成に加えて、画像抽
出手段は、抽出された人間の顔領域内部の画像情報を取
得する手段と、上記画像情報より、顔の幅、左右の対称
軸、目、鼻、口の垂直位置からなる数値情報を検出する
手段とを含み、上記数値情報に基づいて、上記顔領域に
含まれる顔部分が一定の大きさおよび位置になるよう
に、取得画像の一部を抽出する構成である。

【０３３５】それゆえ、請求項１１の作用に加えて、人
間の顔領域からポートレート画像を抽出する場合、確実
に一つのポートレート画像を抽出することができるとい
う効果を奏する。

【０３３６】請求項１２の発明の画像処理装置は、以上
のように、請求項７の構成に加えて、画像抽出処理手段
は、上記点指定手段により取得画像中に存在する特定物
体領域の中央でない位置に点が指定された場合、設定さ
れる仮想領域の大きさと位置、あるいは仮想領域の大き
さ、位置と形状を逐次更新することによって得られる分
離度の系列から、取得画像中に存在し、かつ点指定手段
によって指定された点をその中に含むような特定物体領
域を、その中に含むように画像の一部を抽出する構成で
ある。

【０３３７】ところで、仮想領域の中心位置と特定物体
領域の中心位置とがほぼ同位置にある場合には、点指定
手段により特定物体領域のほぼ中央に点を指定しても問
題はないが、仮想領域の中心位置と特定物体領域の中心
位置とが大きくずれている場合には、特定物体領域の中
央に点を指定してもうまく仮想領域が設定されないの
で、誤った特定物体領域を抽出してしまう虞がある。

【０３３８】ところが、上記の請求項１２の構成によれ
ば、請求項７の作用に加えて、点指定手段により取得画
像中に存在する特定物体領域の中央でない位置に点を指
定することにより、仮想領域の中心と特定物体領域の中
心位置がずれた場合でも確実に特定物体領域を抽出する
ことができるという効果を奏する。

【０３３９】また、請求項１３の発明の画像処理装置
は、以上のように、請求項１２の構成に加えて、画像抽
出手段は、特定物体領域を含むように抽出した部分画像
に対して、該部分画像の一部に仮想領域を設定し、この
仮想領域内の画像情報を取得し、この画像情報に基づい
て、上記特定物体領域を含み、かつ上記部分画像よりも
小さい領域を抽出する構成である。

【０３４０】また、請求項１４の発明の画像処理装置
は、以上のように、請求項１３の構成に加えて、画像抽
出手段は、上記取得した画像情報を画素の分布情報とし
た場合、この分布情報から確率密度関数を求め、得られ
た確率密度関数を上記部分画像に適用することで、上記
特定物体領域を含み、かつ上記部分画像よりも小さい領
域を抽出する構成である。

【０３４１】さらに、請求項１５の発明の画像処理装置
は、以上のように、請求項１２ないし１４のいずれかの
構成に加えて、特定物体領域が人間の顔領域である構成
である。

【０３４２】このように、特定物体領域を人間の顔領域
にすれば、人物の写った写真等の画像から、所望する人
間の画像をバランス良く抽出することができる。このと
き、人間の顔領域から得られる画像情報に基づいて該顔
領域を抽出することにより、正確、かつ迅速に顔領域を
抽出することができるという効果を奏する。

【０３４３】しかも、点指定手段により特定物体領域の
一点が特定物体領域の中央よりもずれた位置に指定され
るので、特定物体領域の中心と抽出対象となっている部
分画像の中心とが大きくずれていても、誤りなく特定物
体領域である人間の顔領域を抽出することができるとい
う効果を奏する。

【０３４４】また、請求項１６の発明の画像処理装置
は、以上のように、請求項１５の構成に加えて、画像抽
出手段は、抽出された人間の顔領域内部の画像情報を取
得する手段と、上記画像情報より、顔の幅、左右の対称
軸、目、鼻、口の垂直位置からなる数値情報を検出する
手段とを含み、上記数値情報に基づいて、上記顔領域に
含まれる顔部分が一定の大きさおよび位置になるよう
に、取得画像の一部を抽出する構成である。

【０３４５】それゆえ、請求項１５の作用に加えて、人
間の顔領域からポートレート画像を抽出する場合、確実
に一つのポートレート画像を抽出することができるとい
う効果を奏する。

【０３４６】また、請求項１７の発明の画像処理装置
は、以上のように、請求項１の構成に加えて、画像抽出
処理手段は、取得画像を記憶する記憶手段を含み、取得
画像が一連の電子画像系列からなる動画像である場合、
記憶手段に記憶された系列中の特定の一枚の画像を注目
画像として読み出し、この注目画像中に存在する特定物
体領域をその中に含むように、画像の一部を抽出すると
共に、上記注目画像に対して２つの仮想領域からなる１
組のウィンドウを設定し、この１組のウィンドウ内の画
像情報を次の系列の取得画像に対する初期値として仮想
領域の大きさ、位置を様々に変化させて得られる種々の
画像情報から、最も適当な１組のウィンドウを決定する
構成である。

【０３４７】それゆえ、請求項１の作用に加えて、時系
列的に特定物体領域をバランス良く配置した部分画像を
抽出するようになるので、動画像中の特定物体領域を追
跡することが可能となる。

【０３４８】さらに、請求項１８の発明の画像処理装置
は、以上のように、請求項１７の構成に加えて、画像抽
出手段は、特定物体領域を含むように抽出した部分画像
に対して、該部分画像の一部にさらに仮想領域を設定
し、この仮想領域内の画像情報を取得し、この画像情報
に基づいて、上記特定物体領域を含み、かつ上記部分画
像よりも小さい領域を抽出する構成である。

【０３４９】また、請求項１９の発明の画像処理装置
は、以上のように、請求項１７または１８の構成に加え
て、記憶手段に記憶されている一連の電子画像の中の特
定物体領域が人間の顔領域である構成である。

【０３５０】このように、記憶手段に記憶されている一
連の電子画像の中の特定物体領域を人間の顔領域にすれ
ば、人間が写っている動画像から、所望する人間の画像
をバランス良く抽出することができる。このようにすれ
ば、動画像中の特定物体領域である人間を追跡すること
ができるという効果を奏する。

【０３５１】また、請求項２０の発明の画像処理装置
は、以上のように、請求項１７の構成に加えて、取得画
像中の任意の１点を指定する点指定手段が設けられ、上
記画像抽出処理手段は、取得画像を記憶する記憶手段
と、取得画像が一連の電子画像系列からなる動画像であ
り、かつ上記記憶手段に記憶された系列中の特定の一枚
の画像を注目画像として読み出し、この注目画像中に存
在する特定物体領域の中央が上記点指定手段により指定
された場合、この指定点を中に含むような第１の仮想領
域と、この第１の仮想領域と排他的な第２の仮想領域と
を設定する手段と、これら２つの仮想領域に含まれる画
像情報に基づいて、該特定物体領域と２つの仮想領域間
の分離度を算出する手段と、上記２つの仮想領域の大き
さを逐次変更することによって得られる分離度の系列か
ら、取得画像中に存在し、かつ点指定手段によって指定
された点をその中央に含むような特定物体領域を、その
中央に含むように画像の一部を抽出する手段とを有し、
上記の２つの仮想領域の画素値を次の系列の取得画像に
対する初期値として仮想領域の大きさ、位置を様々に変
化させて得られる種々の画像情報から、最も適当な１組
のウィンドウを決定する構成である。

【０３５２】それゆえ、請求項１７の作用に加えて、特
定物体領域の中央の１点が指定され、この点に基づいて
仮想領域が設定されるので、仮想領域間の分離度の計算
が少なくて済む。この結果、部分画像の抽出にかかる時
間を大幅に短縮させることができるという効果を奏す
る。

【０３５３】さらに、請求項２１の発明の画像処理装置
は、以上のように、請求項２０の構成に加えて、画像抽
出手段は、特定物体領域を含むように抽出した部分画像
に対して、該部分画像の一部にさらに仮想領域を設定
し、この仮想領域内の画像情報を取得し、この画像情報
に基づいて、上記特定物体領域を含み、かつ上記部分画
像よりも小さい領域を抽出する構成である。

【０３５４】それゆえ、請求項２０の作用に加えて、特
定物体領域を含むように抽出した部分画像に対して、該
部分画像の一部にさらに仮想領域を設定し、この仮想領
域内の画像情報を取得し、この画像情報に基づいて、上
記特定物体領域を含み、かつ上記部分画像よりも小さい
領域を抽出するようになっているので、部分画像から特
定物体領域を確実に抽出することができ、この結果、特
定物体領域の追跡をさらに正確に行うことができるとい
う効果を奏する。

【０３５５】また、請求項２２の発明の画像処理装置
は、以上のように、請求項２０または２１の構成に加え
て、上記記憶手段に記憶されている一連の電子画像の中
の特定物体領域が人間の顔領域である構成である。

【０３５６】このように、記憶手段に記憶されている一
連の電子画像の中の特定物体領域を人間の顔領域にすれ
ば、人間が写っている動画像から、所望する人間の画像
をバランス良く抽出することができる。このようにすれ
ば、動画像中の特定物体領域である人間を追跡すること
ができるという効果を奏する。

【０３５７】また、請求項２３の発明の画像処理装置
は、以上のように、請求項１７の構成に加えて、取得画
像中の任意の１点を指定する点指定手段が設けられ、画
像抽出処理手段は、取得画像を記憶する記憶手段と、取
得画像が一連の電子画像系列からなる動画像であり、か
つ記憶手段に記憶された系列中の特定の一枚の画像を注
目画像として読み出し、この注目画像中に存在する特定
物体領域の任意の一点が上記点指定手段により指定され
た場合、この指定点を中に含むような第１の仮想領域
と、この第１の仮想領域と排他的な第２の仮想領域とを
設定する手段と、これら２つの仮想領域に含まれる画像
情報に基づいて、該特定物体領域と２つの仮想領域間の
分離度を算出する手段と、上記２つの仮想領域の大きさ
を逐次変更することによって得られる分離度の系列か
ら、取得画像中に存在し、かつ点指定手段によって指定
された点をその中央に含むような特定物体領域を、その
中央に含むように画像の一部を抽出する手段とを有し、
上記の２つの仮想領域の画素値を次の系列の取得画像に
対する初期値として仮想領域の大きさ、位置を様々に変
化させて得られる種々の画像情報から、最も適当な１組
のウィンドウを決定する構成である。

【０３５８】それゆえ、請求項１７の作用に加えて、点
指定手段により取得画像中に存在する特定物体領域の中
央でない位置に点を指定することにより、仮想領域の中
心と特定物体領域の中心位置がずれた場合でも確実に特
定物体領域を抽出することができるので、動画像中の特
定物体領域を含む部分画像の追跡を正確に行うことがで
きるという効果を奏する。

【０３５９】さらに、請求項２４の発明の画像処理装置
は、以上のように、請求項２３の構成に加えて、画像抽
出手段は、上記取得した画像情報を画素の分布情報とし
た場合、この分布情報から確率密度関数を求め、得られ
た確率密度関数を上記部分画像に適用することで、上記
特定物体を含み、かつ上記部分画像よりも小さい領域を
抽出する構成である。

【０３６０】また、請求項２５の発明の画像処理装置
は、以上のように、請求項２３の構成に加えて、画像抽
出手段は、特定物体領域を含むように抽出した部分画像
に対して、該部分画像の一部にさらに仮想領域を設定
し、この仮想領域内の画像情報を取得し、この画像情報
に基づいて、上記特定物体領域を含み、かつ上記部分画
像よりも小さい領域を抽出する構成である。

【０３６１】また、請求項２６の発明の画像処理装置
は、以上のように、請求項２３ないし２５のいずれかの
構成に加えて、記憶手段に記憶されている一連の電子画
像の中の特定物体領域が人間の顔領域である構成であ
る。

【０３６２】このように、記憶手段に記憶されている一
連の電子画像の中の特定物体領域を人間の顔領域にすれ
ば、人間が写っている動画像から、所望する人間の画像
をバランス良く抽出することができる。このようにすれ
ば、動画像中の特定物体領域である人間を追跡すること
ができるという効果を奏する。

【０３６３】さらに、請求項２７の発明の画像処理装置
は、以上のように、請求項２６の構成に加えて、上記画
像抽出手段は、抽出された人間の顔領域内部の画像情報
を取得する手段と、上記画像情報より、顔の幅、左右の
対称軸、目、鼻、口の垂直位置からなる数値情報を検出
する手段とを含み、上記数値情報に基づいて、上記顔領
域に含まれる顔部分が一定の大きさおよび位置になるよ
うに、取得画像の一部を抽出する構成である。

【０３６４】また、上記の課題を解決する手段として
は、上述した請求項１ないし２７までの各手段の他に、
コンピュータで読み取り可能な記録媒体に本願発明の画
像抽出処理を実行するためのプログラムを記録しても良
い。

【０３６５】すなわち、請求項２８のコンピュータ読み
取り可能な記録媒体は、以上のように、取得画像中の互
いに排他である２つの仮想領域を該取得画像中に設定
し、これら仮想領域内の画像情報に基づいて上記特定物
体領域を抽出する処理をコンピュータに実行させるため
の画像抽出処理プログラムを記録した構成である。

【０３６６】また、請求項２９のコンピュータ読み取り
可能な記録媒体は、以上のように、取得された画像中の
互いに排他である２つの仮想領域を設定し、設定された
各仮想領域内の画像情報を取得し、取得された画像情報
から上記の２つの仮想領域間の分離度を算出し、得られ
た分離度に基づいて取得画像中に存在する特定物体領域
をその中に含むように画像の一部を抽出する処理をコン
ピュータに実行させるための画像抽出処理プログラムを
記録した構成である。

【０３６７】また、請求項３０のコンピュータ読み取り
可能な記録媒体は、以上のように、取得画像中に存在す
る特定物体領域の中央の１点が指定された場合、この指
定点を中に含むような第１の仮想領域と、この第１の仮
想領域と排他的な第２の仮想領域とを設定し、設定され
た２つの仮想領域に含まれる画像情報に基づいて、該２
つの仮想領域間の分離度を算出し、上記２つの仮想領域
の大きさを逐次変更することによって得られる分離度の
系列から、取得画像中に存在し、かつ指定された点をそ
の中央に含むような特定物体領域を、その中央に含むよ
うに画像の一部を抽出する処理をコンピュータに実行さ
せるための画像抽出処理プログラムを記録した構成であ
る。

【０３６８】また、請求項３１のコンピュータ読み取り
可能な記録媒体は、以上のように、取得画像中に存在す
る特定物体領域の中央でない位置に点が指定された場
合、設定される仮想領域の大きさと位置、あるいは仮想
領域の大きさ、位置と形状を逐次更新することによって
得られる分離度の系列から、取得画像中に存在し、かつ
指定された点をその中に含むような特定物体領域を、そ
の中に含むように画像の一部を抽出する処理をコンピュ
ータに実行させるための画像抽出処理プログラムを記録
した構成である。

【０３６９】また、請求項３２のコンピュータ読み取り
可能な記録媒体は、以上のように、記憶された取得画像
が一連の電子画像系列からなる動画像である場合、記憶
された画像系列中の特定の一枚の画像を注目画像として
読み出し、この注目画像中に存在する特定物体領域をそ
の中に含むように、画像の一部を抽出すると共に、上記
注目画像に対して２つの仮想領域からなる１組のウィン
ドウを設定し、この１組のウィンドウ内の画像情報を次
の系列の取得画像に対する初期値として仮想領域の大き
さ、位置を様々に変化させて得られる種々の画像情報か
ら、最も適当な１組のウィンドウを決定する処理をコン
ピュータに実行させるための画像抽出処理プログラムを
記録した構成である。

【０３７０】また、請求項３３のコンピュータ読み取り
可能な記録媒体は、以上のように、記憶された取得画像
が一連の電子画像系列からなる動画像であり、かつ上記
記憶手段に記憶された系列中の特定の一枚の画像を注目
画像として読み出し、この注目画像中に存在する特定物
体領域の中央が指定された場合、この指定点を中に含む
ような第１の仮想領域と、この第１の仮想領域と排他的
な第２の仮想領域とを設定し、これら２つの仮想領域か
らなる１組のウィンドウに含まれる画像情報に基づい
て、該特定物体領域と２つの仮想領域間の分離度を算出
し、上記２つの仮想領域の大きさを逐次変更することに
よって得られる分離度の系列から、取得画像中に存在
し、かつ点指定手段によって指定された点をその中央に
含むような特定物体領域を、その中央に含むように画像
の一部を抽出すると共に、上記注目画像に対して２つの
仮想領域からなる１組のウィンドウを設定し、この１組
のウィンドウ内の画像情報を次の系列の取得画像に対す
る初期値として仮想領域の大きさ、位置を様々に変化さ
せて得られる種々の画像情報から、最も適当な１組のウ
ィンドウを決定する処理をコンピュータに実行させるた
めの画像抽出処理プログラムを記録した構成である。

【０３７１】さらに、請求項３４のコンピュータ読み取
り可能な記録媒体は、以上のように、記憶された取得画
像が一連の電子画像系列からなる動画像であり、かつ上
記電子画像系列中の特定の一枚の画像を注目画像として
読み出し、この注目画像中に存在する特定物体領域の任
意の一点が指定された場合、この指定点を中に含むよう
な第１の仮想領域と、この第１の仮想領域と排他的な第
２の仮想領域とを設定し、これら２つの仮想領域に含ま
れる画像情報に基づいて、該特定物体領域と２つの仮想
領域間の分離度を算出し、上記２つの仮想領域の大きさ
を逐次変更することによって得られる分離度の系列か
ら、取得画像中に存在し、かつ点指定手段によって指定
された点をその中央に含むような特定物体領域を、その
中央に含むように画像の一部を抽出すると共に、上記注
目画像に対して２つの仮想領域からなる１組のウィンド
ウを設定し、この１組のウィンドウ内の画像情報を次の
系列の取得画像に対する初期値として仮想領域の大き
さ、位置を様々に変化させて得られる種々の画像情報か
ら、最も適当な１組のウィンドウを決定する処理をコン
ピュータに実行させるための画像抽出処理プログラムを
記録した構成である。

【図面の簡単な説明】

【図１】本発明の画像処理装置における画像抽出処理の
流れを示すフローチャートである。

【図２】本発明の一実施の形態にかかる画像処理装置の
概略ブロック図である。

【図３】図２に示す画像処理装置に備えられた記憶部の
詳細を示す説明図である。

【図４】図２に示す画像処理装置に備えられた演算部の
詳細を示す説明図である。

【図５】図２に示す画像処理装置における画像抽出に使
用されるウィンドウを示す説明図である。

【図６】図２に示す画像処理装置における画像抽出に使
用されるウィンドウを示す説明図である。

【図７】上記ウィンドウの種々の形状を示す例であっ
て、（ａ）は矩形状のウィンドウを示し、（ｂ）は楕円
形状のウィンドウを示し、（ｃ）は自動車形状のウィン
ドウを示した説明図である。

【図８】画像抽出処理の概略を示すものであって、
（ａ）は取得画像を示し、（ｂ）は（ａ）に示す取得画
像から抽出した抽出対象画像を示す説明図である。

【図９】上記ウィンドウの拡大処理を示す説明図であ
る。

【図１０】図９に示すウィンドウを拡大処理した場合の
ウィンドウサイズと分離度との関係を示したグラフであ
る。

【図１１】図２に示す画像処理装置において行われる分
離度計測プロセスを示す説明図である。

【図１２】上記ウィンドウの分離度の推移を示す説明図
である。

【図１３】図１２のウィンドウの分離度の推移を示すグ
ラフである。

【図１４】画像抽出処理の概略を示すものであって、
（ａ）は取得画像を示し、（ｂ）は（ａ）に示す取得画
像から抽出した抽出対象画像を示す説明図である。

【図１５】図１４の（ｂ）で示した抽出対象画像の拡大
図である。

【図１６】（ａ) 〜（ｃ) は、図１5 に示す抽出対象画
像から特定物体領域を抽出するための処理を示す説明図
である。

【図１７】画像領域内の画素の画素値の分布を表した正
規確率密度関数を示すグラフである。

【図１８】図２に示す画像処理装置の記憶部に記憶され
た内容をコンピュータで読み取れるようなプログラムと
して記録した記録媒体の説明図である。

【図１９】本発明の他の実施の形態の画像処理装置の概
略構成図である。

【図２０】図１９に示す画像処理装置によって行われる
抽出対象画像の抽出処理の説明図である。

【図２１】図１９に示す画像処理装置によって行われる
抽出対象画像の抽出処理の説明図である。

【図２２】（ａ）（ｂ）は、ウィンドウの中心が同じ場
合のウィンドウの拡大処理を示す説明図である。

【図２３】（ａ）（ｂ）は、ウィンドウの中心を適当に
ずらしながら分離度測定プロセスを実行した場合の説明
図である。

【図２４】分離度計測プロセスで得られた分離度の系列
を示したグラフである。

【図２５】分離度計測プロセスで得られた分離度の系列
を示したグラフである。

【図２６】分離度ウィンドウを用いた場合の取得画像の
抽出処理の流れを示すフローチャートである。

【図２７】（ａ）〜（ｄ）は、動画追跡処理の説明図で
ある。

【図２８】動画追跡処理の流れを示すフローチャートで
ある。

【図２９】図２８で示した動画追跡処理の物体境界を検
出するためのサブルーチンを示すフローチャートであ
る。

【図３０】図２８で示した動画追跡処理の物体境界を検
出するためのサブルーチンを示すフローチャートであ
る。

【図３１】人物顔が写っている画像より顔の肌部分のみ
を抽出した画像を作成する例を示す説明図であり、
（ａ）は人物顔が写っている画像を示し、（ｂ）は肌部
分のみを抽出した画像を示す説明図である。

【図３２】画素の分布を示した出現頻度のヒストグラム
を示したものであって、（ａ）は色相のヒストグラムで
あり、（ｂ）は彩度のヒストグラムであり、（ｃ）は明
度のヒストグラムである。

【図３３】顔肌領域画像の生成処理の流れを示すフロー
チャートである。

【図３４】ユーザーによって領域を示すパターンが入力
された状態を示す説明図である。

【図３５】（ａ）は入力画像を示し、（ｂ）は（ａ）に
示した入力画像の明度と頻度との関係を示した説明図で
ある。

【図３６】（ａ）〜（ｃ）は、人物顔が写っている画像
より顔の肌部分のみを抽出した画像を作成する例を示す
説明図である。

【図３７】顔マスクの生成処理の流れを示すフローチャ
ートである。

【図３８】（ａ）〜（ｈ）は、顔マスクの作成の流れを
示す説明図である。

【図３９】顔の中心軸を検出する処理の流れを示すフロ
ーチャートである。

【図４０】（ａ）〜（ｃ）は、顔の中心軸を検出する処
理の説明図である。

【図４１】鼻の垂直位置を検出する処理の流れを示すフ
ローチャートである。

【図４２】（ａ）〜（ｇ）は、鼻の垂直位置を検出する
処理の説明図である。

【図４３】目の垂直位置を検出する処理の流れを示すフ
ローチャートである。

【図４４】（ａ）〜（ｃ）は、目の垂直位置を検出する
処理の説明図である。

【図４５】口の垂直位置を検出する処理の流れを示すフ
ローチャートである。

【図４６】（ａ）〜（ｄ）は、口の垂直位置を検出する
処理の説明図である。

【図４７】顔マスクの幅を検出する処理の説明図であ
る。

【図４８】原画像から画像の一部を矩形状に切り出す処
理の流れを示すフローチャートである。

【符号の説明】

１１画像取得装置１２画像抽出処理装置（画像抽出処理手段）１５記憶部（記憶手段）１６演算部（画像抽出処理手段）１６ａ分離度計算処理部（算出手段）１６ｂ領域抽出処理部（画像抽出手段）１６ｃ画素情報読取処理部（画像情報取得手段）１６ｄ人物画像抽出処理部１６ｅ基本演算処理部１７記録媒体１７ａ仮想領域設定処理用プログラム（画像抽出処
理プログラム）１７ｂ顔パラメータ検出処理用プログラム（画像抽
出処理プログラム）１７ｃ領域抽出処理用プログラム（画像抽出処理プ
ログラム）２１座標指定装置（点指定手段）

Claims

【特許請求の範囲】

【請求項１】外部から取得した画像から抽出対象となる
特定物体領域を含む部分画像を抽出する画像処理装置に
おいて、互いに排他である２つの仮想領域を取得画像中に設定
し、これら仮想領域間の分離度に基づいて上記部分画像
を抽出する画像抽出処理手段を有していることを特徴と
する画像処理装置。
【請求項２】上記画像抽出処理手段は、取得された画像中の互いに排他である２つの仮想領域を
設定する領域設定手段と、上記各仮想領域内の画像情報を取得する画像情報取得手
段と、上記画像情報から上記の２つの仮想領域間の分離度を算
出する算出手段と、得られた分離度に基づいて取得画像中に存在する特定物
体領域をその中に含むように画像の一部を抽出する画像
抽出手段と、を含むことを特徴とする請求項１記載の画
像処理装置。
【請求項３】上記画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、
該部分画像の一部にさらに仮想領域を設定し、この仮想
領域内の画像情報を取得し、この画像情報に基づいて、
上記特定物体領域を含み、かつ上記部分画像よりも小さ
い領域を抽出することを特徴とする請求項２記載の画像
処理装置。
【請求項４】上記画像抽出手段は、取得した画像情報を
画素の分布情報とした場合、この分布情報から確率密度
関数を求め、得られた確率密度関数を上記部分画像に適
用することで、上記特定物体領域を含み、かつ上記部分
画像よりも小さい領域を抽出することを特徴とする請求
項３記載の画像処理装置。
【請求項５】上記特定物体領域が人間の顔領域であるこ
とを特徴とする請求項１ないし４のいずれかに記載の画
像処理装置。
【請求項６】上記画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段
と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口
の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分
が一定の大きさおよび位置になるように、取得画像の一
部を抽出することを特徴とする請求項５記載の画像処理
装置。
【請求項７】取得画像中の任意の１点を指定する点指定
手段を有し、上記画像抽出処理手段は、上記点指定手段により取得画像中に存在する特定物体領
域の中央の１点が指定された場合、この指定点を中に含
むような第１の仮想領域と、この第１の仮想領域と排他
的な第２の仮想領域とを設定する領域設定手段と、これら２つの仮想領域に含まれる画像情報に基づいて、
該２つの仮想領域間の分離度を算出する算出手段と、上記２つの仮想領域の大きさを逐次変更することによっ
て得られる分離度の系列から、取得画像中に存在し、か
つ点指定手段によって指定された点をその中央に含むよ
うな特定物体領域を、その中央に含むように画像の一部
を抽出する画像抽出手段と、を含むことを特徴とする請
求項１記載の画像処理装置。
【請求項８】上記画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、
該部分画像の一部に仮想領域を設定し、この仮想領域内
の画像情報を取得し、この画像情報に基づいて、上記特
定物体領域を含み、かつ上記部分画像よりも小さい領域
を抽出することを特徴とする請求項７記載の画像処理装
置。
【請求項９】上記画像抽出手段は、取得した画像情報を
画素の分布情報とした場合、この分布情報から確率密度
関数を求め、得られた確率密度関数を上記部分画像に適
用することで、上記特定物体領域を含み、かつ上記部分
画像よりも小さい領域を抽出することを特徴とする請求
項８記載の画像処理装置。
【請求項１０】上記特定物体領域が人間の顔領域である
ことを特徴とする請求項７ないし９のいずれかに記載の
画像処理装置。
【請求項１１】上記画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段
と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口
の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分
が一定の大きさおよび位置になるように、取得画像の一
部を抽出することを特徴とする請求項１０記載の画像処
理装置。
【請求項１２】上記画像抽出処理手段は、上記点指定手段により取得画像中に存在する特定物体領
域の中央でない位置に点が指定された場合、設定される
仮想領域の大きさと位置、あるいは仮想領域の大きさ、
位置と形状を逐次更新することによって得られる分離度
の系列から、取得画像中に存在し、かつ点指定手段によ
って指定された点をその中に含むような特定物体領域
を、その中に含むように画像の一部を抽出することを特
徴とする請求項７記載の画像処理装置。
【請求項１３】上記画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、
該部分画像の一部に仮想領域を設定し、この仮想領域内
の画像情報を取得し、この画像情報に基づいて、上記特
定物体領域を含み、かつ上記部分画像よりも小さい領域
を抽出することを特徴とする請求項１２記載の画像処理
装置。
【請求項１４】上記画像抽出手段は、取得した画像情報
を画素の分布情報とした場合、この分布情報から確率密
度関数を求め、得られた確率密度関数を上記部分画像に
適用することで、上記特定物体領域を含み、かつ上記部
分画像よりも小さい領域を抽出することを特徴とする請
求項１３記載の画像処理装置。
【請求項１５】上記特定物体領域が人間の顔領域である
ことを特徴とする請求項１２ないし１４のいずれかに記
載の画像処理装置。
【請求項１６】上記画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段
と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口
の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分
が一定の大きさおよび位置になるように、取得画像の一
部を抽出することを特徴とする請求項１５記載の画像処
理装置。
【請求項１７】上記画像抽出処理手段は、取得画像を記
憶する記憶手段を含み、取得画像が一連の電子画像系列からなる動画像である場
合、記憶手段に記憶された系列中の特定の一枚の画像を
注目画像として読み出し、この注目画像中に存在する特
定物体領域をその中に含むように、画像の一部を抽出す
ると共に、上記注目画像に対して２つの仮想領域からな
る１組のウィンドウを設定し、この１組のウィンドウ内
の画像情報を次の系列の取得画像に対する初期値として
仮想領域の大きさ、位置を様々に変化させて得られる種
々の画像情報から、最も適当な１組のウィンドウを決定
することを特徴とする請求項１記載の画像処理装置。
【請求項１８】上記画像抽出手段は、特定物体領域を含
むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想
領域内の画像情報を取得し、この画像情報に基づいて、
上記特定物体領域を含み、かつ上記部分画像よりも小さ
い領域を抽出することを特徴とする請求項１７記載の画
像処理装置。
【請求項１９】上記記憶手段に記憶されている一連の電
子画像の中の特定物体領域が人間の顔領域であることを
特徴とする請求項１７または１８記載の画像処理装置。
【請求項２０】取得画像中の任意の１点を指定する点指
定手段が設けられ、上記画像抽出処理手段は、取得画像を記憶する記憶手段と、取得画像が一連の電子画像系列からなる動画像であり、
かつ上記記憶手段に記憶された系列中の特定の一枚の画
像を注目画像として読み出し、この注目画像中に存在す
る特定物体領域の中央が上記点指定手段により指定され
た場合、この指定点を中に含むような第１の仮想領域
と、この第１の仮想領域と排他的な第２の仮想領域とを
設定する手段と、これら２つの仮想領域に含まれる画像情報に基づいて、
該特定物体領域と２つの仮想領域間の分離度を算出する
手段と、上記２つの仮想領域の大きさを逐次変更することによっ
て得られる分離度の系列から、取得画像中に存在し、か
つ点指定手段によって指定された点をその中央に含むよ
うな特定物体領域を、その中央に含むように画像の一部
を抽出する手段とを有し、上記の２つの仮想領域の画素値を次の系列の取得画像に
対する初期値として仮想領域の大きさ、位置を様々に変
化させて得られる種々の画像情報から、最も適当な１組
のウィンドウを決定することを特徴とする請求項１７記
載の画像処理装置。
【請求項２１】上記画像抽出手段は、特定物体領域を含
むように抽出した部分画像に対して、該部分画像の一部
にさらに仮想領域を設定し、この仮想領域内の画像情報
を取得し、この画像情報に基づいて、上記特定物体領域
を含み、かつ上記部分画像よりも小さい領域を抽出する
ことを特徴とする請求項２０記載の画像処理装置。
【請求項２２】上記記憶手段に記憶されている一連の電
子画像の中の特定物体領域が人間の顔領域であることを
特徴とする請求項２０または２１記載の画像処理装置。
【請求項２３】取得画像中の任意の１点を指定する点指
定手段が設けられ、上記画像抽出処理手段は、取得画像を記憶する記憶手段と、取得画像が一連の電子画像系列からなる動画像であり、
かつ記憶手段に記憶された系列中の特定の一枚の画像を
注目画像として読み出し、この注目画像中に存在する特
定物体領域の任意の一点が上記点指定手段により指定さ
れた場合、この指定点を中に含むような第１の仮想領域
と、この第１の仮想領域と排他的な第２の仮想領域とを
設定する手段と、これら２つの仮想領域に含まれる画像情報に基づいて、
該特定物体領域と２つの仮想領域間の分離度を算出する
手段と、上記２つの仮想領域の大きさを逐次変更することによっ
て得られる分離度の系列から、取得画像中に存在し、か
つ点指定手段によって指定された点をその中央に含むよ
うな特定物体領域を、その中央に含むように画像の一部
を抽出する手段とを有し、上記の２つの仮想領域の画素値を次の系列の取得画像に
対する初期値として仮想領域の大きさ、位置を様々に変
化させて得られる種々の画像情報から、最も適当な１組
のウィンドウを決定することを特徴とする請求項１７記
載の画像処理装置。
【請求項２４】上記画像抽出手段は、上記取得した画像
情報を画素の分布情報とした場合、この分布情報から確
率密度関数を求め、得られた確率密度関数を上記部分画
像に適用することで、上記特定物体を含み、かつ上記部
分画像よりも小さい領域を抽出することを特徴とする請
求項２３記載の画像処理装置。
【請求項２５】上記画像抽出手段は、特定物体領域を含
むように抽出した部分画像に対して、該部分画像の一部
にさらに仮想領域を設定し、この仮想領域内の画像情報
を取得し、この画像情報に基づいて、上記特定物体領域
を含み、かつ上記部分画像よりも小さい領域を抽出する
ことを特徴とする請求項２３記載の画像処理装置。
【請求項２６】上記記憶手段に記憶されている一連の電
子画像の中の特定物体領域が人間の顔領域であることを
特徴とする請求項２３ないし２５のいずれかに記載の画
像処理装置。
【請求項２７】上記画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段
と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口
の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分
が一定の大きさおよび位置になるように、取得画像の一
部を抽出することを特徴とする請求項２６記載の画像処
理装置。
【請求項２８】取得画像中の互いに排他である２つの仮
想領域を該取得画像中に設定し、これら仮想領域内の画
像情報に基づいて上記特定物体領域を抽出する処理をコ
ンピュータに実行させるための画像抽出処理プログラム
を記録したことを特徴とするコンピュータ読み取り可能
な記録媒体。
【請求項２９】取得された画像中の互いに排他である２
つの仮想領域を設定し、設定された各仮想領域内の画像
情報を取得し、取得された画像情報から上記の２つの仮
想領域間の分離度を算出し、得られた分離度に基づいて
取得画像中に存在する特定物体領域をその中に含むよう
に画像の一部を抽出する処理をコンピュータに実行させ
るための画像抽出処理プログラムを記録したことを特徴
とするコンピュータ読み取り可能な記録媒体。
【請求項３０】取得画像中に存在する特定物体領域の中
央の１点が指定された場合、この指定点を中に含むよう
な第１の仮想領域と、この第１の仮想領域と排他的な第
２の仮想領域とを設定し、設定された２つの仮想領域に
含まれる画像情報に基づいて、該２つの仮想領域間の分
離度を算出し、上記２つの仮想領域の大きさを逐次変更
することによって得られる分離度の系列から、取得画像
中に存在し、かつ指定された点をその中央に含むような
特定物体領域を、その中央に含むように画像の一部を抽
出する処理をコンピュータに実行させるための画像抽出
処理プログラムを記録したことを特徴とするコンピュー
タ読み取り可能な記録媒体。
【請求項３１】取得画像中に存在する特定物体領域の中
央でない位置に点が指定された場合、設定される仮想領
域の大きさと位置、あるいは仮想領域の大きさ、位置と
形状を逐次更新することによって得られる分離度の系列
から、取得画像中に存在し、かつ指定された点をその中
に含むような特定物体領域を、その中に含むように画像
の一部を抽出する処理をコンピュータに実行させるため
の画像抽出処理プログラムを記録したことを特徴とする
コンピュータ読み取り可能な記録媒体。
【請求項３２】記憶された取得画像が一連の電子画像系
列からなる動画像である場合、記憶された画像系列中の
特定の一枚の画像を注目画像として読み出し、この注目
画像中に存在する特定物体領域をその中に含むように、
画像の一部を抽出すると共に、上記注目画像に対して２
つの仮想領域からなる１組のウィンドウを設定し、この
１組のウィンドウ内の画像情報を次の系列の取得画像に
対する初期値として仮想領域の大きさ、位置を様々に変
化させて得られる種々の画像情報から、最も適当な１組
のウィンドウを決定する処理をコンピュータに実行させ
るための画像抽出処理プログラムを記録したことを特徴
とするコンピュータ読み取り可能な記録媒体。
【請求項３３】記憶された取得画像が一連の電子画像系
列からなる動画像であり、かつ上記記憶手段に記憶され
た系列中の特定の一枚の画像を注目画像として読み出
し、この注目画像中に存在する特定物体領域の中央が指
定された場合、この指定点を中に含むような第１の仮想
領域と、この第１の仮想領域と排他的な第２の仮想領域
とを設定し、これら２つの仮想領域からなる１組のウィ
ンドウに含まれる画像情報に基づいて、該特定物体領域
と２つの仮想領域間の分離度を算出し、上記２つの仮想
領域の大きさを逐次変更することによって得られる分離
度の系列から、取得画像中に存在し、かつ点指定手段に
よって指定された点をその中央に含むような特定物体領
域を、その中央に含むように画像の一部を抽出すると共
に、上記注目画像に対して２つの仮想領域からなる１組
のウィンドウを設定し、この１組のウィンドウ内の画像
情報を次の系列の取得画像に対する初期値として仮想領
域の大きさ、位置を様々に変化させて得られる種々の画
像情報から、最も適当な１組のウィンドウを決定する処
理をコンピュータに実行させるための画像抽出処理プロ
グラムを記録したことを特徴とするコンピュータ読み取
り可能な記録媒体。
【請求項３４】記憶された取得画像が一連の電子画像系
列からなる動画像であり、かつ上記電子画像系列中の特
定の一枚の画像を注目画像として読み出し、この注目画
像中に存在する特定物体領域の任意の一点が指定された
場合、この指定点を中に含むような第１の仮想領域と、
この第１の仮想領域と排他的な第２の仮想領域とを設定
し、これら２つの仮想領域に含まれる画像情報に基づい
て、該特定物体領域と２つの仮想領域間の分離度を算出
し、上記２つの仮想領域の大きさを逐次変更することに
よって得られる分離度の系列から、取得画像中に存在
し、かつ点指定手段によって指定された点をその中央に
含むような特定物体領域を、その中央に含むように画像
の一部を抽出すると共に、上記注目画像に対して２つの
仮想領域からなる１組のウィンドウを設定し、この１組
のウィンドウ内の画像情報を次の系列の取得画像に対す
る初期値として仮想領域の大きさ、位置を様々に変化さ
せて得られる種々の画像情報から、最も適当な１組のウ
ィンドウを決定する処理をコンピュータに実行させるた
めの画像抽出処理プログラムを記録したことを特徴とす
るコンピュータ読み取り可能な記録媒体。