JPH10269360A

JPH10269360A - 画像領域抽出方法及び装置並びに画像処理装置

Info

Publication number: JPH10269360A
Application number: JP9073567A
Authority: JP
Inventors: Naohito Atozawa; 尚人後澤; Yuichi Kobayashi; 裕一小林
Original assignee: Toppan Printing Co Ltd
Current assignee: Toppan Inc
Priority date: 1997-03-26
Filing date: 1997-03-26
Publication date: 1998-10-09

Abstract

(57)【要約】【課題】本発明は、領域抽出をより簡易かつ精密に行
うことを目的とする。【解決手段】自然カラー画像における所定の領域を抽
出対象として抽出する画像領域抽出方法において、抽出
対象のサンプルデータを色空間上の色空間分布に変換
し、色空間分布の高明度側から低明度側もしくは低明度
側から高明度側にかけ明度軸に沿って、かつ色空間分布
の中心近傍を通過するように複数の線分を設け、各線分
を中心軸とした色空間上の所定の領域を各線分に対応す
る各サブクラスとし、各サブクラスからなる色空間上の
領域内に存在する自然カラー画像のデータ点を、抽出対
象として抽出する画像領域抽出方法である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、静止画、シーケ
ンス画像、多視点画像等の自然カラー画像における所定
領域を抽出するのに適した画像領域抽出方法及び装置並
びに画像処理装置に関するものである。

【０００２】

【従来の技術】従来から印刷分野では、写真製版の集版
工程において写真画像内の特定絵柄部分を切り抜き製版
することが行われている。これは手作業による切り抜き
であり熟練と作業時間を要するものである。

【０００３】近年の計算機技術の発達に伴い上記手作業
による切り抜きに対し、画像処理システムに製版対象と
なる画像を取り込み、必要とする画像領域を抽出するこ
とで切り抜きを行うことが広く行われるようになってい
る。

【０００４】このような画像処理システムにおける領域
抽出を行うには、例えば作業者がディスプレイ上に表示
された画像を参照しながらマウス等のポインティングデ
バイスを用いてトレースし抽出領域を指示する方法があ
る。

【０００５】しかし、今日では、静止画像からの領域抽
出をより簡易かつ精密に行うことや、動画像・シーケン
ス画像からの領域抽出や多視点画像からの領域抽出を行
うことが要望され、さらに異なる領域抽出方法が開発さ
れている。

【０００６】かかる要望に対応し、色属性を用いた領域
抽出方法がある。すなわち、自然カラー画像からの領域
抽出においては、色属性（三原色または三属性）は優れ
た情報または特徴量として使用され得る。なお、色属性
を用いた方法が有効なのは、画像の領域が投影された個
々の対象物を単位とする画像上の広がりを指しており、
画像に投影された個々の対象物が固有色をもつため、色
の相違が画像に投影された対象の相違となって反映され
るからである。

【０００７】上記色属性を用いた方法として、三原色の
成分に偏りがある場合は、その三原色のなかの１色を輝
度とみなして、閾値設定する方法（ｔ１）、色相角の区
間を限定しその区間内の色情報をもつものを対象物とし
て抽出する方法（ｔ２）、色空間において正規分布など
を用いたクラスタリングを行い各クラスタの色情報をも
つものを対象物として抽出する方法（ｔ３）等が知られ
ている。

【０００８】

【発明が解決しようとする課題】上記したように、画像
の領域抽出による切り抜きを行う場合において、まずト
レースによる方法では、複雑な形状の領域を切り抜こう
とすると、トレース作業が複雑になって作業者の負担が
増大し作業時間も非常にかかる。したがって、静止画像
からの領域抽出をより簡易かつ精密に行うことが困難で
ある。また、この方法では動画像に対する処理が困難と
なる。

【０００９】３原色の中１つの原色の分布に閾値を設定
する方法ｔ１では、色相角が近寄る場合に領域間の区別
ができず、照明による対象物の明暗の範囲が大きい場合
が普通であり、対象領域と非対象領域の分布が完全に分
離していることは稀である。

【００１０】図２７は色相角の区間を限定しその区間内
の色情報を対象物として抽出する方法について説明する
図である。

【００１１】色相角の区間を限定する方法ｔ２による領
域抽出方法は、対象の色相という属性は、シフトインヴ
ァリアント（ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔ：位置不
変性ともいう。この場合は三次元であるが、例えば二次
元光学系の場合でいえば面内の移動に対して変換関数が
一定に保たれる特徴をシフトインヴァリアントという。
具体的には、色空間についてのある条件により領域抽出
を行う場合に、抽出対象物が回転・移動等しその色空間
上の反射光分布が変化して表面の明暗のあり方が変化し
ても対象物の反射光分布を検出しても色相は変化せず、
この色相を特徴領域抽出できる場合の上記ある条件の位
置不変的な性質をいう）を有している。このときの様子
を図２７（ａ）及び図２７（ｂ）により示す。

【００１２】したがって、ｔ２の方法では、照明ジオメ
トリ（照明光のスペクトルは変ってはならない）条件の
変化による色相の変化はないので、たとえ同一対象物の
回転や移動が起こった前後でもこの色相区間の制約によ
る領域抽出ができる。したがって、動画像の各フレーム
に対して領域抽出を行うことも可能となる。しかし、こ
の方法では、彩度についての判断がなされないので例え
ばヒトの皮膚の色とオレンジ色の毛糸と木材等の固有色
の色相が同じである対象を相互に区別することができな
い。このときの様子を図２７（ａ）及び図２７（ｃ）に
より示す。

【００１３】図２８はクラスタリングを行い各クラスタ
の色情報を対象物として抽出する方法について説明する
図である。

【００１４】一方、色空間でクラスタリングを行う方法
ｔ３では、対象物の明暗の差が対象物の色度間の差より
小さければ、対象物を一つのクラスタとして抽出するこ
とが可能である。このクラスタには彩度も考慮されてい
るので同一色相上の対象も区別ができる。このときの様
子を図２８（ａ）及び図２８（ｃ）により示す。しか
し、対象物の色度差よりも個々の対象物での明暗の差が
大きい場合は他の対象物と区別が難しくなるか、対象物
の明部・暗部・中間部といった明るさ（調子）の単位ご
とに領域抽出される。このときの様子を図２８（ａ）及
び図２８（ｂ）により示す。

【００１５】これは、個々の対象物の色空間分布に比較
的単純な正規分布等（図２８では長方形立体分布）を適
用することに起因する欠点である。これを解決するため
に色空間を幾つかのブロックに分割しこれを操作しなが
ら対応する方法等が提案されているが、抽出が旨く行わ
れるか否かは画像の色空間分布の仕方に左右されやす
く、また、これらクラスタの属性値（正規分布を仮定す
るのであれば、平均値と分散／分散共分散）はシフトヴ
ァリアント（位置不変性）を有していない。すなわち同
色相上にある物体でも回転等が起こればその明度や彩度
が変化するからである。したがって、この方法では動画
像等への対応が困難である。

【００１６】すなわち上記従来の各方法では、静止画像
からの領域抽出をより簡易かつ精密に行うこと、また、
キーフレームから得られた特徴で動画像等の各画像から
の領域抽出処理を行うことが困難である。

【００１７】つまり、動画シーケンス又は多視点画像等
の相対的に対象物が回転・移動はするが照明条件は一
定、という類似多数の画像から特定の対象物を抽出しよ
うとするとき、一つの画像（キーフレーム）でその対象
を抽出する条件を決定したら、他の画像・フレームでも
この条件をそのまま利用できることは、抽出条件を決定
する処理コストの低減から好ましい。また画像の点数が
膨大になることからこのような場合の領域抽出はバッチ
形式の処理となり、個々の画像・フレームで対話形式で
の領域抽出条件の決定は必要な労力の点から不可能に近
い。

【００１８】このような要請に対し、安定かつ比較的高
速に領域抽出が可能であり、指定領域の特徴がシフトイ
ンヴァリアントになるということを考慮すれば、上記各
方法の中ではｔ２法が好ましい。しかし、ｔ２法は色相
が極めて近接している対象物間の識別は不可能であるこ
とから、より対象の識別が確実でかつシフトインヴァリ
アント性の高い領域抽出の方法が必要である。

【００１９】本発明は、このような実情を考慮してなさ
れたもので、静止画像からの領域抽出をより簡易かつ精
密に行うことが可能であり、また、キーフレームに対す
る動画像等の各画像からの領域抽出処理を確実かつ容易
に行うことを可能とした画像領域抽出方法及び装置を提
供することを目的とする。

【００２０】また、本発明は、この画像領域抽出装置を
利用し、リアルタイム性を高くでき、かつ、精密な抽出
画像に基づく画像合成再生を容易に実現する画像処理装
置を提供することを目的とする。

【００２１】

【課題を解決するための手段】上記した各方法で良好な
領域抽出ができないのは、上記方法では自然画像の色空
間分布を扱う際に統計的構造にのみ着目し、シーンまた
は対象物から起因する光学的構造を無視しているためで
ある。個々の対象物の色はその分光反射特性により定ま
っているが、例えば上記ｔ２法は、色相角のみを領域抽
出のための情報とみなしている。対象物からの反射光の
色相は確かにシフトインヴァリアント（位置不変性）な
性質であるが、物体の固有色をすべてを説明してはいな
い。したがって、色相角限定だけで領域抽出を行ったの
では、十分な条件限定がされておらず、確実な対象物の
識別ができない。すなわち上記したように、例えばヒト
の皮膚の色とオレンジ色の毛糸を区別できない。また、
対象物からの反射光の色の分布の仕方は個々の対象物の
分光反射特性に依存する他、反射光の位置と分光分布と
対象物の形状に依存して、対象物の相対的な回転・移動
に対して分布を変化させる。したがって、色空間にてク
ラスタリングをする方法ｔ３では、回転等による反射光
分布等の変化に対して各クラスタがシフトインヴァリア
ント（位置不変特徴）とならず、動画間における同一対
象物の確実な領域抽出には向いていない。

【００２２】これに対し本発明の骨子は、対象物から起
因する光学的構造に着目し、対象物での光の反射を取り
扱うモデルとして表面反射（鏡面反射）及び吸収拡散反
射の二成分を想定する反射モデルを基本とし、かつトレ
ーニングデータを用いて色空間上の複数個の特徴量空間
の範囲を限定する帰属関数（サブクラスあるいは部分分
布）を設けて上記反射モデルに実際的な修正を施し、こ
の複数の帰属関数で特定される抽出条件を用いて自然カ
ラー画像の反射光分布から対象物についての領域抽出を
行うことにある。

【００２３】図１は表面反射及び吸収拡散反射の二成分
を想定する反射モデルの概略説明図である。

【００２４】上記反射モデル（実際には、Ｓ．Ａ．Ｓｈ
ａｆｅｒの二色性反射モデルおよびＧ．Ｊ．Ｋｌｉｎｋ
ｅｒのカラークラスタに基づくが、以下、単に二色性反
射モデルという）については後に細述するが、この二色
性反射モデルによれば、いわゆる鏡面反射と呼ばれる表
面反射による光が色空間上の高明度かつ低彩度の位置か
ら中間明度かつ高彩度の位置に向かう線分で示され、対
象物に吸収後拡散される吸収拡散反射による光が明度の
最も小さな点，すなわち色空間の原点から高明度かつ高
彩度の位置に向かう線分により示されることで、対象物
からの反射光が表現されている。このようにして二色性
反射モデルは、物体の表面での反射光の色のすべてを説
明しようとするものである。

【００２５】照明光と視点との関係が決定すると、特定
の分光反射特性を有する反射面の色（反射光の色）は特
定の範囲に限定されることから、この場合には二色性反
射モデルは物体の表面での反射光の色のすべてを説明で
きると考えられる。したがって、上記条件下で当該モデ
ルに基づいてあるキーフレームの特定領域の抽出条件を
設定すると、当該キーフレームから連続する動画等にお
いてこの抽出条件は、極めて高いシフトインヴァリアン
トな特徴によって（位置不変性）行うことができる。

【００２６】しかしながら、現実には、単に二色性反射
モデル通りの抽出条件を設定すると適切な領域抽出を行
うことができないことが多い。この理由は、二色性反射
モデルは、撮影対象の物体における各反射光の実際の光
エネルギが正確に反映された画像が得られるときのみに
成立するからであることを、発明者は認識した。

【００２７】すなわち、この二色性反射モデルで厳密な
予測をおこなうためには、照明光の分光強度分布、視点
に設置されるセンサの光学特性、反射面の分光反射特性
とこれらの三次元空間上での配置が判明していなければ
ならない。

【００２８】具体的には、このモデルを反映する測定を
行うためにはＣＣＤカメラにおいて、その出力が光エネ
ルギに比例するような正確なキャリブレーションが必要
になる。しかし、実際に出版分野（ＤＴＰ）等の民生で
取り扱われる多くの原画像は、カラーリバーサルフィル
ムで撮影された画像や写真に基づくものや精密なキャリ
ブレーションを施さないＣＣＤ撮影された画像によるも
のが多く、現実の反射の光エネルギと画像位置強度が完
全に線形に対応していない。

【００２９】このように、現実の画像の取り扱いにおい
ては、上記した条件の殆どは不明または予測不能のまま
扱わねばならず、現実的な民生（出版）分野等への応用
ということになると、二色性反射モデルの論理式をその
まま利用しただけでは、実際的な領域抽出を行うことが
できない。

【００３０】図２は精密なキャリブレーションを行わず
に得られた対象物の反射光分布を図１に含めたものであ
る。

【００３１】例えばカラーリバーサルフィルム等で撮影
された画像データをもとにある領域の反射光分布を色空
間上に展開すると、同図に示すように、二色性反射モデ
ルの各２線分の合成形状でなく、当該２線分の接合位置
付近で滑らかに繋がるようにカーブを描く弧状の形状と
なることが多い。このようなカーブの中心線は２線分で
なく例えば３つの線分で近似されることになる。なお、
同図に示す反射成分は、ある対象について、明度が低い
成分から明度が高い成分までが満遍なく含まれている場
合の例である。

【００３２】この事実に基づく発明者の考察によれば、
ある対象物の撮影された画像が現実の反射光の光エネル
ギに厳密に対応していないときには、当該画像に基づく
反射光分布は、概略形状としては二色性反射モデルの各
２線分の合成形状を保持しつつ、画像形成条件等に応じ
て変形しているものと考えられる。

【００３３】したがって、反射光分布の変形に応じて現
実的な修正を施したものを領域抽出条件とすれば、極め
て領域識別性及びシフトインヴァリアント（位置不変
性）の高い抽出条件を得ることができる。

【００３４】図３は本発明に係る画像領域抽出方法にお
いてトレーニングデータに対してサブクラスを設定した
様子の一例を示す図である。

【００３５】本発明は、上記認識に基づくものであり、
トレーニングデータ（サンプルデータともいう）から得
られるある領域の現実の反射光分布を用い、二色性反射
モデルを基礎にしつつ低明度から高明度にかけて当該ト
レーニングデータに対して複数線分を軸とした複数の帰
属関数（サブクラス）を与え、この複数のサブクラス
（部分分布）からなるクラスを抽出条件として類似多数
の画像から確実な領域抽出を行うことを可能とする。

【００３６】なお、与えられる複数の帰属関数から示さ
れる色空間上の領域は、上記二色性反射モデルに対応し
ているから、対象物が回転等で変化した場合には、その
反射光はこの二色性反射分布を近似する各帰属関数に沿
って変化するため、極めて高いシフトヴァリアント（位
置不変特徴）を有し、かつこの関数による領域抽出で
は、極めて高い領域識別性が実現される。

【００３７】次に、上記課題を解決するための本発明に
おけるより具体的な解決手段を以下に説明する。

【００３８】まず、請求項１に対応する発明は、自然カ
ラー画像における所定の領域を抽出対象として抽出する
画像領域抽出方法において、抽出対象のサンプルデータ
を色空間上に変換して、画像上のサンプルを色空間上の
色空間分布とし、色空間分布の高明度側から低明度側も
しくは低明度側から高明度側にかけ明度軸に沿って、か
つ色空間分布の中心近傍を通過するような複数の線分を
設け、各線分を中心軸とした色空間上の部分的な分布を
各線分に対応する各部分分布とし、自然カラー画像のデ
ータ点を色空間に変換したときその色が部分分布のいず
れかに含まれるとき、抽出対象として抽出する画像領域
抽出方法である。

【００３９】また、請求項２に対応する発明は、請求項
１に対応する発明において、各線分は、その中心軸に直
交する第二軸及び第三軸を有し、その第二軸及び第三軸
方向の広がりの大きさを指定することで、部分分布に属
する領域を規定する画像領域抽出方法である。

【００４０】さらに、請求項３に対応する発明は、請求
項１又は２に対応する発明において、第二軸及び第三軸
のうち少なくとも一つは、中心軸が属する同一色相面に
直交する画像領域抽出方法である。

【００４１】さらにまた、請求項４に対応する発明は、
請求項２又は３に対応する発明において、部分分布を表
現する帰属関数は、正規分布関数とし、当該部分分布に
対応する線分により得られる平均値と、線分の中心点で
直交する第二軸及び第三軸方向に与えられる分散とに従
って、その確率分布密度関数が記述され、当該確率分布
密度関数に所定の閾値を与えることで当該部分分布の領
域が規定される画像領域抽出方法である。

【００４２】また、請求項５に対応する発明は、請求項
１〜３に対応する発明において、中心軸から区分される
明度区間においてこの分布の確率分布密度関数パラメー
タを決定し、これを部分分布とする画像領域抽出方法で
ある。

【００４３】一方、請求項６に対応する発明は、請求項
１〜５に対応する発明において、色空間は顕色系色空間
である画像領域抽出方法である。

【００４４】次に、請求項７に対応する発明は、請求項
１〜６に対応する発明において、明度軸に沿った複数の
線分は、繋がりを有する折れ線となる画像領域抽出方法
である。

【００４５】また、請求項８に対応する発明は、請求項
１〜７に対応する発明において、サンプルデータに基づ
く各部分分布決定後、当該部分分布からなる抽出条件を
用い、自然カラー画像と連続性を有する少なくとも一つ
の連続画像の各々から所定の領域を抽出する画像領域抽
出方法である。

【００４６】さらに、請求項９に対応する発明は、自然
カラー画像における所定の領域を抽出対象として抽出す
る画像領域抽出装置において、抽出対象のサンプルデー
タを色空間上の色空間分布に変換する色変換手段と、色
空間分布の高明度側から低明度側もしくは低明度側から
高明度側にかけ明度軸に沿って、かつ色空間分布の中心
近傍を通過するように複数の線分を設け、各線分を中心
軸とした色空間上の所定の領域を各線分に対応する各部
分分布とするクラス指定手段と、各部分分布からなる色
空間上の領域内に存在する自然カラー画像のデータ点
を、抽出対象として抽出する領域抽出手段とを備えた画
像領域抽出装置である。

【００４７】さらにまた、請求項１０に対応する発明
は、請求項９に対応する発明において、領域抽出手段
は、サンプルデータに基づく各部分分布決定後、当該部
分分布からなる抽出条件を用い、自然カラー画像と連続
性を有する少なくとも一つの連続画像の各々から所定の
領域を抽出する画像領域抽出装置である。

【００４８】一方、請求項１１に対応する発明は、請求
項１０に対応する画像領域抽出装置から抽出された前記
連続画像の抽出領域データ各々に画像処理を施し、これ
により連続する合成画像を作成し、この作成された連続
合成画像をデータ圧縮して外部に送出する画像処理装置
である。

【００４９】（作用）したがって、まず、請求項１又は
９に対応する発明の画像領域抽出方法又は装置において
は、抽出対象のサンプルデータが色空間上の色空間分布
に変換される。

【００５０】また、色空間分布の高明度側から低明度側
もしくは低明度側から高明度側にかけ明度軸に沿って、
かつ色空間分布の中心近傍を通過するような複数の線分
に対応して部分分布が設けられる。

【００５１】そして、この複数の部分分布からなる色空
間領域を抽出条件として領域抽出を行っているが、本発
明はこの部分分布の設定の仕方に特徴がある。

【００５２】つまり、上記するように、部分分布を明度
軸に沿って、高明度側から低明度側又は低明度側から高
明度側等へ設定していくことで、事実上二色性反射モデ
ルを反映した抽出条件設定ができることになる。

【００５３】二色性反射モデルは、色空間上の高明度か
つ低彩度の位置から低明度かつ高彩度の位置に向かう線
分で鏡面反射成分が示され、対象物に吸収後拡散される
吸収拡散反射による光が明度の最も小さな点，すなわち
色空間の原点から高明度かつ高彩度の位置に向かう線分
で吸収拡散反射成分が示される。

【００５４】現実には、図２に示すように現実の色空間
成分は歪むことになるが、その分布は上記鏡面反射成分
及び吸収拡散反射成分を反映することには変わりない。

【００５５】したがって、この鏡面反射成分及び吸収拡
散反射成分を反映させ、両成分の反射光を確実に抽出す
るには、明度軸に沿った色空間分布の中心線を基準とし
て抽出条件を設定していけばよいことになる。

【００５６】したがって、上記部分分布により定まる領
域抽出条件は、二色性反射モデルを反映したシフトイン
ヴァリアント（位置不変性）を有するものとなり、か
つ、色相角指定と異なり十分に抽出条件が限定されてい
るので、領域抽出をより簡易かつ精密に行うことができ
る。

【００５７】また、請求項２に対応する発明の画像領域
抽出方法においては、請求項１に対応する発明と同様に
作用する他、部分分布領域の形状を適宜なものとするこ
とができる。

【００５８】さらに、請求項３に対応する発明の画像領
域抽出方法においては、請求項１又は２に対応する発明
と同様な作用効果を奏する。

【００５９】さらにまた、請求項４に対応する発明の画
像領域抽出方法においては、請求項２又は３に対応する
発明と同様に作用する他、正規分布を用いて部分分布を
表現することができ、数学的な取り扱いを簡単にするこ
とができる。

【００６０】また、請求項５に対応する発明の画像領域
抽出方法においては、請求項１〜３に対応する発明と同
様に作用する他、中心軸から区分される明度区間におい
てこの分布の確率分布密度関数パラメータが決定され、
これが部分分布される。

【００６１】一方、請求項６に対応する発明の画像領域
抽出方法においては、請求項１〜５に対応する発明と同
様な作用効果を奏する。

【００６２】次に、請求項７に対応する発明の画像領域
抽出方法においては、請求項１〜６に対応する発明と同
様に作用する他、漏れのない領域抽出を行うことができ
る。

【００６３】また、請求項８又は１０に対応する発明の
画像領域抽出方法及び装置においては、請求項１〜７又
は９に対応する発明と同様に作用する他、サンプルデー
タに基づく各部分分布決定後、そのシフトインヴァリア
ント（位置不変性）を有する抽出条件により連続画像の
各々から所定の領域を抽出するようにしたので、キーフ
レームに対する動画像等の各画像からの領域抽出処理を
確実、精密かつ容易に行うことができる。

【００６４】さらに、請求項１１に対応する発明の画像
処理装置においては、請求項１０に対応する画像領域抽
出装置から抽出された連続画像の抽出領域データ各々に
画像処理を施し、これにより連続する合成画像を作成
し、この作成された連続合成画像をデータ圧縮して外部
に送出するようにしたので、リアルタイム性を高くで
き、かつ、精密な抽出画像に基づく画像合成再生を容易
に実現することできる。

【００６５】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。

【００６６】本発明は、二色性反射モデルを基本としつ
つ、撮像条件等により当該モデルから外れる現実の反射
光分布をトレーニングデータにより学習させる代わりに
各帰属関数つまりサブクラス（部分分布）を直接指定し
て領域抽出を行うものである。

【００６７】したがって、まず、本発明を実現する上で
の技術的要素である「反射光の色空間分布」、「反射光
の色空間分布軌跡の混合密度表記（サブクラス決定方
法）」、「学習（サンプルトレーニングデータの付
与）」をそれぞれ説明し、その後に、具体的な実施形態
について説明する。

【００６８】［１．反射光の色空間分布］自然カラー画
像は、シーン（場面、光景、背景等）の投影像である。
シーン内の対象物は材質が均一であれば、どの部分も同
一の分光（反射）特性をもつ。実際に観測される対象物
面上の色（分光分布・測色値）は反射光であり、この反
射光はその物体面の照明光の受け方に応じて変化する。
したがって、照明光および照明光と対象物との配置関係
が一定であっても、投影面または視点との関係が変わる
と変化する。しかし、この変化は、物体固有の色相内の
すべての色（トーン、つまり明度−彩度）を取るのでは
なく、極く限られた範囲の色（トーン）が観測される。

【００６９】このような、物体表面上での反射の性質、
反射光の色の予測には、シェーディングモデル（ＣＧ）
または反射モデル（コンピュータビジョン）が利用され
る。その光学的意味は、反射光は、分光分布と強度分布
について異なる性質のふたつの成分に分解されるという
ことである。ひとつは、表面反射（スペキュラ反射）、
もうひとつは吸収拡散反射成分と呼ばれる。

【００７０】表面反射の分光分布は入射光と変化せず、
表面反射の強度分布は入射角と等しい出射角方向に集中
している。吸収拡散反射の分光分布は物体固有の分光吸
収を受け、吸収拡散反射の強度は入射角にのみ依存し、
吸収拡散反射の出射光の強度分布は全方向ほぼ均一であ
る。

【００７１】Ｓ．Ａ．Ｓｈａｆｅｒの二色性反射モデル
およびＧ．Ｊ．Ｋｌｉｎｋｅｒのカラークラスタはプラ
スティックのような非電導体の反射についてよく説明す
るモデルとして知られている。その分光学的表現は、

【数１】

【００７２】幾何強度因子は、一般に、ｍ_b（ｉ，ｅ，
ｇ）としてＬａｍｂｅｒｔｉａｎが、ｍ_s（ｉ，ｅ，
ｇ）としてはフレネル反射の原理に基づく近似式が適用
される。

【００７３】ｍ_b（ｉ，ｅ，ｇ）＝ｍ_b（ｉ）＝cos ｉ（２）式，（３）式は、まず、反射光の二つの成分、表
面反射成分［Ｓ］と吸収拡散反射成分［Ｂ］の分光分布
は、波長λのみの関数であり、幾何強度因子をスケール
ファクタする、その分光分布の相対的な関係は一定して
いることを示す。また、測色値としては絶対値は変化し
ても、すなわち、色空間における成分の方向は変化せ
ず、明度彩度はお互いに線形の関係を保って変化し、色
相は変化しない。また、この物体の反射光の色は、色空
間上、この二つの成分が張る平行四辺形上に、存在する
ことを示している。

【００７４】さらに、幾何強度因子の角度ｇが一定であ
るとき、すなわち、光源と視点と観測面の配置が確定
し、その観測面の角度或いは面法線の角度のみが変化す
るとき、表面反射成分は面の傾きが、角度ｉとｅが等し
くなるとき、最大強度をとり、この傾きから外れるにつ
れ急速に減少する。

【００７５】従って、物体の反射光の色空間分布は、二
つの線分によって近似される。ひとつの線分は、拡散反
射成分であり幾何強度因子における角度ｇに関わらず、
常に一定の分布で、傾きはその分光分布によって定ま
り、混色系色空間（ここではＣＩＥＸＹＺ色空間）の原
点を通る。もうひとつの線分は表面反射成分によるもの
で、色空間における傾きはその分光分布によって定まる
が通過する点は、拡散反射成分上のｉ＝ｅとなる面の傾
きに対応する点である。これは、Ｋｌｉｎｋｅｒのカラ
ークラスタであり、吸収拡散成分に対応する線分はｍａ
ｔｔｅｌｉｎｅ（材質線、もしくは物体線）、表面反
射成分に対応する線分はｈｉｇｈｌｉｇｈｔｌｉｎｅ
（ハイライト線）と呼ばれ、幾何強度因子における角度
ｇによりｈｉｇｈｌｉｇｈｔｌｉｎｅがｍａｔｔｅ
ｌｉｎｅ上を平行移動するものと表現された。

【００７６】このカラークラスタは、ある照明光（白色
光とする）下で物体を観測すると、その物体表面の色の
変化の仕方が、ある色相でその物体固有の度合で明るく
なるにつれ彩度を増大させる（拡散吸反射成分）、が、
或色の変化仕方は明るくなるにつれ白みを増し彩度を低
下させるという、経験に対応している。明度増加に伴っ
て彩度増加する部分は、視点を移動させても色の変化の
しかたは同じであるが、物体上の白みが増加してゆく部
分は視点の移動にともなって移動する。白みが増加する
部分は、ハイライトと呼ばれ、実際には照明が映されて
いるのであるが、このことは、反射に表面反射と吸収拡
散反射の二成分を想定する反射モデルから説明される。

【００７７】また、視点、照明、対象物の配置の関係を
固定すれば、ｇが確定する。まず、物体の大きさが物体
から照明光または視点までの距離と比較して充分に小さ
いものとする。このとき、物体が比較的滑らかな曲面に
囲まれていて、少数の平面で囲まれているような物体で
ない限り、およそ、殆どのｉとｅの関係をこの物体面上
で得ることができる。即ち、この物体上に観測されるす
べての反射光の色を色空間上にプロットすれば、先のカ
ラークラスタを得ることができる。

【００７８】次に、この物体を平行移動することなく、
回転させることを考える。このときも、殆どの角度ｉと
ｅの関係をこの物体面上で得ることができ、角度ｇの関
係は変化しない。従って、この物体表面上に観測される
カラークラスタは、回転前のものとまったく同じであ
る。これは、回転によって物体上の明暗の変化、ハイラ
イトの位置の物体上の明暗に変化が生じても、明るい部
分の色、暗い部分の色またはハイライトの色は変化しな
いことを意味する。変化するのは、それぞれの色の度数
あるいは面積である。

【００７９】以上の点から、ある物体について、視点と
照明との関係が確定すれば、即ち、幾何強度因子におけ
る角度ｇが確定すれば、その物体の回転や、少量の移動
（照明光源または視点からの距離に比べて充分に小さい
移動で、近似的に角度ｇが変化しないとみなせる。）対
して、色空間における反射光の現われ方（カラークラス
タ）は位置不変特徴（シフトインヴァリアント）とみな
せる。

【００８０】この反射光の色空間分布（カラークラス
タ）を、観測された反射光を既知のカラークラスタに帰
属させるか否かの判断をおこなう場合に次の利点があ
る。

【００８１】・色空間上ほぼ、線上に分布するので、例
えば肌色とオレンジ色または、茶色の毛糸といった色相
が同一の物体でも容易に区別し得る。

【００８２】・視点からのわずかな回転／移動、視点の
わずかな移動に関しては、カラークラスタが変化しな
い。即ち、動画シーケンスまたは、多視点画像からこれ
を特徴として、領域抽出しようとするときに、ひとつの
画像（フレーム）から、このカラークラスタを決定すれ
ば、他の画像（フレーム）での識別特徴としてこれを近
似として適用する。

【００８３】（１）式，（２）式及び（３）式に示すこ
のモデルは、物体の反射をよく説明し、特にプラスティ
クスのような非導電体にはよく現象と一致する。従っ
て、原理的には幾何強度因子ｍ_s，ｍ_b、分光反射特性
ｃ_s（λ），ｃ_b（λ）および幾何強度因子における角
度ｇが既知であれば、その物体の色空間におけるカラー
クラスタの形状を予測することができる。また、光学的
にあるいは測色学的に検量された放射輝度分光光度計ま
たは撮像装置を用いれば、上述したような、二つの線分
からなるカラークラスタを観測することができる。従っ
て、このような検量された分光学的または測色学的計測
機器によって画像または反射光を測定できる場合は、カ
ラークラスタが二つの線分よりなることを仮定して、色
空間を特徴量空間としてクラスタリングすることが有用
である。実際、この性質を利用しての領域抽出、形状復
元等がコンピュータビジョンの分野から報告されてい
る。

【００８４】しかしながら、産業応用としての自然カラ
ー画像、シーケンス画像、多視点画像については、その
撮像系、受像系、画像表示系色再現系が分光学的あるい
は測色学的に検量されている保証はなく、むしろ画像の
表示される際に主観的に好ましく表示されるように色空
間を非線形に変形される。また撮像系の色分解フィルタ
も測色学的な計測に適した特性で色分解をしている保証
はない。または、これら撮像から画像が表示されるまで
の色再現特性が公示されないことも通常である。また、
これら系の色再現特性が非線形であるとき、上述のカラ
ークラスタはふたつの線分からではなく、弧となる。

【００８５】また、被写体も上述の反射モデルに適用し
うる物体である保証はない。しかし、通常画像として得
られる対象物の色の分布の仕方には以下の性質は保存さ
れる。

【００８６】１．その色空間分布の色相角はほぼ一定の
値をとる。

【００８７】２．明度軸に対し、彩度は中間明度で極大
となる弧上に載る。

【００８８】３．弧状分布の上半分の弧はスペキュラ成
分に対応するものであり、シーンにおける入射角／視点
の関係に対応して移動する。しかし、視点への距離が十
分であれば、対象物の移動による入射角／出射角の変化
は十分に小さく、弧状分布の形状は変化しない。

【００８９】４．反射光の色空間分布はこの弧状分布上
に現われ、分光反射特性の相違は弧状分布の相違として
明確に現われる。特に中間明度／最大彩度の近傍では顕
著となる。

【００９０】このように、通常画像として得られる対象
物の色の分布では、厳密な二色性反射モデルは成り立た
なくても、上記性質が保存されるため、たとえ反射光の
色空間分布軌跡が分光学的／測色学的に厳密に正確でな
くとも、上記性質を利用する本発明が成立することにな
る。

【００９１】次に、この性質を具体的に利用するための
密度分布関数におけるサブクラスの表記について説明す
る。

【００９２】［２．反射光の色空間分布軌跡の混合密度
表記］識別を行う場合、ある特徴空間において、識別し
ようとする特徴ベクトルが目的とされるクラスの特徴空
間分布に対して、その空間的距離が充分に近いか否かの
判定をおこなう。画像を構成するすべての特徴クラスが
既知である場合、特徴空間におけるクラス重心に対する
特徴ベクトルの距離をもって何れかのクラスに帰属させ
るかの判定の方法がある（線形最小距離識別、区分的線
形最小距離識別）。また、クラスの分布の統計的性質が
判り、これを分布密度関数で記述できる場合は、最尤識
別法等にみるように統計的に最小誤差で特徴ベクトルを
分類を決定する方法が知られる。

【００９３】しかし、領域抽出の方法として、色空間を
特徴量空間として色座標を特徴ベクトルとして、対象の
分光反射特性が均一であり、その色空間でのカラークラ
スタ（軌跡）をこのクラスの分布として記述するには以
下の問題が生ずる。

【００９４】・軌跡そのものは幾何強度因子の角度ｉ，
ｅ，ｇにより確定するが、分布密度は対象の形状に依存
する。また、この分布密度は対象が同一でも回転によっ
て著しく変化する。

【００９５】・軌跡の形状は単純な分布ではなく通常、
弧状であり、単一の関数での記述が困難である。

【００９６】・分布軌跡が単純な弧ではなく、分散を持
っている。この分散は撮像系、画像再現系に依存し単純
な正規分布とはならない。

【００９７】分布が弧状であることについては、特徴ク
ラスを複数にした、区分的線形最小距離識別、或いは分
布密度関数を混合記述する方法の適用が考えられる。単
一の画像における領域抽出ではこれの適用で可能であ
る。が分布密度自体がフレーム間で変化するということ
は、単一の画像で単純なクラスタリングによるクラス抽
出をするというような学習の仕方では異なったフレーム
での領域抽出では特徴クラスとしては不十分である。

【００９８】特に、対象物上の法線がある角度に偏って
いる場合、実際に観測される分布密度の変化は著しい。
しかし、色の分布は弧に沿ってよく集中し、低明度低彩
度であるシャドウ部を除くと分布／軌跡の衝突は極めて
稀であることから、これを、正規分布等に近似して、空
間的に必要充分に被覆し、色空間分布軌跡をこの正規分
布の混合とし、信頼区間推定される特徴量空間では帰
属、それ以外での特徴量空間では確率０として扱う。特
に分布関数としては、正規分布は性質がよく知られ、数
学的扱いにも優れる。したがって、本実施形態では、分
布関数の一例として、この正規分布を介して以下の帰属
関数δを定義する。なお、以下に説明する正規分布関数
を用いた場合では各サブクラスは後述するように楕円体
状になるが、本発明に用い得るサブクラス関数が示す色
空間上の形状としては、円筒状のものや直方体状のもの
など種々の形状を示す関数が考えられる。

【００９９】

【数２】

【０１００】距離関数としては、Ｍａｈａｒａｎｏｂｉ
ｓ距離を適用するものとして、距離関数Ｄは、Ｄ² _N(μ，Σ)（ｘ）＝（ｘ−μ）^rΣ^-1（ｘ−μ）と定義する。

【０１０１】色空間を特徴量空間とすれば、顕色系色空
間であろうが混色系色空間であろうが、その次元は三次
元であり、帰属関数δは楕円体となる。従って、対象物
の領域抽出条件は、分散を伴う弧状の分布を帰属関数δ
の論理和として記述することに帰結する。今まで、すで
にサブクラスという表現を用いてきたが、ここで改め
て、反射モデルを基本として規定される対象物の弧状分
布軌跡をこの特徴空間におけるクラス、このクラスを記
述されるための帰属関数δの個々をこの特徴クラスにお
けるサブクラスとする。

【０１０２】この特徴量空間におけるサブクラスが楕円
体として表現されることは、以下のことを示している。

【０１０３】・楕円体の軸は、このサブクラスにおける
相関０の軸を表わす。

【０１０４】・各軸の長さは、分散の規模に応じて短く
なる。

【０１０５】本発明では特にこのサブクラスの解釈は、
楕円体の長軸の方向はこのサブクラスの伸びてゆく方向
を表わし、短軸はこの長軸への拘束の度合を示す。サブ
クラスの長軸はサブクラス間の連結方向に伸び、クラス
の弧状分布に沿ってゆく。その他の軸はこの弧状分布の
分散の度合を表わす。あるいは因子分析の用語で述べれ
ば、主因子は弧状分布の伸びの方向（トーン面，すなわ
ち明度−彩度面、色相角は或る特定の角度に強く拘束さ
れる）、第二，三因子は、この弧からの分散の度合を示
す。

【０１０６】あるいは、このサブクラスを得るのに、画
像を色空間でクラスタリングして得ようとするのであれ
ば、必ずしも各クラスタは主因子とその他の因子との間
でこのような制約を満たしていることを限定しない。

【０１０７】以上、画像から複数の分光反射特性をもつ
対象を抽出しようとするとき、分光反射特性ごとに定ま
る弧状分布に対応する個々のクラスをΩ_iとし、抽出対
象はこれらクラスの集合とする。

【０１０８】Ω＝｛Ω₁，Ω₂，…，Ω_N｝各クラスは、弧状分布を被覆するサブクラスの和集合と
し、これは、信頼水準（閾値）ｐとするときの帰属関数
δの論理和に対応するものとする。これは、楕円体で被
覆された特徴空間の部分空間となり、平均値μと分散共
分散行列Σでパラメータ記述された正規分布と信頼水準
ｐの列に対応するものとする。

【０１０９】

【数３】

【０１１０】［３．学習］これらクラスΩを、識別より
事前にサンプル等（トレーニングデータ）を与え、この
サンプルから確率分布密度関数のパラメータを決定する
ことを学習とよぶ。また、学習において見本を与えるこ
とを教示という。以下、これら学習の方法について述べ
る。これまでの説明から分かるように、ここでの学習は
特定の分光反射特性による分布を被覆する楕円体のパラ
メータの列を得る問題に帰結する。

【０１１１】３．１．色空間分布におけるクラスタより
パラメータを得る方法３．２．１．教示されたサンプルの色空間分布に対して
対話形式でパラメータを決定する。

【０１１２】画像より、色空間分布軌跡のサブクラスを
自動抽出するのではなく、ユーザに色空間分布を呈示
し、その色空間分布に対して、ユーザが対話形式にサブ
クラスの個数とパラメータを適合させる方法について述
べる。呈示する色空間分布は、幾何強度因子についての
全ての角度（ｉ，ｅ）の組み合わせについての分布が表
示されていることは必ずしも保証されていないので、こ
れがユーザによる操作入力により補われる。

【０１１３】画像からの抽出対象の指定は、全画像の色
空間分布を表示してからその色空間分布に対して教示す
ることも可能であるが、表示上の見易さ扱いの簡便さと
いうことで、画像上から矩型または多角形で抽出対象領
域またはその部分をサンプル画像として特定し、その色
空間分布（殆どは抽出目標の色空間分布のみを含む）に
対して、サブクラスの帰属関数の個数とパラメータを決
定して行くものとする。

【０１１４】サブクラスの帰属関数は、本実施形態では
正規分布に基づいて定義されており、パラメータは平均
値と分散共分散行列と信頼水準（または危険率）とな
る。分散共分散行列の個々の成分の指定は困難があるの
で以下の方法で行うものとする。

【０１１５】その方法とは、色空間分布軌跡の弧を折れ
線近似し、弧からの分散を各線分毎に２方向だけ指定す
るものである。

【０１１６】サブクラスωについて、主因子はカラーク
ラスタの弧の方向または接線を示す成分と解釈する。第
二，三因子は、弧に対する分散の方向と程度を示す因子
と考えられる。カラークラスタの性質を考え合わせ、照
明光が白色光であり、相互反射が生じないとすればサブ
クラスタの分布は、通常、第二，三因子としては、色相
方向と彩度方向に直交する独立した因子があると想定す
ることは自然である。よって、サブクラスの第二，第三
の因子の解釈は、次のようになる。

【０１１７】第二因子：トーン面内での主因子に直交す
る因子、絶対値は分散（トーン面とは同色相面、あるい
は色相を限定した明度−彩度面）。

【０１１８】第三因子：トーン面に対する直交する因
子、絶対値は分散（第一因子方向、第二因子方向に対す
る分散）。

【０１１９】

【数４】

【０１２０】三次元正規分布の分散共分散行列と、その
相関を０にする直交する三つの軸を見い出す問題は固定
値、固有ベクトルの問題である。固有ベクトルは正規分
布に対して相関０を与える直交する三軸の成分、固有値
はその分散に対応する。従って、直交する三軸と各軸の
分散が与えられれば、分散共分散行列を得ることができ
る。第二，第三因子の定義により、帰属関数の楕円体の
主軸を弧状の色空間分布軌跡の接線とし、帰属関数の個
数の設定は、弧状分布の折れ線近似の程度とする。楕円
体の主軸はこの線分に近似する。

【０１２１】以上より、折れ線近似の線分の両端の点と
第二，第三因子の分散（色相方向の分散の程度と彩度方
向への分散の程度）を指定することでサブクラスの分散
共分散行列および平均値を、パラメータを得ることがで
きる。即ち、ｘ₀：主因子の端点ｘ₁：主因子の端点 λ₂：第二因子の分散（彩度方向の分散） λ₃：第三因子の分散（色相方向の分散）

【数５】

【０１２２】分散共分散行列、 Σ＝ＡΛＡ^-1 あるいは、Ａは正則正規行列であるから、 Σ＝ＡΛＡ^t このようにして、抽出対象クラスΩは、サブクラスのパ
ラメータの集合または列として扱うことが可能となる。

【０１２３】

【数６】

【０１２４】３．２．２．低明度部での領域抽出低明度部ではすべての色分布軌跡が集中する危険性があ
る。このとき、特徴量空間において間隔が不十分とな
り、他のクラスに帰属するべき特徴量ベクトルをも識別
する可能性がある。これへの対処としては以下の２法の
何れかを採用する。

【０１２５】１．弧に対する分散λ₂，λ₃を小さく設
定する。または、信頼水準ｐを低めに設定する。

【０１２６】２．低明度部に限り、抽出対象クラスΩの
他非抽出対象クラスΩ^-を設定し、各クラスの尤度（Ｍ
ａｈａｒａｎｏｂｉｓ距離）をそのクラス内で最小値を
そのクラスの尤度とし、クラス間の尤度を比較し、より
低い値をとるクラスにその特徴量ベクトルが帰属するも
のとする。

【０１２７】１．の方法は、低明度に限り判定を厳しく
するもので、カラークラスタの観測からもこの部分（ｍ
ａｔｔｅｌｉｎｅの低明度部）は比較的弧または線分
上に特徴量ベクトル（色分布）が集中している事実に適
合する。限定する方法としては信頼水準を操作するより
は、分散λ₂，λ₃を小さく設定するほうが好ましい。
信頼水準ｐを小さくすると主因子方向にも制限が加わり
帰属関数が途切れる危険性がある。

【０１２８】２．の方法は最尤識別を明度を基準に限定
的に使用する方法であり、この部分について抽出対象ク
ラスΩと非抽出対象クラスΩ^-の二つを設定する。即
ち、

【数７】

【０１２９】距離関数はＭａｈａｒａｎｏｂｉｓ距離と
し、

【数８】

【０１３０】となる。

【０１３１】次に、具体的な実施形態について説明す
る。

【０１３２】（発明の第１の実施の形態）図４は本発明
の実施の形態に係る画像領域抽出装置の一例を示す構成
図である。

【０１３３】この画像領域抽出装置は、ワークステーシ
ョンやパソコン等からなる計算機本体１１０に設けられ
た画像領域抽出部１１１と、当該計算機本体１１０に接
続される入力装置１１２、記憶装置１１３及び表示装置
１１４によって構成されている。

【０１３４】入力装置１１２は、マウスやキーボードか
らなり、原画像の画像データから抽出すべき領域を指定
し、上記したクラス、サブクラス（厳密にはサブクラス
のもとになる正規分布Ｎ（μ，Σ）もしくは距離関数Ｄ
_{Ｎ（μ，Σ）}）を指定するとともに、サブクラスの区間
を限定する閾値ｐの指定入力を行うために使用される。

【０１３５】記憶装置１１３は、領域抽出の対象となる
画像データ及び領域抽出された抽出データ等の各種デー
タを保存するものである。なお、画像データとしては静
止画像や動画等のシーケンス画像等が考えられる。

【０１３６】表示装置１１４には、抽出データの画像
や、各種指定入力を行う段階での変換データ等が表示さ
れる。

【０１３７】画像領域抽出部１１１は、画像データを顕
色系の色空間のデータ，すなわち変換データに変換する
顕色系色変換部１２０と、画像データについてのクラス
パラメータを算出するクラスパラメータ算出部１２１
と、クラスパラメータ及び変換データを用い指定された
閾値ｐに基づき画像データの領域抽出を行い抽出データ
として出力する領域抽出部１２２とから構成されてい
る。

【０１３８】次に、画像領域抽出部１１１における処理
の流れを図５を用いて説明する。

【０１３９】図５は本実施形態の画像領域抽出部におけ
る処理の流れを示す図である。

【０１４０】同図に示すように、画像領域抽出の処理
は、画像データ１３０が顕色系色変換部１２０及びクラ
スパラメータ算出部１２１のサンプル領域指定部１３１
に入力され、顕色系色変換部１２０で変換された変換デ
ータ１３２がサンプル領域色空間分布作成部１３３及び
領域抽出部１２２に入力される。

【０１４１】一方、サンプル領域指定部１３１において
は、入力装置１１２により画像データ１３０から抽出す
べき領域が指定され、その指定内容がサンプル領域色空
間分布作成部１３３に通知される。

【０１４２】サンプル領域色空間分布作成部１３３は、
指定された領域及び上記変換データ１３２から抽出すべ
き領域の色情報を色空間上に展開し、その色分布情報を
クラス指定部１３４に提供する。

【０１４３】クラス指定部１３４において、入力装置１
１２により、抽出すべき領域を特定する情報として、上
記［３．学習］の項目で説明した主因子、第二因子及び
第三因子が入力され、この入力情報に基づきクラスパラ
メータ計算部１３５によりクラスパラメータ１３６が計
算され領域抽出部１２２に入力される。なお、このクラ
スパラメータは、サブクラス平均値ベクトルμ_i及びサ
ブクラス分散共分散行列Σ_iであり、これらの確定によ
り、各サブクラスの帰属関数のもととなる正規分布Ｎ
（μ，Σ）が決まる。

【０１４４】領域抽出部１２２では、クラスパラメータ
１３６で表現される色空間上の正規分布のどこまでを抽
出するかの閾値となる閾値ｐ（信頼水準もしくは区間パ
ラメータともいう）が入力装置１１２より入力され、こ
の閾値ｐ、変換データ１３２及びクラスパラメータ１３
６から領域抽出が行われ、抽出領域画像としての抽出デ
ータが出力される。

【０１４５】次に、この処理の流れについてより具体的
に、上記「１．反射光の色空間分布」、「２．反射光の
色空間分布軌跡の混合密度表記（サブクラス決定方
法）」、「３．学習（トレーニングデータの付与）」の
内容に則して説明する。

【０１４６】図６は本実施形態の画像領域抽出装置の処
理対象となる画像の例を示す図である。

【０１４７】ここで、領域抽出の目標は対象物２０（閉
曲線２１で囲まれる部分）を領域として抽出することで
あり、この画像データより得られた特徴量空間（色空
間）におけるクラスの記述を用いて、画像データよりこ
の対象物２０の占める領域を抽出する。なお、この対象
物２０は、実際のシーンにおいては単一の物質からなり
即ちその表面の分光反射特性は均一である。

【０１４８】先ず、サンプル領域として抽出対象物２０
の部分２５を指定する。これは図５でいえばサンプル領
域指定部１３１に対するサンプル領域指定入力であり、
この指定でサンプルデータ（トレーニングデータ）が与
えられる。このとき対象部の明暗の変化をなるべく広く
取ることが望ましい。図６に示すサンプル部分２５の各
画素の色情報を色空間３０に投影したものが図７であ
る。

【０１４９】図７はサンプル指定領域の色空間上での反
射光分布の一例を示す図である。

【０１５０】本実施形態ではこの色空間を顕色系色空間
とし、明度軸３３と色度面を反対色の関係を表現する軸
３１，３２（３１を赤−緑軸、３２を青−黄軸とし、各
軸３１，３２，３３は相互に直交する三次元座標系であ
るとする）。３５は色相環を表わし、色度成分３１，３
２の比が一定であれば、色相は同一であるものとする。
３６は同一色相面（同一トーン面）である。なお、図７
は顕色系色空間としてＣＩＥＬＡＢの色空間を示してい
る。

【０１５１】以上の性質を持つ色空間３０（以下、特徴
量空間ともいう）に投影されたサンプル画像部分２５の
分布が分布４０である。４１は分布４０の中心線、５０
〜５９はこの中心線に対して直交する面とこの分布４０
の断面を示す。

【０１５２】この断面の一般的性質を５０を例にとり、
図７（ｂ）を用いて説明する。すなわち図７（ｂ）は断
面５０を示している。同図に示されるように、分布４０
には中心４１からの分散がある。これは、トーン面３６
の方向６０即ち彩度の方向の分散とこれに直交する方向
即ち色相方向６１の分散である。また、一般に色相方向
の分散６１は彩度方向の分散６０よりも小さい傾向があ
る。

【０１５３】この分布４０は、対象物２０の反射光とし
て発生し得る色の範囲を近似的に表わしているものと考
えられる。

【０１５４】図８は反射面と光源及び視点との位置関係
を示す図である。

【０１５５】ここで図８に示すような幾何条件、すなわ
ち固有の分光反射特性を有する反射面９０上の反射の発
生する点９１（このとき、この点９１を通る面法線を９
９とする）について分光特性一定の光源９２（白色と仮
定）と点９１を観測する視点９３があるものとする。

【０１５６】法線９９と光源からの光線（入射光）との
なす角度を９５（ｉ）、視点方向となす角度を９４
（ｅ）とする。反射光の分光分布（色）は面９０の傾き
によって変化するが、さきに述べた二色性反射モデルに
より、この分布は、スペキュラ反射成分と吸収拡散反射
成分の和として表わされ、したがって、角度ｉ，ｅの関
数として表現される。

【０１５７】ここで、反射面９０が対象物２０上のもの
であり、そして光源９２と視点９３がこの対象物２０か
ら相対的に充分はなれた位置にあるとする。このとき、
面上の角度９４と角度９５との和角度９６は一定の関係
が保たれるような幾何条件であれば、発生する反射光の
色空間上での発生範囲は、対象物２０上での色の明暗に
よる変化が一定分布上に現われるものとみなせる。すな
わちサンプルデータから得られた色空間分布４０はこれ
に対応する。

【０１５８】この幾何条件での反射光の色空間３０にお
ける発生範囲の概略は二色性反射モデルに従うものであ
り、図１に示した通りである。

【０１５９】二色性反射モデルに従う場合の反射光の色
の範囲は、図１に示す線１０１，１０２であり、線１０
１はスペキュラ反射成分、線１０２は吸収拡散反射成分
に対応する。角度９６が変化すると二色性反射モデル上
では線１０１の成分が線１０２の成分に接合する点１０
３を移動させる。

【０１６０】どのような規格の顕色系色空間であるかに
よって、線１０１，１０２の直線性等はことなるが、混
色系色空間（例えば、ＣＩＥＸＹＺ、明度軸は三軸の対
角線となる）の明度軸に線１０１は平行な直線（これは
光源９２を白色光と仮定しているからだが）で、線１０
２の成分は原点を通る直線の上に現われる。顕色系色空
間の場合は線１０１は明度軸に対して平行にはならない
が、線１０１，線１０２成分ともトーン面からの分散は
大変に小さい。

【０１６１】また、二色性反射モデルによれば、反射面
の分光反射特性、照明光の分光特性、と幾何条件が明確
に判っていれば、この反射面での反射光の発生範囲は予
測可能であり計算で求められる。また、対象物２０の形
状とその位置（照明光、視点に対する）が判れば、この
対象物からの反射光の色空間分布も計算・予測可能であ
る。しかし、上述したように、通常これらの条件は知る
ことはできない。

【０１６２】また、色空間分布４０がある幾何条件にお
ける反射光の発生範囲の近似とみなせるのは、物体の面
が連続して変化してゆくものであるため、反射光の発生
範囲を知るためには充分な範囲と測定点での角度ｉ，ｅ
（９４，９５）の関係が得られるとみなせるからであ
る。

【０１６３】また、すでに述べたように、撮像系、色信
号データ処理系で画像データの色再現が非線形で歪むこ
とが多いので、色空間分布４０は二色性反射モデルの理
論値通りにはならず、通常弧状の分布として観測され
る。つまり、ノイズ等で理論的に予測され発生範囲に対
して観測される色空間分布に分散が生ずる。

【０１６４】このような色空間分布４０から、この反射
光の発生範囲を記述する方法を説明する。

【０１６５】図９は本実施形態における各サブクラスの
例を示す図である。

【０１６６】本実施形態では図７の色空間分布４０を、
図９のような楕円体８０，８１，８２の集合（混合）と
して表わす。この例ではサブクラスは、ライト部、中間
部、シャドウ部の三として与えられる。

【０１６７】この各楕円体は、各々サブクラスに対応
し、本実施形態では区間限定した三次元正規分布であ
り、平均値と分散共分散行列でパラメータ記述される。
各楕円体の中心軸となるのは、点７０，７１，７２，７
３を結ぶ各線分である。実際的にはこの３つの線分が図
７の中心４１に対応するものとなる。

【０１６８】なお、各サブクラスに対応する正規分布を
得るための指定入力は図５のクラス指定部１３４に対し
てなされ、正規分布を区間限定するための閾値は図５の
領域抽出部１２２に対してなされる。

【０１６９】図１０は本実施形態におけるサブクラスの
１つを示す図である。

【０１７０】同図において、平均値は正規分布の中心４
５を表わす。また、分散共分散行列は、固有ベクトル・
固有値に分解されるが、固有ベクトルの内、最も固有値
の大きな因子（主因子もしくは第一因子ともいう）は、
図７の色空間分布４０の中心線４１に沿う因子とし、残
り２因子をトーン内での分散６０、この面に垂直方向へ
の因子６１に対応するものとする。

【０１７１】分布４０の中心４１に対応することとなる
点７５，７６間の線分に対する断面形状は、色相方向と
彩度方向に長短軸を持つ楕円形となる傾向に対応させ
る。因子６０（第二因子）は彩度方向への分散の程度を
表わし、因子６１（第三因子）は色相方向への分散に対
応する。区間限定は分散に対してその倍数として指定す
る。ある色座標値が、この区間限定された正規分布８
０，８１，８２の何れかの内部にあれば、色座標値は予
測される反射光の範囲内にあるとするものである。パタ
ーン認識の考え方に即して言えば、分布４０は色空間を
特徴量空間とするとき、対象物２０の領域のクラスであ
り、このクラスは正規分布に基づく関数８０，８１，８
２で記述されるサブクラスに分割して表現されたことに
なる。

【０１７２】複数のサブクラスの内部に現れる色座標
（特徴量ベクトル）は各正規分布へのＭａｈａｒａｎｏ
ｂｉｓ距離を評価して、その距離の最も近くなるサブク
ラスにその特徴量ベクトルが識別されるものとする。サ
ブクラスを正規分布を用いて記述することのメリット
は、平均値と中心線の方向（これにより、第二，三因子
の方向は一意に決定される）と色相・彩度方向への分散
の程度と区間の限定の度合を指定することで、定義がで
きる。固有ベクトルと色相／彩度方向への分散の程度を
指定する方法は、対話形式で行うときに直観的に優れて
いる。

【０１７３】図５のクラス指定部１３４で行われる、上
記正規分布を対話形式で与える方法について述べる。先
ず、図７に示す分布４０の中心線４１を折れ線で近似す
る。図９に示すように、そのための点７０，７１，７
２，７３を与える（なお、これらの点はトーン面３６の
上にあるとは限らない）、線分７０−７１，７１−７
２，７２−７３が各サブクラスを表わす正規分布の第一
因子の方向に対応するである。各線分の中点が各サブク
ラスの平均値に対応する。

【０１７４】第二，第三因子の方向については、すでに
説明したように、図１０に示す平均値４５を通り明度軸
３３の方向の伸びかつ第一因子方向６３に直交する方向
を第二因子の方向６０とし、第一，第二の因子と直交す
る方向を第三の因子の方向６１とする。ここで、楕円体
８５を決めるための点７５をｘ₀（ｘ₀，ｙ₀，
ｚ₀）、点７６をｘ₁（ｘ₁，ｙ₁，ｚ₁）として、こ
の２点の中点を平均値μ（μ_x，μ_y，μ_z）つまり平
均値４５、明度軸上の第二因子と交差する点３７をａ
（ａ，０，０）（本実施例では顕色系色空間を想定）と
し、各因子の方向をｅ₁，ｅ₂，ｅ₃とする。また、第
二，三因子の方向への分散をλ₂，λ₃とするとき、図
５のクラス指定部１３４に与えられるｘ₀，ｘ₁，
λ₂，λ₃から、正規分布をパラメータ記述するための
分散共分散行列Σを決定する方法は以下のように定義さ
れる。

【０１７５】なお、色空間上の２点から、三因子の方向
を決定し色空間が三属性に対して構造をもつから、自由
度は３から１に落とすことができる。また、それらの分
散の程度のうちひとつは、空間上の２点の間隔から導く
ものとする。

【０１７６】

【数９】

【０１７７】以上より、サブクラスをパラメータ記述す
るための平均値、分散共分散行列が得られた。なお平均
値、分散共分散行列の計算は、図５におけるクラスパラ
メータ計算部１３５において行われる。このまた、その
記述関数である正規分布Ｎ_μ， _Σ（ｘ）は

【数１０】

【０１７８】である。ここで、ｘは、画像データ１３０
に対応するものであり、色空間における座標値あるいは
特徴量ベクトルである。この特徴量ベクトルのクラスに
対する距離（そのクラスらしさからどの程度違っている
かの尺度）をＭａｈａｒａｎｏｂｉｓ（マハラノビス）
の汎距離Ｄ² _μ，Σとする。即ち、Ｄ² _μ，Σ（ｘ）＝（ｘ−μ）^tΣ^-1（ｘ−μ）である。

【０１７９】本実施形態では、確率分布密度は議論せ
ず、特徴量ベクトルｘが空間上ある範囲内にあるか否か
を問題としている。つまり、特徴量ベクトルｘに対する
距離Ｄ² _μ，Σが或る一定値ｐ以内であれば、特徴量ベ
クトルｘは、この（サブ）クラスに帰属しているものを
定義する。

【０１８０】

【数１１】

【０１８１】Ｍａｈａｒａｎｏｂｉｓの汎距離Ｄ²
_μ，Σは、平均値からの距離を分散で正規化したもので
あるが、サブクラスへの識別は、距離ｐで限定された空
間内に特徴量ベクトルがあるか否かによってなされる。
直観的には、ｐは正規分布をパラメータ記述する分散共
分散のｐ倍までをそのサブクラスの範囲とみなすことを
意味する。

【０１８２】言い換えると、距離（閾値）ｐは、あるｘ
に対応するマハラノビス距離がサブクラス（帰属関数）
に帰属するか否かの判断の基準となる値であり、図５の
領域抽出部１２２に対して与えられる。なお、上記サブ
クラスへの帰属判断は図５の領域抽出部１２２で行われ
る。

【０１８３】上記したようにして、サンプル領域指定、
複数サブクラス（厳密には対応する正規分布）の指定及
び閾値ｐの指定により、現実の色空間分布４０に対応す
るサブクラスの正規分布及びその区間が決まり、指定さ
れた領域が図５に示すように抽出データ１３７として抽
出されることになる。

【０１８４】以上が本実施形態を実現するための処理の
流れであるが、クラス指定部１３４でクラス指定入力を
行うに当たり、サブクラスを指定するためのユーザイン
タフェイスは、画面上に３次元である色空間分布と３次
元正規分布を表示し、３次元空間の分布と楕円体を直観
的に理解し対話的に操作するのを支援することが要求さ
れる。このクラス指定部１３４、入力装置１１２及び表
示装置１１４から構成されるユーザインタフェイスの一
例について説明する。

【０１８５】図１１はサンプルデータの色空間分布を色
空間の各２軸の２次元空間に投影した様子を示す図であ
る。

【０１８６】同図（ａ），（ｂ），（ｃ）では具体的に
はサンプルデータ２５の色空間分布４０を、赤緑軸３１
−明度３３（１０１）、青黄軸３２−明度軸３３（１０
２）、赤緑３１−青黄３２（１０３）軸面に投影して表
示したものである。

【０１８７】あるサブクラスを指定する際に、これら表
示された分布に対し、マウス、カーソル等で２点７５，
７６を設定する。このとき、三次元のうち２の次元のみ
を同時に指定することはできないので、もう一点はデフ
ォルトとして設定される。また、彩度（第二因子方向６
０）色相（第三因子方向６１）方向への分散もこの段階
ではデフォルトである。これにより、サブクラス中心４
５と軸方向６０，６１が計算され暫定的に正規分布が確
定する。

【０１８８】このデータ構造はマウス等により自由に変
更可能であり、その都度、データと表示は変更される。
データ構造は、点７５，７６の座標値と、方向６１，６
１への分散値からなる。つまり、暫定的なサブクラスの
楕円体８５を決めた後に、ユーザは、各面１０１，１０
２，１０３に示される分布４０の投影分布と楕円体８５
形状を比べながら、当該楕円体を変形させる。このと
き、第二因子方向６０及び第三因子方向６１の各分散値
λ₂，λ₃を修正することで楕円体８５形状が変形し、
点７５，７６の座標値を修正することで楕円体８５の位
置及び大きさが変形する。

【０１８９】表示された色空間分布４０に対し、このサ
ブクラス（楕円体）を追加、変形することで当該分布４
０を充分に覆い尽くす。これらにより、対象２０を色空
間３０でパターン認識するためのクラス記述が得られ
る。なお、図９はこのようにしてサブクラスを三つ指定
した例を示している。

【０１９０】次に、以上のように構成された本発明の実
施の形態に係る画像領域抽出装置により、単一画像から
領域抽出を行う場合の具体例を説明する。

【０１９１】単一の画像の領域抽出を行う場合、画像の
画素に対して、その色座標値（色）の各サブクラスに対
するＭａｈａｒａｎｏｂｉｓ距離を求める。この距離が
ｐ以内になるサブクラスがひとつでもあれば、この画素
はこのクラスに帰属すると識別される。すなわち、対象
物２０の部分であり、抽出するべき領域の要素であると
する。全画素に対して、この処理を施すことにより、所
期の領域を画像データから抽出する。

【０１９２】このためには、まず、図５のサンプル領域
指定部１３１において対象となる単一画像に対し、抽出
部分の領域指定を行う必要がある。

【０１９３】図１２は画像データに対し抽出領域の指定
を行う様子を示す図である。

【０１９４】同図は、カラーのある画像をＹｕｖ色空間
上で各成分別に示したものである。つまり、同図（ａ）
は輝度軸成分（以下、Ｙ成分ともいう）の画像であり、
同図（ｂ）は赤緑軸成分（以下、ｕ成分ともいう）の画
像であり、同図（ｃ）は青黄軸成分（以下、ｖ成分とも
いう）の画像である。なお、各図は白黒で示す表示の都
合上、Ｙ成分以外は原画像データの形状が十分に認識で
きないが、表示装置１１４における実際のカラー表示上
はその各成分の特性に従った十分な成分画像が示される
ものである。

【０１９５】ユーザは、このＹ成分画像、ｕ成分画像及
びｖ成分画像を見比べつつ、抽出領域における高明度か
ら低明度までのできるだけ種々の明度、また種々の彩度
のデータを含むように抽出領域中のサンプル領域（学習
領域）を指定する。図７における色空間分布４０が部分
的なものにならず、抽出領域に十分に対応した分布とす
るためである。

【０１９６】図１２においては、十分な色空間分布４０
を得るために２つのサンプル領域Ａ１及びＡ２が指定さ
れている。

【０１９７】図１３は図１２のサンプル領域指定の結果
として得られる色空間分布の例を示す図である。

【０１９８】ここで、同図はＹｕｖ色空間で示されてい
る、ここで、同図（ａ）は図１２のサンプル領域指定の
結果として得られる色空間分布である。一方、同図
（ｂ）は図１２に対応する画像データ全体についての色
空間分布であり、ｕｖ平面に従来の抽出方法における色
相角の指定範囲が示されている。

【０１９９】図１３（ａ）からわかるように、本実施形
態の方法で色空間分布を表示させた場合には抽出領域に
対する必要十分な色空間分布が得られている。これに対
し、色相角で抽出領域を指定する場合には、図１３
（ｂ）のｕｖ平面での範囲指定状況からわかるように所
定色相角内の全彩度の情報を検出するため、色空間上の
分布の広がりは極めて広く非抽出部分も含むことにな
り、後に図２０で具体的に示すように抽出領域以外のデ
ータも抽出されることとなる。

【０２００】次に、色空間分布４０に対するクラス指定
がクラス指定部１３４に対して行われる。

【０２０１】図１４はクラス指定データ及び指定データ
より算出されるクラスパラメータの具体例を示す図であ
る。

【０２０２】このケースでは三つのサブクラスが指定さ
れており、同図（ａ）にクラス指定データの具体例が示
されている。クラス指定部１３４に対して入力されるの
はこのデータだけである。

【０２０３】入力データに基づき、上述したようにして
クラスパラメータ計算部１３５において同図（ｂ）に示
すような各サブクラスに対応するクラスパラメータが算
出される。これらにより色空間上での各サブクラスに対
応する正規分布が決まることになる。

【０２０４】領域抽出を実行するためには、さらに閾値
ｐを指定して色空間上の楕円体の外延、つまりサブクラ
ス（帰属関数）の形状を決めなければならない。

【０２０５】この閾値ｐ入力は図５の領域抽出部１２２
に対して行われるが、個々の原画像（画像データ１３
０）からより精密な抽出データ１３７を抜き取るため
に、この閾値ｐは種々の値を指定し、最も適切なデータ
抽出ができる値を採用するようにしてもよい。その様子
が図１５〜図１９に示されている。

【０２０６】図１５〜１９は本実施形態の画像領域抽出
装置で抽出された抽出画像の例を示す図である。

【０２０７】図１５は閾値ｐ＝０．５、図１６は閾値ｐ
＝２．５、図１７は閾値ｐ＝５．０、図１８は閾値ｐ＝
７．５、図１９は閾値ｐ＝１０の場合である。

【０２０８】この閾値の意味合いはすでに説明したよう
に、クラスパラメータ１３６で決まる正規分布の信頼区
間を指定することでサブクラスの楕円体が色空間上でど
の程度の大きさになるかを示している。例えば図１３
（ａ）に示す色空間上で閾値ｐが小さい程、当該空間を
占めるサブクラスの広がりは小さい。

【０２０９】図１５〜図１９からわかるように、本実施
形態の画像領域抽出装置による領域抽出精度は極めて高
い。これは従来法による画像抽出例である図２０と比較
すると一層明確になる。

【０２１０】図２０は本実施形態との比較のための従来
方式による画像抽出例を示す図である。

【０２１１】同図は色相角を指定することで領域抽出を
行っている。従来技術でも説明したように、この方法で
は、同一色相内の異なる彩度のデータを区別できないた
め、同系色相のデータが抽出すべき領域以外にもあるが
場合にはそれらも抽出してしまう。このため図２０に示
されるように抽出対象以外の部分もかなり抽出されてい
る。

【０２１２】これに対し、本実施形態の方法では、サン
プル領域で指定しクラスパラメータにより規定した領域
の色相、彩度のデータが忠実に抽出されており。閾値ｐ
が大きくなるに従って、あくまで抽出すべき領域部分に
おいて抽出部分が増えている。

【０２１３】あまりに閾値ｐを大きくすると色空間上の
極めて広い範囲を抽出することになるので、図１９に示
すように最終的には他の領域のデータをも抽出するよう
になる。しかし、図１７、図１８に示す程度の閾値ｐで
あれば、抽出すべき領域のほどんどを抽出している場合
であっても、抽出対象とならない領域はほとんど抽出し
ておらず、極めて精度の高い領域抽出が実現されてい
る。このことは、図１７及び図１８と図１９を比較する
とより一層はっきりする。

【０２１４】上述したように、本発明の実施の形態に係
る画像領域抽出装置及び方法においては、抽出領域に対
するサンプルデータを顕色系色空間上の分布４０に変換
し、当該分布に明度軸に沿ったサブクラスを設定し、さ
らに、サブクラスを表現する正規分布に閾値ｐを与えて
サブクラスの領域を決定し、各サブクラスからなるクラ
スを抽出条件に用いて領域抽出をするようにしたので、
シフトインヴァリアントでかつ十分の範囲の限定された
抽出条件を与えることができ、これにより静止画像から
の領域抽出をより簡易かつ精密に行うことができる。

【０２１５】（発明の第２の実施の形態）本実施形態
は、第１の実施形態で説明した画像領域抽出装置により
シーケンス画像の領域抽出を行う場合について説明す
る。

【０２１６】図２１は本発明の実施の形態に係る画像領
域抽出装置の構成及び処理の流れの一例を示す図であ
り、図４及び図５と同一部分には同一符号を付して説明
を省略し、ここでは異なる部分についてのみ述べる。

【０２１７】同図に示すように、本実施形態の画像領域
抽出部１３８はデータ受付調整部１３９を設け、動画な
どのシーケンス画像を連続的に受け付けて領域抽出でき
るようになっている他、第１の実施形態と同様に構成さ
れている。

【０２１８】データ受付調整部１３９は、画像領域抽出
部１３８が静止画像でなく、シーケンス画像から連続的
に特定領域の抽出を行う場合に、顕色系色変換部１２
０、クラスパラメータ算出部１２１及び領域抽出部１２
２に対する抽出領域の学習用のキーフレーム及びその後
のシーケンス画像の画像データ提供を調整する。

【０２１９】すなわちまず、抽出領域学習用のキーフレ
ームの画像データ１３０ａを第１の実施形態の場合と同
様に顕色系色変換部１２０、クラスパラメータ算出部１
２１及び領域抽出部１２２に与え、抽出領域画像である
抽出データ１３７ａを出力させる。このとき、ユーザは
サンプル領域指定入力、サブクラス指定入力及び閾値ｐ
指定入力を行い、対象とする領域が確実に抽出されるよ
うに調整する。

【０２２０】このようにして、抽出領域に対するクラス
パラメータ１３６及び閾値ｐが確定した後は、データ受
付調整部１３９は、受け付ける画像データ１３０ｂ〜１
３０ｎを顕色系色変換部１２０、さらに顕色系色変換部
１２０を介して領域抽出部１２２に与え、上記画像デー
タ１３０ａから得られたクラスパラメータ１３６及び閾
値ｐに基づき連続的に抽出データ１３７ｂ〜１３７ｎを
抜き出し出力する。

【０２２１】本実施形態において、上記したようにシー
ケンス画像の抽出が可能であるのは、抽出対象となる対
象物が実際のシーンにおいては単一の物質からなり即ち
その表面の分光反射特性は均一であることによる。ま
た、一連のシーンにおいて、照明光は白色光でその分光
分布、照明光の光源の位置・方向等の条件は通常一定で
あるからである。

【０２２２】したがって、このような条件下では、二色
性反射モデルにおける各成分が変化することはあって
も、特徴量空間（図７の色空間３０）における色空間分
布４０の全体が極端に変化することはない。このこと
は、図１３（ｂ）及び図２２を参照すれば明らかであ
る。

【０２２３】図２２はあるシーケンス画像における８９
番目の画像の色空間分布を示す図である。

【０２２４】同図はＹｕｖ色空間で画像データ全体につ
いての色空間分布が示されている。これに対し、図１３
（ｂ）はその一連のシーケンス画像の０番目の色空間分
布である。つまり、第１の実施形態の例は一連の動画像
の一部を静止画として取り扱って示したものである。

【０２２５】図１３（ｂ）と図２２とを比較すると、両
者はよく似た分布となっていることがわかる。したがっ
て、上記したように照明光の光源の位置・方向等の条件
が一定であれば、所定の学習をさせればキーフレームに
基づく連続的な領域抽出が可能であることがわかる。

【０２２６】本実施形態の方法では、この領域抽出条件
として、第１の実施形態で説明したサブクラスの集合か
らなるクラスにより行うことになる。この方法は上記し
たように、原則としては二色性反射モデルに基づくもの
であり、シフトインヴァリアント（位置不変性）が極め
て高いのでキーフームで与えられた抽出条件で各シーケ
ンス画像から高精度に領域抽出できることになる。

【０２２７】次に、以上のように構成された本実施形態
の画像領域抽出装置の動作例について説明する。

【０２２８】本実施形態では、同一識別計算を個々の画
像に対して繰り返す。このとき、上記したように、クラ
ス／サブクラスの決定はシリーズの中の１画素（キーフ
レーム）のみで行う。以降の画像に対してはここで得ら
れたクラス記述を用いる。従って、領域抽出のためのパ
ラメータ決定は、１度の操作で済むことになる。

【０２２９】図２３は本実施形態の画像領域抽出装置に
より一連のシーケンス画像から領域抽出を行った様子を
示す図である。

【０２３０】同図において、シーケンス番号０の画像が
キーフレームとなっている。以下、シーケンス番号８５
まで、５番おきに連続的してシーケンス画像からの抽出
領域が示されている。

【０２３１】同図より、極めて高精度にシーケンス画像
の領域抽出が行われていることがわかる。

【０２３２】上述したように、本発明の実施の形態に係
る画像領域抽出装置及び方法においては、第１に実施形
態を同様な構成を設けた他、データ受付調整部１３９を
設け、シーケンス画像から連続的に画像データを与える
ことができるようにすると共に、キーフレームから与え
られたシフトインヴァリアントな一の抽出条件により連
続的にシーケンス画像の領域抽出を行うようにしたの
で、キーフレームに対する動画像等の各画像からの領域
抽出処理を精密、確実かつ容易に行うことができる。

【０２３３】なお、本実施形態ではシーケンス画像から
領域抽出する場合を説明したが、本発明はこれに限られ
るものでなく、静止画像はもちろんのこと、各種の動画
像、多視点画像等の種々の画像に適用できるものであ
る。

【０２３４】（発明の第３の実施の形態）本実施形態
は、第１及び第２の実施形態で説明した画像領域抽出装
置を画像処理装置に適用した場合の使用例について説明
する。

【０２３５】図２４は本発明の実施の形態に係る画像処
理装置の構成及び処理の流れの一例を示す図であり、図
４、図５及び図２１と同一部分には同一符号を付して説
明を省略し、ここでは異なる部分についてのみ述べる。

【０２３６】この画像処理装置は、画像領域抽出部１１
１／１３８と、画像処理部１４０と、記憶装置１４１
と、ｍｐｅｇエンコーダ１４２と、通信回線１４３を介
して合成画像１４４を送受信する図示しない通信手段
と、合成画像１４４／１４４ａ〜１４４ｎ（静止画像の
場合は合成画像１４４、シーケンス画像の場合は合成画
像１４４ａ〜１４４ｎであり、特に区別しない場合は以
下合成画像１４４とする）を受信するとこれをデコード
するｍｐｅｇデコーダ１４５と、表示装置１４６、１４
７とによって構成されている。

【０２３７】画像領域抽出部１１１／１３８は、第１及
び第２の実施形態で説明したように、画像データ１３０
／１３０ａ〜１３０ｎ（静止画像の場合は画像データ１
３０、シーケンス画像の場合は画像データ１３０ａ〜１
３０ｎであり、特に区別しない場合は以下画像データ１
３０とする）に対し、指定された領域画像を抽出し、抽
出データ１３７／１３７ａ〜１３７ｎ（静止画像の場合
は抽出データ１３７、シーケンス画像の場合は抽出デー
タ１３７ａ〜１３７ｎであり、特に区別しない場合は以
下抽出データ１３７とする）を出力するものである。

【０２３８】画像処理部１４０は、色相回転部１５０と
画像合成部１５１を具備し、抽出データ１３７／１３７
ａ〜１３７ｎを用いて種々の画像処理を行う。

【０２３９】色相回転部１５０は、抽出データ１３０の
全データを色空間上において色相環方向に所定角度回転
させる処理を行う。この処理により抽出データ１３０の
角データはその明度方向及び彩度方向の相対的な関係を
保ったまま、色相のみが変化することになる。

【０２４０】画像合成部１５１は、色相回転部１５０に
おいて色相回転をされ、もしくは回転角度０で色相回転
されなかった抽出データ１３０を背景画データ１５２と
合成し出力する。

【０２４１】この合成画像１４４は、表示装置１４７に
表示され、また、記憶装置１４１に保存されると共に、
合成画像１４４ａ〜１４４ｎが動画の場合にはｍｐｅｇ
エンコーダ１４２に入力される。

【０２４２】ｍｐｅｇエンコーダ１４２は、ＭＰＥＧ
２，すなわちＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅ
ｒｔｓＧｒｏｕｐＰｈａｓｅ２に準拠するものであ
り、合成画像１４４ａ〜１４４ｎを圧縮し、その圧縮結
果を記憶装置１４１にほそんすると共に、通信回線１４
３を介して他の場所にある画像処理装置に送信する。

【０２４３】通信回線１４３は、公衆回線や衛星通信回
線、その他ネットワークシステムにおける回線等の種々
な手段が考えられる。

【０２４４】ｍｐｅｇデコーダ１４５は、ＭＰＥＧ２に
準拠するデコーダであり、受信した合成画像１４４ａ〜
１４４ｎの圧縮データを伸張し、動画像として表示装置
１４６に表示する。

【０２４５】次に、このように構成された画像処理装置
の動作について具体的に説明する。

【０２４６】まず、静止画像から抽出された抽出データ
１３７（以下、マスクデータともいう）に背景画像を合
成する場合について、図２５を用いて説明する。

【０２４７】図２５は本実施形態の画像処理装置による
画像合成を説明する図である。

【０２４８】同図（ａ）に示すように、まず、画像デー
タ１３０に対し、画像領域抽出部１１１により同図に示
す車の部分を抽出領域として指定すると、この領域が抽
出データ１３７として出力される（図２５（ｃ））。こ
こで、抽出されたマスクデータは黄色の領域（車）であ
る。このデータに対して色相回転部１５０において色相
回転をかけると、マスクデータの明度・彩度関係が一定
に保たれたまま、色相のみが変化する。このとき、マス
クデータは青色になったとする（図２５（ｄ））。

【０２４９】この青色に変換されたマスクデータと、背
景画データ１５２を画像合成部１５１において合成し、
出力する。

【０２５０】次に、動画画像から抽出された抽出データ
１３７ａ〜１３７ｎに背景画像を合成する場合につい
て、図２６を用いて説明する。

【０２５１】図２６は本実施形態の画像処理装置による
画像合成を説明する図である。

【０２５２】同図（ａ）に示すように、まず、キーフレ
ームとなる画像データ１３０ａに対し、画像領域抽出部
１１１により同図に示す人間の部分を抽出領域として指
定し、学習させる。

【０２５３】以下、１３０ａ〜１３０ｎに対し、画像領
域抽出部１３８により連続的な領域抽出を行う。

【０２５４】逐次出力される抽出データ１３０ａ，１３
０ｂ，１３０ｃ，．．．を用いて、画像処理部１４０で
画像処理を行う。この場合は、色相回転は行わず、背景
画合成のみを行い、抽出データに対し背景画データ１５
２を合成して出力する。

【０２５５】このようにすることで、画像合成部１５１
から合成画像１４４ａ，１４４ｂ，１４４ｃ，．．．が
動画として連続的に出力されることになる。

【０２５６】また、本実施形態では、この合成画像され
た動画像に対し、ＭＰＥＧ２による圧縮をかけ、他の場
所にある装置に送信することを可能としている。送信画
像は、ｍｐｅｇデコーダ１４５にて伸張され、合成され
た動画として表示装置１４６から出力される。

【０２５７】したがって、この画像処理装置を用いれば
リアルタイムの動画合成・送信・再生処理も可能とな
る。まず、例えばカメラで撮影中の映像のワンショット
を抜き、これをキーフレームとして学習を行う。さらに
撮影中の動画像に対し、学習させた領域を連続的に抽出
し、必要に応じて色相変換、合成等を行って離れた場所
に合成動画をリアルタイムで送ることが可能となる。

【０２５８】つまり、図２４の構成に示すように、ＭＰ
ＥＧ２による圧縮技術と、画像合成等の画像処理技術
と、実施形態２で説明した領域抽出技術とを組み合わせ
ることで、リアルタイム性の高い画像合成再生が実現で
きることになる。

【０２５９】上述したように、本発明の実施の形態に係
る画像処理装置においては、第１又は第２の実施形態の
画像領域抽出装置を用いて、領域抽出を行い、さらにこ
れに画像処理を施すようにしたので、使用する抜き取り
画像の精度が高くかつデータ変換等を含む取り扱いが簡
便な画像処理装置を実現することができる。

【０２６０】また、本発明の実施の形態の画像処理装置
においては、その合成画像にＭＰＥＧ圧縮をかけ、他の
場所に送出伝送するようにしたので、リアルタイム性を
高くでき、かつ、精密な抽出画像に基づく画像合成再生
を容易に実現することできる。

【０２６１】なお、本発明は、上記各実施の形態に限定
されるものでなく、その要旨を逸脱しない範囲で種々に
変形することが可能である。

【０２６２】また、実施形態に記載した手法は、計算機
に実行させることができるプログラムとして、例えば磁
気ディスク（フロッピーディスク、ハードディスク
等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体
メモリ等の記憶媒体に格納し、また通信媒体により伝送
して頒布することもできる。本装置を実現する計算機
は、記憶媒体に記録されたプログラムを読み込み、この
プログラムによって動作が制御されることにより上述し
た処理を実行する。

【０２６３】さらに、上記各実施形態では、各サブクラ
スを正規分布を用いた楕円体を用いて規定したが、本発
明は、色空間上のサブクラス形状を正規分布によるもの
に限定されるものではない。例えば正規分布に変えてサ
ブクラス形状を円筒状にすることや図３に示したように
直方体状にすることも考えられる。つまり、二色性反射
モデルの考え方に従い、抽出対象となる色空間上の分布
４０を明度軸の上方から下方にかけて複数のサブクラス
で覆い尽くすような指定形式であればサブクラスの色空
間上の形状自体は特に限定されない。

【０２６４】

【発明の効果】以上詳記したように本発明によれば、サ
ンプルの色空間分布を反映しかつ明度軸に沿ったサブク
ラスの集合を抽出条件として与えることで、静止画像か
らの領域抽出をより簡易かつ精密に行うことが可能であ
り、また、キーフレームに対する動画像等の各画像から
の領域抽出処理を確実かつ容易に行うことを可能とした
画像領域抽出方法及び装置を提供することができる。

【０２６５】また、本発明は、画像処理技術と画像圧縮
技術とを上記画像領域抽出装置に組み合わせることによ
り、リアルタイム性を高くでき、かつ、精密な抽出画像
に基づく画像合成再生を容易に実現する画像処理装置を
提供することができる。

【図面の簡単な説明】

【図１】表面反射及び吸収拡散反射の二成分を想定する
反射モデルの概略説明図。

【図２】精密なキャリブレーションを行わないときの対
象物の反射光分布を図１に含めた図。

【図３】本発明に係る画像領域抽出方法においてトレー
ニングデータに対してサブクラスを設定した様子の一例
を示す図。

【図４】本発明の第１の実施の形態に係る画像領域抽出
装置の一例を示す構成図。

【図５】同実施形態の画像領域抽出部における処理の流
れを示す図。

【図６】同実施形態の画像領域抽出装置の処理対象とな
る画像の例を示す図。

【図７】サンプル指定領域の色空間上での反射光分布の
一例を示す図。

【図８】反射面と光源及び視点との位置関係を示す図。

【図９】同実施形態における各サブクラスの例を示す
図。

【図１０】同実施形態におけるサブクラスの１つを示す
図。

【図１１】サンプルデータの色空間分布を色空間の各２
軸の２次元空間に投影した様子を示す図。

【図１２】画像データに対し抽出領域の指定を行う様子
を示す図。

【図１３】図１２のサンプル領域指定の結果として得ら
れる色空間分布の例を示す図。

【図１４】クラス指定データ及び指定データより算出さ
れるクラスパラメータの具体例を示す図。

【図１５】同実施形態の画像領域抽出装置で抽出された
抽出画像の例を示す図。

【図１６】同実施形態の画像領域抽出装置で抽出された
抽出画像の例を示す図。

【図１７】同実施形態の画像領域抽出装置で抽出された
抽出画像の例を示す図。

【図１８】同実施形態の画像領域抽出装置で抽出された
抽出画像の例を示す図。

【図１９】同実施形態の画像領域抽出装置で抽出された
抽出画像の例を示す図。

【図２０】同実施形態との比較のための従来方式による
画像抽出例を示す図。

【図２１】本発明の第２の実施の形態に係る画像領域抽
出装置の構成及び処理の流れの一例を示す図。

【図２２】あるシーケンス画像における８９番目の画像
の色空間分布を示す図。

【図２３】同実施形態の画像領域抽出装置により一連の
シーケンス画像から領域抽出を行った様子を示す図。

【図２４】本発明の第３の実施の形態に係る画像処理装
置の構成及び処理の流れの一例を示す図。

【図２５】同実施形態の画像処理装置による画像合成を
説明する図。

【図２６】同実施形態の画像処理装置による画像合成を
説明する図。

【図２７】色相角の区間を限定しその区間内の色情報を
対象物として抽出する方法について説明する図。

【図２８】クラスタリングを行い各クラスタの色情報を
対象物として抽出する方法について説明する図。

【符号の説明】

３０…色空間３１…赤緑軸３２…青黄軸３３…明度軸３５…色相環３６…同一色相面４０…色空間分布４１…分布中心線４５…正規分布中心５０，５１，５２，５３，５４，５５，５６，５７，５
８，５９…分布断面６０…第二因子分散６１…第三因子分散７０，７１，７２，７３…第一因子を与える点８０，８１，８２…正規分布１０１…スペキュラ反射成分１０２…吸収拡散反射成分１０３…成分接合点１１１，１３８…画像領域抽出部１２０…顕色系色変換部１２１…クラスパラメータ算出部１２２…領域抽出部１３０…画像データ１３１…サンプル領域指定部１３２…変換データ１３３…サンプル領域色空間分布作成部１３４…クラス指定部１３５…クラスパラメータ計算部１３６…クラスパラメータ１３７…抽出データ１３９…データ受付調整部１４０…画像処理部１４２…ｍｐｅｇエンコーダ１４３…通信回線１４４…合成画像１４５…ｍｐｅｇデコーダ１５０…色相回転部１５１…画像合成部

Claims

【特許請求の範囲】

【請求項１】自然カラー画像における所定の領域を抽
出対象として抽出する画像領域抽出方法において、前記抽出対象のサンプルデータを色空間上に変換して、
画像上のサンプルを色空間上の色空間分布とし、前記色空間分布の高明度側から低明度側もしくは低明度
側から高明度側にかけ明度軸に沿って、かつ前記色空間
分布の中心近傍を通過するような複数の線分を設け、前記各線分を中心軸とした色空間上の部分的な分布を前
記各線分に対応する各部分分布とし、前記自然カラー画像のデータ点を前記色空間に変換した
ときその色が前記部分分布のいずれかに含まれるとき、
前記抽出対象として抽出することを特徴とする画像領域
抽出方法。
【請求項２】前記各線分は、その中心軸に直交する第
二軸及び第三軸を有し、その第二軸及び第三軸方向の広
がりの大きさを指定することで、前記部分分布に属する
領域を規定することを特徴とする請求項１記載の画像領
域抽出方法。
【請求項３】前記第二軸及び第三軸のうち少なくとも
一つは、前記中心軸が属する同一色相面に直交すること
を特徴とする請求項１又は２記載の画像領域抽出方法。
【請求項４】前記部分分布を表現する帰属関数は、正
規分布関数とし、当該部分分布に対応する線分により得
られる平均値と、前記線分の中心点で直交する前記第二
軸及び第三軸方向に与えられる分散とに従って、その確
率分布密度関数が記述され、当該確率分布密度関数に所
定の閾値を与えることで当該部分分布の領域が規定され
ることを特徴とする請求項２又は３記載の画像領域抽出
方法。
【請求項５】前記中心軸から区分される明度区間にお
いてこの分布の確率分布密度関数パラメータを決定し、
これを部分分布とすることを特徴とする請求項１乃至３
のうち何れか１項記載の画像領域抽出方法。
【請求項６】前記色空間は顕色系色空間であることを
特徴とする請求項１乃至５のうち何れか一項記載の画像
領域抽出方法。
【請求項７】前記明度軸に沿った複数の線分は、繋が
りを有する折れ線となることを特徴とする請求項１乃至
６のうち何れか一項記載の画像領域抽出方法。
【請求項８】前記サンプルデータに基づく各部分分布
決定後、当該部分分布からなる抽出条件を用い、前記自
然カラー画像と連続性を有する少なくとも一つの連続画
像の各々から前記所定の領域を抽出する請求項１乃至７
のうち何れか一項記載の画像領域抽出方法。
【請求項９】自然カラー画像における所定の領域を抽
出対象として抽出する画像領域抽出装置において、前記抽出対象のサンプルデータを色空間上の色空間分布
に変換する色変換手段と、前記色空間分布の高明度側から低明度側もしくは低明度
側から高明度側にかけ明度軸に沿って、かつ前記色空間
分布の中心近傍を通過するように複数の線分を設け、前
記各線分を中心軸とした色空間上の所定の領域を前記各
線分に対応する各部分分布とするクラス指定手段と、前記各部分分布からなる色空間上の領域内に存在する前
記自然カラー画像のデータ点を、前記抽出対象として抽
出する領域抽出手段とを備えたことを特徴とする画像領
域抽出装置。
【請求項１０】前記領域抽出手段は、前記サンプルデ
ータに基づく各部分分布決定後、当該部分分布からなる
抽出条件を用い、前記自然カラー画像と連続性を有する
少なくとも一つの連続画像の各々から前記所定の領域を
抽出することを特徴とする請求項９記載の画像領域抽出
装置。
【請求項１１】請求項１０記載の画像領域抽出装置か
ら抽出された前記連続画像の抽出領域データ各々に画像
処理を施し、これにより連続する合成画像を作成し、こ
の作成された連続合成画像をデータ圧縮して外部に送出
することを特徴とする画像処理装置。