JP2864815B2 - 画像特徴情報統合装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像、静止画像など
の画像から得られる２つの相異なる特徴情報を統合する
ことにより、それらの特徴を共に満たしている点に反応
する第３の特徴情報を獲得する画像特徴情報統合装置に
関するものである。

【０００２】

【従来の技術】従来、画像から得られる２つの特徴情報
を統合する方法としては、２つ、あるいはいずれか１つ
の情報を２値化した後に相関などの処理を行なう方法が
採られていた。例えば、特願平０２−３３２３６８号の
境界探索装置においては、動画像から得られるエッヂ情
報と動き情報を２値化したのち統合して領域分割を行な
う方法が使われている。

【０００３】以下に従来の画像特徴情報統合装置につい
て説明する。図４は従来の画像特徴情報統合装置の基本
的な構成を示すものである。図４において、４１と４２
は静止画像あるいは動画像に２つの異なる特徴抽出演算
子を施すことによって得られる画像特徴データを記憶し
ておくメモリ、４３はメモリ４１に記憶されている画像
特徴データを２値化する２値化手段、４４はメモリ４２
に記憶されている画像特徴データを２値化する２値化手
段、４５は２値化手段４３によって２値化された画像を
記憶するメモリ、４６は２値化手段４４によって２値化
された画像を記憶するメモリ、４７はメモリ４５とメモ
リ４６に記憶されている２値画像を用いて相関演算を基
本にした統合を行なう２値画像統合手段、４８は２値画
像統合手段４７の結果を記憶するメモリである。

【０００４】以上のように構成された画像特徴情報統合
装置について、以下その動作について説明する。２値化
手段４３、４４はそれぞれメモリ４１、４２に記憶され
ている画像特徴データを２値化する。２値画像相関演算
手段４７はメモリ４５とメモリ４６に記憶されている２
値化された画像特徴データを相関演算を基に統合し結果
をメモリ４８に記憶させる。特願平０２−３３２３６８
号の境界探索装置においては、速度境界情報とコントラ
スト情報を統合し領域境界点（領域境界情報）を求める
ため、この特徴情報統合装置が用いられている。

【０００５】

【発明が解決しようとする課題】しかしながら、上記従
来の構成では特徴情報を２値化してから情報の統合を行
なうため、濃淡表現された画像特徴データの持つ重要な
情報を情報の統合を行なう前に落としてしまうという欠
点があった。例えば、濃淡表現された画像特徴データが
尾根線状分布をしている時、これを単純にある閾値によ
って２値化しただけでは図５の様に尾根線部分の特徴値
の分布の様子やピークの位置の情報が欠落してしまう。
また出力される結果も２値化されてしまい結果の持つ情
報量も低い。また、上記従来の構成では、領域境界点を
一つずつ確定しながら処理を進めるため、処理の途中で
１回領域境界点の位置を間違えるだけでその後の処理に
悪影響を与えるという欠点も有していた。

【０００６】

【課題を解決するための手段】この課題を解決するため
に本発明は、第１の画像特徴を表す第１の特徴データを
記憶する第１の記憶手段と、第１の画像特徴とは異なる
第２の画像特徴を表す第２の特徴データを記憶する第２
の記憶手段と、処理を行なう座標を生成する処理座標生
成手段と、前記処理座標生成手段によって生成される座
標の回りの座標を生成する近傍座標生成手段と、特徴画
像から指定された点の近傍領域を切り出す特徴データ切
りだし手段と、切り出された２つの２値化されていない
特徴データの間で相関演算を行なう特徴データ相関演算
手段と、前記特徴データ相関演算手段から得られる相関
値の中から最大値を求める最大値算出手段を設けたもの
である。

【０００７】

【作用】上記のような構成においてその作用を説明す
る。入力された相異なる特徴を表す二つの特徴データは
それぞれ第１の記憶手段と第２の記憶手段に記憶され
る。第１の特徴データ切りだし手段は第１の記憶手段に
記憶されている第１の特徴データから、処理座標生成手
段が生成する座標で示される位置の近傍領域を切り出し
て特徴データ相関演算手段に渡す。近傍座標生成手段
は、処理座標生成手段によって生成される座標の回りの
Ｍ×Ｎ個の座標を生成し、第２の特徴データ切りだし手
段に座標を与える。第２の特徴データ切りだし手段は、
第２の記憶手段に記憶されている第２の特徴データか
ら、近傍座標生成手段が生成する座標で示される位置の
近傍領域を切り出し、特徴データ相関演算手段に渡す。
特徴データ相関演算手段は、第１の特徴データ切りだし
手段によって切り出される第１の特徴データと、第２の
特徴データ切りだし手段によって切り出される第２の特
徴データとで相関演算を行ないＭ×Ｎ個の結果の値を最
大値算出手段に渡す。最大値算出手段は、相関演算手段
から渡される値の最大値を求め、第１の画像特徴と第２
の画像特徴をともに満たしている点に反応する第３の画
像特徴の値として、前記処理座標生成手段によって生成
される座標と対応付けて第３の記憶手段に記憶させる。

【０００８】上記作用により、特徴データのもつ有意義
な情報を失わずに統合を行なうことができ精度の良い結
果が得られる他、第１の画像特徴に反応する点が第２の
画像特徴に反応する点と多少ずれていても、そのずれを
無視してその点を第１の特徴と第２の画像特徴に共に反
応する点として特徴データを生成することにより、第２
の画像特徴に反応する点の位置が誤差を含む場合にも安
定な特徴抽出が可能になる。また、処理座標生成手段が
生成する画像上の点に対して、近傍座標生成手段と特徴
データ切り出し手段と特徴データ相関演算手段と最大値
算出手段が同様の処理を順に行なっていき２値化されて
いない特徴データを出力する構成になっており、ある一
点で間違った出力をしてもその影響が他の点の処理に及
ぶことはない。

【０００９】

【実施例】以下本発明の実施例について、図面を参照し
ながら説明する。図１は本発明による画像特徴情報統合
装置の一実施例を示す概念図である。図１において、１
０１、１０２は２つの異なる画像特徴データを記憶する
第１、第２のメモリ、１０３は処理を行なう座標を生成
する処理座標生成プロセッサ、１０４は処理座標生成プ
ロセッサ１０３によって生成される座標の回りのＭ×Ｎ
個の点の座標を生成する近傍座標生成プロセッサ、１０
５は処理座標生成プロセッサ１０３が生成する座標で示
される位置の近傍領域を第１のメモリ１０１から切り出
す第１の特徴データ切り出しプロセッサ、１０６は近傍
座標生成プロセッサ１０４が生成する座標で示される位
置の近傍領域を第２のメモリ１０２から切り出す第２の
特徴データ切り出しプロセッサ、１０７は第１の特徴デ
ータきりだしプロセッサ１０５によって切り出される特
徴データと、第２の特徴データ切り出しプロセッサ１０
６によって切り出される特徴データとの相関値を算出す
る特徴データ相関値算出プロセッサ、１０８は特徴デー
タ相関値算出プロセッサ１０７によって算出されてくる
Ｍ×Ｎ個（Ｍ，Ｎ＞０）の相関値の中で最大のものを選
ぶ最大値算出プロセッサ、１０９は最大値算出プロセッ
サによって選ばれた最大値を２値化する２値化プロセッ
サ、１１０は２値化プロセッサ１０９で２値化された値
を、処理座標生成プロセッサが生成する座標で示される
位置の値として記憶する第３のメモリである。

【００１０】以上のように構成された画像特徴情報統合
装置についてその動作を説明する。ここでは、動画像か
ら得られるエッヂ特徴と速度境界特徴を統合して運動領
域の輪郭を抽出する例について考える。まず、第１のメ
モリ１０１と第２のメモリ１０２にエッヂ特徴データと
速度境界特徴データが入力される。この特徴データにつ
いては後で説明する。

【００１１】第１のメモリ１０１に記憶されている画素
Ｐ（Ｘ，Ｙ）の値をｆ（Ｘ，Ｙ）、第２のメモリ１０２
に記憶されている画素Ｐ（Ｘ，Ｙ）の値をｇ（Ｘ，Ｙ）
とする。特徴データ切り出しプロセッサ１０５は、処理
座標生成プロセッサから生成される座標（Ｘ，Ｙ）を参
照し、（式１）で示される画素Ｐ（Ｘ，Ｙ）の回りのＫ
×Ｋ個の画素の値を第１のメモリ１０１から読みだして
特徴データ相関値算出プロセッサにわたす。

【００１２】

【数１】

【００１３】但しｘ座標あるいはｙ座標が負の値をとる
座標の画素の値は０とする。近傍座標生成プロセッサ１
０４は、（式２）により示す処理座標生成手段から生成
される座標（Ｘ，Ｙ）のＭ×Ｎ個の近傍座標を生成し一
つずつ特徴データ切り出しプロセッサ１０６に渡す。

【００１４】

【数２】

【００１５】特徴データ切り出しプロセッサ１０６は、
近傍座標生成プロセッサから渡された座標（Ｚ、Ｗ）の
回りのＫ×Ｋ個の画素（数３）の値をメモリ１０２から
読みだして特徴データ相関値算出プロセッサ１０７に渡
す。但しｘ座標あるいはｙ座標が負の値をとる座標の画
素の値は０とする。

【００１６】

【数３】

【００１７】特徴データ相関値算出プロセッサ１０７は
第１の特徴データ切りだしプロセッサ１０５から渡され
る値と、第２の特徴データ切り出しプロセッサ１０６か
ら渡される値とを用いて（数 ４）に従って相関値を算
出し、最大値算出プロセッサ１０８に値を渡す。

【００１８】

【数４】

【００１９】最大値算出プロセッサ１０８は、相関値算
出プロセッサ１０７から渡される値を受けとると制御信
号を近傍座標生成プロセッサ１０４に送って次の近傍座
標を部分画像切り出しプロセッサ１０６に渡すよう命令
する。そして近傍座標生成プロセッサ１０４が生成する
Ｍ×Ｎ個の座標に対応して算出される相関値をすべて受
けとると、その中から最大値を算出し、２値化プロセッ
サ１０９に渡す。

【００２０】２値化プロセッサ１０９は最大値算出プロ
セッサ１０８から渡された値が閾値Ｔより大きければ１
を、小さければ０を返し、その値を処理座標生成プロセ
ッサ１０３によって生成される座標（Ｘ，Ｙ）の値とし
て第３のメモリ１１０に記憶させ、更に処理座標生成プ
ロセッサ１０３に制御信号をおくる。処理座標生成プロ
セッサ１０３は、２値化プロセッサ１０９から制御信号
を受けとると座標を図３に示された順序で生成する。但
し処理座標生成プロセッサ１０３は、初期状態では、図
４の点Ｏの座標（０，０）を生成するものとする。

【００２１】以上で画像特徴情報統合装置の動作につい
ての説明をおわる。次に、第１のメモリ１０１と第２の
メモリ１０２に記憶される特徴画像の一例を挙げる。こ
の例では動画像より抽出される特徴画像として一つは速
度境界特徴をもう一つはエッヂ特徴を用いる。ここで与
えられた動画像の時刻ｔにおける画素Ｐ（ｘ，ｙ）の濃
淡値をｍｏｖｅ（ｘ，ｙ，ｔ）とする。この時動画像ｍ
ｏｖｅ（ｘ，ｙ，ｔ）の時刻ｔにおけるエッヂ情報を表
す画像特徴データは（数 ５）で与えられる。

【００２２】

【数５】

【００２３】また、動画像ｍｏｖｅ（ｘ，ｙ，ｔ）の時
刻ｔにおける動き情報を表す画像特徴データは文献「動
画像分類のための微分積和型演算子：安藤 繁、計測自
動制御学会論文集Ｖｏｌ．２５，Ｎｏ４，ｐｐ４９６−
５０３（１９８９）」に報告された速度境界特徴演算子
の計算式（数６）によって与えられる。

【００２４】

【数６】

【００２５】このようにして与えられた、エッヂ情報を
表す画像特徴データ（エッヂ特徴）を第１のメモリ１０
１に、動き情報を表す画像特徴データ（速度境界特徴）
を第２のメモリ１０２に記憶させる。

【００２６】これらの画像特徴データは以下のような性
質を持っている。 （１）エッヂ特徴は、与えられた動画像の時刻ｔのフレ
ームのエッヂの部分に反応し、そこでは図２のような尾
根線状の分布をしている。但し、時刻ｔのフレームのす
べてのエッヂ部分に反応し、運動領域の輪郭部分のエッ
ヂにのみ反応するわけではない。

【００２７】（２）速度境界特徴は、与えられた動画像
の時刻ｔにおける速度境界に反応し、そこでは図２のよ
うな尾根線状の分布をしている。但し、動きから推定さ
れる情報なので、時刻ｔにおける原動画像のフレームで
の運動領域の輪郭の位置を正確に表しているとはいえな
い。また、速度境 界特徴は動きに敏感であり、物体の内
部の点であってもその点の回り の領域の動きが均一でな
ければ、高い値を出力する可能性がある。従 って、速度
境界特徴は物体の輪郭以外の点に反応する場合がある。

【００２８】したがって、この２つの特徴のいずれもに
反応する点が運動領域の輪郭であり、本発明画像情報統
合装置によりこれら２つの特徴を統合して得られる特徴
は、運動領域の輪郭特徴を表していると考えてよい。こ
の場合、本発明を用いて分布の相関をとり情報を統合す
ることによって輪郭特徴を得ることにより、有効な特徴
を落とさずに正確な運動領域の輪郭特徴を得ることが可
能になる他、速度境界特徴が実際の輪郭の位置から少し
ずれて反応している場合でも運動領域の輪郭特徴を正確
に得ることが可能になる。

【００２９】

【発明の効果】以上の様に本発明は、第１の画像特徴を
表す第１の特徴データを記憶する第１の記憶手段と、第
１の画像特徴とは異なる第２の画像特徴を表す第２の特
徴データを記憶する第２の記憶手段と、処理を行なう座
標を生成する処理座標生成手段と、前記処理座標生成手
段によって生成される座標の回りの座標を生成する近傍
座標生成手段と、特徴画像から指定された点の近傍領域
を切り出す特徴データ切りだし手段と、切り出された２
つの２値化されていない特徴データの間で相関演算を行
なう特徴データ相関演算手段と、前記特徴データ相関演
算手段から得られる相関値の中から最大値を求める最大
値算出手段を設けることにより、情報量をそこなうこと
なく２つの情報を統合し第１の画像特徴と第２の画像特
徴をともに満たす点に反応する第３の画像特徴を得るこ
とができる。また、第１の画像特徴に反応する点が第２
の特徴に反応する点と多少ずれていても、そのずれを無
視して第３の画像特徴を生成することにより、第２の特
徴に反応する点の位置が誤差を含む場合にも安定な特徴
抽出が可能になる。２つの画像特徴情報を統合するとい
う操作は数多くの画像処理で用いられており、本発明の
効果は大きい。

【００３０】例えば、動画像を領域分割しようとする
時、複数の演算子を動画像に施した演算結果を本発明に
よって組み合わせることにより高精度な領域分割が可能
になる。したがって、本発明により、ＴＶやＨＤＴＶで
の動画像データの高能率圧縮の実現方式や、ＴＶ番組や
映画等の作成における映像合成のための部品物体の切り
だし方式など、動画像の領域分割を必要とするすべての
方式の高精度化をはかることができ、本発明の効果は大
きい。

【図面の簡単な説明】

【図１】本発明の画像特徴情報統合装置の一実施例を示
す概念図

【図２】本発明の実施例で使われる特徴画像の濃淡分布
を示す図

【図３】本発明の実施例で処理をおこなう画素の順序を
示す図

【図４】従来の画像特徴情報統合装置の概念図

【図５】従来手法で画像を２値化した時にそこなわれる
情報の例

【符合の説明】

１０１ 第１のメモリ １０２ 第２のメモリ １０３ 処理座標生成プロセッサ １０４ 近傍座標生成プロセッサ １０５ 第１の部分画像切り出しプロセッサ １０６ 第２の部分画像切り出しプロセッサ １０７ 特徴データ相関値算出プロセッサ １０８ 最大値算出プロセッサ １０９ ２値化プロセッサ １１０ 第３のメモリ ５１ メモリ ５２ メモリ ５３ ２値化手段 ５４ ２値化手段 ５５ メモリ ５６ メモリ ５７ ２値画像相関手段 ５８ メモリ

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 第１の画像特徴を表す第１の特徴データ
   を記憶する第１の記憶手段と、第１の画像特徴とは異な
   る第２の画像特徴を表す第２の特徴データを記憶する第
   ２の記憶手段と、処理を行なう座標を生成する処理座標
   生成手段と、前記処理座標生成手段によって生成される
   座標の回りの座標を生成する近傍座標生成手段と、前記
   処理座標生成手段によって生成される座標に対して前記
   第１の記憶手段に記憶されている第１の特徴データから
   対応する近傍領域を切り出す第１の特徴データ切り出し
   手段と、前記近傍座標生成手段によって生成される各座
   標に対して前記第２の記憶手段に記憶されている第２の
   特徴データから対応する近傍領域を切り出す第２の特徴
   データ切り出し手段と、前記第１の特徴データ切り出し
   手段によって切り出される第１の特徴データと前記第２
   の特徴データ切り出し手段によって切り出される第２の
   特徴データとの相関値を求める特徴データ相関演算手段
   と、前記特徴データ相関演算手段から得られる相関値の
   中から最大値を求める最大値算出手段と、前記最大値算
   出手段によって得られる値を、第１の画像特徴と第２の
   画像特徴をともに満たしている点に反応する第３の画像
   特徴の値として、前記処理座標生成手段によって生成さ
   れる座標と対応付けて記憶する第３の記憶手段からなる
   画像特徴情報統合装置。