JPH02108178A - 画像処理システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は画像に相当するビデオ信号のアクイジション手
段と、これら所望の信号を処理する手段とを具える画像
処理システムに関するものである。

（従来の技術） ここ数年来、画像処理プロセスおよび装置は静止画の解
析に向けられている。その理由は、考察される用途の大
部分が時間情報を考慮していないからである。しかし、
データ処理ハードウェアの計算能力の増大によって、画
像シーケンスの実時間処理を連続して行い得るようにし
ている。特に、アートビジョン、モニタシステム、静止
画から動く物体を抽出する動きの検出、その他側像のシ
ーケンスに悪影響を与える雑音を減少することにより良
好な画像品質を得る用途の実時間処理を連続して行い得
るようにしている。

また、動画像の処理に特有の問題を解決する努力も払わ
れている。人間の視覚系により動きの認知に関して実施
された種々の視覚心理学の実験はここでは言及しない。

かかる実験の結果として、順次の画像が動きの振幅に関
して十分迅速である（　Ｄ　、　Ｈ、バラードおよびｃ
ｈ、Ｍ、ブラウン共著″コンとニータビジョン″１プレ
ンティスーホール社発行、１９８２年参照）。これは、
動きが画像レベルで検出され、観察シーンのシンボル的
な表現の媒体を経てのみ検出されるものでないことを示
す。

画像レベルの動きの検出は一般に、Ｔ、Ｚ、ヤングおよ
びに、Ｓ、ヒュウ共著の°°パターン認識および画像処
理ハンドブックパ　アカデミツク　プレス社１９８６年
に記載されている３つの方式のうちの１つに従って行わ
れる。

（発明が解決しようとする課題） 人間の視覚系はグレイレベル（階調）の任意の分布より
なる２　ｉｌ域の相対的動きを識別し得ると云うことが
簡単に喚起されるものである。この場合、景色の関連す
る物理的な点に至る試みおよび連続画像間のカメラの変
位を推測することが試みられた。この方式によってＮ個
の未知数を含む非−直線性方程式の系を著しく複雑にし
、著しい数の個別の推測を用い得るようになる。他の簡
単な方法を用いて所定瞬時にとった画像の各点ｘ、　ｙ
の瞬時速度により規定される光学流の概念を用いる。従
って、この場合に関連するものは、特定の面、即ち、物
体の３次元の動きの像面への投影であり、この方法によ
っても最大上限速度、瞬時速度の範囲の空間コヒーレン
ス等の成る範囲の速度の推定に不可欠の成る数の個別の
推測を用いるようになる。最後に、空間−時間フィルタ
により動きの検出および推定を行う第３の方式について
考察する。空間−時間フィルタによる動きの検出は特に
次の理由で興味あるものである。これは、人間の視覚系
による動きの知覚認識結果が形式的観点から極めて類似
の機構を用い、この器官の視覚系の特性の類似性は例え
ば動視覚的幻覚により生じる見かけの動きの場合に顕著
となると云うことを示す視覚心理学の実験に基づいてい
る。更に、慣例の空間−時間フィルタによれば、検出さ
えた見かけの動きの方向に対して、および僅かではある
がこの見かけの動きの速度（その理由は、速度変化に対
する人間の感度は方向変化に対する感度よりも低いから
である）に対して良好な選択性を得ることができる。最
後にこれらフィルタによって局部的な動き、即ち、観察
したシーンの広範なバラメトリンクな動きの推測を探索
する方法に対比し、画像の種りの点での種々の異なる動
きを検出することができる。

特に、既知の空間−時間フィルタ処理技術の全部は３次
元信号ｆ（ｘ、ｙ、ｔ）として処理すべき画像のシーケ
ンスを考慮することにある。Ｔ（ｆ　（ｘ、　ｙ、　ｔ
））に等しいフィルタされた信号をｆ（ｘ、ｙ、ｔ）に
関連させるためには、この３次元空間Ｘ＋ｙ＋Ｌ＋で規
定された空間−時間フィルタはこの３次元空間の有限空
間−時間サポートで完全に規定して局部キャラクタルー
ルを考慮し得るようにする必要がある。まず最初、この
空間は、物体を高さ、幅および深さに対して規定するが
、本例では時間次元をその固有の特性、特にその非可逆
性のため特定の有効係数とみなす通常の３次元空間に関
連して現われるようになる。従って、既知の空間−時間
フィルタは、時間次元に関して特定の特性に関連する狭
い特性ｘ、　ｙを示すようになる。

最も簡単な空間−時間フィルタ処理（例えばＡ。

Ｐ、パーナツト等著の論文″“セキュリティ　アプリケ
ーション　オブ　コンピュータ　モーションデイテクシ
ョン”　、５ＰＩＥ　　第７８６巻、アプリケーション
ズ　オプ　アーティフィカル　インテリジェンス　Ｖ　
　１９７８年　第５１２−５１７頁参照）は、２つの連
続する画像間に点−点差を得ることにある。

即ち、２つの関連する点が同一の輝度を有さない場合に
はこの差は零とならず、見かけの動きを示すようになる
。雑音に感応するこの技術は連続画像間の差を計算する
前にグレイレベルの中間フィルタ処理または空間手段を
実行することによって改善することができる。この技術
によって形成したフィルタは局部キャラクタの条件を満
足するが、動きの方向またはその速度の選択性は得るこ
とができず、空間−時間フィルタ処理の分野ではもはや
適宜に言えない技術によってのみその通常の特性を改善
し得るものである。

空間−時間フィルタ処理技術を改善することは直線性フ
ィルタおよびそのフーリエ変換の既知の特性を用いるこ
とにある。直角位相の直線性フィルタの２つの応答の平
方の和によって測定されるＥｌＪきの空間−時間エネル
ギーの推測、またはこの直角位相和を直角位相の２つの
フィルタの応答差に置換することによる反対位相のエネ
ルギーの同様の推測のような特定の処理を犠牲にすれば
、動きの方向および／または変位の方向に感応するフィ
ルタを得ることができる。最後にフィルタのバッテリを
用いることによって局部変位の方向および速度を推測す
ることができる。

５ＰＩＥ　　ケンブリッジ　シンポジューム　オンアド
バンス　イン　インテリジェント　ロポテイック　シス
テムス　で、１９８７年１１月にＳ、バウヘル、Ｊ、Ｍ
、ブロセビュ　およびＦ、ルノアールが発表した論文“
ビデオ画像処理を用いる交通空間測定−数学的形態素の
車両検出″“によれば、車の流れの自動測定に対し他の
型のフィルタ処理、即ち、形態素フィルタ処理を用いる
。しかし、この形態素フィルタ処理は、交通画像シーケ
ンスの連続画像間の差の平均値から構成した２次元画像
に関連するだけである。この場合も前述したフィルタの
場合のように、画像の空間面における成る型の特性およ
び時間方向に対する特定の特性が存在する。

本発明は空間方向および時間方向の双方の同様の特性を
空間−時間フィルタ処理する新規な画像シーケンス処理
装置を提供することを目的とする。

（課題を解決するための手段） 本発明は画像に相当するビデオ信号のアクイジション手
段と、これら所望の信号を処理する手段とを具える画像
処理システムにおいて、この処理手段は、 （ａ）動き推定段； （ｂ）形態素フィルタ段； （Ｃ）記憶および／または可視表示段；を具え、前記形
態素フィルタ段は、前記動き推定段により推定された動
きのパラメータから空間−時間構造素子を規定する回路
と、形態素フィルタ回路とを有することを特徴とする。

本発明の変形例では、前記動き推定段は、直列接続配置
の画像調整回路、画像間の差を測定する回路およびスレ
シホルド回路を前段に具えるようにする。

（実施例） 図面につき本発明の詳細な説明する。

一般に画像処理システムはカメラのような画像アクイジ
ション手段と、これらアクイジション手段に特有の故障
の補正を行う手段とを具える。実際上、画像アクイジシ
ョン部分から到来する電子的な雑音（特に検出器、増幅
回路およびディジタル化回路から到来する雑音、その理
由は、カメラからのアナログ出力信号がディジタル形態
で処理する目的のアナログ−ディジタル変換器に一般に
転送されるからである。）を低減することが最も通常必
要とされ、しかも、カメラに特有の故障（歪み、検出器
の応答誤差等）を低減することも必要であるからである
。

カメラおよびこれに直接関連する回路の故障の補正手段
は既知であるため、詳細には説明しない。

ただ、これらによって検出性能および元画像に比較して
得られた画像の品質を改善し、これらの改善によって次
の処理の特性を高めんとするものである。

第１図に示す本発明画像処理システムは、カメラ１００
　、アナログ−デジタル変換器１１０、および上述した
ように雑音並びにカメラおよびその関連する電子回路に
固有の失敗を低減する故障補正段１２０を順次に具える
。本例では故障補正段１２０の出力側の画像列を５１２
　ドツト×５１２　ドツトのフォーマントの２５飛越し
画像７秒の列とする。これを後半第１図に次のように示
す。

５０）１ｚ、２：１．５１２Ｘ５１２ 画像ドントは２８・２５６グレイレベルにより更に符号
化する。

画像のこの５０ｔｌｚ、２：１，５１２Ｘ５１２　シー
ケンスは、飛越しフォーマットをシーケンスフォーマッ
トに変換する回路１３０に供給し、次いで、既知の型の
動き推定段３００に供給する。動きのこの推定は例えば
輪郭の抽出およびこれら輪郭の方向のヒストグラム間の
相関ピークの検出により画像の全回転をまず最初推測す
ることによって行うことができる（次の文献を参照：コ
ンピエニュ　ユニバーシティ　セシス　オン　エバ　サ
ルメロン、°゛ミーズアン　コワンシダン　オートマテ
ィク　ドコントール　エクストレ　ダマ−シュ　アエリ
エン　エ　プレマン　カルソゲラフイック”１９８６年
）。

従って、回転の推定は全トランスレーシゴンの計算が続
き、これは前に推定した回転との比較後位相相関平面法
を通用し得る（゛位相相関画像整列法”Ｃ，Ｄ、クーリ
ン　および　Ｄ、Ｃ，ハインス、ＩＥＩＥＥインターナ
ショナル　カンファレンス　オンサイバネティック　ア
ンド　ソサイエティ、サンフランシスコ　１９７５年９
月２３−２５日）。これがため、動きの推定段３００は
画像背景の動きを決めることができる。

動きの推定段３００の後段には形態素フィルタ段４００
を設け、これは段３００により推定された動きのパラメ
ータに対し空間−時間構造素子を規定する回路４１０と
、形態素フィルタ回路４２０とを具え数学的形態による
成る表記法をここで考察する。

形態素的方式は操作が実際に行われる一組としての画像
を考察する。この目的のために一構造素子と称されるも
のを規定、即ち、その中心の位置によって位置決めされ
る所定の幾何学的形状を規定する。この中心を一組の点
に一敗させることによって以下に示すように特定のオペ
レータ（侵食、拡張等）を規定することができ、考察す
るスペースは画像に適用する本例の場合にはこれら画像
の“ダレイレヘル゛関数のグラフである。これがため、
数学的形態素の言語は組みの理論の言語である。かよう
にして、形態素のフィルタ処理は信号の非直線性変換で
あり、これによりこの信号の幾何学的特性を部分的に修
正し得るようにする。２進２次元画像の場合には、この
信号はレベル１点（＝物体）の組、およびレベル０点（
＝背景）の組のデータに等価となる。この画像に対して
形態素フィルタ処理を行うことは、推測的に与えられ、
構造素子であるコンパクトなＩＢを有する物体の組Ｓ間
の相互作用を解析することにある。この素子によってミ
ンコフスキー処理がこれら組に及ぼずフィルタ処理を規
定する。これら２つの組ＡおよびＢのミンコフスキー加
算および減算は明細書末尾に添付する関係代表の関係式
（１）および（２）によって規定する。組Ｂの対称組Ｂ
′を関係式（３）によって規定することにより、２つの
二重形態素フィルタ、ＢによるＸの侵食（関係式（４）
）およびＢによるＸの展開（関係式（５））を得ること
ができる。ＢによるＸの侵食の積はｌで位置決めされＢ
ｚで表わされる前記構造素子がＸに完全に含まれる画像
の点２の組に相当することは明らかである。同様に、Ｂ
によるＸの展開はＢ２が組Ｘと交差する画像の点２に相
当する。２つの基本的な変換、即ち、已による侵食およ
び展開は違いに反転されず、その順序によって２つの新
たなフィルタ、即ち、関係式（６）で規定されるＢによ
るＸの開放および関係式（７）で現定されるＢによるＸ
の閉成を規定する。

上述した所から明らかなように、形態素フィル夕は静的
２次元画像の解析に適用されており、空間−時間信号に
適用されてはいない。本発明ではこの構造素子によって
、実際上、実行すべきフィルタ処理が規定された空間−
時間領域（即ち、Ｂは侵食および展開のような基本フィ
ルタ処理を行う空間−時間領域の点（ｘＯｌｙＯ，ｔｏ
）の組として規定する）の有限サボー１−Ｂを構成する
。空間（ｘ、ｙ＋ｔ）の原点を通る時間区分Ｂ　ｓ　（
ｘＯ，ｙＯ）　＝Ｂ　（ＸＯ。

ｙｏ、Ｏ）は任意に固定する（例えば所定半径のディス
クのように）他の区分は関係式（８）および（９）によ
ってこれから導出することができる。

ここにθ、Ｌｘ、　ｔｙは時間もの瞬時および時間１＋
１０の瞬時間の動きの段３００により推測されたパラメ
ータである。この構造素子Ｂ（ｘＯｌｙＯｌｌｏ）の時
間展開［ｔｌ、　ｔ２］は選択された平滑度の関数とし
て任意に固定するが、何れの場合にもサポートは空間お
よび時間の双方で制限する必要がある。

構造素子Ｂが一旦規定されると、回路４２０によって関
連する形態素フィルタ処理を行う。２つの画像間の相対
的な動きを考慮して時間フィルタ処理による雑音を低減
するためには、開放または閉成を行うのが好適であり、
或は又、開放−閉成（即ち、開放に続く開成）または閉
成−開放（即ち、開成に続く開放）を得るための連続す
るこれら２つのフィルタ処理を行うのが好適である。こ
れら変換の各々によって連続する順次の２つの基本空間
−時間処理、即ち、侵食および展開を区分する。

ここに関連する空間−時間侵食は後に示す関係式（ｌＯ
）によって規定し、空間−時間展開は関係式（１１）に
よって現定する。これらの関係式において、ｒ　（ｘ、
　ｙ、　ｔ）は点（ｘ、ｙ）および時間ｔの瞬時におけ
る画像のグレイ値である。従って、開放は侵食に続き展
開を行って達成し、閉成は展開および侵食よりなるシー
ケンスによって達成する（構造素子Ｂ（ｘｏ、ｙｏ＋ｔ
ｏ）の画像のシーケンスのグレイ値の最小値または最大
値は、いづれの順序でもディメンションｘ、ｙまたはＬ
の各々の最小値または最大値の連続する順次の３つの連
続抽出に区分することができることは明らかである）。

段４００に続く段５００によって最終的にフィルタ処理
された画像の記憶および／または可視表示を行う。

上述したシステムの変形例では、得られた画像用いて品
質の改善を行うこの空間−時間フィルタ処理はこれら画
像に現われる背景に関する原理的な移動物体の良好な検
出によって補充することができる。この変形例を示す第
２図は第１図に示すものと同様の素子（従って同一符号
を付す）と、フォーマント変換回路１３０および動き推
定段３００間に次に示す直列配置された追加の回路とを
具える。フォーマット変換回路１３０の逐次出力画像列
をまず最初シーケンスの背景の動きを補償する画像再調
整回路２００に供給してこの段の出力側に固定背景を有
する画像の１シーケンスを得るようにする。再調整技術
の１例では、１画像の窓および次の窓を一敗させて連続
する順次の画像間の全体の動きのパラメータの推定を行
い、次いで抽出された変位ヘクトルの最小二乗推定によ
る全体の幾何学的変換を計算する（ＳＰＩＥ、第４３２
巻、アプリケーソヨンズ　オプ　ディジクル　イメージ
　プリセンシング　Ｖｌ　　第１３６４４７頁に記載さ
れたアーサーＶ、フォーマン等が発表した論文“移動プ
ラットフォームから得た熱像による移動車両の検出゛参
照）。この回路に続く画像間の差を測定する回路２１０
によって、シーンの背景に関連して動く部分（固定部分
は除去されて零レベルに設定される）のみが現われる画
像のシーケンスを、前段のアクイジションおよび処理段
から到来する雑音と共に供給する。次いで、スレシホル
ド回路２２０によってこれら画像の選択を行って、最終
的に、これら画像のグレイ値が零でない場合（従ってこ
れら画像点がシーケンスの動く部分、および残留雑音に
相当する）に連続する順次の画像差のシーケンスに属す
る画像点り月に設定される２進画像のシーケンスを発生
する。スレシホルド回路２２０の出力を動き推定段３０
０に供給し、これにより例えば前述した位相相関平面技
術を適用して達成し得る前の２進シーケンスの移動物体
の２つの連続する順次の画像間の種々のトランスレーシ
ョン（ｔｘ、　ｔｙ）のパラメータを供給し得るように
する。

本発明は上述した例にのみ限定されるものではなく、要
旨を変更しない範囲内で種々の変形、変更が可能となる
。特に、動き推定段３００に供給すべき連続画像が既に
シーケンシャル形状である場合にはフォーマド変換回路
１３０を省略することができる。

【図面の簡単な説明】

第１図は本発明画像処理システムの一例の構成を示すブ
ロック回路図、 第２図は本発明画像処理システムの他の例の構成を示す
ブロック回路図である。 １００・・・カメラ １１０・・・アナログ−デジタル変換回路１２０・・・
故障補正段 １３０・・・フォーマド変換回路 ２００・・・画像再調整回路 ２１０・・・画像差測定回路 ２２０・・・スレシホルド回路 ３００・・・動き推定段 ４１０・・・空間−時間構成素子規定回路４２０・・・
形態素フィルタ処理回路 ４００・・・形態素フィルタ段 ５００・・・記憶及び／又は可視表示段剥−」ｔ−Ｊｌ
−ｋ （１）Ａ■Ｂ＝（ａ＋ｂ八εへおよびｂεＢ）（２）　
Ａ　ｅ　Ｂ　＝　（ａ−ｂ／ａ　ｔ　ＡおよびｂεＢ）
（３）　Ｂ　’　　・（−ｂ／ｂεＢ）（４）ＸをＢ＝
ＸｅＢ’　で侵食 （５）ＸをＢ＝Ｘ■Ｂ′で拡張 （６）ＸをＢ・（Ｘ）Ｂで解放 この際（Ｘ）Ｂ＝（ＸθＢ’）ＯＢ （７）ＸをＢ・（Ｘ）Ｂで開成

Claims (1)

1. 【特許請求の範囲】 １、画像に相当するビデオ信号のアクイジション手段と
   、これら所望の信号を処理する手段とを具える画像処理
   システムにおいて、この処理手段は、 （ａ）動き推定段； （ｂ）形態素フィルタ段； （ｃ）記憶および／または可視表示段； を具え、前記形態素フィルタ段は、前記動き推定段によ
   り推定された動きのパラメータから空間−時間構造素子
   を規定する回路と、形態素フィルタ回路とを有すること
   を特徴とする画像処理システム。 ２、前記動き推定段は、飛越しフォーマットを順次フォ
   ーマットに変換する回路を前段に具えることを特徴とす
   る請求項１に記載の画像処理システム。 ３、前記動き推定段は、直列接続配置の画像調整回路、
   画像間の差を測定する回路およびスレシホルド回路を前
   段に具えることを特徴とする請求項１または２のいずれ
   かに記載の画像処理システム。