JP3387134B2

JP3387134B2 - 画像データ分析方法およびその装置

Info

Publication number: JP3387134B2
Application number: JP00932293A
Authority: JP
Inventors: 繁有沢
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-01-22
Filing date: 1993-01-22
Publication date: 2003-03-17
Anticipated expiration: 2018-03-17
Also published as: JPH06223180A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像データについて、任
意の方向および任意の周波数におけるパワーの分析およ
び位相の分析を行う方法およびその装置に関する。

【０００２】

【従来の技術】従来より、ビデオカメラ等で撮像した物
体の画像データをフイルタリング処理し、画像分析を行
う画像データ分析方法が多く提案されている。またこの
ような画像データの分析においては、画像データの位相
をも考慮して様々な方向にパワー分析を行なうというこ
とが行なわれてきた。

【０００３】図３は、従来の画像データ分析装置６の構
成を示す図である。従来の画像データ分析装置６におい
ては、周波数応答が全く同じであり、位相のみが９０度
異なるヒルベルトフィルター対をカーネル関数とする分
析フィルターを用意して、パワーと位相の関係を考慮す
ることなく、それぞれについてフィルタリング処理を行
なっていた。

【０００４】図３において、カーネル発生部６１ａ〜６
１ｃは、それぞれ０°、６０°、および１２０°のベー
シスカーネル関数ｇ₀（ｘ，ｙ）、ｇ₆₀（ｘ，ｙ）、ｇ
₁₂₀（ｘ，ｙ）のデータを発生する。カーネル発生部７
１ａ〜７１ｄは、それぞれカーネル発生部６１ａ〜６１
ｃのヒルベルト対の関係にある、０°、４５°、９０
°、および１３５°のカーネル関数ｈ₀（ｘ，ｙ）、ｈ
₄₅（ｘ，ｙ）、ｈ₉₀（ｘ，ｙ）、およびｈ₁₃₅（ｘ，
ｙ）のデータを発生する。

【０００５】この各関数ｈ_i（ｘ，ｙ）を求めるための
演算は、以下のように行われる。まずカーネル関数ｇ_i
（ｘ，ｙ）を次式のようにフーリエ変換する。

【数１】つぎに、次式のようにＨ_i（ω_x，ω_y）を演算する。

【数２】最後に、次式のようにＨ_i（ω_x，ω_y）を逆変換する
ことにより、各関数ｈ _i（ｘ，ｙ）を得ることができ
る。

【数３】

【０００６】高速フーリエ変換処理部（ＦＦＴ）６２ａ
〜６２ｄ、７２ａ〜７２ｄは、それぞれ入力画像データ
Ｉ（ｘ，ｙ）、カーネル発生回路６１ａ〜６１ｃの出力
データ、およびカーネル発生回路７１ａ〜７１ｄの出力
データを２次元的に高速フーリエ変換（ＦＦＴ）する。
複素数演算回路６３ａ〜６３ｃ、７３ａ〜７３ｄは、そ
れぞれ乗算回路、加算回路等から構成され、対応する高
速フーリエ変換処理部６２ｂ〜６２ｄ、７２ａ〜７２ｄ
の出力データと、高速フーリエ変換処理部６２ａにより
２次元的にＦＦＴされた入力画像データＩ（ｘ，ｙ）を
ついて複素数演算を行う。

【０００７】逆高速フーリエ変換処理部６４ａ〜６４
ｃ、７４ａ〜７４ｄは、それぞれ対応する従来の画像複
素数演算回路６３ａ〜６３ｃ、７３ａ〜７３ｄの出力デ
ータについて演算を行い、パワーおよび位相の分析結果
を出力する。

【０００８】

【発明が解決しようとする課題】従来の画像データ分析
装置は以上述べたように構成されており、ヒルベルト対
の有する関係を全く利用していない。フィルタリング演
算を周波数領域で行う場合にも、ただ単に各カーネル発
生回路の出力について高速フーリエ変換を行っているた
めに、フィルタリングに要する演算に無駄が多く、また
その絶対量も非常に多い。また、ハードウェア量も大き
いという問題点があった。

【０００９】また、画像データを任意の方向に分析する
際に、数種類の方向のベーシスフィルターを用意し、そ
のフィルターリング結果の線形和により任意の方向の分
析結果が求めることも可能である。しかし、ベーシスフ
ィルター間の関係を考えずにそれぞれフィルタリングを
行なった場合、同様に演算スピードとハードウェア量に
おいての効率が非常に悪くなるという問題点がある。こ
の問題点は、特に多次元画像データをフィルタリングし
ようとした場合には顕著となる。

【００１０】本発明は以上にのべた従来技術の問題点に
鑑みてなされたものであり、画像信号について任意の方
向、あるいは任意の周波数においてそのパワーと位相を
高速かつ効率良く行うことが可能であり、また、そのハ
ード量の小規模化が可能な画像データ分析方法およびそ
の装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明の第１の観点によ
れば、画像データについてフーリエ変換を行い、複数の
カーネル関数を発生し、前記複数のカーネル関数につい
て第２の演算を行って任意の分析方向に対応した線形和
を算出し、この線形和と前記フーリエ変換を行った画像
データについて演算を行って画像データの周波数領域で
のフィルタリング処理を行い、前記フィルタリング結果
を変換して、前記画像データについて前記カーネル関数
と所定の関係を有する関数を用いてフィルタリングを行
った場合のフィルタリング結果を算出し、前記フィルタ
リング結果と前記変換結果に基づいて前記画像データの
前記任意の分析方向の分析を行う、画像データ分析方法
が提供される。

【００１２】好ましくは、前記カーネル関数は、ヒルベ
ルト変換の関数である。

【００１３】また、前記第２の演算を行った複数のカー
ネル関数の内の一つは、その他のカーネル関数の内の一
つと周波数領域における座標軸について対称であること
を特徴とする。

【００１４】さらに、前記分析は前記画像データのパワ
ー分析であり、このパワー分析は前記フィルタリング結
果の２乗と前記変換結果の２乗を加算して行われること
を特徴とする。

【００１５】また好ましくは、前記分析は前記画像デー
タの位相分析であり、この位相分析は、前記フィルタリ
ング結果と前記変換結果が二次元的に形成する角度を算
出することにより行われることを特徴とする。

【００１６】本発明の第２の観点によれば、画像データ
をフーリエ変換処理する第１の演算手段と、複数のカー
ネル関数を発生し、前記複数のカーネル関数について第
２の演算を行って任意の分析方向に対応して線形和を算
出し、この線形和と前記フーリエ変換処理を行なった第
１の演算手段から出力された画像データについて演算を
行って画像データの周波数領域でのフィルタリング処理
を行うフィルタリング手段と、前記フィルタリング手段
より出力されたフィルタリング結果を変換し、前記画像
データについて前記カーネル関数と所定の関係を有する
関数を用いてフィルタリングを行った場合のフィルタリ
ング結果を算出する算出手段と、前記フィルタリング結
果と前記変換結果とに基づいて前記画像データの前記任
意の分析方向の分析を行う分析手段とを備えることを特
徴とする画像データ分析装置が提供される。

【００１７】

【００１８】

【作用】本発明の画像データ分析方法およびその装置に
おいては、パワー分析および位相分析を行う際に、フィ
ルターのカーネル関数として使用されるヒルベルト対の
位相関係および対称性、ベーシスフィルターの相互関
係、さらにはベーシスフィルターのフィルタリング結果
を周波数領域で行うことにより、画像信号分析に要する
演算量を少なくし、またハードウェア量も少なくしてい
る。

【００１９】

【実施例】以下、本発明の画像データ分析方法およびそ
の装置の実施例を説明する。図１は、本発明の画像デー
タ分析装置１の構成を示す図である。画像データ分析装
置１は、画像信号におけるパワーと位相を分析する装置
である。

【００２０】ここで、パワーとは画像信号が色々な方
向、大きさ、および周期の波の重ね合わせにより記述さ
れると考えた場合、この画像信号の分析に使用される方
向性フィルターの方向と周期に対応する画像信号上の前
記各波のエネルギー、つまり、電力スペクトル密度を使
用される方向性フィルターの帯域内で積分した値をい
う。

【００２１】またここで、位相とは画像信号が同じく色
々な方向、大きさ、および周期の波の重ね合わせにより
記述されると考えた場合、この画像信号の分析に使用さ
れる方向性フィルターの方向と周期に対応する画像信号
上の前記各波の位相をいう。

【００２２】図１において、ビデオカメラ１１、カラー
テレビ（ＴＶ）１２、カラーＶＴＲ（ＶＴＲ）１３は、
それぞれデータ処理部２に対する画像入力装置として機
能し、画像データ分析装置１にアナログ形式の画像信号
を入力する。画像入力部２１は、入力バッファ用増幅器
等から構成され、ビデオカメラ１１、カラーテレビ１
２、およびカラーＶＴＲ１３からの画像信号と、Ａ／Ｄ
変換部２２以降の各部のインターフェースを行う。

【００２３】Ａ／Ｄ変換部２２は、画像入力部２１を介
して入力された画像情報をアナログ／ディジタル（Ａ／
Ｄ）変換する。画像記憶部２３は、Ａ／Ｄ変換部２２で
ディジタル形式のデータに変換された画像信号、および
この画像信号についてデータ演算部３が行った処理結果
を記憶する。画像出力部２４は、画像記憶部２３に記憶
されたデータ演算部３の処理結果をパーソナルコンピュ
ータ４に出力するためのインターフェースを行う。

【００２４】制御部２５は、Ａ／Ｄ変換部２２、画像記
憶部２３、およびデータ演算部３の動作の制御を行うと
ともに、画像記憶部２３から画像データを読み出してデ
ータ演算部３に入力して処理を行わせ、また、データ演
算部３での処理結果を画像記憶部２３に書き込む。

【００２５】データ演算部３は、画像データについてパ
ワー分析処理、および位相分析処理を行う。以上の各部
分がデータ処理部２を構成する。パーソナルコンピュー
タ４は、画像処理部２での画像処理の結果の表示等を行
う。

【００２６】図２は、画像データ分析装置１のデータ演
算部３の構成を示す図である。ＦＦＴ（高速フーリエ変
換）部３１は、次式に示すように画像記憶部２３に記憶
された画像データＩ（ｘ，ｙ）を２次元的に高速フーリ
エ変換し、この結果を実数成分（Ｒｅ）と虚数成分（Ｉ
ｍ）に分けて出力する。

【数４】

【００２７】カーネル発生部３２は、次式に示すフィル
ターのカーネル関数ｇ₀（ｘ，ｙ）のデータを発生す
る。つまり、

【数５】より、

【数６】となる。

【００２８】ここで、式５、式６の記号σは、カーネル
関数の空間方向の大きさを決定して、フィルターの通過
周波数を変化させるためのパラメータである。つまり、
σの値が大きいほど低い周波数を通過させる帯域フィル
ターとなり、逆にσの値が小さいほど高い周波数を通過
させる帯域フィルターとなる。カーネル発生部３３は、
次式に示すフィルターのカーネル関数ｇ₆₀（ｘ，ｙ）の
データを発生する。

【数７】

【００２９】ここで、カーネル関数とは、以下に述べる
ようなものである。画像データ分析装置１における画像
信号のフィルタリングは、例えば式３、式７に示される
ような関数を発生し、この関数と入力された画像信号と
の畳み込み演算によって行われる。よって、フィルタリ
ングの特性はこの畳み込みに使用される関数によって決
められることとなる。この関数をカーネル関数という。

【００３０】高速フーリエ変換処理部（ＦＦＴ）３４、
３５は、それぞれカーネル発生部３２、３３の出力する
関数のデータについて２次元的にＦＦＴ演算を行い、こ
のＦＦＴ演算結果の内、実数成分のみを出力し、係数乗
算部４０、４１、および周波数特性変換部３６入力す
る。なお、高速フーリエ変換処理部３４、３５の出力デ
ータの内、使用されるのは実数成分のみであり、虚数成
分は以降の計算に使用されない。

【００３１】周波数特性変換部（Ｒ₆₀→Ｒ₁₂₀）３６
は、カーネル発生部３３で発生される、式３で表される
６０°のベーシスカーネル関数のデータのＹ軸に対する
対称性、つまり、次式で表される性質を利用して、この
６０°のベーシスカーネル関数とＹ軸に対して対称な、
式９で表される１２０°のベーシスカーネル関数のデー
タを生成する。

【数８】

【数９】

【００３２】乗算部４０〜４２は、下に示す式１０−１
〜式１０−３で示される係数ｋ１〜ｋ３をそれぞれ高速
フーリエ変換処理部３４、３５、および周波数特性変換
部３６の出力データに乗算する。

【数１０】加算部４３は、乗算部４０〜４２の出力データを加算す
る。

【数１１】

【００３３】乗算部４４、４５は、それぞれ高速フーリ
エ変換処理部３１の出力データの実数成分と加算部４３
の出力データの乗算、高速フーリエ変換処理部３１の出
力データの虚数成分と加算部４３の出力データの乗算を
行う。逆高速フーリエ変換処理部５０、５２は、入力さ
れるデータについて２次元的に次式で表わされる逆高速
フーリエ変換（逆ＦＦＴ）処理を行う。

【数２２】

【数２３】ヒルベルト対変換部５１は、乗算部４４の出力データを
虚数成分、乗算部４５の出力データを実数成分として次
式の演算を行う。

【数１２】

【数１３】

【００３４】パワー演算部５５は、次式で示される画像
信号のパワーを演算する。

【数１４】位相演算部５６は、次式で示される画像信号の位相を計
算する。

【数１５】ここで、以上述べたデータ演算部３の各部分はハードウ
ェア的に別々に構成されているか、あるいは各部分が計
算機上にソフトウェア的に実現されているかを問わな
い。

【００３５】以下、本発明の画像データ分析装置１の動
作を説明する。画像データ分析装置１における画像信号
の分析には、ヒルベルト対の関係にある分析フィルター
が使用される。

【００３６】このヒルベルト対の関係にある分析フィル
ターは、一般的に方向選択性を有しており、その方向に
関して偶関数、奇関数のような対称性を有する。このた
め、この分析フィルターの出力データは周波数領域では
実数成分、または複素成分のいずれか一方となる。

【００３７】上記性質を利用すると、画像信号の分析の
ためには周波数領域では複素演算を実際に行なう必要性
はなく、実数成分、または虚数成分のいずれか一方につ
いてのみ演算を行えばよいこととなる。さらに、ヒルベ
ルト対の間には特定の関係があり、この関係を利用する
とヒルベルト対の両方の複素演算を行なう必要がなくな
る。また色々な方向に分析を行なうことを考えた場合、
まずベーシスフィルターによるフィルタリング結果を求
める必要が有る。

【００３８】ここで、ベーシスフィルターとは以下に述
べるようなものである。画像処理においては、方向性を
有するフィルター（方向性フィルター）がよく利用され
る。この方向性フィルターを使用して様々な方向のフィ
ルタリングを行う場合、それぞれの方向に対応した方向
性フィルターを用意してフィルタリングを行う方法があ
る。

【００３９】しかし、このようなフィルターリングを行
う場合、複数の異なった方向性を有する方向性フィルタ
ーを用意して、その分析結果の線型和により任意の方向
のフィルタリング結果を得ることが一般的である。この
複数の異なった方向性を有する方向性フィルターをそれ
ぞれベーシスフィルターという。また、所定の方向にフ
ィルタリングするとは、その方向に方向性を有するフィ
ルターによりフィルタリングを行うことをいう。

【００４０】また、パワーと位相の分析を行うために使
用される、それぞれ互いに関連のある、つまりフィルタ
ーのカーネルの関係がヒルベルト対の関係にある２つの
方向性フィルターを分析フィルターという。また、ベー
シスフィルターに使用されるカーネル関数をベーシスカ
ーネルという。

【００４１】ここで、ベーシスフィルターによるフィル
タリングを行う際にベーシスフィルター相互の関係が空
間領域でｘ＝０、ｙ＝０、ｘ＝ｙ、ｘ＝−ｙ、などの軸
と線対称の場合は、周波数領域で特定の関係が成り立
つ。この関係を利用すると、ベーシスフィルターによる
フィルタリング結果を全ては求める必要がなくなる。

【００４２】さらには、ベーシスフィルターに依るフィ
ルタリング結果を線形加算する際には、周波数領域で行
なうことで逆ＦＦＴの演算量も減らすことができる。本
発明の画像データ分析装置１は、以上の性質を考慮しな
がら画像データを任意の方向に任意の周波数に於て分析
を行なう。

【００４３】ビデオカメラ１１等により入力された画像
信号は、画像入力部２１を介してＡ／Ｄ変換部２２に入
力され、ディジタル形式の画像データＩ（ｘ，ｙ）に変
換される。さらにこのディジタル形式の画像データＩ
（ｘ，ｙ）は画像記憶部２３に記憶される。画像記憶部
２３に記憶された画像データＩ（ｘ，ｙ）は順次制御部
２５を介してデータ演算部３に読み出され、パワー分析
および位相分析が行われる。

【００４４】以下、データ演算部３におけるパワー分析
および位相分析の動作を説明する。高速フーリエ変換処
理部３１は２次元的に高速フーリエ変換を行い、画像デ
ータＩ（ｘ，ｙ）を周波数領域に変換する。この変換は
式４で表される。

【００４５】カーネル発生部３２、３３は、それぞれ式
６、式７で表されるベーシスカーネル関数を発生する。
式３、４のベーシスカーネル関数は、高速フーリエ変換
処理部３４、３５により２次元高速フーリエ変換されて
周波数領域に変換される。この変換は下式で表される。

【数１６】

【数１７】

【数１８】

【００４６】ここではベーシスカーネルは、フィルター
の方向性の方に見て対称であるので実数成分のみからな
ることに着目する。高速フーリエ変換処理部３５の出力
について、周波数特性変換部３６により次式で表される
１２０°のベーシスカーネル関数が求められる。ここ
で、式７で表される６０°のベーシスカーネル関数と、
式９で表される１２０°のベーシスカーネル関数は、Ｙ
軸に対して線対称である。よって、式８の性質の利用が
可能である。

【００４７】乗算部４０〜４２において、以下に示す
式１０−１〜１０−３により求められた係数Ｋ１，Ｋ
２，Ｋ３と高速フーリエ変換処理部３４、３５の出力デ
ータ、および周波数特性変換部３６の出力データが乗算
され、さらに加算部４３でこれらの乗算結果が加算され
て、式１１で表されるθ方向のフィルターの周波数特性
が求められる。さらに、乗算部４４、４５により高速フ
ーリエ変換処理部３１の出力データと加算部４３の出力
データの乗算が行われ、次式で表される周波数領域にお
けるθ方向のフィルタリング出力結果が得られる。

【数１９】

【００４８】ヒルベルト対変換部５１は乗算部４４、４
５の出力データについて、式１２で表される演算を行
い、式１３で表される演算結果が得られる。

【００４９】乗算部４４、４５の出力データ、およびヒ
ルベルト対変換部５１の出力データについて、逆高速フ
ーリエ変換処理部５０、５２において式２２、式２３に
示す２次元離散フーリエ逆変換が行われ、次式に示すヒ
ルベルト対によるフィルタリング結果が求められる。こ
こでの演算は、次式で表される。

【数２０】

【数２１】

【００５０】さらに、パワー計算部５５はこのフィルタ
リング結果に基づいて演算を行い、式１４で表されるパ
ワー分析結果を求める。また、位相分析部５６はこのフ
ィルタリング結果に基づいて演算を行い、式１５で表さ
れる位相分析結果を求める。

【００５１】本実施例では、周波数領域で複素演算を行
なう際にヒルベルト対の関係にある分析フィルターの相
互の関係やフィルターの方向に対しての対称性を利用し
ている。さらには、ベーシスカーネルの相互の関係を利
用し、線形加算も周波数領域で行なうこにより計算精度
を犠牲にすることなく演算量を大幅に減らして画像信号
のパワーおよび位相の分析を行うことができる。よっ
て、ハードウェアの小規模化、さらに生産コストの低減
が可能となる。

【００５２】以上述べた実施例の他に、例えばハードウ
ェアとソフトウェアの機能分担の最適化を図る、あるい
はパワー分析と位相分析のいずれか一方のみを行うよう
に構成する等、本発明の画像データ分析方法およびその
装置は種々の構成をとることが可能である。以上述べた
実施例は例示である。

【００５３】

【発明の効果】以上述べたように本発明によれば、画像
信号について任意の方向、あるいは任意の周波数におい
てそのパワーと位相を高速かつ効率良く行うことが可能
であり、また、そのハード量の小規模化が可能な画像デ
ータ分析方法およびその装置を提供することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の画像データ分析装置の構成を示す図で
ある。

【図２】本発明の画像データ分析装置のデータ演算部の
構成を示す図である。

【図３】従来の画像データ分析装置の構成を示す図であ
る。

【符号の説明】

１・・・画像データ分析装置１１・・・ビデオカメラ１２・・・カラーテレビ１３・・・カラーＶＴＲ２１・・・画像入力部２２・・・Ａ／Ｄ変換回路２３・・・画像記憶部２４・・・画像出力部２５・・・制御部３・・・データ演算部３１、３４、３５・・・高速フーリエ変換処理部３２、３３・・・カーネル発生回路３６・・・周波数特性変換回路４０、４１、４２、４４、４５・・・乗算回路５０、５２・・・逆高速フーリエ変換処理部５１・・・ヒルベルト対変換部５５・・・パワー計算部５６・・・位相分析部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 5/20 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】画像データについてフーリエ変換を行い、複数のカーネル関数を発生し、前記複数のカーネル関数
について第２の演算を行って任意の分析方向に対応した
線形和を算出し、この線形和と前記フーリエ変換を行った画像データにつ
いて演算を行って画像データの周波数領域でのフィルタ
リング処理を行い、前記フィルタリング結果を変換して、前記画像データに
ついて前記カーネル関数と所定の関係を有する関数を用
いてフィルタリングを行った場合のフィルタリング結果
を算出し、前記フィルタリング結果と前記変換結果に基づいて前記
画像データの前記任意の分析方向の分析を行う画像デー
タ分析方法。
【請求項２】前記カーネル関数は、ヒルベルト変換の関
数であることを特徴とする請求項１に記載の画像データ
分析方法。
【請求項３】前記第２の演算を行った複数のカーネル関
数の内の一つは、その他のカーネル関数の内の一つと周
波数領域における座標軸について対称であることを特徴
とする請求項１または請求項２に記載の画像データ分析
方法。
【請求項４】前記分析は前記画像データのパワー分析で
あり、このパワー分析は前記フィルタリング結果の２乗と前記
変換結果の２乗を加算して行われることを特徴とする請
求項１〜３のいずれかに記載の画像データ分析方法。
【請求項５】前記分析は前記画像データの位相分析であ
り、この位相分析は、前記フィルタリング結果と前記変換結
果が二次元的に形成する角度を算出することにより行わ
れることを特徴とする請求項１〜４のいずれかに記載の
画像データ分析方法。
【請求項６】画像データをフーリエ変換処理する第１の
演算手段と、複数のカーネル関数を発生し、前記複数のカーネル関数
について第２の演算を行って任意の分析方向に対応して
線形和を算出し、この線形和と前記フーリエ変換処理を
行なった第１の演算手段から出力された画像データにつ
いて演算を行って画像データの周波数領域でのフィルタ
リング処理を行うフィルタリング手段と、前記フィルタリング手段より出力されたフィルタリング
結果を変換し、前記画像データについて前記カーネル関
数と所定の関係を有する関数を用いてフィルタリングを
行った場合のフィルタリング結果を算出する算出手段
と、前記フィルタリング結果と前記変換結果とに基づいて前
記画像データの前記任意の分析方向の分析を行う分析手
段とを備えることを特徴とする画像データ分析装置。