JP3056857B2 - 画像処理方法 - Google Patents

画像処理方法

Info

Publication number
JP3056857B2
JP3056857B2 JP3327722A JP32772291A JP3056857B2 JP 3056857 B2 JP3056857 B2 JP 3056857B2 JP 3327722 A JP3327722 A JP 3327722A JP 32772291 A JP32772291 A JP 32772291A JP 3056857 B2 JP3056857 B2 JP 3056857B2
Authority
JP
Japan
Prior art keywords
filter
dimensional
image
processing
polar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP3327722A
Other languages
English (en)
Other versions
JPH05165956A (ja
Inventor
進 川上
俊彦 森田
二美 長谷川
浩明 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP3327722A priority Critical patent/JP3056857B2/ja
Priority to US07/987,954 priority patent/US6005984A/en
Publication of JPH05165956A publication Critical patent/JPH05165956A/ja
Priority to US08/470,061 priority patent/US5901252A/en
Application granted granted Critical
Publication of JP3056857B2 publication Critical patent/JP3056857B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像処理方法に係わり、
特に対象物体の三次元的な特徴を抽出する画像処理方法
に関する。ロボットが障害物を回避して移動したり、対
象物に対して的確な作業を行うためには、環境や対象物
などを的確に把握する必要があり、以下の画像処理が求
められる。
【0002】広視野画像の必要性 特に、プラントや倉庫等の狭隘な環境内で移動するため
には、これまでのロボット用視覚の視野(50度)では
不十分であり、人間並の視野(180度近く)で周囲ま
で把握しながら行動を決定して行く必要がある。このた
めには、ロボットの眼として魚眼レンズが不可欠である
が、魚眼レンズで取り込んだ画像は歪んだ画像となる。
こため、通常の画像処理では困難で、特殊な画像処理が
求められる。
【0003】線分の的確な抽出 プラントや倉庫などでは、環境や作業対象物の大半が人
工的なもので、加工性から直線や円筒で殆ど構成されて
おり、入力画面上では直線として写る。従って、画面か
ら線分を的確に抽出することが、ロボットの移動や作業
に不可欠な前処理となる。そして、抽出された線分を手
がかりに障害物の回避や対象物へのアプローチなどの行
動を行なうことができるようになる。以上より、プラン
トや倉庫等の狭隘な環境内で移動や作業を行なうには、
広視野(魚眼レンズ)画像から的確に線分を抽出する機
能が不可欠であり、ロボット一般に対しても重要な機能
である。
【0004】
【従来の技術と発明が解決しようとする課題】球面写像による広視野画像からの線分抽出 このような目的に対して、「球面上の極変換(球面写像
法)」により、魚眼レンズで歪んだ画像からも正確に線
分(球面上では大円)を抽出する方法を考案し(例えば
特公平3-52106号または川上著、科学朝日 June 1987 参
照)、人間以上の広視野(180度)でも線分を立体的
に計測できる機能を実現している。
【0005】図44は球面写像の説明図である。魚眼レ
ンズを通して入力する画像は、球面上に投影されて歪ん
でいる。従って、球面上の処理に適した球面写像(球面
上の極変換)という操作が必要となる。この球面写像
は、図44(a)に示すように、球面上の任意の点Pを、
それを極とする大円(球面上の最大の円で赤道に相当す
る)Rに変換する操作である。この球面写像によれば、
図44(b)に示すように、線分Lを構成する点P1
2,P3・・・について、それらが球面上に投影された
点P1′,P2′,P3′・・・を極とする大円R1
2,R3・・・を描いていくと、各大円は常に一点Sで
交差する。この交差点Sが線分Lに1対1に対応した固
有の点になる。そして、線分Lが長い程Lの要素である
点の数は多く、従って大円の数も増え、Sでの大円の重
なりの度合が高くなる。こうして、線分はそれと対応す
る球面上の点として抽出され、又、各点での大円の交差
度のヒストグラムをとると線分の長さも計測できる。
尚、線分Lに対応する点Sの幾何学的意味は、「線分L
の球面上への投影L′を大円とする極である」といえ
る。
【0006】図45は球面写像を用いた運動立体視によ
る三次元計測するシステムの構成図である。球面カメラ
1に内蔵された魚眼レンズから画像IMGが入力される
と、輪郭抽出部2は輪郭のみを抽出して情報を圧縮し、
内蔵の球面投影画像メモリ2aに書き込む。尚、物体の
輪郭は、画面内の明るさ変化が最大となるところを微分
で検出することにより取り出せる。
【0007】次に、線分抽出部3で球面上の線分(以
下、大円と記す)を球面写像法により、”一点”に濃縮
して抽出する。この線分抽出が三次元計測システムの重
要なプロセスであり、また処理時間の大半を占める部分
である。線分抽出は、例えば、各輪郭点を球面写像によ
り極変換部3aで大円に変換し、各大円の情報を写像メ
モリ3bに書き込む。写像メモリ3bのアドレスは図4
6に示すごとく球面CB上の一点Pを表す経度α及び緯
度βによって与えられる。このアドレスにより指定され
る写像メモリの各セルは例えばカウンタごときもので構
成され、書き込まれる毎に記憶内容を増加するようにな
っている。従って、全輪郭点を球面写像で大円に変換
後、S点検出部3cで写像メモリの各セルをスキャンし
て、カウント値のピーク位置を求めれば、該ピーク位置
が図44(b)で説明したように線分の極(S点)となり、
線分が抽出できる。
【0008】以上により線分が一点に濃縮して抽出され
た”点”データにより、以降の三次元計測は簡単に行わ
れる(例えば、特願平1−157906号参照)。”
点”データが線分計測部4に入力されると、画面内の直
線部分の三次元データ(方向・距離)が出力される。例
えば、線分の方位を測定するには、線分に対し球面カメ
ラ1を直線移動させる。そして、次々に得られる画像か
ら、前述の線分抽出を繰り返す。図47は、球面カメラ
を直線移動させたときの、線分とカメラの相対的な位置
関係を示す。線分が相対的に動いたL,L′,L″・・
・に対する球面上の極S,S′,S″・・・は大円上を
移動して行く。その各点について球面写像を行い、大円
R,R′,R″・・・を描いて行くと、各大円の交点S
s は、極S,S′,S″・・・の乗っている大円の極で
ある。そして、球の中心からSs点へのベクトルが、実
際の線分Lと平行になっており、これより線分の方位が
わかる。Ss点の幾何学的意味は、元の線分Lの無限遠
の消失点が球面に映ったものである。つまり、この方法
は遠近投影法の理屈から線の方向を決定しているわけで
ある。すなわち、抽出された各極S,S′,S″・・・
をそれぞれ球面写像により大円に変換し、各大円情報を
写像メモリに書き込み、該メモリをスキャンしてカウン
ト値のピーク位置を求めれば、該ピーク位置方向が線分
方向として検出される。尚、図47から明らかなように
カメラを移動させないで得られたSs点は平行線の集ま
りである。
【0009】又、対象点までの奥行きの測定原理は以下
の如くである。まず、図48(a)に示すように、二次元
平面上でカメラから点Pまでの距離を測定する方法につ
いて考える。カメラをC0,C1,C2・・・と並進させ
てゆくと、点Pの見える方向がSk0,Sk1,Sk2・・・と
変化して行く。各時点におけるカメラの位置から点Pが
見える方向に直線を引くと、これらの直線は一点すなわ
ちPで交差する。そこで、交点Pを求めれば、カメラの
最初の位置C0から目的の点Pまでの距離は線分C0Pの
長さで与えられる。同様の操作を球面上で行う。図48
(b)において、右の平面は図48(a)と同じものであり、
線分OΣと垂直に置かれている。又、平面から球面への
対応を点線で示している。カメラの移動方向をVとす
る。カメラをΔx0進める毎に点PがP0,P1,P2・・
・と移動して見えたとし、球面へのそれらの投影をS
k0,Sk1,Sk2・・・とする。点Σは、点Pの軌跡を球面
に投影した大円Rの極であり、Sk0,Sk1,Sk2・・・を
球面写像した大円群の交点として得られる。ベクトルV
の端点vと点Σを通る大円R′の、点Σから点vに到る
1/4円周上に時間軸(τ軸)をとり、点Σをτ=0す
なわち、点C0とする。以下、点C0からの長さが τ=arctan (iη) i=1,2,・・・ となる点をC1,C2・・・とする。ただし、η=Δx0
0である。この操作は、図48(b)の右側の平面上にあ
るC0,C1,C2・・・の間隔を1/R0倍して球面上にプ
ロットすることに相当する。上式で、i→∞とすればわ
かるように、端点vは無限遠点である。
【0010】次に、平面上の直線が球面上では大円に相
当することを考慮すると、i=0,1,2,・・・につ
いて点C0と点Sk0、点C1と点Sk1、点C2と点Sk2
・・・をそれぞれ大円で結ぶ。すると、これらの大円は
一点すなわちQで交差する。これより、カメラの最初の
位置C0から点Pまでの距離はR0tan(弧C0Qの長さ)
で与えられる。
【0011】次に、同じ”点”データが円柱計測部5
(図45)に入力されると、円柱部分の三次元データ
(方向、距離、直径)が出力される。すなわち、前述の
ように平行線が求まるから、これより円柱、その直径を
求めることができ、又、線分の場合と同様に方向、距離
を求めることができる。プラントなどの人工環境では、
上記の直線と円柱で殆ど計測されるが、それ以外の部分
を把握する必要が生じた場合には、生の点データを点計
測部6に入力して空間内の各点の位置を三次元的に計測
する。
【0012】球面写像の高速化 しかし、上記従来の三次元計測システムでは処理量が増
大し、高速化処理ができない問題がある。その主因は、
線分を抽出するために入力画像中の各点を球面写像、す
なわち、球面上の大円へと次元を拡大して写像すること
にある。入力画像のサイズをN×Nとすれば、球面写像
で各点を長さNの大円に変換するには、入力画像のN倍
のN3の処理が必要となり高速化の障害となる。
【0013】そこで、本発明者等は、入力される画像を
小領域である受容野毎の画像(受容野像)に分割し、各
受容野像に対して極変換を行なうと、処理量が大幅に減
少すること(受容野法という)を見出し、小型のハ−ド
ウェアでも高速の極変換を行なえるようにしている。
【0014】受容野法 図49は受容野法の原理説明図であり、1は所定入力プ
レーンに投影されたN×Nサイズの対象物体画像(入力
画像)IMGを記憶する入力メモリ、2は入力プレーン
をm×mの小領域である受容野に分割した時、各受容野
内の画像(受容野像)を記憶する受容野メモリ、3は各
受容像に極変換を施す極変換部、4は極変換された双対
プレーン(ハイパーコラムプレーン)上の画像(ハイパ
ーコラム像)を記憶するハイパーコラムメモリ、5は画
像の線、円柱、点などの特徴を抽出する特徴抽出部であ
る。
【0015】入力メモリ1に記憶されるN×Nサイズの
対象物体画像IMGのをm×mの小領域である受容野に
分割し、各受容野像を順に受容野メモリ15に記憶し、
極変換部3で各受容野像に対して極変換を施して出力
(ハイパーコラム像)をハイパーコラムメモリ4に記憶
し、極変換出力に基づいて特徴抽出部5で画像処理を行
って特徴を抽出する。極変換としては球面上の極変換ま
たは円筒上の極変換または平面上の極変換など任意の曲
面上の極変換が適用できる。
【0016】受容野法の具体的な手続きを、最も簡単な
極変換、すなわち、「平面投影入力+円筒上極変換」で
説明すると、次のようになる。すなわち、「入力画像を
m×mに分割した各受容野内の画素を、円筒上極変換
し、得られた曲線(円筒上極変換では正弦波)を双対プ
レーン上に描く」である。
【0017】以上は、「平面投影入力+円筒上極変換」
の場合であるが、「球面投影入力+球面上極変換」の場
合には、上記において、極線を正弦曲線から大円に変更
すればよい。主なフローを以下に示す。 (a) 球面上に投影された画像を小領域(受容野)に分割 (b) 受容野内の各画素を球面上で極変換する(画素に対
応する大円を描く) (c) 受容野全体は球面上の帯に極変換されるが、受容野
は一般的に小さいので、この帯を平面に展開する。これ
が、各受容野に対応する双対プレーン(ハイパーコラム
プレーン)である。(b)の極変換は、「画素→正弦波」に
近似され、受容野とハイパーコラムとの変換は、「受容
野の各画素を、ハイパーコラム上の対応する正弦曲線に
変換する」となる。ハイパーコラムプレーンにおける各
軸は受容野内における線の位置ρと方向θを示すもの
で、画像プレーン(受容野)内の線分は正弦波の交点に
濃縮され、交点座標ρ0、θ0が受容野内における線分の
位置と方向を示すことになる。
【0018】図50に従って詳細に説明すると、受容野
RC内の点Pは、極変換により次元を増やして大円(直
線)Rに写像される。これを繰り返すと受容野全体は球
面上の帯BLTに写像される(図50(a))。この帯を切
り開いて平面に展開すると(図50(b))、線の方向θと
線の位置ρを座標軸とする長方形格子となる。この極変
換で受容野内の各画素は、ハイパーコラムプレーンの複
数の格子点(正弦波状)に多価写像される。これを繰り
返すと、受容野内の線分は、それを構成する点列が極変
換された”正弦波群の交点”として抽出される。すなわ
ち、交点Qが受容野内の線分L(図50(c))を濃縮した
ものとなり、そのθ軸及びρ軸座標値θ 0,ρ0が受容野
における線分の方向と位置を示すことになる。
【0019】受容野法では、このように、m×mの受容
野内の画像について極変換を施すだけでよいため、球面
上の極変換の場合には、受容野内の各画素について長さ
mの大円を描くだけでよく、処理量がm×N2になり、
Nの大円を描く従来例(N3の処理量が必要)に比べて
大幅に減少し、しかもハードウェアの小型化が可能とな
る。
【0020】改良すべき課題 受容野法により広視野画像からの線分を高速に抽出する
ことが可能となったが、入力される画像の質や抽出すべ
き特徴を考えると以下の解決すべき課題がある。 (1) ボケ画像から線分を的確に抽出 プラントや倉庫等の狭隘な環境内で移動する時には、広
い視野で全体を把握して移動する必要があるが、視野の
広さに伴い、全体にピントを合わせることが難しくボケ
て写る部分も多い。また、対象物は一般に安全上から面
とりをしてあることが多く、画像上ではボケる。
【0021】ところが、確実な移動や作業を行なうに
は、これらボケた部分の情報も大変重要であり、従って
シャープな部分とボケた部分が混在して入力される画像
から両方の特徴を同時に抽出する機能が求められる。特
に、ボケた画像から線分を抽出するためには、大きなマ
スクのフィルタリングが不可欠であり、現状では後述す
るように不可能である。
【0022】(2) 線分の種類を識別 これまでは、単に線分の抽出といってきたが詳しく見る
と三種類(線、縁、隙間)に分けられ、人間の大脳視覚
野でも以下の線・縁・隙間を抽出する細胞がある。 1) 線・・これは明るく光る帯である。 2) 縁・・これは明るい部分と暗い部分の境界線であ
り、実際の画像ではこれが大半である。エッジとも言わ
れている。
【0023】3) 隙間・・これは線分の逆で、暗い細い
帯である。 これら三種類の線分は例えばプラント内では、それぞ
れ”細い配管”、”階段のステップ”、”細い配管の影
の部分”など、移動や作業に重要な特徴を示している。
前述の球面写像法では、”線”と”隙間”の抽出は可能
であるが、情報の大半を占める”縁”の検出には、縁強
調のフィルタリングが不可欠で、まだ実現されていな
い。”線”と”隙間”についても尖鋭に抽出するために
フィルタを施すことが望ましいが、演算量、演算時間の
関係上大きなフィルタを施すことが困難なため実現され
ていない。尚、人間の大脳視覚野でも三種類の線分
(線、縁、隙間)を抽出する細胞があり、移動に必要な
情報を的確に分類して把握している。
【0024】以上要約すると、上記の課題は、フィルタ
リングに関するものであり、 ・ボケ画像処理に不可欠な大マスクのフィルタリング、 ・三種類の線分を分離抽出すべき線分のフィルタリング と分類でき、それらについての現状技術は以下の通りで
ある。
【0025】現状技術 1) 大マスクフィルタリングの現状 現状の画像処理では、マスク内の画像デ−タに二次元コ
ンボリューション・フィルタをかけて輪郭強調や特徴抽
出を行なっている。その処理量を見積もってみると、マ
スクサイズをm×m、画像サイズをN×Nとすると、各
画素に対してm2のコンボリューション演算が必要とな
り、全体ではm2×N2とマスクサイズの二乗で処理量が
急増する。このため、現状の画像処理では、5×5程度
のマスクが処理速度の点から限界であり、10×10以
上のマスクが必要となるボケ画像の処理は難しいという
問題がある。
【0026】2) 線部のフィルタリングの技術 線分抽出には、二次元のガウシャンフィルタを施した後
で、ハフ変換(Hough変換)や投影法で線分を抽出する処
理が行なわれている。この方法も、二次元のガウシャン
フィルタが不可欠のため上記と同じ問題があり、フィル
タサイズが増えるに連れて処理量が二乗で急増する。
又、小フィルタを直列かけて大フィルタを合成処理する
方法もあるが、フィルタ関数が特殊な場合を除き、全体
ではm2×N2の処理が必要で本質的な解決ではない。
【0027】以上、従来方式では線分抽出時のフィルタ
リング処理の処理量が増大する問題があった。又、従来
方式では処理量が増大することから大マスクのフィルタ
リングができず、このため大マスクが必要となるボケ画
像の処理が難しく、ボケ画像から的確に線分の抽出がで
きない問題があった。更に、従来方式では縁の抽出がで
きず、線及び隙間も尖鋭に抽出できない問題がある。
【0028】以上から本発明の目的は、フィルタリング
処理量を減少でき、これにより大マスクによるフィルタ
リングが可能で、ボケ画像から的確に線分の抽出ができ
る画像処理方法を提供することである。本発明の別の目
的は、縁の抽出ができ、しかも線及び隙間も尖鋭に抽出
できる画像処理方法を提供することである。
【0029】
【課題を解決するための手段】図1は本発明の原理説明
図である。12は所定入力プレーンに投影されたN×N
サイズの対象物体画像(入力画像)IMGを記憶する入
力メモリ、14は入力プレーンをm×mの小領域である
受容野に分割した時、各受容野内の画像(受容野像)を
記憶する受容野メモリ、15は各受容野像に極変換を施
す極変換部、17は極変換出力に一次元フィルタリング
処理を施す一次元フィルタ回路、19は極変換及び一次
元フィルタリング処理を施された双対プレーン(ハイパ
ーコラムプレーン)上の画像を記憶するハイパーコラム
メモリ、21は画像の線・縁・隙間などの特徴を抽出す
る特徴抽出部である。
【0030】
【作用】N×Nサイズの対象物体画像IMGをm×mの
受容野像に分割して順次受容野メモリ14に記憶し、極
変換部15で各受容野像に対して極変換を施し、一次元
フィルタ回路17で極変換出力に所定の一次元フィルタ
処理を施して処理結果(ハイパーコラム像)をハイパー
コラムメモリ19に記憶し、ハイパーコラム像に基づい
て特徴抽出部21で画像処理を行って線・縁・隙間など
の特徴を抽出する。このように、一次元フィルタをかけ
るだけでよいため、従来の二次元フィルタをかける場合
に比べて処理量を大幅に減少でき、高速処理が可能とな
り、従来と同一処理量でボケ画像処理や線分の精密フィ
ルタリングが可能な大フィルタを実現でき、ボケ画像か
ら的確に線分の抽出ができる。
【0031】又、全ての方向に投影(極変換)した後
で、一次元フィルタをかける構成であるため、この投影
で等方的な処理が既に施されているため、その後でかけ
る一次元フィルタは等方性に影響せず、任意のフィルタ
をかけることができる。従って、一次元フィルタを縁抽
出に不可欠な一次元奇関数フィルタとすることができ、
従来では検出不可能であった縁を抽出することができ
る。
【0032】更に、フィルタ特性をディラックのδ関数
で表現できるスケルトンフィルタで一次元フィルタを構
成することにより、簡単、かつ高速の演算処理で縁の抽
出ができる。又、極変換出力に異なる幅の一次元フィル
タ処理を同時に施し、その出力を合成することにより
(マルチフィルタ)、画像中に混在するボケ部分とシャ
ープな部分の同時抽出を行うことができ、画面全体を的
確に把握した作業や移動を可能とする。
【0033】更に、対象物体画像を受容野像に分割し、
各受容野像に極変換を施し、極変換を施した出力に、一
次元ガウシャンフィルタ処理を施して線の抽出を行うこ
とができ、又、該一次元ガウフィルタ処理結果の符号を
反転して隙間の抽出を行うことができ、更には極変換出
力のピーク近傍の一次元ガウシャンフィルタ出力を選択
することにより尖鋭な線分抽出ができる。
【0034】又、対象物体画像を受容野像に分割し、各
受容野像に極変換を施し、極変換を施した出力に、一次
元グラディエントフィルタ処理を施し、あるいは一次元
グラディエントフィルタ処理と一次元ガウシャンフィル
タ処理を施せば、縁の抽出を行うことができ、更には極
変換出力に異なる幅の一次元グラディエントフィルタ処
理を同時に施し、あるいは異なる幅の一次元グラディエ
ントフィルタ処理と異なる幅の一次元ガウシャンフィル
タ処理をそれぞれ順次施し、その出力を合成して出力す
ることにより、画像中に混在するボケ部分とシャープな
部分の同時抽出を行うことができる。更に、一次元グラ
ディエントフィルタと一次元ガウシャンフィルタを多段
に接続した一次元多段フィルタにおいて、各段階の出力
を正負に分離して以降のフィルタリング処理を行うよう
にすれば、細い帯や高密度の線、縁など詳細な特徴を干
渉を抑えて抽出することができる。
【0035】
【実施例】
(a) 本発明の概略 ボケた部分からも三種の線分を的確に分離・抽出するこ
とが望まれるが、現状の技術では、線分抽出のコンボリ
ューション・フィルタが二次元演算であることから、処
理量がフィルタサイズの二乗で急増して、ボケ抽出の大
フィルタは難しい。本発明は、受容野法に着目し、上記
二次元フィルタを一次元で行える方法(一次元フィルタ
法)であり、以下にそのポイントを示す。すなわち、一
次元フィルタ法の原理は、「二次元コンボリューション
フィルタをかけた後に、極変換すること」と「極変換し
た後に、一次元フィルタをかけること」と等価であると
の着眼によるものである。
【0036】この性質により、上記で問題となっていた
二次元コンボリューションを一次元で行うことが可能と
なり、後述のように処理量が 約2/(コンボリューションフィルタ直径) に削減される。従って、5×5フィルタと同一の処理量
で13×13の二次元コンボリューションフィルタを実
行でき、ボケ画像の処理や精密フィルタリングなどに十
分な大フィルタを実現できる。
【0037】尚、「二次元フィルタを一次元フィルタで
実現できる」との重要な性質は、受容野法の”極変換”
から導かれるものである。この性質は線分抽出だけでな
く、任意の輝度変化を高速で強調したり、抽出するな
ど、全ての画像処理に広く活用可能の基本的なフィルタ
リングである。基本的な処理フローは 入力画像→受容野法(受容野分割→極変換)→一次元フ
ィルタ となる。
【0038】(b) 一次元フィルタ法の原理と性質 受容野法は一般的な極変換で成立するが、ここでは判り
易さのために、その一種である投影法で、一次元フィル
タ法の原理を直観的に説明する。尚、以下の説明は任意
の極変換でも成立する。
【0039】一次元フィルタ法の原理 図2は本発明にかかわる一次元フィルタ法の原理説明図
ある。まず、記号の説明をする。受容野座標x−yと角
度θをなす投影軸ψ、およびそれに直交する座標軸ρを
とって、原画像をf(ρ,ψ)、二次元コンボリューシ
ョン・フィルタをg(ρ,ψ)とすると、二次元コンボ
リューションの出力c(ρ,ψ)は、 c(ρ,ψ)=∬g(ρ−α,ψ−β)f(α,β)dαdβ ・・(1) であり、これをψ方向に投影した出力はC(ρ,ψ)は C(ρ,ψ)=∬∫g(ρ−α,ψ−β)f(α,β)
dαdβdψ となる。これらを全てのθについて求めて行く。積分境
界の特異性の影響は小さいとして、積分順序を変えて変
形して行くと、 C(ρ,ψ)=∬[∫g(ρ−α,ψ−β)dψ]f(α,β)dαdβ =∬[∫g(ρ−α,ψ)dψ]f(α,β)dαdβ =∫[∫g(ρ−α,ψ)dψ][∫f(α,β)dβ]dα ・・・(2) となる。ここで、 F(ρ,ψ)=∫f(ρ,ψ)dψ G(ρ,ψ)=∫g(ρ,ψ)dψ ・・・(3) とすると、二次元コンボリューションをψ方向に投影し
た出力C(ρ,ψ)は C(ρ,ψ)=∫G(ρ−α)F(α)dα ・・・(4) と最終的に変形される。F(ρ,ψ)とG(ρ,ψ)
は、それぞれ原画像と二次元コンボリューションフィル
タをψ軸方向に投影したものであり、従って(4)式より C(ρ,ψ)=「原画像の投影成分」と「フィルタの投影成分」との一次元コンボ リューション ・・・(5) が導かれる。この(4)式から、先に述べた結論 「原画像に二次元コンボリューションをかけた後で、投影した出力」は、 「原画像を先に投影して、その後で一次元コンボリューションをかけた出力」 に等しい ・・・(6) が証明された。
【0040】この性質により、先に投影処理を行えばρ
方向の一次元フィルタを施すだけで済み、二次元コンボ
リューションの処理量増加を避けられることが判った。
以上の数式変換のイメージは図2より理解される。尚、
図2において、(a)は原画像、(b)は二次元コンボリュー
ションフィルタ特性、(c)は原画像に二次元コンボリュ
ーションフィルタ処理を施した結果、(d)は二次元コン
ボリューションをψ方向に投影した出力、(e)は原画像
をψ方向へ投影した投影成分、(f)は一次元コンボリュ
ーションフィルタ(二次元フィルタ特性をψ方向へ投影
した投影成分)、(g)は「原画像の投影成分」と「フィルタ
の投影成分」との一次元コンボリューション結果であ
る。(d)と(g)は等価であり、「原画像に二次元コンボリ
ューションをかけた後で、投影した出力」は、「原画像
を先に投影して、その後で一次元コンボリューションを
かけた出力」に等しいことが判る。
【0041】以上の証明は判り易さの点から投影法で行
ったが、投影法の上位処理である極変換でも成立する。
従って、極変換に対しても「原画像を小領域に分割して
極変換を行った後に、一次元コンボリューションを行っ
た出力」は、「二次元コンボリューション後に極変換を
行った出力」に等しいとの重要な性質が同様に成立す
る。従って、任意の極変換でも一次元フィルタを施すだ
けで済み、大フィルタの高速処理が可能となる。
【0042】二次元コンボリューションフィルタの制限 ここで重要なことを注意しておく。二次元コンボリュー
ションフィルタの目的は、入力画像の輝度をフィルタリ
ングして、再び輝度信号(スカラー量)に変換して、輪
郭強調などを行うことである。しかし、(1)式の出力は
一般に各点でスカラーに変換されず、1つ次元の高い「投
影軸の角度θをパラメータとするベクトル」になってい
る。(1)式は、θをパラメータとする以下の式で表現す
るのが厳密である。 c(θ)=∬g(ρ−α,ψ−β,θ)f(α,β)dαdβ・・・(7) フィルタ関数g(ρ,ψ,θ)は、受容野プレーンの位
置(ρ,ψ)だけでなく、投影軸の角度θも含む3自由
度の関数である。(7)式がスカラーとなるのは、g
(ρ,ψ,θ)がθの関数でなく等方性の時だけであ
り、受容野中心を共有する「リング状関数」となる。一
方後で詳述するが、このリング状フィルタは、偶数次の
二次元微分しか行えないとの限界がある。
【0043】以上から、画像処理に必要な「輝度変換を
行える二次元コンボリューションフィルタ」は、リング
状の二次元フィルタの組み合わせに限られ、偶数次の二
次元微分しか行えないことが判る。偶数次微分では、画
像の重要な特徴である”縁(輝度変化が最大になる境
界)”を抽出できないとの大きな制約がある。一方、一
次元フィルタ法では後述のように、任意のフィルタを施
すことができ”縁”の抽出も可能である。
【0044】(c) 実証 「二次元フィルタと一次元フィルタとの等価性」をシュ
ミレーションにより実証した結果を示す。二次元コンボリューション+受容野法 「二次元コンボリューション+受容野法」として、以下
のフロー 入力画像→二次元コンボリューション→受容野法(受容野分割→極変換) ・・・(8) を採用し、パラメータは ・受容野サイズ=直径22画素 ・二次元フィルタ=生体の網膜で処理されている二次元
コンボリューションフィルタ(σ=1画素) g(r)=exp(-r22)-0.57exp(-r2/(1.75σ)2) ・・・(9) を使用した。
【0045】原画像から切り出した円形受容野CRC内
の受容野像(図3(a)参照)に、(8)のフロー処理を施し
て得られた双対プレーン(ハイパーコラム)の応答を等高
線で示すと図3(b)に示すようになり、受容野内の線L
が、双対プレーンでは鋭いピークPKとして抽出されて
いる。尚、各図の下に示す曲線は水平方向における輝度
を表現している。
【0046】受容野法+一次元コンボリューション 「受容野法+一次元コンボリューション」として、以下
のフロー 入力画像→受容野法(受容野分割→極変換)→一次元コンボリューション ・・・(10) を採用し、パラメータは、 ・受容野サイズ=直径22画素 ・一次元フィルタ=(9)式の二次元フィルタをψ方向に
投影した一次元フィルタ(σ=1画素) g(ρ)=exp(-ρ22)-(0.57・1.75)exp(-ρ2/(1.75σ)2) =exp(-ρ22)-exp(-ρ2/(1.75σ)2) ・・・(11) を使用した。
【0047】原画像から切り出した円形受容野CRC内
の受容野像(図4(a)参照)に、(10)のフロー処理を施し
て得られた双対プレーン(ハイパーコラム)の応答を等高
線で示すと図4(b)に示すようになり、受容野内の線L
が、双対プレーンでは鋭いピークPKとして抽出されて
いる。
【0048】比較 「二次元コンボリューション+受容野法」と「受容野法
+一次元コンボリューション」のシュミレーション結果
を比較すると、有意差のないことが判る。これにより、
前述の一次元フィルタ法の原理の欄で説明した証明が正
しいことが実証された。
【0049】(d) 処理量と処理方式 次に、二次元コンボリューションフィルタと対比しなが
ら、処理量を見積ってみる。「領域分割+極変換+一次元フィルタ」の処理量 一次元フィルタの幅をa、受容野サイズをm、画像サイ
ズをNとすると、処理量P1Dは P1D={極変換の処理量}+{一次元フィルタの処理
量} ここで、 極変換の処理量=(受容野の数)・(受容野内の極変換処理量) =((N/m)2)・(m3) =mN2 ・・・(12) 一次元フィルタの処理量 =(受容野の数)・(一次元フィルタの処理量)・(方向数) =((N/m)2)・(am)・(m) =aN2 ・・・(13) であるから、 P1D=mN2+aN2 =(m+a)N2 ・・・(14) であり、一般にaはmに近い大きさであるから、「極変
換の処理量と、一次元フィルタの処理量とは同じくら
い」と言える。又、フィルタサイズはmを越えないか
ら、 P1D≦2mN2 ・・・(15) となる。
【0050】「二次元フィルタ+領域分割+極変換」の
処理量 二次元フィルタの直径をaとすると、「二次元フィルタ
+領域分割+極変換」の処理量P2Dは P2D={二次元フィルタの処理量}+{極変換の処理
量} ここで 二次元フィルタの処理量 =(全画素数)・(二次元フィルタの処理量) =(N2)・(a2) =a22 ・・・(16) 極変換の処理量 =(12)式 =mN2 であるから、 P2D=a22+mN2 =(a2+m)N2 ・・・(17) であり、フィルタサイズaはmを越えないから P2D≦(m2+m)N2 ・・・(18) ≒m22 ・・・(19) となる。
【0051】処理量の比較 1) 全体処理量の比較 (14),(17)式より、 P2D/P1D=(a2+m)/(m+a) ・・・(20) となり、a=1では等しいが、aが大きくなるにつれて
増加し、最大フィルタ幅a=mでは、 P2D/P1D=(m2+m)/(m+m) =(m+1)/2 ・・・(21) ≒ m/2 ・・・(22) となる。従って、「一次元フィルタは、二次元フィルタ
m×mの処理量で、(m2/2)×(m2/2)と等価の
大フィルタを処理できる」との大きな寄与が導かれる。
【0052】2) フィルタ部分だけの処理量の比較 (13),(16)式より、 F2D/F1D=a ・・・(24) となり、フィルタ幅aに比例して二次元フィルタの処理
量が増加する。その理由は、二次元フィルタではフィル
タ直径の二乗で処理量が増加するのに対して、一次元フ
ィルタ法ではフィルタ長に比例することにあり、以下が
成立する。 「二次元フィルタa×aの処理量で、a2×a2の大フィルタを処理できる」 ・・・(25)
【0053】処理方式 以上の処理を4種類のフローで行うことができる。図5
は係るフローの説明図であり、同図(a)は「極変換と一次
元フィルタを同一の処理装置で実行」する場合のフロ
ー、(c)は「極変換と一次元フィルタを別の処理装置で実
行」する場合のフロー、(b)は「二次元フィルタと極変換
を同一の処理装置で実行」する場合のフロー、(d)は「二
次元フィルタと極変換を別の処理装置で実行」する場合
のフローである。
【0054】これら4種類の処理方式を、処理時間とハ
ードウェア規模で比較すると図6に示すようになる。
尚、最大のフィルタサイズ(a=m)で比較した。同一
の処理装置で実行する場合及び別の処理装置で実行する
場合のそれぞれにおいて、一次元フィルタ法が優れてい
ることが理解される。
【0055】(e) 三次元計測システムの構成全体の構成 図7は本発明方法を具現化した三次元計測システムの実
施例構成図であり、 入力画像→受容野法(受容野分割+極変換)→ 一次元コンボリューション→特徴抽出 により三次元計測する場合である。
【0056】図中、10は魚眼レンズを内蔵した球面カ
メラ、11は三次元計測システム全体を制御する制御
部、12は所定入力プレーン(魚眼レンズ)に投影され
たN×Nサイズの対象物体画像(入力画像)を記憶する
入力メモリ、13は入力プレーンをm×mの小領域であ
る受容野に分割した時、順次受容野内の画像(受容野
像)を切り出して出力する受容野切り出し回路、14は
各受容野内の画像(受容野像)を記憶する受容野メモ
リ、15は各受容野像に極変換を施す極変換回路、16
は極変換された双対プレーン(ハイパーコラムプレー
ン)上の画像(ハイパーコラム像)を記憶する極変換ハ
イパーコラムメモリである。極変換ハイパーコラムメモ
リ16はρ方向にρmax,θ方向にθmax、総計ρmax×θ
max個の記憶域(ハイパーコラム細胞)で構成されてい
る。
【0057】17は極変換により得られたハイパーコラ
ム像に一次元フィルタ処理を施す一次元フィルタ回路、
18はフィルタ処理を施されたハイパーコラム像を記憶
する要素ハイパーコラムメモリ、19は全ハイパーコラ
ム像を記憶する全ハイパーコラムメモリ、20は要素ハ
イパーコラムメモリ18のハイパーコラム像を全ハイパ
ーコラムメモリ19に転送して所定の記憶域に記憶する
転送回路、21は線、縁、隙間等の特徴を抽出する特徴
抽出部すなわち三次元計測部である。
【0058】極変換回路15は、受容野内の各画素を球
面上で極変換し、すなわち画素を対応する大円に変換し
て極変換ハイパーコラムメモリ16に記憶する。尚、実
際には、極変換は「画素→正弦波」に近似され、受容野の
各画素をハイパーコラム上の対応する正弦曲線に変換し
て極変換ハイパーコラムメモリ16に記憶する。
【0059】一次元フィルタ回路17は尖鋭な線・縁・
隙間抽出を少ない処理量で行うためのものである。輪郭
強調や特徴抽出を行うために、通常、画像データに二次
元コンボリューションフィルタをかけ、しかる後、極変
換を施している。しかし、かかるコンボリューション法
によれば、フィルタサイズをaとすると各入力点に対し
てa2の処理が必要となり、フィルタサイズの増大とと
もに処理量が増加する。しかし、前述の如く「二次元コ
ンボリューションフィルタ+極変換」は「極変換後にρ
方向に一次元フィルタ処理を行うこと」と等価であるか
ら、図7の実施例では極変換後に一次元フィルタを掛け
ている。このようにすれば、処理量は一次元フィルタの
ため各入力点に対してaと少なく、コンボリューション
法に比べて約2/aに処理量が減少する。
【0060】極変換回路 極変換回路は図8に示すように、受容野メモリ14の番
地から順次1画素づつ受容野像(振幅)を読み出し、該
番地と振幅値を出力する読み出し制御部15aと、各画
素に対して極変換(画素番地→正弦波番地への変換)を
施す極変換部15bと、極変換により得られた正弦波番
地が示す極変換ハイパーコラムメモリ16の複数の記憶
位置に読み取った振幅を書き込む書き込み制御部15c
を備えている。
【0061】極変換部15bは受容野メモリ14の画素
番地を極変換ハイパーコラムメモリ16の複数の番地に
対応させる番地変換テーブルメモリ15b-1と、受容野メ
モリ14の番地を極変換ハイパーコラムメモリ16の番
地に変換する番地変換回路15b-2を備えている。番地変
換テーブルメモリ15b-1に記憶されている番地変換テー
ブルは、受容野像における点をハイパーコラムプレーン
上の正弦波に極変換するためのもので、受容野像の点に
応じた番地を、正弦波を構成する点列の各点が位置する
極変換ハイパーコラムメモリ上の多数の番地に変換する
ものである。
【0062】読み出し制御部15aは、受容野メモリ1
4の第1番地から振幅データを読み取り、該振幅データ
と番地データ(第1番地)を極変換部15bに入力す
る。極変換部15bは受容野メモリの第1番地(画素)
を極変換ハイパーコラムメモリ16の正弦波点列の多数
のアドレスに変換し、該アドレスと振幅を出力する。書
き込み制御部15cは、極変換部15bより入力された
振幅データを同様に入力された極変換ハイパーコラムメ
モリ16の各アドレスの内容(初期値は0)に加算して
該アドレスに書き込む。以後、順次、受容野メモリ14
の全番地に対して上記処理を行えば、受容野像に対する
極変換が終了する。
【0063】一次元フィルタ回路 一次元フィルタ回路17は図9に示すように、極変換ハ
イパーコラムメモリ16におけるθ一定のρmax個の番
地(たとえば斜線部参照)から振幅を読み出して出力す
る読み出し制御部17aと、読み出された各振幅に対し
て一次元フィルタリング処理を施す一次元フィルタ部1
7bと、一次元フィルタリング処理結果を要素ハイパー
コラムメモリ18の記憶域に書き込む書き込み制御部1
7cを備えている。
【0064】一次元フィルタ部17bは一次元フィルタ
メモリ17b-1と積和回路17b-2で構成されており、一次元
フィルタメモリ17b-1には横軸をρ軸とした一次元フィ
ルタ特性が離散的に記憶されている。すなわち、ρ方向
の−ρmax/2〜ρmax/2のそれぞれの位置に対して一次元
フィルタ特性値を記憶しており、例えば、一次元一次微
分フィルタの場合には図10(a)のカーブで示す特性値
を記憶し、一次元二次微分フィルタの場合には図10
(b)のカーブで示す特性値を記憶している。尚、フィル
タの幅や値は必要に応じて適当に決定される。積和回路
17b-2は極変換ハイパーコラム16から読み出されたρm
ax個の振幅と一次元フィルタメモリ17b-1に記憶されて
いる対応するρmax個の特性値をそれぞれ掛け合わせ、
乗算結果の総和(振幅)を出力すると共に、前記対応関係
を1画素づつずらして同様の積和演算を行って演算結果
を出力する。
【0065】たとえば、まず、θ=i(初期値は1)とな
る極変換ハイパーコラムメモリ16における全番地(ρ
max個の番地)からρmax個の振幅を読み出す。ついで、
一次元フィルタメモリ17b-1におけるフィルタ特性ρ=
0の位置を、ρmax個の最左端番地A0iに対応付けす
る。しかる後、それぞれ対応する振幅値と特性値の乗算
を行うと共に、乗算結果の総和Σ0iを演算し、該総和を
書き込み制御部17cをして要素ハイパーコラムメモリ
18の番地A0iに書き込む。
【0066】以上の処理が終了すると、フィルタ特性ρ
=0の位置を、左から2番目の番地A1iに対応させ、そ
れぞれ対応する振幅値と特性値の乗算を行い、その乗算
結果の総和Σ1iを書き込み制御部17cをして要素ハイ
パーコラムメモリ18の番地A1iに書き込む。以後、同
様な処理を行い、フィルタ特性ρ=0の位置を最右端番
地Amax,iに対応させて上記処理を終了すれば、以後i
+1→iとして上記積和演算を繰り返して一次元フィル
タリング処理を行う。
【0067】(f) 本発明の評価大マスクフィルタの高速化 「受容野法+一次元フィルタ」により、二次元フィルタ
を一次元で行うことが可能となり、大マスク処理を高速
で実行可能となる。従来法のフィルタサイズをm×mと
すると、処理量は約2/mに減少し、その効果は大フィ
ルタ程大きいとの好ましい特性を有する。例えば、従来
の二次元フィルタ(5×5)と同じ処理量で、実効的に
13×13の二次元フィルタを実行でき、大きな改良効
果を示す。この大フィルタの高速実行方式により、以下
の課題が解決される。
【0068】1) ボケ画像の高速処理 従来のハードウェア能力で13×13の二次元フィルタ
を実効的に行えることが判った。このサイズは受容野と
同程度で、受容野を覆う極端なボケ画像からも線分抽出
が可能であり、ボケ画像の高速処理の課題は解決され
る。 2) 線分の精密フィルタリング 三種類の線分(線・縁・隙間)を的確に分類して抽出す
る必要があるが、一次元フィルタの高速処理をベースと
した後述のアルゴリズムでそれらを可能とした。上記2
つの効果は本発明のごく一例であり、「二次元フィルタ
を一次元で実行できる」特質による高速化をベースに、
以下の新しいフィルタをも可能とする。又、「一次元フ
ィルタ法」は、任意の入力投影面、及び任意の極変換で
も同様に成立し、その波及は大きい。
【0069】二次元フィルタでは不可能なフィルタリン
グ(奇関数フィルタ) 一次元フィルタ法は高速化だけでなく、従来の二次元フ
ィルタでは不可能なフィルタリングを施すことができ
る。 1) 二次元フィルタは、投影すると一次元偶関数フィル
タ 二次元フィルタには、「フィルタ関数自体は等方性でな
ければならない」ことが求められている。フィルタ関数
が異方性であると、ある方向の線分のみが強調されて不
自然な結果になるからである。この等方性の要請から、
二次元フィルタは「中心から距離rのみに依存するg
(r)型のフィルタ」に限定されることになる。生体の
網膜や外側膝状体でも直径が30素子程度の二次元フィ
ルタで輪郭を強調しているが、やはり等方性でg(r)
型のフィルタである。このg(r)型のフィルタを、前
述の一次元フィルタ法の原理で説明した極変換あるいは
投影により一次元にすると、「中心対称の偶関数G
(ρ)」となる。従って、二次元フィルタは投影すると
一次元偶関数フィルタになり、かなり狭いフィルタ関数
に限定されることが判る。
【0070】2) 「受容野法+一次元フィルタ」では任
意関数フィルタが可能 一方、本発明の「受容野法+一次元フィルタ」では、上
記偶関数だけでなく、奇関数を含む任意の関数で等方的
フィルタリングが可能である。そのポイントは、「すべ
ての方向に投影(極変換)」した後で一次元フィルタを
かけることにある。この投影で等方的な処理が既に施さ
れているため、その後でかける一次元フィルタは等方性
に影響せず、従って任意のフィルタをかけられる訳であ
る。
【0071】以上から、「二次元フィルタを一次元フィ
ルタで行える」とのこれまでの説明は十分でなく、逆方
向、すなわち「一次元フィルタ→二次元フィルタ」に関
しては必ずしも成立しないことが判る。正確に記すと、 ・「二次元フィルタ+極変換」と同じ出力を与える「極
変換+一次元フィルタ」は常に存在するが、その逆、つ
まり「極変換+一次元フィルタ」と同じ出力を与える
「二次元フィルタ+極変換」は偶関数の場合だけであ
る。 ・「極変換+一次元フィルタ」では、任意のフィルタが
可能であり、「二次元フィルタ+極変換」で不可能なフ
ィルタ(奇関数フィルタや後述するスケルトンフィルタ
など)も行えるとの重要な性質が導かれる。
【0072】3) 奇関数性(偶関数性)は奇数次(偶数
次)微分フィルタである 従来の二次元フィルタでは実現できず、本発明で初めて
可能となる「一次元奇関数フィルタ」は”縁”抽出に不
可欠の重要なフィルタである。フィルタの偶奇対称性と
微分作用との関連を調べてみると、 ・一次元フィルタが奇関数性の場合には奇数次微分の作
用がある、 ・一次元フィルタが偶関数性の場合には偶数次微分の作
用がある の関係が存在する。その理由は、フィルタが重畳積分で
行われることを念頭に置くと以下で理解できる。
【0073】・奇関数の場合
【数1】 と一次の差分形式となり、一次微分が行われる。又、g
(α)が更に高次の奇関数性を含んでいる時には、その
対称中心を原点として上記の微分が行われる。これらを
総合して「奇関数の一次元フィルタは、一般に奇数次の
微分を行う」ことが判る。
【0074】上記で、完全な奇関数でない場合 g(α)=−η(α)・g(−α) でも、積分の中は、 {f(ρ−α)−η(α)・f(ρ+α)}g(α) となり、オフセットを生じるが一次微分は行われる。従
って、完全な奇関数でなくても、上式の奇関数性を備え
ていれば一次微分作用がある。
【0075】・偶関数性
【数2】 積分を差分に置き換えて、かつga(0)=g(0)/a とする
と、
【数3】 となる。
【0076】この積和演算の各項を、g(αi)の状態
で分けてみると、g(αi)が正の項は(b)式から平均操
作であることが判り、従ってローパスフィルタとして機
能する。又、g(αi)が負の項は(c)式の{}の中が一次
の差分形式であり、これが2段階で作用するから二次の
微分として機能することが判る。g(α)が更に高次の
偶関数性を含んでいる時には、その対称中心を原点とし
て上記の微分やローパスフィルタが行われる。これらを
総合して、「偶関数の一次元フィルタは、一般に偶数次
の微分を行う」ことが判る。尚、前述のローパスフィル
タは0次の微分と考えることができる。又、奇関数の場
合と同様に、完全な偶関数でなくても下記の偶関数性を
備えていれば、偶数次の微分作用となる。 g(α)=η(α)・g(−α) 以上の検討から、一般に使用されている二次元コンボリ
ューションフィルタは、偶関数一次元フィルタと等価で
あり、従って偶数次微分に限られて”縁”抽出などに不
可欠な奇数次微分を行えないことが判る。
【0077】4) 奇関数フィルタはエッジ(縁)抽出に
は不可欠 入力される画像の中で最も多く、かつ信頼できる特徴
は、輝度の明るい部分と暗い部分との境界であり、エッ
ジあるいは縁と呼ばれている。この境界を抽出するに
は、輝度変化の最大の場所を検出する操作が必要で、数
学的には奇数次の空間微分を施さなければならない。図
11(a)は縁入力画像に対して一次元一次微分フィルタ
を掛けた時の出力応答図であり、出力応答は縁の中心で
ピークとなり、縁が容易に抽出できることが判る。
【0078】一方、従来の二次元フィルタでは、奇関数
フィルタを施せないためこの奇数次微分を行えず、縁を
抽出できないとの大きな課題がある。現状では、やむを
得ず間接的な方法が行われている。すなわち、二次元ガ
ウシャン(gaussian)フィルタ(偶関数)をかけて、入力画
像を二次微分する。二次微分すると、その出力応答は肝
心の輝度変化の最大場所(境界)で零になる。そこでこ
の"零の場所"を"縁"として他の情報を使って苦労して抽
出している。図11(b)は縁入力画像に対して二次元二
次微分フィルタを掛けた時の出力応答図であり、出力応
答は縁の中心で零となっている。しかし、出力応答が"
零の場所"はノイズに弱いため正確に縁を抽出できず、
しかも容易に縁を抽出できない課題がある。
【0079】以上のように、本発明の一次元フィルタ法
では、奇数次微分が可能なため、”境界”で最大の出力
が得られ、安定した縁検出を行える。尚、生体の大脳に
も縁を抽出する細胞(ハイパーコラム)が規則的に配列
しており、縁の場所で最大の反応を示し、奇数次微分の
フィルタを構成していることを示唆している。この生体
情報処理の仕組をモデル化でき、そのフローは「二次元
二次微分フィルタ→極変換→一次微分フィルタ」で表さ
れ、全体として三次微分のフィルタとなって縁をピーク
として抽出できる。
【0080】5) シュミレーション結果 上記生体情報処理のモデルを、実画像を用いてシュミレ
ーションした結果を図12に示す。図12(a)は実画像
である縁の拡大図、図12(b)はハイパーコラムの応答
(輝度)を等高線で示すものであり、円形受容野CRC内
の縁EDGは、図12(b)のハイパーコラムプレーン上
で鋭いピークPKとして抽出されており、上述の奇関数
フィルタが”縁”抽出には不可欠であることが理解され
る。
【0081】比較のために、従来法の二次元フィルタ法 「二次元二次微分フィルタ→極変換」のシュミレーショ
ン結果を図13に示す。図12に比べて、一次微分フィ
ルタがないため全体として偶数次(二次)で、そのた
め、主ピークのない双峰性の出力となり、肝心の縁の部
分で出力が零になっている。尚、上記のシュミレーショ
ンでは、生体の処理と対比したため最初に二次元二次微
分フィルタを施したが、これを極変換後の一次元二次微
分フィルタに置き換えても全く同じ出力が得られる。そ
して、この方がフィルタリングの処理量が大幅に減少す
ることは、前述の高速化の項で説明した通りである。生
体では、二次元フィルタで輪郭強調した出力を、眼球制
御や色の前処理などに共用するために、縁抽出のチュー
ニングをあえてしないものと思われる。
【0082】二次元フィルタでは不可能なフィルタリン
グ処理(スケルトンフィルタ) 1) スケルトンフィルタ 一次元フィルタ法によれば、上記の奇関数フィルタのほ
かに、従来の二次元フィルタでは不可能なフィルタリン
グが可能となる。それは、スケルトンフィルタと名付け
たものであり、図14(a),(b)に示すように、ディラッ
ク(Dirac)のδ関数(幅が零で、面積が1、−1、−2な
ど)で表されるフィルタである。尚、図14(a)はスケ
ルトン型一次元微分フィルタ、(b)はスケルトン型二次
微分フィルタの特性図である。フィルタの幅を2aとす
ると、スケルトン型一次微分フィルタは G(ρ)=δ(ρ−a)−δ(ρ+a) と表現でき、スケルトン型二次微分フィルタは G(ρ)=2δ(ρ)−δ(ρ−a)−δ(ρ+a) と表現できる。
【0083】2) スケルトンフィルタでのコンボリュー
ション演算 スケルトンフィルタではコンボリューション演算の積分
が簡単な積和となる。極変換された画像データをF
(ρ)とすると、コンボリューション出力C(ρ)は、
スケルトン型一次微分フィルタの場合には、 C(ρ)=∫F(ρ−ξ)G(ξ)dξ =∫F(ρ−ξ){δ(ξ+a)−δ(ξ−a)}dξ =F(ρ+a)−F(ρ−a) となり、スケルトン型二次微分フィルタの場合には、 C(ρ)=∫F(ρ−ξ)G(ξ)dξ =∫F(ρ−ξ){2δ(a)−δ(ξ+a)−δ(ξ−a)}dξ =2F(ρ)−F(ρ+a)−F(ρ−a) となり、積分が入力データF(ρ)の簡単な組み合わせ
で表現され、処理量が大幅に削減される。
【0084】3) スケルトンフィルタの実施例 この簡単な構成のスケルトンフィルタでも、線分抽出を
的確に行える。図15はスケルトンフィルタで一次元フ
ィルタを構成した場合の構成図であり、31はN×Nの
対象物の画像を記憶する入力メモリ、32は入力画像を
受容野ごとに分割して出力する受容野分割部、33は受
容野像に対して所定の極変換を施す極変換部、34は一
次元フィルタであり、スケルトン型一次微分フィルタ3
4aとスケルトン型二次微分フィルタ34bで構成され
ている。35はハイパーコラム像を記憶するハイパーコ
ラムメモリ、36は特徴抽出部である。
【0085】スケルトン型一次微分フィルタ34aは次
式 G(ρ)=δ(ρ−1)−δ(ρ+1) の特性を備え、スケルトン型二次微分フィルタは次式 G(ρ)=2δ(ρ)−δ(ρ−2)−δ(ρ+2) の特性を備えている。
【0086】図15のスケルトンフィルタを用いた構成
により、従来の二次元フィルタではできなかった”線分
の縁”を抽出した結果を図16に示す。図16(a)は実
画像である縁の拡大図、図16(b)はハイパーコラムの
応答(輝度)を等高線で示すものであり、円形受容野CR
C内の縁EDGは、図12(b)のハイパーコラムプレー
ン上で鋭いピークPKとして抽出されており、スケルト
ンフィルタで縁抽出機能を十分に果たせることが理解さ
れる。
【0087】4) 微分の基本機能はスケルトンフィルタ スケルトンフィルタで十分な縁抽出を行える理由を考察
する。普通のフィルタ、例えば一次微分フィルタは、Γ
(ρ)を山型の関数として H(ρ)=Γ(ρ−a)−Γ(ρ+a) と一般に表現されるが、これは =∫Γ(ρ−ξ){δ(ξ−a)−δ(ξ+a)}dξ =∫Γ(ρ−ξ)G(ξ)dξ と変形され、「スケルトンフィルタG(ρ)に、ローパ
スフィルタΓ(ρ)を合成したフィルタ」である。その
機能を分析すると、目的とする一次微分操作はスケルト
ンフィルタG(ρ)で実行され、Γ(ρ)は高周波ノイ
ズを低減する補助的な役割であることが判る。以上よ
り、スケルトンフィルタが微分操作の基本機能を実行し
ており、線分抽出の基本フィルタであることが判る。以
上が、上記シュミレーションにおいて、スケルトンフィ
ルタで的確に縁抽出を行えた理由である。
【0088】5) スケルトンフィルタの効果 一般に使用されているフィルタの山型関数Γ(ρ)の幅
は3〜5画素であり、コンボリューション演算の処理量
がこの幅倍だけ増加する。従って、スケルトンフィルタ
では従来の山型フィルタに比べて処理が3〜5倍減少す
るとの大きな寄与がある。
【0089】6) スケルトンフィルタは従来の二次元フ
ィルタでは不可能 一次元スケルトンフィルタを、二次元フィルタでは作れ
ない。その理由を以下で説明する。二次元フィルタでは
前述のように等方性の要請から、同心円状のフィルタと
なり、幅が零のリングフィルタの組み合わせで構成され
る。この要素リングフィルタが二次元では最も鋭いフィ
ルタであるが、極変換で一次元に投影してもスケルトン
フィルタ、換言すればフィルタ点以外で値が零のフィル
タを実現できない。なぜならば、リングが連続のため投
影しても、フィルタ点以外では値が零の不連続フィルタ
にならないためである。従って、二次元ではスケルトン
フィルタほど処理量の少ないフィルタを実現できないこ
とが理解される。
【0090】7) 要約 以上要約すると、・スケルトンフィルタは「極変換+一次
元フィルタ」でのみ可能、 ・スケルトンフィルタにより二次元コンボリューション
に比べて、1/3〜1/5のコンボリューション演算量
に削減できる、 ・最も鋭い二次元フィルタ(幅ゼロのリング)のコンボ
リューション演算を、スケルトンフィルタでは中心と両
端の3画素にできる。その処理の削減量は、リングフィ
ルタの直径をNr画素として、3/(πNr)となり、高
速化への寄与は大きい。例えば、ボケ画像を処理するに
はNr≧6は必要で、1/2πに処理量が削減される。
【0091】マルチフィルタ 本発明の「受容野法+一次元フィルタ」では、上述のよ
うに大マスクを高速で実行できるため、幅の異なるフィ
ルタを同時にかけること(マルチフィルタ)が可能とな
る。これにより、従来法では不可能であった「画像中に
混在するボケ部分とシャープな部分の同時抽出」を行う
ことができ、画面全体を的確に把握した作業や移動が可
能となる。生体でも幅の異なる数種類のフィルタリング
を同時に行って、特徴把握を確実なものにしている。
【0092】図17はマルチフィルタを用いた場合の三
次元計測システムの構成図であり、41はN×Nの入出
力画像を記憶する入力メモリ、42は入力画像を受容野
ごとに分割して出力する受容野分割部、43は受容野像
に対して所定の極変換を施す極変換部、44は一次元マ
ルチフィルタであり、幅W1の一次元フィルタ44a、
幅W2の一次元フィルタ44b、幅W3の一次元フィルタ
44c、幅W4の一次元フィルタ44d・・・、各一次
元フィルタ出力を合成して出力する合成部44eで構成
されている。45はハイパーコラム像を記憶するハイパ
ーコラムメモリ、46は特徴抽出部である。
【0093】このシステムでは、入力メモリ41に記憶
された入力画像を受容野分割部42で受容野毎に分割
し、極変換部43で受容野像に極変換を施す。ついで、
極変換出力に対してハイパーコラムプレーンのρ軸方向
にフィルタ幅の異なる一次元フィルタ処理を並行して施
す。しかる後、並行してかけた各一次元フィルタ出力を
統合して、一次元マルチフィルタ出力を得、このマルチ
フィルタ出力に基づいて特徴抽出部46で線・縁・隙間
抽出を行う。以上の構成により、「幅W1〜幅W4の一次
元マルチフィルタ」を統合して「シャープな線分からボ
ケた線分までを同時に抽出」することが可能となる。こ
れは、本発明の高速フィルタリングによって初めて実用
化できる技術である。上記のマルチフィルタの幅W1
4は任意でよいが、処理効率を考えるとフィルタ幅が
大きくなると細かく分割する意味が薄れるため、以下の
指数的なマルチフィルタが好ましい(普通はn=2でよ
い)。 Wi=(Wi-1n
【0094】従来の二次元フィルタを用いた「二次元フ
ィルタ+受容野法」を検討してみると、以下の課題があ
り、マルチフィルタは不可能である。すなわち、 ・処理量が非常に多くなる。マルチフィルタの数をμと
すると、前述により本発明の一次元フィルタ法に比べて
μ×(m/2)倍処理量が多くなり、工学的にマルチフ
ィルタを採用できない。 ・奇数次微分ができない。二次元コンボリューションフ
ィルタでは、リングフィルタに限定されて奇数次の微分
を行えず、”縁”を検知できない。以上より、従来の二
次元フィルタを用いる方法では、マルチフィルタを構成
することは困難であることが理解される。
【0095】正負分離処理の一次元多段フィルタリング 前述の縁抽出フィルタ、すなわち、「受容野分割→極変
換→一次微分フィルタ→二次微分フィルタ」構成の縁抽
出フィルタにはまだ課題がある。それは、明るく光”
帯”の両端の縁 抽出において、その帯の幅が狭くなると出力が干渉して
正しい縁の抽出ができなくなることである。その原因は
帯の幅が狭くなると、図18に示すように一次微分フィ
ルタ出力の両端の正負ピークが接近して、それに更に
二次微分するため干渉するものである。尚、図18にお
いて、は縁の画像であり、は縁画像に一次微分を施
した結果(一次微分出力)であり、は二次微分出力で
ある。
【0096】この干渉を軽減するには、一次微分出力の
両端の正負ピークを分離して、独立に二次微分すればよ
い。図19は正負分離型の一次元多段フィルタの構成図
であり、52は入力画像を受容野ごとに分割して出力す
る受容野分割部、53は受容野像に対して所定の極変換
を施す極変換部、54は正負分離型一次元多段フィルタ
であり、一次元微分フィルタ54aと、一次元微分フィ
ルタ出力の正負を分離する正負分離回路54bと、一次
微分出力の正、負部分にそれぞれ独立に二次微分フィル
タ処理を施す第1、第2の二次微分フィルタ54c,5
4dと、二次微分フィルタ54cの出力から正信号を選
択する正出力選択部54eと、二次微分フィルタ54d
の出力から負信号を選択する負出力選択部54fと、各
正、負出力選択部の出力を合成する合成部54gで構成
されている。
【0097】図20は、この正負分離型一次元多段フィ
ルタのシュミレーション結果であり、は縁の画像、
は縁画像に一次微分を施した時の正出力(一次微分出
力)であり、は正の一次微分出力に二次微分フィルタ
処理を施したときの出力(二次微分フィルタ54cの出
力)である。正負分離しない場合に比べて、出力される
縁ピークの干渉は大きく押えられている。生体では、殆
どの処理が、正負出力を分離して行われている。その理
由は、神経が負の信号を送れないため、負出力成分は別
の負専用の配線を並行して設けて対処しているからであ
る。生体では、神経系統の制限から正負分離をしている
が、上記メカニズムで干渉も抑制されるとの効果も期せ
ずして得られている。
【0098】図21はマルチフィルタに正負分離を適用
した場合の正負分離型マルチフィルタの構成図であり、
62は入力画像を受容野ごとに分割して出力する受容野
分割部、63は受容野像に対して所定の極変換を施す極
変換部、64は正負分離型マルチフィルタであり、幅W
11の一次元フィルタ64a-1と、幅W12の一次元フィルタ6
4a-2と、幅W13の一次元フィルタ64a-3と、幅W14の一
次元フィルタ64a-4と、各一次元微分フィルタ出力の正
負を分離する正負分離回路64b-1〜64b-4と、各一次微分
出力の正負部分にそれぞれ独立に二次微分フィルタ処理
を施す4組の第1、第2の二次微分フィルタ64c-1,64c-
2;64d-1,64d-2;64e-1,64e-2;64f-1,64f-2(幅はそれぞ
れW21,W22,W23,W24)と、正の各二次微分フィル
タ出力を合成して出力する合成部64gと、負の各二次
微分フィルタ出力を合成して出力する合成部64hで構
成されている。
【0099】この正負分離型マルチフィルタでは、各一
次微分フィルタ出力の正負を分離し、それらに二次微分
フィルタを独立にかけた後で、正同士、負同士をそれぞ
れ統合している。これにより、画像中にボケ部分や細い
帯が混在していても干渉を抑えた的確な抽出ができる。
この正負分離型マルチフィルタのシュミレーション結果
を図22、図23に示す。尚、図24は原画像であり、
図22(b)は原画像における○部分の受容野像(図22
(a)に拡大図を示す)に正負分離型マルチフィルタ処理
を施して得られたハイパーコラム像を等高線で示したも
のである。受容野中の4本の縁が、4つの鋭いピークP
1〜P4として抽出されている。図23は全ハイパーコラ
ム内の上記ピークを抽出して、線分を再生(角度、位
置、長さ)した場合の再生像であり、原画中には、ボケ
た部分や幅の狭い帯も混在しているが、マルチフィルタ
と正負分離の効果が発揮されて安定に抽出されている。
【0100】尚、シュミレーションでは、一次微分フィ
ルタ64a-1〜64a-4の幅W11〜W14をそれぞれ1,2,
4,8画素とし、二次微分フィルタ64c-1,64c-2;64d-1,
64d-2;64e-1,64e-2;64f-1,64f-2の幅W21,W22
23,W24をそれぞれ2,2,4,8画素とし、合成部
64g,64hの出力を加算して表示している。以上の
説明とシュミレーションから判るように、「受容野法+
極変換+正負分離処理」により、細い帯や高密度の縞な
どの「詳細な特徴」を干渉を抑制して抽出可能となる。
この分離処理は上記の縁に限定されず、広く干渉を抑え
た処理に寄与できる。
【0101】時間的一次元フィルタ 以上の一次元フィルタは双対プレーン(ハイパーコラム
プレーン)において空間的に施すものとしてきたが、時
々刻々と変化する次の画面との差を取って時間的に作用
させることもできる。これにより、 ・ρ軸方向に時間的に作用させると、受容野内を平行に
移動する特徴量(移動方向や移動量など)を一元的に抽
出できる、 ・θ軸方向に時間的に作用させると、受容野中心で回転
する特徴量(回転方向や回転量など)を一元的に抽出で
きる、 などの移動する特徴量を、処理量の少ない一次元フィル
タで把握でき、又重畳積分フィルタの性質からノイズに
強いとの特徴も有する。
【0102】生体のハイパーコラムでも時間的に一次元
微分フィルタを行う細胞(複雑細胞)があり、移動する
特徴のみを抽出している。又、ハイパーコラムの第四、
第五層から注視制御を行う上丘へのフィードバックがあ
り、移動方向と移動量データを送出している。これま
で、移動特徴の抽出をオプティカル フロー法などで試
みられているが、微分的フィルタのためノイズに弱いと
の本質的な課題を含んでいる。上記の時間的一次元フィ
ルタでは、積分型のため安定な抽出が可能である。
【0103】(g) 各種フィルタの実施例線分抽出フィルタ 線分は画像中の最も基本的な特徴である。プラントや工
場などの環境や作業対象物の大半は、加工のし易さから
直線や円筒形状で構成されており、画面では直線として
写る。又、残りの曲線図形に対しても、それらを短い範
囲で見れば直線と近似でき、接線群(包絡線)として曲
線図形を抽出できる。以上から、小領域に分割して処理
する受容野法は上記の接線を検知していることになる。
従って、受容野法により「曲線の包絡線抽出、更にその
接線を統合した直線抽出」が可能であり、孤立した微小
図形を除いて殆どの特徴を抽出できる。このように受容
野法による線分(接線)抽出は画像処理において基本的
な役割を果たす。生体の大脳(ハイパーコラム)でも、
受容野分割による接線抽出を最初に行っており、重要な
前処理であることに気付いている。
【0104】この重要な線分抽出は更に三種類の特徴に
分かれ、それに適したフィルタを施す必要がある。その
三種の線分は線、縁、隙間であり、”線”は細い帯状の
線分、”縁”は明るい部分と暗い部分の境界線、”隙
間”は”線”の輝度が逆転したものである。以下ではそ
れらの抽出に適したフィルタを具体的に述べる。説明を
簡単にするために、各種の一次元、二次元フィルタの略
号を以下で定義する。図25はフィルタ略号定義説明図
であり、一次元フィルタにおいて、幅aのスケルトン型
一次微分フィルタはgraあるいはgrと記し、幅aのスケ
ルトン型二次微分フィルタはgasaあるいはgasと記し
(図25(a)参照)、二次元フィルタにおいて直径aの二
次微分フィルタは2gasaあるいは2gasと記す(図25(b)
参照)。尚、二次元フィルタでは奇関数フィルタは存在
せず、従って一次微分フィルタは定義できない。又、一
次元grフィルタ、一次元gasフィルタというときには、
スケルトン型に限らず、山形のグラディエントフィルタ
やガウシャンフィルタを含むものとする。
【0105】1) "線"抽出フィルタ 図26は”線”抽出フィルタの各種構成図であり、(a)
は受容野法(受容野分割+極変換)のみで”線”を抽出
する基本フィルタの構成、(b)は「受容野法+一次元gas
フィルタ」構成の線抽出フィルタ、(c)は「二次元gasフィ
ルタ+受容野法」構成の線抽出フィルタである。
【0106】1-1) 図26(a)の線抽出フィルタは、受容
野分割部71で入力画像を受容野毎に分割し、極変換部
72で各受容野像毎に極変換を施して線を抽出するもの
で線抽出の原型フィルタ(基本フィルタ)である。この
受容野法の出力のみからでも”線”を抽出できる。しか
し、”線”以外の一様な輝度の部分でも出力が大きくな
るとの欠点を有しており、図26(b),(c)のフィルタが
望ましい。尚、基本フィルタの正のピークが"線"に対応
し、谷底が"隙間"に対応している。基本フィルタを用い
て”線”を抽出したシュミレーション結果を図27に示
す。円形受容野CRC(図27(a))内に”線”SLしか
存在しないため、上記の副作用が現われず、線はハイパ
ーコラム上で正ピークPKとして抽出される(図27
(b))。
【0107】1-2) 図26(b)の線抽出フィルタは、受容
野分割部71で入力画像を受容野毎に分割し、極変換部
72で各受容野像毎に極変換を施し、一次元gasフィル
タ73で極変換出力に一次元二次微分フィルタ処理を施
して線分を抽出するものである。この線抽出フィルタに
よれば、”線”に対応する主ピークが、反対符号の副ピ
ークを両側に伴って得られる。この副ピークは以降の処
理で、主ピークを強調する大事な役割を果たす。尚、基
本フィルタで問題となった一様な輝度の部分は、フィル
タの微分作用で除去される。正のピークが”線”に対応
している。処理量も一次元フィルタのため少なく、最も
優れた”線”抽出フィルタと言える。
【0108】ところで、gasフィルタの幅が小さすぎる
と、"線"を幅のある帯とみなして両端を微分してしま
い、肝心の主ピークの部分で出力が零となる。それを避
けるためには gasフィルタの幅(a)≧"線"の幅 を満たせばよいが、最適条件は gasフィルタの幅(a)=2×"線"の幅 である。最適条件での”線”抽出のシュミレーション結
果を既出の図4に示す。線に対応する正の主ピークPK
は副ピークPK1,PK2を伴って検出される。
【0109】1-3) 図26(c)の線抽出フィルタは、二次
元gasフィルタ74で入力画像に二次元二次微分処理を
施してから、受容野毎に分割し、各受容野像に極変換を
施して線を抽出するものである。この線抽出フィルタは
図26(b)のフィルタと等価であり、"線"に対応した主
ピークが、半分の高さの反対符号の副ピークを両側に伴
って得られる。しかし、前述のように、処理量は図26
(b)のフィルタの方が遥かに少ない。正のピークが線に
対応している。
【0110】ところで、2gasフィルタの幅が小さすぎる
と、"線"を幅のある帯とみなして両端を微分してしま
い、肝心の主ピークの部分で出力が零となる。それを避
けるためには 2gasフィルタの幅(a)≧"線"の幅 を満たせばよいが、最適条件は 2gasフィルタの幅(a)=2×"線"の幅 である。最適条件での”線”抽出のシュミレーション結
果を既出の図3に示す。線に対応する正の主ピークPK
は副ピークPK1,PK2を伴って検出され、図26
(b)の線抽出フィルタと同一出力が得られる。
【0111】2) 縁抽出フィルタ 最初に”縁”フィルタの原理と意義を説明する。三種類
の線分の中で、”縁”が最も多く現われる。その理由
は、細かい特徴である”線”や”隙間”は比較的少な
く、大局的な特徴である「輝度の変化する境界」、すな
わち、”縁”が画像の特徴の大半を占めるからである。
しかし、従来の二次元フィルタでは、奇数次のフィルタ
が許されないため、”縁”を抽出できない。一方、一次
元フィルタ法では任意のフィルタが可能であり、以下の
基本フローで”縁”が抽出される。生体の大脳にも、こ
の重要な”縁”を抽出する規則的な構造(ハイパーコラ
ム)がある。
【0112】”縁”抽出の基本フローは、以下で詳述す
るが「受容野分割→極変換→一次微分フィルタ→二次微
分フィルタ」であり、その機能分担は、以下のとおりで
ある。すなわち、・ 一次微分フィルタの機能:一次微分フィルタは誤差関
数状(鈍ったステップ状)の輝度変化を、変化率最大の
場所をピークとする山形の出力、すなわち”線”に変換
する。これにより、一次微分フィルタは「”縁”を”
線”に変換するフィルタ」と考えてよく、”縁”抽出の
基本フィルタであり、これだけでも”縁”を抽出でき
る。 ・二次微分フィルタの機能:一次微分フィルタで変換さ
れた”線”は、二次微分フィルタの”線”抽出機能によ
り、先鋭化されて両端に反対符号の副ピークを付与され
る。この二次微分フィルタは以降の処理での”主ピーク
の切れ”をよくするのに重要であり、その機能は線抽出
フィルタそのものである。
【0113】以上から、”縁”抽出の基本フローは、
「受容野分割→極変換→→”線”変換フィルタ→”線”
抽出フィルタ」と機能的に表現すると判り易くなる。途
中に非線形操作を加えなければ、フィルタの順序は任意
に変えてよい。以下各種の”縁”フィルタを詳述する。
図28は各種”縁”抽出フィルタの構成図であり、(a)
は受容野法(受容野分割+極変換)の出力に一次元grフ
ィルタ処理を施して”縁”を抽出する基本フィルタの構
成、(b)は(a)の基本フィルタの後段に更に一次元gasフ
ィルタを接続した縁抽出フィルタの構成、(c)は(a)の基
本フィルタの前段に更に二次元gasフィルタを接続した
縁抽出フィルタの構成、(d)は(c)の一次元grフィルタを
時間的一次元grフィルタで置き換えた縁抽出フィルタの
構成である。
【0114】2-1) 図28(a)の縁抽出フィルタにおいて
は、受容野分割部81で入力画像を受容野毎に分割し、
極変換部82で各受容野像に極変換を施し、一次元grフ
ィルタ83で極変換出力に一次微分処理を施して”縁”
を抽出するものである。一次元grフィルタのみでも"縁"
を抽出でき、"縁"抽出の基本フィルタである。しかし、
主ピークのみで反対符号の副ピークを伴っていないた
め、以降の処理を鋭敏に行えない課題を有し、図28
(b)以降のフィルタが望ましい。基本フィルタを用い
て”縁”を抽出したシュミレーション結果を図29に示
す。円形受容野CRC(図29(a))内の”縁”EDGが
ハイパーコラム上で副ピークを伴わない主ピークPK
(図29(b))として抽出されている。
【0115】2-2) 図28(b)の縁抽出フィルタは、受容
野分割部81で入力画像を受容野毎に分割し、極変換部
82で各受容野像に極変換を施し、一次元grフィルタ8
3で極変換出力に一次元一次微分処理を施し、更に二次
元gasフィルタ84で一次元二次微分処理を施して”
縁”を抽出するものである。一次元gasフィルタ84の
先鋭化機能により、”縁”に対応した主ピークが、半分
の高さの反対符号の副ピークを両側に伴って得られる。
この副ピークは以降の処理で、主ピークを強調する大事
な役割を果たす。処理量も一次元フィルタのため少な
く、最も優れた”縁”フィルタである。
【0116】ところで、gasフィルタの幅が小さすぎる
と、一次元grフィルタで変換された"線"を幅のある帯と
みなして両端を微分してしまい、肝心の主ピークの部分
で出力が零となる。それを避けるには gasフィルタの幅(a)≧ grフィルタの幅(b) を満たせばよいが、最適条件は gasフィルタの幅(a)=2×grフィルタの幅(b) である。最適条件での”縁”抽出のシュミレーション結
果を図30に示す。円形受容野CRC内の縁EDG(図
30(a))に対応する正の主ピークPKは副ピークPK
1,PK2を伴って検出される(図30(b))。
【0117】2-3) 図28(c)の縁抽出フィルタは、二次
元gasフィルタ85で入力画像に二次元二次微分処理を
施してから、受容野分割部81で入力画像を受容野毎に
分割し、極変換部82で各受容野像に極変換を施し、更
に一次元grフィルタ83で極変換出力に一次元一次微分
処理を施して”縁”を抽出するものである。この縁抽出
フィルタは図28(b)のフィルタと等価であり、"縁"に
対応した主ピークが、半分の高さの反対符号の副ピーク
を両側に伴って得られる。しかし、前述のように、処理
量は図28(b)のフィルタの方が遥かに少ない。
【0118】ところで、二次元gasフィルタ(2gas)の幅
が小さすぎると、一次元grフィルタで変換された"線"を
幅のある帯とみなして両端を微分してしまい、肝心の主
ピークの部分で出力が零となる。それを避けるためには 2gasフィルタの幅(a)≧ grフィルタの幅(b) を満たせばよいが、最適条件は 2gasフィルタの幅(a)=2×grフィルタの幅(b) である。最適条件での”線”抽出のシュミレーション結
果を既出の図12に示す。縁に対応する主ピークPKは
副ピークPK1,PK2を伴って検出される。
【0119】2-4) 図28(a)〜(c)の一次元grフィルタ
を、時間的一次元grフィルタで置き換えると(例えば図
28(d)参照)、止まっている図形には全く応答せず、
「受容野内を平行移動する"縁"」のみが抽出される。移動
方向や移動量を抽出して、対象物を注視・追尾したり、
全体の移動パターンから障害物を回避したりすることが
可能となる。生体のハイパーコラムにも 二次元gasフィルタ→受容野分割→極変換→時間的一次
元フィルタ 構成のフィルタがあり、移動する”縁”を抽出してお
り、複雑細胞と呼ばれている。
【0120】2-5) "縁"を正信号で抽出するフィルタ 図31は"縁"を正信号で抽出するフィルタの各種構成図
で、図28(a),(b)に示す縁抽出フィルタに対応してお
り、同一部分には同一符号を付している。図31におけ
る方法1の縁抽出フィルタは、図28(a)の一次元gr
フィルタ83の後段に絶対値回路87を設け、縁を正信
号で抽出するものである。又、図31における方法2の
縁抽出フィルタは、図28(b)の一次元grフィルタ83
の後段に絶対値回路87を設け、かつ一次元gasフィル
タ84の後段に正分離回路88を設け、縁を正信号で抽
出するものである。更に、図31における方法3の縁抽
出フィルタは、図28(b)の一次元grフィルタ83の
後段に正負分離回路89を設け、一次元gasフィルタ8
4a,84bで一次元grフィルタ出力の正、負それぞれ
に独立して一次元二次微分処理を施し、負選択部89
a,正選択部89aで正、負信号をそれぞれ選択出力
し、符号反転回路90で負信号の符号を反転し、各正信
号を合成部91で合成して正の縁信号を出力する。
【0121】図32は"縁"を正信号で抽出するフィルタ
の別の構成図で、図28(c)に示す縁抽出フィルタに対
応しており、同図の一次元grフィルタ83の後段に絶
対値回路87を設け、縁を正信号で抽出するものであ
る。
【0122】3) 隙間抽出フィルタ 隙間抽出フィルタは、線抽出フィルタの符号を反転した
ものである。従って、図26(a)〜(c)に示す各線抽出フ
ィルタの後段に符号反転回路を接続すれば、隙間抽出フ
ィルタになる。図33は隙間抽出フィルタの構成図であ
り、75は符号反転回路である。尚、図26と同一部分
には同一符号を付している。
【0123】3-1) 「受容野分割→極変換→符号反転」構
成の隙間抽出フィルタ この隙間抽出フィルタは図33(a)に示すように、図2
6(a)の線抽出フィルタの後段に符号反転回路75を接
続をしたものである。受容野法の出力のみからでも”隙
間”を抽出できる。しかし、一様に暗い部分でも出力が
大きくなるとの欠点を有しており、以下の隙間抽出フィ
ルタが好ましい。尚、正のピークが"隙間"に対応してい
る。
【0124】3-2) 「受容野分割→極変換→一次元gasフ
ィルタ→符号反転」構成の隙間抽出フィルタ この隙間抽出フィルタは図33(b)に示すように、図2
6(b)の後段に符号反転回路75を接続をしたものであ
り、一次元gasフィルタ73により”隙間”に対応する
主ピークが、半分の高さの反対符号の副ピークを両側に
伴って得られる。この副ピークは以降の処理で、主ピー
クを強調する大事な役割を果たす。尚、一様な暗さの部
分は、フィルタの微分作用で除去される。処理量も一次
元フィルタのため少なく、最も優れた”隙間”抽出フィ
ルタと言える。ところで、gasフィルタの幅が小さすぎ
ると、"隙間"を幅のある帯とみなして両端を微分してし
まい、肝心の主ピークの部分で出力が零となる。それを
避けるには gasフィルタの幅(a)≧"隙間"の幅 を満たせばよいが、最適条件は gasフィルタの幅(a)=2×"隙間"の幅 である。
【0125】3-3) 「二次元gasフィルタ→受容野分割→
極変換→符号反転」構成の隙間抽出フィルタ この隙間抽出フィルタは図33(c)に示すように、図2
6(c)の後段に符号反転回路75を接続をしたものであ
り、3-2)の隙間抽出フィルタと等価である。"隙間"に対
応した主ピークが、半分の高さの反対符号の副ピークを
両側に伴って得られる。しかし、前述のように、処理量
は3-2)の隙間抽出フィルタの方が遥かに少ない。ところ
で、2gasフィルタの幅が小さすぎると、"隙間"を幅のあ
る帯とみなして両端を微分してしまい、肝心の主ピーク
の部分で出力が零となる。それを避けるためには 2gasフィルタの幅(a)≧"隙間"の幅 を満たせばよいが、最適条件は 2gasフィルタの幅(a)=2×"隙間"の幅 である。
【0126】"線”・"隙間"のみの抽出フィルタ 以上で三種類の線分を抽出するフィルタが得られた
が、"線"や"隙間"抽出フィルタの出力に"縁"が混入する
との課題がある。その原因は、線抽出フィルタだけで
は"縁"も正負ピークのペアに変換されて、値だけから
は"線"信号と区別できないことにある。図34は"縁"ノ
イズを除去して”線”のみを抽出する「線のみ抽出フィ
ルタ」の構成図である。この「線のみ抽出フィルタ」
は、"線"の基本フィルタ(図26(a))が"縁"に応答しな
いことに着目して構成されている。
【0127】101は受容野分割部71と極変換部72
で構成された基本フィルタ、102は基本フィルタに一
次元gasフィルタ73を接続してなる線抽出フィルタ
(図26(b)参照)、103は基本フィルタ出力のピーク
を検出するピーク検出部、104はピーク近傍の線抽出
フィルタ102の出力を通過させるゲート構成の線強調
部である。
【0128】基本フィルタ101は、線抽出の原型フィ
ルタであり、一次微分フィルタがないため、ゆるい輝度
変化でもその最大部分をピークとして抽出するが、”
縁”の場所でピークになることはない。一方、線抽出フ
ィルタ102は一次微分フィルタにより、ゆるい輝度変
化部分を抑制するが、前述のように”縁”ノイズを生じ
る。そこで、ピーク検出部103において基本フィルタ
101の出力からピークを検出すれば、該ピークは縁以
外の”線”によるものである。従って、線強調部104
により、ピーク近傍でのみ線抽出フィルタ102の出力
を通過させ、それ以外で線抽出フィルタ102の出力の
通過を阻止するように構成する。このようにすれば線の
み信号が出力される。
【0129】尚、線強調部104は、ゲート構成に限ら
ず、ピーク検出出力を線抽出フィルタ出力に乗算し、あ
るいは加算して、線部分を強調するように構成すること
もできる。又、”隙間のみ”の抽出は、”線”の補信号
であるから、符号を反転して同様の処理を行えばよい。
【0130】”縁”のみ抽出フィルタ 縁抽出フィルタでは、細い帯もその両端を”縁”として
抽出できるが、両端の”縁”信号が干渉して信頼度が低
下する。細い帯は上記の線のみ抽出フィルタで抽出する
のが自然であり、”縁”出力から除去することが望まし
い。図35は縁のみ抽出フィルタの原理図であり、11
1は線のみ抽出フィルタ、112は縁抽出フィルタ、1
13は縁抽出フィルタ出力から線のみ抽出フィルタの出
力を減算し、縁のみ信号を出力する線除去部であり、”
線”と”縁”が完全に分離されて出力される。幅が幾ら
以上を線とするかは、線のみフィルタ111のgasフィ
ルタ幅で設定できる。"隙間"の分離も同様にできる。
【0131】図36は縁のみ抽出フィルタの具体的な構
成図であり、111は線のみ抽出フィルタで図34に示
す構成を有するもの、112は縁抽出フィルタで、図2
8(b)に示す構成を有するもの、113は縁抽出フィル
タ112の出力から線のみ抽出フィルタ113の出力を
減算し、縁のみ信号を出力する線除去部である。尚、縁
抽出フィルタ112において、112aは一次元grフィ
ルタである。
【0132】マルチフィルタ 本発明の「受容野法+一次元フィルタ」では、上述のよ
うに大マスクを高速で実行できるため、幅の異なるフィ
ルタを同時にかけること(マルチフィルタ)が可能とな
る。これにより、従来法では不可能であった「画像中に
混在するボケ部分とシャープな部分の同時抽出」を行う
ことができ、画面全体を的確に把握した作業や移動が可
能となる。生体でも幅の異なる数種類のフィルタリング
を同時に行って、線分抽出を確実なものにしている。以
下、シュミレーションをまじえて、三種の線分(線・縁
・隙間)のマルチフィルタの実施例を説明する。
【0133】1) "線"、"隙間"抽出のマルチフィルタ 図26に示した三種の”線”抽出フィルタの中で最も優
れた線抽出フィルタ(図26(b))について、マルチフィ
ルタの構成と効果を説明するが、その他の線抽出フィル
タに対しても同様に構成できる。又、"隙間"抽出フィル
タについても符号を反転して同様に構成できる。
【0134】1-1) 原型マルチフィルタ マルチフィルタの原型は図17の一次元フィルタ44a
〜44dを幅W1〜W4の一次元gasフィルタとしたもの
であり、入力メモリ41に記憶された入力画像を受容野
分割部42で受容野毎に分割し、極変換部43で受容野
像に極変換を施す。ついで、極変換出力に対してハイパ
ーコラムプレーンのρ軸方向にフィルタ幅の異なる一次
元gasフィルタ処理を並行して施す。しかる後、並行し
てかけた各一次元gasフィルタ出力を統合して、マルチ
フィルタ出力を得、このマルチフィルタ出力に基づいて
線・縁・隙間抽出を行う。かかるマルチフィルタによれ
ば、「幅W1〜幅W4の一次元gasフィルタ」を統合して
「シャープな線分からボケた線分までを同時に抽出」す
ることが可能となる。尚、原型マルチフィルタは出力を
単純加算しているため、それらを合成したフィルタと等
価である。
【0135】1-2) 正負分離型マルチフィルタ 原型マルチフィルタでは、線の密度が高くなると干渉を
生じる。これを避けるためには、正負出力を分離して統
合することが有効である。図37は、正負出力を分離、
統合する正負分離型マルチフィルタの構成図であり、原
型マルチフィルタを構成する各一次元gasフィルタ出力
の正負を分離し、正負それぞれについて合成して出力す
るものである。この正負分離型マルチフィルタは、原型
マルチフィルタの各一次元gasフィルタ44a〜44d
の後段に正負分離回路44e〜44hと、正信号合成部
44iと、負信号合成部44jを設けたものである。図
38は正負分離型マルチフィルタのシュミレーション結
果であり、円形受容野CRC内の線分SL(図38(a))
が、副ピークPK1,PK2を伴った主ピークPKとし
て抽出される(図38(b)参照)。
【0136】2) "縁"抽出のマルチフィルタ 図28に示した”縁”抽出フィルタの中で最も優れた縁
抽出フィルタ(図28(b))について、マルチフィルタの
構成と効果を説明するが、その他の縁抽出フィルタに対
しても同様に構成できる。図39は縁抽出マルチフィル
タの構成図であり、121は入力画像を受容野ごとに分
割して出力する受容野分割部、122は受容野像に対し
て所定の極変換を施す極変換部、123は一次元マルチ
フィルタ部であり、極変換出力に一次元一次微分フィル
タ処理を施す幅W11の一次元grフィルタ123aと、幅
12の一次元grフィルタ123bと、幅W13の一次元gr
フィルタ123cと、幅W14の一次元grフィルタ123
dと、各一次元grフィルタ出力にそれぞれ独立に一次元
二次微分フィルタ処理を施す幅W21,W22,W23,W24
の一次元gasフィルタ123a′〜123d′と、各一
次元gasフィルタ123a′〜123d′の出力を合成
して出力する合成部123eで構成されている。
【0137】この縁抽出マルチフィルタによれば、画像
中に混在するボケた”縁”とシャープな”縁”を同時に
抽出できる。尚、gasフィルタの幅が小さすぎると、一
次元grフィルタで変換された"線"を幅のある帯とみなし
て両端を微分してしまい、肝心の主ピークの部分で出力
が零となる。それを避けるには各系統で gasフィルタの幅(W21〜W24)≧ grフィルタの幅(W
11〜W14) を満たせばよいが、最適条件は gasフィルタの幅=2×grフィルタの幅 である。尚、図28(a)に示す縁抽出フィルタをマルチ
フィルタ構成にするには、極変換出力を幅の異なる(W1
〜W4)の一次元grフィルタ処理を施して合成すればよ
い。
【0138】3) 正負分離型"縁"抽出のマルチフィルタ 縁の密度が高くなると干渉を生じる。かかる高密度の”
縁”出力の干渉を避けるには、正負出力を分離し、正負
独立に一次元gasフィルタ処理を施した後に統合するこ
とが有効である。図40はかかる正負分離型"縁"抽出の
マルチフィルタの構成図である。図中、121は入力画
像を受容野ごとに分割して出力する受容野分割部、12
2は受容野像に対して所定の極変換を施す極変換部、1
24は正負分離型一次元マルチフィルタ部であり、極変
換出力に一次元一次微分フィルタ処理を施す幅W11〜W
14の一次元grフィルタ124a〜124dと、各一次元
grフィルタ出力の正負を分離する正負分離回路124
a′〜124d′と、各一次grフィルタ出力の正負部分
にそれぞれ独立に一次元二次微分フィルタ処理を施す幅
21〜W24の4組の第1、第2の一次元gasフィルタ1
24e,124e′;124f,124f′;124
g,124g′;124h,124h′と、正の各一次
元gasフィルタ出力を合成して出力する合成部124i
と、負の各一次元gasフィルタ出力を合成して出力する
合成部124jで構成されている。この正負分離型”
縁”抽出マルチフィルタのシュミレーション結果を図4
1に示す。円形受容野CRC中の縁EDG(図41(a))
が、鋭いピークPKとして抽出されている(図41
(b))。
【0139】「二次元gasフィルタ+一次元grフィルタ」
によるマルチフィルタ 以上では、処理量の大幅に少ない「一次元gasフィルタ
+一次元grフィルタ」型のマルチフィルタを説明した
が、「二次元gasフィルタ+一次元grフィルタ」型のマル
チフィルタも可能である。機能と効果は上記と同等のた
め、構成のみを図42に示す。
【0140】1) 線抽出マルチフィルタ 図42(a)は"線"抽出マルチフィルタの構成図であり、
二次元gasフィルタを幅(W1〜W4)の異なる複数の二次
元gasフィルタで構成し、それぞれにおいて入力画像に
二次元二次微分フィルタ処理を施し、各フィルタ出力を
合成してなる画像を受容野分割部で受容野ごとに分割
し、極変換部で受容野像に極変換を施して線を抽出する
ものである。
【0141】2) 隙間抽出マルチフィルタ 隙間抽出マルチフィルタは1)の符号を反転することに
より得られる。
【0142】3) 縁抽出マルチフィルタ 図42(b)は"縁"抽出マルチフィルタの構成図であり、
二次元gasフィルタを幅の異なる複数の二次元gasフィル
タで構成し、それぞれにおいて入力画像に二次元二次微
分フィルタ処理を施し、各二次元gasフィルタ出力を独
立に受容野分割し、受容野像を極変換し、極変換出力に
一次元grフィルタ処理を施し、各一次元grフィルタ出力
を合成して縁信号を出力するものである。この縁抽出マ
ルチフィルタによれば、「一次元gasフィルタ+一次元g
rフィルタ」型のマルチフィルタと同等の出力が得られ
るが、二次元gasフィルタの処理量はフィルタサイズの
二乗で急激に増加する。
【0143】縁マルチフィルタの変形例 縁マルチフィルタでは、図39、図40に示す縁マルチ
フィルタが最も優れているが、gasフィルタを固定した
図43(a)に示すマルチフィルタも次善に優れている。
生体では、二次元gasフィルタ(幅W10)の出力(網膜・
外側膝状体)を各所で共用できるメリットから、このマ
ルチフィルタを採用している。尚、前述の理由で二次元
gasフィルタの幅(幅W10)≧max(一次元grフィルタの
幅)が必要である。処理量の点からは、上記の二次元gas
フィルタを一次元に焼き直して図43(b)に示すように
構成すれば、更に処理量を削減できる。
【0144】(f) 一次元フィルタの拡張 以上では、判り易さから「球面上の極変換」と「その一
部である投影法」で説明してきたが、本発明の 受容野分割→極変換→一次元フィルタ は一般の極変換、例えば円筒上の極変換、平面上の極変
換等でも全く同様に成立し、二次元フィルタでは困難な
高速フィルタリングや、二次元フィルタでは不可能な任
意関数フィルタリングなどの効果が同様に得られる。こ
れは小領域分割の受容野法では、一般の極変換でも広義
の投影軸ψとその直交軸ρを局所的に定義でき、それら
に一次元フィルタを施して同様な効果が得られるからで
ある。
【0145】又、以上では、「線分の位置軸ρ」方向へ
の一次元フィルタを説明してきたが、「線分の角度方向
θ」へのフィルタも可能である。このフィルタにより、
受容野中心を共有する円の抽出が可能となる。その理由
は、双対プレーンでθのみが変わる軌跡は、受容野で
は”円の包絡線”に対応するからである。θ方向に並ん
だピーク群を抽出して、上記円の抽出ができる。その特
殊ケースではρ=0で、受容野中心を通る放射線群を抽
出できる。更に、以上では、カメラあるいはレンズから
入力された画像を小領域に分割し、各小領域の画像に極
変換を施し、極変換出力に一次元フィルタ処理を施し、
一次元フィルタ処理結果に基づいて画像処理する場合で
あるが、本発明はカメラやレンズから入力された画像に
限らず任意の画像についても適用できるものである。例
えば、ハイパーコラム画像を小領域に分割し、各小領域
の画像に極変換を施し、極変換出力に一次元フィルタ処
理を施し、一次元フィルタ処理結果に基づいて画像処理
するように構成することもできる。以上、本発明を実施
例により説明したが、本発明は請求の範囲に記載した本
発明の主旨に従い種々の変形が可能であり、本発明はこ
れらを排除するものではない。
【0146】
【発明の効果】以上本発明によれば、N×Nサイズの入
力画像をm×mの受容野像に分割し、各受容野像に対し
て極変換を施し、極変換出力に所定の一次元フィルタ処
理を施して特徴を抽出するように構成したから、一次元
フィルタをかけるだけでよいため、従来の二次元フィル
タをかける場合に比べて処理量を約(2/フィルタ直径
画素)に大幅に減少でき、高速処理が可能となる。又、
従来と同一処理量でボケ画像処理や線分の精密フィルタ
リングが可能な大フィルタを実現でき、ボケ画像から的
確に線分の抽出ができる。
【0147】又、本発明によれば、全ての方向に投影
(極変換)した後で、一次元フィルタをかける構成であ
るため、この投影で等方的な処理が既に施されているた
め、その後でかける一次元フィルタは等方性に影響せ
ず、任意のフィルタをかけることができる。従って、一
次元フィルタを縁抽出に不可欠な一次元奇関数フィルタ
とすることができ、従来では検出不可能であった縁を抽
出することができる。
【0148】更に、本発明のよれば、一次元フィルタを
スケルトンフィルタで構成することができ、無駄のない
微分処理をスケルトンフィルタで行うことができ、しか
も上記の高速化要因に加えて、更に、「フィルタ幅画
素」倍程度の高速化処理ができ、高速に線、縁、隙間等
の特徴抽出ができる。
【0149】又、極変換出力に異なる幅の一次元フィル
タ処理を同時に施し、その出力を合成することにより
(マルチフィルタ)、画像中に混在するボケ部分とシャ
ープな部分の同時抽出を行うことができ、画面全体を的
確に把握した作業や移動が可能になる。
【0150】更に、対象物体画像を受容野像に分割し、
各受容野像に極変換を施し、極変換を施した出力に、一
次元gas(ガウシャン)フィルタ処理を施したから、該一
次元gas処理結果に基づいて線の抽出を行えると共に、
一次元gas処理結果の符号を反転して隙間の抽出を行う
ことができる。又、極変換出力のピーク近傍の一次元ガ
ウシャンフィルタ出力を選択して線、隙間の抽出を行う
ようにしたから、尖鋭な線分、隙間の抽出ができる。
【0151】又、対象物体画像を受容野像に分割し、各
受容野像に極変換を施し、極変換を施した出力に、一次
元gr(グラディエント)フィルタ処理を施し、あるいは一
次元grフィルタ処理と一次元gasフィルタ処理(一次元
多段フィルタ処理)を施したから従来抽出不可能であっ
た縁の抽出を行うことができ、更には極変換出力に異な
る幅の一次元grフィルタ処理を同時に施し、あるいは異
なる幅の一次元grフィルタ処理と異なる幅の一次元gas
フィルタ処理をそれぞれ順次施し、その出力を合成して
出力することにより、画像中に混在するボケ部分とシャ
ープな部分における縁を同時に抽出することができる。
【0152】更に、一次元多段フィルタにより、各段階
の出力を正負に分離して以降のフィルタリング処理を行
うように構成したから、細い帯や高密度の線、縁など詳
細な特徴を干渉を抑えて抽出することができる。以上の
説明に対し、更に以下の事項を付記する。 (1) 画像より特徴を抽出する画像処理方法において、画
像を小領域に分割し、各小領域内の画像に極変換を施
し、極変換を施した出力に、一次元フィルタ処理を施
し、該一次元フィルタ処理結果に基づいて画像処理を行
う画像処理方法。 (2) 第(1)項記載の画像処理方法において、前記一次元
フィルタ処理は奇関数性の一次元フィルタ処理である。 (3) 第(1)項記載の画像処理方法において、前記一次元
フィルタ処理は、フィルタ特性をδ関数で表現できるス
ケルトンフィルタによるフィルタ処理である。 (4) 第(1)項記載の画像処理方法において、前記極変換
出力に異なる幅の一次元フィルタ処理を同時に施し、そ
の出力を合成して出力する。 (5) 入力画像の線を抽出する画像処理方法において、入
力画像を小領域に分割し、各小領域内の画像に極変換を
施し、極変換を施した出力に、一次元ガウシャンフィル
タ処理を施し、該一次元ガウシャンフィルタ処理結果に
基づいて線の抽出を行う画像処理方法。 (6) 第(5)項記載の画像処理において、極変換出力のピ
ーク近傍の一次元ガウシャンフィルタ出力を選択して線
の抽出を行う。 (7) 第(5)項記載の画像処理方法において、前記一次元
ガウシャンフィルタ出力の符号を反転し、反転結果に基
づいて隙間を抽出する。 (8) 第(5)項記載の画像処理方法において、前記極変換
出力に異なる幅の一次元ガウシャンフィルタ処理を同時
に施し、その出力を合成して出力する。 (9) 入力画像の縁を抽出する画像処理方法において、入
力画像を小領域に分割し、各小領域内の画像に極変換を
施し、極変換を施した出力に、一次元グラディエントフ
ィルタ処理を施し、該一次元グラディエントフィルタ処
理結果に基づいて縁の抽出を行う画像処理方法。 (10) 第(9)項記載の画像処理方法において、前記極変換
出力に異なる幅の一次 元グラディエントフィルタ処理を
同時に施し、その出力を合成して出力する。 (11) 入力画像の縁を抽出する画像処理方法において、
入力画像を小領域に分割し、各小領域内の画像に極変換
を施し、極変換を施した出力に、一次元グラディエント
フィルタ処理と一次元ガウシャンフィルタ処理を施し、
該一次元フィルタ処理結果に基づいて縁の抽出を行う画
像処理方法。 (12) 第(11)項記載の画像処理方法において、前記一次
元グラディエントフィルタ出力を正負信号に分離し、正
負信号の各々に一次元ガウシャンフィルタ処理を施し、
各々の一次元ガウシャンフィルタ処理結果を合成して出
力する。 (13) 第(11)項記載の画像処理法において、前記極変換
出力に異なる幅の一次元グラディエントフィルタ処理と
異なる幅の一次元ガウシャンフィルタ処理をそれぞれ順
次施し、その出力を合成して出力する。
【図面の簡単な説明】
【図1】本発明の原理説明図である。
【図2】本発明に係わる一次元フィルタの原理説明図で
ある。
【図3】二次元コンボリューション+受容野法のシュミ
レーション結果である。
【図4】受容野法+一次元コンボリューションのシュミ
レーション結果である。
【図5】各種処理方式の説明図である。
【図6】各種処理方式の総合評価説明図表である。
【図7】本発明の実施例構成図である。
【図8】極変換回路の構成図である。
【図9】一次元フィルタ回路の構成図である。
【図10】一次元フィルタメモリの記憶例説明図であ
る。
【図11】偶、奇関数フィルタの縁に対する応答説明図
である。
【図12】二次元二次微分フィルタ+極変換+一次微分
フィルタのシュミレーション結果である。
【図13】従来の二次元二次微分フィルタ+極変換のシ
ュミレーション結果である。
【図14】スケルトンフィルタの特性図である。
【図15】スケルトンフィルタを用いた一次元フィルタ
の構成図である。
【図16】スケルトンフィルタ構成の縁抽出結果であ
る。
【図17】マルチフィルタを用いた構成図である。
【図18】干渉説明図である。
【図19】正負分離型一次元多段フィルタの構成図であ
る。
【図20】干渉改善説明図である。
【図21】正負分離型一次元マルチフィルタの構成図で
ある。
【図22】シュミレーション結果説明図である。
【図23】シュミレーションにより得られた再生像説明
図である。
【図24】正負分離型マルチフィルタのシュミレーショ
ンに用いた原画である。
【図25】フィルタの略号定義説明図である。
【図26】線抽出フィルタの各種構成図である。
【図27】受容野分割+極変換による線抽出シュミレー
ション結果である。
【図28】縁抽出フィルタの各種構成図である。
【図29】受容野分割+極変換+一次元grフィルタによ
る縁抽出シュミレーション結果である。
【図30】受容野分割+極変換+一次元grフィルタ+一
次元gasフィルタによる縁抽出シュミレーション結果で
ある。
【図31】縁を正信号で出力するフィルタの第1の構成
図である。
【図32】縁を正信号で出力するフィルタの第2の構成
図である。
【図33】隙間抽出フィルタの各種構成図である。
【図34】線のみ抽出フィルタの構成図である。
【図35】縁のみ抽出フィルタの構成図である。
【図36】縁のみ抽出フィルタの具体的な構成図であ
る。
【図37】線抽出の正負分離型マルチフィルタの構成図
である。
【図38】正負分離型マルチフィルタの線抽出シュミレ
ーション結果である。
【図39】縁抽出用のマルチフィルタの構成図である。
【図40】正負分離型縁抽出マルチフィルタの構成図で
ある。
【図41】正負分離型マルチフィルタの縁抽出シュミレ
ーション結果である。
【図42】二次元gasフィルタ+一次元grフィルタ構成
を有するマルチフィルタの説明図である。
【図43】マルチフィルタの変形例説明図である。
【図44】球面写像(球面上の極変換)説明図である。
【図45】従来の三次元計測システムの構成図である。
【図46】写像メモリアドレス説明図である。
【図47】線分の方向計測説明図である。
【図48】対象点までの奥行き計測説明図である。
【図49】受容野法の原理説明図である。
【図50】ハイパーコラム内の極変換説明図である。
【符号の説明】
12・・入力メモリ 14・・受容野メモリ 15・・極変換部 17・・一次元フィルタ回路 20・・ハイパーコラムメモリ 21・・特徴抽出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡本 浩明 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 平5−165957(JP,A) 特開 平5−2468(JP,A) 国際公開90/16037(WO,A1) 電子情報通信学会技術研究報告 NC 91−95「ハイパーコラムの結線モデル」 川上他 電子情報通信学会技術研究報告 NC 91−104「ハイパーコラムの結線モデル ▲II▼」川上他 (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 G01B 11/24 G06T 3/00 JICSTファイル(JOIS)

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像より特徴を抽出する画像処理方法に
    おいて、 画像を小領域に分割し、 各小領域内の画像に極変換を施し、 極変換を施した出力に、一次元フィルタ処理を施し、 該一次元フィルタ処理結果に基づいて画像処理を行うこ
    とを特徴とする画像処理方法。
  2. 【請求項2】 入力画像の線を抽出する画像処理方法に
    おいて、 入力画像を小領域に分割し、 各小領域内の画像に極変換を施し、 極変換を施した出力に、一次元ガウシャンフィルタ処理
    を施し、 該一次元ガウシャンフィルタ処理結果に基づいて線の抽
    出を行うことを特徴とする画像処理方法。
  3. 【請求項3】 入力画像の縁を抽出する画像処理方法に
    おいて、 入力画像を小領域に分割し、 各小領域内の画像に極変換を施し、 極変換を施した出力に、一次元グラディエントフィルタ
    処理を施し、 該一次元グラディエントフィルタ処理結果に基づいて縁
    の抽出を行うことを特徴とする画像処理方法。
  4. 【請求項4】 入力画像の縁を抽出する画像処理方法に
    おいて、 入力画像を小領域に分割し、 各小領域内の画像に極変換を施し、 極変換を施した出力に、一次元グラディエントフィルタ
    処理と一次元ガウシャンフィルタ処理を施し、 該一次元フィルタ処理結果に基づいて縁の抽出を行うこ
    とを特徴とする画像処理方法。
  5. 【請求項5】 画像より特徴を抽出する画像処理装置に
    おいて、 画像を小領域に分割する手段、 各小領域内の画像に極変換を施す極変換部、 極変換を施した出力に、一次元フィルタ処理を施す一次
    元フィルタ部、 該一次元フィルタ処理結果に基づいて画像処理を行う処
    理部を有することを特徴とする画像処理装置。
  6. 【請求項6】 入力画像の線を抽出する画像処理装置に
    おいて、 入力画像を小領域に分割する手段、 各小領域内の画像に極変換を施す極変換部、 極変換を施した出力に、一次元ガウシャンフィルタ処理
    を施す一次元ガウシャンフィルタ部、 該一次元ガウシャンフィルタ処理結果に基づいて線の抽
    出を行う線抽出処理部を有することを特徴とする画像処
    理装置。
  7. 【請求項7】 入力画像の縁を抽出する画像処理装置に
    おいて、 入力画像を小領域に分割する手段、 各小領域内の画像に極変換を施す極変換部、 極変換を施した出力に、一次元グラディエントフィルタ
    処理を施す一次元グラディエントフィルタ部、 該一次元グラディエントフィルタ処理結果に基づいて縁
    の抽出を行う縁抽出処理部を有することを特徴とする画
    像処理装置。
  8. 【請求項8】 入力画像の縁を抽出する画像処理装置に
    おいて、 入力画像を小領域に分割する手段、 各小領域内の画像に極変換を施す極変換部、 極変換を施した出力に、一次元グラディエントフィルタ
    処理と一次元ガウシャンフィルタ処理を施す一次元フィ
    ルタ部、 該一次元フィルタ処理結果に基づいて縁の抽出を行う縁
    抽出処理部を有することを特徴とする画像処理装置。
JP3327722A 1991-12-11 1991-12-11 画像処理方法 Expired - Fee Related JP3056857B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP3327722A JP3056857B2 (ja) 1991-12-11 1991-12-11 画像処理方法
US07/987,954 US6005984A (en) 1991-12-11 1992-12-11 Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images
US08/470,061 US5901252A (en) 1991-12-11 1995-06-06 Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3327722A JP3056857B2 (ja) 1991-12-11 1991-12-11 画像処理方法

Publications (2)

Publication Number Publication Date
JPH05165956A JPH05165956A (ja) 1993-07-02
JP3056857B2 true JP3056857B2 (ja) 2000-06-26

Family

ID=18202261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3327722A Expired - Fee Related JP3056857B2 (ja) 1991-12-11 1991-12-11 画像処理方法

Country Status (1)

Country Link
JP (1) JP3056857B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949333B2 (ja) 1999-04-12 2007-07-25 富士通株式会社 画像計測方法、画像計測装置、および画像計測プログラム記憶媒体
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
JP5297886B2 (ja) * 2009-05-18 2013-09-25 オリンパス株式会社 細胞画像解析装置
CN111968164A (zh) * 2020-08-19 2020-11-20 上海交通大学 一种基于双平面x光追踪的植入物自动配准定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会技術研究報告 NC91−104「ハイパーコラムの結線モデル▲II▼」川上他
電子情報通信学会技術研究報告 NC91−95「ハイパーコラムの結線モデル」川上他

Also Published As

Publication number Publication date
JPH05165956A (ja) 1993-07-02

Similar Documents

Publication Publication Date Title
US6005984A (en) Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images
CN108710830B (zh) 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN106355570B (zh) 一种结合深度特征的双目立体视觉匹配方法
Khare et al. Fourier optics and computational imaging
Freeman et al. Steerable filters for early vision, image analysis, and wavelet decomposition
Chen et al. PCT: Large-scale 3D point cloud representations via graph inception networks with applications to autonomous driving
Lee et al. Automatic distortion correction of endoscopic images captured with wide-angle zoom lens
CN110163906B (zh) 点云数据处理方法、装置、电子设备及存储介质
CN106296598A (zh) 三维姿态处理方法、系统及拍摄终端
CN115220211B (zh) 基于深度学习和光场成像的显微成像系统及方法
JP3056857B2 (ja) 画像処理方法
Zhang et al. FoGDbED: Fractional-order Gaussian derivatives-based edge-relevant structure detection using Caputo-Fabrizio definition
Li et al. Effective data-driven technology for efficient vision-based outdoor industrial systems
Schwerdtfeger et al. A multidimensional wave digital filter bank for video-based motion analysis
Macias-Garza et al. Digital reconstruction of three-dimensional serially sectioned optical images
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Knutsson et al. Structure tensor estimation: introducing monomial quadrature filter sets
JP2015114762A (ja) 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
JP3089069B2 (ja) 画像処理方法及び画像処理装置
JP2796221B2 (ja) 相関処理方式
Wong et al. FPGA implementation of log-polar mapping
Zhang et al. Study on algorithm for panoramic image basing on high sensitivity and high resolution panoramic surveillance camera
Kobayashi et al. A technique for high-precision drift correction in electron microscopes
Silva et al. A system for the generation of in-car human body pose datasets
Mitra et al. Shape analysis of decisive objects from an image using mathematical morphology

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080414

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090414

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees