JPS60218166A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPS60218166A
JPS60218166A JP59075341A JP7534184A JPS60218166A JP S60218166 A JPS60218166 A JP S60218166A JP 59075341 A JP59075341 A JP 59075341A JP 7534184 A JP7534184 A JP 7534184A JP S60218166 A JPS60218166 A JP S60218166A
Authority
JP
Japan
Prior art keywords
image
point
slit light
section
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP59075341A
Other languages
English (en)
Other versions
JPH0241789B2 (ja
Inventor
Tsuguhito Maruyama
次人 丸山
Keiji Kahara
花原 啓至
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP59075341A priority Critical patent/JPS60218166A/ja
Publication of JPS60218166A publication Critical patent/JPS60218166A/ja
Publication of JPH0241789B2 publication Critical patent/JPH0241789B2/ja
Granted legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 +a)発明の技術分野 本発明は、物体を構成する面上にスリット光を照射して
得られたスリット光像情報に基づいて、前記面の3次元
空間上における佃きと座標を算出する画像処理装置に関
するものである。
(b)技術の背景 例えば、ロボットの移動、あるいはロボットに作業を行
なわせようとする場合、ロボットの作業領域内の物体の
3次元的な位置・姿勢・形状を知ることが必要となる。
すなわち3次元物体認識が必要で、特にロボットから対
象物までの距離と対象物の面の傾き情報を得ることが重
要な課題となっている。
TCI従来技術と問題点 従来、3次元空間内の物体を撮影して得られた画像情報
から前記物体の面情報を抽出するセグメンテーションの
方法として距離情報を利用したものがある。
例えば、スリット光を3次元空間上に照射すると共に、
走査させ、このスリット光像をTVカメラ等により受光
し、その位置情報から距離情報をめることが行なわれて
いる。
しかしながら、この方法は、TVカメラの撮影画面内の
全ての点の距離を計測する必要があり、物体までの距離
をめるのに非常に長い時間を必要とするという欠点を有
する。
すなわち、距離情報を得てから平面領域の抽出。
面の傾き、さらに領域の統合といったセグメンテーショ
ンまでの処理を実行するには、より一層多くの計算時間
が必要となり、ロボソI・を実時間制御することができ
ないという欠点があった。
(d1発明の目的 本発明の目的は、0:I述した従来の欠点に鑑の、3次
元空間内の物体の面の傾きと座標情報を短時間に算出す
ることのできる画像処理装置を提供することにある。
te+発明の構成 そして、この目的は、3次元空間上の物体を撮影する撮
影手段と、前記撮影手段により得られた画像情報に基づ
いて前記物体を構成する面を抽出する面拙出部と、前記
面抽出部により得られた面情報に基づいて所望の面上の
みにスリット光を照射する照射部と、前記所望の面上の
みに照射されるスリット光像を撮影して(11られたス
リット光像情報に基づいて11;1記面の顛きと3次元
空間座標を算出する面情報算出部と含んで成る画像処理
装置を提供すること により達成される。
(f)発明の実施例 以下、本発明に係かる画像処理装置の実施例を図面を用
いて詳細に説明する。
第1図は、本発明に係かる画像処理装置の実施例を説明
するための図である。
図において、1はTVカメラ、2はA/D変換器、3ば
濃淡画像処理部、4は直線抽出部、5は領域抽出部、6
は面傾度・距離計測部、8はスキャニング機構制御部で
ある。
また、swr、、swn、swmはそれぞれ切換スイッ
チであって、例えば中央処理装置CPU21からの制御
信号により切換えられる。
第1図に示される画像処理装置の動作について説明する
その動作は、次の3つの処理に分れる。
fllTVカメラlにより3次元空間を撮影して得られ
た画像情報中から計測すべき物体を構成する面を抽出す
る (2)得られた面内に十字スリット光を照射する(3)
面の傾き及び座標を算出するために、面上に照射された
スリット光の傾き、十字スリット光のクロス点を検出す
る である。
まず、fl+の′1゛Vカメラ1により3次元空間を撮
影して得られた画像情報中から計測すべき物体を構成す
る面を抽出する処理について説明する。
まず、すJ換スイッチSWIを′1”側とした状態で、
”r vカメラ1により3次元空間を撮影し、得られた
アナログ画像信号をA/D変換器2によりディジタル画
像信号に変換した後に、濃淡画像処理部3に入力する。
濃淡画像処理部3の動作について以下に説明する。
第2図は、濃淡画像処理部3を説明するための図である
その基本構成は、第1空間フィルタ演算部12゜第2空
間フィルタ演算部13.極点抽出部14゜闇値処理部1
5.雑音除去部16であり、第1空間フィルタ演算部1
2と第2空間フィルタ演算部13は切換スイッチ部17
により直列または並列に接続され、並列接続状態の場合
には絶対値演算部18が挿入される。
第1空間フィルタ演算部12及び第2空間フィルタ演算
部13は同一構成であり、その詳細は第1空間フィルタ
演算部12により、フィルタサイズが3×3の場合につ
いて代表的に説明する。
空間フィルタ演算部では、次式(1)で与えられる演算
を行なうものである。
(I Ym、n−Σ Σ Xm+ 1. n+ 1 ・fi、
j/ H=(11(・−I J=−1 ここで、Xm、 n、 Ym、 nは、第3図に示す如
く、各々画面上m行n列の画素の濃淡レベル値のフィル
タリング前後の値を示し、fi、jは荷重係数、Hは正
規化係数である。このフィルタはYm、nの値を注1」
画素Xm、nとその周囲8画素Xm+ L n+ 1 
(i =1、O,−1,j=1.0.−1 ただし1=
j−〇を除く)との重み(fi、j)付は演算によって
決定するものであり、第4図に示す如く、b+3の値の
選び方によってフィルタの特性を様々に変えることがで
きる。
したがって、荷重係数fLjを第3図(ロ)の如く定め
、正規化係数■を1l=16と定めるとき、Ym、nは
次式(2)によりめられる。
Ylll 、 n =−1(XlIM、−1,W−I 
X t 十×u、s−+−2+L++、+w−(X 1
G +X−−C1牝す”×参、−4− 十X w 、、 +
、 −X 2 +×い、1.い、fメ1+×−1呻ゞム
“Xm++、IA+l\() ・・・(2)第2図にお
いて、第1空間フィルタ演算部12と第2空間フィルタ
演算部13が切換スイッチ部17により直列接続されて
いる場合について説明する。このとき、1段目の第1空
間フィルタ演算部12を平滑化フィルタ用に、2段目」
の第2空間フィルタ演算部13を画像強調フィルタ(バ
イパス、ラプラシアン)用に用い、TVカメラの走査信
号と同期させることによって、リアルタイムで画像雑音
の低減と対象の輪郭線抽出を行なうことができる。
さて、前記111式の演算を実現するためのハード構成
について説明する。この空間フィルタ演算部は第5図に
示す如く、データシフ1−回路301乗算回路31.加
算回路321割算回路33の4つの部分から構成される
データシフト回路30は1画面分の画像データに対して
3×3の空間フィルタリング処理を実行するために、第
6図に示す如く、2行+3画素のデータをシフトレジス
タを用いて記憶格納し、次段の乗算回路31にXm+1
. n+j (i=1. 0゜−1,j=1.O,−1
)の9画素を送出する機能を持っている。
第6図において、1行p画素、2’m淡レベルの画面デ
ータの場合について説明する。第1図のA/D変換器2
により1画素qビットで表示されたデータを、1段目は
3画素分、2段目及び3段目ば9画素分のシフトレジス
タを用いて保持する。
そして各段の最後の3画素については、次段の乗算回路
31へ同時に各画素のデータを送出できるようにランチ
またはフリップフロップR1−R9を縦続接続するかシ
リアル・イン−パラレル・アウトのシフトレジスタを使
用することにより9画素の送出が実現できる。そして2
段目及び3段目は(p −3)画素骨のシフトレジスタ
34,35を使用して送山分以外の画素のデータを保持
する。そしてこのデータシフト回路30は、TVカメラ
1の走査信号により1画素ずつシフトする。
乗算回路31は、第7図に示す如く、データシフト回路
30から送出された9画素の各々に対してあらかじめ設
定した荷重係数fL、j口〜−1゜0.1.j−−1,
0,l)を乗じて次式(3)をめる機能を有する。
WS+j+%+j = Xl+x+j+z+j X f
 L、j 、 −−−(3)(+=−1.0,1.j=
−1.0.l)そのために、第7図に示す如く、第1乗
算器36〜第9乗算器44の9個の乗算器を用い、第1
乗算器36には荷重係数f−1,1が設定されておりデ
ータシフト回路30より送出された画素X、1vl−1
゜い1.との乗算が行なわれる。そして第2乗算器37
には荷重係数F、(、oが設定されておりデータシフト
回路30より送出された画素X#−l2.v1との乗算
が行なわれる。このようにして第7図に示す乗算回路3
6〜44により前記(3)式におりる乗算を行なうこと
ができる。
加算回路32は、前記乗算回路31で演算された9個の
値WllIL+Ll xヤ3 (i=−1,0,1,j
==1.0.1)から、これらの和である次式(4)を
(i−−1,0,1,j−−1,0,1)そのために第
8図に示す如く、第1加算器45〜第8加算器52を使
用している。
さらに割算回路33は、前記乗算回路31及び加算回路
32における乗算演算、加算演算により増加した濃淡レ
ベルz0,1を、第2図の画像メモリ19及びモニタ用
TV(図示しない)の濃淡レベルの範囲に収まるように
、正規化係数Hで割り、な2 (k=o、1.2・・・
・・・)の値に選ぶ。この割算回路33は第9図に示す
如く、第1データセレクタ53〜第8データセレクタ6
0により構成さ0 れており、前記(5)式の演算を行なうことにより前記
(11式のr&終演算結果のY14が得られるものであ
る。この第9図は、8ビ・)I・の濃淡画素を前記の如
く乗算演算及び加浣演嘗により16ビ・ノ1への濃淡レ
ベルのデータ2.、vl、ゎになったものを8ビ・ノド
データYイ、竹に減らずときの例であって、第1データ
セレクタ53には16ビソトデータZ。、’nのうち2
〜9ビツトを入力し、第2データセレクタ54には16
ビソトデータZ、1乍のうち3〜10ビ・ノドを入力し
、以下同様にして第3データセレクタ55には4〜11
ビツトを入カレ、第4データセレクタ56には5〜12
ビツトを、第5データセレクタ57には6〜13ビツト
を、第6データセレクタ58には7〜14ビツトを、第
7データセレクタ59には8〜15ビツトを、第8デー
タセレクタ60にば9〜16ビソトをそれぞれ入力する
そしてセレクタラインSLより伝達された3ビ・ノドの
選択信号に応じて各データセレクタ53〜60は、前記
8ビツト入力のうち第1番目〜第8番目のいずれか1つ
のビットを選択出力する。例え1 ? ば2 でZy+、J’商する場合にはそれぞれのデータ
セレクタ53〜60より第1番目のビットを出力するよ
うに各データセレクタ53〜60が制御されるので、第
1データセレクタ53からは2〜9ビットのうちの第1
番目のビットすなわち16ビツトのうちの2ビツト目が
出力され、第2データセレクタ54からは3〜10ビツ
トのうちの3ビツト目が出力され、第3データセレクタ
55からは4〜11ビツトのうちの第1番目のビットす
なわち16ビツトのうちの4ビツト目が出力され、以下
同様にして第8データセレクタ60からは9〜16ビソ
トのうちの9ビツト目が出力されることになり、この結
果各データセレクタ53〜60より16ビツトのZや1
6を2 で商した値である2〜9ビットを出力すること
になる。
同様にして八1..を2 で商する場合には各データセ
レクタ53〜60から第2番目のビット、すなわち16
ビツトのデータよりその3〜10ビツトを出力ずればよ
く、25で商する場合には各データセレクタ53〜60
より第3番目のビットを2 出力させて16ビツトのデータよりその4〜11ビット
を出力させればよい。このようにしてN番目のデータセ
レクタには16ヒソトデータのうち15−N Q−υ 2 〜2 ビット目を入力し、割る数21 に対応して
セレクタラインにkの値をセットすることにより割算を
高速に実現することができる。
このように、データセレクタを用いることにより割算の
高速化をはかることができる。
第2図における第1空間フィルタ演算部12と第2空間
フィルタ演算部13の荷重係数を適当に選ぶことにより
画像上のランダムな雑音の低減の明るさの急変部の強調
を行なうことができる。
この荷重係数は、例えば荷重係数保持部22の荷重係数
テーブルによりCPU21によって取り出すことができ
る。
例えば第10図(alの原画に対して平滑化+ラプラシ
アン処理を施した後の様子を同図(b)に示す。
第10図(a−1)は光が右斜め−に方から円柱の物体
74に当ている場合であり、同図(a−2)はそれを真
上から見たときの図、同図(a−3)3 は、同図(a−2)中の。x−yで示す1次元方向の明
るさの変化を示したものである。
また第10図(b−1)は平滑化子ラプラシアン演算後
の濃淡レベルの3次元表示であり、同図(b −2)は
それを真上から眺めたときの等明線を示している。さら
に同図(b −3)は、同図(b −2)のx−yで示
す1次元方向の断面を示している。 、 ここで闇値処理によって第5図(b−1)から対象の輪
郭線を抽出することについて説明する。
スライスレベルとして、A、B、Cの3″I/ベルを選
び、2値化すると、第11図(81〜tc+に示すよう
に各々異なった輪郭線が得られる。第11図(alでは
レベルが高過ぎて輪郭に途切れが生じるし、同図(C1
ではレベルが低過ぎて太くなってしまう。
そのため得られた輪郭線に対して改めて途切れの修復あ
るいは細線化処理が必要になる。これらの処理はアルゴ
リズムが複雑で時間のかかるものであるため、リアルタ
イム処理には適さない。
また、丁度よいスライスレベルが設定できれば4 第11図(b)に示すようにきれいに2値化することが
できるが、原画の濃淡レベルは対象物体の表面状態・色
・形、照明条件、レンズの明るさ、絞り等で毎回界なる
ため、適当なスライスレベルを見つけることは困難であ
る。結局闇値処理だけで対象を一連の線画として抽出し
、S/N比のよい画像を得ることは困難である。
そこで、まず極点抽出処理により輪郭候補点の抽出を行
なう。
この極点抽出動作原理を第12図を用いて説明する。尚
、説明の簡略化のため、第12図(81の原画像Pが図
示状態の1次元方向の濃度分布を有する場合について、
その極点Rをめる例について説明する。
原画像Pを左に一画素Δだけシフトし左シフト画像をP
L (同図(C))とし、右に一画素Δだけシフトした
右シフト画像をP2 (同図(e))とする。
そして原画像Pと左シフト画像PLを比較して原画像の
方が濃度が大きいか等しい(以下これをP≧PLとする
)部分QL(同図(d))を抽出し、ま5 た原画像Pと右シフト画像PI2 を比較して原画像の
方が濃度が大きいか等しい(以下これをP≧PRとする
)部分(lJ2 (同図(f))を抽出する。
このときめる極点(極大点)Rは少なくとも両隣りの画
素より大きいか等しいレベルであると考えられるので、
第12図(h)のように部分QLでかつQ[のところを
抽出することにより極点Rをめることができる。ただし
、P=PL =P2のときは除外する。
ところで、第12図(川のしに示す如きパターンで極点
が存在するとき、X方向の走査のみではパターンLの極
点辺1. 、 13 は抽出できるものの、極点辺lλ
、■牛は抽出することができないので、これをY方向に
も走査す葛ことにより極点辺12゜14を抽出すること
ができる。
したがって、例えば第12図Tl)に示す如き画素A−
1を有する抽出ウィンドウW゛を使用すれぼり、E、F
により2次元の濃淡画像のX方向の極点を、C,E、 
Gにより45°の斜方向の極点を、A、E、Iにより1
35°の斜方向の極点をそれ6 ぞれ抽出できる。
いま、第12図(j)に示す1フレームを第2図の走査
信号発生部20により出力された同期信号に応じて走査
線り、 、h(、h2・・・・・・により順次走査し、
各画素を前記の如く比較処理することにより水平、垂直
、45°、135°方向の極点を順次抽出することがで
きる。
以上説明した処理を行なう第2図に示される極点抽出部
14は、第13図に示す如く、データシフト回路62と
データ比較回路63から構成されている。
データシフト回路62は、第14図に詳記するように、
2行+3画素のデータをシフトレジスタを用いて順次保
持し、次段のデータ比較回路63に対して画素A−1の
9画素を送出する機能を有し、第6図に示すデータシフ
ト回路と同様に構成されている。第1空間フィルタ演算
部12及び第2空間フィルタ演算部13よりなる空間フ
ィルタ61の出力は、レジスタr1〜r9.P−3ビッ
ト長のシフトレジスタ回路62に入力され、これ7 により各レジスタr1〜r9より画素A〜■が出力され
、データ比較回路63に入力されることになる。
このデータ比較回路63は、第15図に示す如く、比較
C−1−(、−8,オア回路0R−1〜0R−9,アン
ド回路AN−1〜AN−4.ナンド回路NAN−1〜N
AN−4,ピーク・レジスタPR等により構成されてい
る。そして比較器C−1により空間フィルタ処理データ
であるレジスタr4.r5の画素りとEが比較され、比
較器C−2により同じく画素FとEが比較される。、し
たがって画素Eが水平方向(X方向)の極点の場合には
E>D、E>F、D≠Ef:Fであるので0R−2,0
R−3及びNAN−1よりいずれも「1」が出力され、
0R−1より「1」が出力されるので、ピークレジスタ
PRに水平方向のピーク値としての画素Eが保持され、
どれが極点として出力されることになる。
また比較器C−3では画素BとEが比較され、比較器C
−4では画素EとHが比較されるので、8 画素Eが垂直方向の極点の場合には、AN−2より「1
」が出力され、0R−1より11」が出力されるのでピ
ークレジスタPRに画素Eが保持されることになる。同
様に比較C−5,C−6により45°対角方向の画素C
,E、 Gが比較され画素Eが極点の場合にはAN−3
からrlJが出力され、比較器C−7,C−8により1
35°対角方向の画素A、E、Iが比較され、画素Eが
この135°対角方向での極点の場合にはAN−4から
11」が出力されることになる。
したがって、画素Eが水平、垂直、45°、135°対
角方向のいずれか1つの方向での極点の場合には0R−
1は「1」を出力する。このとき切替回路200が上位
装置からのりJ替信号により0R−1からの信号を出力
するように切替られているので、ピークレジスタPRに
画素Eが保持され、極点として出力されることになる。
このようにして注目画素Eが極点の場合、これを抽出す
ることができる。
闇値処理部15は、第16図に示す如く、デー9 タシフト回路と闇値回路からなり、データシフト回路6
2は極点抽出処理部のそれと同じ回路を用いる。後者は
比較器66、アンド回路67、レジスタ68を有し、比
較器66にてあらかじめ設定したスライスレベルと注目
画素(例えばE)との比較を行ない、注目画素がスライ
スレベルより大きな濃度のときに比較器66は「1」を
出力し、アンド回路67をオン状態にする。この信号に
より注目画素Eのレベルを制御することによっであるレ
ベル以」二で水平、垂直、45°、135’の各方向に
極点になっている画素だけを抽出することができる。従
って、第17図に示すような円形の物体と三角形の物体
が重なっている場合を撮影して得られた画像に対して、
輪郭抽出処理を施した場合に生じる途切れNOがなくな
る。
このようにして、極点抽出部14により輪郭候補点の抽
出を行ない、闇値処理部15により闇値処理を行なう。
すなわちへ輪郭抽出対象物体の輪郭は、原画上で明るさ
の急変している部分に対応していると考0 えられる。したがって、ラプラシアン・フィルタ(2次
微分)またはグラジェント・フィルタ(1次微分、境界
線抽出)適用後のデータでは、対象の輪郭に対応してい
る部分は、他の部分よりもレベルが高い。
そこで、フィルタリング後のデータに対して、水平、垂
直、45°対角及び135°対角方向の極点処理を行な
い、原画上で明るさの急変している輪郭候補点の抽出を
する。尚、前記4方向でなく、2方向でもよい。
これだけであると、外的要因による背景ノイズが沢山抽
出されてしまう。
しかし背景ノイズのレベルは、通常、対象の輪郭点より
低いレベルであるので、闇値処理によって除去すること
ができる。
すなわち、そのスライスレベルは、極点抽出処理によっ
て抽出された輪郭候補点列が途切れない程度で、背景ノ
イズが除去できる位でよい。
また、この闇値処理は極点抽出処理と並行して行なえる
ため、極点抽出部14と閾値処理部151 を並列配置することによって高速化できる。
この結果、水平、垂直、45°対角及び135゜対角方
向の極点で、かつ一定のスライスレベル以上の点が2値
画像として輪郭候補点として抽出できる。
ところで、闇値処理部15における闇値処理においてス
ライスレベルを輪郭候補点列が途切れないように設定し
たので、第18図に示す如く、多少のひげ状のノイズN
1や数画素以下の孤立ノイズN2が残ってしまう。
そこで、2値画像として抽出された輪郭候補点列が少な
くても8連結のつながりで閉ループを構成していると仮
定し、3×3の局所ウィンドウ内の論理演算によって、
ひげ状のノイズや孤立ノイズの除去を行なう。これらの
各ノイズの除去は雑音除去部16により行なう。
雑音除去部16の詳細構造を説明するに先立ちその動作
原理について説明する。
第19図■〜[相]に示す如く、3×3のウィンドウW
の中心における注目画素Eが雑音でない場合2 には必ず閉ループ画像である。そして閉ループ画像は連
続的であることから、この閉ループ画像はウィンドウW
を必ず横切るごとになり、ウィンドウW内の周辺画素の
うち少なくとも2つは閉ループがそを」二の画素でなけ
ればならないといえる。
そして前記前提条件を加味すると、前記閉ループ画像上
の2つの周辺画素は相隣接しない一関係になっていなけ
ればならないといえる。
これらのことから、注目画素Eが閉ループ画像上の画素
であるためには、注目画素Eが状態1である場合におい
て少なくとも相隣接しない2つの周辺画素が状態1であ
ることが必要になる。この条件に該当するものは16通
りあり、各場合をウィンドウWによって表したものが第
19図に示されている。
この場合において、説明を単純化するために、閉ループ
画像が角部を備えているものについては前記角部に対応
した画素は閉ループ画像上の画素でないものとして扱う
ことを前提とする。
この後、第19図に示すウィンドウW内の基本3 パターンが生じないパターンを調べ、数画素程度の雑音
やひげ状の雑音を除去するための雑音除去条件として設
定する。
この場合、第一の雑音除去条件としては、第20図+8
1のウィンドウWにおいて、同図(blの■〜■に示す
ように、注目画素Eが状態1である場合において、少な
くともウィンドウWの相隣接する二辺に沿う周辺画素が
状態Oであること、すなわち、ウィンドウWの上辺11
 及び左辺12に沿う周辺画素A、B、C,D、Gが状
態O、ウィンドウWの左辺12及び下辺13に沿う周辺
画素A、 D。
G、H,Iが状態O、ウィンドウWの下辺13 及び右
辺1ヰに沿う周辺画素G、H,I、F、Cが状態01ウ
インドウWの右辺l+及び上辺1.に沿う周辺画素I、
F、C,B、Aが状態0のいずれかであることが挙げら
れる。
第二の条件としては、第20図(C)■〜■に示すよう
に、注目画素が状態lである場合において、少なくとも
ウィンドウWの一辺に沿う周辺画素とこれに隣接する周
辺画素とが状態0であり且つ前4 記ウィンドウWの対向辺中央に位置する周辺画素が状態
1であること、例えば、ウィンドウWの上辺11 に沿
う周辺画素A、l’3. ’C及びこれに隣接する周辺
画素り、Fが状!@0であり1つウィンドウWの下辺1
3 中央に位置する周辺画素Hが状態1であること等が
挙げられる。
尚、第20図においてX印をイリシた画素は状態1若し
くは状態0のいずれでもよいことを示している。
したがって、2値画像を移動するウィンドウW内のパタ
ーンが前記第−及び第二の雑音除去条件のいずれかに合
致したとすれば、注目画素Eが状態1であるとしても、
当該注目画素Eは閉ループ画像の画素ではな(、雑音と
して検出されることになり、これを「0」とすることに
よりこの雑音は有効に除去されるとになる。
例えば、第18図に示すように、4画素以下の画素がか
たまった雑音N2が存在する場合には、第一の雑音除去
条件で取り除かれ、閉ループ画像からのびるひげ状の雑
音N1が存在する場合には、5 第二の雑音除去条件で取り除かれることになる。
前述したような雑音除去方法を実施するための回路の一
例を第21図に示し、以下においてこれを説明する。
この雑音除去部16は、第21図に示す如く、空間フィ
ルタ・闇値処理部69からの2値画像が入力されるデー
タシフト回路70と論理演算回路71から構成されてい
る。
第1空間フィルタ演算部12.第2空間フィルタ演算部
13.極点抽出部14.闇値処理部15等よりなる空間
フィルタ・閾値処理部69の出力は、第22図に示す如
(、レジスタR1’ 〜R9’。
N−3ビツト長のシフトレジスタ72.73により構成
されるデータシフト回路70に入力され、これにより各
レジスタR1’ 〜R9”に画素A〜Iが出力され、論
理演算回路71に入力される。
ここで、論理演算回路71は、第23図に示す如く構成
され、第20図(b)、 (C)の第一の雑音除去条件
若しくは第二の雑音除去条件を満足したときに注目画素
Eのレベルを状態0として出力し、そ6 れ以外のときには注目画素Eのレベルを状態1のま出力
するものであり、論理演算回路71からは雑音除去した
2値画像データが順次得られることになる。
そして、前記論理演算回路71ば、具体的には以下の論
理式fa)乃至(d+を満足するように構成されている
■(A+yBuらE)ucr)n(AuDu#ufEr
ul−1uT)nCIE(ul−1v ”Lv Co’
i” uT)/’1(ALJ BuCuCuFuT?E
二f(×nJ×z)n(X、U×5WK3uXJn(X
aUX+))nE 中(”ンE2=IJ(AuBuCv
すvF)+J”l)^((八uD4 uBut−1)u
T”)^[(DuFul&u日uT)uB’l凸f(G
ur己。巳。目)ul]nE=[((Xiu()uV)
4[(XλυBud)り亡)ハ×+・AuBuC,X2
=〜t)uC+、X)=eul−1u’l。
刈・(、uFuT−、(cl) 7 (a)乃至(d)式において、A乃至■は画素A乃至■
のデータを示し、B、D、F、Hは画素B、D、F。
第一の雑音除去条件及び第二の雑音除去条件を満足する
か否かを示す指標値、Eは注目レベルEが雑音であるか
否かを示す指標値である。
この論理式を満足する論理演算回路71の具体構成を第
23図に示す。第23図において、0R−1゛乃至0R
−14’ はオア回路、AN−1゜乃至AN−3’ は
アンド回路、NT−1′乃至N]゛−4°はノット回路
である。
例えば、注目画素Eと他の画素が、第20図(b)■に
示す条件の場合には、0R−1’ 、0R−2’からそ
れぞれ「0」が出力されるので、0R−7’もrOJを
出力し、コノ結果AN−1’ 、AN−3′が「0」を
出力し、それ故注目画素Eは「0」となって出力される
また、第20図(C1■に示す条件の場合には、0R−
1’ 、0R−5’がそれぞれrOJを出力し、ノット
回路NT−1”も「0」を出力するので第8 子回路0R−11”が「0」を出力する。この結果、A
N−2’ 、AN−3”が「0」を出力するので、注目
画素Eは「0」となって出力されることになる。このよ
うな制御は、前記他の回路と同様に、第2図の走査信号
発生部20より出力される水平同期信号に同期して順次
行なわれることになる。
このようにして論理演算回路71により、第20図(b
l、 (C)に示す条件、すなわちウィンドウWの上辺
と右辺、右辺と下辺、下辺と左辺あるいは左辺と上辺に
画素が存在しない場合(雑音除去条件1)、また上辺と
左右に画素がなく下にある。左辺と上下になくて右にあ
る。下辺と左右になくて左にある場合(雑音除去条件2
)に注目画素を雑音とみなしてこれを除去することがで
きる。
このようにして雑音の除去された対象の輪郭点を抽出し
、TVカメラ上でのその抽出された輪郭点の座標をめる
ことができる。
尚、このようにして得られた輪郭点の座標情報(Xi、
Yi)は、濃度レベル情報と共に、画像9 メモリ19内に格納される。
尚、濃淡画像処理部3でめられた輪郭点座標(Xi、Y
i)は、アドレスジェネレータフによって、直線抽出部
4に対して輪郭アドレスのみが出力される。
次に、切換スイッチSW■を1”側にセットする。そし
てこれにより直線抽出部4は前述の濃淡画像処理部3で
得られた輪郭点座標に対応して+1ough平面θ−ρ
にθをパラメータとして写像し、ヒストグラムを作成す
る。
この処理について説明する。
第1図において、75はFirst In First
 0ut(FIFO)式のデータバッファであって、濃
淡画像処理部3より出力された輪郭アドレスが順次格納
される。76はρ計算部であって、データバッファ75
に格納された各輪郭アドレス(Xi、Yi)を読出して
、次式の演算を行なう。
ρn=X1cosθ1+Yisinθnθn−nπ15
12 、 n =O〜51177はFirst In 
F3rst Out (FIFD>式のデータバ0 ソファであって、ρ計算部76によりめられたρnとθ
nが格納される。78はヒストグラム作成部であって、
データバッファ76に格納されたρnとθnをアドレス
としてヒストグラムメモリ79を読出し、1”を加算し
て再度間しアドレスに加算した結果を書き込む処理を行
なう。
第24図にρ計算部76の詳細回路図を示す。
図において、80はクロックパルスにより順次後述する
cosθテーブル81及びsinθテーブル82のアド
レスθnを発生ずるアドレスカウンタ。
81はcosθテーブルであって、nπを512等分し
た値が格納されている。82はsinθテーブルであっ
て、nπを512等分した値が格納されている。83は
データバッファ75からの輪郭アドレスのうちのXiア
ドレスが格納されるレジスタ、84はデータバッファ7
5からの輪郭アドレスのうちのYiアドレスが格納され
るレジスタ。
85はcosθテーブルからの値が格納されるレジスタ
、86はsinθテーブルからの値が格納されるレジス
タ、87はレジスタ83とレジスタ841 に格納された値とを乗算する乗算器、88はレジスタ8
5とレジスタ86に格納された値とを乗算する乗算器、
89は乗算器87の乗算結果を格納するレジスタ、90
は乗算器88の乗算結果を格納するレジスタ、91はレ
ジスタ89とレジスタ90に格納された値とを加算する
加算器、92は加算器91の加算結果を格納するレジス
タ、93はアドレスカウンタ80の出力するアドレスθ
nを遅延する遅延器93であって、レジスタ92に格納
された内容を同期をとってデータバッファ76に格納す
るためのものである。
以上説明した構成とすることにより、クロックパルスの
入力と共に、輪郭アドレスに対してn個(512個)の
θ−ρ平面上の座標をめることができる。そしてこれを
各輪郭アドレス毎に繰り返して実行することにより濃淡
画像処理部3で得れた輪郭点座標に対するハフ変換画像
が得られる。
そして、このようにして得られたハフ変換画像を前述し
たように、ヒストグラム作成部78によりヒストグラム
メモリ79上に格納する。
2 以上の処理を行なうことによりヒストグラムメモリ79
上に各輪郭点に対応するハフ変換画像のヒストグラムが
格納される。
このヒストグラムメモリ791のヒストグラムの個数の
高い点が物体の面を構成する線分に対応するが、ノイズ
の多い画面では、物体の面を構成する1本の線分に対応
して複数個のヒストグラムの個数の高い点が表れる。
そこで、各線分に対応するピーク点のみを抽出する必要
がある。
以下にこのピーク点の抽出処理について説明する。
まず、第1図において、直線抽出部4にさらにヒストグ
ラムメモリ79の内容を読出ずためのメモリ続出部93
を設け、この出力を切換スイッチSWIの入力b したがって、ピーク点抽出処理を行なう際には切換スイ
ッチSWIを“2”側に切換える。
そして、ヒストグラムメモリ79内に格納されているハ
フ変換画像を濃淡画像処理部3に入力せ3 しめ、このハフ変換画像に対して前述した濃淡画像処理
部3の処理を行なうことによりピーク候補点を抽出する
。但し、極点抽出処理において、第15図の切替回路2
00をアンド回路AN−5を出力するように切替えてお
くことにより、4方向とも極大となるピークを出力する
そして、得られたピーク候補点に基づいてピーク点の統
合処理を行なうために切換スイッチ■を“2″側に切換
え、直線抽出部4に設けられたピーク点統合演算部94
に入力する。
ピーク点統合演算部94では入力されてくるピーク候補
点のうち近接するピーク候補点を統合して輪郭線に対応
するピーク点のみを抽出する。
、このピーク点を抽出処理について説明する。
第25図はピーク点の抽出処理を説明するための図であ
る。図において、闇値演算部95は第2図中の闇値処理
部15に対応し、画像メモリ96は同図中の画像メモリ
19に対応する。尚、第25図において、第2図中に図
示の雑音除去部16については図示しない。
4 閾値演算部95は、所定の闇値レベル以上のピーク候補
点X1(i=l−N)を抽出する。抽出されたピーク候
補点Xiは、その座標情報X℃。
ぐ及び濃度レベルX、と共に、画像メモリ96に格納さ
れる。
ピーク点統合演算部94は、クラスタリング演算部97
.最大値演算部98.メモリ99,100とから構成さ
れる。
クラスタリング演算部97は、闇値演算部95が抽出し
たN個のピーク候補点について、クラス分類を行なうも
のである。ずなわち、If o u B b変換によっ
て得られるヒストグラムは、第26図図示ab平面の如
く、ノイズ等のために1つの山のピーク近傍に他のピー
クが現れることが多く、複数のピークが1本の直線に対
応する場合が少なくない。そのため、ピーク候補点Xi
について、それぞれ同じ山に属するものであるかどうか
を分類することができれば、直線に1対1に対応する正
しいピークが抽出することができる。尚、分類結果のク
ラスタ数Ncは、クラスタリング演算部975 の起動時には、未知である。
クラスタリング演算部97は、例えば第27図図示の如
く、順序付は演算部101と、クラス分類演算部102
と、評価基準演算部103と閾値更新部104とからな
る。第5図中の画像メモリ19及びメモリ99は第25
図に対応する。
画像メモリメモリ19.メモリ105.メモリ99は同
じメモリでもよい。
順序付は演算部101は画像メモリ19を参照し、各点
XI、X2.・・・・・・、Xnの濃度レベルXPの大
小を比較して、各点を濃度レベルの大きい純に並べ換え
、結果を画像メモリ19に格納する。
クラス分類演算部102は、順序付は演算部101によ
って順序付けされた点Yl、Y2.・・・・・・Ynに
ついて、先頭から順番に他の点とのユークリッド距離を
演算し、その距離と闇値とを比較するごとによって、闇
値以下の距離のものにラベル付けを行ない、クラス分類
するものである。
評価基準演算部103は、クラス分類演算部102によ
って分類された各クラス内の分散を平均6 的に最小にする評価基準を導入して、その評価基準を演
算するものである。
闇値演算部104は、評価基準が、より小さな値になる
ようにクラス分類に用いる闇値の更新を行なうものであ
る。闇値を変化させることによって、クラス分類演算部
102による異なる分類結果を得ることができるように
なる。
第28図乃至第31図を参照して、順序付は演算部10
1.クラス分類演算部102.評価基準演算部103お
よび閾値更新部104の処理内容について説明する。
順序付は演算部101は、例えば第28図図示の如く処
理する。すなわち、ループカウンタjを1からN−1ま
で、またループカウンタiを1からN−jまで変化させ
つつ、隣接するXi、Xi+1の濃度レベルx5 とX
昌との大小を比較する。
濃度レベルXi、+−1が濃度レベルXv よりも大き
い場合には、点Xiと点X+ lの位置を交換する。こ
の繰り返し処理によって、画像メモリ19の内容は、メ
モリ105のように濃度レベルの昇順に並7 ベられることになる。もちろん、他の各種ソーティング
手段を用いてもよい。
クラス分類演算部102は、例えば第29図図示の如く
処理する。まず、濃度レベルが最大のYlを第1のクラ
スの中心C1とする。そして、C1とその他のピーク点
Yj N=2.3.・・・・・・N)とのユークリッド
距離Djl。
をめる。この距離Djlが閾値Tmより小さいとき、Y
jはYlと同じ第1のクラスに属するものとする。
次に、第(k−1)のクラスまで分類できたとして、第
1のクラスから第(k−1)までのクラスに属さない点
の中で、濃度レベルが最大の点Yiを第にクラスの中心
Ckとする。そして、Ckとその他の点Yj (j=i
+l〜N)とのユークリッド距離Djkをめる。
8 この結果、距離Djkが閾値Tmより小さいとき、Yj
は第にのクラスに属するものとする。
k=に+1として、同様に処理を繰り返し、すべてのY
jがいずれかのクラスに属したならば、クラス分類を終
了する。すなわち、未分数の点の中で、濃度レベルの最
大のものを、新たなりラスの中心として、順番に分類を
行なっていく。
評価基準演算部103は、例えば第30図図示の如く処
理する。すなわち、各クラス内の分散が平均的に最も小
さくなるようなりラスタリングが良いクラスタリングで
あるとして、次式で表わすピーク点数、Ckは第にクラ
スのサンプル集合である。この評価基準Jmの演算を実
行し、結果を闇値更新部104へ伝達する。
闇値更新部104は、例えば第31図図示の如(処理す
る。すなわち、評価基準Jmが、ある所9 定植む以下、あるいは前回のJ、−1との差分djがあ
る所定値cd:J以下になるまで、闇値Tmを徐々に変
化させ、再度クラス分類演算部102を起動する。
評価基準Jmまたは前回との差分djが十分に小さな値
となったとき、良いクラスタリングが実行できたとして
、すべてのクラスタリング処理を終了する。
11ough変換等の2次元ヒストグラムにおける点を
クラスタリングするような場合、各点はクラス内の最大
値を中心に分布している。そこで入前記のように、すべ
ての対象点を予め大きさの順に並べ換かえておくことに
よって、クラスタリング時のクラスの中心を最初から最
大値に選ぶことができ、例えばヒストグラム空間におけ
る座標の順番に中心点を想定した場合等に比べて、良い
クラスタリングを得ることができる。したがって、最終
的に満足できるクラスタリングを得るまでの闇値の更新
回数を大幅に減少させることができる。
最大値演算部98は、クラスタリング演算部90 7が出力したメモリ990クラスタリング結果を参照し
、各クラスの最大値Zi (1=1〜Nc)をめるもの
である。クラスタリング演算部97が第27図図示の如
く構成される場合、メモリ99上のピーク候補点Yiは
、濃度レベルの昇順に並んでいる。
したがって、i=1の方向からサーチすることによって
、容易に各クラスの最大値Ziがめられる。
すなわち、例えば第32図図示の如く、クラス番号kを
1からNcまで変化させ、各クラス対応に最初に現れた
ピーク候補点を抽出する。
このようにして、メモリ100に得られた各クラスの最
大値Ziが、llough変換のヒストグラム等の場合
、直線に1対1に対応するピーク点となる。
以上の処理を行なうことにより各線分に対応するピーク
点のみを抽出することができる。
このようにして得られたピーク点(θl、ρi)に基づ
いて、直線方程式を計算する。
1 この計算は、第2図の直線抽出部4内の直線方程式計算
部106により行なう。
この直線方程式の算出処理のためのフローチャートを第
33図に示す。
図に示されるように、得られたピーク点(θl。
pi、i=l〜M)について直線方程式%式% を算出する。
尚・cosθi=Qの場合は、 Y=ρi/sinθi=c i また、5inOi=Qの場合は、 X=pi/cosθ1=di を算出する。
そしてこの直線方程式計算部106により得られたat
、bi、ci、diは、領域抽出部5へ出力される。
領域抽出部5は入力された前記各値に基づいて2 領域の抽出を行なう。
この領域抽出の処理について説明する。
第2図において、107は線分抽出部、lO8は閉ルー
プ抽出部、109は投影点a1算部である。
まず、線分抽出部107の動作を第34図に示すフロー
チャートを用いて説明する。
線分抽出部107には、直線方程式計算部106により
得られた傾き、切片情報および濃淡画像処理部3内の画
像メモリ19内に格納された輪郭点座標が入力される。
そして、第35図に示すように、入力された輪郭点座標
をXY平面上に展開すると共に、傾きと切片に基づいた
直線をXY平面上に擬イ以的に発生せしめる。
そして、この直線」二に沿ってK X r、、マトリッ
クスからなるウィンドウを走査させる。
このウィンドウ内に存在する輪郭点の数を、ウィンドウ
内の例えば左上端から順次走査してウィンドウ内の各座
標に対応する画像メモリ19内に輪郭点が格納されてい
るか否かを調べる。
3 そして、輪郭点であった場合には、カウンタC0NTを
“1″づつ加算し、輪郭点ではない場合には、次のウィ
ンドウ内の座標位置に移動する。
そしてこの処理を順次繰り返し、ウィンドウ演算回路内
の右下端まで実行する。そして処理終了後のカウンタC
0NTの値が所定値T以上ならば、その座標を直線上の
注目点座標(xi、yi)としてメモリ内に記憶する。
このウィンドウ処理を実行する回路がウィンドウ演算回
路である。
この処理を直線のXY平面上での終了位置まで行ない、
そして次の直線をXY平面上に擬似的に発生させ、同様
の処理を順次繰り返して行なうことにより、メモリ内に
線分座標を格納する。
そして、各線分座標に基づいて、各線分の端点Aと端点
B及びその線分の長さしを抽出し、第36図に示す線分
表を作成する。
次に、閉ループ抽出部108の動作について第37図に
示すフローチャートを用いて説明する。
まず、各線分の端点A、B、長さしを前記線分表から抽
出し、長さしが長い順番に並べ換かえる4 と共に、長い順番に番号を付すする。
そして、この長さが最大の線分の一方の端点Aを基準と
して、半径R以内に端点を有する線分を捜す。端点が存
在しない場合は、半径Rを少し大きくし、同様に線分を
捜す。半径Rが所定値以上(Rmax)大きくしても、
線分が発見できない場合は、この線分は除外(例えば無
効フラグI”を付与)する。半径R以内に他の線分の端
点を見付けることができた場合は、この線分に連続する
線分階を付与し、そして見付けられた線分の他方の端点
を基準として同様の操作を繰り返して実行する。
そして、最初の線分に戻ったとき、この操作を終了し、
一つの閉ループが抽出される。この閉ループは、第38
図に示されるように、各閉ループ毎に、線分階を格納す
る。
これを繰り返すことにより、3次元空間内の閉ループを
すべて抽出することができる。
投影点計算部109は、閉ループ抽出部108により得
られた各閉ループ領域の重心を計算を行5 なう。
以上説明したようにして、投影面の抽出処理を行なうこ
とができる。
次に、(2)の得られた面内に十字スリット光を照射す
る処理について説明する。
尚、スリット光の投影の処理を第39図のフローチャー
トに示す。
ここでは、便宜上投影面内の重心座標へ十字スリン1−
光のクロス点を照射させるものとする。
第2図において、スキャニング機構制御部7はスキャニ
ングコントローラ110と、赤外域の波長の十字スリッ
ト光を照射する十字スリット光プロジェクタ112を駆
動するモータ111とを含んで構成される。
まず、スキャニングコントローラ110は、十字スリッ
ト光のクロス点が領域抽出部7の投影点計算部109で
められた所望の閉ループ領域の重心座標となるようにモ
ータ111を駆動制御して、十字スリット光プロジェク
タ112を移動させる。
6 また、これと同時に、十字スリット光像のSZN比を向
上させ、スリット像検出を容易にするためにTVカメラ
lの前面に可視光カットフィルタを装着する。尚、これ
は光学的に分離できるものであれば何でもよい。これは
、第2図に示す分離機構113により行なう。また分離
機構113は図示しない上位の中央処理装置からの信号
に基づいて動作する。さらに、切換スイッチ■を“1”
側に、切換スイッチIIIを“1”側にセリトン、面傾
度・距離計測部6の回路構成を十字スリット光のラフな
りロス点をめる回路構成に切換える。
この状態で、TVカメラ1により3次元空間を撮影し、
スリット像を得る。そして前述したように、濃淡画像処
理部3により、このスリ71・像の骨格線座標(輪郭点
座標に対応)を抽出する。
濃淡画像処理部3により得られた骨格線座標に基づいて
、面傾度・距離計測部6内のラフなりロス点δ1算部1
14により、十字スリット光のおおまかなりロス点座標
を算出する。
この処理を第40図を用いて説明する。
7 まず、抽出されたスリット光の骨格線座標の中からX座
標の最小値X min、最大値X max及びX座標の
最小値Y 5ain+最大値Y IIIaxをめる。
そしてラフなりロス点(Xc、Yc)として、X c 
−(Xmin +Xmax ) / 2Y c = (
Ymin +Ymax ) / 2を算出する・ そして、ラフなりロス点計算部114により得られたラ
フなりロス点(Xc、Yc)に基づいて、スキャニング
コントローラ110がモータ111を駆動制御して、ラ
フなりロス点が投影面内の重心座標の近傍に十字スリッ
ト光プロジェクタ112を移動させる。
次に、このラフなりロス点が重心座標の近傍の所定領域
内に入ったら、切換スイッチswnを“1”側へ、切換
スイッチSW■を“2”側へ切換える。
ここで、ラフなりロス点が重心座標の近傍の所定領域内
へ入ったことの検出は、例えば、重心座標に所定値を加
算して得られた小領域の座標と、8 ラフなりロス点計算部114により得られたクロス点(
Xc、Yc)とを比較することにより簡単に行なうこと
ができる。この処理は、例えば、前述したような分離機
構113.切換スイッチSW 1、SWI、5WIIr
を切換制御する図示しない上位の中央処理装置により行
なう。
次に、切換スイッチSW■を“1”側へ切換えることに
より、濃淡画像処理部3により得られたスリット光像の
骨格線座標が直線抽出部4に入力される。
直線抽出部4は、前述の処理と同様にして、入力された
骨格線座標に基づいて、ハフ変換による骨格線座標のハ
フ平面への写像を行なって、ヒストグラムを作成する。
このようにして得られたヒストグラムに基づいて、スリ
ット光の傾きを検出し、正確なスリット光のクロス点を
算出する。
第2図のスリット光傾き検出部115は、スリット光の
傾きを検出するものである。
以下に、スリット光の傾きの検出処理について9 説明する。
このスリット光の傾きの検出の手法は、第41図に示す
ように、所定の座標系(同図(a))における直線Y=
ao −X +bo上の各点Pi : (Xl、Yl) P2: (X2.Y2) P3 : (X3.Y3) P4: (X4.Y4) についてハフ変換を施して新たな座標系(同図(b))
に展開すると、当該座標系において、前記各点に対応し
て、 b=−XI−a+Y1 b=−X2・a+Y2 b=−X3・a+Y3 b=−X4 ・a+Y4 が得られ、前記各直線が当該座標系において、点(ao
、bo)で交わるようになることを利用したものである
第42図は、スリット傾き検出部115の詳細回路図で
ある。
0 このスリット傾き検出部115は、直線抽出部4のヒス
トグラムメモリ79内の頻度データを検索し、当該頻度
データが最大となる点座標データ〔θ(may)、ρ(
may)) をめるものであるが、本実施例では、対象となる線画像
が十字スリット光に対応して2つ存在することから、そ
れぞれの線画像に対して前記点座標データ 〔G1(max)、G1(lIlax))〔G2 (m
ay) 、G2(m8x))をめることになる。そして
当該十字スリットに対応した線画像から得られる前記2
つの頻度のピーク点は、一般にθに関して離れたもので
あり、十字スリット光を投影する十字スリット光プロジ
ェクタ112と当該スリット光を撮影するTVカメラ1
の相対的な位置関係を調整して、前記θ1(max )
とG2(max)との関係を常に、O〈G1 (wax
 ) <tt/’l≦02(may)≦π・・・・・・
 (6) 1 1tan G1 (may) 1<l≦1tan G2
 (may) l ・・・・・・ (7)となる条件に
設定することが可能である。
そこで、第42図に示すスリット傾き検出部115は、
特に前記(6)の条件を満足するように、十字スリット
光プロジェクタ112とTVカメラ1を配置した場合の
ものである。
第42図において、116は前記新たな極座標系での点
座標データρj、θjを順次出力するアドレスジェネレ
ータであり、このアドレスジェネレータ116からのρ
jはレジスタ117aに、同θjはレジスタ117bに
それぞれ順次図示しないクロックジェネレータからのク
ロックパルスに同期して格納されるようになっている。
また、アドレスジェネレータ116からの点座標データ
θj、ρjは、ヒストグラムメモリ79に伝送され、こ
のヒストグラムメモリ79から当該点座標(θj、ρj
)に対応した頻度データf(θj、ρj)が読み出され
ると共に、当該頻度データが前記クロックパルスに同期
してレジスタ2 117Cに格納されるようになっている。118はレジ
スタ117bに格納したθjと所定値θ1=(π/2)
とを比較して θj〈θ1=(π/2) となる時にHレベル信号を出力する比較器である。
また、119は第1の最大値検出回路、120は第2の
最大値検出回路であり、各最大値検出回路119.12
0は、それぞれレジスタ117Cに格納した頻度データ
を再び格納するレジスタ119b1同120 bと、こ
の各レジスタ119b。
120bの頻度データと前記レジスタ117Cからの頻
度データとを比較する比較器119a、同120aを有
しており、各比較器119a、120aはレジスタ11
7cの頻度データがレジスタ119b、120bの頻度
データを上回る時に1ルベル信号を出力するようになっ
ており、前記レジスタ119bは比較器118.119
aの出力信号及びクロックパルスのアンドゲートG22
によるアンド信号に同期して作動するようになると共に
、前記レジスタ120bは比較器118のイ3 ンバータG24による反転信号、比較器120aからの
出力信号及びクロックパルスのアントゲ−G23による
アンド信号に同期して作動するようになっている。12
1a、121bはレジスタ119bと同様にアンドゲー
トG23の出力信号に同期して作動するレジスタであり
、レジスタ12゜la、122aはそれぞれのタイミン
グでレジスタ117a内のρjを格納し、レジスタ12
 l b。
122bはそれぞれのタイミングでレジスタ117b内
のθjを格納するようになっている。
そして、123a、123bはそれぞれレジスタ121
a、121bとレジスタ122aと122bに格納した
θj、ρjを a=−(cosθj/sinθj) b=ρjsinθj に従ってa、bに変換する変換器であり、極座標データ
(θj、ρj)を直交座標デー(a、b)に変換するも
のである。
以」二説明した構成において、その動作を説明する。
4 すなわち、アドレスジェネレータ116は、順次θj、
ρjを出力し、(θj、ρj)で指定されるヒストグラ
ムメモリ79内の頻度データf(θj、ρj)を、θj
〈π/2の領域ではレジスタ117Cを介してレジスタ
119bに格納し、さらにレジスタ119bの頻度デー
タを順次大きな値のものに更新していく。
また、π/2≦θj〈πの領域では、当該頻度データf
 (θj、ρj)がレジスタ117Cを介してレジスタ
120bに格納され、さらにレジスタ120bの頻度デ
ータは前記同様に順次大きな値ものものに更新されてい
く。この時、レジスタ119bの更新のタイミングで当
該ρj、θjがそれぞれレジスタ117a’、117b
を介してレジスタ121a、121bに格納され、また
、レジスタ120bの更新のタイミングで当該ρj。
θjが前記と同様にレジスタ117a、117bを介し
てレジスタ122a、122bに格納される。前記のよ
うな処理がすべての(θj、ρj)(j−1〜N)につ
いて行なわれると、最終的に5 レジスタ117bに格納されている頻度データはθj〈
π/2の領域における最大値となり、レジスタ120b
に格納されている頻度データは、π/2〈θj≦πの領
域における最大値となる。
それに伴ない、レジスタ121a、121bの内容がθ
j〈π/2の領域において頻度が最大となるp (ma
xi) 、θ(maxi)となると共に、レジスタ12
2a、122bの内容がπ/2≦θj〈πの領域におい
て頻度が最大となるp (max2)、θ(max2)
となり、そめ時の変換器123aの変換出力a (ma
xi) 、b (maxi)が、十字スリット光に対応
した一方の骨格線を示す直線方程式%式% における各aO1bOとなると同時に、その時の変換器
123bの変換出力a (max2) 、b (may
2)が、十字スリット光に対応した一方の骨格線を示す
直線方程式 %式% における各aO′、bO′になる。
したがって、前記a (maxl) 、a (may2
)が、6 求める十字スリット光に対応した各線画像の傾きとなる
このようにして得られた2つの直線方程式に基づいて連
立方程式をたて、これの解であるX、 Yを十字スリッ
ト光のクロス点として算出する。
この連立方程式をたて、これの解をめる処理は、面傾度
・距離計測部6のクロス点計算部124で行なう。
そして、このクロス点計算部124により得られたクロ
ス点(X、Y)に基づいて、スキャニングコントローラ
110がモータ111を駆動制御して、クロス点(X、
Y)が投影面内の重心座標となるように十字スリット光
プロジェクタ112を移動させる。
尚、前述の説明にあっては、十字スリット光のクロス点
を閉ループ領域の重心座標に位置付ける場合について説
明しているが、本発明はこれに限定されるものでなく、
閉ループ領域内のどの場所であってもよい。
ただし、閉ループ領域の重心とした場合には、7 十字スリット光を照射した際に、十字スリット光が閉ル
ープ領域内からはみ出す可能性も少なく、−また、十字
スリット光のクロス点を照射する位置を決定する場合に
、重心座標が最も計算し易いためにこれを利用している
に過ぎない。
以上説明した処理を実行することにより、閉ループ画像
の領域内にスリット光を照射することができる。
次に、(3)の面の傾き及び座標を算出するために、面
上に照射されたスリット光の傾き、十字スリット光のク
ロス点を検出する処理を説明する。
第43図は十字スリット光プロジェクタ112とTVカ
メラ1の空間配置関係を示す斜視図であり、第44図は
、第43図の空間配置におけるキャリブレーション時の
座標関係を示し、第45図は、第43図の空間配置にお
けるTVカメラ1の撮影面上の像の座標を示し、第46
図は、3次元物体が任意の傾きを有するときの座標関係
を示す図である。
このような構成において、十字スリット光プロ8 ジェツタ112の座標系0p−XpYpZpについて光
軸をzpとし、これに直交するようにXp、 yp軸を
定める。一方TVカメラ1の座標系0c−XcvcZc
について撮像面の横軸をXc、縦軸をYcに選び、Zc
をこれらに直交するように定める(第44図参照)。
そして座標系0p−XpYpZpが座標系0c−XcY
cZcに対して、Zc軸回りにα、Yc軸回りにβ、X
c軸回りに1回転しているとする。
この関係は、基準点において予めキャリブレーションし
ておくことにより既知であるとする。
そしてその関係は、以下の式で表現される。
sinαcosβ。
cosαcosr + sinαsinβsinγ。
−CO3αsinγ+sinαstnβcosγ。
9 次に、任意の傾きをもつ物体面π1に、十字スリット光
プロジェクタ112とTVカメラlを、それぞれ基準面
からオイラー角αe、β2.γP、α。、β6.γ0だ
け回転させてS、Tのスリット光を投影したときの工と
1の導出を第46図を参照しつつ行なう。
ここで、解析を容易にするために第44図に示すように
、Xp軸上にSのスリットをYp輪軸上tのスリットを
考える。
まず、十字スリット光プロジェクタ112とTVカメラ
の回転後の座標系をそれぞれ0p−XpYpZpと0c
−XcYcZcとする。
0p−XpYpZpは0p−XpYpZpに対して、0 であり、この式は、 と書き替えられる。ここでH’のダッシュ“″はnの転
置行列を示す。従って、05−X4YiZpは0にこで
、 1’io= TI(%、%、1−y)−)1(i、p、
rLl((/c4cj<)であると仮定する。
一方、物体面上の投影像二はoj−xpypzp系の1 Xp’Zj平面内にあるので、 ;3k jp’(e−jt; ) =0 −(15)但
し、 e−Xei’c+ Yej’c+ Zekンj’f:=
 h 21i″ご+h 22j’ε+h23に’c’ 
・・・(16)式(16)を式(15)に代入すると、
χeh 21+Yeh 22+ Zeh 23= O−
(17)測定できないZeは、 像ンハ、0p−X4Yl+Zil+系(7)YpZ6平
面内ニアル(7) テ、f l i’p(f−i’l:
) =O−(18)但し、 を上式に代入すると、 Xfh 11+ Yfh 12+ Zfh 13= O
・・・(21)測定できないZfは、 2 最後に、π1の面ベクトルの導出を行なうと面ベクトル
介は二と1との外積で与えられる。
従って・ π=eXf +(XeYf−XfYe) Kc −(24)= u 
ic+ v jc十wKc −(25)従って、π1の
06−XgYεZ6系に対する方向余弦以上説明した面
の傾き及び座標を算出するために、面上に照射されたス
リット光の傾き、十字スリン1−光のクロス点を検出す
る処理を行なう位置姿勢制御部125と面傾度・距離演
算部12Gの動作を第47図、第48図に示すフローチ
ャートを参照しつつ、説明する。
3 図において、キャリブレーション時には、基準点に設置
された十字スリット光プロジェクタ112とTVカメラ
1の各座標系のキャリブレーションを行なう。
ここでは、解析上簡単化のため、直交する2本のスリッ
ト光を基準面π0に投影する。
そして、スリット傾き検出部125により得られた各線
画像の傾きである前記a (maxi) 、a (ma
x2)が、ミ、ンの傾門に対応するので、これからX、
Y成分すなわち、Xe、Ye+Xf、Yfをめることが
できる。予め、TVカメラと十字スリット光プロジェク
タの相対的位置関係をキャリブレーションによって校正
しておけば、その位置関係を変更しない限り、キャリブ
レーションを再度行なう必要はない。
次に任意の面の傾きを導出する場合について説明する。
十字スリット光プロジェクタ112とTVカメラ1を制
御して向きを目標点に向ける。
これは、前述した動作と同様である。また、クロス点計
算部124により十字スリット光のクロ4 ス点がめられているので、このクロス点より十字スリッ
ト光プロジェクタ112の基準点からの回転角度を読取
ることができる。また、TVカメラの回転角度も図示し
ない中央処理装置からの制御7信号によりTVカメラを
回転駆動するとすれば、容易に読取り可能である。
面傾度・距離演算部126では、α、β、γ。
αp、βp、 yp、αC1βC,7CからHOをめる
。次に、スリット傾き検出部125からのシ、ンに基づ
いてX、Y成分の長さを算出する。
さらに、式(18) 、(22)を用いてZe、 Zf
を導出して、式(24) 、(25)からu、v、wを
め、式(26)から π1の方向余弦を導出する。
また、得られたクロス点座標より距離をめることができ
る。
以下にTVカメラ系0c−XcYcZcと十字スリット
光プロジェクタ系0p−XpYpZpの相対的位置関係
が予め分っているとき、投影された十字スリット像の中
心点を計算することによって、距離をめる方法について
第49図を用いて説明する。
5 説明を簡略化するため、3次元空間をTVカメラ座標の
XcZc平面及びYcZc平面で説明する。
第49図(a)はχcZc平面、第49図011)はY
cZc平商を示す。
ここで、計測点、つまり十字スリットの投影像のクロス
点をP (XO,YO,ZO) 、十字スリット光プロ
ジェクタ112の位置をQ (Xq、Yq、Zq) +
 T Vカメラlの焦点距離をFとする。また、XcZ
c平面上で十字スリット光プロジェクタの光軸ZpとX
cのなす角をθ、 YcZc平面上で十字スリット光プ
ロジェクタの光軸ZpとYcのなす角をψとする。
さらに、撮像面上におけるPの像をRとし、その座標を
(Xs、Ys+ P )とする。
このとき、XcZc平面上で直線PQ、PRは次のよう
に表現できる。
P Q : ZO= (XO−Xq) tanθ+Zq
 ・(26)PR: ZO= (−F /Xs) XO
・” (27)6 また、YcZc平面上で直線PQ、PRは次のように表
現できる。
PQ : ZO−(YO−Yq) tanψ→−Zq 
−= (30)そして、スリット傾き検出部でめられた
撮像面上での十字スリット光のクロス点座標(Xc、Y
c)をTVカメラ系座標に変換した(Xs、Ys )を
め、TVカメラと十字スリット光プロジェクタの位置関
係からθ、ψ、χQ、 YQおよびTVカメラのレンズ
の焦点距離Fを知り、この値を式(2B) 。
(32) 、(29) 、(33)に代入することによ
り、物体までの距離をめることができる。
ZOについては、式(29)と(33)のいずれを用い
てもよい。
(a発明の詳細 な説明したように、本発明によれば、3次元空間内の物
体を撮影して得られた閉ループ領域毎7 にその面の傾き及び座標をめるので、3次元物体認識に
必要なセグメンテーションが高速に行なえ、ロボットの
眼として有効なツールとなる。
【図面の簡単な説明】
第1図は本発明に係かる画像処理装置の実施例説明図2
第2図は濃淡画像処理部の説明図、第3図、第4図は荷
重係数の説明図、第5図は空間フィルタ演算部の説明図
、第6図はデータシフト回路の説明図、第7図は乗算回
路の説明図、第8図は加算回路の説明図、第9図は割算
回路の説明図。 第10図は物体及びその輪郭抽出状態説明図、第11図
はスライスレベルを変えたときの出力説明図、第12図
は輪郭抽出動作原理の説明図、第13図は極点抽出部の
説明図、第14図はデータシフト回路の説明図、第15
図はデータ比較回路の説明図、第16図は闇値処理部の
説明図、第17図、第18図は輪郭抽出処理を施した場
合の効果の説明図、第19図は輪郭部データ説明図、第
20図は雑音除去条件説明図、第21図は雑音除去部の
説明図、第22図はデータシフト回路の説明8 図、第23図は論理演算回路の説明図、第24図はρ「
1算部の説明図、第25図はピーク点抽出処理の説明図
、第26図はIf o u g h変換により得られる
ヒストグラムム、第27図はクラスタリング演算部、第
28図は順序付は演算部の説明図、第29図はクラス分
類演算部の説明図、第30図は評価基準演算部の説明図
、第31図は闇値更新部の説明図、第32図は最大値演
算部の処理説明図。 第33図は直線方程式算出処理のフローチャート。 第34図は線分抽出部の説明図、第35図は線分抽出部
の処理説明図、第36図、第38図は線分表、第37図
は閉ループ処理部の動作フローチャート、第39図はス
リット光の投影処理説明図。 第40図はラフなりロス点計算部の処理説明図。 第41図はスリット光の傾き検出の手法説明図。 第42図はスリット傾き検出部の説明図、第43図は十
字スリット光プロジェクタとTVカメラの空間配置関係
を示す斜視図、第44図はキャリブレーション時の座標
関係を示す図、第45図は第43図の空間配置における
TVカメラの撮影面上9 の像の座標を示す図、第46図は3次元物体が任意の傾
きを有するときの座標関係を示す図、第47図、第48
図は面の傾き及び座標を算出するための処理を説明する
動作フローチャート、第49図は十字スリット光のクロ
ス点座標から物体までの距離をめる方法の説明図である
。 図において、1はTVカメラ、2はA/D変換器、3は
濃淡画像処理部、4は直線抽出部、5は領域抽出部、6
は面傾度・距離針側部、8はスキャニング機構制御部、
112は十字スリット光プロジェクタ、113は分離機
構、SWI、5WII。 0 寺輪−N −458− 廃+Gf’B ¥191刀 才19m ■ ■ ■ ■ ■ [相] ■ @ 0 [相] ■ ■ (し ■ ■ ■ ■ (C ■ ■ ■ ■ 第30図 埠 うL Dn 第すIZ 晩40(L Uつ ÷ 蘇 嫁 第+8図 第4−7図

Claims (1)

    【特許請求の範囲】
  1. 3次元空間上の物体を撮影する撮影手段と、前記撮影手
    段により得られた画像情報に基づいて前記物体を構成す
    る面を抽出する面抽出部と、前記面抽出部により得られ
    た面情報に基づいて所望の面上のみにスリット光を照射
    する照射部と、前記所望の面−Lのみに照射されるスリ
    ット光像を撮影して得られたスリット光像情報に基づい
    て前記面の傾きと3次元空間座標を算出する面情報算出
    部と含んで成る画像処理装置。
JP59075341A 1984-04-14 1984-04-14 画像処理装置 Granted JPS60218166A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP59075341A JPS60218166A (ja) 1984-04-14 1984-04-14 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP59075341A JPS60218166A (ja) 1984-04-14 1984-04-14 画像処理装置

Publications (2)

Publication Number Publication Date
JPS60218166A true JPS60218166A (ja) 1985-10-31
JPH0241789B2 JPH0241789B2 (ja) 1990-09-19

Family

ID=13573456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP59075341A Granted JPS60218166A (ja) 1984-04-14 1984-04-14 画像処理装置

Country Status (1)

Country Link
JP (1) JPS60218166A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444581A (en) * 1987-08-04 1989-02-16 Fmc Corp Method and apparatus for inspecting component part
US4991224A (en) * 1986-09-03 1991-02-05 Kabushiki Kaisha Toshiba Apparatus and method for labeling connected component in a three-dimensional image
JPH04255077A (ja) * 1990-08-13 1992-09-10 Siemens Ag 像分析方法
US7260252B2 (en) 2002-10-22 2007-08-21 Kabushiki Kaisha Toshiba X-ray computed tomographic apparatus, image processing apparatus, and image processing method
US7502504B2 (en) 2002-10-17 2009-03-10 Fanuc Ltd Three-dimensional visual sensor

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991224A (en) * 1986-09-03 1991-02-05 Kabushiki Kaisha Toshiba Apparatus and method for labeling connected component in a three-dimensional image
JPS6444581A (en) * 1987-08-04 1989-02-16 Fmc Corp Method and apparatus for inspecting component part
JPH04255077A (ja) * 1990-08-13 1992-09-10 Siemens Ag 像分析方法
US7502504B2 (en) 2002-10-17 2009-03-10 Fanuc Ltd Three-dimensional visual sensor
US7260252B2 (en) 2002-10-22 2007-08-21 Kabushiki Kaisha Toshiba X-ray computed tomographic apparatus, image processing apparatus, and image processing method

Also Published As

Publication number Publication date
JPH0241789B2 (ja) 1990-09-19

Similar Documents

Publication Publication Date Title
CN104778688B (zh) 点云数据的配准方法及装置
KR100367303B1 (ko) 화상중의패턴을자동으로위치시키기위한벡터상관시스템
US7313266B2 (en) Pose estimation method and apparatus
US5890808A (en) Image processing method and apparatus for correlating a test image with a template
CN102184878B (zh) 一种用于晶圆对准的模板图像质量反馈方法
CN115791822A (zh) 晶圆表面缺陷的视觉检测算法及检测系统
CN108898634A (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
KR20180014676A (ko) 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법
US6873712B2 (en) Method for identifying an object image
CN108322724A (zh) 图像立体匹配方法以及双目视觉设备
CN109086350B (zh) 一种基于WiFi的混合图像检索方法
CN109886917A (zh) 一种晶圆盘定位方法及装置
CN113176270A (zh) 一种调光方法、装置及设备
CN107680035A (zh) 一种参数标定方法和装置、服务器及可读存储介质
JPS60218166A (ja) 画像処理装置
Garcia et al. Detection of matchings in a sequence of underwater images through texture analysis
WO2019040004A1 (en) STEREO ARTIFICIAL VISION SYSTEM AND METHOD FOR IDENTIFYING LOCATIONS OF NATURAL TARGET ELEMENTS
US4783831A (en) Method for producing a standard pattern for pattern matching
Song et al. Advanced underwater image restoration in complex illumination conditions
JPH06243236A (ja) 視覚認識装置の座標系校正パラメータ設定装置
CN104156956B (zh) 一种基于高斯小波一维峰值识别的多角度边缘检测方法
CN113283429B (zh) 基于深度卷积神经网络的液位式表计读数方法
EP0428391A2 (en) Method and apparatus for beautificating drawings
Dulko 360° color and depth mapping of an indoor room:: Microsoft Kinect 2.0
Rodriguez A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking