JP3357738B2 - 形状検出方法及びその装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は、対象物に所定パター
ンのスリット光を投影し且つこれを撮像して得られる画
像に基づいて該対象物の三次元位置を求めてその形状及
び位置を検出するようにした形状検出方法及びその方法
の実施に使用される形状検出装置に関するものである。

【０００２】

【従来の技術】近年、例えば、産業用ロボットの自動化
の一環として、照射手段から対象物に所定パターンのス
リット光を投影するとともに、これを画像入力手段によ
り撮像して画像を生成し、この画像を画像処理装置にお
いて距離変換処理等を行うことで該対象物の形状及び位
置を検出し、この検出結果をロボットにフィードバック
してその作動を制御することが行なわれている。

【０００３】この場合、形状検出が精度良く行なわれる
ためには、照射手段から対象物へのスリット光の投影と
画像入力手段における画像取込作業とが適正タイミング
で行なわれることが必要である。特に、照射手段を、照
明としてのフラッシュ光源とスリット光形成部材として
の液晶シャッターとで構成したような場合には、該フラ
ッシュ光源の電荷蓄積とか液晶シャッターのシャッター
の開閉及びパターンの切り替え等と上記画像入力手段の
画像取込とのタイミング調整が重要となる。

【０００４】

【発明が解決しようとする課題】ところが、従来一般の
画像処理による形状検出方法においては、画像入力手段
の制御と照射手段の制御とが相互にタイミング的な連係
をもっていなかったため、例えば、画像処理に際して
は、先ず液晶シャッターのパターン切り替えを行い、さ
らにシャッターを開いた後、該液晶シャッターの作動が
安定するのを待ってフラッシュ光源の点灯によるパター
ン投影と画像入力手段による画像取込とを行うことが必
要であり、このため制御期間中における待ち時間が多
く、高速処理が困難であるという問題があった。

【０００５】そこで本願発明は、画像入力手段と照射手
段とを同期制御することで処理期間中における待ち時間
を減少させて画像処理時間の短縮化を図るようにした形
状検出方法及びその装置を提案せんとしてなされたもの
である。

【０００６】尚、特開昭６１−１５２７７号公報には、
ライン上を移動する対象物を撮像して画像処理により該
対象物の認識を行う画像処理装置において、画像処理の
短縮化を図る技術が提案されているが、この公知例のも
のは、カメラの垂直帰線期間にシャッター露光・ストロ
ボ発光を行う従来方式においては対象物がカメラ視野に
入ったことが検出されてもカメラの走査タイミングが垂
直帰線期間に入るまでは画像入力が不可能であってこの
帰線期間に入るまでの待ち時間により処理時間が長くな
るのを解消すべく、移動する対象物が特定位置にきた場
合にこれを検出し、この位置信号とＴＶカメラの水平走
査タイミングとから特定の水平走査期間にストロボ発光
を行うようにしたものであって、画像入力手段と照射手
段との間に作動上の相関関係に基づく処理期間中におけ
る待ち時間の低減を図らんとする本願発明とはその技術
的課題を別異にするものである。

【０００７】

【課題を解決するための手段】本願発明ではかかる課題
を解決するための具体的手段として次のような構成を採
用している。

【０００８】先ず、形状検出方法としては、画像取込期
間と画像出力期間とを有する画像入力手段と、フラッシ
ュ光源からなる照明と各種パターンを形成可能な液晶シ
ャッターとにより構成され且つ対象物に対して上記パタ
ーンを投影する照射手段とを有し、対象物からの反射光
を用いて該対象物の形状及び位置を検出するものにおい
て、上記画像入力手段の作動をコントローラにより制御
し、上記照射手段のフラッシュ光源は、上記画像入力手
段の画像取込期間内で点灯するとともに、上記画像入力
手段の画像取込期間内で且つ上記コントローラからの画
像取込完了信号を受けて電荷蓄積を開始し、上記照明手
段の液晶シャッターは、上記画像入力手段の画像取込期
間から画像出力期間に移行した時点でパターン切替を開
始する。

【０００９】この場合、画像入力手段の画像取込は、コ
ントローラにより上記フラッシュ光源の作動を制御する
とともに、該画像入力手段の画像取込期間内で且つ上記
コントローラから電荷蓄積完了信号を受けた時点におい
て行えば良い。

【００１０】また、上記画像入力手段と上記照射手段の
フラッシュ光源と液晶シャッターの作動上の同期をとる
ためには、これらをそれぞれコントローラにより作動制
御するとともに、該各コントローラを統括制御部により
同期せしめれば良い。

【００１１】一方、形状検出装置は、フラッシュ光源か
らなる照明と各種パターンを形成可能な液晶シャッター
とにより構成され且つ対象物に対して上記パターンを投
影する照射手段と、画像取込期間と画像出力期間とを有
し且つ上記対象物からの反射光を撮像して画像を生成す
る画像入力手段と、上記画像入力手段により生成された
画像を処理して上記対象物の三次元情報を求めてその形
状及び位置を検出する画像処理装置と、上記画像入力手
段の画像取込と画像出力とを制御する第１のコントロー
ラと、上記照射手段のフラッシュ光源の電荷蓄積と点灯
とを制御する第２のコントローラと、上記照射手段の液
晶シャッターのパターン切替を制御する第３のコントロ
ーラと、該各コントローラを同期させる統括制御部とで
構成された作動制御手段とを備えて構成する。

【００１２】そして、上記作動制御手段を、上記画像入
力手段の画像取込期間内で、上記フラッシュ光源を点灯
させ且つ、上記画像入力手段の画像取込期間内で且つ上
記第１のコントローラからの画像取込完了信号を受けて
上記フラッシュ光源の電荷蓄積を開始させるとともに、
上記画像入力手段の画像取込期間から画像出力期間に移
行した時点で上記液晶シャッターのパターン切替を開始
させるように構成する。

【００１３】

【作用】本願発明ではかかる構成とすることにより次の
ような作用が得られる。

【００１４】形状検出に際して、画像取込期間と画像出
力期間とを有する画像入力手段と、各種パターンを形成
可能で且つ対象物に対して上記パターンを投影する照射
手段とを有し、対象物からの反射光を用いて該対象物の
形状及び位置を検出するものにおいて、上記照射手段に
おけるパターン切替を、上記画像入力手段の画像出力期
間に同期させて実行すると、画像出力後、次回の画像取
込を行う場合には確実に次のパターンに変更されている
ことから、引き続いて次のパターンの画像取込を行うこ
とができ、先回の画像出力と次回の画像取込との間に待
ち時間が生じない。

【００１５】また、照射手段におけるパターン切替を、
上記画像入力手段の画像取込期間から画像出力期間に移
行した時点で開始させると、画像出力期間の間にパター
ン切替が行なわれ、次回の画像取込期間においてはその
初期から画像取込を実行することができることから、次
回の画像取込時における待ち時間がなく、画像処理時間
の短縮化を図ることが可能となる。

【００１６】さらに、上記照射手段を照明と各種パター
ンを形成可能な液晶シャッターにより構成し、該液晶シ
ャッターでパターンを変更すると、該液晶シャッターそ
の構造上、機械的なシャッターに比してパターン切替が
迅速であることから、パターン切替を画像出力期間内で
確実に完了させることができ、次回の画像取込期間への
移行時における待ち時間がなくなり、画像処理時間の短
縮化が図られるものである。

【００１７】一方、照明としてのフラッシュ光源の電荷
蓄積を少なくとも画像入力手段の画像出力期間に同期さ
せて実行すると、画像出力期間の経過後、次回の画像取
込に移行する場合には既にフラッシュ光源の電荷蓄積が
十分に行なわれていることから、画像取込期間への移行
後、直ちにフラッシュ光源を点灯させて画像取込期間を
実行させることができ、画像取込期間への移行時におけ
る待ち時間がなくなり、画像処理時間の短縮化が図れる
ものである。

【００１８】また、フラッシュ光源の電荷蓄積を、画像
入力手段の画像取込期間内で且つ画像入力手段のコント
ローラからの画像取込完了信号を受けた時点で開始させ
るとともに、フラッシュ光源の点灯を画像取込期間に行
えば、画像取込期間における画像取込完了時点からこれ
に続く画像出力期間の間にフラッシュ光源の電荷蓄積を
完了させて次回の画像取込期間への移行時には直ちにフ
ラッシュ光源を点灯させて画像取込を行うことが可能で
あり、該画像取込期間への移行時における待ち時間がな
くなり、画像処理時間の短縮化が図られるものである。

【００１９】さらに、画像入力手段による画像取込を、
画像取込期間内で且つフラッシュ光源のコントローラか
ら電荷蓄積完了信号を受けた時点において行うようにす
れば、画像取込の開始後においてフラッシュ光源が十分
に電荷蓄積されるのを待つようなことがなくなることか
ら、画像処理時間の短縮化が図られるものである。ま
た、この場合、所定光量のフラッシュ光源によるパター
ン投影がされた状態で画像取込が行なわれることから、
鮮明度の良い画像が得られ、精度の良い形状検出が実現
されるものである。

【００２０】

【発明の効果】従って、本願発明の形状検出方法及びそ
の装置によれば、画像入力手段と照射手段との作動タイ
ミング、より具体的には、画像入力手段の画像取込期間
と画像出力期間と、フラッシュ光源の電荷蓄積と点灯タ
イミングと、液晶シャッターのパターン切替タイミング
とを同期させて制御することで、これら各作動間におけ
る待ち時間を無くして画像処理時間の短縮化を図ること
ができることから、より迅速な形状検出が実現されると
いう効果が奏せられるものである。

【００２１】

【実施例】以下、本願発明の形状検出方法及びその装置
を添付図面に基づいて具体的に説明する。

【００２２】図１には、本願発明の実施例にかかる形状
検出方法の実施に使用される形状検出装置Ｚを示してい
る。この形状検出装置Ｚは、後述する画像入力手段１と
照射手段２と作動制御手段５と画像処理手段１０とを備
えて構成されている。尚、この形状検出装置Ｚは、一つ
の対象物１１の形状検出に際して、８種類のパターンの
ネガチィブ画像とポジチブ画像の計１６枚と、ポジチブ
とネガチィブの二枚のマスク画像の合計１８枚の画像取
込を行い、これら各画像を合成してグレーコード画像を
生成し、さらにこれに距離変換処理をして距離画像を得
て最終的に上記対象物１１の形状と位置とを検出するよ
うになっている(但し、図２には、画像処理の動作パタ
ーンの説明例として二つの画像を連続して取り込む場合
を例示している)。

【００２３】上記画像入力手段１は、ＣＣＤカメラで構
成され、図２の(イ)及び(ロ)に示すように、画像取込期
間と画像出力期間とを有している。そして、画像取込期
間においては、所定パターンのスリット光が投影された
対象物１１を撮像してその画像を取り込むとともに、こ
れを蓄積する。また、画像出力期間においては、画像取
込期間において取り込まれ且つ蓄積された画像を画像処
理手段１０側に出力する。尚、この画像取込と画像出力
とは１８枚の画像毎に順次連続して行なわれる。そし
て、この画像取込と画像出力のタイミングは後述のコン
トローラ６によって制御されるようになっている。

【００２４】上記照射手段２は、照明としてのフラッシ
ュ光源３とスリット光のパターン形成部材としての液晶
シャッター４とを備えて構成されている。上記フラッシ
ュ光源３は、図２の(ホ)及び(ヘ)に示すように、点灯に
先立って電荷蓄積を行うことが必要であり、また、点灯
も上記画像入力手段１の画像取込期間内において実行す
る必要があり、この実施例においては後述のようにこの
フラッシュ光源３の点灯タイミングと電荷蓄積タイミン
グを画像入力手段１の作動形態に対応して同期作動させ
るようにしている。また、液晶シャッター４は、透明ス
トライブ電極と一様電極を対向させてスタチック駆動す
ることで任意のスリットパターンを瞬時に生成できるも
のであり、そのパターン切替を短時間のうちに完了させ
ることができるものである。尚、この照射手段２におい
ても、１８枚の画像取込時毎に、フラッシュ光源３は電
荷蓄積と点灯を、また液晶シャッター４はパターン切替
を、それぞれ実行するものであり、これらの作動タイミ
ングは後述のコントローラ７とコントローラ８によって
それぞれ制御される。また、液晶シャッター４は、最初
の画像取込時にシャッター開とされた後、１８枚の画像
取込が完了するまで開状態を持続し、全ての画像取込が
完了した時点でシャッター閉とされる(図２の(ハ)参
照)。

【００２５】上記作動制御手段５は、上記画像入力手段
１の作動制御を行うコントローラ（第１のコントロー
ラ）６と、上記フラッシュ光源３の作動制御を行うコン
トローラ（第２のコントローラ）７と、上記液晶シャッ
ター４の作動制御を行うコントローラ（第３のコントロ
ーラ）８と、これら各コントローラ６,７,８を統括して
同期制御せしめる統括制御部９とから構成されている。
以下、この作動制御手段５による上記画像入力手段１及
び上記照射手段２のフラッシュ光源３と液晶シャッター
４の作動タイミングの同期制御を図２のタイミングチャ
ートを参照して説明する。

【００２６】先ず、画像入力手段１は、図２の(イ)及び
(ロ)に示すように、一画像毎に画像取込期間と画像出力
期間とを有し、これら画像取込期間と画像出力期間とが
各画像毎に順次繰り返されるようになっている。そし
て、この画像取込期間と画像出力期間とは、画像取込期
間の終点が画像出力期間の起点となるように設定されて
いるとともに、最初の画像取込期間の開始時点は形状検
出開始信号(図２の(ト)参照)の出力時点から所定時間
(フラッシュ光源３の電荷蓄積期間を考慮して設定され
る)後に設定されている。また、この画像取込期間内に
おいては、実際の画像取込(撮像)とその取込画像の蓄積
とが行なわれるが、この画像取込が完了した場合にはコ
ントローラ６から統括制御部９に画像取込期間完了信号
が出力されるようになっている。さらに、この画像取込
完了信号に基づき、上記統括制御部９は、コントローラ
７に電荷蓄積の開始信号を出力する。

【００２７】次に、液晶シャッター４であるが、この液
晶シャッター４は、上記形状検出開始信号の出力後、シ
ャッターを開くとともに、最初のパターン切替(最初の
投影パターンの設定)を行うが、二回目以降のパターン
切替は上記画像入力手段１における画像取込完了時点か
ら画像出力期間の終点までの間に行えば良く、特にこの
実施例ではこのパターン切替を画像出力期間に同期させ
るとともにそのパターン切替起点をコントローラ６から
の画像取込完了信号の入力時点に設定している(図２の
(ニ)参照)。

【００２８】尚、最初のパターン切替の開始時点は、少
なくとも形状検出開始信号の出力時点から画像取込期間
の起点までの間にパターン切替が完了するように設定す
れば良い。また、シャッターは最後の画像取込が完了す
るまで開保持され、これが完了した時点で閉じられる
(図２の(ハ)参照)。

【００２９】一方、フラッシュ光源３であるが、このフ
ラッシュ光源３には、上述のように対象物１１へのスリ
ット光の投影を行う点灯動作と、この点灯に備えての電
荷蓄積動作とがある。そして、この実施例においてはこ
れらの作動タイミングを次のように設定している。即
ち、点灯タイミングについては、これを各画像取込期間
内にそれぞれ設定している。また、電荷蓄積について
は、最初の点灯に備えての電荷蓄積はこれを形状検出開
始信号の入力時点から最初の点灯時点までの間に設定
し、二回目以降の電荷蓄積はこれを点灯完了後(即ち、
画像取込完了信号を受けた時点)から次回の点灯開始時
点までの間に設定している。

【００３０】尚、形状検出開始信号は、例えば、オペレ
ータの手動入力により行なわれる。続いて、かかる作動
タイミングに設定された画像入力手段１とフラッシュ光
源３と液晶シャッター４とを使用しての形状検出操作を
説明すると、先ず、形状検出開始信号が入力されると、
これを受けてフラッシュ光源３の電荷蓄積が開始される
とともに、これに引き続いて液晶シャッター４のシャッ
ターが開かれ且つパターン切替(即ち、最初の投影パタ
ーンの設定)が実行される。

【００３１】そして、このフラッシュ光源３の電荷蓄積
は、画像取込期間内の点灯時期まで継続され、十分な電
荷が蓄積される。また、液晶シャッター４のパターン切
替は画像取込期間の起点以前に完了する。従って、画像
取込期間に移行し且つ点灯タイミングに達すると、その
時点で直ちに(即ち、何等待ち時間を要することなく)フ
ラッシュ光源３が点灯され、その光が液晶シャッター４
を通してスリット光として対象物１１上に投影されると
ともに、その反射光が画像入力手段１によって撮像さ
れ、その画像は画像出力期間まで蓄積された後、画像出
力期間への移行に伴って画像処理手段１０側に出力され
る。

【００３２】この最初の画像取込が完了すると(画像取
込完了信号が出力されると)、その時点からフラッシュ
光源３は次回の照射に備えて電荷蓄積を開始する。ま
た、液晶シャッター４は、画像出力期間への移行ととも
に(換言すれば、画像取込期間の終了とともに)パターン
切替を実行し、二回目のパターン投影に備える。従っ
て、二回目のフラッシュ光源３の点灯によるスリット光
の投影及び画像入力手段１による画像取込は、何等の待
ち時間を要することもなく所定タイミングで実行される
ことになる。

【００３３】このような画像取込を全てのパターンにつ
いて順次行い、その画像を画像処理手段１０において処
理することで上記対象物１１の形状及び位置が検出され
るものである。

【００３４】このように、この実施例の形状検出方法に
よれば、画像入力手段１の画像取込と画像出力と、フラ
ッシュ光源３の点灯と電荷蓄積、及び液晶シャッター４
のパターン切替とが同期して相互に所定のタイミング的
な連係をもって行なわれることで、各作業間に待ち時間
が生じることがなく、従って、画像処理時間が短縮化さ
れ、より迅速な形状検出が実現されるものである。

【図面の簡単な説明】

【図１】本願発明の実施例にかかる形状検出装置のシス
テム図である。

【図２】図１に示した形状検出装置における撮像時のタ
イミングチャート図である。

【符号の説明】

１は画像入力手段、２は照射手段、３はフラッシュ光
源、４は液晶シャッター、５は作動制御手段、６〜８は
コントローラ、９は統括制御部、１０は画像処理手段、
１１は対象物である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−293507（ＪＰ，Ａ) 特開 平４−55710（ＪＰ，Ａ) 特開 昭60−220808（ＪＰ，Ａ) 特開 平５−332737（ＪＰ，Ａ) 特開 平５−87607（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 7/60 G01B 11/00 - 11/30 G05B 19/4097

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 画像取込期間と画像出力期間とを有する
   画像入力手段と、フラッシュ光源からなる照明と各種パ
   ターンを形成可能な液晶シャッターとにより構成され且
   つ対象物に対して上記パターンを投影する照射手段とを
   有し、対象物からの反射光を用いて該対象物の形状及び
   位置を検出する形状検出方法であって、上記画像入力手段はコントローラによりその作動が制御
   され、 上記照射手段のフラッシュ光源は、上記画像入力手段の
   画像取込期間内で点灯するとともに、上記画像入力手段
   の画像取込期間内で且つ上記コントローラからの画像取
   込完了信号を受けて電荷蓄積を開始し、 上記照明手段の液晶シャッターは、上記画像入力手段の
   画像取込期間から画像出力期間に移行した時点でパター
   ン切替を開始することを特徴とする形状検出方法。
2. 【請求項２】 請求項１において、上記フラッシュ光源
   はコントローラによりその作動が制御され、上記画像入
   力手段は画像取込期間内で且つ上記コントローラから電
   荷蓄積完了信号を受けて画像取込を開始することを特徴
   とする形状検出方法。
3. 【請求項３】 請求項１において、上記画像入力手段と
   上記照射手段のフラッシュ光源と液晶シャッターはそれ
   ぞれコントローラによりその作動が制御されるととも
   に、該各コントローラは統括制御部により同期せしめら
   れることを特徴とする形状検出方法。
4. 【請求項４】 フラッシュ光源からなる照明と各種パタ
   ーンを形成可能な液晶シャッターとにより構成され且つ
   対象物に対して上記パターンを投影する照射手段と、画像取込期間と画像出力期間とを有し且つ 上記対象物か
   らの反射光を撮像して画像を生成する画像入力手段と、 上記画像入力手段により生成された画像を処理して上記
   対象物の三次元情報を求めてその形状及び位置を検出す
   る画像処理装置と、上記画像入力手段の画像取込と画像出力とを制御する第
   １のコントローラと、上記照射手段のフラッシュ光源の
   電荷蓄積と点灯とを制御する第２のコントローラと、上
   記照射手段の液晶シャッターのパターン切替を制御する
   第３のコントローラと、該各コントローラを同期させる
   統括制御部とで構成された 作動制御手段とを備え、 上記作動制御手段は、 上記画像入力手段の画像取込期間内で、上記フラッシュ
   光源を点灯させ且つ、上記画像入力手段の画像取込期間
   内で且つ上記第１のコントローラからの画像取込完了信
   号を受けて上記フラッシュ光源の電荷蓄積を開始させる
   とともに、 上記画像入力手段の画像取込期間から画像出力期間に移
   行した時点で上記液晶シャッターのパターン切替を開始
   させるように構成されている ことを特徴とする形状検出
   装置。