JP5213045B2

JP5213045B2 - 視覚センサ同期装置および視覚センサ同期方法

Info

Publication number: JP5213045B2
Application number: JP2008307855A
Authority: JP
Inventors: 慎吾鏡
Original assignee: Tohoku University NUC
Current assignee: Tohoku University NUC
Priority date: 2008-12-02
Filing date: 2008-12-02
Publication date: 2013-06-19
Anticipated expiration: 2028-12-02
Also published as: JP2010135926A

Description

本発明は、視覚センサのタイミング同期に関するものであり、例えばCCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたカメラ、及びそれらに画像処理装置を追加した視覚処理システムを複数用いる場合において、それらの相互間で撮像のタイミングを合わせるために好適な視覚センサ同期装置および視覚センサ同期方法に関する。

物体や人物など、運動する対象を非接触で観測する際に、CCDイメージセンサやCMOSイメージセンサ等の撮像素子を用いたカメラ、及びそれらに画像処理装置を追加したものである視覚処理システムにより動画像を得ることが広く行われる。これらのシステムを総称して視覚センサと呼ぶ。動画像は一般に、適当な時間間隔で撮像される静止画の列であり、通常は一定時間間隔で撮像される。

図１１に示すように、対象に関して複数方向から観測を行いたい場合や、広域の情報の観測を行いたい場合などに、複数の視覚センサ５１を用いることが広く行われている。この際、各視覚センサ５１から得られた情報を統合して、元の撮影対象５０の位置や形状を正しく求めるためには、各視覚センサ５１の撮像タイミングが同期されていることが必要となる。これは、撮影対象５０の動きが高速な際に特に重要となる。

従来、視覚センサ間の撮像タイミングを同期するためには、専用の電気配線を使用してタイミング信号を送受信することで行うことが一般的である。また近年は、コンピュータネットワークの普及に伴って、ネットワーク上で特殊な通信を行うことで各視覚センサの内蔵時計を相互に同期し、それにより撮像タイミングの同期を行う手法も知られている（例えば、非特許文献１参照）。

一方、自発光する物体を撮影対象５０とする場合以外は、視覚センサ５１による撮像には、図１１に示すように、常に照明光源５２が必要となるが、この照明光源５２に強度変調を加え、視覚センサ５１側に特殊な技術を導入することで、照明光源５２の強度変調の基準時間系と視覚センサ５１の撮像の基準時間系との間の相対的なずれを検出する手法が知られている（例えば、非特許文献２、３または４参照）。

G. Litoset al., "Synchronous Image Acquisition based on Network Synchronization",Proceedings of Computer Vision and Pattern Recognition Workshop, 2006, p.167-172 S. Andoand A. Kimachi, "Conrrelation Image Sensor: Two-Dimensional Matched Detectionof Amplitude-Modulated Light", IEEE Transactions on Electron Devices, 2003, 50,(10), p.2059-2066 J. Ohtaet al., "An Image Sensor with an In-Pixel Demodulation Function for Detectingthe Intensity of a Modulated Light Signal", IEEE Transactions on ElectronDevices, 2003, 50, (1), p.166-172 B.Buxbaum et al., "PMD-PLL: receiver structure for incoherent communication andranging systems", Proceedings of the SPIE, 1999, 3850, p.116-127

視覚センサの撮像タイミング同期を実現するためには、専用の配線または非特許文献１に記載のように通信ネットワークを介して時刻情報を送受信する必要があり、その敷設には手間がかかり、視覚センサの配置等にも制限が生じるという課題があった。無線通信ネットワーク上で時刻同期プロトコルに基づく通信を行うことは可能と考えられるが、遅延変動が無視できない状況では同期精度に限界があるという課題があった。

これらとは別の手段として、Global Positioning System (GPS) による時刻情報の受信、光学ビーコンの受信、専用無線通信帯域でのビーコン受信などにより、同期を行うことも可能と考えられるが、各方法のためにはそれぞれGPS受信機、光検出器、無線受信機などの専用機器を、撮像素子とは別に備える必要があり、コスト増を招くという課題があった。

一方、非特許文献２、３および４に記載のような技術を用いれば、照明光の強度変調タイミングを基準として、そこからの相対的なずれを視覚センサ自身が光学像から得ることが可能であり、撮像タイミング同期に応用することが可能と考えられるが、いずれの技術も視覚センサの画素内に特殊な回路を埋め込むことが必要であり、通常のCCDイメージセンサやCMOSイメージセンサを用いたシステムには適用できないという課題があった。

本発明は、このような課題に鑑み創案されたもので、専用の配線や通信ネットワークを用いることなく、また同期信号受信のための特殊な受信機を装備することなく、また特殊な画素回路を要することなく、照明光の変調タイミングを基準として視覚センサの撮像タイミングを同期させることができる視覚センサ同期装置および視覚センサ同期方法を提供することを目的とする。

上記目的を達成するため、本発明に係る視覚センサ同期装置は、強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子と、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子との動作の時刻ずれに係る情報を得て、この得られた情報に基づくフレーム時間のフィードバック制御によって前記時刻ずれを最小化する演算制御手段とを備え、前記演算制御手段は、前記照明装置と前記撮像素子との動作の時刻ずれに係る情報として、フレームによって１もしくは−１、または、１、０もしくは−１を取る第１の時間関数と、各フレームの画像から計算される特徴量で構成される第２の時間関数との間の時間相関を計算し、前記フィードバック制御により、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする。

本発明に係る視覚センサ同期装置で、前記照明装置はデューティ比1:1の矩形波で強度変調され、前記撮像素子は基本フレーム時間を前記照明装置の変調周期の2分の1とされており、前記演算制御手段は、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることが好ましい。また、本発明に係る視覚センサ同期装置で、前記照明装置はデューティ比1:1の矩形波で強度変調され、前記撮像素子は基本フレーム時間を前記照明装置の変調周期の4分の1とされており、前記演算制御手段は、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって 1，0，または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化してもよい。

本発明に係る視覚センサ同期方法は、強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有し、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子の動作の時刻ずれに係る情報として、フレームによって１もしくは−１、または、１、０もしくは−１を取る第１の時間関数と、各フレームの画像から計算される特徴量で構成される第２の時間関数との間の時間相関を計算し、この得られた情報に基づくフレーム時間のフィードバック制御によって、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする。

本発明に係る視覚センサ同期方法は、前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることが好ましい。また、本発明に係る視覚センサ同期方法は、前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を前記照明装置の変調周期の4分の1とし、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって
1，0，または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化してもよい。

本発明に係る視覚センサ同期装置および視覚センサ同期方法は、強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有している。撮像素子が各フレームの画像を獲得するごとに、その画像から特徴量を計算し、その特徴量に基づいて照明装置と撮像素子との動作の時刻ずれに係る情報を得ることが好ましい。この情報に基づいて時刻ずれを最小化するように、フレーム時間をフィードバック制御を行うことで、視覚センサの同期を行う。

照明装置と撮像素子との動作の時刻ずれに係る情報を得るために、フレームごとに定められた値を取る第１の時間関数と、各フレームの画像から計算される特徴量で構成される第２の時間関数との間の時間相関を計算する。照明装置と撮像素子との動作の時刻ずれに係る情報が得られれば、時刻ずれを最小化するようなフィードバック制御は、位相同期ループ (PLL) 理論に基づいて実行できる。

特に、照明装置をデューティ比1:1の矩形波で強度変調し、撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る時間関数としてフレームによって値1または-1を取るものを用いると、前記時間相関を各フレームの画像から計算される特徴量の累積加減算と、その結果への低域通過フィルタの適用とによって得ることができる。基本フレーム時間を基準として、前記時間相関の値の定数倍だけフレーム時間を増加（相関値が負の場合は減少）させることで、同期が実現される。

ここで、フレーム時間を増加または減少させる量、すなわちゲインを適切に設定する必要があるが、適切なゲインの範囲は撮像素子が実効的に受光する変調照明光の振幅に依存する。この依存性を考慮せずに動作させることで同期が不安定になるのを回避するため、照明装置をデューティ比1:1の矩形波で強度変調し、撮像素子の基本フレーム時間を照明の変調周期の4分の1とし、各フレームの画像から計算される特徴量で構成される第２の時間関数と、フレームごとに定められた値を取る第１の時間関数との間の時間相関を計算するとともに、各フレームの画像から計算される特徴量で構成される第２の時間関数の振幅に比例する量を計算する。前記振幅に比例する量で正規化された前記時間相関から、照明装置と撮像素子との動作の時刻ずれに係る情報が得られれば、時刻ずれを最小化するようなフィードバック制御が実行できる。

本発明により、専用の配線や通信ネットワークを用いることなく、また同期信号受信のための特殊な受信機を装備することなく、また特殊な画素回路を要することなく、視覚センサの撮像タイミングを、照明光の変調タイミングを基準として同期させることを可能とする視覚センサ同期装置および視覚センサ同期方法が得られる。

以下，本発明の実施の形態について、図面を参照しながら説明する。
本発明の実施の形態の視覚センサ同期装置の基本的構成を図１に示す。
図１に示すように、視覚センサ同期装置は、変調照明装置１１と光学系１２と撮像素子１３と演算制御回路１４からなる。

変調照明装置１１は、LED (light emitting device) 等の発光体１１１と、その発光制御回路１１２からなる。変調照明装置１１から発せられた強度変調光は、直接に、または物体等で反射することにより間接に、光学系１２を通して撮像素子１３上に照射され、電気信号に変換される。演算制御回路１４は、この電気信号を読み取り、適当な演算を加えた後、その演算結果に基づいて撮像素子１３のフレーム時間を制御する。撮像素子１３は、複数の画素１３１を有する。

演算制御回路１４は、演算制御手段を成し、以下で述べる演算及び制御を実行できる専用の回路でもよいし、マイクロプロセッサ上のソフトウェアとして実現するのでもよい。撮像素子１３は、フレーム時間を制御できるものを選択して使用する必要があるが、撮像素子１３に内蔵された制御回路へ指示を与えることで行ってもよく、外部から与えるシャッタートリガ信号を制御することで行ってもよい。

本実施形態の原理を説明するための準備として、PLL理論の基礎的事項を述べる。本実施形態は、PLLのうち、入出力信号が離散的な値のみを取るディジタルPLL (DPLL) に基づく。DPLLの基本構成を図２に示す。図２に示すように、同期の基準となる参照信号を f(t) とし、f(t) に同期される出力信号を g(t) とする。図３に示すように、f(t) および g(t) は、いずれも値1と-1を交互に繰り返すデューティ比1:1 の矩形関数である。図２に示すように、位相検出器２１は、f(t)とg(t)との積f(t)g(t)を計算する。低域通過フィルタ２２は、この積を時間平均した値q(φ)を出力する。この出力q(φ)は、f(t)とg(t)との時間相関であり、f(t)とg(t)との位相差φに依存する値となる。f(t)とg(t)との位相差によって時間相関値q(φ)がどのように変化するかを、図４に示す。

図２に示すように、電圧制御発振器２３は、出力信号g(t)を出力する発振器であり、その発振周期は、低域通過フィルタ２２が出力する時間相関値qに応じて変化する。発振周期は、時間相関値qが0のときはあらかじめ定められた基本発振周期で動作し、時間相関値qが0より大きくなるに従って長く、0より小さくなるに従って短くなる。

図４に示すように、この時間相関値qが正のときは、フレーム時間が長くなることでg(t)の位相が相対的に遅れる方向に変化する。逆に負のときは、g(t)の位相は相対的に進む方向に変化する。このようなフィードバックの効果により、時間相関値qの変化分に応じて発振周期を変化させる際のゲインを適切に選ぶことで、f(t)とg(t)との位相差がπ/2となる平衡点で、このシステムの動作は収束する。なお、位相差が3π/2の点も平衡点であるが、この平衡点は不安定であり、外乱等の存在する現実の状況下でこの動作点に留まることはない。

本実施形態では、照明装置１１から発せられ、撮像素子１３上に照射される光が参照信号f(t)に対応する。撮像素子１３内の各画素１３１に照射される光強度は、通常一様ではないが、以下では、まずは議論を簡単化するため、特に断らない限り、各画素１３１に照射される光強度は一様であるとする。従って以下では、撮像素子１３に照射された光強度、各画素１３１に照射された光強度、画素１３１に照射された光強度の全画素にわたる総和のそれぞれを、f(t)と同一視することがある。

本実施形態の第１の態様では、出力信号g(t)は、撮像素子１３のフレームごとに定められた値を取る第１の時間関数に対応し、参照信号f(t)は、各フレームの画像から計算される特徴量で構成される第２の時間関数に対応している。低域通過フィルタ２２の出力であるf(t)とg(t)との時間相関q(φ)を以下のように表す。

ここで、Tは、時間平均を取る区間を表し、撮像素子のフレーム時間より十分に長いとする。

前述のDPLLの説明では、f(t)は1または-1の値を取るとした。しかし、強度変調光の強度は、負の値を取ることはできない。代わりに、図５に示すように、f(t)は0または1の値を取る矩形波とする。すなわち、f(t)は、1または-1の値を取る矩形波をf'(t) として f(t) = f’(t)/2 + 1/2 と表される。

f(t) = 1 は照明装置１１が点灯している場合に、f(t) = 0 は消灯している場合に対応させる。ここで、g(t) のデューティ比が1:1であることに注意すると、前述のDPLLは全く同様に動作する。なぜならば、以下が成り立つからである。

図５に示すように、出力関数g(t)として、奇数フレームの間はg(t) = 1、偶数フレームの間はg(t) = -1を取るものを考える。

演算制御回路１４は、［数１］式の時間相関値を用いて撮像素子１３の動作を制御する。しかし、ここでの被積分関数f(t)g(t)を直接得ることはできない。なぜならば、撮像素子１３の各画素１３１が出力する輝度値は、照射された光強度、すなわちf(t)の1フレーム時間にわたる積分であり、任意の瞬間におけるf(t)の値ではないからである。一方、g(t)が各フレーム期間内においては固定値を取ることに注意すると、［数１］式の積分値は以下のように得ることができる。

ここで、iは撮像素子１３の各フレームに時間順に与えられた連番であり、F[i]はフレームiにおいて各画素１３１が得た輝度値を、全画素について総和したものである。［数３］式の総和は、時間平均を取る区間Tに相当するフレーム数にわたって計算するものとする。なお、この時間平均操作を直接実行する代わりに、再帰型低域通過フィルタとして実装してもよく、その他のより高度な低域通過フィルタを用いてもよい。

演算制御回路１４は、この時間相関値qに基づいて撮像素子１３のフレーム時間を制御する。ここで、g(t)の中心周波数がf(t)の周波数とほぼ同一となるようにする。すなわち、時間相関値qが0のときにフレーム時間が照明変調周期の1/2になるようにし、時間相関値qが大きくなるに従ってフレーム時間を長く、小さくなるに従ってフレーム時間を短くする。時間相関値qの変化に応じてフレーム時間を変化させる際のゲインを適切な値に設定することで、撮像素子１３の撮像タイミングは、f(t)とg(t)との周期が同一であり、位相差がπ/2である点に収束する。すなわち、フレーム時間が照明変調周期の1/2であり、各フレームの中心時刻が照明の点灯・消灯切り替わり時刻と一致する点に収束する。

さて、これまでは、撮像素子の各画素１３１に照射される光強度は一様であり、照明装置１１からの変調照明光そのものと同一視できるとして説明してきた。このことの妥当性を、より実際的な状況を鑑みて議論する。

一般に、照明装置１１を含むさまざまな光源から発せられた光は、視覚センサの視野内の物体表面で反射され、その反射光が光学系１２を通して撮像素子１３に照射される。撮像素子１３の各画素１３１が得る輝度値の全画素にわたる総和は、照明装置１１を起源とする成分と、その他の光源を起源とする成分の和として表される。ここで、前者は照明装置１１の発光体１１１の輝度に比例し、後者は発光体１１１の輝度に依存しないとみなせる。いま、視野内の物体表面の反射率分布が隣接フレーム間で大きくは変化しないと仮定すると、その他の光源を起源とする成分は、奇数フレームの分と偶数フレームの分とが相殺され、時間相関値qへ寄与しない。

以上の議論をまとめると、時間相関値qへ寄与するのは、各画素１３１が得る輝度値のうち照明装置１１を起源とする成分のみであり、またその成分の全画素にわたる総和は発光体１１１の輝度に比例する。よって、これまで説明してきたように、各画素１３１が得る輝度値の総和を、参照信号f(t)と同一視して差し支えない。

ところで、視野内の物体表面の反射率分布が隣接フレーム間で大きく変化する場合は、前述の議論は妥当ではない。f(t)の周波数が十分に高い、すなわち高フレームレートで撮影を行う高速度撮影の条件では、このような状況は生じにくい。また、十分に高フレームレートでない場合でも、視野のうちから反射率の変化の激しい領域を除いた他の画素にわたって輝度値の総和を取ることで、このような状況を回避することもできる。このように、適当な画素を選択し、あるいは重みづけを行った上で、各画素の輝度値の総和を計算したものを、画像から計算される特徴量と呼ぶ。

なお、これまでは撮像素子１３の各画素１３１は、照射される光強度をフレーム時間の全期間にわたって積分するとして議論してきた。これは、実際は常には成り立たず、機械的または電子的シャッタにより、フレーム時間のうち一部の期間にわたって照射される光強度が積分される場合もある。この場合のf(t)とg(t)との関係を、図６に示す。図４に示したf(t)とg(t)との位相差φによる時間相関値q(φ)の変化が、この場合にどのようになるかを、図７に示す。ここで、位相差φは、g(t) = 1 であるフレーム期間の中心時刻が、f(t) = 1 である期間の中心時刻に一致する場合を位相差0とし、これらがf(t)の１周期分だけずれている場合を位相差2πとして表した。図７に示すように、この場合も、f(t)とg(t)との位相差φがπ/2となる点のみが安定平衡点であり、同様に動作することがわかる。従って、フレーム時間のうち一部の期間でのみ積分動作がなされる場合でも、動作には差し支えがない。

さて、これまでの議論で、時間相関値qの変化に応じてフレーム時間を変化させる際のゲインを適切な値に設定する必要があることを述べた。ここで、適切なゲインの範囲は、撮像素子１３へ照射される光のうち、照明装置１１を起源とする変調照明成分の振幅に依存することに注意が必要である。f(t)とg(t)との位相差が同じ場合でも、振幅が大きいときは、フレーム時間に比較的大きな変化分が生じ、動作を不安定にしてしまう恐れがある。これを避けるためには、振幅の大きさの効果を打ち消すように、ゲインを小さく取る必要がある。

ところが、撮像素子１３へ照射される変調照明成分の振幅は、視野内の反射率分布や照明装置１１の配置などにも依存するため、事前に見積もるのは難しく、また時間とともに変化し得る。そのような場合は、ゲインの事前設定が困難であり、従って安定動作をさせることが困難となる。これが問題となる場合に対応するためには、変調振幅をオンラインで推定し、その値によってゲインを正規化する手段が必要である。

この正規化を実現する本実施形態の第２の態様では、照明装置１１をデューティ比1:1 の矩形波で強度変調し、撮像素子１３の基本フレーム時間を照明装置１１の変調周期の4分の1 とする。撮像素子１３のフレームごとに定められた値を取る第１の時間関数として、図８に示すように、各フレームに時間順に与えられた連番を４で除した際の剰余が0のフレームではg₁(t) = 1、2のフレームではg₁(t) = -1、1または3のフレームではg₁(t) = 0 となる関数g₁(t)と、同じく連番を４で除した際の剰余が1のフレームではg₂(t) = 1、3のフレームではg₂(t) = -1、0または2のフレームではg₂(t) = 0となる関数g₂(t)の2つを考える。

これらg₁(t)およびg₂(t)のそれぞれについて、本実施形態の第１の態様と同様に、f(t)との時間相関を計算する。f(t)とg₁(t)との時間相関をq₁(φ)、f(t)とg₂(t)との時間相関をq₂(φ)と表す。いま撮像素子１３のフレーム時間の全期間にわたって光強度が積分されるとしたとき、f(t)とg₁(t)との位相差φに応じて、q₁(φ)とq₂(φ)とがそれぞれどのように変化するかを、図９に示す。ここで、位相差φは、g₁(t) = 1 であるフレーム期間の中心時刻が、f(t) = 1 である期間の中心時刻に一致する場合を位相差0とし、これらがf(t)の１周期分だけずれている場合を位相差2πとして表した。

図９に示すように、現在の位相差φの値によらず、max(|q₁(φ)|, |q₂(φ)|) により、変調照明成分の振幅を見積もることができることがわかる。よって、本実施形態の第１の態様と同様に、q₁の値によりフレーム時間を変化させ、この際のゲインを前述の通り見積もられた振幅で正規化し、安定動作をさせることが可能となる。この正規化項には、必要に応じて時間平滑化などの後処理を施してもよい。

以上で述べた本実施形態の第２の態様は、撮像素子１３のフレーム時間の一部の期間でのみ光強度が積分される場合でも同様に動作する。この場合のq₁(φ)およびq₂(φ)の変化の例を、図１０に示す。図１０に示すように、依然として位相差φがπ/2となる点が安定平衡点であり、また、変調照明成分の振幅を同様に見積もることができることがわかる。

本発明の実施の形態の視覚センサ同期装置を示す構成図である。ディジタル位相同期ループ（ＤＰＬＬ）の基本構成を示すブロック図である。図２に示すディジタル位相同期ループの参照信号f(t)と出力信号g(t)とを示すグラフである。図２に示すディジタル位相同期ループの参照信号f(t)・出力信号g(t)間の時間相関値q(φ)を示すグラフである。図１に示す視覚センサ同期装置の変調照明装置の参照信号f(t)と出力信号g(t)とを示すグラフである。図１に示す視覚センサ同期装置のフレーム時間の一部の期間でのみ積分動作が行われる場合の参照信号f(t)と出力信号g(t)とを示すグラフである。図６に示す視覚センサ同期装置の参照信号f(t)・出力信号g(t)間の時間相関値q(φ)を示すグラフである。図１に示す視覚センサ同期装置のゲインの正規化を考慮する場合の参照信号f(t)と出力信号g₁(t)と出力信号g₂(t)とを示すグラフである。図８に示す視覚センサ同期装置の参照信号f(t)・出力信号g₁(t)間の時間相関値q₁(φ)と、参照信号f(t)・出力信号g₂(t)間の時間相関値q₂(φ)とを示すグラフである。図１に示す視覚センサ同期装置のゲインの正規化を考慮する場合で、フレーム時間の一部の期間でのみ積分動作が行われる場合の参照信号f(t)・出力信号g₁(t)間の時間相関値q₁(φ)と、参照信号f(t)・出力信号g₂(t)間の時間相関値q₂(φ)とを示すグラフである。従来の視覚センサの同期システムを示す構成図である。

符号の説明

１１照明装置
１１１発光体
１１２発行制御回路
１２光学系
１３撮像素子
１３１画素
１４演算制御回路
２１位相検出器
２２低域通過フィルタ
２３電圧制御発振器

Claims

強度変調の施された照明装置と、
フレーム時間を制御し得る撮像素子と、
前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子との動作の時刻ずれに係る情報を得て、この得られた情報に基づくフレーム時間のフィードバック制御によって前記時刻ずれを最小化する演算制御手段とを備え、
前記演算制御手段は、前記照明装置と前記撮像素子との動作の時刻ずれに係る情報として、フレームによって１もしくは−１、または、１、０もしくは−１を取る第１の時間関数と、各フレームの画像から計算される特徴量で構成される第２の時間関数との間の時間相関を計算し、前記フィードバック制御により、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、
特徴とする視覚センサ同期装置。
前記照明装置はデューティ比1:1の矩形波で強度変調され、
前記撮像素子は基本フレーム時間を前記照明装置の変調周期の2分の1とされており、
前記演算制御手段は、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることを、
特徴とする請求項１記載の視覚センサ同期装置。
前記照明装置はデューティ比1:1の矩形波で強度変調され、
前記撮像素子は基本フレーム時間を前記照明装置の変調周期の4分の1とされており、
前記演算制御手段は、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって 1，0，または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化することを、
特徴とする請求項１記載の視覚センサ同期装置。
強度変調の施された照明装置と、フレーム時間を制御し得る撮像素子とを有し、前記撮像素子が獲得した画像の後処理によって前記照明装置と前記撮像素子の動作の時刻ずれに係る情報として、フレームによって１もしくは−１、または、１、０もしくは−１を取る第１の時間関数と、各フレームの画像から計算される特徴量で構成される第２の時間関数との間の時間相関を計算し、この得られた情報に基づくフレーム時間のフィードバック制御によって、前記時間相関の値が正のとき、前記時間相関の値が大きくなるに従って前記撮像素子のフレーム時間を長くし、前記時間相関の値が負のとき、前記時間相関の値が小さくなるに従って前記撮像素子のフレーム時間を短くすることにより、前記時刻ずれを最小化することを、特徴とする視覚センサ同期方法。
前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を照明の変調周期の2分の1とし、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって1または-1を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得ることを、特徴とする請求項４記載の視覚センサ同期方法。
前記照明装置をデューティ比1:1の矩形波で強度変調し、前記撮像素子の基本フレーム時間を前記照明装置の変調周期の4分の1とし、フレームごとに定められた値を取る前記第１の時間関数として、フレームによって
1，0，または -1 を取る関数を用いることにより、各フレームの画像から計算される前記特徴量をフレームごとに累積加減算して前記時間相関を計算し、その結果を低域通過フィルタに通すことで前記時刻ずれに係る情報を得るとともに、変調振幅の大きさを得て、その変調振幅の大きさにより前記時刻ずれに係る情報を正規化することを、特徴とする請求項４記載の視覚センサ同期方法。