JP6944196B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、特に、移動体を撮像し、画素ずれを補正する撮像装置の技術に関する。

近年、画像を取得して、その取得した画像を補正する画像処理装置が開発されている。例えば、画像処理装置によっては、ラインセンサを備えており、そのラインセンサを用いて画像を取得する。

その際、画像処理装置は、ラインセンサで取得した画像に画素ずれや色ずれ等を生じることがある。そこで、例えば、その取得した画像を所定の条件によって補正する画像処理装置が提案されている（特許文献１参照）。

また、ラインセンサが移動体に載置され、その移動体が移動するとともに、ライセンサによって被検査物を撮影する装置も開示されている。この装置は、ラインセンサで撮像した撮像データから、被検査物の異常個所の有無を判断する画像処理装置を構成している（特許文献２参照）。

特開２００９−１８９０１２号公報 特開２０１０−２２３７５３号公報

例えば、撮像装置や画像処理装置により画像を取得する場合、一般的には、ある撮像時点において、同時に、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の３色により画像を撮像する。そして、撮像装置や画像処理装置は、その同時に撮像された、赤（Ｒ）、緑色（Ｇ）、青色（Ｂ）の画像のずれを補正する。

ここで、従来の画像処理装置や撮像装置では、撮像時のタイミングが異なる場合には、その撮像された撮像画像のずれを補正することは行われていなかった。そのため、画像処理装置や撮像装置では、ある撮像時点において同時に、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）を撮像した場合のみ撮像画像を補正することができ、撮像時のタイミングが異なる場合には、画像のずれを補正することができなかった。

そこで、本発明は、このような課題に鑑みてなされたものであり、撮像時のタイミングに関わらず、撮像された画素のずれを算出して、高精細な撮像画像を生成することができる、撮像装置を提供することを主目的とする。

本発明者は、上述の目的を解決するために鋭意研究を行った結果、撮像される画素のずれを算出して、高精細な撮像画像を生成することに成功し、本発明を完成するに至った。

すなわち、本発明では、移動体の速度に関する速度情報を取得するセンサと、
前記センサから前記速度情報を取得して、前記移動体を撮像する開始時間を示すトリガ信号を生成するトリガ信号生成部と、
前記トリガ信号生成部によって生成された前記トリガ信号に基づいて、前記移動体を２以上のラインセンサのそれぞれのラインセンサにより撮像する撮像部と、
前記トリガ信号生成部によって生成された前記トリガ信号が立ち上がる時間から、前記２以上のラインセンサのそれぞれのラインセンサが、前記移動体を撮像開始するまでの時間、及び前記２以上のラインセンサのそれぞれのラインセンサが前記移動体の移動方向に沿って配置され１又は２以上の前記ラインセンサ間の距離の少なくともいずれかを算出する算出部と、
前記算出部によって算出された、前記２以上のラインセンサのそれぞれのラインセンサが前記移動体を撮像開始するまでの時間、及び前記１のラインセンサ間の距離又は前記２以上のラインセンサ間のそれぞれの距離に基づいて、前記２以上のラインセンサのそれぞれのラインセンサによって撮像された前記移動体の撮像画素が一致するように補正する画素補正部と、を備える、撮像装置を提供する。

本発明によれば、撮像時のタイミングに関わらず、撮像される画素のずれを算出して、高精細な撮像画像を生成することができる。なお、本発明の効果は、必ずしも上記の効果に限定されるものではなく、本発明に記載されたいずれかの効果であってもよい。

本発明に係る第１の実施形態の撮像装置のハードウェアブロック図である。 本発明に係る第１の実施形態の撮像装置の機能ブロック図である。 本発明を適用した第１の実施形態の処理回路において、画素補正部が補正する時間的な画素のずれを算出する説明図である。 本発明に係る第１の実施形態の処理回路において、画素補正部が補正する空間的な画素のずれ量を算出する説明図である。 本発明に係る第１の実施形態の撮像装置の動作を示すフローチャートである。 本発明に係る第１の実施形態の撮像装置が移動体を撮像している状態を示す説明図である。 本発明に係る第１の実施形態の撮像装置のラインセンサが、移動体を撮像したときの撮像画素を示す説明図である。 本発明に係る第１の実施形態の撮像装置の画素補正部が、撮像された移動体の撮像画素が一致するように補正する一例を示した説明図である。 本発明に係る第１の実施形態の撮像装置のディスプレイが表示する、移動体の撮像画素を補正した撮像画像を示した説明図である。 本発明に係る第１の実施形態の撮像装置のディスプレイが表示する、移動体の撮像画素を補正しなかった場合の撮像画像を示した説明図である。 本発明に係る第２の実施形態の撮像装置の機能ブロック図である。

以下、本発明を実施するための好適な形態について図面を参照しながら説明する。なお、以下に説明する実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。

＜１．第１の実施形態（撮像装置の例１）＞
図１に、本発明に係る第１の実施形態の撮像装置１００のハードウェアブロック図を示す。図１は、本発明に係る第１の実施形態の撮像装置１００のハードウェアブロック図である。

［構成］
第１の実施形態の撮像装置１００は、センサ１０、撮像部２０、処理回路３０、記憶回路４０、入力回路５０、ディスプレイ６０、画像記憶回路７０及び内部バス８０を備えて構成されている。

センサ１０は、移動体の速度に関する速度情報を取得する機能を有している。ここで、移動体とは、例えば、生産工場や組立工場に設けられているベルトコンベアに載置された物体をいう。このような物体は、ベルトコンベアで搬送されることにより、移動体として扱うことができる。センサ１０は、例えば、ロータリーエンコーダで構成することができる。センサ１０をロータリーエンコーダで構成した場合、センサ１０は、速度情報として、移動体が搬送される速度に関する情報を取得する。なお、センサ１０は、速度情報を取得することができればよく、例えば、ドップラー効果を利用したスピードガンによって速度情報を取得してもよい。また、図１では、センサ１０は、撮像装置１００の内部に設けられているが、第１の実施形態の一例であり、例えば、撮像装置１００の外部に設けられていても良い。

撮像部２０は、移動体を撮像する撮像部である。撮像部２０は、光電変換することにより、画像情報を１次元的に読み取り、アナログ信号に変換して時系列で出力する固体撮像デバイスである。撮像部２０は、２以上のラインセンサで構成することができ、例えば、ＣＣＤ（Charge Coupled Device)ラインセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）ラインセンサによって構成される。なお、２以上のラインセンサには、同一の色フィルタを有する複数のラインセンサも含まれ、同一の色フィルタが複数設けられていてもよい。また、撮像部２０は、トライリニアセンサで構成することができる。

トライリニアセンサとは、ラインセンサが３列に並んでおり、そのラインセンサの列毎に、赤（Ｒ）、緑（Ｇ）、及び青（Ｇ）のうち何れかのフィルタを備えるセンサである。ここで、赤（Ｒ）のフィルタを有するラインセンサをラインセンサＲとし、緑（Ｇ）のフィルタを有するラインセンサをラインセンサＧとし、青（Ｇ）のフィルタを有するラインセンサをラインセンサＢとする。撮像部２０は、ラインセンサを、例えば、二列、三列又は四列と、複数列配列することができ、列の数には限定されるものではない。なお、好ましくは、撮像部２０は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢの３色を有していることが望ましい。

撮像部２０は、トライリニアセンサに限定されるものではなく、例えば、ラインセンサとプリズムとでも適用可能である。この場合、フィルタの代わりにプリズムを適用することができ、撮像部２０は、入射光をプリズムで３色に分解して、それぞれで分解された光を２以上のラインセンサで検知する。また撮像部２０は、移動体を撮像するためのレンズも備えている。

処理回路３０は、プログラムをメモリ（記憶回路４０）から読み出し、実行することにより、プログラムに対応する機能を実現するプロセッサである。具体的には、処理回路３０（プロセッサ）は、読み出したプログラムを実行することによって、トリガ信号生成部３１、算出部３２及び画素補正部３３の機能を実現する。

図２に、処理回路３０がプログラムを実行することにより実現する各機能を、より詳細に示す。図２は、本発明に係る第１の実施形態の撮像装置１００の機能ブロック図である。

図２に示すように、処理回路３０は、トリガ信号生成部３１、算出部３２及び画素補正部３３を備えている。

トリガ信号生成部３１は、センサ１０から速度情報を取得して、移動体を撮像する開始時間を示すトリガ信号を生成する。

算出部３２は、トリガ信号生成部３１によって生成されたトリガ信号が立ち上がる時間から、２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサが、移動体を撮像開始するまでの時間、及び２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサが移動体の移動方向に沿って配置され１又は２以上のラインセンサ間の距離の少なくともいずれかを算出する。

画素補正部３３は、算出部３２によって算出された、２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサが移動体を撮像開始するまでの時間、及び１のラインセンサ間の距離又は２以上のラインセンサ間のそれぞれの距離に基づいて、２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサによって撮像された移動体の撮像画素が一致するように補正する。この場合、例えば、画素補正部３３は、ラインセンサＲとラインセンサＧとの間の距離と、ラインセンサＧとラインセンサＢとの間の距離とに基づいて、ラインセンサＲ、ラインセンサＧ及びラインセンサＢのそれぞれによって撮像された移動体の撮像画素が一致するように補正する。

ここで、画素補正部３３が行う補正について、詳細に説明する。図３に、画素補正部３３が補正する時間的な画素のずれを示す。図３は、第１の実施形態の処理回路３０の画素補正部３３が補正する時間的な画素のずれを示した説明図である。また、図４に、画素補正部３３が補正する空間的な画素のずれを示す。図４は、第１の実施形態の処理回路３０の画素補正部３３が補正する空間的な画素のずれを示した説明図である。

図３では、トリガ信号生成部３１によって生成されたトリガ信号と、センサ１０に設けられたラインセンサＲ、ラインセンサＧ及びラインセンサＢ（図４参照）が露光する露光期間を示すタイミング信号とを示している。

トリガ信号ＴＲＧは、トリガ信号生成部３１によって生成される。タイミング信号ＥＮＲは、ラインセンサＲの露光時間を示している。タイミング信号ＥＮＧは、ラインセンサＧの露光時間を示している。タイミング信号ＥＮＢは、ラインセンサＢの露光時間を示している。タイミング信号ＥＮＲ、タイミング信号ＥＮＢ、タイミング信号ＥＮＧは、いずれも“Ｈ”の期間、露光するようになっており、“Ｈ”の立ち上がりで露光を開始する。

タイミング信号ＥＮＲ、タイミング信号ＥＮＧ及びタイミング信号ＥＮＢは、トリガ信号生成部３１で生成されたトリガ信号ＴＲＧが撮像部２０に入力され、そのトリガ信号ＴＲＧに対し、露光開始時間がずれている。例えば、タイミング信号ＥＮＲは、トリガ信号ＴＲＧに対し、３Ｅ［ｓ］遅れている。また、タイミング信号ＥＮＧは、タイミング信号ＥＮＲに対し、Ｅ［ｓ］遅れている。また、タイミング信号ＥＮＢは、タイミング信号ＥＮＢに対し、Ｅ［ｓ］遅れている。

ここで、トリガ信号の１周期は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢ上で撮像画素が１ピクセル分移動する周期とする。また、ラインセンサＲ、ラインセンサＧ及びラインセンサＢ上の像の移動速度をｖ［ｍ／ｓ］、センサの１画素のサイズをｓ［ｍ］、ラインセンサＲとラインセンサＧの間、ラインセンサＧとラインセンサＲの間の間隔をｓ［ｍ］とする。

まず、ラインセンサＲの時間的なずれは、ラインセンサＧの露光開始時間を基準とすると、−Ｅｖ／ｓ［画素］となる。

また、ラインセンサＢの時間的なずれは、ラインセンサＧの露光開始時間を基準とすると、Ｅｖ／ｓ［画素］となる。

次に、図４では、センサ１０に設けられるラインセンサＲ、ラインセンサＧ及びラインセンサＢを示している。方向Ｓは、移動体が動く移動方向を示している。また、ラインセンサＲとラインセンサＧの中心間の距離と、ラインセンサＧとラインセンサＲの中心間の距離は、それぞれ２［画素］とする。

これにより、図３に示す時間的な画素ずれと、図４に示す空間的な画素ずれとを考慮すると、ラインセンサＧで撮像される撮像画素に対する、ラインセンサＲで撮像される撮像画素のずれは、（−Ｅｖ／ｓ−２）［画素］となる。

また、ラインセンサＧで撮像される撮像画素に対するラインセンサＢで撮像される撮像画素のずれは、（Ｅｖ／ｓ＋２）［画素］となる。

これにより、処理回路３０の画素補正部３３は、ラインセンサＲで撮像された撮像画素を、（−Ｅｖ／ｓ−２）画素分ずらし、ランセンサＧで撮像された撮像画素に合成する。同様に、処理回路３０の画素補正部３３は、ラインセンサＢで撮像された撮像画素を、（Ｅｖ／ｓ＋２）画素分ずらし、ランセンサＧで撮像された撮像画素に合成する。

このように、処理回路３０の画素補正部３３は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢで撮像された撮像画素のうち、ラインセンサＲとラインセンサＢで撮像された撮像画素を補正することにより、移動体の撮像画素が一致するように補正する。

なお、処理回路３０を構成するプロセッサという文言は、例えば、専用又は汎用のＣＰＵ（Central Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）などの回路を意味する。

プロセッサは、メモリに保存された、もしくはプロセッサの回路内に直接組み込まれたプログラムを読み出し、実行することで各機能を実現する。プロセッサが複数設けられ場合、プログラムを記憶するメモリは、プロセッサごとに個別に設けられるものであっても構わないし、或いは、図１の記憶回路４０が各プロセッサの機能に対応するプログラムを記憶するものであっても構わない。

入力回路５０は、操作者によって操作が可能な操作ボタン、キーボード、ポインティングデバイス（マウスなど）などの入力デバイスからの信号を入力する回路であり、ここでは入力デバイス自体も入力回路５０に含まれるものとする。この場合、操作に従った入力信号が、入力回路５０から処理回路３０に送られる。

ディスプレイ６０は、撮像部２０によって撮像された撮像画像を表示する機能を備える表示装置である。ディスプレイ６０は、図示しない画像合成回路、ＶＲＡＭ（Video Random Access Memory）および画面等を含んでいる。画像合成回路は、処理回路３０の画素補正部３３で補正された画像を合成する。ディスプレイ６０は、例えば、液晶ディスプレイで構成される。

記憶回路３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＨＤＤ（Hard Disk Drive）等を含む記憶装置により構成されている。記憶回路３０は、ＩＰＬ（Initial Program Loading）、ＢＩＯＳ（Basic Input／Output System）及びデータを記憶したり、処理回路３０のワークメモリとして使用されたり、または、データを一時的に記憶する場合に用いられる。ＨＤＤは、撮像装置１００にインストールされたプログラム（アプリケーションプログラムの他、ＯＳ（Operating System）等も含まれる。）やデータを記憶する記憶装置である。また、操作者に対するディスプレイ６０への情報の表示にグラフィックを多用し、基礎的な操作を入力回路５０によって行なうことができるＧＵＩ（Graphical User Interface）を、ＯＳに提供することもできる。

画像記憶回路７０は、例えば、処理回路３０の画素補正部３３で補正した撮像画素を記憶するようになっている。画像記憶回路７０は、例えば、ＲＡＭ、ＨＤＤ等を含む記憶回路によって構成される。

内部バス８０は、処理回路３０によって撮像装置１００が統括制御されるように、各構成要素に接続されている。内部バス２６０は、例えば、撮像装置１００内で、データや信号を伝達するための回路により構成される。

［動作］
次に、図５に示すフローチャートを用いて、第１の実施形態の撮像装置１００の動作について、詳しく説明する。

まず、撮像装置１００は、電源が投入されると起動する。撮像装置１００が起動すると、撮像装置１００のセンサ１０は、移動体の速度に関する速度情報を取得する（ステップＳ００１）。センサ１０は、ロータリーエンコーダで構成されており、移動体がベルトコンベアで搬送される速度に関する情報を取得する。

図６に、本発明に係る第１の実施形態の撮像装置が、移動体の速度に関する速度情報を取得する状態を示す。図６は、本発明に係る第１の実施形態の撮像装置が、移動体の速度に関する速度情報を取得する状態を示す説明図である。

図６に示すように、撮像装置１００のセンサ１０は、ベルトコンベアＢＣの回転軸に設けられ、ベルトコンベアＢＣの回転速度を取得する。

次に、撮像装置１００の処理回路３０のトリガ信号生成部３１は、センサ１０から回転速度を取得して、移動体Ｑを撮像する開始時間を示すトリガ信号を生成する（ステップＳ００３）。

ここで、撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢの１画素のサイズをｓ［ｍ］、撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢ上の像と撮像対象ＩＴの倍率をＮ、移動体Ｑの移動速度をＶ［ｍ／ｓ］、センサ１０のロータリーエンコーダ１周の間に撮像対象の動く距離をＲ［ｍ／ｒｏｕｎｄ］、センサ１０のロータリーエンコーダ１周に発生するパルス数をＰ［ｐｕｌｓｅ／ｒｅｖｏｌｕｔｉｏｎ］とする。

この場合、撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢ上での像の移動速度は、次式（１）で表される。

像の移動速度ｖ ＝ Ｖ／Ｎ［ｍ／ｓ］ ・・・（１）

移動体Ｑが１秒間に進む間のロータリーエンコーダの回転数は、Ｖ／Ｒ［ｒｏｕｎｄ］で表されるため、移動体Ｑが１秒間に進む間のロータリーエンコーダの出力パルス数は、次式（２）で表される。

出力パルス数 ＝ Ｐ×Ｖ／Ｒ［ｐｕｌｓｅ］ ・・・（２）
そして、ロータリーエンコーダの出力１パルスあたりに進む撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢ上での像の移動量は、次式（３）で表される。

ラインセンサ上での像の移動量 ＝ （（式１）／（式２））
＝（Ｖ／Ｎ）／（Ｐ×Ｖ／Ｒ）＝Ｒ／ＮＰ ［ｍ］ ・・・（３）

式（３）により、移動体Ｑの移動量が撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢの１画素のサイズと同じになれば、得られる画像は、アスペクト比が１の画像となる。

換言すれば、ラインセンサＲ、ラインセンサＧ及びラインセンサＢ上の像と撮像対象ＩＴの倍率Ｎを１とした場合、トリガ信号の周期は、撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢ上で像が１ピクセル分だけ移動することになる。

次に、撮像部２０は、トリガ信号生成部３１によって生成されたトリガ信号に基づいて、移動体ＱをラインセンサＲ、ラインセンサＧ及びラインセンサＢのそれぞれのラインセンサにより撮像する（ステップＳ００５）。

図７に、本発明に係る第１の実施形態の撮像装置１００のラインセンサＲ、ラインセンサＧ及びラインセンサＢが、トリガ信号ＴＲＧに基づいて、移動体Ｑを撮像したときの撮像画素を示す。図７は、本発明に係る第１の実施形態の撮像装置１００のラインセンサＲ、ラインセンサＧ及びラインセンサＢが、移動体Ｑを撮像したときの撮像画素を示した説明図である。

撮像装置１００の撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢは、移動体Ｑが移動している状態を撮像するため（図４又は図６参照）、例えば、図７に示すように、撮像部２０のラインセンサＲ、ラインセンサＧ及びラインセンサＢによって撮像された撮像画素がトリガ信号ＴＲＧに同期にして１パルスずつずれている。ここで、移動体Ｑの先頭画像を数字の１とし、先頭から後方に１ずつ加算した数字の画像を撮像する場合、ラインセンサＲ、ラインセンサＧ及びラインセンサＢ間では、トリガ信号ＴＲＧによって撮像する度に、約１パルスずれた画像が撮像されることになる。

次に、処理回路３０の算出部３２は、トリガ信号生成部３１によって生成されたトリガ信号ＴＲＧが立ち上がる時間から、３つのラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサＲ、ラインセンサＧ及びラインセンサＢが移動体Ｑを撮像開始するまでの時間、及び２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサが移動体Ｑの移動方向Ｓに沿って配置され１又は２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）間の距離の少なくともいずれかを算出する（ステップＳ００７）。

処理回路３０の画素補正部３３は、算出部３２によって算出された、２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサＲ、ラインセンサＧ及びラインセンサＢが移動体Ｑを撮像開始するまでの時間、及び１のラインセンサ間の距離又は２以上のラインセンサ間のそれぞれの距離に基づいて、２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサＲ、ラインセンサＧ及びラインセンサＢによって撮像された移動体Ｑの撮像画素が一致するように補正する（ステップＳ００９）。

図８に、本発明に係る第１の実施形態の撮像装置１００の画素補正部３３が、ラインセンサＲ、ラインセンサＧ及びラインセンサＢによって撮像された移動体Ｑの撮像画素が一致するように補正する例を示す。図８は、本発明に係る第１の実施形態の撮像装置１００の画素補正部３３が、ラインセンサＲ、ラインセンサＧ及びラインセンサＢによって撮像された移動体Ｑの撮像画素が一致するように補正する一例を示した説明図である。特に断りがない限り、「右」とは、図８中の右方向を意味し、「下」とは、図８中の下方向を意味するものとする。

画素補正部３３は、例えば、図７に示した撮像画素を補正し、ラインセンサＧで撮像した撮像画素に、ラインセンサＲで撮像した撮像画素と、ラインセンサＢで撮像した撮像画素とが一致するように補正する。

例えば、図８Ａにおいて、画素補正部３３は、ラインセンサＲで撮像した撮像画素に対し、１パルス分の出力を遅らせる。具体的には、図８Ｂに示すように、ラインセンサＲで撮像した撮像画素を右方向に１パルス分の出力を遅らせる。

また、図８Ａにおいて、画素補正部３３は、ラインセンサＢで撮像した撮像画素に対し、１パルス分の出力を早める。具体的には、図８Ｂに示すように、ラインセンサＢで撮像した撮像画素を左方向に１パルス分の出力を早める。

このように、画素補正部３３は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢ間の撮像画素のずれが一致するように補正する。

そして、画素補正部３３は、補正後のデータを出力する（ステップＳ０１１）。画素補正部３３は、補正後のデータを、例えば、ディスプレイ６０に表示させたり、外部に転送するためのファイルとして出力する。なお、出力する先は、ディスプレイ６０にも出力することができるが、ディスプレイ６０に限定されず、例えば、画像記憶回路７０や記憶回路４０であってもよい。また、図示しない外部に接続されたディスプレイや記憶装置であってもよく、さらに、プリンタに補正後のデータを出力するようにしてもよい。

ここでは、撮像装置１００は、ディスプレイ６０を備えているため、画素補正部３３で補正した撮像画素を表示する（ステップＳ０１３）。

図９に、本発明に係る第１の実施形態の撮像装置１００のディスプレイ６０が表示する、移動体Ｑの撮像画素を補正した撮像画像を示す。図９は、本発明に係る第１の実施形態の撮像装置１００のディスプレイ６０が表示する、移動体Ｑの撮像画素を補正した撮像画像を示した説明図である。

図９に示すように、拡大図Ｘは、図９中の丸印の部分を拡大させた部分拡大図である。図９の拡大図Ｘには、数字の表裏を反転させたものが表示されている。

図９の部分拡大図Ｘは、画素補正部３３が、例えば、ラインセンサＲで撮像した撮像画素に対し、１パルス分の出力を遅らせるとともに、ラインセンサＢで撮像した撮像画素に対し、１パルス分の出力を早めるように補正している。これにより、撮像装置１００のディスプレイ６０は、図９の部分拡大図Ｘのように、画素ずれのない高精細な撮像画像を表示することができる。

これに対し、撮像装置１００の画素補正部３３で撮像画素に対し、補正をしなかった撮像画像について説明する。

図１０に、本発明に係る第１の実施形態の撮像装置１００のディスプレイ６０が表示する、移動体Ｑの撮像画素を補正しなかった場合の撮像画像を示す。図１０は、本発明に係る第１の実施形態の撮像装置１００のディスプレイ６０が表示する、移動体Ｑの撮像画素を補正しなかった場合の撮像画像を示した説明図である。

図１０に示すように、拡大図Ｙは、図１０中の丸印の部分を拡大させた部分拡大図である。図１０の拡大図Ｙには、図９の拡大図Ｘと同様に、数字の表裏を反転させたものが表示されている。図１０の部分拡大図Ｙは、画素補正部３３が、撮像画素に対して補正を実行していないので、ラインセンサＲ、ラインセンサＧ及びラインセンサＢで撮像した撮像画素に画素ずれが生じている。

このように、本発明に係る第１の実施形態の撮像装置１００は、画素ずれを算出する算出部３２と、撮像画素を補正する画素補正部３３とを備えているので、ラインセンサＲ、ラインセンサＧ及びラインセンサＢで撮像した撮像画素に対し、補正することができ、画素ずれのない高精細な撮像画像を表示させることができる。

以上説明したように、本発明に係る第１の実施形態の撮像装置１００は、センサ１０、撮像部２０、トリガ信号生成部３１、算出部３２、及び画素補正部３３を備えている。センサ１０は、移動体Ｑの速度情報を取得する。トリガ信号生成部３１は、移動体Ｑを撮像する開始時間を示すトリガ信号を生成する。撮像部２０は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢにより撮像する。

算出部３２は、トリガ信号が立ち上がる時間から、ラインセンサＲ、ラインセンサＧ及びラインセンサＢが移動体Ｑを撮像開始するまでの時間、及び２以上のラインセンサ（ラインセンサＲ、ラインセンサＧ及びラインセンサＢ）のそれぞれのラインセンサが移動体Ｑの移動方向Ｓに沿って配置され１又は２以上のラインセンサ間の距離の少なくともいずれかを算出する。画素補正部３３は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢが移動体Ｑを撮像開始するまでの時間、又は１のラインセンサ間の距離又は２以上のラインセンサ間のそれぞれの距離に基づいて、ラインセンサＲ、ラインセンサＧ及びラインセンサＢによって撮像された移動Ｑ体の撮像画素が一致するように補正する。

これにより、第１の実施形態の撮像装置１００は、撮像時のタイミングに関わらず、撮像された画素のずれを算出して高精細な撮像画像を生成することができる。

＜２．第２の実施形態（撮像装置の例２）＞
本発明に係る第２の実施形態の撮像装置は、第１の実施形態の撮像装置に対し、トリガ信号生成部が、速度情報の変化に基づいて、トリガ信号を生成する、撮像装置である。第２の実施形態の撮像装置は、トリガ信号生成部が、センサから取得した速度情報が第１の閾値よりも高速の場合には、移動体を撮像開始する開始時間を分周してトリガ信号を生成し、センサから取得した速度情報が第２の閾値よりも低速の場合には、移動体を撮像開始する開始時間を逓倍してトリガ信号を生成する。

本発明に係る第２の実施形態の撮像装置よれば、トリガ信号生成部３１が、速度情報の変化に基づいて、トリガ信号ＴＲＧを生成することができるので、例えば、ベルトコンベアＢＣで搬送される移動体Ｑの速度に応じて、撮像開始時間を変更することができる。これにより、第２の実施形態の撮像装置は、撮像時のタイミングに関わらず、撮像に適した撮像タイミングで移動体Ｑを撮像することができる。

ここで、図６に示す説明図を参照しながら、第２の実施形態の撮像装置について説明する。

例えば、ベルトコンベアＢＣで移動体Ｑが搬送される速度が、工場の稼働状況によって変動することが想定される。この場合、ロータリーエンコーダによって構成されるセンサ１０は、移動体Ｑの速度情報の変化を取得する。

撮像装置１００のトリガ信号生成部３１は、ロータリーエンコーダの速度情報の変化に基づいて、トリガ信号ＴＲＧを生成するようになっているので、例えば、ベルトコンベアＢＣの回転速度が速くなった場合は、移動体Ｑが搬送される速度も速くなるため、トリガ信号の周期を短くする。一方、ベルトコンベアＢＣの回転速度が遅くなった場合は、移動体Ｑが搬送される速度も遅くなるため、トリガ信号の周期を長くする。

また、ベルトコンベアＢＣの回転方向が、方向Ｓの逆方向に回転した場合でも、センサ１０は、方向Ｓの逆方向の速度情報を取得し、トリガ信号生成部３１が、方向Ｓの逆方向の速度情報の変化に基づいて、トリガ信号ＴＲＧを生成することができる。

特に、本発明に係る第２の実施形態の撮像装置１００は、センサ１０から取得した速度情報が第１の閾値よりも高速の場合には、トリガ信号生成部３１は、移動体Ｑを撮像開始する開始時間を分周してトリガ信号ＴＲＧを生成する。また、センサ１０から取得した速度情報が第２の閾値よりも低速の場合には、トリガ信号生成部３１が移動体Ｑを撮像開始する開始時間を逓倍してトリガ信号ＴＲＧを生成する。

例えば、撮像装置１００の現在のベルトコンベアの回転速度を３０００［ｒ／ｍｉｎ］とし、第１の閾値を５０００[ｒ／ｍｉｎ]とする。移動体Ｑの回転速度が５０００[ｒ／ｍｉｎ]よりも高速になった場合は、トリガ信号ＴＲＧを分周し、回転速度を２５００［ｒ／ｍｉｎ］に落としてトリガ信号を生成する。また、例えば、第２の閾値を２０００[ｒ／ｍｉｎ]とし、移動体Ｑの回転速度が２０００[ｒ／ｍｉｎ]よりも低速になった場合、トリガ信号ＴＲＧを逓倍し、回転速度を４０００［ｒ／ｍｉｎ］に早めたトリガ信号を生成する。

以上説明したように、本発明に係る第２の実施形態の撮像装置１００によれば、ベルトコンベアＢＣで搬送される移動体Ｑの速度に応じて、トリガ信号の周期を変更することができるので、高精細な撮像画像を生成することができる。

＜３．第３の実施形態（撮像装置の例３）＞
本発明に係る第３の実施形態の撮像装置は、第１の実施形態の撮像装置に対し、画素補正部が、算出部によって算出された２以上のラインセンサのそれぞれのラインセンサが移動体を撮像開始するまでの時間を、移動体の撮像画素の距離に換算し、移動体の撮像画素が一致するように移動体の撮像画素の位置を補正する、撮像装置である。

例えば、図３において説明したように、本発明に係る第３の実施形態の撮像装置は、算出部３２によって算出されたラインセンサＲ、ラインセンサＧ及びラインセンサＢが移動体を撮像開始するまでの時間を、移動体の撮像画素の距離に換算する。そして、第３の実施形態の撮像装置は、移動体の撮像画素が一致するように移動体の撮像画素の位置を補正する。なお、第３の実施形態の撮像装置は、これに限定されるものではない。

例えば、図４において説明したように、本発明に係る第３の実施形態の撮像装置は、第１の実施形態の撮像装置１００に対し、画素補正部３３が、算出部３２によって算出された１のラインセンサ間の距離又は２以上のラインセンサ間のそれぞれの距離を、移動体の撮像画素の距離に換算する。そして、第３の実施形態の撮像装置は、移動体の撮像画素が一致するように移動体の撮像画素の位置を補正する。

さらに、例えば、本発明に係る第３の実施形態の撮像装置は、図３で説明した内容と図４で説明した内容とを組み合わせ、画素補正部３３が、算出部３２によって算出された、ラインセンサＲ、ラインセンサＧ及びラインセンサＢのそれぞれのラインセンサが移動体を撮像開始するまでの時間、及び１のラインセンサ間の距離又は２以上のラインセンサ間のそれぞれの距離を、１以上の移動体の撮像画素の距離に換算し、移動体の撮像画素が一致するように移動体の撮像画素の位置を補正する、撮像装置であってもよい。

第３の実施形態の撮像装置は、図１及び図２に示した第１の実施形態と同一の構成で、画素補正部３３が、時間と速さと距離の関係を用いて、上述した３つの態様により移動体Ｑの撮像画素の位置を補正することができる。

本発明に係る第３の実施形態の撮像装置よれば、画素補正部３３が、移動体の撮像画素の距離に換算し、移動体の撮像画素の位置を補正することができるので、高精細な撮像画像を生成することができる。

＜４．第４の実施形態（撮像装置の例４）＞
本発明に係る第４の実施形態の撮像装置は、第１の実施形態の撮像装置に対し、算出部によって算出された、２以上のラインセンサのそれぞれのラインセンサが移動体を撮像開始するまでの時間、及び１のラインセンサ間の距離又は２以上のラインセンサ間のそれぞれの距離に基づいて、２以上のラインセンサのそれぞれのラインセンサによって撮像される移動体の撮像画素が一致するように、ラインセンサが撮像開始する時間を補正する、撮像装置である。

本発明に係る第４の実施形態の撮像装置によれば、画素補正部が、２以上のラインセンサのそれぞれのラインセンサによって撮像される移動体の撮像画素が一致するように、ラインセンサが撮像開始する時間を補正するので、高精細な撮像画像を生成することができる。

図１１に、本発明に係る第４の実施形態の撮像装置の機能ブロック図を示す。図１１は、本発明に係る第４の実施形態の撮像装置の機能ブロック図である。なお、第１の実施形態と同一の構成については、同一の符号を付し、適宜、説明を省略する。

第４の実施形態の撮像装置１０１が第１の実施形態の撮像装置１００と異なる点は、画素補正部３３が、ラインセンサＲ、ラインセンサＧ及びラインセンサＢが撮像開始する時間を補正する点である。

例えば、図３を用いて説明すると、第４の実施形態の撮像装置１０１の画素補正部３３は、ラインセンサＲ、ラインセンサＧ及びラインセンサＢが撮像開始する時間を補正するようになっている。

図３では、タイミング信号ＥＮＲ、タイミング信号ＥＮＧ、タイミング信号ＥＮＢは、トリガ信号生成部３１で生成されたトリガ信号ＴＲＧが撮像部２０に入力され、そのトリガ信号ＴＲＧに対し、露光開始時間がずれている。例えば、タイミング信号ＥＮＲは、トリガ信号ＴＲＧに対し、３Ｅ［ｓ］遅れている。また、タイミング信号ＥＮＧは、タイミング信号ＥＮＲからＥ［ｓ］遅れている。また、タイミング信号ＥＮＢは、タイミング信号ＥＮＢからＥ［ｓ］遅れている。

第４の実施形態の撮像装置１０１の画素補正部３３は、タイミング信号ＥＮＲ、タイミング信号ＥＮＧ、タイミング信号ＥＮＢの撮像タイミングのずれを補正する。ここでは、例えば、撮像タイミングを時間の代わりに画素を用いて補正する。具体的には、画素補正部３３は、タイミング信号ＥＮＧを基準にして、タイミング信号ＥＮＲを１画素分遅らせて撮像開始させるとともに、タイミング信号ＥＮＢを１画素分早めて撮像させる。

なお、撮像タイミングをずらす値は、例えば、２画素分撮像開始時間を早めたり遅らせたりすることができる。また、この場合、撮像開始時間は、１画素単位に限定されるものではなく、例えば、０．２画素分遅れるように撮像開始時間を遅らせたり、０．３画素分早まるように撮像開始時間を早めたり、細かく刻むことができる。

本発明に係る第４の実施形態の撮像装置１０１よれば、撮像時間補正部３４が、撮像部１０を構成するラインセンサＲ、ラインセンサＧ及びラインセンサＢのそれぞれのラインセンサが撮像開始する時間を、移動体の撮像画素が一致するように補正することができるので、高精細な撮像画像を生成することができる。

また、本発明に係る第１乃至第４の実施形態は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、第１乃至第４の実施形態は、それぞれ組み合わせて実施することができる。具体的には、第１の実施形態に第４の実施形態を適用することができ、また、第３の実施形態に第４の実施形態を適用することもできる。また、第２の実施形態を、第１の実施形態、第３の実施形態及び第４の実施形態に重畳適用することができる。

また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

例えば、第１乃至第４の実施形態では、撮像装置（撮像装置１００、撮像装置１０１）は、ディスプレイ６０、及び画像記憶回路７０を備えて構成されていたが、本実施の形態は、これに限定されるものではない。例えば、撮像装置（撮像装置１００、撮像装置１０１）は、ディスプレイ６０、及び画像記憶回路７０を有さず、有線や無線のネットワークを介して、別体のディスプレイや外部の画像記憶回路を備えるようにしてもよい。この場合、撮像装置は、画像記憶回路７０に記憶させるべき撮像画像を、外部の画像記憶回路に記憶させたり、別体のディスプレイにその撮像画像を表示させることができる。

１０ センサ
２０ 撮像部
３０ 処理回路
３１ トリガ信号生成部
３２ 算出部
３３ 画素補正部
４０ 記憶回路
５０ 入力回路
６０ ディスプレイ
７０ 画素記憶回路
１００、１０１ 撮像装置

Claims (9)

1. 移動体の速度に関する速度情報を取得するセンサと、
   前記センサから前記速度情報を取得して、前記移動体を撮像する開始時間を示すトリガ信号を生成するトリガ信号生成部と、
   前記トリガ信号生成部によって生成された前記トリガ信号に基づいて、前記移動体をラインセンサＲ、ラインセンサＧ及びラインセンサＢのそれぞれにより撮像する撮像部と、
   前記トリガ信号生成部によって生成された前記トリガ信号が立ち上がる時間から、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれが、前記移動体を撮像開始するまでの時間、及び前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢが前記移動体の移動方向に沿って３列で配置されて、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのうち、中央に配置されるラインセンサと、隣接する残りの２つのラインセンサとの間のそれぞれの距離を算出する算出部と、
   前記算出部によって算出された、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれが前記移動体を撮像開始するまでの時間、並びに前記中央に配置されるラインセンサと、前記隣接する残りの２つのラインセンサとの間のそれぞれの距離に基づいて、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれによって撮像された前記移動体の撮像画素が一致するように補正する画素補正部と、を備え、
   前記画素補正部が、前記隣接する残りの２つのラインセンサのうち一方のラインセンサで撮像された撮像画素を、下記の式（１−１）に示される画素分ずらし、前記中央に配置されるラインセンサで撮像された撮像画素に合成し、前記隣接する残りの２つのラインセンサのうち他方のラインセンサで撮像された撮像画素を、下記の式（１−２）に示される画素分ずらし、前記中央に配置されるラインセンサで撮像された撮像画素に合成する、撮像装置。
   Ｅｖ／ｓ−Ａ［画素］・・・・・・・・・（１−１）
   （該式（１−１）中、Ｅは、前記隣接する残りの２つのラインセンサのうち一方のラインセンサ及び前記中央に配置されるラインセンサのそれぞれが前記移動体を撮像開始するまでの時間の差（ｓ：秒）であり、ｖは、前記移動体の移動速度（ｍ／ｓ：メートル毎秒）であり、ｓは、前記隣接する残りの２つのラインセンサのうち一方のラインセンサ及び前記中央に配置されるラインセンサのそれぞれが有する画素の画素サイズ（ｍ：メートル）であり、Ａは、前記隣接する残りの２つのラインセンサのうち一方のラインセンサと前記中央に配置されるラインセンサとの間の距離を画素数で表したものであり、Ａ＝２である。）
   Ｅｖ／ｓ＋Ａ［画素］・・・・・・・・・（１−２）
   （該式（１−２）中、Ｅは、前記隣接する残りの２つのラインセンサのうち他方のラインセンサ及び前記中央に配置されるラインセンサのそれぞれが前記移動体を撮像開始するまでの時間の差（ｓ：秒）であり、ｖは、前記移動体の移動速度（ｍ／ｓ：メートル毎秒）であり、ｓは、前記隣接する残りの２つのラインセンサのうち他方のラインセンサ及び前記中央に配置されるラインセンサのそれぞれが有する画素の画素サイズ（ｍ：メートル）であり、Ａは、前記隣接する残りの２つのラインセンサのうち他方のラインセンサと前記中央に配置されるラインセンサとの間の距離を画素数で表したものであり、Ａ＝２である。）
2. 前記トリガ信号生成部が、
   前記速度情報の変化に基づいて、前記トリガ信号を生成する、請求項１に記載の撮像装置。
3. 前記画素補正部が、
   前記算出部によって算出された前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれが前記移動体を撮像開始するまでの時間を、前記移動体の撮像画素の距離に換算し、前記移動体の撮像画素が一致するように前記移動体の撮像画素の位置を補正する、請求項１又は２に記載の撮像装置。
4. 前記画素補正部が、
   前記算出部によって算出された前記中央に配置されるラインセンサと、前記隣接する残りの２つのラインセンサとの間のそれぞれの距離を、１以上の前記移動体の撮像画素の距離に換算し、前記移動体の撮像画素が一致するように前記移動体の撮像画素の位置を補正する、請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画素補正部が、
   前記算出部によって算出された、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれが前記移動体を撮像開始するまでの時間、及び前記中央に配置されるラインセンサと、前記隣接する残りの２つのラインセンサとの間のそれぞれの距離を、１以上の前記移動体の撮像画素の距離に換算し、前記移動体の撮像画素が一致するように前記移動体の撮像画素の位置を補正する、請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画素補正部が、
   前記算出部によって算出された、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれが前記移動体を撮像開始するまでの時間、及び前記中央に配置されるラインセンサと、前記隣接する残りの２つのラインセンサとの間のそれぞれの距離に基づいて、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれによって撮像される前記移動体の撮像画素が一致するように、前記ラインセンサＲ、前記ラインセンサＧ及び前記ラインセンサＢのそれぞれが撮像開始する時間を補正する、請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記センサがロータリーエンコーダで構成され、
   前記ロータリーエンコーダが、
   前記速度情報として、前記移動体が回転して搬送される回転速度に関する情報を取得する、請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記ラインセンサが、
   トライリニアセンサで構成される、請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記トリガ信号生成部が、
   前記センサから取得した前記速度情報が第１の閾値よりも高速の場合には、前記移動体を撮像開始する開始時間を分周して前記トリガ信号を生成し、
   前記センサから取得した前記速度情報が第２の閾値よりも低速の場合には、前記移動体を撮像開始する開始時間を逓倍して前記トリガ信号を生成する、請求項１乃至８のいずれか１項に記載の撮像装置。
   

Images