JP5725999B2 - Camera system - Google Patents
Camera system Download PDFInfo
- Publication number
- JP5725999B2 JP5725999B2 JP2011139324A JP2011139324A JP5725999B2 JP 5725999 B2 JP5725999 B2 JP 5725999B2 JP 2011139324 A JP2011139324 A JP 2011139324A JP 2011139324 A JP2011139324 A JP 2011139324A JP 5725999 B2 JP5725999 B2 JP 5725999B2
- Authority
- JP
- Japan
- Prior art keywords
- transfer
- image data
- packet
- camera system
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012546 transfer Methods 0.000 claims description 123
- 238000004891 communication Methods 0.000 claims description 86
- 238000003384 imaging method Methods 0.000 claims description 69
- 238000013500 data storage Methods 0.000 claims description 23
- 238000004519 manufacturing process Methods 0.000 claims description 13
- 239000000758 substrate Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 8
- 238000007689 inspection Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229910000679 solder Inorganic materials 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
Description
本発明は、パケット通信によりカメラ本体から上位装置に画像データを転送するカメラシステムに関する。 The present invention relates to a camera system that transfers image data from a camera body to a host device by packet communication.
多数の電子部品が実装された基板を生産する基板生産装置として、はんだ印刷装置、部品実装装置、リフロー装置、基板検査装置などがあり、これらを基板搬送装置で連結して基板生産ラインを構築する場合が多い。基板検査装置として用いられるはんだ検査装置や外観検査装置は、基板を撮像する検査カメラを備えるのが一般的である。検査カメラは、制御コンピュータ(上位装置)から指令を受けて基板上の所定の領域を撮像し、撮像画像の画像データを制御コンピュータに転送する。制御コンピュータは、受け取った画像データに所定の画像処理、例えば、良好な基準画像データとの比較処理を行って合否を判定する。また、部品実装装置は、位置決めされた基板の基準マークの位置やID番号などを撮像する基板カメラ、および部品実装ヘッドの吸着ノズルに吸着された電子部品の状態を撮像する部品カメラを備えるのが一般的である。基板カメラおよび部品カメラも、制御コンピュータからの指令で動作し、画像データを制御コンピュータに転送する。 There are solder printing equipment, component mounting equipment, reflow equipment, board inspection equipment, etc., as board production equipment that produces boards with a large number of electronic components mounted on them. There are many cases. In general, a solder inspection device or an appearance inspection device used as a substrate inspection device includes an inspection camera for imaging a substrate. The inspection camera receives a command from the control computer (higher-order apparatus), images a predetermined area on the substrate, and transfers image data of the captured image to the control computer. The control computer performs predetermined image processing on the received image data, for example, comparison processing with good reference image data, and determines pass / fail. In addition, the component mounting apparatus includes a substrate camera that captures the position of the reference mark and the ID number of the positioned substrate, and a component camera that captures the state of the electronic component that is attracted to the suction nozzle of the component mounting head. It is common. The substrate camera and the component camera also operate in response to a command from the control computer, and transfer image data to the control computer.
この種の基板生産装置に組み込まれたカメラは、指令に基づいて撮像を行い、画像データを制御コンピュータに転送しており、カメラ本体と制御コンピュータでカメラシステムを構成していると捉えることができる。このカメラシステムでは、基板の生産効率を高めるために、高速の有線パケット通信により短時間で画像データを転送している。例えば、「PCI―Express1.0」と呼ばれるI/Oシリアルインターフェース(拡張バスの一種)のデータ転送速度は1レーン当たり2.5Gbps(ギガビット毎秒)であり、4レーンを使用したカメラシステムでは最大データ転送速度は10Gbpsとなる。このパケット通信ではパケットサイズを変更することができ、パケットサイズの大小に応じて転送時間および消費電力が変化する。一方、カメラ本体は撮像部およびデータ記憶部を備え、撮像部からデータ記憶部への画像データの出力と、データ記憶部から制御コンピュータへの画像データの転送とを並行して実行し、撮像間隔時間(フレームレートの逆数)を小さくできるように構成されている。 A camera incorporated in this type of substrate production apparatus captures an image based on a command and transfers image data to a control computer, and it can be understood that a camera system is configured by the camera body and the control computer. . In this camera system, image data is transferred in a short time by high-speed wired packet communication in order to increase substrate production efficiency. For example, the data transfer rate of an I / O serial interface (a type of expansion bus) called “PCI-Express 1.0” is 2.5 Gbps per lane (gigabit per second), and the maximum data is available for a camera system using 4 lanes. The transfer rate is 10 Gbps. In this packet communication, the packet size can be changed, and the transfer time and power consumption change according to the size of the packet size. On the other hand, the camera body includes an imaging unit and a data storage unit, and executes output of image data from the imaging unit to the data storage unit and transfer of image data from the data storage unit to the control computer in parallel. The time (reciprocal of the frame rate) can be reduced.
しかしながら、前述した撮像時の並行動作では、カメラシステムにおけるピーク電力が増加しがちである。ピーク電力の増加は、単に電源容量の余裕率を減少させるだけでなく、温度上昇やノイズ発生などの信頼性の面にも影響を及ぼし、システムの不安定動作や誤動作の一因となり得る。このため、カメラシステムのピーク電力の削減は大きな課題であり、関連する技術例が特許文献1および2に開示されている。
However, in the parallel operation at the time of imaging described above, the peak power in the camera system tends to increase. An increase in peak power not only simply reduces the margin ratio of the power supply capacity, but also affects reliability such as temperature rise and noise generation, and can contribute to unstable operation and malfunction of the system. For this reason, reduction of the peak power of the camera system is a big problem, and related technical examples are disclosed in
特許文献1の画像処理装置は、装置の軽量化、小型化、低消費電力化等を課題とし、被写体の画像信号をセンサ部(撮像部)からフィールド毎に読み出す読出手段と、読み出された画像信号を処理する処理手段と、最長の読み出し時間で全フィールド分の読み出しを行うように制御する駆動手段とを備えている。これにより、解像度の変更の有無に拘わらずセンサ部から画像信号を同じタイミングで読み出すので、例えばフレームメモリを備える必要がなく、面倒な補正を行わなくても処理後の画像信号を出力することができる、とされている。
The image processing apparatus disclosed in
特許文献2の撮像装置は、撮像機能部への動作開始指示を検出する検出手段と、撮像機能部における消費電力が増大する前に、画像データを転送する無線機能部の消費電力を低減する(低消費電力モードに移行させる)制御手段とを有している。これにより、撮像機能部の動作の際の最大電流容量を緩和することができる、とされている。
The imaging apparatus of
ところで、ピーク電力の削減に関連する特許文献1の画像処理装置の技術はセンサ部(撮像部)と処理手段とが直結されているため、パケット通信により離れた上位装置に画像データを転送する構成には適用できない。また、特許文献2の撮像装置に開示されている無線機能部の低消費電力モードに類する機能は、有線パケット通信を行う通信機には設けられておらず、やはり適用は困難である。
By the way, since the technique of the image processing apparatus of
一方、基板生産装置に組み込まれたカメラシステムでは、撮像画像全体の画像データを必ずしもパケット通信により転送する必要はない。このため、制御コンピュータ(上位装置)で必要とされる撮像画像の一部を撮像画像有効領域に設定し、当該領域の画像データ(転送画像データ)のみを転送することで、転送画像サイズを小さくして転送時間を短縮できる。このとき、撮像間隔時間(フレームレートの逆数)と転送画像サイズに応じて、パケットサイズを適正に設定することが好ましい。仮に、パケットサイズを過小に設定すると、転送時間が過大になってフレームレートが自動的に小さく修正され、撮像間隔時間が延びて基板の生産効率が低下する。また仮に、パケットサイズを過大に設定すると、転送に要する消費電力が過大になってピーク電力が増加する。 On the other hand, in a camera system incorporated in a board production apparatus, it is not always necessary to transfer image data of the entire captured image by packet communication. For this reason, a part of the captured image required by the control computer (higher level device) is set in the captured image effective area, and only the image data (transfer image data) in the area is transferred, thereby reducing the transfer image size. Transfer time can be reduced. At this time, it is preferable to set the packet size appropriately according to the imaging interval time (reciprocal of the frame rate) and the transfer image size. If the packet size is set too small, the transfer time becomes excessive, the frame rate is automatically corrected to be small, the imaging interval time is extended, and the production efficiency of the board is lowered. Also, if the packet size is set excessively, the power consumption required for transfer becomes excessive and the peak power increases.
上記の問題点は、基板生産以外の用途のカメラシステムにおいても同様である。パケット通信部を有するカメラシステムで撮像時のピーク電力を削減する解決手段は、特許文献1や2には開示されていない。
The above problem is the same in camera systems for uses other than board production.
本発明は、上記背景技術の問題点に鑑みてなされたもので、画像データを得る頻度を示すフレームレートおよび撮像画像の有効領域の設定に応じてパケット通信のパケットサイズを適正に決定し、撮像時のピーク電力を削減するカメラシステムを提供することを解決すべき課題とする。 The present invention has been made in view of the above problems of the background art, and appropriately determines the packet size of packet communication in accordance with the setting of the frame rate indicating the frequency of obtaining image data and the effective area of the captured image, and captures the image. It is an object to be solved to provide a camera system that reduces peak power at the time.
上記課題を解決する請求項1に係るカメラシステムの発明は、被写体を撮像して撮像画像の画像データを得る撮像部、前記撮像画像の全部または一部である撮像画像有効領域の画像データで前記撮像部から出力される転送画像データを記憶するデータ記憶部、前記転送画像データが転送される上位装置、および前記転送画像データを前記データ記憶部から前記上位装置にパケットサイズが可変のパケット通信により転送するパケット通信部を備えたカメラシステムであって、前記画像データを得る頻度を示すフレームレートと、前記撮像画像有効領域とを設定する設定手段と、前記撮像画像有効領域の大きさによって決まる転送画像サイズおよび前記パケットサイズと前記転送画像データの転送に要する転送時間との関係に基づいて、前記フレームレートの逆数で示される撮像間隔時間を越えない範囲でできるだけ前記転送時間を大きくするように前記パケットサイズを決定する決定手段と、前記撮像部によって前記撮像画像の前記画像データを設定したフレームレートで得て、前記データ記憶部によって前記転送画像データを記憶し、前記パケット通信部によって前記転送画像データを前記データ記憶部から前記上位装置に決定したパケットサイズで転送する実行手段と、を備える。
An invention of a camera system according to
請求項2に係る発明は、請求項1に記載のカメラシステムであって、前記実行手段は、前記撮像部から前記データ記憶部への前記転送画像データの出力と、前記パケット通信部による前記転送画像データの転送とを並行して実行する。
The invention according to
請求項3に係る発明は、請求項1または2に記載のカメラシステムであって、前記パケット通信部は、パケット通信における最大のパケットサイズを表すマックスペイロードサイズを可変に設定可能な通信機をデータ記憶部側および上位装置側にそれぞれ有し、データ記憶部側および上位装置側の通信機の一方のマックスペイロードサイズを許容される最大値に予め設定しておき、データ記憶部側および上位装置側の通信機の他方のマックスペイロードサイズに前記決定手段で決定したパケットサイズを設定する。
The invention according to
請求項4に係る発明は、請求項1〜3のいずれか一項に記載のカメラシステムであって、電子部品が実装された基板の生産を行う基板生産装置に組み込まれている。
The invention according to
請求項1に係るカメラシステムの発明では、フレームレートおよび撮像画像有効領域を設定し、転送画像サイズおよびパケットサイズと転送時間との関係に基づいて、撮像間隔時間を越えない範囲でできるだけ転送時間を大きくするようにパケットサイズを決定し、転送画像データを決定したパケットサイズで転送する。一般的にパケット通信では、転送画像サイズが大きくなると転送時間が大きくなり、パケットサイズが大きくなると転送時間が小さくなる。また、パケットサイズが大きくなると転送に要する消費電力が増加する。さらに、転送時間が過大になって設定されたフレームレートが維持されなくなると、転送時間を確保するように自動的にフレームレートが小さく修正される(換言すると撮像間隔時間が大きく修正される)場合が多い。したがって、本発明によれば、フレームレートに影響を与えない範囲でパケットサイズをできるだけ小さく決定して転送に要する消費電力を小さくでき、撮像時のピーク電力を削減できる。
In the invention of the camera system according to
請求項2に係る発明では、ピーク電力は、転送画像データのデータ記憶部への出力に要する消費電力と、パケット通信部による転送画像データの転送に要する消費電力とを加算したものとなる。ここで、前者の消費電力は撮像画像有効領域(転送画像サイズ)に依らず概ね一定であり、出力所要時間は撮像画像有効領域が大きいほど長くなる。後者の消費電力は撮像画像有効領域が一定でもパケットサイズを小さくすれば小さくなり、転送所要時間は撮像画像有効領域およびパケットサイズに依存する。したがって、パケットサイズを適正に決定することで撮像時のピーク電力を削減でき、フレームレートに影響を与えることもない。
In the invention according to
請求項3に係る発明では、データ記憶部側および上位装置側の通信機の一方のマックスペイロードサイズを許容される最大値に予め設定しておき、他方のマックスペイロードサイズに決定したパケットサイズを設定する。一般的に、マックスペイロードサイズを可変に設定可能な通信機が対向するパケット通信で両方のマックスペイロードサイズの値が異なる場合、パケットサイズはマックスペイロードサイズの小さい側の値に合わせられる。したがって、本請求項によれば、対向する通信機の他方だけでパケットサイズを自在に設定変更することができ、設定変更操作が簡易である。また、他方のマックスペイロードサイズにパケットサイズを設定した時点でただちにパケット通信に反映されるので、複数の画像データを連続して得る連続撮像の途中でも設定変更を行える。加えて、設定変更によってパケット通信が途切れることがなく、設定変更時にカメラシステムの再起動も不要である。
In the invention according to
請求項4に係る発明では、カメラシステムは、電子部品が実装された基板の生産を行う基板生産装置に組み込まれている。そして、フレームレートに影響を与えない範囲でパケットサイズをできるだけ小さく決定するので、ピーク電力を削減できるとともに、基板や基板に実装される電子部品を大きいフレームレートで高速撮像できる。これにより、基板の生産効率の向上に寄与できる。
In the invention according to
本発明の実施形態のカメラシステム1について、図1〜図7を参考にして説明する。図1は、実施形態のカメラシステム1の装置構成を示す外観図である。カメラシステム1は、カメラ本体2、上位装置3、および通信ケーブル4で構成されている。カメラシステム1は、基板に電子部品を実装する部品実装装置に組み込まれているものとする。この場合、カメラ本体2は、部品実装位置に位置決めされた基板を撮像する基板カメラとして用いる。あるいは、カメラ本体2を部品実装ヘッドの吸着ノズルに吸着された電子部品の状態を撮像する部品カメラとして用いることもでき、さらには、基板カメラおよび部品カメラとして2セットのカメラ本体2を用いることもできる。いずれの場合も、上位装置3は、部品実装装置の動作を制御する制御コンピュータで兼用される。
A
また、カメラシステム1は、電子部品が実装された基板を検査する基板検査装置に組み込むこともできる。この場合、カメラ本体2は、基板を撮像する検査カメラとして用いる。さらに、カメラシステム1は、基板生産以外の用途に用いることもできる。この場合、上位装置3には、汎用のパソコンや専用の画像処理ボードなどを用いることができる。
The
図2は、実施形態のカメラシステム1の機能構成を示す機能ブロック図である。図示されるように、カメラ本体2は、イメージセンサ21、揮発性メモリ(DRAM)22、フラッシュメモリ(FROM)23、通信機24、およびCPU29などで構成されている。一方、上位装置3は、通信機31、メモリ32、表示部33、およびCPU39などで構成されている。
FIG. 2 is a functional block diagram illustrating a functional configuration of the
カメラ本体2のイメージセンサ21は、本発明の撮像部に相当し、例えばCMOSイメージセンサを用いることができる。イメージセンサ21は、被写体を撮像して撮像画像の画像データを得る。揮発性メモリ(DRAM)22は、本発明のデータ記憶部に相当し、イメージセンサ21から出力される転送画像データを記憶する。転送画像データは、撮像画像の全部または一部である撮像画像有効領域の画像データであり、有効領域は後述するように可変に設定される。フラッシュメモリ(FROM)23は、制御に必要な各種情報を格納保持している。フラッシュメモリ23が保持する情報は、書き換えによる変更が可能であり、また電源が切れても消えない。通信機24は、本発明のパケット通信部の一部に相当し、パケット通信における最大のパケットサイズを表すマックスペイロードサイズを可変に設定可能となっている。CPU29は、カメラ本体2の各部21〜24を制御する。
The
上記のフラッシュメモリ23が保持する情報は、具体的には撮像画像有効領域の情報、マックスペイロード情報、フレームレート情報、および後述する関係式や撮像シーケンスの情報などである。撮像画像有効領域の情報は、被写体を撮像した撮像画像の全部または一部を可変に設定する情報である。撮像画像有効領域の設定により、撮像画像の撮像データの必要部分のみを選択して転送画像データとし、転送画像サイズを小さくすることで出力および転送の負荷を軽減できる。マックスペイロード情報は、マックスペイロードサイズの設定値を記憶するものである。フレームレート情報は、フレームレートの設定値を記憶するものである。フレームレートは、単位時間あたりに何枚の画像を撮像し転送するかを表す指標であり、フレームレートの逆数が撮像間隔時間Tfになる。
The information held by the
一方、上位装置3の通信機31は、本発明のパケット通信部の一部に相当し、パケット通信における最大のパケットサイズを表すマックスペイロードサイズを可変に設定可能となっている。メモリ32は、転送された画像データを格納し、表示部33は、転送された画像データを表示する。CPU39は、上位装置3の各部31〜33を制御する。
On the other hand, the
カメラ本体2側の通信機24と上位装置3側の通信機31は、通信ケーブル4で接続されて対向し、パケット通信部を構成している。パケット通信部は、パケットサイズが可変のパケット通信により転送画像データを転送する。つまり、カメラ本体2の揮発性メモリ22から転送画像データを読み出し、通信ケーブル4を介して転送し、上位装置3のメモリ32に書き込む。なお、パケット通信のパケットサイズは、対向する2つの通信機24、31のマックスペイロードサイズのうち小さい値に合わせられるようになっている。
The
次に、前述のように構成された実施形態のカメラシステム1の撮像動作について説明する。図3は、実施形態のカメラシステム1の撮像動作を示すタイミングチャートの図である。図中で横軸は共通の時間tを示し、上段のチャートは露光信号Eを示している。また、中段のチャートはイメージセンサ21から揮発性メモリ22への転送画像データの出力に要する消費電力P1を示し、下段のチャートはパケット通信部によるカメラ本体2から上位装置3への転送画像データの転送に要する消費電力P2を示している。
Next, the imaging operation of the
図3において、時刻t1で露光信号Eが立ち上がってオンになると、カメラ本体2の図略のシャッターが開かれて、イメージセンサ21による撮像が開始される。時刻t2で露光信号Eが立ち下がってオフになるとシャッターが閉じられて、イメージセンサ21による撮像が終了する。同時に、露光信号Eの立ち下がりを受けて、イメージセンサ21から揮発性メモリ22への転送画像データの出力が開始される。さらにごくわずかに遅れて、パケット通信部による転送画像データの転送が開始される。
In FIG. 3, when the exposure signal E rises and is turned on at time t1, a shutter (not shown) of the
揮発性メモリ22への転送画像データの出力は時刻t3で終了し、時刻t2〜t3までの出力時間T1に消費電力P11が発生する。その後、パケット通信部による転送画像データの転送は時刻t4で終了し、時刻t2〜t4までの転送時間T21に消費電力P21が発生する。これで、1回の撮像動作が終了する。次に、時刻t7で再び露光信号Eが立ち上がると次回の撮像動作が開始され、以降繰り返される。時刻t1と時刻t7の間の時間が、今回撮像と次回撮像の間隔であり、すなわち撮像間隔時間Tfである。また、転送画像データの転送を行っていない時間、すなわち今回の転送終了時刻t4と次回の転送開始時刻t8の間の時間が転送空き時間Tw1である。転送空き時間Tw1は、カメラシステム1の動作に必要でなく、機能上は無駄な時間である。
The output of the transfer image data to the
ここで、露光信号Eがオンになっている時刻t1〜t2までの間、カメラシステム1の消費電力はあまり大きくない。したがって、カメラシステム1のピーク電力Pp1は、転送画像データの出力および転送を並行して実施している時刻t2〜t3間に発生する。また、ピーク電力Pp1≒消費電力P11+消費電力P21、で求められる。なお、転送画像データの出力および転送を並行させずに、直列に順番に実施すればピーク電力Pp1を削減できるのは明らかであるが、フレームレートが低下するおそれがあるため本実施形態では採らない。
Here, the power consumption of the
次に、パケット通信のパケットサイズを小さく変更した場合を考える。図4は、パケット通信におけるパケットのイメージを模式的に説明する図であり、(1)はパケットサイズSLが大きく、(2)はパケットサイズSSが小さい場合を示している。図示されるように、パケットのイメージは、ヘッダー部Shおよびデータ部Sdからなっている。ヘッダー部Shは、パケット通信に必要な付帯情報の部分であり、パケットサイズSL、SSに依存せず一定の大きさである。一方、データ部Sdは、転送画像データを分割した一部分であり、パケットサイズSL、SSからヘッダー部Shを差し引いた残りの大きさとなる。 Next, consider a case where the packet size of packet communication is changed to be small. FIG. 4 is a diagram schematically illustrating an image of a packet in packet communication. (1) shows a case where the packet size SL is large and (2) shows a case where the packet size SS is small. As shown in the figure, the packet image is composed of a header part Sh and a data part Sd. The header portion Sh is a portion of incidental information necessary for packet communication, and has a constant size independent of the packet sizes SL and SS. On the other hand, the data part Sd is a part obtained by dividing the transfer image data, and has a remaining size obtained by subtracting the header part Sh from the packet sizes SL and SS.
このため、(2)のパケットサイズSSが小さい場合、オーバーヘッドすなわちパケット全体に占めるヘッダー部Shの割合が増加する。加えて、1つの転送画像データを細分化して転送するので総パケット数が増加し、パケット間の休止時間Sxの総和も増加する。したがって、パケットサイズSSが小さいと転送時間が大きくなる。また、パケットサイズSSが小さい場合、休止時間Sxの割合が増加するなどの理由により、消費電力P2が減少する。 For this reason, when the packet size SS of (2) is small, the overhead, that is, the ratio of the header part Sh to the whole packet increases. In addition, since one piece of transfer image data is divided and transferred, the total number of packets increases, and the total sum of pause times Sx between packets also increases. Therefore, when the packet size SS is small, the transfer time becomes long. Further, when the packet size SS is small, the power consumption P2 decreases due to an increase in the ratio of the pause time Sx.
図5は、図3と比較してパケットサイズを小さく変更し、その他の条件を同一にしたときの撮像動作を示すタイミングチャートの図である。図示されるように、時刻t1でイメージセンサ21による撮像が開始され、時刻t2で撮像が終了して転送画像データの出力および転送が開始されるまでは図3と同様の動作となる。さらに、揮発性メモリ22への転送画像データの出力が時刻t3で終了し(出力時間T1)、その間に消費電力P11が発生する点も同様である。転送画像データの出力に要する出力時間T1は、撮像画像有効領域の設定、換言すれば転送画像サイズによって決まり、消費電力P11は転送画像サイズに拘わらず概ね一定である。また、出力時間T1および消費電力P11は、パケット通信部の設定条件や動作状況には影響されない。
FIG. 5 is a timing chart illustrating an imaging operation when the packet size is changed smaller than in FIG. 3 and the other conditions are the same. As shown in the figure, the operation is the same as that in FIG. 3 until imaging by the
一方、パケット通信部による転送画像データの転送は、図3よりも遅い時刻t5までかかって終了する。つまり、図5のパケットサイズSSが小さいときの転送時間T22は、図3のパケットサイズSLが大きいときの転送時間T21よりも大きくなる。時刻t2〜t5までの転送時間T22中に発生する消費電力P22は、図3の消費電力P21よりも小さくなる。これにより、パケットサイズを小さく変更したときのピーク電力Pp2(≒消費電力P11+消費電力P22)は、図3のピーク電力Pp1よりも小さくなる。また、パケットサイズを小さく変更したときの転送空き時間Tw2は、図3の転送空き時間Tw1よりも小さくなる。 On the other hand, the transfer of the transfer image data by the packet communication unit is completed until time t5 later than that in FIG. That is, the transfer time T22 when the packet size SS of FIG. 5 is small is longer than the transfer time T21 when the packet size SL of FIG. 3 is large. The power consumption P22 generated during the transfer time T22 from time t2 to time t5 is smaller than the power consumption P21 in FIG. Accordingly, the peak power Pp2 (≈power consumption P11 + power consumption P22) when the packet size is changed to be smaller is smaller than the peak power Pp1 in FIG. Also, the transfer available time Tw2 when the packet size is changed to be smaller is smaller than the transfer available time Tw1 in FIG.
ここまでの説明で明らかなように、ピーク電力を削減するためにはパケットサイズを小さくすることが好ましい。ただし、パケットサイズを過少に設定すると、転送時間が大きくなりすぎて転送空き時間が無くなる。すると、転送時間を確保するように自動的にフレームレートが小さく修正されるため、撮像間隔時間Tfが大きくなり、基板の生産効率が低下するという弊害が発生する。したがって、フレームレートに影響を与えない範囲でピーク電力を削減できるように、パケットサイズを適正に決定することが好ましい。 As apparent from the above description, it is preferable to reduce the packet size in order to reduce the peak power. However, if the packet size is set too small, the transfer time becomes too long and there is no transfer free time. Then, since the frame rate is automatically corrected to be small so as to secure the transfer time, the imaging interval time Tf is increased, which causes a problem that the production efficiency of the substrate is lowered. Therefore, it is preferable to determine the packet size appropriately so that the peak power can be reduced within a range that does not affect the frame rate.
ここで、パケット通信部の転送時間は、転送画像サイズとパケットサイズの2因子をパラメータとして定まる。また、この関係は通信機24、31の性能に依存する。本実施形態では、撮像画像有効領域の大きさによって決まる転送画像サイズおよびパケットサイズと転送画像データの転送に要する転送時間との関係を予め求め、関係式の情報としてカメラ本体2のフラッシュメモリ23に格納しておく。そして、後述する決定手段で、この関係式を使用してパケットサイズを決定する。なお、関係式の代わりに、一覧表形式のテーブルをフラッシュメモリ23に格納して使用するようにしてもよい。
Here, the transfer time of the packet communication unit is determined by using two factors of transfer image size and packet size as parameters. This relationship depends on the performance of the
次に、カメラシステム1の撮像制御フローについて説明する。図6は、実施形態のカメラシステム1の撮像制御フローを説明する図である。撮像制御フローは、カメラ本体2のCPU29が主となり、上位装置3のCPU39と連携することで実行が制御される。図6のステップS1で、カメラ本体2のCPU29は、電源が投入されると通信機24のマックスペイロードサイズを許容される最大値に設定する。この最大値は、パケット通信の規格や通信機24の性能に依存して予め決まっている。なお、通信機24の初期設定でマックスペイロードサイズのデフォルト値が最大値になっていれば、電源投入時に最大値が自動設定されるので、設定動作は省略できる。
Next, the imaging control flow of the
次のステップS2で、パケット通信部を介して上位装置3からカメラ本体2に撮像シーケンスを指令する。撮像シーケンスは、複数の撮像画像の撮像順序、フレームレート、および撮像画像有効領域など含んだ情報であり、これに基づいてカメラ本体2は連続的な撮像動作を行う。撮像シーケンスの情報は、カメラ本体2のフラッシュメモリ23に格納保持される。次のステップS3で、被写体の条件が整うと撮像動作が開始される。本実施形態では、カメラシステム1は部品実装装置に組み込まれており、基板が搬入されて所定の部品実装位置に位置決めされると、カメラ本体2が基板上面の所望する位置に駆動され、撮像動作が開始される。
In the next step S2, an imaging sequence is commanded from the
撮像動作では、まずステップS4で、フレームレートおよび撮像画像有効領域を設定する。具体的には、カメラ本体2のCPU29は、今回撮像する撮像画像のフレームレートおよび撮像画像有効領域の情報をフラッシュメモリ23から読み出してイメージセンサ21に伝達する。また、同じ情報を上位装置3に伝達する。ステップS4は、本発明の設定手段に相当する。
In the imaging operation, first, in step S4, a frame rate and a captured image effective area are set. Specifically, the
次にステップS5で、パケットサイズを決定する。CPU29は、フラッシュメモリ23に格納されている転送画像サイズおよびパケットサイズと転送時間との関係を表す関係式またはテーブルを使用してパケットサイズを決定する。決定したパケットサイズは、フレームレートに影響を与えない範囲で最も小さい値、換言すれば転送空き時間を最も小さくして消費電力を最小に削減できる値である。また、CPU29は、決定したパケットサイズをフラッシュメモリ23に格納保持するとともに上位装置3に伝達する。
Next, in step S5, the packet size is determined. The
ステップS6では、上位装置3のCPU39は、伝達されたパケットサイズを通信機31のマックスペイロードサイズに設定する。これにより、パケット通信部のマックスペイロードサイズは、カメラ本体2側の通信機24で最大値、上位装置3側の通信機31で決定したパケットサイズとなる。したがって、通信に用いられるパケットサイズは小さい側である決定したパケットサイズに合わせられ、パケット通信部の転送準備が整う。ステップS5およびS6は、本発明の決定手段に相当する。
In step S <b> 6, the
次にステップS7で、露光信号Eが立ち上がり、カメラ本体2のシャッターが開かれて、イメージセンサ21による撮像が行われる。露光終了後のステップS8では、イメージセンサ21から揮発性メモリ22への転送画像データの出力が行われる。ステップS8と並行してステップS9で、パケット通信部によるカメラ本体2から上位装置3への転送画像データの転送が行われる。ステップS7〜S9は、本発明の実行手段に相当する。
Next, in step S7, the exposure signal E rises, the shutter of the
次にステップS10で、撮像シーケンス中の全撮像画像を撮像したか否かを確認する。全撮像画像を撮像していない場合にはステップS7に戻って次の撮像に移り、全撮像画像を撮像した場合は撮像シーケンスを終了する。なお、仮に撮像シーケンスの途中でフレームレートおよび撮像画像有効領域の少なくとも一方が変更された場合は、ステップS4に戻ってこれらを再設定する。 Next, in step S10, it is confirmed whether or not all the captured images in the imaging sequence have been captured. If all captured images have not been captured, the process returns to step S7 to move to the next imaging, and if all captured images have been captured, the imaging sequence ends. If at least one of the frame rate and the captured image effective area is changed during the imaging sequence, the process returns to step S4 to reset them.
次に、カメラシステム1の効果について説明する。図7は、実施形態のカメラシステム1の効果を実測したオシロスコープ波形の図であり、(1)はパケットサイズSLが大きい場合、(2)はパケットサイズSSが小さい場合を示している。波形の横軸は時間t、縦軸はカメラシステム1の消費電力を示し、波形中の符号は図3および図5に対応して付されている。図示されるように、(2)のパケットサイズSSが小さい場合の転送時間T22は(1)の転送時間T21よりも大きく、(2)の転送に要する消費電力P22は(1)の消費電力P21よりも小さい。この結果、(2)のピーク電力Pp2は、(1)のピーク電力Pp1よりも数%削減される。
Next, effects of the
実施形態のカメラシステム1によれば、フレームレートに影響を与えない範囲でパケットサイズをできるだけ小さく決定して転送に要する消費電力P22を小さくできる。これにより、揮発性メモリ22(データ記憶部)への出力に要する消費電力P11を加算したピーク電力Pp2を削減できる。つまり、フレームレートや撮像画像有効領域などの撮像条件を変更することなく、ピーク電力Pp2を削減できる。
According to the
また、カメラ本体2側の通信機24のマックスペイロードサイズを最大値に予め設定しておき、上位装置3側の通信機31のマックスペイロードサイズに決定したパケットサイズを設定するだけでパケット通信に用いるパケットサイズを自在に設定変更することができ、設定変更操作が簡易である。さらに、上位装置3側の通信機31にパケットサイズを設定した時点でただちにパケット通信に反映されるので、複数の画像データを連続して得る連続撮像中にも設定変更が行える。加えて、設定変更によってパケット通信が途切れることはなく、設定変更時にカメラシステム1の再起動も不要である。
Further, the maximum payload size of the
また、カメラシステム1は、基板に電子部品を実装する部品実装装置に組み込まれており、ピーク電力を抑制しつつ、基板や基板に実装される電子部品を大きいフレームレートで迅速に撮像できる。これにより、生産効率の向上に寄与できる。
The
なお、図7の(2)の波形例では、転送待ち時間Tw2が大きいので、より一層パケットサイズSSを小さくして転送時間T22を大きくし、ピーク電力Pp2を一層削減することが期待できる。あるいは、フレームレートを大きくして、一層の高速撮像動作を行うことが期待できる。また、実施形態の通信機24、31は、背景技術に記載した「PCI―Express1.0」を採用しているが、パケット通信方式はこれに限定されるものではない。その他、本発明はさまざまな応用や変形が可能である。
In the waveform example (2) in FIG. 7, since the transfer waiting time Tw2 is large, it can be expected that the packet size SS is further reduced to increase the transfer time T22 and the peak power Pp2 is further reduced. Alternatively, it can be expected that the frame rate is increased to perform a higher-speed imaging operation. Moreover, although the
1:カメラシステム
2:カメラ本体
21:イメージセンサ 22:揮発性メモリ(DRAM)(データ記憶部)
23:フラッシュメモリ(FROM) 24:通信機 29:CPU
3:上位装置
31:通信機 32:メモリ 33:表示部 39:CPU
4:通信ケーブル
E:露光信号 P1、P2、P11、P21、P22:消費電力
Pp1、Pp2:ピーク電力
Tf:撮像間隔時間 T1:出力時間 T21、T22:転送時間
Tw1、Tw2:転送空き時間
SL、SS:パケットサイズ Sh:ヘッダー部 Sd:データ部
Sx:休止時間
1: Camera system 2: Camera body 21: Image sensor 22: Volatile memory (DRAM) (data storage unit)
23: Flash memory (FROM) 24: Communication device 29: CPU
3: Host device 31: Communication device 32: Memory 33: Display unit 39: CPU
4: Communication cable E: Exposure signal P1, P2, P11, P21, P22: Power consumption Pp1, Pp2: Peak power Tf: Imaging interval time T1: Output time T21, T22: Transfer time Tw1, Tw2: Transfer free time SL, SS: Packet size Sh: Header part Sd: Data part Sx: Pause time
Claims (4)
前記画像データを得る頻度を示すフレームレートと、前記撮像画像有効領域とを設定する設定手段と、
前記撮像画像有効領域の大きさによって決まる転送画像サイズおよび前記パケットサイズと前記転送画像データの転送に要する転送時間との関係に基づいて、前記フレームレートの逆数で示される撮像間隔時間を越えない範囲でできるだけ前記転送時間を大きくするように前記パケットサイズを決定する決定手段と、
前記撮像部によって前記撮像画像の前記画像データを設定したフレームレートで得て、前記データ記憶部によって前記転送画像データを記憶し、前記パケット通信部によって前記転送画像データを前記データ記憶部から前記上位装置に決定したパケットサイズで転送する実行手段と、
を備えたカメラシステム。 An imaging unit that captures a subject and obtains image data of the captured image; a data storage unit that stores transfer image data output from the imaging unit as image data of a captured image effective area that is all or part of the captured image; A camera system comprising: a host device to which the transfer image data is transferred; and a packet communication unit that transfers the transfer image data from the data storage unit to the host device by packet communication having a variable packet size,
A setting means for setting a frame rate indicating the frequency of obtaining the image data, and the captured image effective area;
Based on the transfer image size determined by the size of the captured image effective area and the relationship between the packet size and the transfer time required to transfer the transfer image data, a range that does not exceed the imaging interval time indicated by the reciprocal of the frame rate Determining means for determining the packet size so as to increase the transfer time as much as possible;
The imaging unit obtains the image data of the captured image at a set frame rate, stores the transfer image data by the data storage unit, and transfers the transfer image data from the data storage unit by the packet communication unit. Execution means for transferring to the device at the determined packet size;
Camera system equipped with.
前記実行手段は、前記撮像部から前記データ記憶部への前記転送画像データの出力と、前記パケット通信部による前記転送画像データの転送とを並行して実行するカメラシステム。 The camera system according to claim 1,
The execution unit is a camera system that executes the output of the transfer image data from the imaging unit to the data storage unit and the transfer of the transfer image data by the packet communication unit in parallel.
前記パケット通信部は、パケット通信における最大のパケットサイズを表すマックスペイロードサイズを可変に設定可能な通信機をデータ記憶部側および上位装置側にそれぞれ有し、
データ記憶部側および上位装置側の通信機の一方のマックスペイロードサイズを許容される最大値に予め設定しておき、
データ記憶部側および上位装置側の通信機の他方のマックスペイロードサイズに前記決定手段で決定したパケットサイズを設定するカメラシステム。 The camera system according to claim 1 or 2,
The packet communication unit has a communication device that can variably set the maximum payload size representing the maximum packet size in packet communication on each of the data storage unit side and the host device side,
Preset the maximum payload size of one of the data storage unit side and higher-level device side communication devices to the maximum allowable value,
A camera system that sets the packet size determined by the determining means to the other maximum payload size of the communication device on the data storage unit side and the host device side.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139324A JP5725999B2 (en) | 2011-06-23 | 2011-06-23 | Camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139324A JP5725999B2 (en) | 2011-06-23 | 2011-06-23 | Camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013009078A JP2013009078A (en) | 2013-01-10 |
JP5725999B2 true JP5725999B2 (en) | 2015-05-27 |
Family
ID=47676088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011139324A Active JP5725999B2 (en) | 2011-06-23 | 2011-06-23 | Camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5725999B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4187425B2 (en) * | 2000-09-11 | 2008-11-26 | 富士フイルム株式会社 | Image control apparatus and digital camera |
JP2007324809A (en) * | 2006-05-31 | 2007-12-13 | Victor Co Of Japan Ltd | Network camera device |
JP2009094283A (en) * | 2007-10-09 | 2009-04-30 | Yamaha Motor Co Ltd | Method of producing mounting board, surface mounting machine, and mounting board production control device |
EP2355506A4 (en) * | 2008-12-01 | 2013-08-07 | Sony Corp | Transmitter apparatus and transmission data format deciding method |
-
2011
- 2011-06-23 JP JP2011139324A patent/JP5725999B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013009078A (en) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4517312B2 (en) | Memory access control device and imaging device | |
CN102999298B (en) | The method of a kind of camera module transmission view data and computer | |
CN103327252B (en) | Shooting device and shooting method thereof | |
US20110208913A1 (en) | Storage device and storage system | |
US9258485B2 (en) | Image sensor cropping images in response to cropping coordinate feedback | |
US20130107106A1 (en) | Electronic camera, computer readable medium recording imaging control program thereon and imaging control method | |
US10841460B2 (en) | Frame synchronization method for image data, image signal processing apparatus, and terminal | |
US20120140286A1 (en) | Data transmission apparatus, printer, information processing apparatus, and control method therefor | |
US9661225B2 (en) | Image capturing apparatus and method thereof | |
EP1892664A1 (en) | Image processing device and method | |
WO2010007790A1 (en) | Data transfer device and electronic camera | |
JP5725999B2 (en) | Camera system | |
US20220132028A1 (en) | Imaging apparatus, information processing method, and recording medium | |
JP2007037112A (en) | Imaging serial interface rom integrated circuit | |
WO2020116416A1 (en) | Signal processing device, electronic device, and signal processing method and program | |
US20210152740A1 (en) | Imaging apparatus | |
US10061282B2 (en) | Function control device, apparatus including same, and communication establishing method | |
JP2004362186A (en) | Template matching method and device | |
JP2008005415A (en) | Apparatus and method for transferring encoded data | |
US8719604B2 (en) | Data processing apparatus | |
US20130077867A1 (en) | Image processing apparatus, image processing method, and method of controlling image processing apparatus | |
JP6418860B2 (en) | Electronic device, control method and program | |
JP7104786B2 (en) | Image data storage system and image data storage method | |
JP6199690B2 (en) | Image processing system and work robot | |
JP5843168B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5725999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |