JP5817664B2 - 撮像装置、撮像方法及びプログラム - Google Patents
撮像装置、撮像方法及びプログラム Download PDFInfo
- Publication number
- JP5817664B2 JP5817664B2 JP2012156396A JP2012156396A JP5817664B2 JP 5817664 B2 JP5817664 B2 JP 5817664B2 JP 2012156396 A JP2012156396 A JP 2012156396A JP 2012156396 A JP2012156396 A JP 2012156396A JP 5817664 B2 JP5817664 B2 JP 5817664B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- synchronization signal
- timing
- signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 852
- 230000001360 synchronised effect Effects 0.000 claims description 180
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 72
- 230000000737 periodic effect Effects 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 43
- 238000012937 correction Methods 0.000 claims description 25
- 230000007704 transition Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 239000000872 buffer Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000003825 pressing Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 101100069385 Toxoplasma gondii GRA6 gene Proteins 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
Description
また、他の態様による撮像装置は、撮像手段と、所定の精度で周期的な同期信号を発生する同期信号発生手段と、撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生手段と、前記撮像指示信号発生手段が発生した撮像指示信号を前記同期信号発生手段が発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御手段と、時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信手段と、前記受信手段により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正手段と、を備え、前記同期信号発生手段は、時刻の遷移に合わせた周期的な同期信号である第1の同期信号と、撮像素子の駆動周期に合わせた周期的な同期信号である第2の同期信号とを発生し、前記タイミング補正手段は、前記受信手段が前記GPS信号を受信した際に、この受信したGPS信号に含まれる基準時刻の情報に基づいて前記第1の同期信号のタイミングを基準時刻に同期させるように補正し、この補正された前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、前記撮像制御手段は、撮像が指示された際に、前記同期信号発生手段によって発生された前記第2の同期信号に同期させて、前記撮像手段による画像データの撮像タイミングを決定することを特徴とする。
以下、本発明の第1実施形態を図面に基づいて説明する。
(構成)
図1は、本発明に係る第1実施形態としての撮像システム1のシステム構成を示す図である。
撮像システム1は、撮像タイミングを同期させて撮像することを指示するための信号(以下、「同期撮像指示信号」と言う)を互いに送受信して撮像を行う複数の撮像装置を備える。本実施形態では、複数の撮像装置は、上記同期撮像指示信号を送信する側(以下、「マスター側」とも言う)の撮像装置10Aと、上記同期撮像指示信号を受信する側(以下、「スレーブ側」とも言う)の撮像装置10Bと、で構成されている。また、本実施形態において、「同期撮像」とは、複数の撮像装置において、タイミングを同期させて撮像処理を実行することを言う。
撮像装置10A及び10Bは、GPS(Global Positioning System)衛星100から、同期撮像処理(後述)を実行するタイミングの基準となる基準時刻信号として、同一のGPS信号を夫々受信し、このGPS信号に同期させたフレーム同期信号を夫々発生し、このフレーム同期信号に合わせて、被写体200を夫々撮像する。
これにより、撮像システム1は、例えば、高速で移動する物体あるいは瞬間的な物理現象といった被写体200を、同一のタイミングで、互いに異なる角度から撮像された複数の画像データとして出力できる。また、撮像システム1は、GPS信号を基準として同期撮像を行うことで、撮像タイミングをより高精度に同期させることができる。
本実施形態において、撮像装置10Aと10Bとは、同一のハードウェアの構成を備える。したがって、以下の説明では、撮像装置10A及び10Bを個々に区別する必要が無い場合、これらをまとめて「撮像装置10」と呼ぶ。
図2は、第1実施形態に係る撮像装置10のハードウェアの構成を示すブロック図である。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ここで、本実施形態では、撮像装置10による画像の処理単位は一枚のフレームであり、具体的には、複数のフレームによって構成される動画像(後述するライブビュー画像)における1フレームである。即ち、本実施形態では、動画像を構成する各フレーム毎に同期撮像される。
例えば、画像処理部14は、後述する撮像部17から出力される画像データに対して、ノイズ低減、ホワイトバランス、手ぶれ補正等の画像処理を施す。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、後述するTG24が発生したフレーム同期信号に基づき、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部17の出力信号として出力される。
なお、以下、撮像部17の出力信号が、「画像データ」であるものとする。したがって、撮像部17からは画像データが出力されて、CPU11や画像処理部14等に適宜供給される。
表示部19は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部20は、記憶手段の一例であり、DRAM(Dynamic Random Access Memory)等で構成され、画像処理部14等から出力された画像のデータを一時的に記憶する。また、記憶部20は、画像処理部14等の処理に必要な各種データも記憶する。また、記憶部20は、後述するTG24によりフレーム同期信号が発生されると、後述する撮像制御部41により加算されるフレームカウンタのカウンタ値を記憶する。また、記憶部20には、所定数(例えば、10フレーム分)の画像データを順次格納するリングバッファが形成されている。
通信部21は、近距離無線通信や赤外線通信等によって、例えば、他の撮像装置10との間で、各種の信号を送受信する。
この所定時間(一定の周期)は、各撮像装置10で予め取り決められた値であり、かつ、各撮像装置10の間で情報を送受信してから必要な処理を開始可能になるまでの応答時間に対して十分に余裕を持った時間であれば、他の値であってもよい。また、計時される時刻はGPS信号に含まれる標準時刻を用いるので、各撮像装置10の間で共通した時刻となる。
また、GPSデバイス23は、GPSパルスをCPU11及びTG24に送出する。
TG24は、同期信号発生手段の一例であり、CPU11に制御され、GPSデバイス23により出力されたGPSパルスに合わせて、フレーム同期信号の発生を開始し、所定の周期でフレーム同期信号を繰り返し発生する。また、TG24は、2つのGPSパルス間(1秒00)において、所定回数のフレーム同期信号を発生させるための分周回路を有している。
即ち、撮像装置10A及び10BのTG24が、同一のタイミングで出力されたGPSパルスに合わせて、フレーム同期信号を夫々発生することで、撮像装置10A及び10Bでは、同一のタイミングで開始された同一周期のフレーム同期信号が繰り返し発生されている。
また、TG24は、発生したフレーム同期信号を撮像部17に出力する。
図4においては、図2の撮像装置10A及び10Bの構成のうち、CPU11と、撮像部17と、記憶部20と、GPSデバイス23と、TG24と、リムーバブルメディア31とのみが図示されている。
以下、撮像装置10Aまたは10Bと明記しない場合は、撮像装置10A及び10Bにおいて共通する機能的構成の説明である。
同期撮像処理の実行が制御される場合、CPU11においては、撮像制御部41、撮像指示信号発生部42及び送受信制御部43が機能する。
即ち、撮像制御部41は、フレーム同期信号に合わせて撮像部17による撮像動作を継続させる。なお、本実施形態において、撮像制御部41は、TG24によってフレーム同期信号が発生される毎に、撮像部17に1フレームの画像データを出力させる。
また、撮像制御部41は、撮像部17による撮像動作が継続されている間、フレームカウンタのカウンタ値の加算に対応して、記憶部20のリングバッファにおける画像データの記憶先アドレスを次のアドレスに更新し、更新したリングバッファのアドレスに、撮像部17により順次出力された画像データと、フレームカウンタのカウンタ値と、を対応付けて一時的に記憶する。このような一連の制御処理が、ここで言う「ライブビュー撮像処理」である。
ここで、ユーザは、全押し操作をする前に、AF(Auto Focus)処理等を撮像装置10Aに実行させるべく、操作部18のシャッタボタンを途中(下限に至らない所定の位置)まで押下する操作を行うことができる。なお、このように、シャッタボタンの途中(下限に至らない所定の位置)まで押下する操作を、以下、「半押し操作」または単に「半押し」と呼ぶ。
本実施形態においては、撮像装置10Aの撮像指示信号発生部42は、同期撮像指示信号を発生し当該同期撮像指示信号を撮像装置10Bに送信する。また、撮像装置10Bの撮像指示信号発生部42は、同期撮像指示信号を撮像装置10Aから受信する。
撮像指示信号発生部42は、撮像開始信号発生部42aと画像記録指示信号発生部42bとを備えている。
撮像開始信号発生部42aは、マスター側として動作する場合、GPSデバイス23が出力したGPSパルスに基づき、撮像部17によるライブビュー撮像処理開始の契機となる同期撮像指示信号(以下、適宜「撮像開始信号」と呼ぶ)を発生し、送受信制御部43と協働して、当該撮像開始信号を他の撮像装置に送信する。また、撮像開始信号発生部42aは、スレーブ側として動作する場合、送受信制御部43と協働して、撮像開始信号を他の撮像装置から受信する。
本実施形態においては、撮像装置10Aの撮像開始信号発生部42aは、撮像開始信号を発生し当該撮像開始信号を撮像装置10Bに送信する。また、撮像装置10Bの撮像開始信号発生部42aは、同期撮像指示信号を撮像装置10Aから受信する。
即ち、撮像装置10AのTG24は、撮像開始信号発生部42aが撮像開始信号を発生してから所定時間経過後に、フレーム同期信号の発生を開始する。また、撮像装置10BのTG24は、撮像開始信号を撮像装置10Aから受信してから所定時間経過後に、フレーム同期信号の発生を開始する。
例えば、図3の例で説明すると、TG24は、図3中の時刻T1で、撮像開始信号発生部42aが撮像開始信号を発生または受信した場合、その後、最初に出力されたGPSパルスに合わせて、フレーム同期信号の発生を開始する(図3中の時刻T2)。
本実施形態においては、撮像装置10Aの画像記録指示信号発生部42bは、画像記録指示信号を発生し、当該画像記録指示信号を撮像装置10Bに送信する。また、撮像装置10Bの画像記録指示信号発生部42bは、画像記録指示信号を撮像装置10Aから受信する。
また、画像記録指示信号発生部42bは、画像記録指示信号に、記録する画像データに対応するフレームカウンタのカウンタ値(以下、適宜「記録指示フレーム番号」と呼ぶ)を含めて、他の撮像装置に送信する。
具体的には、撮像制御部41は、画像記録指示信号発生部42bにより画像記録指示信号が発生されたときに、または、他の撮像装置から画像記録指示信号を受信したときに、記録指示フレーム番号に対応する画像データを記憶部20のリングバッファから読み出し、記録手段としてのリムーバブルメディア31に記録する。
図5は、図4の撮像システム1が実行する同期撮像処理の流れを説明するフローチャートである。
なお、GPSパルスの生成を開始する(時刻とタイミングを補正する)ためのGPS信号の受信は、通常のGPS機能(撮影時の位置情報を撮像画像のデータに付加して記憶する機能)が有効である場合には撮影の度に行われるが、省電力のために通常のGPS機能を無効にしている場合であっても、時刻とタイミングのずれが所定以上とならないような間隔で実行される。例えば、撮像装置の起動時(電源投入時)や、同期撮像を行う撮影モードに切り換えられた後等、実際に撮影を行うタイミングになるべく近く、かつ、建物の中では電波が受信できなくなることを考慮し、電波の受信可能な期間に余裕を持って行うことが望ましい。
ステップS1において、撮像制御部41は、記憶部20に記憶されたフレームカウンタのカウンタ値をリセットする。
なお、画像記録指示信号に含まれるカウンタ値は、標準ではシャッタボタンが全押しされた時のカウンタ値を用いるが、シャッタボタンが全押しされたタイミングより所定時間前のカウンタ値や、所定時間後のカウンタ値を用いるように指示したり、予め設定しておいたりすることも可能である。
ステップS21の処理は、ステップS1と同様である。
ステップS23において、撮像開始信号発生部42aは、送受信制御部43と協働して、撮像開始信号を撮像装置10Aから受信する。
ステップS24において、TG24は、撮像開始信号を受信した後、最初にGPSデバイス23により出力されたGPSパルスに合わせて、フレーム同期信号の発生を開始する。また、本ステップにおいて、撮像制御部41は、TG24によるフレーム同期信号の発生と同時に、ライブビュー撮像処理及びライブビュー表示処理を実行する。
ステップS25からステップS28の処理は、夫々ステップS5からステップS8と同様である。
ステップS31において、撮像制御部41は、撮像装置10Aから受信した画像記録指示信号に含まれるカウンタ値(記録指示フレーム番号)に対応する画像データを記憶部20のリングバッファから読み出し、リムーバブルメディア31に記録する。
撮像部17は、被写体を撮像し画像データを出力する。
GPSデバイス23は、時刻の基準となるGPS信号をGPS衛星100から受信する。
TG24は、GPSデバイス23が時刻の基準となるGPS信号をGPS衛星100から受信したタイミングに合わせて、周期的なフレーム同期信号を発生する。
撮像開始信号発生部42aは、撮像部17によるライブビュー撮像処理開始の契機となる同期撮像指示信号(撮像開始信号)を発生する。
撮像制御部41は、撮像装置10Aまたは10Bにおける撮像開始信号発生部42aが発生した撮像開始信号を取得した場合に、TG24より発生されたフレーム同期信号に合わせて、撮像部17による撮像タイミングを決定する。
そのため、撮像装置10A及び10Bは、共通の基準時刻となるGPS信号に同期させたフレーム同期信号に合わせて撮像された画像データを順次出力する。
したがって、複数の撮像装置において、撮像タイミングをより高精度に同期させることができる。
これにより、GPS信号の受信タイミングに対応し、標準時刻情報に同期したタイミングで撮像を行うことができる。
また、撮像制御部41は、撮像装置10Aまたは10Bの撮像開始信号発生部42aが発生した撮像開始信号を取得した後、TG24が最初にフレーム同期信号を出力したタイミングに合わせて、撮像部17による同期した画像データの撮像タイミングを決定する。
これにより、撮像開始信号の発生後、速やかにタイミングを同期させて、撮像を行うことができる。
また、TG24は、GPS信号が示す予め定めた時刻(例えば、毎正秒)となることを契機として、周期的にフレーム同期信号を発生する。
これにより、複数の撮像装置において、フレーム同期信号にずれが発生するのを防止できる。
また、撮像制御部41は、自装置または他の装置における撮像指示信号発生部42が発生した同期撮像指示信号を取得した後、TG24が最初に出力するフレーム同期信号のタイミング(即ち、最初にGPSパルスが出力されたタイミング)に合わせて、撮像タイミングの基準となるフレーム同期信号の出力タイミングを補正し、この補正されたフレーム同期信号に基づいて撮像部17による同期撮像の撮像タイミングを決定する。
これにより、撮像開始時にフレーム同期信号のずれを補正することが可能となる。
これにより、複数の撮像装置において、撮像タイミングを同期させた画像データを記録することができる。
また、本実施形態に係る撮像システム1の撮像装置10A及び10Bは、さらに、画像記録指示信号発生部42bを備える。
画像記録指示信号発生部42bは、ユーザによりシャッタボタンが全押しされると、画像データを記録する契機となる同期撮像指示信号(画像記録指示信号)を発生する。
撮像制御部41は、TG24によりフレーム同期信号が発生される毎に、フレーム同期信号に合わせて記憶部20に記憶されたフレームカウンタのカウンタ値を加算する。
また、撮像制御部41は、撮像部17により順次出力された画像データと、フレームカウンタのカウンタ値と、を対応付けて順次一時的に記憶部20のリングバッファに記憶する。
画像記録指示信号発生部42bは、画像データのカウンタ値を画像記録指示信号に含める。
また、撮像制御部41は、撮像装置10または10Bの画像記録指示信号発生部42bにより画像記録指示信号が発生されたときに、画像記録指示信号に含まれるカウンタ値に対応する画像データを記憶部20のリングバッファから読み出し、リムーバブルメディア31に記録する。
これにより、撮像装置10A及び10Bは、シャッタボタンが全押しされときよりも数フレーム前の画像データを記録することや、シャッタボタンが全押しされたときよりも数フレーム後の画像データを記録することが可能となる。
これにより、複数の撮像装置において、フレーム同期信号をより高精度に同期させることができる。
TG24は、GPSパルスを撮像装置の起動時及び撮影モードに切り換えられたときに受信し、受信したGPS信号によってフレーム同期信号を補正して出力する。
これにより、複数の撮像装置において同期撮像を行う際に、共通して受信可能なGPS信号によって適切なタイミングで撮像タイミングの補正を行うことができる。
また、標準時刻に同期し、かつ、予め決められた周期の同期信号は、百分の1秒単位で毎正秒毎に出力される。
これにより、複数の撮像装置において、より正確に撮像タイミングを同期させることができる。
次に、本発明の第2実施形態を図面に基づいて説明する。
(構成)
本発明の第2実施形態に係る撮像システム1は、第1実施形態と同様のシステム構成を有している。即ち、図1は、第2実施形態に係る撮像システム1のシステム構成も示している。なお、図1のシステム構成は説明済みであるので、ここではその説明は省略する。
さらに、第2実施形態に係る撮像装置10は、同期制御部25を備えている。そこで以下、図7及び図8を適宜参照しつつ、同期制御部25について説明する。
図7に示す第2実施形態の機能的構成と図4に示す第1実施形態の機能的構成とを比較するに、TG24に対する制御が、第1実施形態では、所定のソフトウェアを実行するCPU11によってなされたが、第2実施形態では、ハードウェアとして構成される同期制御部25によってなされる。
即ち、第2実施形態では、機能的には、GPSデバイス23とTG24との間に同期制御部25が設けられ、当該同期制御部25によってTG24が制御される点が、第1実施形態と異なる。
そこで、以下においては、撮像システム1の機能的構成のうち、第1実施形態と異なる点について主に説明し、第1実施形態と同一の点については適宜その説明は省略する。
ここで、フレーム同期信号は、より詳細には、クロックと、水平同期信号と、垂直同期信号とから構成される。
撮像装置10A及び10Bの各々において、TG24からのフレーム同期信号の発生タイミングが、各々の同期制御部25で制御されることによって、各々の撮像タイミングが高精度に同期する。
図8は、第2実施形態に係るTG24及び同期制御部25の機能的構成の詳細を示す機能ブロック図である。
なお、第2実施形態では、TG24及び同期制御部25はハードウェアとして構成されているので、各機能ブロックも電子回路等のハードウェアにより構成されている。即ち、図8は、第2実施形態に係るTG24及び同期制御部25の回路構成図と把握してもよい。
L/H出力部103は、水平カウンタ102のカウント値が設定値に対して、同一の場合にはH(ハイ)レベルとなり、それ以外の場合にはL(ロー)レベルとなる水平同期信号を生成して、当該水平同期信号をフレーム同期信号の1つとして撮像部71に出力する。即ち、水平カウンタ102のカウント値が設定値よりも低い間はLレベルとなり、当該カウント値が設定値と同一となったタイミングでHレベルになるが、その後当該カウント値がリセットされるのでLレベルに戻る。従って、水平カウンタ102のカウント値が設定値と同一となったタイミングで立ち上がるパルスが、水平同期信号として撮像部17に供給される。
垂直カウンタ106は、垂直同期信号の出力制御用のカウンタであり、比較部104からパルスが供給される毎に、即ち水平カウンタ102のカウント値が設定値(設定値供給部105から供給される値)と同一となる毎に、カウント値を1ずつインクリメントし、当該カウント値をL/H出力部107に供給する。
L/H出力部107は、垂直カウンタ106のカウント値が設定値に対して、同一の場合にはH(ハイ)レベルとなり、それ以外の場合にはL(ロー)レベルとなる垂直同期信号を生成して、当該垂直同期信号をフレーム同期信号の1つとして撮像部71に出力する。即ち、垂直カウンタ106のカウント値が設定値よりも低い間はLレベルとなり、当該カウント値が設定値と同一となったタイミングでHレベルになるが、その後当該カウント値がリセットされるのでLレベルに戻る。従って、垂直カウンタ106のカウント値が設定値と同一となったタイミングで立ち上がるパルスが、垂直同期信号として撮像部17に供給される。
撮像装置10A及び10Bの各々の同期制御部25は、このように非常に高精度なPPS信号に基づいて、リセット基準信号を生成して各々のTG24に同期出力する。すると、撮像装置10A及び10Bの各々のTG24は、垂直カウンタ106を同期してリセットするので、フレーム同期信号も同期して発生させる。このため、撮像装置10A及び10Bの各々の撮像部17は、共通の基準時刻を示すPPS信号に同期したフレーム同期信号に合わせて、撮像動作を夫々行う。
このようにして、撮像装置10A及び10Bにおいて、撮像タイミングをより高精度に同期させることが可能になる。
同期制御部25は、図8に示すように、リセット基準生成部121と、撮像指示信号受信部122と、PPS合成部123と、L/H出力部124と、CLKOUT部125と、を備えている。
リセット基準生成部121は、同期垂直カウンタ131と、設定値供給部132と、比較部133と、L/H出力部134と、を備えている。
比較部133は、同期垂直カウンタ131のカウント値と、設定値供給部132から供給される設定値とを比較し、同一値となったときに例えばパルスをL/H出力部134及び同期垂直カウンタ131に供給する。比較部133からパルスが供給された同期垂直カウンタ131は、カウント値をリセットする。
L/H出力部134は、比較部133の比較の結果が同一値となる場合にはH(ハイ)レベルとなり、それ以外の場合にはL(ロー)レベルとなるリセット基準信号を生成してTG24の垂直カウンタ106に供給する。即ち、同期垂直カウンタ131のカウント値が設定値よりも低い間(設定値と異なるという比較結果の間)はLレベルとなり、当該カウント値が設定値と同一になったタイミングでHレベルになるが、その後当該カウント値がリセットされるのでLレベルに戻る。従って、同期垂直カウンタ131のカウント値が設定値と同一となったタイミング(そのように比較部133で判断されたタイミング)で立ち上がるパルスが、リセット基準信号としてTG24の垂直カウンタ106に供給される。垂直カウンタ106は、このリセット基準信号を受信すると(パルスの立ち上がりのタイミングで)、カウント値をリセットする。
具体的には、第2実施形態においては、マスター側の撮像装置10Aの操作部18(図6)が操作されて同期撮影の開始が指示されると(指示される同期撮影には、1回の静止画撮影の実行、連写撮影の開始、動画撮影の開始の他、ライブビュー表示のための撮像の開始、ライブビュー表示を伴う撮影モードへの切り換え等も含まれる)、撮像指示信号発生部42の撮像開始信号発生部42a(図7)が、マスター側として動作する場合、撮像開始信号を発生して、送受信制御部43(図7)と協働して当該撮像開始信号を他の撮像装置10Bに送信すると共に、同期制御部25の撮像指示信号受信部122に供給する。この場合、撮像指示信号受信部122は、マスター側として動作して、当該撮像開始信号を受信する。
また、撮像開始信号発生部42aは、スレーブ側として動作する場合、撮像開始信号を、送受信制御部43と協働して他の撮像装置10Aから受信して、同期制御部25の撮像指示信号受信部122に供給する。この場合、撮像指示信号受信部122は、スレーブ側として動作して、当該撮像開始信号を受信する。
つまり、PPS合成部123は、撮像指示信号(撮像開始信号)が出力されている間(アクティブレベルとなっている間)だけPPS信号を出力させる(1秒毎のパルスを出力させる)ような合成、即ち論理積をとるような合成をする。これにより、PPS信号に同期した撮像指示信号(撮像開始信号)が出力されることになる。
このようにして、TG24の動作タイミングが補正された後、撮像指示信号(撮像開始信号)によって指示される同期撮影の内容に応じて実際の撮像動作が開始される。
具体的には、撮像指示信号(撮像開始信号)によって1回の静止画撮影の実行が指示された場合には1回の同期した静止画像の撮像及びそのデータの記録が行われ、連写撮影の開始が指示された場合には複数回の同期した静止画像の撮像及びそれらの各データの記録が行われ、動画撮影の開始が指示された場合には同期した動画像の撮像及びそのデータの記録が行われる。また、ライブビュー表示のための撮像の開始やライブビュー表示を伴う撮影モードへの切り換えが指示された場合には、ライブビュー表示のための撮像動作が開始される。
その結果、撮像装置10A及び10Bの各々の同期垂直カウンタ131は、カウント動作を同期して行うことができる。上述したように、垂直カウンタ106をリセットするためのリセット基準信号は、同期垂直カウンタ131のカウント動作に基づいて生成される。即ち、撮像装置10A及び10Bの各々の同期制御部25は、このように非常に高精度なPPS信号に基づいて、リセット基準信号を同期して各々のTG24に出力する。これにより、上述したように、撮像装置10A及び10Bにおいて、撮像タイミングをより高精度に同期させることが可能になる。
これに対して、ライブビュー表示のための撮像動作が開始されていない状態でシャッタボタンが全押しされた場合や、ライブビュー表示のための撮像動作が開始されている状態でシャッタボタンの全押し後に撮像されたフレームの画像データを記録する場合であっても、さらなる同期の精度が必要な場合等においては、全押し後、次のPPS信号(GPSパルスのHレベルの部分)が出力されたタイミングで、撮像装置10A及び10Bの各々のL/H出力部124はリセット基準信号を同期して出力してもよい。この場合、撮像装置10A及び10Bの各々の同期垂直カウンタ131のカウント値が全押し後にリセットされる。その結果、上述したように、撮像装置10A及び10Bの各々の同期制御部25は、非常に高精度なPPS信号に基づいて、リセット基準信号を同期して各々のTG24に出力する。これにより、撮像装置10A及び10Bにおいて、全押し後の撮像タイミングをさらに高精度に同期させることが可能になる。
次に、第2実施形態に係る撮像システム1の同期撮像処理について説明する。
第2実施形態に係る同期撮像処理は、第1実施形態と基本的に同様であるが、若干異なる点がある。そこで以下、第2実施形態に係る撮像システム1の同期撮像処理のうち、第1実施形態と異なる点についてのみ説明し、第1実施形態と同様の点については適宜その説明は省略する。
なお、第2実施形態では、上述したように、TG24の動作タイミングが補正された後、撮像指示信号(撮像開始信号)によって指示される同期撮影の内容に応じて実際の撮像動作が開始されるわけだが、ここでは第1実施形態との比較が容易となるように、撮像開始信号によってライブビュー撮像処理開始が指示されるものとする。
撮像制御部41は、記憶部20に記憶されたフレームカウンタのカウンタ値をリセットする(図5のステップS1に相当)。すると、第2実施形態ではGPSパルス(PPS信号)の出力を待たずに(図5のステップS2の処理は実行されずに)、撮像開始信号発生部42aは、撮像部17によるライブビュー撮像処理開始の契機となる撮像指示信号(撮像開始信号)を発生し、送受信制御部43と協働して、当該撮像開始信号を撮像装置10Bに送信する(図5のステップS3に相当)。
撮像部17は、被写体を撮像し画像データを出力する。
GPSデバイス23は、GPS信号をGPS衛星100から受信し、当該GPS信号に基づいて、時刻の基準となるPPS信号を生成する。
撮像開始信号発生部42aは、撮像部17によるライブビュー撮像処理開始の契機となる同期撮像指示信号(撮像開始信号)を発生する。
TG24は、垂直カウンタ106を有し、当該垂直カウンタ106のカウント値に基づいて、周期的なフレーム同期信号の1つとして垂直同期信号を発生する。
撮像制御部41は、TG24より発生されたフレーム同期信号に合わせて、撮像部17による撮像タイミングを決定する。
同期制御部35は、同期垂直カウンタ131を有し、当該同期垂直カウンタ131を制御することでTG24の垂直カウンタ106をリセットするためのリセット基準信号を生成する。
また、同期制御部35は、自装置または他の装置における撮像開始信号発生部42aが発生した同期撮像指示信号(撮像開始信号)を取得した後に、GPSデバイス23がPPS信号を出力したタイミングに合わせて、同期垂直カウンタ131をリセットする制御を実行する。
その結果、撮像装置10A及び10Bの各々の同期垂直カウンタ131は、カウント動作を同期して行うことができる。ここで、垂直カウンタ106をリセットするためのリセット基準信号は、同期垂直カウンタ131のカウント動作に基づいて生成される。即ち、撮像装置10A及び10Bの各々の同期制御部25は、このように非常に高精度なPPS信号に基づいて、リセット基準信号を同期して各々のTG24に出力する。これにより、撮像装置10A及び10Bにおいて、撮像タイミングをより高精度に同期させることが可能になる。
また、上述の第1及び第2の実施形態では、マスター側の撮像装置とスレーブ側の撮像装置とを、同一のハードウェアの構成としているが、これに限らず、マスター側の撮像装置を信号の送信に特化した構成とし、スレーブ側の撮像装置を信号の受信に特化した構成とすることもできる。
ただし、第2実施形態における同期制御部25が採用される場合には、垂直カウンタ106のリセットタイミングとして非常に高精度が要求される。従って、当該要求に応えるためには、基準時刻信号としては、第2実施形態と同様に、時刻精度が500ナノ秒以下と非常に高精度な、GPS衛星100から送信されるGPS信号を採用すると好適である。
この場合の回路構成は特に限定されず、例えば図示はしないが、同期制御部25のリセット基準生成部121は、TG24の垂直カウンタ106のリセット用として第2実施形態と同様に、同期垂直カウンタ131と、設定値供給部132と、比較部133と、L/H出力部134と、を備えると共に、さらに、TG24の水平カウンタ102のリセット用として、同期水平カウンタと、設定値供給部と、比較部と、L/H出力部と、を備えるようにしてもよい。この場合、クロックCLKは、TG24の水平カウンタ102のリセット用の同期水平カウンタに入力される。そして、水平カウンタ102と設定値との比較部による比較結果が、同期垂直カウンタ131に供給される。即ち、同期垂直カウンタ131は、同期水平カウンタのカウンタ値が設定値と一致すると、カウンタ値を1だけインクリメントする。
なお、PLL回路を搭載可能な同期制御部25とは、図8の第2実施形態に特に限定されず、上述のTG24の水平カウンタ102のリセット用の同期水平カウンタを搭載しているもの等も含む。
例えば、本発明は、同期撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果を奏することが可能になる。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果がより顕著なものとなる。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果がより顕著なものとなる。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果がより顕著なものとなる。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果がより顕著なものとなる。
さらに、前記同期信号発生部は、前記撮像指示部が撮像を指示した際に、前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、前記撮像制御部は、前記同期撮像指示信号を取得した際に、前記同期信号発生部による補正後の前記第2の同期信号のタイミングに同期させて前記撮像部による撮像を実行させるようにしてもよい。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果がさらに一段と顕著なものとなる。
これにより、複数の撮像装置において、撮像タイミングをより高精度に同期させるという効果を奏することが可能になる。
換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置10A及び10Bに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等により構成される全体的な装置を意味するものとする。
[付記1]
撮像手段と、
時刻の基準となる基準時刻の情報を含むGPS信号をGPS衛星から受信する受信手段と、
前記受信手段により受信されたGPS信号に含まれる基準時刻の情報に基づいて、前記撮像手段による撮像タイミングを基準時刻に同期させる撮像制御手段と、
を備えることを特徴とする撮像装置。
[付記2]
前記受信手段により受信されたGPS信号に含まれる基準時刻の情報に基づいて、前記基準時刻に同期した周期的な同期信号を発生する同期信号発生手段と、
撮像を指示する撮像指示手段と、
をさらに備え、
前記撮像制御手段は、前記撮像指示手段が撮像を指示した際に、前記同期信号発生手段によって発生された前記同期信号に同期させて、前記撮像手段による画像データの撮像タイミングを決定することを特徴とする付記1に記載の撮像装置。
[付記3]
前記撮像指示手段は、撮像タイミングを複数の装置間で同期させて撮像することを指示する同期撮像指示信号を発生する撮像指示信号発生手段を有し、
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記同期撮像指示信号を取得した場合に、前記同期信号発生手段によって発生された前記同期信号に同期させて、前記撮像手段による他の装置と同期した画像データの撮像タイミングを決定することを特徴とする付記2に記載の撮像装置。
[付記4]
前記撮像制御手段は、自装置における前記撮像指示信号発生手段が前記同期撮像指示信号を発生した場合には、当該同期撮像指示信号の発生タイミングに合わせて他の装置に同期撮像指示信号を送信し、他の装置から同期撮像指示信号を受信した場合には、この同期撮像指示信号の受信タイミングをさらに前記同期信号に同期させることで、自装置と他の装置の撮影タイミングを同期させることを特徴とする付記3に記載の撮像装置。
[付記5]
前記GPS信号には、該GPS信号が発生した時の標準時刻を示す標準時刻情報を含み、
前記同期信号発生手段は、前記GPS信号に含まれる標準時刻情報と、該GPS信号の受信タイミングとに基づき、標準時刻に同期し、かつ、予め定められた周期の同期信号を発生することを特徴とする付記3から4のいずれか1つに記載の撮像装置。
[付記6]
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記同期撮像指示信号を取得した後、前記同期信号発生手段が最初に前記同期信号を出力したタイミングに合わせて、前記撮像手段による同期した画像データの撮像タイミングを決定することを特徴とする付記3から5のいずれか1つに記載の撮像装置。
[付記7]
前記同期信号発生手段は、前記GPS信号により特定される基準時刻が示す予め定めた時刻となることを契機として、周期的に前記同期信号を発生することを特徴とする付記3から6のいずれか1つに記載の撮像装置。
[付記8]
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記同期撮像指示信号を取得した後、前記同期信号発生手段が最初に出力する同期信号のタイミングに合わせて、撮像タイミングの基準となるフレーム同期信号の出力タイミングを補正し、この補正されたフレーム同期信号に基づいて前記撮像手段による同期した画像データの撮像タイミングを決定することを特徴とする付記3から7のいずれか1つに記載の撮像装置。
[付記9]
前記同期撮像指示信号は、前記撮像制御手段による連続した撮像を開始する契機となる撮像開始信号であり、
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記撮像開始信号を取得した場合に、前記同期信号発生手段によって発生された前記同期信号に合わせて、前記撮像手段に画像データを順次出力させることを特徴とする付記3から8のいずれか1つに記載の撮像装置。
[付記10]
前記同期撮像指示信号は、前記撮像手段によって撮像された画像のデータを記録する契機となる画像記録指示信号であり、
前記撮像制御手段は、前記補正されたフレーム同期信号が発生される毎に、前記フレーム同期信号に合わせてカウンタ値を加算し、前記撮像手段により順次出力された前記画像データと、前記カウンタ値と、を対応付けて記憶手段に記憶し、
前記撮像指示信号発生手段は、前記画像のデータの前記カウンタ値を前記画像記録指示信号に含め、
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記画像記録指示信号を取得した場合に、当該画像記録指示信号に含まれる前記カウンタ値に対応する前記画像データを前記記憶手段から読み出し、記録手段に記録することを特徴とする付記8に記載の撮像装置。
[付記11]
前記撮像制御手段は、前記画像記録指示信号に含まれる前記カウンタ値から、所定数を減算した前記カウンタ値または所定数を加算した前記カウンタ値に対応する前記画像データを前記記憶手段から読み出し、前記記録手段に記録することを特徴とする付記10に記載の撮像装置。
[付記12]
前記同期信号発生手段は、前記GPS信号を所定の間隔で受信し、前記GPS信号を受信する毎に、当該GPS信号によって前記同期信号を補正して出力する付記2から11のいずれか1つに記載の撮像装置。
[付記13]
前記同期信号発生手段は、前記GPS信号を、撮像装置の起動時及び撮影モードに切り換えられたときに受信し、受信した当該GPS信号によって前記同期信号を補正して出力する付記2から12のいずれか1つに記載の撮像装置。
[付記14]
前記基準時刻に同期し、かつ、予め決められた周期の同期信号は、百分の1秒単位で毎正秒毎に出力されることを特徴とする付記2に記載の撮像装置。
[付記15]
前記同期信号発生手段は、時刻の遷移に合わせた周期的な同期信号である第1の同期信号と、撮像素子の駆動周期に合わせた周期的な同期信号である第2の同期信号とを発生し、前記受信手段が前記GPS信号を受信した際に、この受信したGPS信号に含まれる基準時刻の情報に基づいて前記第1の同期信号のタイミングを基準時刻に同期させるように補正し、この補正された前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、
前記撮像制御手段は、前記撮像指示手段が撮像を指示した際に、前記同期信号発生手段によって発生された前記第2の同期信号に同期させて、前記撮像手段による画像データの撮像タイミングを決定することを特徴とする付記3に記載の撮像装置。
[付記16]
前記同期信号発生手段は、前記撮像指示手段が撮像を指示した際に、前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、
前記撮像制御手段は、前記同期撮像指示信号を取得した際に、前記同期信号発生手段による補正後の前記第2の同期信号のタイミングに同期させて前記撮像手段による撮像を実行させることを特徴とする付記15に記載の撮像装置。
[付記17]
前記同期信号発生手段は、第1カウンタを有し、当該第1カウンタを制御することで、前記同期信号の1つとしての垂直同期信号を発生し、
第2カウンタを有し、自装置または他の装置における前記撮像指示信号発生手段が発生した前記同期撮像指示信号を取得した後に、前記受信手段が前記GPS信号を受信したタイミングに合わせて、前記第2カウンタをリセットするためのリセット基準信号を生成する同期制御手段をさらに備えることを特徴とする付記3に記載の撮像装置。
[付記18]
前記同期信号発生手段は、さらに、第3カウンタを有し、当該第3カウンタを制御することで、前記同期信号の1つとしての水平同期信号を発生し、
前記同期制御手段は、さらに、第4カウンタを有し、当該第4カウンタを制御することで前記第3カウンタをリセットするためのリセット基準信号を生成すると共に、前記第2カウンタをリセットするタイミングで前記第4カウンタをリセットすることを特徴とする付記17に記載の撮像装置。
[付記19]
前記同期信号発生手段により発生される前記同期信号には、クロックがさらに含まれており、
前記同期制御手段は、前記受信手段に受信される前記GPS信号に基づいて前記クロックを生成する生成手段をさらに有することをと特徴とする付記18に記載の撮像装置。
[付記20]
撮像手段を備える撮像装置が実行する撮像方法であって、
時刻の基準となる基準時刻の情報を含むGPS信号をGPS衛星から受信する受信ステップ、
前記受信ステップにおいて受信されたGPS信号に含まれる基準時刻の情報に基づいて、前記撮像手段による撮像タイミングを基準時刻に同期させる撮像制御ステップと、
を含むことを特徴とする撮像方法。
[付記21]
撮像手段を備える撮像装置に備えられるコンピュータに、
時刻の基準となる基準時刻の情報を含むGPS信号をGPS衛星から受信する受信ステップ、
前記受信ステップにおいて受信されたGPS信号に含まれる基準時刻の情報に基づいて、前記撮像手段による撮像タイミングを基準時刻に同期させる撮像制御ステップと、
を実現させることを特徴とするプログラム。
[付記22]
撮像手段と、
時刻の基準となる基準時刻信号を外部から受信する基準時刻信号受信手段と、
前記基準時刻信号受信手段により受信された基準時刻信号に基づいて、前記撮像手段による撮像タイミングを基準時刻に同期させる撮像制御手段と、
前記基準時刻信号受信手段が前記基準時刻信号を外部から受信したタイミングに合わせて、前記基準時刻に同期した周期的な同期信号を発生する同期信号発生手段と、
撮像タイミングを同期させて撮像することを指示する同期撮像指示信号を発生する撮像指示信号発生手段と、
を備え、
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記同期撮像指示信号を取得した場合に、前記同期信号発生手段によって発生された前記同期信号に合わせて、前記撮像手段による同期した画像データの撮像タイミングを決定することを特徴とする撮像装置。
[付記23]
撮像手段を備える撮像装置が実行する撮像方法であって、
時刻の基準となる基準時刻信号を外部から受信する基準時刻信号受信ステップと、
前記基準時刻信号受信ステップにおいて受信された基準時刻信号に基づいて前記撮像手段による撮像タイミングを基準時刻に同期させる撮像制御ステップと、
前記基準時刻信号受信ステップにおいて前記基準時刻信号が外部から受信されたタイミングに合わせて、前記基準時刻に同期した周期的な同期信号を発生する同期信号発生ステップと、
撮像タイミングを同期させて撮像することを指示する同期撮像指示信号を発生する撮像指示信号発生ステップと、
を含む、
前記撮像制御ステップは、自装置または他の装置における前記撮像指示信号発生ステップにおいて発生した前記同期撮像指示信号を取得した場合に、前記同期信号発生ステップにおいて発生した前記同期信号に合わせて、前記撮像手段による同期した画像データの撮像タイミングを決定するステップを含むことを特徴とする撮像方法。
[付記24]
撮像手段を備える撮像装置に備えられるコンピュータに、
撮像手段と、
時刻の基準となる基準時刻信号を外部から受信する基準時刻信号受信手段と、
前記基準時刻信号受信手段により受信された基準時刻信号に基づいて、前記撮像手段による撮像タイミングを基準時刻に同期させる撮像制御手段と、
前記基準時刻信号受信手段が前記基準時刻信号を外部から受信したタイミングに合わせて、前記基準時刻に同期した周期的な同期信号を発生する同期信号発生手段と、
撮像タイミングを同期させて撮像することを指示する同期撮像指示信号を発生する撮像指示信号発生手段と、
を実現させ、
前記撮像制御手段として、自装置または他の装置における前記撮像指示信号発生手段が発生した前記同期撮像指示信号を取得した場合に、前記同期信号発生手段によって発生された前記同期信号に合わせて、前記撮像手段による同期した画像データの撮像タイミングを決定する処理を実行させることを特徴とするプログラム。
10B・・・撮像装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・画像処理部、15・・・バス、16・・・入出力インターフェース、17・・・撮像部、18・・・操作部、19・・・表示部、20・・・記憶部、21・・・通信部、22・・・ドライブ、23・・・GPSデバイス、24・・・TG、25・・・同期制御部、31・・・リムーバブルメディア、41・・・撮像制御部、42・・・撮像指示信号発生部、42a・・・撮像開始信号発生部、42b・・・画像記録指示信号発生部、43・・・送受信制御部、100・・・GPS衛星、101・・・CLKIN部、102・・・水平カウンタ、103・・・L/H出力部、104・・・比較部、105・・・設定値供給部、106・・・垂直カウンタ、107・・・L/H出力部、121・・・リセット基準生成部、122・・・撮像指示信号受信部、123・・・PPS合成部、124・・・L/H出力部、125・・・CLKOUT部、131・・・同期垂直カウンタ、132・・・設定値供給部、133・・・比較部、134・・・L/H出力部、200・・・被写体
Claims (19)
- 撮像手段と、
所定の精度で周期的な同期信号を発生する同期信号発生手段と、
撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生手段と、
前記撮像指示信号発生手段が発生した撮像指示信号を前記同期信号発生手段が発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御手段と、
時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信手段と、
前記受信手段により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正手段と、
前記同期信号発生手段が発生している周期的な同期信号をカウントするカウント手段と、
を備え、
前記撮像制御手段は、前記撮像指示信号発生手段が発生した撮像指示信号を前記カウント手段がカウントするカウント値と前記同期信号発生手段が発生している周期的な同期信号とに同期させて前記撮像手段による撮像タイミングを決定し、
前記タイミング補正手段は、前記GPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを補正するとともに、前記GPS信号が示す基準時刻に基づいて、前記カウント手段がカウントするカウント値を設定する、
ことを特徴とする撮像装置。 - 前記撮像制御手段は、前記撮像指示信号発生手段が発生した撮像指示信号を、前記カウント手段がカウントするカウント値に基づいて第1の精度で同期させるとともに、前記同期信号発生手段が発生している周期的な同期信号に基づいて前記第1の精度よりも高い第2の精度で同期させて前記撮像手段による撮像タイミングを決定する、
ことを特徴とする請求項1に記載の撮像装置。 - 撮像手段と、
所定の精度で周期的な同期信号を発生する同期信号発生手段と、
撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生手段と、
前記撮像指示信号発生手段が発生した撮像指示信号を前記同期信号発生手段が発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御手段と、
時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信手段と、
前記受信手段により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正手段と、
を備え、
前記同期信号発生手段は、時刻の遷移に合わせた周期的な同期信号である第1の同期信号と、撮像素子の駆動周期に合わせた周期的な同期信号である第2の同期信号とを発生し、
前記タイミング補正手段は、前記受信手段が前記GPS信号を受信した際に、この受信したGPS信号に含まれる基準時刻の情報に基づいて前記第1の同期信号のタイミングを基準時刻に同期させるように補正し、この補正された前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、
前記撮像制御手段は、撮像が指示された際に、前記同期信号発生手段によって発生された前記第2の同期信号に同期させて、前記撮像手段による画像データの撮像タイミングを決定する、
ことを特徴とする撮像装置。 - 前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記撮像指示信号を取得した場合に、前記タイミング補正手段により補正された前記同期信号発生手段が発生する前記同期信号に同期させて、前記撮像手段による他の装置と同期した画像データの撮像タイミングを決定することを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
- 前記撮像制御手段は、自装置における前記撮像指示信号発生手段が前記撮像指示信号を発生した場合には、当該撮像指示信号の発生タイミングに合わせて他の装置に撮像指示信号を送信し、他の装置から撮像指示信号を受信した場合には、この撮像指示信号の受信タイミングをさらに前記同期信号に同期させることで、自装置と他の装置の撮影タイミングを同期させることを特徴とする請求項4に記載の撮像装置。
- 前記撮像指示信号は、前記撮像制御手段による連続した撮像を開始する契機となる撮像開始信号であり、
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記撮像開始信号を取得した場合に、前記同期信号発生手段によって発生された前記同期信号に合わせて、前記撮像手段に画像データを順次出力させることを特徴とする請求項1から5のいずれか1項に記載の撮像装置。 - 前記撮像指示信号は、前記撮像手段によって撮像された画像のデータを記録する契機となる画像記録指示信号であり、
前記撮像制御手段は、前記撮像手段により順次出力された画像データと、前記カウント手段によりカウントされるカウンタ値と、を対応付けて記憶手段に記憶し、
前記撮像指示信号発生手段は、前記画像のデータの前記カウンタ値を前記画像記録指示信号に含め、
前記撮像制御手段は、自装置または他の装置における前記撮像指示信号発生手段が発生した前記画像記録指示信号を取得した場合に、当該画像記録指示信号に含まれる前記カウンタ値に対応する前記画像データを前記記憶手段から読み出し、記録手段に記録することを特徴とする請求項2に記載の撮像装置。 - 前記撮像制御手段は、前記画像記録指示信号に含まれる前記カウンタ値から、所定数を減算した前記カウンタ値または所定数を加算した前記カウンタ値に対応する前記画像データを前記記憶手段から読み出し、前記記録手段に記録することを特徴とする請求項7に記載の撮像装置。
- 前記タイミング補正手段は、前記GPS信号を所定の間隔で受信し、前記GPS信号を受信する毎に、当該GPS信号によって前記同期信号を補正して出力する請求項1から8のいずれか1項に記載の撮像装置。
- 前記同期信号発生手段は、前記GPS信号を、撮像装置の起動時及び撮影モードに切り換えられたときに受信し、受信した当該GPS信号によって前記同期信号を補正して出力する請求項1から9のいずれか1項に記載の撮像装置。
- 前記タイミング補正手段は、前記同期信号発生手段が発生する周期的な同期信号を、前記基準時刻に同期させて、百分の1秒単位で毎正秒毎に出力するように補正することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
- 前記タイミング補正手段は、撮像が指示された際に、前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、
前記撮像制御手段は、前記撮像指示信号を取得した際に、前記同期信号発生手段による補正後の前記第2の同期信号のタイミングに同期させて前記撮像手段による撮像を実行させることを特徴とする請求項3に記載の撮像装置。 - 前記同期信号発生手段は、第1カウンタを有し、当該第1カウンタを制御することで、前記同期信号の1つとしての垂直同期信号を発生し、
第2カウンタを有し、自装置または他の装置における前記撮像指示信号発生手段が発生した前記撮像指示信号を取得した後に、前記受信手段が前記GPS信号を受信したタイミングに合わせて、前記第2カウンタをリセットするためのリセット基準信号を生成する同期制御手段をさらに備えることを特徴とする請求項1から12のいずれか1項に記載の撮像装置。 - 前記同期信号発生手段は、さらに、第3カウンタを有し、当該第3カウンタを制御することで、前記同期信号の1つとしての水平同期信号を発生し、
前記同期制御手段は、さらに、第4カウンタを有し、当該第4カウンタを制御することで前記第3カウンタをリセットするためのリセット基準信号を生成すると共に、前記第2カウンタをリセットするタイミングで前記第4カウンタをリセットすることを特徴とする請求項13に記載の撮像装置。 - 前記同期信号発生手段により発生される前記同期信号には、クロックがさらに含まれており、
前記同期制御手段は、前記受信手段に受信される前記GPS信号に基づいて前記クロックを生成する生成手段をさらに有することをと特徴とする請求項14に記載の撮像装置。 - 撮像手段を備える撮像装置が実行する撮像方法であって、
所定の精度で周期的な同期信号を発生する同期信号発生処理と、
撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生処理と、
前記撮像指示信号発生処理で発生した撮像指示信号を前記同期信号発生処理により発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御処理と、
時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信処理と、
前記受信処理により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生処理により発生する周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正処理と、
前記同期信号発生処理により発生している周期的な同期信号をカウントするカウント処理と、
を含み、
前記撮像制御処理は、前記撮像指示信号発生処理により発生した撮像指示信号を前記カウント処理によりカウントされるカウント値と前記同期信号発生処理により発生している周期的な同期信号とに同期させて前記撮像手段による撮像タイミングを決定し、
前記タイミング補正処理は、前記GPS信号が示すタイミングに基づいて、前記同期信号発生処理により発生している周期的な同期信号のタイミングのずれを補正するとともに、前記GPS信号が示す基準時刻に基づいて、前記カウント処理によりカウントされるカウント値を設定する、
ことを特徴とする撮像方法。 - 撮像手段を備える撮像装置に備えられるコンピュータを、
所定の精度で周期的な同期信号を発生する同期信号発生手段、
撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生手段、
前記撮像指示信号発生手段が発生した撮像指示信号を前記同期信号発生手段が発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御手段、
時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信手段、
前記受信手段により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正手段、
前記同期信号発生手段が発生している周期的な同期信号をカウントするカウント手段
として機能させ、
前記撮像制御手段は、前記撮像指示信号発生手段が発生した撮像指示信号を前記カウント手段がカウントするカウント値と前記同期信号発生手段が発生している周期的な同期信号とに同期させて前記撮像手段による撮像タイミングを決定し、
前記タイミング補正手段は、前記GPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを補正するとともに、前記GPS信号が示す基準時刻に基づいて、前記カウント手段がカウントするカウント値を設定する、
ことを特徴とするプログラム。 - 撮像手段を備える撮像装置が実行する撮像方法であって、
所定の精度で周期的な同期信号を発生する同期信号発生処理と、
撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生処理と、
前記撮像指示信号発生処理で発生した撮像指示信号を前記同期信号発生処理により発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御処理と、
時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信処理と、
前記受信処理により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生処理により発生する周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正処理と、
を含み、
前記同期信号発生処理は、時刻の遷移に合わせた周期的な同期信号である第1の同期信号と、撮像素子の駆動周期に合わせた周期的な同期信号である第2の同期信号とを発生し、
前記タイミング補正処理は、前記受信処理により前記GPS信号を受信した際に、この受信したGPS信号に含まれる基準時刻の情報に基づいて前記第1の同期信号のタイミングを基準時刻に同期させるように補正し、この補正された前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、
前記撮像制御処理は、撮像が指示された際に、前記同期信号発生処理によって発生された前記第2の同期信号に同期させて、前記撮像手段による画像データの撮像タイミングを決定する、
ことを特徴とする撮像方法。 - 撮像手段を備える撮像装置に備えられるコンピュータを、
所定の精度で周期的な同期信号を発生する同期信号発生手段、
撮像を指示する撮像指示信号を任意のタイミングで発生する撮像指示信号発生手段、
前記撮像指示信号発生手段が発生した撮像指示信号を前記同期信号発生手段が発生している周期的な同期信号に同期させて前記撮像手段による撮像タイミングを決定する撮像制御手段、
時刻の基準となる基準時刻のタイミングを示すGPS信号をGPS衛星から受信する受信手段、
前記受信手段により受信したGPS信号が示すタイミングに基づいて、前記同期信号発生手段が発生している周期的な同期信号のタイミングのずれを前記所定の精度よりも高い精度で補正するタイミング補正手段
として機能させ、
前記同期信号発生手段は、時刻の遷移に合わせた周期的な同期信号である第1の同期信号と、撮像素子の駆動周期に合わせた周期的な同期信号である第2の同期信号とを発生し、
前記タイミング補正手段は、前記受信手段が前記GPS信号を受信した際に、この受信したGPS信号に含まれる基準時刻の情報に基づいて前記第1の同期信号のタイミングを基準時刻に同期させるように補正し、この補正された前記第1の同期信号のタイミングに基づいて前記第2の同期信号のタイミングを基準時刻に同期させるように補正し、
前記撮像制御手段は、撮像が指示された際に、前記同期信号発生手段によって発生された前記第2の同期信号に同期させて、前記撮像手段による画像データの撮像タイミングを決定する、
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012156396A JP5817664B2 (ja) | 2012-03-19 | 2012-07-12 | 撮像装置、撮像方法及びプログラム |
CN201310080163.0A CN103327229B (zh) | 2012-03-19 | 2013-03-13 | 摄像装置以及摄像方法 |
US13/845,052 US9154696B2 (en) | 2012-03-19 | 2013-03-17 | Imaging device for synchronized imaging |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012062737 | 2012-03-19 | ||
JP2012062737 | 2012-03-19 | ||
JP2012156396A JP5817664B2 (ja) | 2012-03-19 | 2012-07-12 | 撮像装置、撮像方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013225826A JP2013225826A (ja) | 2013-10-31 |
JP5817664B2 true JP5817664B2 (ja) | 2015-11-18 |
Family
ID=49157261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012156396A Expired - Fee Related JP5817664B2 (ja) | 2012-03-19 | 2012-07-12 | 撮像装置、撮像方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9154696B2 (ja) |
JP (1) | JP5817664B2 (ja) |
CN (1) | CN103327229B (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015144354A (ja) * | 2014-01-31 | 2015-08-06 | 株式会社Jvcケンウッド | 撮像装置、撮像装置の制御方法及び制御プログラム |
KR101567485B1 (ko) | 2014-06-17 | 2015-11-11 | 한국항공우주연구원 | 복수의 카메라를 포함하는 촬영 시스템 및 방법 |
JP6372788B2 (ja) | 2014-08-26 | 2018-08-15 | カシオ計算機株式会社 | 撮像装置、撮像システム、撮像方法及びプログラム |
CN104202534A (zh) * | 2014-09-30 | 2014-12-10 | 中国电子科技集团公司第二十七研究所 | 基于gps和脉冲发生器的多摄像机同步控制装置及方法 |
JP6075357B2 (ja) * | 2014-11-19 | 2017-02-08 | カシオ計算機株式会社 | 撮像装置、撮像制御方法及びプログラム |
JP6241467B2 (ja) * | 2015-09-11 | 2017-12-06 | カシオ計算機株式会社 | 撮像装置、撮像制御装置、撮像方法、撮像制御方法及びプログラム |
CN105208245A (zh) * | 2015-10-19 | 2015-12-30 | 擎亚国际贸易(上海)有限公司 | 基于视频内容的多路视频同步方法及装置 |
JP2017152797A (ja) * | 2016-02-22 | 2017-08-31 | オリンパス株式会社 | 撮像システムおよび撮像端末 |
CN108702461B (zh) * | 2016-03-31 | 2021-10-26 | 麦克赛尔株式会社 | 带摄像机的便携式信息终端装置 |
JP6732625B2 (ja) * | 2016-10-07 | 2020-07-29 | キヤノン株式会社 | 撮像装置および撮像システム |
CN108429888B (zh) * | 2018-04-28 | 2020-02-18 | 维沃移动通信有限公司 | 补光的方法和移动终端 |
GB201820541D0 (en) * | 2018-12-17 | 2019-01-30 | Spelfie Ltd | Imaging method and system |
JP6762577B2 (ja) * | 2019-01-09 | 2020-09-30 | ジェイアール西日本コンサルタンツ株式会社 | 変位計測システム |
JP2021034743A (ja) * | 2019-08-13 | 2021-03-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
WO2021131788A1 (ja) * | 2019-12-25 | 2021-07-01 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
KR102525191B1 (ko) * | 2020-08-07 | 2023-04-26 | 한국전자통신연구원 | 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법 |
KR102469413B1 (ko) * | 2021-02-19 | 2022-11-24 | 한국철도기술연구원 | 굴절버스 차량의 자율주행을 위한 제어 시스템 및 방법 |
US11818329B1 (en) * | 2022-09-21 | 2023-11-14 | Ghost Autonomy Inc. | Synchronizing stereoscopic cameras using padding data setting modification |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002271673A (ja) * | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | 電子カメラ及び静止画記録方法 |
JP2002344800A (ja) | 2001-05-18 | 2002-11-29 | Minolta Co Ltd | 同期撮影方法および撮影システム |
JP2003324649A (ja) | 2002-04-30 | 2003-11-14 | Fuji Photo Film Co Ltd | 通信機能付電子カメラおよびその電子カメラシステムにおける撮影方法 |
JP2005223821A (ja) * | 2004-02-09 | 2005-08-18 | Seiko Epson Corp | マルチストリーム再生システム |
JP2006217326A (ja) * | 2005-02-04 | 2006-08-17 | Matsushita Electric Ind Co Ltd | ネットワークカメラシステムおよびカメラ装置並びに画像同期方法 |
US7333725B1 (en) * | 2005-03-24 | 2008-02-19 | L-3 Communications Sonoma Eo, Inc. | Method and apparatus for metadata synchronization |
JP4705814B2 (ja) | 2005-07-08 | 2011-06-22 | 株式会社日立製作所 | 同期配信方法 |
JP2007208903A (ja) * | 2006-02-06 | 2007-08-16 | Fujifilm Corp | 撮影システム及び撮影指示装置 |
US20090141138A1 (en) * | 2006-12-04 | 2009-06-04 | Deangelis Douglas J | System And Methods For Capturing Images Of An Event |
JP2009147597A (ja) | 2007-12-13 | 2009-07-02 | Nec Corp | 撮影システム、および、カメラ |
JP2009177313A (ja) * | 2008-01-22 | 2009-08-06 | Sumitomo Electric Ind Ltd | 基地局装置及び通信方法 |
KR101579735B1 (ko) * | 2009-05-12 | 2015-12-23 | 삼성전자주식회사 | 동기화 방법 |
JP2010279235A (ja) * | 2009-06-01 | 2010-12-09 | Mitsubishi Electric Corp | 電流差動リレー |
CN102306160B (zh) * | 2011-07-20 | 2013-01-23 | 航天东方红卫星有限公司 | 一种提高立体测绘相机图像定位精度的辅助数据处理方法 |
JP2013058986A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 通信システム、送信装置、受信装置、送信方法、受信方法及びプログラム |
JP5743221B2 (ja) * | 2012-06-29 | 2015-07-01 | カシオ計算機株式会社 | 無線同期システム、無線装置、センサ装置、無線同期方法、及びプログラム |
JP6122591B2 (ja) * | 2012-08-24 | 2017-04-26 | 株式会社トプコン | 写真測量用カメラ及び航空写真装置 |
US20140098185A1 (en) * | 2012-10-09 | 2014-04-10 | Shahram Davari | Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources |
-
2012
- 2012-07-12 JP JP2012156396A patent/JP5817664B2/ja not_active Expired - Fee Related
-
2013
- 2013-03-13 CN CN201310080163.0A patent/CN103327229B/zh not_active Expired - Fee Related
- 2013-03-17 US US13/845,052 patent/US9154696B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN103327229B (zh) | 2016-08-03 |
US9154696B2 (en) | 2015-10-06 |
JP2013225826A (ja) | 2013-10-31 |
US20130242135A1 (en) | 2013-09-19 |
CN103327229A (zh) | 2013-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5817664B2 (ja) | 撮像装置、撮像方法及びプログラム | |
US20170223252A1 (en) | Synchronous photographing system that controls synchronous photographing by plurality of image capture apparatus | |
JP6075357B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP6241467B2 (ja) | 撮像装置、撮像制御装置、撮像方法、撮像制御方法及びプログラム | |
JP7195941B2 (ja) | 情報処理装置及びその制御方法並びにプログラム | |
US10171766B2 (en) | Imaging device with reduced delay in display | |
US20160088210A1 (en) | Photographing control apparatus that controls synchronous photographing by plurality of image capture apparatus | |
JP2019091973A (ja) | 撮像装置 | |
JP2020072300A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6645279B2 (ja) | 撮影装置 | |
US8279309B2 (en) | Image capturing device with signal sampling | |
JP7175697B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7014221B2 (ja) | 撮像装置、および画像撮影制御方法、並びにプログラム | |
JP2014107840A (ja) | 撮像装置、撮像方法及びプログラム | |
JP5631084B2 (ja) | 画像記録装置 | |
US11496683B2 (en) | Image capturing apparatus and control method thereof, and image capturing system | |
JP7224831B2 (ja) | 撮像装置 | |
JP2022128832A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
JP2022171269A (ja) | 撮像装置およびその制御方法 | |
JP2007274211A (ja) | 撮像装置及び制御方法 | |
JP4415858B2 (ja) | 撮像装置及び方法 | |
CN113014795A (zh) | 控制设备、控制方法、摄像设备、摄像系统和存储介质 | |
JP2007013818A (ja) | 撮像装置 | |
JP2016058963A (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140919 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140925 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20141202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5817664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |