JP5865047B2 - 撮像装置、およびその制御方法、プログラム - Google Patents

撮像装置、およびその制御方法、プログラム Download PDF

Info

Publication number
JP5865047B2
JP5865047B2 JP2011269332A JP2011269332A JP5865047B2 JP 5865047 B2 JP5865047 B2 JP 5865047B2 JP 2011269332 A JP2011269332 A JP 2011269332A JP 2011269332 A JP2011269332 A JP 2011269332A JP 5865047 B2 JP5865047 B2 JP 5865047B2
Authority
JP
Japan
Prior art keywords
position information
imaging
communication
continuous shooting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011269332A
Other languages
English (en)
Other versions
JP2013121137A (ja
JP2013121137A5 (ja
Inventor
崇 松井
崇 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011269332A priority Critical patent/JP5865047B2/ja
Publication of JP2013121137A publication Critical patent/JP2013121137A/ja
Publication of JP2013121137A5 publication Critical patent/JP2013121137A5/ja
Application granted granted Critical
Publication of JP5865047B2 publication Critical patent/JP5865047B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、位置情報と方位情報を取得することができる撮像装置に関するものである。
近年、デジタルカメラにGPS(Global Positioning System)受信器や電子コンパス等のアクセサリを取り付けて、撮影した画像に、撮影位置を示す位置情報や撮影方向を示す方位情報などを付加するということが行われている。これらの情報は、画像の撮影の際に、アクセサリと通信することで取得することができる。このアクセサリとの通信の速度は、どのような回線を用いるかによって異なる。例えば、アクセサリシューを用いる場合の通信速度は比較的遅く、データ量の大きな情報を通信する場合には時間がかかる。そのため、例えば、連写撮影の各コマ毎に位置情報と方位情報の両方を取得すると、連写速度に情報の取得が間に合わず、連写撮影に影響を与える可能性があった。
特許文献1では、位置情報の取得を連写撮影中からずらすことで、連写撮影への影響を低減している。
特開2001−128049号公報
しかしながら、特許文献1に記載の方法は、連写撮影中の短時間でも比較的大きな変化が生じ得る情報についてはなんら考慮されていない。例えば、方位情報は、位置情報と比較すると、変化が生じやすいため、連写撮影の各コマ毎に取得した方位情報を、各画像のそれぞれに付加することが好ましい。そこで、本発明では、通信速度が不十分なインターフェースを用いて通信する場合でも、連写撮影で得られる画像に適切な情報を付加することを目的とする。
本願発明の撮像装置は、撮像手段と、前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、第1の通信手段と、前記第1の通信手段よりも通信速度が速い第2の通信手段と、前記第1の通信手段または前記第2の通信手段を介して位置情報を取得する位置取得手段とを有し、前記第1の通信手段を介して前記位置情報が取得される場合、前記位置取得手段は、前記連写撮像処理の撮像毎に位置情報を取得せず、前記第2の通信手段を介して前記位置情報が取得される場合、前記位置取得手段は、前記連写撮像処理の撮像毎に位置情報を取得することを特徴とする。
本発明によれば、通信速度が不十分なインターフェースを用いて通信する場合でも、連写撮影で得られる画像に適切な情報を付加することができる。
第1の実施形態における撮像システムの全体を表すブロック図である。 第1の実施形態における連写撮影の際のシステムの動作を示す概念図である。 第1の実施形態における撮影する際のデジタルカメラの動作を示すフローチャートである。 第2の実施形態における撮影する際のデジタルカメラの動作を示すフローチャートである。 第2の実施形態における連写撮影の際のシステムの動作を示す概念図である。 その他の実施形態における連写撮影の際のシステムの動作を示す概念図である。 第1の実施形態における連写撮影の際のシステムの動作を示す概念図である。
以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態は適宜組み合わされることも可能である。
[第1の実施形態]
図1は、本実施形態の撮像システムの構成を示す。本実施形態の撮像システムは、撮像装置の一例であるデジタルカメラ100と、外部装置の一例であるGPSアクセサリ120とから構成される。なお、ここでは撮像装置の一例としてデジタルカメラについて述べるが、撮像装置はこれに限られない。例えば撮像装置は、カメラ付き携帯電話や、カメラ付きタブレットデバイスなどであってもよい。
まず、デジタルカメラ100について説明する。
制御部101は、入力された信号や、後述のプログラムに従ってデジタルカメラ100の各部を制御する。なお、制御部101が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
撮像部102は、撮影処理を行う。撮影処理とは、撮像部102に含まれるレンズで結像された被写体光を電気信号に変換し、ノイズ低減処理などを行いデジタルデータを画像データとして出力する処理である。撮像した画像データはバッファメモリに蓄えられた後、制御部101にて所定の演算を行い、記録媒体110に記録される。本実施形態のデジタルカメラ100は、撮影指示を受けた場合、撮影処理を一度だけ行う単写撮影モードと、撮影処理を連続して何度も行う連写撮影モードを備えている。この連写撮影モードでは、後述の操作部105に含まれるレリーズスイッチのSW2がONの間、連続して一定の間隔で撮影処理が実行される。また、撮影指示が受け付けられる前に、予めどちらのモードで撮影処理を行うかをユーザ操作により設定しておくことができる。
不揮発性メモリ103は、電気的に消去・記録可能な不揮発性のメモリであり、制御部101で実行される後述のプログラム等が格納される。
作業用メモリ104は、撮像部102で撮像された画像データを一時的に保持するバッファメモリや、表示部106の画像表示用メモリ、制御部101の作業領域等として使用される。
操作部105は、ユーザがデジタルカメラ100に対する指示をユーザから受け付けるために用いられる。操作部105は例えば、ユーザがデジタルカメラ100の電源のON/OFFを指示するための電源ボタンや、撮影処理を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタンなどの操作部材を含むよう構成される。なお、レリーズスイッチは、SW1およびSW2を有する。レリーズスイッチが、いわゆる半押し状態となることにより、SW1がONとなる。これにより、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮影準備動作を行うための指示を受け付ける。また、レリーズスイッチが、いわゆる全押し状態となることにより、SW2がONとなる。これにより、撮影処理を行うための指示を受け付ける。
表示部106は、撮影の際のビューファインダー画像の表示、撮影した画像データの表示、対話的な操作のための文字表示などを行う。なお、表示部106はデジタルカメラ100が備える必要はなく、デジタルカメラ100は表示部106と接続することができ、表示部106の表示を制御する表示制御機能を少なくとも有していればよい。
記録媒体110は、撮像部102から出力された画像データや、後述の通信部111を介して取得した位置情報や方位情報を記録することができる。記録媒体110は、デジタルカメラ100に着脱可能なよう構成してもよいし、デジタルカメラ100に内蔵されていてもよい。すなわち、デジタルカメラ100は少なくとも記録媒体110にアクセスする手段を有していればよい。
第1の接続部111は、外部装置と通信するための接続部である。デジタルカメラ100は、第1の接続部111を介して、外部装置とデータのやりとりを行うことができる。
なお、本実施形態では、第1の接続部111はアクセサリシューであり、デジタルカメラ100はアクセサリシューを介して、後述のGPSアクセサリ120の接続部127と接続することができる。そして、制御部101は、アクセサリシューを介して、GPSアクセサリ120との通信を行う。例えば、デジタルカメラ100は、GPSアクセサリ120へ位置情報や方位情報の要求を送信したり、GPSアクセサリ120から送信される位置情報や方位情報を受信したりすることができる。
第2の接続部112は、外部装置と通信するための接続部である。本実施形態のデジタルカメラ100は、第1の接続部111を介して通信する代わりに、第2の接続部112を介することでも、外部装置と通信することができる。
なお、本実施形態では、第2の接続部112はデジタルカメラ100に設けられるUSBコネクタであり、デジタルカメラ100は、USBコネクタに接続されるUSBケーブルを介して、後述のGPSアクセサリ120の接続部128と接続することができる。そして、制御部101は、USBコネクタに接続されたUSBケーブルを介して、GPSアクセサリ120との通信を行う。なお、この第2の接続部112を介した通信は、前述の第1の接続部111を介した通信よりも高速な通信である。そのため、本実施形態では、デジタルカメラ100とGPSアクセサリ120とが、第1の接続部111と第2の接続部112の両方で通信可能な場合、第2の接続部112を介した通信が優先される。
以上がデジタルカメラ100の説明である。
次に、GPSアクセサリ120について説明する。
制御部121は入力された信号や、後述のプログラムに従ってGPSアクセサリ120の各部を制御する。なお、制御部121が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。
操作部122は、GPSアクセサリ120の動作や設定に関する指示をユーザから受け付けるために用いられる。操作部122は例えば、GPSアクセサリ120の電源のON/OFFを切り替えるための電源スイッチ等を含むよう構成される。
不揮発性メモリ123は、GPSアクセサリ120の各部を制御するためのプログラム(ファームウェア)や各種の設定情報を記憶している。後述する各フローチャートに示す処理を制御部121が制御するためのプログラムも、この不揮発性メモリ123に記録されている。
作業用メモリ124は、不揮発性メモリ123に保存されているプログラムを、展開・実行するためのメモリである。作業用メモリ124は制御部121のワークエリアとして使用される。
方位取得部125は、GPSアクセサリ120がどの方角を向いているかを検出し、方位情報を取得する。この処理は方位取得処理の一例である。方位取得部125は例えば電子コンパスで構成される。電子コンパスとは、地磁気センサ、方位センサなどとも呼ばれ、地球の地磁気を検出することができるデバイスの総称である。電子コンパスは、地磁気を2次元、または、3次元で検出し、地磁気に対して、電子コンパスのデバイス自体がどの方角を向いているかを検出することができる。この方位情報は、定期的に取得され、作業用メモリ124に記録される。既に作業用メモリ124に方位情報が記録されている場合は、新たに取得した方位情報で上書きする。このような処理により、作業用メモリ124には、常に最新の方位情報が保持されることとなる。また、方位取得部125は加速度センサを含むよう構成される。なお、方位取得部125は、ジャイロセンサ等の動き検出センサ、または電子コンパスと動き検出センサとの組み合わせで構成されてもよい。方位取得部125にて取得された方位情報は、制御部121の制御に従ってデジタルカメラ100に送信することができる。
位置取得部126は、測位処理を行う。測位処理とは、GPS衛星から信号を受信し、受信した信号からGPSアクセサリ120の位置を示す位置情報を取得する処理である。位置取得部126で取得された位置情報は、制御部121の制御に従ってデジタルカメラ100に送信することができる。送信された位置情報は、デジタルカメラ100で撮影された画像データに撮影位置として対応づけられる。本実施形態では、位置情報は、緯度・経度の座標で表される。この位置情報は、定期的に取得され、作業用メモリ124に記録される。既に作業用メモリ124に位置情報が記録されている場合は、新たに取得した位置情報で上書きする。このような処理により、作業用メモリ124には、常に最新の位置情報が保持されることとなる。なお、位置取得部126は、例えば加速度センサとGPSとの組み合わせや、携帯電話の基地局といった外部装置などから位置情報を取得する装置で構成されてもよい。
接続部127は、デジタルカメラ100に設けられた第1の接続部111と接続することができる接続部である。GPSアクセサリ120は、接続部127を接続部111と接続することにより、デジタルカメラ100と通信することができる。
接続部128は、デジタルカメラ100とに設けられた第2の接続部112と接続することができる接続部である。GPSアクセサリ120は、接続部128を接続部111と接続することにより、デジタルカメラ100と通信することができる。本実施形態のGPSアクセサリ120は、接続部127を介しても、接続部128を介しても、デジタルカメラ100と通信することができる。
以上がGPSアクセサリ120の説明である。
次に、上記のシステムにて、連写撮影の際に、画像に位置情報および方位情報を付加するための処理の概要について説明する。図2はアクセサリシューを介してGPSアクセサリ120と通信するデジタルカメラ100が、連写撮影した画像に位置情報および方位情報を付加する際の情報の取得方法を示す具体例である。
図2では、連写撮影にて6枚の画像が撮影される例が示されている。この例では、デジタルカメラ100における連写撮影の状態と、撮影毎にGPSアクセサリ120から取得する情報、およびそのタイミングが示される。時間軸は左から右に進む形で表現されている。
まず、デジタルカメラ100は、SW1がONとなった後、SW2がONとなるまでの間、位置情報と方位情報を定期的に繰り返し取得する。具体的には、デジタルカメラ100は、定期的にGPSアクセサリ120に、位置情報の取得要求や、方位情報の取得要求を送信する。これらの要求を受信したGPSアクセサリ120は、作業用メモリ124に保存されている最新の位置情報や最新の方位情報を、応答としてデジタルカメラ100に送信する。GPSアクセサリ120から受信した位置情報や方位情報は、デジタルカメラ100の作業用メモリ104に保持される。すでに作業用メモリ104に位置情報や方位情報が保持されている場合は、新たに受信された情報でそれぞれ上書きする。これにより、SW1がONとなった後、SW2がONとなるまでの間、作業用メモリ104には常に最新の位置情報および方位情報が保持されることになる。
SW2がONになると、連写撮影が開始する。前述のように、本実施形態の連写撮影での各撮影処理は一定の間隔で実行される。また、本実施形態の連写撮影中は、位置情報および方位情報の定期的な取得は行われない。その代わり、本実施形態のデジタルカメラ100は、各撮影処理毎に方位情報をGPSアクセサリ120から取得する。
まず、図2を用いて、方位情報の付加について説明する。図2の例では、一回目の撮像処理において得られる一枚目の画像に、連写撮影が開始される直前の方位情報Bが付加される。そして、一枚目の画像の出力が終わり、二回目の撮像処理が始まるまでの間に、デジタルカメラ100はGPSアクセサリ120に方位情報の取得要求を送信し、GPSアクセサリ120はその応答として、最新の方位情報をデジタルカメラ100に返信する。ここで取得された方位情報Cは、次に得られる二枚目の画像に付加されることになる。本実施形態の連写撮影では、二回目以降の撮影処理では、上記の二回目の手順をSW2がOFFになるまで繰り返す。図2の例では、6枚目の画像が撮影された後にSW2がOFFとなり、連写撮影が終了したと判断される。そして、連写撮影で得られる画像には、各撮影処理の直前に取得された方位情報B〜Gが、それぞれ付加されることになる。すなわち、連写撮影で得られる各画像毎に異なる方位情報が付加されることになる。
次に、位置情報の付加について説明する。位置情報については、連写撮影中はGPSアクセサリ120から取得せず、連写撮影が開始する直前に取得した位置情報を用いる。図2の例では、連写撮影が開始する直前に取得した位置情報は、SW2がONとなる直前に得られた位置情報Bである。すなわち、連写撮影で得られる各画像のそれぞれには互いに同一の位置情報Bが付加される。
以上が、本実施形態のデジタルカメラ100が連写撮影の際にアクセサリシューを介してGPSアクセサリ120と通信する場合の処理である。一般的に、アクセサリシューは、ストロボ等を制御する簡単な信号のやりとりをするためのインターフェースである。そのため、アクセサリシューを介した通信の通信速度は、より高速な他のインターフェース(USBケーブル等)を介した通信に比べると比較的遅い。しかし、連写撮影では、短時間に連続して撮影が行われる。そのため、連写撮影で撮影が行われる度に位置情報と方位情報をGPSアクセサリ120から取得するよう構成した場合、アクセサリシューを介した通信では、通信速度が十分でないことから不都合が生じる可能性がある。例えば、位置情報と方位情報の取得が、位置情報と方位情報を画像に付加する処理に間に合わない場合、エラーが生じたり、意味のない情報が付加されたりする可能性がある。
その一方で、位置情報と方位情報のうち位置情報を取得せず方位情報を取得する場合、データサイズは両方を取得する場合に比べて十分小さなサイズとなる。そのため、位置情報と方位情報の両方を取得する場合に比べて、十分短い通信時間でデータを取得できる。つまり、位置情報と方位情報のうち位置情報を取得せず方位情報を取得することにより、通信速度が不十分なインターフェースを用いる場合でも、上記のような不都合が生じる可能性を低減することができる。
そこで、本実施形態の連写撮影では、通信速度が不十分なインターフェースを用いて通信する場合、上述のように方位情報と位置情報のうち方位情報を取得し、位置情報を取得しないよう構成した。具体的には、本実施形態では、連写撮影の際にデジタルカメラ100とGPSアクセサリ120がアクセサリシューを介して通信する場合、デジタルカメラ100は、方位情報と位置情報のうち方位情報を取得し、位置情報を取得しない。
一般に、連写撮影中のような短い時間であっても、動く被写体を追いながら撮影する場合等、方位情報の変化は比較的大きいと考えられる。したがって、連写撮影中のように短い時間であっても、方位情報は連写撮影の各コマ毎に取得するのが望ましい。
一方、連写撮影中のような短い時間では、位置情報の変化は比較的小さい。なぜなら、ユーザがレリーズスイッチを押しながら大きく移動することは考えにくく、緯度、経度などは大きく変化しないと考えられるためである。つまり、連写撮影中のように短い時間では、撮影処理毎に得られる画像の撮影位置は同じとみなしても問題は少ないと考えられる。
この点も、方位情報は撮影処理毎に取得し、位置情報は撮影処理毎に取得しない理由の一つである。
このように、本実施形態のデジタルカメラ100は、アクセサリシューを介してGPSアクセサリ120と通信する場合、連写撮影中は、位置情報と方位情報のうち方位情報を撮影毎に取得して、位置情報を取得しないよう構成する。これにより、通信速度が不十分なインターフェースを用いた通信であっても、連写撮影で不都合が生じる可能性を低減させつつ、適切な情報を画像に付加することができる。
一方、通信速度が十分なインターフェースを用いて通信を行う場合は、位置情報と方位情報の両方を取得しても、データを全て取得し終えるまでにかかる時間は十分短い。そのため、この場合は位置情報と方位情報を定期的に取得するよう構成しても、位置情報と方位情報を、連写撮影の各撮影処理間の間隔に十分対応できる間隔で更新することができる。そこで、本実施形態では、デジタルカメラ100とGPSアクセサリ120がUSBケーブルを介して通信する場合は、連写撮影中であっても、定期的に位置情報と方位情報を取得し、作業用メモリ104に保持する。具体的には、GPSアクセサリ120は、アクセサリシューを介した通信とは異なり、定期的に位置情報および方位情報をデジタルカメラ100に送信する。この送信は、連写撮影の処理とは無関係に実行される。なお、この送信間隔は、デジタルカメラ100にて実行される連写撮影の各撮影処理毎の間隔よりも短い。そして、デジタルカメラ100は、GPSアクセサリ120から送信された位置情報および方位情報を、作業用メモリ104に保持する。ここでは、GPSアクセサリ120は、位置情報および方位情報を取得する度に、取得した位置情報および方位情報をデジタルカメラ100に送信する。つまり、デジタルカメラ100の作業用メモリ104には、GPSアクセサリ120で取得された最新の位置情報および方位情報が保持されることになる。そして、撮影の際には、デジタルカメラ100は、GPSアクセサリ120から位置情報および方位情報を取得するのではなく、作業用メモリ104に保持している位置情報および方位情報を取得する。前述のように、USBケーブルを介して通信する場合は、通信速度が十分であるため、作業用メモリ104に保持される位置情報および方位情報は連写撮影の各撮影処理間の間隔に十分対応した頻度で更新されている。そのため、USBケーブルを介して通信する場合は、アクセサリシューを介して通信する場合と異なり、撮影処理毎にGPSアクセサリ120から取得した場合に得られる位置情報および方位情報と同等の情報を、撮影処理毎に取得することができる。
次に、撮影の際のデジタルカメラ100の動作について説明する。図3は、撮影の際のデジタルカメラ100の動作を示すフローチャートである。このフローチャートに示される各処理は、GPSアクセサリ120が接続されたデジタルカメラ100の制御部101が、不揮発性メモリ103に記録されているプログラムを実行し、プログラムに従いデジタルカメラ100の各部を制御することにより実現される。また、このフローチャートに示される処理は、SW1がONとなることが検知されることに応じて開始される。以降のフローチャートについても同様である。
まず、制御部101は、ステップS300にて撮影準備動作を実行する。具体的には、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を行う。このステップの処理は後述のステップS301〜ステップS304およびステップS310〜ステップS311の処理と並行して実行される。
ステップS301では、制御部101は、USBケーブルを介して通信を行うのか、アクセサリシューを介して通信を行うのかを判断する。ここでは、制御部101は第1の接続部111および第2の接続部のうち、外部装置と接続されている方の接続部を介して通信を行う。言い換えれば、制御部101は、外部装置と通信可能な方の接続部を介して外部装置と通信する。なお、前述の通り、アクセサリシューを介した通信とUSBケーブルを介した通信との両方の通信が可能な場合は、USBケーブルを介した通信が優先される。制御部101が、USBケーブルを介して通信を行うと判断した場合、処理はステップS310に進む。一方、制御部101が、アクセサリシューを介して通信を行うと判断した場合、処理はステップS302に進む。まず、制御部101がアクセサリシューを介して通信を行うと判断した場合について説明する。
ステップS302では、制御部101は、GPSアクセサリ120から位置情報と方位情報を取得する。具体的には、デジタルカメラ100は、定期的にGPSアクセサリ120に、位置情報の取得要求と、方位情報の取得要求を送信する。これらの要求を受信したGPSアクセサリ120は、作業用メモリ124に保存されている最新の位置情報や最新の方位情報を、応答としてデジタルカメラ100に送信する。GPSアクセサリ120から受信した位置情報や方位情報は、一時的に作業用メモリ104に保持される。既に位置情報および方位情報が作業用メモリ104に保持されている場合は、新たに取得した位置情報と方位情報でそれぞれ上書きする。
次に、ステップS303にて、制御部101は、SW2がONであるかOFFであるかを判断する。制御部101が、SW2がOFFであると判断した場合、処理はステップS304に進む。
ステップS304では、制御部101は、SW1がONであるかOFFであるかを判断する。制御部101が、SW1がOFFであると判断した場合、本処理を終了する。一方、制御部101が、SW1がONであると判断した場合、処理はステップS302に戻り、制御部101は、再度位置情報と方位情報を取得する。再度取得された位置情報と方位情報は、作業用メモリ104に保持される。既に位置情報と方位情報が作業用メモリ104に保持されている場合は、新たに取得した位置情報と方位情報でそれぞれ上書きする。すなわち、SW1がONであり、SW2がOFFの間は、繰り返し位置情報と方位情報を取得し、常に最新の位置情報と方位情報を保持する。言い換えれば、ユーザがレリーズスイッチを半押ししている間は、位置情報と方位情報を繰り返し取得し、常に最新の位置情報と方位情報を保持する。
一方、ステップS303にて制御部101が、SW2がONであると判断した場合、処理はステップS305に進む。ステップS305では、制御部101は、撮像部102を用いて撮影処理を行い、画像を取得する。
次に、ステップS306にて、制御部101は、作業用メモリ104に保持されている位置情報と方位情報を、ステップS305にて取得された画像に対応づけて、記録媒体110に記録する。ここで、連写撮影の各撮影処理のうちの一回目の撮影処理で得られた画像に対応づけられる位置情報と方位情報は、ステップS302にて取得された位置情報と方位情報である。この処理は、図2の例でいえば、一枚目の画像に位置情報Bと方位情報Bを付加する処理に相当する。
次に、ステップS307にて、制御部101は、SW2がOFFであるかONであるかを判断する。制御部101が、SW2がOFFであると判断した場合、撮影が終了したと判断し、本処理は終了する。一方、制御部101が、SW2がONであると判断した場合、処理はステップS308に進む。
ステップS308では、制御部101は、連写撮影モードであるか、単写撮影モードであるかを判断する。制御部101が連写撮影モードでないと判断した場合、処理は終了する。一方、制御部101が、連写撮影モードであると判断した場合、処理はステップS309に進む。
ステップS309では、制御部101は、GPSアクセサリ120から方位情報を取得し、位置情報を取得しない。具体的には、デジタルカメラ100は、方位情報の取得要求を送信する。方位情報の要求を受信したGPSアクセサリ120は、作業用メモリ124に保存されている最新の方位情報を、応答としてデジタルカメラ100に送信する。GPSアクセサリ120から受信した方位情報は、一時的に作業用メモリ104に保持される。既に方位情報が作業用メモリ104に保持されている場合は、新たに取得した方位情報で上書きする。位置情報に関しては、GPSアクセサリ120から新たな位置情報を取得していないため、作業用メモリ104には、ステップS302にて取得された位置情報が継続して保持されることになる。このステップの処理は、図2の例では、一枚目の画像の撮影と二枚目の画像の撮影との間に方位情報Cを取得する処理に相当する。
その後、処理はステップS305に進み、二枚目の画像の撮影処理が実行され、さらにステップS306にて、作業用メモリ104に保持されている位置情報と方位情報が、二回目のステップS305で取得された画像に対応づけられて記録媒体110に記録される。ここでは、二枚目の撮影なので、画像に対応づけられる位置情報と方位情報は、ステップS302にて取得された位置情報と、ステップS309にて取得された方位情報である。このステップの処理は、図2の例でいえば、二枚目の画像に位置情報Bと方位情報Cを付加する処理に相当する。
連写撮影中は、制御部101はステップS305〜ステップS309の処理を繰り返し実行する。すなわち、連写撮影中は、ステップS302を実行せず、ステップS309の処理が、撮影処理毎に実行される。つまり、本実施形態の連続して実行される撮影処理においては、撮影処理毎に方位情報を取得し、撮影処理毎に位置情報を取得しない。したがって、位置情報については、連写撮影の直前に取得された位置情報が、連写撮影の間継続して保持される。そのため、位置情報については、連写撮影の各撮影処理で得られる画像には、ステップS302にて取得された位置情報が共通に付加される。一方、方位情報については、連写撮影の撮影処理毎に新たに方位情報が取得される。そのため、連写撮影の各撮影処理で得られる画像のうち、二回目以降の撮影処理で得られる複数の画像には、方位情報は各回のステップS309の処理で取得された方位情報がそれぞれ付加されることになる。
以上が、制御部101がアクセサリシューを介して通信を行うと判断した場合の説明である。
次に、ステップS301にて、制御部101がUSBケーブルを介して通信を行うと判断した場合について説明する。この場合、処理はステップS310に進む。
ステップS310では、制御部101は、制御部101は、SW2がONであるかOFFであるかを判断する。制御部101が、SW2がONであると判断した場合、処理はステップS311に進む。
ステップS311では、制御部101は、SW1がONであるかOFFであるかを判断する。制御部101が、SW1がOFFであると判断した場合、本処理を終了する。一方、制御部101が、SW1がONであると判断した場合、処理はステップS310に戻り、SW2がONとなることを待つ。
一方、ステップS310にて制御部101が、SW2がONであると判断した場合、処理はステップS312に進む。ステップS312では、制御部101は、撮像部102を用いて撮影処理を行い、画像を取得する。この処理は、後述のステップS313と並行して実行されてもよい。
次に、ステップS313では、制御部101は、作業用メモリ104に記録されている位置情報と方位情報とを、ステップS312にて取得された画像に対応づけて記録媒体110に保存する。ここで作業用メモリ104に記録されている位置情報および方位情報は、連写撮影の各撮影処理の間隔に十分対応できる頻度で取得された、最新の位置情報と方位情報である。なお、このGPSアクセサリ120から位置情報および方位情報を取得して作業用メモリ104に保持する処理は、ステップS310〜S315の間も並行して定期的に繰り返し実行されている。この処理は、図7の例でいえば、GPSアクセサリ120から定期的に送信される位置情報A〜Pや方位情報A〜Pを受信する処理に相当する。
次に、ステップS314にて、制御部101は、SW2がOFFであるかONであるかを判断する。制御部101が、SW2がOFFであると判断した場合、撮影が終了したと判断し、本処理は終了する。一方、制御部101が、SW2がONであると判断した場合、処理はステップS315に進む。
次に、ステップS315にて、制御部101は、連写撮影モードであるか、単写撮影モードであるかを判断する。制御部101が、連写撮影モードであると判断した場合、処理はステップS312に戻る。この場合、制御部101はステップS312〜ステップS314の処理を繰り返し実行する。一方、制御部101が連写撮影モードでないと判断した場合、処理は終了する。
以上が、制御部101がUSBケーブルを介して通信を行うと判断した場合の説明である。
なお、GPSアクセサリ120は、アクセサリシューを介した通信では、デジタルカメラ100からの要求に応じて、位置情報や方位情報をデジタルカメラ100に送信する。一方、USBケーブルを介した通信では、デジタルカメラ100からの要求なしで、位置情報や方位情報を定期的にデジタルカメラ100に送信する。これらの動作はデジタルカメラ100が連写撮影モードか単写撮影モードかに関わらない。すなわち、GPSアクセサリ120の動作は、デジタルカメラ100が連写撮影モードであっても、単写撮影モードと同様の動作を行う。
本実施形態では、上述のように、連写撮影の際に通信速度が不十分であるインターフェースを用いて通信する場合、位置情報と方位情報のうち、位置情報を取得せず、方位情報を取得するよう構成した。これにより、連写機能に影響を与える可能性を低減させることと、連写撮影で得られる画像に適切な情報を付加することとを両立させることができる。
[第2の実施形態]
上述の実施形態では、連写撮影にて取得される画像には、連写撮影の直前に取得された位置情報が共通に付加されていた。これに対し、本実施形態では、連写撮影の直後に取得された情報も用いて、連写撮影にて取得される画像により適切な位置情報を付加する。
本実施形態は第1の実施形態と共通する部分が多いため、共通部分は説明を省略し、本実施形態に特有の部分を中心に説明する。
図4は、本実施形態のデジタルカメラ100の撮影の際の動作を示すフローチャートである。
ステップS400〜S406では、制御部101は、図3のステップS300〜ステップS306と同様の動作を行う。
次に、ステップS407では、制御部101は、SW2がOFFであるかONであるかを判断する。制御部101が、SW2がONであると判断した場合、処理はステップS408に進む。ステップS408およびステップS409では、制御部101は、図3のステップS308およびステップS309と同様の処理を実行する。一方、制御部101が、SW2がOFFであると判断した場合、連写撮影が終了したと判断し、処理はステップS416に進む。
ステップS416では、ステップS402と同様に、GPSアクセサリから位置情報を取得する。このステップの処理は連写撮影直後の位置情報を取得する処理である。
次に、ステップS417では、制御部101は、ステップS405にて取得された複数の画像のうち、連写撮影の後半で得られた画像に、ステップS416にて取得された位置情報を対応づける。具体的には、ステップS406にて記録媒体110に保存された画像のうち、後半の画像を読み出し、ステップS402で取得され既に対応づけられている位置情報を、ステップS416で取得された位置情報で上書きして、記録媒体110に保存しなおす。その後、処理は終了する。これにより、連写撮影中の前半に撮影された画像には、より取得タイミングが近いと考えられる位置情報が画像に付加される。これについて、図5に具体例を示す。図5は、図2と同様に、連写撮影にて6枚の画像を連続して撮影した例を示す図である。図5の例では、最終的に、連写撮影の前半に得られる画像である一枚目から三枚目の画像には連写撮影の直前に取得された位置情報Bが付加され、連写撮影の後半に得られる画像である四枚目から六枚目の画像には連写撮影の直後に取得された位置情報Cが付加される。
以上、本実施形態のデジタルカメラ100の動作について説明した。一般に連写中のような短い時間では、位置情報の変化は比較的小さい可能性が高い。そのため、撮影処理毎に位置情報を取得せずとも、連写撮影の前後に取得する位置情報で十分な精度が得られると考えられる。そこで、本実施形態のデジタルカメラ100では、上述のように連写撮影の前半で得られた画像には連写撮影の直前に取得された位置情報を付加し、連写撮影の後半で得られた画像には連写撮影の直後に取得された位置情報を付加するよう構成した。このように構成することにより、連写撮影中にカメラが移動した場合でも、より自然な位置情報を画像に付加することができる。
[その他の実施形態]
また、上述の実施形態では、連写撮影の各撮影処理にて得られる画像に付加する方位情報を、各撮影処理の前に取得するよう構成した。これについては、連写撮影の各撮影処理にて得られる画像に付加する方位情報を、撮影処理の後に取得するよう構成してもよい。例えば、図5の例でいえば、一枚目の画像には位置情報Cが付加され、二枚目の画像には位置情報Dが付加されるよう構成する。以下、同様にして、六枚目の画像の撮影処理の後には方位情報Hを取得し、これを六枚目の画像に付加するよう構成してもよい。
また、上述の実施形態では、連写撮影にて取得される画像に付加される位置情報は、連写撮影の開始前に取得された位置情報か、連写撮影の終了後に取得された位置情報であった。これについては、連写撮影の開始前に取得された位置情報と、連写撮影の終了後に取得された位置情報とから求められる情報を画像に付加してもよい。例えば、連写撮影の開始前に取得された位置情報の示す地点と、連写撮影の終了後に取得された位置情報の示す地点とを結ぶ直線を連写撮影にて取得される複数の画像の枚数分に等分する点のそれぞれを、連写撮影にて取得される複数の画像に付加しても良い。具体的には、連写撮影にて取得されるN枚の画像のうち、n枚目の画像に対して、連写撮影の開始前に取得された位置情報Aと、連写撮影の終了後に取得された位置情報Bとから、計算式A+(B−A)*(n−1)/(N−1)により決定される位置情報を付加する。ここでは、位置情報は緯度・経度で表され、緯度の値または経度の値に対して上記の計算式を用いる。例えば、図4のステップS218において、制御部101は、ステップS217にて取得した位置情報の代わりに、上記の計算にて得られる位置情報を、連写撮影で得られた画像に付加する。これについて、図6に概念図を示す。この例では、連写撮影で撮影された6枚の画像のそれぞれには、上記の計算にて求められた位置情報が付加される。これにより、連写撮影中にカメラが移動した場合でも、より自然な位置情報を画像に付加することができる。
また、上述の実施形態では、連写撮影中は位置情報と方位情報のうち位置情報を取得しない構成について述べたが、撮影処理が一定回数行われる毎に位置情報を取得し、以降の撮影処理で得られる画像には、新たに得られた位置情報を付加するようにしてもよい。このように構成することにより、連写撮影で不都合が生じる可能性を低減させることと、より適切な位置情報を画像に付加することとを両立することができる。
また、上述の実施形態では、USBケーブルを用いた通信では、GPSアクセサリ120が自動的に位置情報や方位情報を定期的にデジタルカメラ100に送信する構成について述べた。これについては、アクセサリシューを介して方位情報を取得する場合と同様に、撮影処理毎にGPSアクセサリ120に情報の要求を送信し、GPSアクセサリ120はこの要求に応じて位置情報や方位情報をデジタルカメラ100に送信するよう構成してもよい。なお、USBケーブルを介した通信の場合は通信速度が十分なため、位置情報と方位情報の両方を撮影処理毎に取得しても連写撮影に影響を与える可能性は低い。そこで、このように構成した場合は、USBケーブルを介して通信する際には連写撮影の撮影処理毎に位置情報と方位情報の両方をGPSアクセサリ120から取得する。また、これにより取得された位置情報と方位情報は、アクセサリシュー通信を介した場合の連写撮影の際と同様の処理にて画像に付加される。
また、上述の実施形態では、アクセサリシューとUSBケーブルのどちらを介しても通信可能である場合、USBケーブルを介した通信を優先する構成について述べた。これについては、どちらを介しても通信可能である場合、どちらを介して通信するか選択することができるよう構成してもよい。
また、上述の実施形態では、デジタルカメラ100とGPSアクセサリ120とがデータのやり取りを行う二種類の通信において、どちらも有線通信の例について述べたが、デジタルカメラ100とGPSアクセサリ120との通信の形態はこれに限られない。例えば、どちらも無線通信を用いるよう構成してもよい。あるいは、無線通信と有線通信の両方を用いても良い。また、例えば無線と有線のどちらもを介して通信可能である場合、一般的に通信速度の速い有線接続による通信を優先してもよい。
なお、上述の実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (21)

  1. 撮像手段と、
    前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、
    第1の通信手段と、
    前記第1の通信手段よりも通信速度が速い第2の通信手段と、
    前記第1の通信手段または前記第2の通信手段を介して位置情報を取得する位置取得手段とを有し、
    前記第1の通信手段を介して前記位置情報が取得される場合、前記位置取得手段は、前記連写撮像処理の撮像毎に位置情報を取得せず、
    前記第2の通信手段を介して前記位置情報が取得される場合、前記位置取得手段は、前記連写撮像処理の撮像毎に位置情報を取得することを特徴とする撮像装置。
  2. 前記第1の通信手段または前記第2の通信手段を介して方位情報を取得する方位取得手段を更に有し、
    前記第1の通信手段と前記第2の通信手段とのどちらの通信手段を介して方位情報を取得するかに関わらず、前記方位取得手段は、前記連写撮像処理の撮像毎に方位情報を取得することを特徴とする請求項1に記載の撮像装置。
  3. 前記方位情報および前記位置情報を前記画像に関連付ける関連付け手段とを更に有することを特徴とする請求項2に記載の撮像装置。
  4. 前記第2の通信手段を介して前記位置情報が取得される場合、前記関連付け手段により画像に関連付けられる位置情報は、前記連写撮像処理により得られる画像毎に可変であることを特徴とする請求項3に記載の撮像装置。
  5. 前記第1の通信手段を介して前記方位情報が取得される場合、前記関連付け手段は、前記連写撮像処理の各撮像で得られる画像に、前記各撮像の直前に取得された方位情報をそれぞれ対応づけることを特徴とする請求項3または4に記載の撮像装置。
  6. 前記第1の通信手段を介して前記方位情報が取得される場合、前記関連付け手段は、前記連写撮像処理の各撮像で得られる画像に、前記各撮像の直後に取得された方位情報をそれぞれ対応づけることを特徴とする請求項3または4に記載の撮像装置。
  7. 前記第2の通信手段を介して前記位置情報が取得される場合、前記位置取得手段は、前記連写撮像処理が行われているか否かに関わらず、所定の間隔で前記位置情報を取得し、
    前記第2の通信手段を介して前記方位情報が取得される場合、前記方位取得手段は、前記連写撮像処理が行われているか否かに関わらず、所定の間隔で前記方位情報を取得することを特徴とする請求項3乃至6のいずれか1項に記載の撮像装置。
  8. 前記所定の間隔は、前記連写撮像処理の各撮像の間隔よりも短いことを特徴とする請求項7に記載の撮像装置。
  9. 前記第1の通信手段と前記第2の通信手段との両方で通信が可能な場合、前記第2の通信手段を介した通信を優先することを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 前記第1の通信手段を介した通信は無線通信であることを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記第1の通信手段を介した通信は、アクセサリシューを介した通信であることを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  12. 前記第2の通信手段を介した通信は、USBケーブルを介した通信であることを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 第1の通信手段と、前記第1の通信手段よりも通信速度が速い第2の通信手段とを有する撮像装置の制御方法であって、
    複数の撮像によって複数の画像を取得する連写撮像工程と、
    前記第1の通信手段または前記第2の通信手段を介して位置情報を取得する位置取得工程とを有し、
    前記第1の通信手段を介して前記位置情報が取得される場合、前記位置取得工程では、前記連写撮像工程の撮像毎に位置情報を取得せず、
    前記第2の通信手段を介して前記位置情報が取得される場合、前記位置取得工程では、前記連写撮像工程の撮像毎に位置情報を取得することを特徴とする撮像装置の制御方法。
  14. コンピュータを請求項1乃至12のいずれか1項に記載の撮像装置として機能させるプログラム。
  15. 撮像手段と、
    前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、
    第1の通信手段と、
    前記第1の通信手段よりも通信速度が速い第2の通信手段と、
    前記第1の通信手段または前記第2の通信手段を介して位置情報を取得する位置取得手段と、
    前記位置情報を前記画像に関連付ける関連付け手段とを有し、
    前記第1の通信手段を介して前記位置情報が取得される場合、前記連写撮像処理によって得られる複数の画像のそれぞれに関連付けられる位置情報は、同じ位置情報が関連付けられ、
    前記第2の通信手段を介して前記位置情報が取得される場合、前記連写撮像処理によって得られる複数の画像のそれぞれに関連付けられる位置情報は、前記連写撮像処理の実行中に可変な位置情報が関連付けられることを特徴とする撮像装置。
  16. 前記第1の通信手段または前記第2の通信手段を介して方位情報を取得する方位取得手段を更に有し、
    前記第1の通信手段と前記第2の通信手段とのどちらの通信手段を介して方位情報が取得されるかに関わらず、前記連写撮像処理によって得られる複数の画像のそれぞれに関連付けられる位置情報は、前記連写撮像処理の実行中に可変な位置情報が関連付けられることを特徴とする請求項15に記載の撮像装置。
  17. 前記第2の通信手段を介して前記位置情報が取得される場合、前記位置取得手段は、前記連写撮像処理が行われているか否かに関わらず、所定の間隔で前記位置情報を取得し、前記第2の通信手段を介して前記方位情報が取得される場合、前記方位取得手段は、前記連写撮像処理が行われているか否かに関わらず、所定の間隔で前記方位情報を取得することを特徴とする請求項16に記載の撮像装置。
  18. 前記所定の間隔は、前記連写撮像処理の各撮像の間隔よりも短いことを特徴とする請求項17に記載の撮像装置。
  19. 前記第1の通信手段と前記第2の通信手段との両方で通信が可能な場合、前記第2の通信手段を介した通信を優先することを特徴とする請求項15乃至18のいずれか1項に記載の撮像装置。
  20. 第1の通信手段と、前記第1の通信手段よりも通信速度が速い第2の通信手段とを有する撮像装置の制御方法であって、
    複数の撮像によって複数の画像を取得する連写撮像工程と、
    前記第1の通信手段または前記第2の通信手段を介して位置情報を取得する位置取得工程と、
    前記位置情報を前記画像に関連付ける関連付け工程とを有し、
    前記第1の通信手段を介して前記位置情報が取得される場合、前記連写撮像工程で得られる複数の画像のそれぞれに関連付けられる位置情報は、同じ位置情報が関連付けられ、
    前記第2の通信手段を介して前記位置情報が取得される場合、前記連写撮像工程で得られる複数の画像のそれぞれに関連付けられる位置情報は、前記連写撮像工程の実行中に可変な位置情報が関連付けられることを特徴とする撮像装置の制御方法。
  21. コンピュータを請求項15乃至19のいずれか1項に記載の撮像装置として機能させるプログラム。
JP2011269332A 2011-12-08 2011-12-08 撮像装置、およびその制御方法、プログラム Expired - Fee Related JP5865047B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011269332A JP5865047B2 (ja) 2011-12-08 2011-12-08 撮像装置、およびその制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011269332A JP5865047B2 (ja) 2011-12-08 2011-12-08 撮像装置、およびその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2013121137A JP2013121137A (ja) 2013-06-17
JP2013121137A5 JP2013121137A5 (ja) 2015-01-29
JP5865047B2 true JP5865047B2 (ja) 2016-02-17

Family

ID=48773572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011269332A Expired - Fee Related JP5865047B2 (ja) 2011-12-08 2011-12-08 撮像装置、およびその制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP5865047B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071903B2 (ja) * 2011-12-08 2017-02-01 キヤノン株式会社 撮像装置、およびその制御方法、プログラム
JP2016058978A (ja) 2014-09-11 2016-04-21 キヤノン株式会社 情報処理装置、撮像装置、制御方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3915344B2 (ja) * 1999-10-25 2007-05-16 カシオ計算機株式会社 カメラ装置及び撮影位置記憶方法
JP3925057B2 (ja) * 2000-09-12 2007-06-06 カシオ計算機株式会社 カメラ装置、撮影範囲表示システム、及び撮影範囲表示方法
JP2011139352A (ja) * 2009-12-28 2011-07-14 Canon Inc 情報処理方法、プログラム及び撮影装置

Also Published As

Publication number Publication date
JP2013121137A (ja) 2013-06-17

Similar Documents

Publication Publication Date Title
JP6071903B2 (ja) 撮像装置、およびその制御方法、プログラム
EP1998558B1 (en) Image pickup apparatus equipped with function of detecting image shaking
JP2016123137A (ja) 画像通信装置および撮像装置
US20090135274A1 (en) System and method for inserting position information into image
US20140032551A1 (en) Communication apparatus, method of controlling the communication apparatus, and recording medium
US20150189151A1 (en) Information processing apparatus, imaging apparatus, information processing method, information processing program, and imaging system
JP6337431B2 (ja) システム、サーバ、電子機器およびプログラム
JP5865047B2 (ja) 撮像装置、およびその制御方法、プログラム
JP6605081B2 (ja) 撮像装置、およびその制御方法、プログラム
JP5332497B2 (ja) 撮像装置及び画像転送方法
JP2014120815A (ja) 情報処理装置、撮像装置、情報処理方法、プログラムならびに記憶媒体
JP2017103790A (ja) 撮像装置、およびその制御方法、プログラム
US8040383B2 (en) Communication system, communication method, computer-readable medium and image shooting device
JP6147108B2 (ja) 通信装置、その制御方法、プログラム
JP2012216885A (ja) 撮像装置及び画像共有システム
JP2013016928A (ja) 撮影装置、撮影条件制御方法、プログラム
JP5836651B2 (ja) 撮像装置、及びその制御方法とそのプログラム
JP2015080156A (ja) 電子機器、その制御方法及びプログラム
JP5995580B2 (ja) 通信装置、その制御方法、プログラム
JP2014211324A (ja) 情報処理装置、情報処理装置の制御方法、プログラム
JP6265764B2 (ja) 撮像装置及び撮像装置の制御方法
JP5822579B2 (ja) 方位取得装置、方位取得装置の制御方法およびそのプログラム
JP2015119432A (ja) 撮像装置、撮像システム、撮像方法及びプログラム
KR20090030496A (ko) 이미지 파일에 gps 정보를 입력하는 시스템 및 그 동작방법
JP2019080259A (ja) 無線通信システム、その制御方法及びそのプログラム並びに記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151225

R151 Written notification of patent or utility model registration

Ref document number: 5865047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees