JP6605081B2 - Imaging apparatus, control method therefor, and program - Google Patents

Imaging apparatus, control method therefor, and program Download PDF

Info

Publication number
JP6605081B2
JP6605081B2 JP2018121931A JP2018121931A JP6605081B2 JP 6605081 B2 JP6605081 B2 JP 6605081B2 JP 2018121931 A JP2018121931 A JP 2018121931A JP 2018121931 A JP2018121931 A JP 2018121931A JP 6605081 B2 JP6605081 B2 JP 6605081B2
Authority
JP
Japan
Prior art keywords
imaging
image
information
continuous shooting
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018121931A
Other languages
Japanese (ja)
Other versions
JP2018191300A (en
Inventor
崇 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018121931A priority Critical patent/JP6605081B2/en
Publication of JP2018191300A publication Critical patent/JP2018191300A/en
Application granted granted Critical
Publication of JP6605081B2 publication Critical patent/JP6605081B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、位置情報と方位情報を取得することができる撮像装置に関するものである。   The present invention relates to an imaging apparatus capable of acquiring position information and orientation information.

近年、デジタルカメラにＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信器や電子コンパス等のアクセサリを取り付けて、撮影した画像に、撮影位置を示す位置情報や撮影方向を示す方位情報などを付加するということが行われている。これらの情報は、画像の撮影の際に、アクセサリと通信することで取得することができる。しかしながら、例えば連写撮影のように短時間に連続して複数の画像を撮影する場合では、単写撮影のように一枚の画像を撮影する場合に比べて制御部の負荷が高い。そのため、連写撮影中は、アクセサリとの通信など、負荷を増加させるような処理を行うのは好ましくない。   In recent years, accessories such as a GPS (Global Positioning System) receiver and an electronic compass are attached to a digital camera, and position information indicating a shooting position, direction information indicating a shooting direction, and the like are added to a shot image. ing. Such information can be acquired by communicating with an accessory at the time of imaging. However, when a plurality of images are captured continuously in a short time, for example, in continuous shooting, the load on the control unit is higher than when a single image is captured as in single shooting. Therefore, during continuous shooting, it is not preferable to perform processing that increases the load, such as communication with an accessory.

例えば特許文献１では、連写撮影中はＧＰＳの測位を停止することで、連写撮影中の負荷を低減している。   For example, in Patent Document 1, the load during continuous shooting is reduced by stopping GPS positioning during continuous shooting.

特開平１１−２８２０７６号公報Japanese Patent Laid-Open No. 11-282076

しかしながら、上述の方法は、連写撮影中の短時間でも比較的大きな変化が生じ得る情報についてはなんら考慮されていない。例えば方位情報は、位置情報と比較すると変化が生じやすいため、連写撮影中でも各コマ毎の方位情報を取得できることが望ましい。   However, the above-described method does not take into consideration any information that can cause a relatively large change even in a short time during continuous shooting. For example, since the direction information is likely to change as compared with the position information, it is desirable that the direction information for each frame can be acquired even during continuous shooting.

そこで、本発明では、連写撮影中の制御部の負荷を低減しつつ、連写撮影で得られる画像に付加する情報の取得を適切に制御することを目的とする。   Therefore, an object of the present invention is to appropriately control the acquisition of information to be added to an image obtained by continuous shooting while reducing the load on the control unit during continuous shooting.

本願発明の撮像装置は、被写体を撮像して画像を取得する撮像手段と、前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、前記画像を保持する保持手段と、位置情報を取得する位置取得手段と、方位情報を取得する方位取得手段と、前記方位情報および前記位置情報を前記画像に対応づける対応づけ手段とを有し、前記対応づけ手段は、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得手段により取得された方位情報をそれぞれ対応づけ、前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる位置情報は、同じ位置情報が対応づけられ、前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる方位情報は、前記連写撮像処理の実行中に可変な方位情報が対応づけられることを特徴とする。   An image pickup apparatus according to the present invention includes an image pickup unit that picks up a subject and acquires an image, a control unit that controls a continuous shooting processing that acquires a plurality of images by a plurality of images picked up by the image pickup unit, and holds the image Holding means; position acquisition means for acquiring position information; azimuth acquisition means for acquiring azimuth information; and association means for associating the azimuth information and the position information with the image. , Each image obtained by the continuous shooting imaging process is associated with the azimuth information acquired by the azimuth acquisition unit immediately before each imaging for acquiring the image, and a plurality of images obtained by the continuous shooting imaging process are correlated. The position information associated with each is associated with the same position information, and the azimuth information associated with each of the plurality of images obtained by the continuous shooting processing is: Variable orientation information during execution of Kiren'utsushi imaging process is characterized in that it is associated with.

本発明によれば、連写撮影中の制御部の負荷の低減と、連写撮影で得られた画像に付加する情報の取得を適切に制御することとを両立することができる。   According to the present invention, it is possible to achieve both reduction of the load on the control unit during continuous shooting and appropriate control of acquisition of information to be added to an image obtained by continuous shooting.

第１の実施形態における撮像システムの全体を表すブロック図である。It is a block diagram showing the whole imaging system in a 1st embodiment. 第１の実施形態における連写撮影の際のシステムの動作を示す概念図である。It is a conceptual diagram which shows operation | movement of the system at the time of the continuous shooting in 1st Embodiment. 第１の実施形態における撮影する際のデジタルカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera at the time of imaging | photography in 1st Embodiment. 第２の実施形態における撮影する際のデジタルカメラの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera at the time of imaging | photography in 2nd Embodiment. 第２の実施形態における連写撮影の際のシステムの動作を示す概念図である。It is a conceptual diagram which shows operation | movement of the system in the time of the continuous shooting imaging | photography in 2nd Embodiment. その他の実施形態における連写撮影の際のシステムの動作を示す概念図である。It is a conceptual diagram which shows the operation | movement of the system in the case of the continuous shooting in other embodiment.

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。   EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated in detail using attached drawing.

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態は適宜組み合わされることも可能である。   The embodiment described below is an example as means for realizing the present invention, and may be appropriately modified or changed depending on the configuration of the apparatus to which the present invention is applied and various conditions. Each embodiment can also be combined as appropriate.

［第１の実施形態］
図１は、本実施形態の撮像システムの構成を示す。本実施形態の撮像システムは、撮像装置の一例であるデジタルカメラ１００と、外部装置の一例であるＧＰＳアクセサリ１２０とから構成される。なお、ここでは撮像装置の一例としてデジタルカメラについて述べるが、撮像装置はこれに限られない。例えば撮像装置は、カメラ付き携帯電話や、カメラ付きタブレットデバイスなどであってもよい。 [First Embodiment]
FIG. 1 shows a configuration of an imaging system of the present embodiment. The imaging system of this embodiment includes a digital camera 100 that is an example of an imaging apparatus and a GPS accessory 120 that is an example of an external device. Although a digital camera is described here as an example of an imaging apparatus, the imaging apparatus is not limited to this. For example, the imaging device may be a camera-equipped mobile phone, a camera-equipped tablet device, or the like.

まず、デジタルカメラ１００について説明する。   First, the digital camera 100 will be described.

制御部１０１は、入力された信号や、後述のプログラムに従ってデジタルカメラ１００の各部を制御する。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。   The control unit 101 controls each unit of the digital camera 100 according to an input signal and a program described later. Note that instead of the control unit 101 controlling the entire apparatus, a plurality of hardware may share the processing to control the entire apparatus.

撮像部１０２は、撮影処理を行う。撮影処理とは、撮像部１０２に含まれるレンズで結像された被写体光を電気信号に変換し、ノイズ低減処理などを行いデジタルデータを画像データとして出力する処理である。撮像した画像データはバッファメモリに蓄えられた後、制御部１０１にて所定の演算を行い、記録媒体１１０に記録される。本実施形態のデジタルカメラ１００は、撮影指示を受けた場合、撮影処理を一度だけ行う単写撮影モードと、撮影処理を連続して何度も行う連写撮影モードを備えている。この連写撮影モードでは、後述の操作部１０５に含まれるレリーズスイッチのＳＷ２がＯＮの間、連続して一定の間隔で撮影処理が実行される。また、撮影指示が受け付けられる前に、予めどちらのモードで撮影処理を行うかをユーザ操作により設定しておくことができる。   The imaging unit 102 performs a shooting process. The imaging process is a process of converting subject light imaged by a lens included in the imaging unit 102 into an electrical signal, performing noise reduction processing, and outputting digital data as image data. The captured image data is stored in the buffer memory, and then a predetermined calculation is performed by the control unit 101 and recorded on the recording medium 110. The digital camera 100 according to the present embodiment includes a single shooting mode in which a shooting process is performed once when a shooting instruction is received, and a continuous shooting mode in which the shooting process is continuously performed many times. In the continuous shooting mode, shooting processing is continuously performed at regular intervals while a release switch SW2 included in the operation unit 105 described later is ON. Further, before the photographing instruction is accepted, it is possible to set by a user operation or performs shooting processing in either advance mode.

不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１で実行される後述のプログラム等が格納される。   The non-volatile memory 103 is an electrically erasable / recordable non-volatile memory, and stores a program to be described later executed by the control unit 101.

作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリ、制御部１０１の作業領域等として使用される。   The work memory 104 is used as a buffer memory that temporarily holds image data picked up by the image pickup unit 102, an image display memory of the display unit 106, a work area of the control unit 101, and the like.

操作部１０５は、ユーザがデジタルカメラ１００に対する指示をユーザから受け付けるために用いられる。操作部１０５は例えば、ユーザがデジタルカメラ１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、撮影処理を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタンなどの操作部材を含むよう構成される。なお、レリーズスイッチは、ＳＷ１およびＳＷ２を有する。レリーズスイッチが、いわゆる半押し状態となることにより、ＳＷ１がＯＮとなる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備動作を行うための指示を受け付ける。また、レリーズスイッチが、いわゆる全押し状態となることにより、ＳＷ２がＯＮとなる。これにより、撮影処理を行うための指示を受け付ける。   The operation unit 105 is used for the user to accept an instruction for the digital camera 100 from the user. The operation unit 105 includes, for example, operations such as a power button for instructing the user to turn on / off the digital camera 100, a release switch for instructing photographing processing, and a playback button for instructing reproduction of image data. Configured to include a member. The release switch has SW1 and SW2. When the release switch is in a so-called half-pressed state, SW1 is turned on. Thus, an instruction for performing a shooting preparation operation such as AF (autofocus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and EF (flash pre-emission) processing is accepted. Further, when the release switch is in a fully-pressed state, SW2 is turned on. Thus, an instruction for performing the photographing process is received.

表示部１０６は、撮影の際のビューファインダー画像の表示、撮影した画像データの表示、対話的な操作のための文字表示などを行う。なお、表示部１０６はデジタルカメラ１００が備える必要はなく、デジタルカメラ１００は表示部１０６と接続することができ、表示部１０６の表示を制御する表示制御機能を少なくとも有していればよい。   The display unit 106 displays a viewfinder image at the time of shooting, displays shot image data, and displays characters for interactive operation. Note that the display unit 106 does not need to be included in the digital camera 100, and the digital camera 100 may be connected to the display unit 106 and has at least a display control function for controlling the display of the display unit 106.

記録媒体１１０は、撮像部１０２から出力された画像データや、後述の接続部１１１を介して取得した位置情報や方位情報を記録することができる。記録媒体１１０は、デジタルカメラ１００に着脱可能なよう構成してもよいし、デジタルカメラ１００に内蔵されていてもよい。すなわち、デジタルカメラ１００は少なくとも記録媒体１１０にアクセスする手段を有していればよい。   The recording medium 110 can record image data output from the imaging unit 102 and position information and azimuth information acquired via the connection unit 111 described later. The recording medium 110 may be configured to be detachable from the digital camera 100 or may be built in the digital camera 100. That is, the digital camera 100 only needs to have a means for accessing at least the recording medium 110.

接続部１１１は、外部装置と通信するための接続部である。デジタルカメラ１００は、接続部１１１を介して、外部装置とデータのやりとりを行うことができる。なお、本実施形態では、接続部１１１はデジタルカメラ１００に設けられるアクセサリシューであり、デジタルカメラ１００はアクセサリシューを介して、後述のＧＰＳアクセサリ１２０の接続部１２７と接続することができる。そして、制御部１０１は、アクセサリシューを介して、ＧＰＳアクセサリ１２０との通信を行う。例えば、デジタルカメラ１００は、ＧＰＳアクセサリ１２０へ位置情報や方位情報の要求を送信したり、ＧＰＳアクセサリ１２０から送信される位置情報や方位情報を受信したりすることができる。なお、本実施形態では接続部１１１をアクセサリシューとして、デジタルカメラ１００とＧＰＳアクセサリ１２０とがアクセサリシューを介した通信でデータの授受を行う場合について述べるが、デジタルカメラ１００とＧＰＳアクセサリ１２０との通信の形態はこれに限られない。例えば、デジタルカメラ１００とＧＰＳアクセサリ１２０とがＵＳＢケーブルを介して通信するよう構成しても、無線通信で通信するよう構成してもよい。   The connection unit 111 is a connection unit for communicating with an external device. The digital camera 100 can exchange data with an external device via the connection unit 111. In the present embodiment, the connection unit 111 is an accessory shoe provided in the digital camera 100, and the digital camera 100 can be connected to a connection unit 127 of the GPS accessory 120 described later via the accessory shoe. Then, the control unit 101 communicates with the GPS accessory 120 via the accessory shoe. For example, the digital camera 100 can transmit a request for position information and orientation information to the GPS accessory 120 and can receive position information and orientation information transmitted from the GPS accessory 120. In this embodiment, the case where the digital camera 100 and the GPS accessory 120 exchange data via the accessory shoe using the connection unit 111 as an accessory shoe is described. However, the communication between the digital camera 100 and the GPS accessory 120 is described. The form of is not limited to this. For example, the digital camera 100 and the GPS accessory 120 may be configured to communicate via a USB cable or may be configured to communicate via wireless communication.

以上がデジタルカメラ１００の説明である。   The above is the description of the digital camera 100.

次に、ＧＰＳアクセサリ１２０について説明する。   Next, the GPS accessory 120 will be described.

制御部１２１は入力された信号や、後述のプログラムに従ってＧＰＳアクセサリ１２０の各部を制御する。なお、制御部１２１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。   The control unit 121 controls each unit of the GPS accessory 120 according to an input signal and a program described later. Note that instead of the control unit 121 controlling the entire apparatus, the entire apparatus may be controlled by a plurality of hardware sharing the processing.

操作部１２２は、ＧＰＳアクセサリ１２０の動作や設定に関する指示をユーザから受け付けるために用いられる。操作部１２２は例えば、ＧＰＳアクセサリ１２０の電源のＯＮ／ＯＦＦを切り替えるための電源スイッチ等を含むよう構成される。   The operation unit 122 is used to receive an instruction regarding the operation or setting of the GPS accessory 120 from the user. The operation unit 122 is configured to include, for example, a power switch for switching on / off the power of the GPS accessory 120.

不揮発性メモリ１２３は、ＧＰＳアクセサリ１２０の各部を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶している。後述する各フローチャートに示す処理を制御部１２１が制御するためのプログラムも、この不揮発性メモリ１２３に記録されている。   The nonvolatile memory 123 stores a program (firmware) for controlling each part of the GPS accessory 120 and various setting information. A program for the control unit 121 to control processing shown in each flowchart described later is also recorded in the nonvolatile memory 123.

作業用メモリ１２４は、不揮発性メモリ１２３に保存されているプログラムを、展開・実行するためのメモリである。作業用メモリ１２４は制御部１２１のワークエリアとして使用される。   The work memory 124 is a memory for developing and executing a program stored in the nonvolatile memory 123. The work memory 124 is used as a work area for the control unit 121.

方位取得部１２５は、ＧＰＳアクセサリ１２０がどの方角を向いているかを検出し、方位情報を出力する。この処理は方位取得処理の一例である。方位取得部１２５は例えば電子コンパスで構成される。電子コンパスとは、地磁気センサ、方位センサなどとも呼ばれ、地球の地磁気を検出することができるデバイスの総称である。電子コンパスは、地磁気を２次元、または、３次元で検出し、地磁気に対して、電子コンパスのデバイス自体がどの方角を向いているかを検出することができる。この方位情報は、定期的に取得され、作業用メモリ１２４に記録される。既に作業用メモリ１２４に方位情報が記録されている場合は、新たに取得した方位情報で上書きする。このような処理により、作業用メモリ１２４には、常に最新の方位情報が保持されることとなる。また、方位取得部１２５は加速度センサを含むよう構成される。なお、方位取得部１２５は、ジャイロセンサ等の動き検出センサ、または電子コンパスと動き検出センサとの組み合わせで構成されてもよい。方位取得部１２５にて取得された方位情報は、制御部１２１の制御に従ってデジタルカメラ１００に送信することができる。   The direction acquisition unit 125 detects which direction the GPS accessory 120 is facing and outputs direction information. This process is an example of an orientation acquisition process. The direction acquisition unit 125 is configured by an electronic compass, for example. The electronic compass is also called a geomagnetic sensor, a direction sensor, etc., and is a generic name for devices that can detect the earth's geomagnetism. The electronic compass can detect the geomagnetism in two dimensions or three dimensions, and can detect which direction the device of the electronic compass is facing with respect to the geomagnetism. This azimuth information is periodically acquired and recorded in the work memory 124. When the direction information has already been recorded in the work memory 124, it is overwritten with the newly acquired direction information. By such processing, the latest azimuth information is always held in the work memory 124. In addition, the direction acquisition unit 125 is configured to include an acceleration sensor. The direction acquisition unit 125 may be configured by a motion detection sensor such as a gyro sensor, or a combination of an electronic compass and a motion detection sensor. The azimuth information acquired by the azimuth acquisition unit 125 can be transmitted to the digital camera 100 under the control of the control unit 121.

位置取得部１２６は、測位処理を行う。測位処理とは、ＧＰＳ衛星から信号を受信し、受信した信号からＧＰＳアクセサリ１２０の位置を示す位置情報を取得する処理である。位置取得部１２６で取得された位置情報は、制御部１２１の制御に従ってデジタルカメラ１００に送信することができる。送信された位置情報は、デジタルカメラ１００で撮影された画像データに撮影位置として対応づけられる。本実施形態では、位置情報は、緯度・経度の座標で表される。この位置情報は、定期的に取得され、作業用メモリ１２４に記録される。既に作業用メモリ１２４に位置情報が記録されている場合は、新たに取得した位置情報で上書きする。このような処理により、作業用メモリ１２４には、常に最新の位置情報が保持されることとなる。なお、位置取得部１２６は、例えば加速度センサとＧＰＳとの組み合わせや、携帯電話の基地局といった外部装置などから位置情報を取得する装置で構成されてもよい。   The position acquisition unit 126 performs a positioning process. The positioning process is a process of receiving a signal from a GPS satellite and acquiring position information indicating the position of the GPS accessory 120 from the received signal. The position information acquired by the position acquisition unit 126 can be transmitted to the digital camera 100 under the control of the control unit 121. The transmitted position information is associated with image data photographed by the digital camera 100 as a photographing position. In the present embodiment, the position information is represented by latitude / longitude coordinates. This position information is periodically acquired and recorded in the work memory 124. If the position information has already been recorded in the work memory 124, it is overwritten with the newly acquired position information. By such processing, the latest position information is always held in the work memory 124. Note that the position acquisition unit 126 may be configured by a device that acquires position information from an external device such as a combination of an acceleration sensor and GPS or a mobile phone base station.

接続部１２７は、デジタルカメラ１００に設けられた接続部１１１と接続することができる接続部である。ＧＰＳアクセサリ１２０は、接続部１２７を接続部１１１と接続することにより、デジタルカメラ１００と通信することができる。   The connection unit 127 is a connection unit that can be connected to the connection unit 111 provided in the digital camera 100. The GPS accessory 120 can communicate with the digital camera 100 by connecting the connection unit 127 to the connection unit 111.

以上がＧＰＳアクセサリ１２０の説明である。   The above is the description of the GPS accessory 120.

次に、上記のシステムにて、連写撮影の際に、画像に位置情報および方位情報を付加するための処理の概要について説明する。図２はアクセサリシューを介してＧＰＳアクセサリ１２０と通信するデジタルカメラ１００が、連写撮影した画像に位置情報および方位情報を付加する際の情報の取得方法を示す具体例である。   Next, an outline of processing for adding position information and orientation information to an image at the time of continuous shooting with the above system will be described. FIG. 2 is a specific example showing a method of acquiring information when the digital camera 100 communicating with the GPS accessory 120 via the accessory shoe adds position information and azimuth information to the continuously shot image.

図２では、連写撮影にて６枚の画像が撮影される例が示されている。この例では、デジタルカメラ１００における連写撮影の状態と、撮影毎にＧＰＳアクセサリ１２０から取得する情報、およびそのタイミングが示される。時間軸は左から右に進む形で表現されている。   FIG. 2 shows an example in which six images are taken by continuous shooting. In this example, the state of continuous shooting in the digital camera 100, information acquired from the GPS accessory 120 for each shooting, and the timing thereof are shown. The time axis is expressed from left to right.

まず、デジタルカメラ１００は、ＳＷ１がＯＮとなった後、ＳＷ２がＯＮとなるまでの間、位置情報と方位情報を定期的に繰り返し取得する。具体的には、デジタルカメラ１００は、定期的にＧＰＳアクセサリ１２０に、位置情報の取得要求や、方位情報の取得要求を送信する。これらの要求を受信したＧＰＳアクセサリ１２０は、作業用メモリ１２４に保存されている最新の位置情報や最新の方位情報を、応答としてデジタルカメラ１００に送信する。ＧＰＳアクセサリ１２０から受信した位置情報や方位情報は、デジタルカメラ１００の作業用メモリ１０４に保持される。すでに作業用メモリ１０４に位置情報や方位情報が保持されている場合は、新たに受信された情報でそれぞれ上書きする。これにより、ＳＷ１がＯＮとなった後、ＳＷ２がＯＮとなるまでの間、作業用メモリ１０４には常に最新の位置情報および方位情報が保持されることになる。   First, the digital camera 100 periodically and repeatedly acquires position information and azimuth information until SW2 is turned on after SW1 is turned on. Specifically, the digital camera 100 periodically transmits a position information acquisition request or a direction information acquisition request to the GPS accessory 120. The GPS accessory 120 that has received these requests transmits the latest position information and the latest azimuth information stored in the work memory 124 to the digital camera 100 as a response. Position information and orientation information received from the GPS accessory 120 are held in the work memory 104 of the digital camera 100. If position information and orientation information are already held in the work memory 104, they are overwritten with newly received information. Thus, the latest position information and azimuth information are always held in the work memory 104 after SW1 is turned on and until SW2 is turned on.

ＳＷ２がＯＮになると、連写撮影が開始する。前述のように、本実施形態の連写撮影での各撮影処理は一定の間隔で実行される。また、本実施形態の連写撮影中は、位置情報および方位情報の定期的な取得は行われない。その代わり、本実施形態のデジタルカメラ１００は、各撮影処理の間に方位情報をＧＰＳアクセサリ１２０から取得する。   When SW2 is turned on, continuous shooting starts. As described above, each shooting process in the continuous shooting according to the present embodiment is executed at regular intervals. Further, during continuous shooting of the present embodiment, periodic acquisition of position information and direction information is not performed. Instead, the digital camera 100 according to the present embodiment acquires azimuth information from the GPS accessory 120 during each shooting process.

まず、図２を用いて、方位情報の付加について説明する。図２の例では、一回目の撮像処理において得られる一枚目の画像に、連写撮影が開始される直前の方位情報Ｂが付加される。そして、一枚目の画像の出力が終わり、二回目の撮像処理が始まるまでの間に、デジタルカメラ１００はＧＰＳアクセサリ１２０に方位情報の取得要求を送信し、ＧＰＳアクセサリ１２０はその応答として、最新の方位情報をデジタルカメラ１００に返信する。ここで取得された方位情報Ｃは、次に得られる二枚目の画像に付加されることになる。本実施形態の連写撮影では、二回目以降の撮影処理では、上記の二回目の手順をＳＷ２がＯＦＦになるまで繰り返す。図２の例では、６枚目の画像が撮影された後にＳＷ２がＯＦＦとなり、連写撮影が終了したと判断される。そして、連写撮影で得られる画像には、各撮影処理の直前に取得された方位情報Ｂ〜Ｇが、それぞれ付加されることになる。   First, the addition of azimuth information will be described with reference to FIG. In the example of FIG. 2, the azimuth information B immediately before the start of continuous shooting is added to the first image obtained in the first imaging process. The digital camera 100 transmits a request for obtaining azimuth information to the GPS accessory 120 until the second imaging process starts after the output of the first image is finished, and the GPS accessory 120 receives the latest information as a response. Is returned to the digital camera 100. The orientation information C acquired here is added to the second image to be obtained next. In the continuous shooting of the present embodiment, in the second and subsequent shooting processes, the above second procedure is repeated until SW2 is turned off. In the example of FIG. 2, after the sixth image is taken, SW2 is turned off, and it is determined that continuous shooting has been completed. Then, the orientation information B to G acquired immediately before each photographing process is added to the image obtained by the continuous photographing.

次に、位置情報の付加について説明する。位置情報については、連写撮影中はＧＰＳアクセサリ１２０から取得せず、連写撮影が開始する直前に取得した位置情報を用いる。すなわち、本実施形態のデジタルカメラ１００では、連写撮影で得られる画像のそれぞれに対して、ＳＷ２がＯＮとなる直前に得られた位置情報Ｂを共通に付加する。   Next, addition of position information will be described. The position information is not acquired from the GPS accessory 120 during continuous shooting, but the position information acquired immediately before the start of continuous shooting is used. That is, in the digital camera 100 of the present embodiment, the position information B obtained immediately before the SW2 is turned on is commonly added to each of the images obtained by continuous shooting.

以上が、本実施形態のデジタルカメラ１００が連写撮影の際にアクセサリシューを介してＧＰＳアクセサリ１２０と通信する場合の処理である。一般的に、連写撮影中では、短時間に連続して撮影が行われるため、制御部１０１の負荷が高くなる。そのため、連写撮影中には省略できる情報の取得は省いて、出来るだけ制御部１０１の負荷を低減したい。   The above is the process when the digital camera 100 of the present embodiment communicates with the GPS accessory 120 via the accessory shoe during continuous shooting. Generally, during continuous shooting, since shooting is performed continuously in a short time, the load on the control unit 101 increases. Therefore, it is desirable to reduce the load on the control unit 101 as much as possible without acquiring information that can be omitted during continuous shooting.

そこで、本実施形態の連写撮影では、上述のように方位情報と位置情報のうち方位情報を取得し、位置情報を取得しないよう構成した。具体的には、本実施形態では、デジタルカメラ１００は、連写撮影の際に方位情報と位置情報のうち方位情報を取得し、位置情報を取得しない。   Therefore, in the continuous shooting according to the present embodiment, the direction information is acquired from the direction information and the position information as described above, and the position information is not acquired. Specifically, in the present embodiment, the digital camera 100 acquires azimuth information among azimuth information and position information during continuous shooting and does not acquire position information.

一般に、連写撮影中のような短い時間であっても、動く被写体を追いながら撮影する場合等、方位情報の変化は比較的大きいと考えられる。したがって、連写撮影中のように短い時間であっても、方位情報は連写撮影の各コマ毎に取得するのが望ましい。そこで、本実施形態では、連写撮影中の撮影処理毎に、ＧＰＳアクセサリ１２０から方位情報を取得する。   In general, it is considered that the change in orientation information is relatively large even when shooting while following a moving subject even during a short time such as during continuous shooting. Therefore, it is desirable to acquire the azimuth information for each frame of continuous shooting even in a short time during continuous shooting. Therefore, in the present embodiment, orientation information is acquired from the GPS accessory 120 for each shooting process during continuous shooting.

一方、連写撮影中のような短い時間では、位置情報の変化は比較的小さい。なぜなら、ユーザがレリーズスイッチを押しながら大きく移動することは考えにくく、緯度、経度などは大きく変化しないと考えられるためである。つまり、連写撮影中のように短い時間では、撮影処理毎に得られる画像の撮影位置は同じとみなしても問題は少ないと考えられる。そこで、位置情報に関しては、連写撮影中の撮影処理毎にＧＰＳアクセサリ１２０から取得することはしない。本実施形態の連写撮影で得られる各画像には、連写撮影開始直前に取得された位置情報を、共通の位置情報として付加する。   On the other hand, the change in position information is relatively small in a short time such as during continuous shooting. This is because it is unlikely that the user will move greatly while pressing the release switch, and the latitude and longitude will not change significantly. That is, in a short time such as during continuous shooting, it is considered that there are few problems even if the shooting positions of the images obtained for each shooting process are considered to be the same. Therefore, position information is not acquired from the GPS accessory 120 for each shooting process during continuous shooting. The position information acquired immediately before the start of continuous shooting is added as common position information to each image obtained by continuous shooting according to the present embodiment.

このように、本実施形態のデジタルカメラ１００は、アクセサリシューを介してＧＰＳアクセサリ１２０と通信する場合、連写撮影中は、位置情報と方位情報のうち方位情報を撮影の度に取得して、位置情報を取得しないよう構成する。これにより、連写撮影中の制御部の負荷の低減と、連写撮影で得られた画像に付加する情報の取得を適切に制御することとを両立することができる。   As described above, when the digital camera 100 of the present embodiment communicates with the GPS accessory 120 via the accessory shoe, during continuous shooting, the azimuth information is acquired every time shooting is performed among the position information and the azimuth information. It is configured not to acquire position information. Thereby, it is possible to achieve both reduction of the load on the control unit during continuous shooting and appropriate control of acquisition of information to be added to an image obtained by continuous shooting.

次に、撮影の際のデジタルカメラ１００の動作について説明する。図３は、撮影の際のデジタルカメラ１００の動作を示すフローチャートである。このフローチャートに示される各処理は、ＧＰＳアクセサリ１２０が接続されたデジタルカメラ１００の制御部１０１が、不揮発性メモリ１０３に記録されているプログラムを実行し、プログラムに従いデジタルカメラ１００の各部を制御することにより実現される。また、このフローチャートに示される処理は、ＳＷ１がＯＮとなることが検知されることに応じて開始される。以降のフローチャートについても同様である。   Next, the operation of the digital camera 100 at the time of shooting will be described. FIG. 3 is a flowchart showing the operation of the digital camera 100 during shooting. In each process shown in this flowchart, the control unit 101 of the digital camera 100 to which the GPS accessory 120 is connected executes a program recorded in the nonvolatile memory 103 and controls each unit of the digital camera 100 according to the program. It is realized by. The processing shown in this flowchart is started in response to detecting that SW1 is turned on. The same applies to the subsequent flowcharts.

まず、制御部１０１は、ステップＳ３０１にて撮影準備動作を実行する。具体的には、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を行う。このステップの処理は後述のステップＳ３０２〜ステップＳ３０４の処理と並行して実行される。   First, the control unit 101 executes a shooting preparation operation in step S301. Specifically, operations such as AF (autofocus) processing, AE (automatic exposure) processing, AWB (auto white balance) processing, and EF (flash pre-emission) processing are performed. The process in this step is executed in parallel with the processes in steps S302 to S304 described later.

次に、ステップＳ３０２では、制御部１０１は、ＧＰＳアクセサリ１２０から位置情報と方位情報を取得する。具体的には、デジタルカメラ１００は、定期的にＧＰＳアクセサリ１２０に、位置情報の取得要求と、方位情報の取得要求を送信する。これらの要求を受信したＧＰＳアクセサリ１２０は、作業用メモリ１２４に保存されている最新の位置情報や最新の方位情報を、応答としてデジタルカメラ１００に送信する。ＧＰＳアクセサリ１２０から受信した位置情報や方位情報は、一時的に作業用メモリ１０４に保持される。既に位置情報および方位情報が作業用メモリ１０４に保持されている場合は、新たに取得した位置情報と方位情報でそれぞれ上書きする。   Next, in step S <b> 302, the control unit 101 acquires position information and direction information from the GPS accessory 120. Specifically, the digital camera 100 periodically transmits a position information acquisition request and a direction information acquisition request to the GPS accessory 120. The GPS accessory 120 that has received these requests transmits the latest position information and the latest azimuth information stored in the work memory 124 to the digital camera 100 as a response. The position information and direction information received from the GPS accessory 120 are temporarily held in the work memory 104. If the position information and the direction information are already held in the work memory 104, they are overwritten with the newly acquired position information and direction information, respectively.

次に、ステップＳ３０３にて、制御部１０１は、ＳＷ２がＯＮであるかＯＦＦであるかを判断する。制御部１０１が、ＳＷ２がＯＦＦであると判断した場合、処理はステップＳ３０４に進む。   Next, in step S303, the control unit 101 determines whether SW2 is ON or OFF. If the control unit 101 determines that SW2 is OFF, the process proceeds to step S304.

ステップＳ３０４では、制御部１０１は、ＳＷ１がＯＮであるかＯＦＦであるかを判断する。制御部１０１が、ＳＷ１がＯＦＦであると判断した場合、本処理を終了する。一方、制御部１０１が、ＳＷ１がＯＮであると判断した場合、処理はステップＳ３０２に戻り、制御部１０１は、再度位置情報と方位情報を取得する。再度取得された位置情報と方位情報は、作業用メモリ１０４に保持される。既に位置情報と方位情報が作業用メモリ１０４に保持されている場合は、新たに取得した位置情報と方位情報でそれぞれ上書きする。すなわち、ＳＷ１がＯＮであり、ＳＷ２がＯＦＦの間は、繰り返し位置情報と方位情報を取得し、常に最新の位置情報と方位情報を保持する。言い換えれば、ユーザがレリーズスイッチを半押ししている間は、繰り返し位置情報と方位情報を取得し、常に最新の位置情報と方位情報を保持する。   In step S304, the control unit 101 determines whether SW1 is ON or OFF. When the control unit 101 determines that SW1 is OFF, this process ends. On the other hand, when the control unit 101 determines that SW1 is ON, the process returns to step S302, and the control unit 101 obtains position information and orientation information again. The position information and orientation information acquired again are held in the work memory 104. When the position information and the direction information are already held in the work memory 104, the position information and the direction information are newly overwritten respectively. That is, while SW1 is ON and SW2 is OFF, repeated position information and direction information are acquired, and the latest position information and direction information are always held. In other words, while the user presses the release switch halfway, the position information and the direction information are repeatedly acquired, and the latest position information and the direction information are always held.

一方、ステップＳ３０３にて制御部１０１が、ＳＷ２がＯＮであると判断した場合、処理はステップＳ３０５に進む。ステップＳ３０５では、制御部１０１は、撮像部１０２を用いて撮影処理を行い、画像を取得する。   On the other hand, when the control unit 101 determines in step S303 that SW2 is ON, the process proceeds to step S305. In step S <b> 305, the control unit 101 performs shooting processing using the imaging unit 102 and acquires an image.

次に、ステップＳ３０６にて、制御部１０１は、作業用メモリ１０４に保持されている位置情報と方位情報を、ステップＳ３０５にて取得された画像に対応づけて、記録媒体１１０に記録する。ここで、連写撮影の各撮影処理のうちの一回目の撮影処理で得られた画像に対応づけられる位置情報と方位情報は、ステップＳ３０２にて取得された位置情報と方位情報である。この処理は、図２の例でいえば、一枚目の画像に位置情報Ｂと方位情報Ｂを付加する処理に相当する。   Next, in step S306, the control unit 101 records the position information and orientation information held in the work memory 104 on the recording medium 110 in association with the image acquired in step S305. Here, the position information and the azimuth information associated with the image obtained by the first shooting process among the shooting processes of the continuous shooting are the position information and the azimuth information acquired in step S302. In the example of FIG. 2, this process corresponds to the process of adding the position information B and the azimuth information B to the first image.

次に、ステップＳ３０７にて、制御部１０１は、ＳＷ２がＯＦＦであるかＯＮであるかを判断する。制御部１０１が、ＳＷ２がＯＦＦであると判断した場合、撮影が終了したと判断し、本処理は終了する。一方、制御部１０１が、ＳＷ２がＯＮであると判断した場合、処理はステップＳ３０８に進む。   Next, in step S307, the control unit 101 determines whether SW2 is OFF or ON. When the control unit 101 determines that SW2 is OFF, the control unit 101 determines that shooting has ended, and the process ends. On the other hand, when the control unit 101 determines that SW2 is ON, the process proceeds to step S308.

ステップＳ３０８では、制御部１０１は、連写撮影モードであるか、単写撮影モードであるかを判断する。制御部１０１が連写撮影モードでないと判断した場合、処理は終了する。一方、制御部１０１が、連写撮影モードであると判断した場合、処理はステップＳ３０９に進む。   In step S308, the control unit 101 determines whether it is a continuous shooting mode or a single shooting mode. If the control unit 101 determines that the continuous shooting mode is not selected, the process ends. On the other hand, when the control unit 101 determines that the continuous shooting mode is selected, the process proceeds to step S309.

ステップＳ３０９では、制御部１０１は、ＧＰＳアクセサリ１２０から方位情報を取得し、位置情報を取得しない。具体的には、デジタルカメラ１００は、方位情報の取得要求を送信する。方位情報の要求を受信したＧＰＳアクセサリ１２０は、作業用メモリ１２４に保存されている最新の方位情報を、応答としてデジタルカメラ１００に送信する。ＧＰＳアクセサリ１２０から受信した方位情報は、一時的に作業用メモリ１０４に保持される。既に方位情報が作業用メモリ１０４に保持されている場合は、新たに取得した方位情報で上書きする。位置情報に関しては、ＧＰＳアクセサリ１２０から新たな位置情報を取得していないため、作業用メモリ１０４には、ステップＳ３０２にて取得された位置情報が継続して保持されることになる。このステップの処理は、図２の例では、一枚目の画像の撮影と二枚目の画像の撮影との間に方位情報Ｃを取得する処理に相当する。   In step S309, the control unit 101 acquires azimuth information from the GPS accessory 120 and does not acquire position information. Specifically, the digital camera 100 transmits an orientation information acquisition request. The GPS accessory 120 that has received the request for orientation information transmits the latest orientation information stored in the work memory 124 to the digital camera 100 as a response. The direction information received from the GPS accessory 120 is temporarily held in the work memory 104. When the azimuth information is already held in the work memory 104, it is overwritten with the newly obtained azimuth information. Regarding the position information, since new position information is not acquired from the GPS accessory 120, the position information acquired in step S302 is continuously held in the work memory 104. In the example of FIG. 2, the process of this step corresponds to a process of acquiring the orientation information C between the shooting of the first image and the shooting of the second image.

その後、処理はステップＳ３０５に進み、二枚目の画像の撮影処理が実行され、さらにステップＳ３０６にて、作業用メモリ１０４に保持されている位置情報と方位情報が、二回目のステップＳ３０５で取得された画像に対応づけられて記録媒体１１０に記録される。ここでは、二枚目の撮影なので、画像に対応づけられる位置情報と方位情報は、ステップＳ３０２にて取得された位置情報と、ステップＳ３０９にて取得された方位情報である。このステップの処理は、図２の例でいえば、二枚目の画像に位置情報Ｂと方位情報Ｃを付加する処理に相当する。   Thereafter, the process proceeds to step S305, where the second image capturing process is executed. In step S306, the position information and the orientation information held in the work memory 104 are acquired in the second step S305. The image is recorded on the recording medium 110 in association with the recorded image. Here, since it is the second shooting, the position information and the direction information associated with the image are the position information acquired in step S302 and the direction information acquired in step S309. The processing in this step corresponds to the processing of adding the position information B and the azimuth information C to the second image in the example of FIG.

連写撮影中は、制御部１０１はステップＳ３０５〜ステップＳ３０９の処理を繰り返し実行する。すなわち、連写撮影中は、ステップＳ３０２を実行せず、ステップＳ３０９の処理が、撮影処理毎に実行される。つまり、本実施形態の連続して実行される撮影処理においては、撮影処理毎に方位情報を取得し、撮影処理毎に位置情報を取得しない。したがって、位置情報については、連写撮影の直前に取得された位置情報が、連写撮影の間継続して保持される。そのため、位置情報については、連写撮影の各撮影処理で得られる画像には、ステップＳ３０２にて取得された位置情報が共通に付加される。一方、方位情報については、連写撮影の撮影処理毎に新たに方位情報が取得される。そのため、連写撮影の各撮影処理で得られる画像のうち、二回目以降の撮影処理で得られる複数の画像には、方位情報は各回のステップＳ３０９の処理で取得された方位情報がそれぞれ付加されることになる。   During continuous shooting, the control unit 101 repeatedly executes the processes in steps S305 to S309. That is, during continuous shooting, step S302 is not executed, and the process of step S309 is executed for each shooting process. That is, in the imaging process continuously executed in the present embodiment, the orientation information is acquired for each imaging process, and the position information is not acquired for each imaging process. Therefore, as for the position information, the position information acquired immediately before the continuous shooting is continuously held during the continuous shooting. For this reason, with respect to the position information, the position information acquired in step S302 is commonly added to the images obtained by each shooting process of continuous shooting. On the other hand, regarding the direction information, the direction information is newly acquired for each shooting process of continuous shooting. For this reason, among the images obtained by each shooting process of continuous shooting, the azimuth information acquired in the process of step S309 is added to each of a plurality of images obtained by the second and subsequent shooting processes. Will be.

なお、ＧＰＳアクセサリ１２０は、アクセサリシューを介した通信では、デジタルカメラ１００からの要求に応じて、位置情報や方位情報をデジタルカメラ１００に送信する。この位置情報や方位情報は、デジタルカメラ１００の動作に関わらず、ＧＰＳ１２０アクセサリが定期的に検知する。この動作はデジタルカメラ１００が連写撮影モードか単写撮影モードかに関わらない。すなわち、ＧＰＳアクセサリ１２０の動作は、デジタルカメラ１００が連写撮影モードであっても、単写撮影モードと同様の動作を行う。   Note that the GPS accessory 120 transmits position information and orientation information to the digital camera 100 in response to a request from the digital camera 100 in communication via the accessory shoe. Regardless of the operation of the digital camera 100, the GPS 120 accessory periodically detects this position information and orientation information. This operation is independent of whether the digital camera 100 is in the continuous shooting mode or the single shooting mode. That is, the GPS accessory 120 operates in the same manner as in the single shooting mode even when the digital camera 100 is in the continuous shooting mode.

本実施形態では上述のように、連写撮影の際に、位置情報と方位情報のうち、位置情報を取得せず、方位情報を取得するよう構成した。これにより、連写撮影中の制御部の負荷の低減と、連写撮影で得られた画像に付加する情報の取得を適切に制御することとを両立することができる。   In the present embodiment, as described above, the position information is not acquired from the position information and the direction information during continuous shooting, and the direction information is acquired. Thereby, it is possible to achieve both reduction of the load on the control unit during continuous shooting and appropriate control of acquisition of information to be added to an image obtained by continuous shooting.

［第２の実施形態］
上述の実施形態では、連写撮影にて取得される画像には、連写撮影の直前に取得された位置情報が共通に付加されていた。これに対し、本実施形態では、連写撮影の直後に取得された情報も用いて、連写撮影にて取得される画像により適切な位置情報を付加する。 [Second Embodiment]
In the above-described embodiment, the position information acquired immediately before the continuous shooting is commonly added to the image acquired by the continuous shooting. On the other hand, in the present embodiment, appropriate position information is added to an image acquired by continuous shooting using information acquired immediately after continuous shooting.

本実施形態は第１の実施形態と共通する部分が多いため、共通部分は説明を省略し、本実施形態に特有の部分を中心に説明する。   Since this embodiment has many parts in common with the first embodiment, description of common parts will be omitted, and description will be made centering on parts unique to this embodiment.

図４は、本実施形態のデジタルカメラ１００の撮影の際の動作を示すフローチャートである。   FIG. 4 is a flowchart showing an operation at the time of photographing by the digital camera 100 of the present embodiment.

ステップＳ４０１〜Ｓ４０６では、制御部１０１は、図３のステップＳ３０１〜ステップＳ３０６と同様の動作を行う。   In steps S401 to S406, the control unit 101 performs the same operations as in steps S301 to S306 in FIG.

次に、ステップＳ４０７では、制御部１０１は、ＳＷ２がＯＦＦであるかＯＮであるかを判断する。制御部１０１が、ＳＷ２がＯＮであると判断した場合、処理はステップＳ４０８に進む。ステップＳ４０８およびステップＳ４０９では、制御部１０１は、図３のステップＳ３０８およびステップＳ３０９と同様の処理を実行する。一方、制御部１０１が、ＳＷ２がＯＦＦであると判断した場合、連写撮影が終了したと判断し、処理はステップＳ４１０に進む。   Next, in step S407, the control unit 101 determines whether SW2 is OFF or ON. If the control unit 101 determines that SW2 is ON, the process proceeds to step S408. In step S408 and step S409, the control unit 101 executes the same processing as in step S308 and step S309 in FIG. On the other hand, when the control unit 101 determines that SW2 is OFF, the control unit 101 determines that continuous shooting has ended, and the process proceeds to step S410.

ステップＳ４１０では、ステップＳ４０２と同様に、ＧＰＳアクセサリ１２０から位置情報を取得する。このステップの処理は連写撮影直後の位置情報を取得する処理である。   In step S410, the position information is acquired from the GPS accessory 120 as in step S402. The processing in this step is processing for acquiring position information immediately after continuous shooting.

次に、ステップＳ４１１では、制御部１０１は、ステップＳ４０５にて取得された複数の画像のうち、連写撮影の後半で得られた画像に、ステップＳ４１０にて取得された位置情報を対応づける。具体的には、ステップＳ４０６にて記録媒体１１０に保存された画像のうち、後半の画像を読み出し、ステップＳ４０２で取得され既に対応づけられている位置情報を、ステップＳ４１０で取得された位置情報で上書きして、記録媒体１１０に保存しなおす。その後、処理は終了する。これにより、連写撮影中の後半に撮影された画像には、より取得タイミングが近いと考えられる位置情報が画像に付加される。これについて、図５に具体例を示す。図５は、図２と同様に、連写撮影にて６枚の画像を連続して撮影した例を示す図である。図５の例では、最終的に、連写撮影の前半に得られる画像である一枚目から三枚目の画像には連写撮影の直前に取得された位置情報Ｂが付加され、連写撮影の後半に得られる画像である四枚目から六枚目の画像には連写撮影の直後に取得された位置情報Ｃが付加される。   Next, in step S411, the control unit 101 associates the position information acquired in step S410 with the image obtained in the second half of the continuous shooting among the plurality of images acquired in step S405. Specifically, the latter half of the images stored in the recording medium 110 in step S406 is read, and the position information acquired in step S402 and already associated with the position information acquired in step S410. It is overwritten and stored again in the recording medium 110. Thereafter, the process ends. As a result, position information considered to be closer to the acquisition timing is added to the image captured in the latter half of the continuous shooting. A specific example of this is shown in FIG. FIG. 5 is a diagram illustrating an example in which six images are continuously captured by continuous shooting, as in FIG. 2. In the example of FIG. 5, the position information B acquired immediately before the continuous shooting is added to the first to third images that are finally obtained in the first half of the continuous shooting, and the continuous shooting is performed. The position information C acquired immediately after the continuous shooting is added to the fourth to sixth images that are obtained in the second half of the shooting.

以上、本実施形態のデジタルカメラ１００の動作について説明した。一般に連写中のような短い時間では、位置情報の変化は比較的小さい可能性が高い。そのため、撮影処理毎に位置情報を取得せずとも、連写撮影の前後に取得する位置情報で十分な精度が得られると考えられる。そこで、本実施形態のデジタルカメラ１００では、上述のように連写撮影の前半で得られた画像には連写撮影の直前に取得された位置情報を付加し、連写撮影の後半で得られた画像には連写撮影の直後に取得された位置情報を付加するよう構成した。このように構成することにより、連写撮影中にカメラが移動した場合でも、より自然な位置情報を画像に付加することができる。   The operation of the digital camera 100 according to the present embodiment has been described above. In general, in a short time such as during continuous shooting, the change in position information is likely to be relatively small. For this reason, it is considered that sufficient accuracy can be obtained with position information acquired before and after continuous shooting without acquiring position information for each shooting process. Therefore, in the digital camera 100 of the present embodiment, as described above, the position information obtained immediately before the continuous shooting is added to the image obtained in the first half of the continuous shooting, and the image is obtained in the second half of the continuous shooting. The position information acquired immediately after the continuous shooting is added to the captured image. With this configuration, even when the camera moves during continuous shooting, more natural position information can be added to the image.

［その他の実施形態］
上述の実施形態では、デジタルカメラ１００とＧＰＳアクセサリ１２０が接続された構成のシステムについて述べた。これについては、デジタルカメラ１００がＧＰＳアクセサリ１２０の機能を内蔵し、デジタルカメラ１００のみで上述の動作を行う構成でもよい。 [Other Embodiments]
In the above-described embodiment, a system in which the digital camera 100 and the GPS accessory 120 are connected has been described. As for this, the digital camera 100 may incorporate the function of the GPS accessory 120, and the above-described operation may be performed only by the digital camera 100.

また、上述の実施形態では、連写撮影の各撮影処理にて得られる画像に付加する方位情報を、各撮影処理の前に取得するよう構成した。これについては、連写撮影の各撮影処理にて得られる画像に付加する方位情報を、撮影処理の後に取得するよう構成してもよい。例えば、図５の例でいえば、一枚目の画像には方位情報Ｃが付加され、二枚目の画像には方位情報Ｄが付加されるよう構成する。以下、同様にして、六枚目の画像の撮影処理の後には方位情報Ｈを取得し、これを六枚目の画像に付加するよう構成してもよい。   Further, in the above-described embodiment, the azimuth information added to the image obtained in each shooting process of continuous shooting is configured to be acquired before each shooting process. With respect to this, it may be configured to acquire the azimuth information added to the image obtained in each shooting process of the continuous shooting after the shooting process. For example, in the example of FIG. 5, the azimuth information C is added to the first image, and the azimuth information D is added to the second image. Similarly, the orientation information H may be acquired after the sixth image capturing process and added to the sixth image.

また、上述の実施形態では、連写撮影にて取得される画像に付加される位置情報は、連写撮影の開始前に取得された位置情報か、連写撮影の終了後に取得された位置情報であった。これについては、連写撮影の開始前に取得された位置情報と、連写撮影の終了後に取得された位置情報とから求められる情報を画像に付加してもよい。例えば、連写撮影の開始前に取得された位置情報の示す地点と、連写撮影の終了後に取得された位置情報の示す地点とを結ぶ直線を連写撮影にて取得される複数の画像の枚数分に等分する点のそれぞれを、連写撮影にて取得される複数の画像に付加しても良い。具体的には、連写撮影にて取得されるＮ枚の画像のうち、ｎ枚目の画像に対して、連写撮影の開始前に取得された位置情報Ａと、連写撮影の終了後に取得された位置情報Ｂとから、計算式Ａ＋（Ｂ−Ａ）＊（ｎ−１）／（Ｎ−１）により決定される位置情報を付加する。ここでは、位置情報は緯度・経度で表され、緯度の値または経度の値に対して上記の計算式を用いる。例えば、図４のステップＳ４１１において、制御部１０１は、ステップＳ４１０にて取得した位置情報の代わりに、上記の計算にて得られる位置情報を、連写撮影で得られた画像に付加する。これについて、図６に概念図を示す。この例では、連写撮影で撮影された６枚の画像のそれぞれには、上記の計算にて求められた位置情報が付加される。これにより、連写撮影中にカメラが移動した場合でも、より自然な位置情報を画像に付加することができる。   In the above-described embodiment, the position information added to the image acquired by the continuous shooting is the position information acquired before the start of the continuous shooting or the position information acquired after the continuous shooting is completed. Met. For this, information obtained from position information acquired before the start of continuous shooting and position information acquired after the end of continuous shooting may be added to the image. For example, a plurality of images acquired by continuous shooting in a straight line connecting a point indicated by position information acquired before the start of continuous shooting and a point indicated by position information acquired after the end of continuous shooting. Each of the points equally divided into the number of sheets may be added to a plurality of images acquired by continuous shooting. Specifically, among the N images acquired by continuous shooting, the position information A acquired before the start of continuous shooting and the end of continuous shooting for the nth image. From the acquired position information B, position information determined by the calculation formula A + (BA) * (n-1) / (N-1) is added. Here, the position information is represented by latitude and longitude, and the above calculation formula is used for the latitude value or the longitude value. For example, in step S411 of FIG. 4, the control unit 101 adds the position information obtained by the above calculation to the image obtained by continuous shooting instead of the position information acquired in step S410. About this, a conceptual diagram is shown in FIG. In this example, the position information obtained by the above calculation is added to each of the six images taken by continuous shooting. Thereby, even when the camera moves during continuous shooting, more natural position information can be added to the image.

また、上述の実施形態では、連写撮影中は位置情報と方位情報のうち位置情報を取得しない構成について述べたが、撮影処理が一定回数行われる毎に位置情報を取得し、以降の撮影処理で得られる画像には、新たに得られた位置情報を付加するようにしてもよい。このように構成することにより、連写撮影中の制御部の負荷を低減させることと、より適切な位置情報を画像に付加することとを両立することができる。   In the above-described embodiment, the configuration in which the position information is not acquired during the continuous shooting is described. However, the position information is acquired every time the shooting process is performed a certain number of times, and the subsequent shooting process is performed. The position information newly obtained may be added to the image obtained in the above. By configuring in this way, it is possible to achieve both reducing the load on the control unit during continuous shooting and adding more appropriate position information to the image.

なお、上述の実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。   The above-described embodiment can also be realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。   The present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the spirit and scope of the present invention.

Claims (14)

被写体を撮像して画像を取得する撮像手段と、
前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、
前記画像を保持する保持手段と、
位置情報を取得する位置取得手段と、
方位情報を取得する方位取得手段と、
前記方位情報および前記位置情報を前記画像に対応づける対応づけ手段とを有し、
前記対応づけ手段は、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得手段により取得された方位情報をそれぞれ対応づけ、
前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる位置情報は、同じ位置情報が対応づけられ、前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる方位情報は、前記連写撮像処理の実行中に可変な方位情報が対応づけられることを特徴とする撮像装置。 Imaging means for capturing an image of a subject and acquiring an image;
Control means for controlling continuous shooting imaging processing for acquiring a plurality of images by a plurality of imaging by the imaging means;
Holding means for holding the image;
Position acquisition means for acquiring position information;
Bearing acquisition means for acquiring bearing information;
Association means for associating the orientation information and the position information with the image;
The association means associates each image obtained by the continuous shooting imaging process with the orientation information acquired by the orientation acquisition means immediately before each imaging for acquiring the image,
The position information associated with each of the plurality of images obtained by the continuous shooting imaging process is associated with the same position information, and the orientation information associated with each of the plurality of images obtained by the continuous shooting imaging process is: An imaging apparatus characterized in that variable orientation information is associated during execution of the continuous imaging process. ユーザからの指示を受け付ける操作手段と、
前記撮像手段により画像を取得するための撮像準備動作を行う撮像準備手段とを更に有し、
前記操作手段を介して前記撮像準備動作を開始する指示を受け付けてから、前記操作手段を介して前記連写撮像処理を開始する指示を受け付けるまでの間、前記方位取得手段は繰り返し方位情報を取得することを特徴とすることを特徴とする請求項１に記載の撮像装置。 An operation means for receiving an instruction from the user;
Imaging preparation means for performing an imaging preparation operation for acquiring an image by the imaging means,
The azimuth acquisition unit repeatedly acquires azimuth information after receiving an instruction to start the imaging preparation operation via the operation unit and before receiving an instruction to start the continuous shooting processing process via the operation unit. The imaging apparatus according to claim 1, wherein: 前記位置取得手段は、前記撮像準備動作と並行して位置情報を取得することを特徴とすることを特徴とする請求項２に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the position acquisition unit acquires position information in parallel with the imaging preparation operation. 前記位置取得手段は外部装置から前記位置情報を取得し、
前記方位取得手段は外部装置から前記方位情報を取得することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 The position acquisition means acquires the position information from an external device;
The imaging apparatus according to claim 1, wherein the direction acquisition unit acquires the direction information from an external device. 外部装置と通信する通信手段を更に有し、
前記外部装置は、前記位置情報を検知する位置検知手段と、前記方位情報を検知する方位検知手段とを有し、
前記位置取得手段は前記外部装置にて検知された前記位置情報を前記外部装置から取得し、
前記方位取得手段は前記外部装置にて検知された前記方位情報を前記外部装置から取得することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 A communication means for communicating with an external device;
The external device includes position detection means for detecting the position information, and direction detection means for detecting the direction information,
The position acquisition means acquires the position information detected by the external device from the external device;
5. The imaging apparatus according to claim 1, wherein the azimuth acquisition unit acquires the azimuth information detected by the external apparatus from the external apparatus. 被写体を撮像して画像を取得する撮像手段と、
前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、
前記画像を保持する保持手段と、
位置情報を取得する位置取得手段と、
方位情報を取得する方位取得手段と、
前記方位情報および前記位置情報を前記画像に対応づける対応づけ手段とを有し、
前記対応づけ手段は、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得手段により取得された方位情報をそれぞれ対応づけ、
前記連写撮像処理により得られる複数の画像のうちの複数の画像に、同じ位置情報が対応づけられ、個別の方位情報が対応づけられることを特徴とする撮像装置。 Imaging means for capturing an image of a subject and acquiring an image;
Control means for controlling continuous shooting imaging processing for acquiring a plurality of images by a plurality of imaging by the imaging means;
Holding means for holding the image;
Position acquisition means for acquiring position information;
Bearing acquisition means for acquiring bearing information;
Association means for associating the orientation information and the position information with the image;
The association means associates each image obtained by the continuous shooting imaging process with the orientation information acquired by the orientation acquisition means immediately before each imaging for acquiring the image,
An imaging apparatus, wherein the same position information is associated with each of a plurality of images obtained by the continuous imaging process, and individual azimuth information is associated with the plurality of images. 被写体を撮像して画像を取得する撮像手段と、
前記撮像手段による複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御手段と、
前記画像を保持する保持手段と、
位置情報を取得する位置取得手段と、
方位情報を取得する方位取得手段と、
前記方位情報および前記位置情報を前記画像に対応づける対応づけ手段とを有し、
前記対応づけ手段は、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得手段により取得された方位情報をそれぞれ対応づけ、
前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる位置情報は、連写撮像処理中でない期間に取得された情報であり、前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる方位情報は、前記連写撮像処理の実行中に取得された情報であることを特徴とする撮像装置。 Imaging means for capturing an image of a subject and acquiring an image;
Control means for controlling continuous shooting imaging processing for acquiring a plurality of images by a plurality of imaging by the imaging means;
Holding means for holding the image;
Position acquisition means for acquiring position information;
Bearing acquisition means for acquiring bearing information;
Association means for associating the orientation information and the position information with the image;
The association means associates each image obtained by the continuous shooting imaging process with the orientation information acquired by the orientation acquisition means immediately before each imaging for acquiring the image,
The position information associated with each of the plurality of images obtained by the continuous shooting imaging process is information acquired during a period during which the continuous shooting imaging process is not being performed, and the position information is associated with each of the plurality of images obtained by the continuous shooting imaging process. The azimuth information to be correlated is information acquired during execution of the continuous shooting imaging process. 前記連写撮像中の二回目以降の撮像処理は、前回の撮像処理で得られた画像を記録媒体に保存してから実行されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。   8. The imaging process for the second and subsequent times during the continuous shooting is performed after the image obtained by the previous imaging process is stored in a recording medium, according to any one of claims 1 to 7. The imaging device described. 前記対応づけ手段は、前記連写撮像で得られる画像を、前記連写撮像の完了を待たずに順次記録媒体に記録するよう制御することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。   9. The control unit according to claim 1, wherein the association unit performs control so that images obtained by the continuous shooting are sequentially recorded on a recording medium without waiting for completion of the continuous shooting. 10. The imaging device described in 1. 前記操作手段により前記撮像を行う指示に対応する操作が受け付けられてから、前記操作手段への該操作が解除されるまでの間、前記連写撮像を継続し、該連写撮像で得られる画像は、前記操作手段への該操作が解除されることを待つことなく記録媒体に保存されることを特徴とする請求項２に記載の撮像装置。 An image obtained by continuing the continuous shooting until the operation to the operation unit is canceled after an operation corresponding to the instruction to perform the imaging is received by the operating unit. The image pickup apparatus according to claim 2 , wherein the image pickup apparatus is stored in a recording medium without waiting for the operation of the operation unit to be released. 被写体を撮像して画像を取得する撮像工程と、
前記撮像工程での複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御工程と、
前記画像を保持する保持工程と、
位置情報を取得する位置取得工程と、
方位情報を取得する方位取得工程と、
前記方位情報および前記位置情報を前記画像に対応づける対応づけ工程とを有し、
前記対応づけ工程では、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得工程で取得された方位情報をそれぞれ対応づけ、
前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる位置情報は、同じ位置情報が対応づけられ、前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる方位情報は、前記連写撮像処理の実行中に可変な方位情報が対応づけられることを特徴とする撮像装置の制御方法。 An imaging process for capturing an image of a subject and acquiring an image;
A control step of controlling continuous shooting imaging processing for acquiring a plurality of images by a plurality of imaging in the imaging step;
A holding step for holding the image;
A position acquisition step of acquiring position information;
An orientation acquisition step for acquiring orientation information;
And associating the azimuth information and the position information with the image,
In the association step, each image obtained by the continuous shooting imaging process is associated with the azimuth information acquired in the azimuth acquisition step immediately before each imaging for acquiring the image,
The position information associated with each of the plurality of images obtained by the continuous shooting imaging process is associated with the same position information, and the orientation information associated with each of the plurality of images obtained by the continuous shooting imaging process is: A method for controlling an imaging apparatus, wherein variable orientation information is associated during execution of the continuous imaging process. 被写体を撮像して画像を取得する撮像工程と、
前記撮像工程での複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御工程と、
前記画像を保持する保持工程と、
位置情報を取得する位置取得工程と、
方位情報を取得する方位取得工程と、
前記方位情報および前記位置情報を前記画像に対応づける対応づけ工程とを有し、
前記対応づけ工程では、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得工程で取得された方位情報をそれぞれ対応づけ、
前記連写撮像処理の実行により得られる複数の画像のうちの複数の画像には、同じ位置情報が対応づけられ、個別の方位情報が対応づけられることを特徴とする撮像装置の制御方法。 An imaging process for capturing an image of a subject and acquiring an image;
A control step of controlling continuous shooting imaging processing for acquiring a plurality of images by a plurality of imaging in the imaging step;
A holding step for holding the image;
A position acquisition step of acquiring position information;
An orientation acquisition step for acquiring orientation information;
And associating the azimuth information and the position information with the image,
In the association step, each image obtained by the continuous shooting imaging process is associated with the azimuth information acquired in the azimuth acquisition step immediately before each imaging for acquiring the image,
A method for controlling an imaging apparatus, wherein the same position information is associated with each of a plurality of images obtained by executing the continuous imaging process, and individual orientation information is associated with each other. 被写体を撮像して画像を取得する撮像工程と、
前記撮像工程での複数の撮像によって複数の画像を取得する連写撮像処理を制御する制御工程と、
前記画像を保持する保持工程と、
位置情報を取得する位置取得工程と、
方位情報を取得する方位取得工程と、
前記方位情報および前記位置情報を前記画像に対応づける対応づけ工程とを有し、
前記対応づけ工程では、前記連写撮像処理によって得られる各画像に、該画像を取得した各撮像の直前に前記方位取得工程で取得された方位情報をそれぞれ対応づけ、
前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる位置情報は、連写撮像処理中でない期間に取得された情報であり、前記連写撮像処理によって得られる複数の画像のそれぞれに対応づけられる方位情報は、前記連写撮像処理の実行中に取得された情報であることを特徴とする撮像装置の制御方法。 An imaging process for capturing an image of a subject and acquiring an image;
A control step of controlling continuous shooting imaging processing for acquiring a plurality of images by a plurality of imaging in the imaging step;
A holding step for holding the image;
A position acquisition step of acquiring position information;
An orientation acquisition step for acquiring orientation information;
And associating the azimuth information and the position information with the image,
In the association step, each image obtained by the continuous shooting imaging process is associated with the azimuth information acquired in the azimuth acquisition step immediately before each imaging for acquiring the image,
The position information associated with each of the plurality of images obtained by the continuous shooting imaging process is information acquired during a period during which the continuous shooting imaging process is not being performed, and the position information is associated with each of the plurality of images obtained by the continuous shooting imaging process. The method of controlling an imaging apparatus, wherein the azimuth information to be correlated is information acquired during execution of the continuous shooting imaging process. コンピュータを請求項１乃至１０の撮像装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。   A computer-readable program for causing a computer to function as each unit of the imaging apparatus according to claim 1.
JP2018121931A 2018-06-27 2018-06-27 Imaging apparatus, control method therefor, and program Active JP6605081B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018121931A JP6605081B2 (en) 2018-06-27 2018-06-27 Imaging apparatus, control method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018121931A JP6605081B2 (en) 2018-06-27 2018-06-27 Imaging apparatus, control method therefor, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016256751A Division JP2017103790A (en) 2016-12-28 2016-12-28 Imaging apparatus, control method of the same and program

Publications (2)

Publication Number Publication Date
JP2018191300A JP2018191300A (en) 2018-11-29
JP6605081B2 true JP6605081B2 (en) 2019-11-13

Family

ID=64479165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018121931A Active JP6605081B2 (en) 2018-06-27 2018-06-27 Imaging apparatus, control method therefor, and program

Country Status (1)

Country Link
JP (1) JP6605081B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3915344B2 (en) * 1999-10-25 2007-05-16 カシオ計算機株式会社 Camera apparatus and photographing position storage method
JP5446794B2 (en) * 2009-12-04 2014-03-19 ソニー株式会社 Imaging apparatus, data processing method, and program

Also Published As

Publication number Publication date
JP2018191300A (en) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6071903B2 (en) Imaging apparatus, control method therefor, and program
EP1998558B1 (en) Image pickup apparatus equipped with function of detecting image shaking
JP2016123137A (en) Image communication apparatus and imaging apparatus
JP2003348519A (en) Server device, imaging apparatus, imaging system, imaging method and imaging apparatus control program
JP6337431B2 (en) System, server, electronic device and program
US11120272B2 (en) Imaging apparatus, electronic device, and method of transmitting image data
JP5865047B2 (en) Imaging apparatus, control method therefor, and program
JP6605081B2 (en) Imaging apparatus, control method therefor, and program
JP2014168209A (en) Imaging apparatus, imaging method and program
JP5332497B2 (en) Imaging apparatus and image transfer method
JP2009111827A (en) Photographing apparatus and image file providing system
JP2017103790A (en) Imaging apparatus, control method of the same and program
JP2015015559A (en) Camera system, camera, image-capturing control program, and image-capturing method
JP2013016928A (en) Photographing device, photographic condition control method, and program
JP5836651B2 (en) Imaging apparatus, control method thereof, and program thereof
JP6572993B2 (en) Server and program
JP2012216885A (en) Imaging apparatus and image sharing system
JP6265764B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2015080156A (en) Electronic apparatus, control method therefor and program
JP2014211324A (en) Information processing unit, control method of information processing unit, and program
JP5995580B2 (en) COMMUNICATION DEVICE, ITS CONTROL METHOD, PROGRAM
JP2019193309A (en) Server and program
JP5822579B2 (en) Orientation acquisition apparatus, control method of orientation acquisition apparatus, and program thereof
KR20090030496A (en) System for inputting gps information to image file and the method of the same
JP2015126272A (en) Display control apparatus, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191015

R151 Written notification of patent or utility model registration

Ref document number: 6605081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151