JP6409239B1 - Imaging apparatus, imaging system, flying object, recording method, and program - Google Patents
Imaging apparatus, imaging system, flying object, recording method, and program Download PDFInfo
- Publication number
- JP6409239B1 JP6409239B1 JP2017163410A JP2017163410A JP6409239B1 JP 6409239 B1 JP6409239 B1 JP 6409239B1 JP 2017163410 A JP2017163410 A JP 2017163410A JP 2017163410 A JP2017163410 A JP 2017163410A JP 6409239 B1 JP6409239 B1 JP 6409239B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- flight
- flying object
- uav
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title description 15
- 230000007613 environmental effect Effects 0.000 claims abstract description 13
- 230000006866 deterioration Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 10
- 230000010006 flight Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Camera Data Copying Or Recording (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【課題】レンズ装置が交換可能に連結される撮像装置は、飛行体に搭載される場合がある。レンズ装置がどのような飛行環境で使用されたかを把握することが望まれている。
【解決手段】撮像装置は、レンズ装置が交換可能に連結される撮像装置である。撮像装置は、撮像装置を搭載して飛行する飛行体の飛行状態に関する飛行情報、及び飛行体が存在する環境に関する環境情報の少なくとも一方を取得する取得部を備えてよい。撮像装置は、レンズ装置が有する記憶部に飛行情報及び環境情報の少なくとも一方を記録する記録部を備えてよい。
【選択図】図5An imaging device to which a lens device is exchangeably connected may be mounted on a flying object. It is desired to grasp in which flight environment the lens device was used.
An imaging apparatus is an imaging apparatus in which a lens apparatus is connected in a replaceable manner. The imaging device may include an acquisition unit that acquires at least one of flight information related to a flight state of a flying object mounted with the imaging device and environmental information related to an environment in which the flying object exists. The imaging apparatus may include a recording unit that records at least one of flight information and environment information in a storage unit included in the lens device.
[Selection] Figure 5
Description
本発明は、撮像装置、撮像システム、飛行体、記録方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging system, a flying object, a recording method, and a program.
特許文献1には、交換レンズが備えるメモリに、フォーカスユニット、絞りユニット及び防振ユニットの動作履歴を記録することが記載されている。
特許文献1 特開2016−14796号公報
Patent Document 1 describes that operation histories of a focus unit, an aperture unit, and an image stabilization unit are recorded in a memory included in an interchangeable lens.
Patent Document 1 Japanese Unexamined Patent Application Publication No. 2016-14796
レンズ装置が交換可能に連結される撮像装置は、飛行体に搭載される場合がある。レンズ装置がどのような飛行環境で使用されたかを把握することが望まれている。 An imaging device to which a lens device is interchangeably connected may be mounted on a flying object. It is desired to grasp in which flight environment the lens device was used.
本発明の一態様に係る撮像装置は、レンズ装置が交換可能に連結される撮像装置である。撮像装置は、撮像装置を搭載して飛行する飛行体の飛行状態に関する飛行情報、及び飛行体が存在する環境に関する環境情報の少なくとも一方を取得する取得部を備えてよい。撮像装置は、レンズ装置が有する記憶部に飛行情報及び環境情報の少なくとも一方を記録する記録部を備えてよい。 An imaging device according to one embodiment of the present invention is an imaging device in which lens devices are interchangeably connected. The imaging device may include an acquisition unit that acquires at least one of flight information related to a flight state of a flying object mounted with the imaging device and environmental information related to an environment in which the flying object exists. The imaging apparatus may include a recording unit that records at least one of flight information and environment information in a storage unit included in the lens device.
取得部は、飛行体の加速度、飛行体の振動状態、飛行体の速度、及び飛行体の飛行回数、飛行体の飛行日時の少なくとも1つに関する情報を、飛行情報として取得してよい。 The acquisition unit may acquire, as flight information, information related to at least one of the acceleration of the flying object, the vibration state of the flying object, the speed of the flying object, the number of flights of the flying object, and the flight date and time of the flying object.
取得部は、飛行体の位置、飛行体の高度、飛行体の周囲の温度、飛行体の周囲の気圧、飛行体の周囲の湿度の少なくとも1つに関する情報を、環境情報として取得してよい。 The acquisition unit may acquire information on at least one of the position of the flying object, the altitude of the flying object, the temperature around the flying object, the atmospheric pressure around the flying object, and the humidity around the flying object as environmental information.
記録部は、飛行体が飛行中に、予め定められた周期で、記憶部に飛行情報及び環境情報の少なくとも一方を記録してよい。 The recording unit may record at least one of the flight information and the environment information in the storage unit at a predetermined cycle while the flying object is flying.
撮像装置は、記憶部に記録された飛行情報及び環境情報の少なくとも1つを通知する通知部をさらに備えてよい。 The imaging apparatus may further include a notification unit that notifies at least one of flight information and environment information recorded in the storage unit.
通知部は、記憶部に記録された飛行情報及び環境情報の少なくとも1つを表示部に表示することで通知してよい。 The notification unit may notify by displaying at least one of the flight information and the environment information recorded in the storage unit on the display unit.
撮像装置は、記憶部に記録された飛行情報及び環境情報の少なくとも一方に基づいて、レンズ装置の劣化度合いを特定する特定部を備えてよい。通知部は、特定部により特定されたレンズ装置の劣化度合いに関する情報を通知してよい。 The imaging device may include a specifying unit that specifies the degree of deterioration of the lens device based on at least one of flight information and environment information recorded in the storage unit. The notification unit may notify information related to the degree of deterioration of the lens device specified by the specifying unit.
本発明の一態様に係る撮像システムは、上記撮像装置と、レンズ装置と、を備える。 The imaging system which concerns on 1 aspect of this invention is provided with the said imaging device and a lens apparatus.
レンズ装置は、記憶部に記録された飛行情報及び環境情報の少なくとも1つを外部の装置に出力する出力端子を有してよい。 The lens device may include an output terminal that outputs at least one of flight information and environment information recorded in the storage unit to an external device.
本発明の一態様に係る飛行体は、撮像システムを備えて飛行する。 A flying object according to one embodiment of the present invention includes an imaging system and flies.
本発明の一態様に係る記録方法は、レンズ装置が交換可能に連結される撮像装置を搭載して飛行する飛行体の飛行状態に関する飛行情報、及び飛行体が存在する環境に関する環境情報の少なくとも一方を取得する段階を備えてよい。記録方法は、レンズ装置が有する記憶部に飛行情報及び環境情報の少なくとも一方を記録する段階を備えてよい。 A recording method according to an aspect of the present invention includes at least one of flight information related to a flight state of a flying object mounted with an imaging device to which a lens device is interchangeably connected, and environmental information related to an environment in which the flying object exists. May be provided. The recording method may include a step of recording at least one of flight information and environment information in a storage unit included in the lens device.
本発明の一態様に係るプログラムは、レンズ装置が交換可能に連結される撮像装置を搭載して飛行する飛行体の飛行状態に関する飛行情報、及び飛行体が存在する環境に関する環境情報の少なくとも一方を取得する段階をコンピュータに実行させてよい。プログラムは、レンズ装置が有する記憶部に飛行情報及び環境情報の少なくとも一方を記録する段階をコンピュータに実行させてよい。 A program according to an aspect of the present invention includes at least one of flight information related to a flight state of a flying object mounted with an imaging device to which a lens device is interchangeably connected, and environmental information related to an environment where the flying object exists. The obtaining step may be executed by a computer. The program may cause the computer to execute a step of recording at least one of the flight information and the environment information in a storage unit included in the lens device.
本発明の一態様によれば、レンズ装置がどのような飛行環境で使用されたかを把握することができる。 According to one aspect of the present invention, it is possible to grasp in which flight environment the lens device is used.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the claims. Moreover, not all the combinations of features described in the embodiments are essential for the solution means of the invention. It will be apparent to those skilled in the art that various modifications or improvements can be made to the following embodiments. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, the description, the drawings, and the abstract include matters subject to copyright protection. The copyright owner will not object to any number of copies of these documents as they appear in the JPO file or record. However, in other cases, all copyrights are reserved.
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。 Various embodiments of the present invention may be described with reference to flowcharts and block diagrams, where a block is either (1) a stage in a process in which an operation is performed or (2) an apparatus responsible for performing the operation. May represent a “part”. Certain stages and “units” may be implemented by programmable circuits and / or processors. Dedicated circuitry may include digital and / or analog hardware circuitry. Integrated circuits (ICs) and / or discrete circuits may be included. The programmable circuit may include a reconfigurable hardware circuit. Reconfigurable hardware circuits include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGA), programmable logic arrays (PLA), etc. The memory element or the like may be included.
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。 Computer-readable media may include any tangible device that can store instructions executed by a suitable device. As a result, a computer readable medium having instructions stored thereon comprises a product that includes instructions that can be executed to create a means for performing the operations specified in the flowcharts or block diagrams. Examples of computer readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer readable media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), Electrically erasable programmable read only memory (EEPROM), static random access memory (SRAM), compact disc read only memory (CD-ROM), digital versatile disc (DVD), Blu-ray (RTM) disc, memory stick, integrated A circuit card or the like may be included.
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 The computer readable instructions may include either source code or object code written in any combination of one or more programming languages. The source code or object code includes a conventional procedural programming language. Conventional procedural programming languages include assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine dependent instructions, microcode, firmware instructions, state setting data, or Smalltalk, JAVA, C ++, etc. It may be an object-oriented programming language and a “C” programming language or a similar programming language. Computer readable instructions may be directed to a general purpose computer, special purpose computer, or other programmable data processing device processor or programmable circuit locally or in a wide area network (WAN) such as a local area network (LAN), the Internet, etc. ). The processor or programmable circuit may execute computer readable instructions to create a means for performing the operations specified in the flowcharts or block diagrams. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、飛行体の一例である。UAV10は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
FIG. 1 shows an example of the external appearance of an unmanned aerial vehicle (UAV) 10 and a
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
The UAV
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
The
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
The plurality of
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
The
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ32、通信インタフェース34、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60及び撮像装置100を備える。
FIG. 2 shows an example of functional blocks of the
通信インタフェース34は、遠隔操作装置300などの他の装置と通信する。通信インタフェース34は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ32は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ32は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ32は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
The communication interface 34 communicates with other devices such as the
UAV制御部30は、メモリ32に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース34を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
The
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度及び経度)、つまりUAV10の位置(緯度及び経度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
The
撮像装置100は、撮像部102及びレンズ部200を備える。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、ジャイロセンサ140、メモリ130、及び表示部150を有する。撮像部102は、撮像装置の一例である。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。
The
撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。ジャイロセンサ140は、撮像装置100の振動を検出する。
The
メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。表示部150は、情報を表示するディスプレイである。例えば、撮像部102の筐体に設けられた液晶パネルでよい。
The
レンズ部200は、複数のレンズ210、複数のレンズ駆動部212、及びレンズ制御部220、メモリ222、及び出力端子230を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して交換可能に連結される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ部200は、撮像部102に設けられたマウントを介して撮像部102に電気的及び機械的に連結されてよい。レンズ駆動部212は、カム環などの機構部材を介して、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部212は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、機構部材を介して1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
The
レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ210の一部または全部は、光軸に沿って移動する。レンズ制御部220は、レンズ210の少なくとも1つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ214は、レンズ210の位置を検出する。位置センサ214は、現在のズーム位置またはフォーカス位置を検出してよい。
The
メモリ222は、レンズ駆動部212を介して移動する複数のレンズ210の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
The
出力端子230は、外部の装置と通信するための通信ケーブルを接続するための端子である。出力端子230は、例えば、USB端子でよい。
The
以上のように構成されたUAV10は、飛行しながら撮像装置100により所望の被写体を撮像する。このような撮像装置100で使用される交換レンズがどのような飛行環境で使用されていたかを把握することが望まれている。交換レンズが使用されていた飛行環境を把握することで、例えば、交換レンズの部品の劣化状態を推定することができる。また、どのような飛行環境で使用された交換レンズであるかという情報により、その交換レンズの価値を判断することができる。
The
そこで、本実施形態に係る撮像制御部110は、取得部112、記録部114、特定部116、及び通知部118を含む。取得部112は、UAV10の飛行状態に関する飛行情報、及びUAV10が存在する環境に関する環境情報の少なくとも一方を取得する。
Therefore, the
取得部112は、UAV10の加速度、UAV10の振動状態、UAV10の速度、及びUAV10の飛行回数、UAV10の飛行日時の少なくとも1つに関する情報を、飛行情報として取得してよい。取得部112は、UAV制御部30を介して飛行情報を取得してよい。取得部112は、慣性計測装置42により計測されたUAV10の加速度を示す情報を、UAV制御部30を介して取得してよい。取得部112は、UAV10に生じている振動の振動数、変位、速度、加速度をUAV10の振動状態に関する情報として取得してよい。取得部112は、ジンバル50が備えるジャイロセンサ、及び慣性計測装置42により計測される計測値から特定される振動数、変位、速度、及び加速度をUAV10の振動状態に関する情報として取得してよい。取得部112は、GPS受信機41により計測されたUAV10の速度を示す情報を、UAV制御部30を介して取得してよい。取得部112は、撮像部102またはUAV本体20が備えるカウンタでカウントされるUAV10の飛行回数を示す情報を取得してよい。取得部112は、撮像部102またはUAV本体20が備える時計を介して、UAV10の飛行日時を示す情報を取得してよい。
The
取得部112は、UAV10の位置、UAV10の高度、UAV10の周囲の温度、UAV10の周囲の気圧、UAV10の周囲の湿度の少なくとも1つに関する情報を、環境情報として取得してよい。取得部112は、GPS受信機41により計測されたUAV10の位置(緯度及び経度)を示す情報をUAV制御部30を介して取得してよい。取得部112は、気圧高度計44により計測されたUAV10の高度を示す情報をUAV制御部30を介して取得してよい。取得部112は、温度センサ45により検出されたUAV10の周囲の温度を示す情報をUAV制御部30を介して取得してよい。取得部112は、気圧高度計44により計測されたUAV10の周囲の気圧を示す情報をUAV制御部30を介して取得してよい。取得部112は、湿度センサ46により検知されたUAV10の周囲の湿度を示す情報をUAV制御部30を介して取得してよい。
The
記録部114は、レンズ部200のメモリ222に、取得部112により取得された飛行情報及び環境情報の少なくとも一方を記録する。記録部114は、UAV10が飛行中に、予め定められた周期(例えば、10秒)で、取得部112により取得された飛行情報及び環境情報の少なくとも一方を記録してよい。記録部114は、UAV10が着陸する直前または直後に、UAV10が飛行中に取得部112により取得された飛行情報及び環境情報の少なくとも一方をメモリ222に記録してよい。記録部114は、UAV10の電源ボタンがオフされたことに対応して、UAV10が飛行中に取得部112により取得された飛行情報及び環境情報の少なくとも一方をメモリ222に記録してよい。記録部114は、メモリ222に、レンズ部200の駆動情報を記録してもよい。駆動情報は、例えばレンズ部200に搭載されたシャッターの駆動回数、レンズ部200のフォーカスレンズの駆動回数、及びズームレンズの駆動回数の少なくとも1つである。記録部114は、メモリ222に、レンズ部200内の温度情報を記録してもよい。
The
通知部118は、メモリ222に記録された飛行情報及び前記環境情報の少なくとも1つを通知する。通知部118は、メモリ222に記録された飛行情報及び環境情報の少なくとも1つを表示部150に表示することで通知してよい。
The
特定部116は、メモリ222に記録された飛行情報及び環境情報の少なくとも一方に基づいて、レンズ部200の劣化度合いを特定する。特定部116は、UAV10の加速度を示す情報、またはUAV10の振動状態を示す情報に基づいてレンズ部200の劣化度合いを特定してよい。特定部116は、UAV10の加速度、及び飛行時間に基づいて、レンズ部200の劣化度合いを特定してよい。特定部116は、予め定められた閾値以上の加速度が生じる環境で、予め定められた飛行時間以上飛行している場合、レンズ部200の部品の交換時期または調整時期に達している、または近づいていることを特定してよい。特定部116は、UAV10の周囲の温度及び湿度の少なくとも一方に基づいて、レンズ部200の劣化度合いを特定してよい。特定部116は、UAV10の周囲の温度及び湿度の少なくとも一方と、飛行時間とに基づいて、レンズ部200の劣化度合いを特定してよい。特定部116は、予め定められた閾値以上の温度または湿度で、予め定められた飛行時間以上飛行している場合、レンズ部200の部品の交換時期または調整時期に達している、または近づいていることを特定してよい。
The specifying
通知部118は、特定部116により特定されたレンズ部200の劣化度合いに関する情報を通知してよい。通知部118は、レンズ部200の劣化度合いに関する情報を表示部150に表示することで、通知してよい。通知部118は、特定部116により特定されたレンズ部200の部品の交換時期または調整時期を、レンズ部200の劣化度合いに関する情報として、表示部150に表示してよい。
The
レンズ部200は、出力端子230を介して外部の装置に通信可能に接続されてよい。通知部118は、外部の装置が備える表示部に、メモリ222に記録された飛行情報及び環境情報の少なくとも一方を表示してよい。外部の装置は、表示部を備える装置でよい。外部の装置は、パーソナルコンピュータ、タブレット、携帯端末、スマートフォンなどでよい。例えば、図3に示すように、レンズ部200の出力端子230に、パーソナルコンピュータ500のUSB端子に接続されたUSBケーブル400を接続する。通知部118は、メモリ222に記録された飛行情報及び環境情報の少なくとも一方をUSBケーブル400を介してディスプレイ502に表示してよい。レンズ部200は、外部の装置に無線通信可能に接続されてよい。レンズ部200は、例えばWiFi(登録商標)、またはBluetooth(登録商標)を利用して、外部の装置と無線通信してよい。
The
図4は、メモリ222に記録される飛行情報及び環境情報の一例を示す。記録部114は、図4に示すような飛行情報及び環境情報を、予め定められた周期で、メモリ222に記憶する。
FIG. 4 shows an example of flight information and environment information recorded in the
記録部114は、メモリ222に記憶されるデータ量を削減すべく、過去の飛行情報及び環境情報よりも、最近の飛行情報及び環境情報を優先的にメモリ222に記録してよい。記録部114は、予め定められた時期より前の飛行情報及び環境情報を間引いてメモリ222に記録してよい。記録部114は、予め定められた時期より前にメモリ222に記憶された情報から、例えば、予め定められた期間(1年、1ヶ月、1週間)単位で、飛行時間、飛行回数、最高温度、平均温度、最高湿度、平均湿度、最高高度、平均高度などを特定して、それらの情報をメモリ222に記録してよい。
The
図5は、飛行情報及び環境情報の記録手順の一例を示すフローチャートである。撮像装置100の電源をオンする(S100)。取得部112は、レンズ部200が装着されているか否かを判定する(S102)。レンズ部200が装着されていれば、取得部112は、レンズ部200のメモリ222の記録エリアを確認する。取得部112は、飛行情報及び環境情報を記録する記録エリアがメモリ222に確保されているか否かを確認する。
FIG. 5 is a flowchart showing an example of a procedure for recording flight information and environment information. The power supply of the
次いで、取得部112は、飛行回数を計測するカウンタをインクリメントする。さらに、取得部112は、記録タイミングを判断するためのタイマのカウントを開始する(S108)。取得部112は、UAV制御部30を介して現時点のUAV10の飛行情報及び環境情報を取得する(S110)。取得部112は、タイマのカウントが10秒以上であるか否かを判定する(S112)。タイマのカウントが10秒に達していなければ、取得部112は、さらにUAV10の飛行情報及び環境情報を取得する。
Next, the
タイマのカウントが10秒に達していれば、記録部114は、取得部112により取得されたUAV10の飛行情報及び環境情報をメモリ222の記録エリアに記録する(S114)。記録部114は、取得部112により取得されたUAV10の最新の飛行情報及び環境情報をメモリ222の記録エリアに記録してよい。取得部112は、タイマのカウントをリセットする(S116)。撮像装置100の電源がオンのままであれば、取得部112は、ステップS110以降の処理を繰り返す。
If the count of the timer has reached 10 seconds, the
以上の通り、本実施形態に係る撮像装置100によれば、UAV10の飛行情報及び環境情報を定期的にレンズ部200のメモリ222に記録する。これにより、交換レンズであるレンズ部200が使用されていた飛行環境をレンズ部200のメモリ222にアクセスすることでいつでも把握することができる。例えば、交換レンズの部品の劣化状態を、飛行情報及び環境状況に基づいて把握することができる。また、レンズ部200のメモリ222に記録された飛行情報及び環境情報に基づいて、レンズ部200がどのような飛行環境で使用されてきた交換レンズであるかを判断でき、その交換レンズの価値の判断の指標の1つを提供できる。
As described above, according to the
図6は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
FIG. 6 illustrates an
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
A
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
The
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is performed between the
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
In addition, the
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
Various types of information, such as various types of programs, data, tables, and databases, may be stored on a recording medium and subjected to information processing. The
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
The programs or software modules described above may be stored on a computer-readable storage medium on or near the
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the specification, and the drawings, even if it is described using “first”, “next”, etc. for the sake of convenience, it means that it is essential to carry out in this order. It is not a thing.
10 UAV
20 UAV本体
30 UAV制御部
32 メモリ
34 通信インタフェース
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
45 温度センサ
46 湿度センサ
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 撮像制御部
112 取得部
114 記録部
116 特定部
118 通知部
120 イメージセンサ
130 メモリ
140 ジャイロセンサ
150 表示部
200 レンズ部
210 レンズ
212 レンズ駆動部
214 位置センサ
220 レンズ制御部
222 メモリ
230 出力端子
300 遠隔操作装置
400 ケーブル
500 パーソナルコンピュータ
502 ディスプレイ
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
10 UAV
20
1214 RAM
1220 Input /
Claims (12)
前記撮像装置を搭載して飛行する飛行体の飛行状態に関する飛行情報、及び前記飛行体が存在する環境に関する環境情報の少なくとも一方を取得する取得部と、
前記レンズ装置が有する記憶部に前記飛行情報及び前記環境情報の少なくとも一方を記録する記録部と
を備える、撮像装置。 An imaging device to which a lens device is connected in an exchangeable manner,
An acquisition unit that acquires at least one of flight information related to a flight state of a flying object mounted with the imaging device and environmental information related to an environment in which the flying object exists;
An imaging apparatus comprising: a storage unit included in the lens device; and a recording unit that records at least one of the flight information and the environment information.
前記通知部は、前記特定部により特定された前記レンズ装置の劣化度合いに関する情報を通知する、請求項5に記載の撮像装置。 Further comprising a specifying unit for specifying the degree of deterioration of the lens device based on at least one of the flight information and the environmental information recorded in the storage unit;
The imaging device according to claim 5, wherein the notification unit notifies information related to a degree of deterioration of the lens device specified by the specifying unit.
前記レンズ装置と、
を備える撮像システム。 An imaging device according to any one of claims 1 to 7,
The lens device;
An imaging system comprising:
前記記憶部に記録された前記飛行情報及び前記環境情報の少なくとも1つを外部の装置に出力する出力端子を有する、請求項8に記載の撮像システム。 The lens device is
The imaging system according to claim 8, further comprising an output terminal that outputs at least one of the flight information and the environment information recorded in the storage unit to an external device.
前記レンズ装置が有する記憶部に前記飛行情報及び前記環境情報の少なくとも一方を記録する段階と
を備える、記録方法。 Obtaining at least one of flight information relating to a flight state of a flying vehicle mounted with an imaging device to which the lens device is interchangeably connected, and environmental information relating to an environment in which the flying vehicle exists;
Recording at least one of the flight information and the environment information in a storage unit included in the lens device.
前記レンズ装置が有する記憶部に前記飛行情報及び前記環境情報の少なくとも一方を記録する段階と
をコンピュータに実行させるためのプログラム。 Obtaining at least one of flight information relating to a flight state of a flying vehicle mounted with an imaging device to which the lens device is interchangeably connected, and environmental information relating to an environment in which the flying vehicle exists;
A program for causing a computer to execute the step of recording at least one of the flight information and the environment information in a storage unit included in the lens device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017163410A JP6409239B1 (en) | 2017-08-28 | 2017-08-28 | Imaging apparatus, imaging system, flying object, recording method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017163410A JP6409239B1 (en) | 2017-08-28 | 2017-08-28 | Imaging apparatus, imaging system, flying object, recording method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6409239B1 true JP6409239B1 (en) | 2018-10-24 |
JP2019040128A JP2019040128A (en) | 2019-03-14 |
Family
ID=63920473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017163410A Expired - Fee Related JP6409239B1 (en) | 2017-08-28 | 2017-08-28 | Imaging apparatus, imaging system, flying object, recording method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6409239B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007127914A (en) * | 2005-11-07 | 2007-05-24 | Mitsubishi Electric Corp | Flight training support system |
JP2010087941A (en) * | 2008-10-01 | 2010-04-15 | Hitachi Kokusai Electric Inc | Operation management system for camera apparatus |
JP2012181474A (en) * | 2011-03-03 | 2012-09-20 | Nikon Corp | Digital camera |
JP2014085438A (en) * | 2012-10-22 | 2014-05-12 | Nikon Corp | Auxiliary imaging device and main imaging device |
-
2017
- 2017-08-28 JP JP2017163410A patent/JP6409239B1/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007127914A (en) * | 2005-11-07 | 2007-05-24 | Mitsubishi Electric Corp | Flight training support system |
JP2010087941A (en) * | 2008-10-01 | 2010-04-15 | Hitachi Kokusai Electric Inc | Operation management system for camera apparatus |
JP2012181474A (en) * | 2011-03-03 | 2012-09-20 | Nikon Corp | Digital camera |
JP2014085438A (en) * | 2012-10-22 | 2014-05-12 | Nikon Corp | Auxiliary imaging device and main imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP2019040128A (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6496955B1 (en) | Control device, system, control method, and program | |
JP6399498B1 (en) | Control apparatus, imaging system, moving object, control method, and program | |
US20210014427A1 (en) | Control device, imaging device, mobile object, control method and program | |
JP6384000B1 (en) | Control device, imaging device, imaging system, moving object, control method, and program | |
JP6565072B2 (en) | Control device, lens device, flying object, control method, and program | |
JP6496953B2 (en) | Control device, imaging device, moving object, control method, and program | |
JP6587006B2 (en) | Moving body detection device, control device, moving body, moving body detection method, and program | |
JP6565071B2 (en) | Control device, imaging device, flying object, control method, and program | |
JP6501091B1 (en) | CONTROL DEVICE, IMAGING DEVICE, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM | |
JP6481228B1 (en) | Determination device, control device, imaging system, flying object, determination method, and program | |
JP6888215B2 (en) | Control devices, imaging devices, imaging systems, moving objects, control methods, and programs | |
JP6838231B2 (en) | Controls, unmanned aerial vehicles, control methods, and programs | |
JP6409239B1 (en) | Imaging apparatus, imaging system, flying object, recording method, and program | |
WO2018116417A1 (en) | Control device, imaging device, moving body, control method, and program | |
JP7048019B2 (en) | Controls, flying objects, control methods, and programs | |
JP6714802B2 (en) | Control device, flying body, control method, and program | |
JP2019205047A (en) | Controller, imaging apparatus, mobile body, control method and program | |
JP6710863B2 (en) | Aircraft, control method, and program | |
JP2019169810A (en) | Image processing apparatus, imaging apparatus, mobile object, image processing method, and program | |
JP6459012B1 (en) | Control device, imaging device, flying object, control method, and program | |
CN111213369B (en) | Control device, control method, imaging device, mobile object, and computer-readable storage medium | |
JP6746856B2 (en) | Control device, imaging system, moving body, control method, and program | |
JP6557936B2 (en) | Control device, lens device, imaging device, imaging system, moving object, control method, and program | |
JP6413170B1 (en) | Determination apparatus, imaging apparatus, imaging system, moving object, determination method, and program | |
JP2020052220A (en) | Controller, imaging device, mobile body, method for control, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6409239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |