JP7314680B2 - 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム - Google Patents

画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム Download PDF

Info

Publication number
JP7314680B2
JP7314680B2 JP2019135194A JP2019135194A JP7314680B2 JP 7314680 B2 JP7314680 B2 JP 7314680B2 JP 2019135194 A JP2019135194 A JP 2019135194A JP 2019135194 A JP2019135194 A JP 2019135194A JP 7314680 B2 JP7314680 B2 JP 7314680B2
Authority
JP
Japan
Prior art keywords
image
subject
image data
data processing
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019135194A
Other languages
English (en)
Other versions
JP2021018705A (ja
Inventor
敦嗣 小南
宗司 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyo Seikan Kaisha Ltd
Original Assignee
Toyo Seikan Kaisha Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyo Seikan Kaisha Ltd filed Critical Toyo Seikan Kaisha Ltd
Priority to JP2019135194A priority Critical patent/JP7314680B2/ja
Priority to US17/627,814 priority patent/US20220253973A1/en
Priority to CN202080016225.XA priority patent/CN113474788B/zh
Priority to PCT/JP2020/028344 priority patent/WO2021015215A1/ja
Priority to TW109124951A priority patent/TW202121330A/zh
Publication of JP2021018705A publication Critical patent/JP2021018705A/ja
Application granted granted Critical
Publication of JP7314680B2 publication Critical patent/JP7314680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/16—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting
    • B64D1/18—Dropping or releasing powdered, liquid, or gaseous matter, e.g. for fire-fighting by spraying, e.g. insecticides
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/21—Rotary wings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pest Control & Pesticides (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Sampling And Sample Adjustment (AREA)
  • Radiation Pyrometers (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、画像データ処理システム、無人航空機、画像データ処理方法、及びプログラムに関する。
従来、画像重畳処理を行う際に無人航空機の吐出装置からの散布紋を画像合成用のマークとして使用する例は知られていなかった（例えば、特許文献１および２参照）。
［先行技術文献］
［特許文献］
［特許文献１］ 特許第５７９５８５０号公報
［特許文献２］ 特開２００８－０４５８８８号公報
画像合成のための基準点となる特徴が少ない被写体に対し、適切な画像重畳処理を行う画像データ処理システムを提供する。
上記課題を解決するために、本発明の第１の態様においては、被写体に容器内の内容物を吐出して散布紋を形成する吐出装置と、被写体の散布紋を含む領域の画像を撮像するカメラと、散布紋を基準点として画像の画像重畳処理を行う画像重畳処理部とを備える、画像データ処理システムを提供する。
カメラは、可視光画像用の可視光カメラと、被写体の熱画像を撮像する赤外線カメラとを有してよい。吐出装置は、内容物により被写体の表面に被写体の他の部分と異なる温度を有する変温部を形成してよい。赤外線カメラは、変温部を含む領域の熱画像を撮像してよい。画像重畳処理部は、熱画像および可視光画像の画像重畳処理において、変温部および散布紋を画像重畳処理における基準点として用いてよい。
内容物は気化性の成分を有してよく、被写体に吐出された内容物が気化する際の気化熱によって変温部が形成されてよい。
画像データ処理システムは、画像重畳処理における画像の重畳部分の連続性に基づいて、画像重畳処理の困難性を評価する連結性評価部をさらに備えてよい。連結性評価部により、被写体を撮像した画像の画像重畳処理が困難であると評価された場合に、吐出装置は散布紋を形成してよい。
連結性評価部は、カメラが撮像する画像内の特徴点抽出処理を行ってよい。連結性評価部は、得られた特徴点の数量に基づいて画像重畳処理の困難性を評価してよい。
連結性評価部は、周期的な繰り返しパターンの有無を検知してよい。連結性評価部は、検知結果に基づいて困難性を評価してよい。
連結性評価部は、画像の画像重畳処理を試行してよい。連結性評価部は、試行結果に基づいて困難性を評価してよい。
画像重畳処理は複数の画像の連結処理を含んでよい。
画像重畳処理は複数の画像の合成処理を含んでよい。
画像データ処理システムは、暗所撮影用の照明をさらに備えてよい。
画像データ処理システムは、内容物を被写体の表面温度と異なる温度に調整する温度調整装置をさらに備えてよい。
内容物は有色であってよい。
容器はエアゾール容器であってよい。
本発明の第２の態様においては、画像データ処理システムを搭載する無人航空機を提供する。
本発明の第３の態様においては、無人航空機に搭載された容器から被写体に内容物を吐出して散布紋を形成する段階と、散布紋を含む被写体の領域に関する複数の画像を撮像する段階と、散布紋を画像重畳処理用の基準点として、複数の画像の画像データを処理する段階とを備える、画像データ処理方法を提供する。
画像データ処理方法は、被写体の表面形状を撮像する段階と、撮像された表面形状に基づいて、被写体に内容物を吐出するか否かを判断する段階と、を備えてよい。
被写体に内容物を吐出するか否かを判断する段階は、表面形状が予め定められた第１の閾値より深い凹凸を有しない場合に表面形状が平滑面であると判断し、内容物を吐出することを判断する段階を有してよい。
被写体に内容物を吐出するか否かを判断する段階は、表面形状が予め定められた第２の閾値より深い傷または凹凸を有する場合に、被写体に内容物を吐出することを判断する段階を有してよい。複数の画像を撮像する段階は、被写体を予め定められた第１の距離で撮像する段階と、被写体を第１の距離より遠い第２の距離で撮像する段階とを有してよい。
本発明の第４の態様においては、画像データ処理方法をコンピュータに実行させるためのプログラムを提供する。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
無人航空機１００の正面図の一例を示す。 無人航空機１００の側面図の一例を示す。 画像データ処理システム２００の機能に関するブロック図の概要である。 被写体１１０を撮像している無人航空機１００の一例を示す。 散布紋１３０を用いた被写体１１０の画像重畳処理の一例を示す 散布紋１３０を用いた画像重畳処理を説明する図である。 被写体１１０の画像重畳処理における特徴点１１２を説明する図である。 比較例における被写体１１０の画像重畳処理を示す。 比較例における被写体１１０の画像重畳処理の成功例を示す。 比較例における被写体１１０の画像重畳処理の失敗例を示す。 無人航空機１００の移動距離に基づく画像重畳処理の困難性の評価について説明する図である。 無人航空機１００の移動距離から画像重畳処理が容易と判断される例を示す。 無人航空機１００の移動距離から画像重畳処理が困難と判断される例を示す。 吐出装置５００の構成の一例を示す。 被写体１１０の熱画像および被写体１１０の可視光画像の画像重畳処理の一例である。 無人航空機１００の自動制御の一例である。 被写体１１０の画像重畳処理の一例である。 被写体１１０の画像重畳処理の別例である。 画像データ処理方法３００のフロー図の一例である。 画像データ処理方法３００のフロー図の別例である。 画像データ処理方法３００のフロー図の更なる別例である。 画像データ処理方法３００を実装すべく機能するコンピュータ１０００のハードウェア構成の一例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１Ａは、無人航空機１００の正面図の一例を示す。図１Ｂは、図１Ａに係る無人航空機１００の側面図の一例を示す。
無人航空機１００は、空中を飛行する飛行体である。本例の無人航空機１００は、本体部１０と、推進部２０と、カメラ３０と、吐出部５０と、吐出装置５００とを備える。なお、本明細書では、本体部１０において、照明１２が設けられた面を無人航空機１００の正面と称するが、飛行時の進行方向が正面方向に限定されるものではない。後に詳述する吐出装置５００は、容器保持部４０と、後述する温度調整装置７０および吐出駆動部８０と、を有する。
本体部１０は、無人航空機１００の各種制御回路および電源等を格納する。また、本体部１０は、無人航空機１００の構成同士を連結する構造体として機能してよい。本例の本体部１０は、推進部２０に連結されている。本例の本体部１０は、照明１２を有する。
照明１２は、暗所撮影用である。カメラ３０は、後述するように被写体１１０を撮影する。被写体１１０が影となっている領域や夜間において撮影をする場合に、無人航空機１００は、照明１２により被写体１１０を照らしてよい。
推進部２０は、無人航空機１００を推進させる。推進部２０は、回転翼２１および回転駆動部２２を有する。本例の無人航空機１００は、４つの推進部２０を備える。推進部２０は、腕部２４を介して本体部１０に取り付けられている。
回転駆動部２２は、モータ等の動力源を有し回転翼２１を駆動させる。回転駆動部２２は、回転翼２１のブレーキ機構を有してよい。回転翼２１および回転駆動部２２は、腕部２４を省略して本体部１０に直接取り付けられてもよい。
腕部２４は、本体部１０から放射状に延伸するように設けられる。本例の無人航空機１００は、４つの推進部２０に対応して設けられた４つの腕部２４を備える。腕部２４は、固定式であっても可動式であってもよい。腕部２４には、カメラ等の他の構成が固定されてよい。
カメラ３０は、無人航空機１００の周囲の画像を撮影する。本例のカメラ３０は、本体部１０の下方に設けられる。一例において、下方とは、本体部１０に対して回転翼２１が設けられた側と反対側を指す。カメラ３０は、吐出部５０からの吐出を制御するために、後述の図における被写体１１０を撮像する。また、カメラ３０は、吐出部５０の吐出方向の映像を撮影してよい。
本例のカメラ３０は、可視光カメラ３２および赤外線カメラ３４を有する。可視光カメラ３２は、可視光の波長領域（波長約３６０ｎｍ～約８３０ｎｍ）の電磁波を受光して可視光画像を撮像する。可視光カメラ３２は、夜間に撮影可能な高感度カメラとしての機能を有してもよい。
赤外線カメラ３４は、より長い波長領域（波長約８３０ｎｍ）の電磁波を撮像する。特に、赤外線カメラ３４は、中赤外線（波長約３μｍ～約５μｍ）または遠赤外線（約８μｍ～約１５μｍ）の電磁波による赤外線サーモグラフィに関する被写体１１０の熱画像を撮像可能な赤外線サーモグラフィカメラであってよい。赤外線カメラ３４は、夜間撮影可能な赤外線暗視カメラであってもよい。
カメラ３０は、無人航空機１００の移動と共に異なる視点で撮像した被写体１１０の複数の画像を撮像する。無人航空機１００の視点を変えて取得した複数の画像に対して、合成または連結等の様々な画像重畳処理が行われ、被写体１１０の鮮明な全体像を得る画像重畳処理が実行される。画像の重畳処理を実行することで、高解像度で拡大縮小が可能な被写体１１０の全体像を立体的に把握できる。
連結部３６は、本体部１０とカメラ３０とを連結する。連結部３６は、固定であっても可動であってもよい。連結部３６は、カメラ３０の位置を３軸方向に制御するためのジンバルであってよい。連結部３６は、吐出部５０の吐出方向に合わせて、カメラ３０の向きを制御してよい。
後述する吐出装置５００に含まれる容器保持部４０は、吐出される内容物が充填された後述の容器６０を保持する。容器保持部４０は、本体部１０に連結される。容器保持部４０は、腕部２４または脚部１５等の本体部１０以外の部材に連結されてもよい。一例において、容器保持部４０は、容器６０を収容される筒状のスリーブである。
容器保持部４０の材料は、容器６０を収容する収容部の形状を保持することができるものであれば、特に限定されない。例えば、容器保持部４０の材料は、アルミ等の金属、プラスチック、または炭素繊維等の強度の高い軽量の素材を含む。また、容器保持部４０の材料は、硬質の材料に限らず、軟質の材料、例えば、シリコーンゴムまたはウレタンフォーム等のゴム材料を含んでもよい。なお、容器保持部４０は、容器６０および容器６０の内容物を加熱または保温し、内容物を被写体１１０の表面温度と異なる温度に調整する温度調整装置７０をさらに備えてよい。
吐出部５０は、吐出口５１およびノズル５４を有する。吐出部５０は、ノズル５４から吐出口５１へと容器６０内の内容物を搬送し、吐出口５１から被写体１１０に内容物を吐出して散布紋１３０を形成する。内容物は有色であってよく、散布紋１３０は、内容物の形状、模様、色彩、またはこれらの結合により形成されてよい。カメラ３０は、被写体１１０の散布紋１３０を含む領域１２０の画像を撮像し、散布紋１３０を画像重畳処理のための基準点とすることができる。
脚部１５は、本体部１０に連結されて、着陸時に無人航空機１００の姿勢を保持する。脚部１５は、推進部２０を停止した状態で、無人航空機１００の姿勢を保持する。本例の無人航空機１００は、２本の脚部１５を有する。脚部１５には、カメラ３０または容器保持部４０が取り付けられてもよい。
図１Ｃは、画像データ処理システム２００の機能に関するブロック図の概略である。画像データ処理システム２００は、無人航空機１００に搭載されてよい。ただし、無人航空機１００が外部に設けられたサーバ等のコンピュータと通信する通信部を有し、画像データをコンピュータに送信してもよい。即ち、画像データ処理システム２００は、無人航空機１００とサーバマシンまたはクラウドネットワーク等の遠隔コンピュータシステムと一体化したシステムとして実装されてもよい。
画像データ処理システム２００は、カメラ３０と、吐出装置５００と、連結性評価部９０と、画像重畳処理部９５とを備える。カメラ３０は、対象となる被写体１１０について視点を変えた複数の画像を画像の一部が重複する方式で撮像する。カメラ３０によって撮像された被写体１１０の画像の画像データが、連結性評価部９０に送信される。
連結性評価部９０は、複数の画像の画像データに対して、画像の重畳部分に存在する特徴同士を用いることにより、画像の連結、合成、および位置合わせ等の画像重畳処理が可能か否かの評価を行う。画像重畳処理の困難性の評価は、画像重畳処理における画像の重畳部分が滑らかに接続可能かどうかという、画像の連続性に基づいてよい。連結性評価部９０の画像重畳処理の評価は、画像重畳処理を実際に試行することに基づいてよい。連結性評価部９０は、試行結果に基づいて困難性を評価してよい。
連結性評価部９０により、被写体１１０を撮像した画像の画像重畳処理が困難であると評価された場合に、吐出装置５００に容器の内容物を吐出する吐出命令が送信される。吐出装置５００は、被写体１１０に内容物による散布紋１３０を形成してよい。被写体１１０に散布紋１３０を形成することにより、被写体１１０上に画像重畳処理用の基準点となるマークが現れる。吐出装置５００の散布紋１３０の吐出後に、カメラ３０が散布紋１３０を含む被写体１１０の複数の画像を撮像し、連結性評価部９０が再び画像重畳処理の困難性を評価してもよい。
連結性評価部９０により、被写体１１０を撮像した画像の画像重畳処理が容易であると評価された場合に、カメラ３０に改めて撮像命令を送信してよい。撮像命令に基づいて、カメラ３０は、改めて被写体１１０を多数の視点で撮影する。カメラ３０の撮像した画像データは、画像重畳処理部９５に送信されてよい。ただし、カメラ３０の被写体１１０の画像データは、連結性評価用の画像の撮像と別に行われず、画像データをそのまま用いてもよい。
画像重畳処理部９５は、カメラ３０から送られてきた画像データに画像重畳処理を実行する。画像重畳処理部９５は、散布紋１３０を基準点として被写体１１０の画像の画像重畳処理を行ってよい。種々の視点を変えて撮像された画像に対し重畳処理を行うことにより、被写体１１０の広角および近接視点における広範囲の３次元的な画像を高解像度で得られる。また、合成画像および連結画像について、滑らかな連続性を保証できる。
図１Ｄは、被写体１１０を撮像している無人航空機１００の一例を示す。無人航空機１００は、吐出部５０により被写体１１０に内容物を吐出する。
吐出部５０は、内容物により被写体１１０の表面に散布紋１３０を形成する。一例として、内容物は液体である。ただし、内容物は、ゲルまたはゾル等のコロイド状物質を含んでもよい。カメラ３０は、被写体１１０の散布紋１３０を含む画像を撮像する。
図２Ａは、散布紋１３０を用いた被写体１１０の画像重畳処理の一例を示す。被写体１１０は、カメラ３０で撮像する対象である。
被写体１１０は、特徴１１１を有する。特徴１１１は、金具１１４または傷１１６等の被写体が有する非一様な形状、模様、若しくは色彩、またはこれらの結合等のような目印となる対象であってよい。
本例においては、吐出部５０により、被写体１１０に容器保持部４０中の容器６０内に充填された内容物が散布される。吐出部５０は、被写体１１０の表面に散布紋１３０を形成する。
カメラ３０は、被写体１１０の散布紋１３０を含む領域１２０の画像を撮像する。被写体１１０に対して、画像重畳処理を行うための領域１２０Ａおよび領域１２０Ｂの画像がそれぞれ撮像される。
領域１２０Ａは、傷１１６および散布紋１３０を含む。一方、領域１２０Ｂは、金具１１４または傷１１６等のような特徴１１１を有しない。従って、連結性評価部９０は、領域１２０Ａの画像および領域１２０Ｂの画像重畳処理が散布紋１３０なしでは困難であると判断してよい。このような場合でも、散布紋１３０を画像重畳処理の基準点とすることにより、重畳部分を滑らかに接続する画像重畳処理を実行できる。
図２Ｂは、散布紋１３０を用いた画像重畳処理を説明する図である。被写体１１０を撮像した画像は、タイル状の領域１２０に分解することができる。
領域１２０Ｃおよび領域１２０Ｄは、タイル状の表面の中に特徴１１１を有する。しかし、領域１２０Ｃおよび領域１２０Ｄの重畳部分において、特徴１１１を有していない。画像の重畳処理は、重畳部分の中に基準点を有する方が容易となる。従って、散布紋１３０を画像の重畳部分に付すことで、領域１２０Ｃおよび領域１２０Ｄの画像の重畳処理が容易化される。
図３は、被写体１１０の画像重畳処理における特徴点１１２を説明する図である。被写体１１０は、表面上に様々な特徴１１１を有する。領域１２０Ｅの画像および領域１２０Ｆの画像の重畳処理と、領域１２０Ｇの画像および領域１２０Ｈの画像の重畳処理とが実行される。
本例では、連結性評価部９０は、カメラ３０が撮像する画像内の特徴点１１２の抽出処理を行う。特徴点１１２とは、特徴１１１の目印となる所々の点状の特徴であってよい。例えば、ナットのような金具１１４の角の先端部分であったり、水平部分から傾斜部分への移行部分の突端であったり、不連続な被写体１１０の境界部分１１８の尖った先端部分であったり、傷１１６の尖端部分であったり、色彩が不連続的に変化する部分であったりしてよい。
連結性評価部９０は、特徴点１１２の抽出処理により得られた特徴点の数量に基づいて画像重畳処理の困難性を評価してよい。領域１２０Ｅおよび領域１２０Ｆには、特徴点１１２の数量が数多く存在する。被写体１１０に元々存在する特徴点１１２の数量が多い場合には、散布紋１３０を利用せず、元々存在する特徴点１１２を利用することにより、領域１２０Ｅの画像および領域１２０Ｆの画像の画像重畳処理を容易に実行できると判断してよい。
領域１２０Ｇの画像および領域１２０Ｈの画像においては、領域１２０Ｇ内に傷１１６および散布紋１３０を含む。一方、領域１２０Ｈは、特徴１１１を有しない。従って、連結性評価部９０は、領域１２０Ａの画像および領域１２０Ｂの画像重畳処理が散布紋１３０なしでは困難であると判断してよい。このような場合でも、散布紋１３０を画像重畳処理の基準点とすることにより、重畳部分を滑らかに接続する画像重畳処理を実行できる。
図４Ａは、比較例における周期的な繰り返しパターンを表面上に有する被写体１１０の画像重畳処理を示す。比較例の画像データ処理システムにより、被写体１１０の領域１２０Ｉおよび領域１２０Ｊの画像重畳処理が行われる。
図４Ｂは、比較例における周期的な繰り返しパターンを表面上に有する被写体１１０の画像重畳処理の成功例を示す。重畳部分の長さが図４Ａの重畳部分の長さを再現している。この場合、被写体１１０の領域１２０Ｉおよび領域１２０Ｊの画像重畳処理は適切に行われる。
図４Ｃは、比較例における周期的な繰り返しパターンを表面上に有する被写体１１０の画像重畳処理の失敗例を示す。本例においては、特徴１１１同士の間の距離を誤って重畳処理が行われており、重畳部分の長さが図４Ａの本来の重畳部分より短くなっている。
連結性評価部９０は、周期的な繰り返しパターンの有無を検知してよい。連結性評価部は、検知結果に基づいて困難性を評価してよい。比較例のように被写体１１０は、一定のパターンの模様を表面上に有する場合もある。このような場合には、被写体１１０から十分な数の特徴点１１２の抽出が可能な場合であっても、図４Ｃの場合のように画像重畳処理の失敗の原因となる。
画像重畳処理部９５は、被写体１１０が周期的なパターンを含む場合には、被写体１１０の画像の画像重畳処理が困難であると判断してよい。例えば、被写体１１０がタイル面、レンガ面の場合には、画像重畳処理が困難であると判断される。別の例として、水玉模様、網目模様などの塗装加飾が施されている場合にも、画像重畳処理が困難であると判断される。
連結性評価部９０は、周期的な繰り返しパターンの有無を単一の領域の画像を繰り返し複製して連結した場合における自己連結性に基づいて検知してよい。例えば、領域１２０Ｉは領域左方部と領域右方部によって１２０Ｉ自身の画像を複数自己連結可能であり、画像重畳処理が困難であると評価できる。即ち、領域１２０Ｉでは、自己の複製を対向する両端部、即ち、領域左方部および領域右方部において自己連結した場合に、左方部に連結したパターンと右方部に連結したパターンとが類似する。このような類似性が、特徴１１１間の距離等を正確に反映した画像重畳処理を困難にする。
比較例では、散布紋１３０のような画像重畳処理の基準点を有しないので、被写体が一様で有する特徴の数も少ない場合に、重畳部分の長さを誤って評価して適切な重畳処理を行えない場合がある。一方で、実施例においては、画像重畳処理の基準点として、散布紋１３０を有するので、被写体１１０が周期的な繰り返しパターンを有する場合においても、重畳部分の長さおよび位置の評価を正確に行うことができる。
図５Ａは、無人航空機１００の移動距離に基づく画像重畳処理の困難性の評価について説明する図である。連結性評価部９０は、無人航空機１００の移動量Ｍを検知してよい。連結性評価部９０は、無人航空機１００の位置情報から取得される移動量Ｍ１と、後述の画像重畳処理の試行結果から得られる無人航空機１００の移動量Ｍ２またはＭ３との比較に基づいて画像重畳処理の困難性を評価してよい。
一例として、無人航空機１００は、画像を撮像する際に無人航空機の位置情報を記録する。連結性評価部９０は、無人航空機１００の移動量Ｍ１として画像に記録された位置情報の変化量を用いてよい。例えば、図５Ａの領域１２０Ｋを撮影した画像に記録された無人航空機１００の位置情報と、領域１２０Ｌを撮影した画像に記録された無人航空機１００の位置情報とにおける、位置情報の変化量が無人航空機１００の移動量Ｍ１である。
別の例において、無人航空機１００の位置情報は無人航空機１００に位置情報取得部を備える事で取得してもよい。位置情報取得部は例えば、ＧＰＳ（グローバルポジショニングシステム）、ＲＴＫ（リアルタイムキネマティック）を用いることができる。
さらに、画像の移動量から無人航空機１００の移動量Ｍ２またはＭ３を算出する。撮像に用いるカメラ３０の画角と、被写体１１０および無人航空機１００の距離とから、撮像した画像の縮尺を算出できる。従って、領域１２０Ｋおよび領域１２０Ｌに重畳部分が出来るように移動しながら撮像したそれぞれの領域１２０の２枚の画像において、重畳部分を除いた画像の移動量から無人航空機１００の移動量Ｍ２またはＭ３を算出できる。
連結性評価部９０は、無人航空機１００の位置情報から取得される移動量Ｍ１と、画像重畳処理の試行結果における画像の移動量から算出される無人航空機１００の移動量Ｍ２またはＭ３とを比較することで、画像重畳処理の試行結果を評価できる。連結性評価部９０は、無人航空機１００の位置情報から取得される移動量Ｍ１と、画像の移動量から算出される無人航空機１００の移動量Ｍ２またはＭ３との差異が予め定められた閾値より大きい場合に、画像重畳処理が困難であると評価する。
図５Ｂは、無人航空機１００の移動距離から画像重畳処理が容易と判断される例を示す。本例では、画像重畳処理の試行結果から算出される無人航空機１００の移動量Ｍ２が、図５Ａにおける実際の無人航空機１００の位置情報から取得される移動量Ｍ１に一致している。連結性評価部９０は、試行結果が成功したことに基づき、画像重畳処理が容易であると評価できる。
図５Ｃは、無人航空機１００の移動距離から画像重畳処理が困難と判断される例を示す。本例では、画像重畳処理の試行結果から算出される無人航空機１００の移動量Ｍ２が、図５Ａにおける実際の無人航空機の位置情報から取得される移動量Ｍ１よりも大きい。本例では、連結性評価部９０は、画像重畳処理の試行に失敗したと判断する。連結性評価部９０は、試行結果が失敗したことに基づき、画像重畳処理が困難であると評価できる。
図６は、吐出装置５００の構成の一例を示す。図３は、吐出装置５００の断面図を示している。吐出装置５００は、容器６０を保持する容器保持部４０と、容器および内容物の温度を調整する温度調整装置７０と、容器６０からの吐出を制御するための吐出駆動部８０と、を有する。
本体４１は、容器６０を保持する。本例の容器保持部４０は、本体４１と、第１端カバー部４３と、第２端カバー部４４とを備える。本体４１は、容器６０より大径の円筒状の形状を有する。本例の本体４１は、第１端カバー部４３および第２端カバー部４４に挟まれている。
第１端カバー部４３は、本体４１の一方の端部を覆う。本例の第１端カバー部４３は、容器６０の噴射側の端部を覆う。第１端カバー部４３は、本体４１に対してネジ部４５を介して着脱可能にねじ込み固定される。本例の第１端カバー部４３は、ドーム状のカバー本体を有する。第１端カバー部４３は、空力特性を考慮して先端に向かって徐々に小径となるように縮径される。第１端カバー部４３は、先端が丸みを帯びた円錐状またはドーム状の曲面を有する。このように空力特性のよい形状とすることにより、横風の影響が小さくなり、飛行の安定化を図ることができる。
第２端カバー部４４は、本体４１において、第１端カバー部４３が覆う端部の他方の端部を覆う。本例の第２端カバー部４４は、容器６０の噴射側と反対側の端部を覆う。第２端カバー部４４は、本体４１と一体に構成されている。また、第２端カバー部４４は、本体４１と取り外し可能に設けられてよい。
温度調整装置７０は、容器６０の内容物を被写体の表面温度と異なる温度に調整できる。本例の温度調整装置７０は、温度センサ７１と、パイプ７２と、ポンプ７３と、リザーバ７４と、ペルチェ素子７５と、ヒートシンク７６と、ファン７７とを有する。
温度センサ７１は、容器６０および内容物の温度を計測する。温度センサ７１としては、サーミスタ、温度センシングダイオード、または熱電対等、環境および内容物に応じた所望の温度範囲および感度を与えるセンサが選択されてよい。
パイプ７２は、伸縮性のある熱伝導性に富む材質で製造される。一例として、パイプ７２は、パイプ７２同士が流体連通する筒状の構造体として提供される。パイプ７２には、熱を伝導する熱媒体となる流体が流される。一例として、パイプ７２には、ＬＬＣ（Ｌｏｎｇ Ｌｉｆｅ Ｃｏｏｌａｎｔ）等を含む冷却用クーラントが流される。ただし、パイプ７２に流される熱媒体は別の媒体であってもよい。
ポンプ７３は、リザーバ７４からパイプ７２の一端の中へと、さらにはパイプ７２の他端からリザーバ７４へと熱媒体を循環させる。ポンプ７３は、リザーバ７４の外部に設けられても、内部に設けられてもよい。
リザーバ７４は、熱媒体を貯蔵する容器である。本例のリザーバ７４は容器保持部４０の外部に設けられている。ただし、リザーバ７４は、容器保持部４０の内部に設けられていてもよい。リザーバ７４が容器保持部４０の外部に設けられる場合、加熱または冷却された熱媒体が外部環境の温度の影響を受けないようにするために、リザーバ７４は断熱性部材で設けられてよい。
ペルチェ素子７５は、直流電流を適用すると吸熱または発熱する素子である。ペルチェ素子７５は、リザーバ７４内の熱媒体を加熱または冷却する。ペルチェ素子７５は、極性を有し、印加する電圧の極性を逆向きにすることで冷却および加熱を切り替えられる。
ヒートシンク７６は、ペルチェ素子７５およびポンプ７３等の電気的に動作する素子の過熱を防ぐべく、発生した熱をファン７７へと放散してよい。ファン７７は、ヒートシンク７６を冷却してよい。
吐出駆動部８０は、容器６０から内容物を吐出させる。吐出駆動部８０は、容器６０の底部側に位置する第２端カバー部４４に収納されている。第２端カバー部４４は、吐出駆動部８０の筐体として機能している。吐出駆動部８０は、カム８１と、カムフォロワ８２と、可動板８３とを備える。吐出駆動部８０が容器保持部４０に設けられているので、容器６０の交換時に吐出駆動部８０を交換する必要がない。
カム８１は、駆動源によって回転駆動される。一例において、駆動源としてモータが用いられる。カム８１は、回転中心から外周までの距離が異なる構造を有する。なお、図示例では、カム８１の形状が誇張されている。カム８１は、外周において、カムフォロワ８２と接触している。
カムフォロワ８２は、カム８１と可動板８３との間に設けられる。カムフォロワ８２は、カム８１および可動板８３に接続され、カム８１の回転運動を可動板８３に直線運動として伝達する。
可動板８３は、容器６０の底面と接して設けられ、容器６０のバルブの開閉を制御する。可動板８３は、カムフォロワ８２によって前後に移動する。例えば、カム８１の回転中心と、カムフォロワ８２が当接するカム８１の接触領域との距離が短い場合、可動板８３が容器６０に対して後退し、容器６０のバルブが閉じる。一方、カム８１の回転中心と、カムフォロワ８２が当接するカム８１の接触領域との距離が長い場合、可動板８３が容器６０に対して前進し、容器６０のバルブが開く。
なお、吐出駆動部８０は、モータの回転運動をカム機構によって直線運動に変換する構成を有するが、カム機構に限定されない。例えば、吐出駆動部８０の機構は、ねじ送り機構、ラックアンドピニオン等、モータの回転運動を直線運動に変換する機構であればよい。また、駆動源としては、回転モータではなく、直線駆動用のリニアモータ、または電磁ソレノイド等を備えてよい。
吐出駆動部８０はプログラム等により電気的に制御されてよい。吐出駆動部８０の制御により、内容物を吐出するか否か、あるいは内容物を吐出する量が制御されてよい。また、無人航空機１００が複数の容器６０を搭載している場合、吐出される内容物の種類を選択してよい。一例として、吐出駆動部８０が電気的に遮断されることにより、内容物の吐出がロックされる。
ステム１４５は、容器６０に設けられる。ステム１４５がアクチュエータ１４３によって押圧されることにより、容器６０から内容物を吐出する。アクチュエータ１４３は、吐出方向および吐出形態に応じた流路を有する。一例において、アクチュエータ１４３は、内容物を霧状にして吐出する。
なお、本例では、容器６０が容器保持部４０に直接搭載されているが、容器６０が収容部材によって収容され、収容部材を容器保持部４０に搭載してもよい。収容部材が衝撃から容器６０を保護するので事故時の安全性が高まる。
本例の容器６０は、エアゾール容器であるので、容器６０が空になった場合であっても新たな容器６０を搭載するだけで、容易に交換することができる。また、内容物が人体に付着しにくく交換時の安全性が高い。
図７は、被写体１１０の熱画像および被写体１１０の可視光画像の画像重畳処理の一例である。カメラ３０は、可視光カメラ３２により被写体１１０の可視光画像を提供し、赤外線カメラ３４により被写体１１０の熱画像を提供してよい。
領域１２０Ｍの熱画像は、画像重畳処理用の基準点として変温部１５０を含む。変温部１５０は、容器６０の内容物により形成され、被写体１１０の他の部分と異なる温度を有する。領域１２０の熱画像は、変温部１５０を含む領域の赤外線カメラ３４で撮像された画像として提供される。
領域１２０Ｎの画像は、可視光カメラ３２により散布紋１３０を含む領域１２０Ｎの画像として撮像される。一方、散布紋１３０および変温部１５０は、内容物を吐出する吐出部５０により一度に形成されてよい。ただし、散布紋１３０および変温部１５０は異なるタイミングで形成されてもよい。
一例として、内容物は気化性の成分を有してよい。被写体１１０に吐出された内容物が気化する際の気化熱によって変温部１５０が形成されてよい。別の例としては、複数の容器６０および内容物を有している場合、吐出部５０は、化学的に安定な物質による散布紋１３０を散布できる。別のタイミングで、別の化学物質を散布紋１３０の上に散布し、それらの物質を相互に反応させることで変温部１５０を形成してもよい。
画像重畳処理部９５は、熱画像および可視光画像の画像重畳処理において、変温部１５０および散布紋１３０を画像重畳処理における基準点として用いてよい。本例において、領域１２０Ｍの画像および領域１２０Ｎの画像は、変温部１５０および散布紋１３０を画像の位置合わせの基準点として用いた上で、それぞれの画像が合成されている。
一例として、熱画像および可視光画像の重畳処理を行う場合、画像重畳処理を行って位置を一致した画像データを記憶後に、ユーザーに実際に表示する画像はどちらか一方の画像であってよい。即ち、ユーザーへ提供する際に、同位置の熱画像表示および可視光画像表示を選択的に切り替えて提供するという形式が取られてもよい。
図８は、無人航空機１００の自動制御の一例である。無人航空機１００の撮像は、自動制御によって行われてよい。
本例の無人航空機１００の制御は、被写体１１０が傷１１６を有する場合に行われる制御の一例である。無人航空機１００が、被写体１１０の表面の凹凸の大きさまたは深さ等に基づき、傷１１６を発見する。被写体１１０表面に傷１１６を発見した無人航空機１００は、吐出部５０を使用して、傷１１６を再び発見し易くすべく散布紋１３０を用いて傷１１６の周囲をマーキングする。
さらに、無人航空機１００は、散布紋１３０から予め定められた距離Ｄ１の位置に移動する。距離Ｄ１は第１の距離の一例である。無人航空機１００は、距離Ｄ１において、カメラ３０により散布紋１３０および傷１１６を含むように被写体１１０を撮像する。
次に、無人航空機１００は、散布紋１３０から、距離Ｄ１より遠い距離Ｄ２の位置に移動する。距離Ｄ２は第２の距離の一例である。無人航空機１００は、距離Ｄ２においても、カメラ３０により散布紋１３０および傷１１６を含むように被写体１１０を撮像する。即ち、距離Ｄ１および距離Ｄ２における撮影は、傷１１６の拡大画像および広角画像を取得する処理に対応する。以上の処理を自動的に行うことにより、被写体１１０上の傷１１６等の欠陥を自動的に発見し、欠陥周囲の画像を詳細に撮像できる。即ち、被写体１１０の欠陥自動検出システムが実装される。
図９Ａは、被写体１１０の画像重畳処理の一例である。本例では、無人航空機１００は被写体１１０に対し水平方向に移動して、２つの領域１２０Ｏおよび１２０Ｐが異なる視点で撮影される。
本例における画像重畳処理では、領域１２０Ｏの画像および領域１２０Ｐの画像が連結処理され、被写体１１０のより広範囲な画像を提供する。被写体１１０の広範囲の画像を連結していくことで、被写体１１０の全体の画像を提供できる。
図９Ｂは、被写体１１０の画像重畳処理の別例である。本例では、無人航空機１００は、被写体１１０に対し、距離を変化させて２つの領域１２０Ｑおよび領域１２０Ｒの画像を撮像している。
本例において、画像重畳処理は、広角で撮影された領域１２０Ｑの画像および近接で撮像された領域１２０Ｒの画像を合成する画像の合成処理を含む。光学カメラは、撮像時に焦点距離の合う深度を示す被写界深度を有する。即ち、個々の距離において、撮像対象へフォーカスを合わせられる深度は、被写界深度に依存する。被写体１１０に対して距離を変化させた複数の画像を撮像し、画像の合成処理を行うことで、広角画像から近接画像まで広い範囲でフォーカスの合った高解像度画像を合成できる。これにより、３次元的に視点を変えても高解像でフォーカスの合った３次元画像データを提供できる。
図１０Ａは、画像データ処理方法３００のフロー図の一例である。本例の画像データ処理方法３００は、ステップＳ１００からＳ１０８を備える。
Ｓ１００において、被写体１１０の表面形状１１９を撮像する。Ｓ１０２において、撮像された表面形状１１９に基づいて、無人航空機１００に搭載された容器から被写体１１０に内容物を吐出するか否かを判断する。Ｓ１０４において、無人航空機１００に搭載された容器から被写体１１０に内容物を吐出して散布紋１３０を形成する。Ｓ１０２およびＳ１０４の処理はプログラム等により自動的に実行されてよい。これらにより、自動的に被写体１１０の画像重畳処理を容易化することが可能となる。Ｓ１０６において、散布紋１３０を含む被写体１１０の領域１２０に関する複数の画像を撮像する。Ｓ１０８において、散布紋１３０を画像重畳処理用の基準点として、複数の画像の画像データを処理する。
図１０Ｂは、画像データ処理方法３００のフロー図の別例である。本例の画像データ処理方法３００は、ステップＳ２００からＳ２１２を備える。
Ｓ２００において、被写体１１０の表面形状１１９を撮像する。Ｓ２０２において、被写体１１０の表面形状１１９が予め定められた第１の閾値より深い凹凸を有するか否かを判断する。被写体１１０の表面形状１１９が第１の閾値より深い凹凸を有しない場合、Ｓ２０４において、表面形状１１９が平滑面であると判断する。表面形状１１９が平滑面であれば、傷１１６のような特徴点１１２が少ない面である可能性が高い。さらに、Ｓ２０６において、無人航空機１００に搭載された容器から被写体１１０に内容物を吐出して散布紋１３０を形成する。S２０４において、特徴点１１２が少ないと判断された被写体１１０に対して散布紋１３０を形成することにより、画像重畳処理がしやすい対象にすることができる。例えば、被写体１１０に対して一定の面積ごとに散布紋１３０を形成したり、予め設定した所望の被写体１１０に対して本例の処理をすることにより、所望の被写体１１０を画像重畳処理のし易い対象にする自動化処理を実装できる。
Ｓ２０８およびＳ２１０において、画像重畳処理が実行される。Ｓ２０８において、散布紋１３０を含む被写体１１０の領域１２０に関する複数の画像を撮像する。Ｓ２１０において、散布紋１３０を画像重畳処理用の基準点として、複数の画像の画像データを処理する。画像データ処理後に処理が終了する。
一方、被写体１１０の表面形状１１９が第１の閾値より深い凹凸を有する場合、Ｓ２１２において、表面形状１１９が平滑面ではないと判断する。表面形状１１９が平滑面ではないと判断された場合には処理は終了する。
図１０Ｃは、画像データ処理方法３００のフロー図の更なる別例である。本例の画像データ処理方法３００は、ステップＳ３００からＳ３１２を備える。
Ｓ３００において、被写体１１０の表面形状１１９を撮像する。Ｓ３０２において、被写体１１０の表面形状１１９が予め定められた第２の閾値より深い傷または凹凸を有するか否かを判断する。被写体１１０の表面形状１１９が第２の閾値より深い傷または凹凸を有しない場合、Ｓ３０４において、被写体１１０の表面形状１１９には傷１１６等があるものと判断する。即ち、Ｓ３００からＳ３０４の処理は、被写体１１０の表面形状１１９において欠陥等の有無を診断するための構造物の欠陥診断処理として使用できる。表面形状１１９に傷１１６等があるものと判断された場合、Ｓ３０６において、被写体１１０の傷１１６等の周囲に内容物を吐出し、散布紋１３０を形成する。散布紋１３０は、画像重畳処理のための基準点として使用できると共に、発見した傷１１６等を再度発見し易くするための目印として使用できる。
Ｓ３０８において、散布紋１３０を含む被写体１１０の領域１２０に関する複数の画像を第１の距離Ｄ１および第１の距離Ｄ１より遠い第２の距離Ｄ２で撮像する。Ｓ３０８では、傷１１６および散布紋１３０の画像を近接画像および広角画像で撮像し、被写体１１０上の傷１１６等の欠陥を精密に撮像できる。Ｓ３１０において、散布紋１３０を画像重畳処理用の基準点として、複数の画像の画像データを処理する。画像データ処理後に処理が終了する。
一方、被写体１１０の表面形状１１９が第２の閾値より深い傷または凹凸を有しない場合、Ｓ３１２において、表面形状１１９は傷または凹凸を有しないと判断する。表面形状１１９が傷または凹凸を有しないと判断された場合には処理は終了する。本例の処理をプログラムにより自動的に行うことで自動化された被写体１１０の欠陥診断方法が実装できる。
図１１は、画像データ処理方法３００を実装すべく機能するコンピュータ１０００のハードウェア構成の一例を示す。また、複数のコンピュータが協働して画像データ処理方法３００を実装すべく機能してもよい。
実施例に係るコンピュータ１０００は、ホスト・コントローラ１０１０により相互に接続されるＣＰＵ１０１２、ＲＡＭ１０１４、グラフィック・コントローラ１０１６、およびディスプレイデバイス１０１８を有するＣＰＵ周辺部と、入出力コントローラ１０２０によりホスト・コントローラ１０１０に接続される通信インターフェイス１０２２、ハードディスクドライブ１０２４、およびＤＶＤドライブ１０２６を有する入出力部と、入出力コントローラ１０２０に接続されるＲＯＭ１０３０、入出力チップ１０４０、および入出力チップに接続されたキーボード１０４２を有するレガシー入出力部と、を備える。
ホスト・コントローラ１０１０は、ＲＡＭ１０１４と、高い転送レートでＲＡＭ１０１４をアクセスするＣＰＵ１０１２およびグラフィック・コントローラ１０１６とを接続する。ＣＰＵ１０１２は、ＲＯＭ１０３０およびＲＡＭ１０１４に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１０１６は、ＣＰＵ１０１２等がＲＡＭ１０１４内に設けたフレーム・バッファ上に生成する画像データを取得し、ディスプレイデバイス１０１８上に表示させる。これに代えて、グラフィック・コントローラ１０１６は、ＣＰＵ１０１２等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ１０２０は、ホスト・コントローラ１０１０と、比較的高速な入出力装置である通信インターフェイス１０２２、ハードディスクドライブ１０２４、ＤＶＤドライブ１０２６を接続する。通信インターフェイス１０２２は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１０２４は、コンピュータ１０００内のＣＰＵ１０１２が使用するプログラムおよびデータを格納する。ＤＶＤドライブ１０２６は、ＤＶＤ－ＲＯＭ１００１からプログラムまたはデータを読み取り、ＲＡＭ１０１４を介してハードディスクドライブ１０２４に提供する。
また、入出力コントローラ１０２０には、ＲＯＭ１０３０と、および入出力チップ１０４０の比較的低速な入出力装置とが接続される。キーボード１０４２は、入出力装置の一例である。ＲＯＭ１０３０は、コンピュータ１０００が起動時に実行するブート・プログラム、および／または、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。入出力チップ１０４０は、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ１０２０へと接続する。
ＲＡＭ１０１４を介してハードディスクドライブ１０２４に提供されるプログラムは、ＤＶＤ－ＲＯＭ１００１、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１０１４を介してコンピュータ１０００内のハードディスクドライブ１０２４にインストールされ、ＣＰＵ１０１２において実行される。プログラムは、コンピュータ１０００にインストールされ、コンピュータ１０００に、画像データ処理方法３００を実装するための各構成、例えば画像データ処理システム２００の各構成として機能させる。
プログラムに記述された情報処理は、コンピュータ１０００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像データ処理システム２００の少なくとも一部として機能する。そして、この具体的手段によって、本実施形態におけるコンピュータ１０００の使用目的に応じた情報の演算または加工を実現することにより、使用目的に応じた特有の画像データ処理システム２００が構築される。
一例として、コンピュータ１０００と外部の装置等との間で通信を行う場合には、ＣＰＵ１０１２は、ＲＡＭ１０１４上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス１０２２に対して通信処理を指示する。通信インターフェイス１０２２は、ＣＰＵ１０１２の制御を受けて、ＲＡＭ１０１４、ハードディスクドライブ１０２４、またはＤＶＤ－ＲＯＭ１００１等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。コンピュータ１０００は、無人航空機１００に実装されてよく、あるいは、ネットワークを介して無人航空機１００と通信してよい。このように、通信インターフェイス１０２２は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ１０１２が転送元の記憶装置または通信インターフェイス１０２２からデータを読み出し、転送先の通信インターフェイス１０２２または記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、ＣＰＵ１０１２は、ハードディスクドライブ１０２４、ＤＶＤドライブ１０２６（ＤＶＤ－ＲＯＭ１００１）、等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ１０１４へと読み込ませ、ＲＡＭ１０１４上のデータに対して各種の処理を行う。そして、ＣＰＵ１０１２は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ１０１４は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ１０１４および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ１０１２は、ＲＡＭ１０１４の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ１０１４の機能の一部を担うので、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ１０１４、メモリ、および／または記憶装置に含まれるものとする。
また、ＣＰＵ１０１２は、ＲＡＭ１０１４から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ１０１４へと書き戻す。例えば、ＣＰＵ１０１２は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（または不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、ＣＰＵ１０１２は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ１０１２は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。
以上に示したプログラムまたはモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、ＤＶＤ－ＲＯＭ１００１の他に、Ｂｌｕ－ｒａｙ（登録商標）、またはＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、フレキシブルディスク、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークまたはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１０００に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
１０・・・本体部、１２・・・照明、１５・・・脚部、２０・・・推進部、２１・・・回転翼、２２・・・回転駆動部、２４・・・腕部、３０・・・カメラ、３２・・・可視光カメラ、３４・・・赤外線カメラ、３６・・・連結部、４０・・・容器保持部、４１・・・本体、４３・・・第１端カバー部、４４・・・第２端カバー部、４５・・・ネジ部、５０・・・吐出部、５１・・・吐出口、５４・・・ノズル、６０・・・容器、７０・・・温度調整装置、７１・・・温度センサ、７２・・・パイプ、７３・・・ポンプ、７４・・・リザーバ、７５・・・ペルチェ素子、７６・・・ヒートシンク、７７・・・ファン、８０・・・吐出駆動部、８１・・・カム、８２・・・カムフォロワ、８３・・・可動板、９０・・・連結性評価部、９５・・・画像重畳処理部、１００・・・無人航空機、１１０・・・被写体、１１１・・・特徴、１１２・・・特徴点、１１４・・・金具、１１６・・・傷、１１８・・・境界部分、１１９・・・表面形状、１２０・・・領域、１３０・・・散布紋、１４３・・・アクチュエータ、１４５・・・ステム、１５０・・・変温部、２００・・・画像データ処理システム、３００・・・画像データ処理方法、５００・・・吐出装置、１０００・・・コンピュータ、１００１・・・ＤＶＤ－ＲＯＭ、１０１０・・・ホスト・コントローラ、１０１２・・・ＣＰＵ、１０１４・・・ＲＡＭ、１０１６・・・グラフィック・コントローラ、１０１８・・・ディスプレイデバイス、１０２０・・・入出力コントローラ、１０２２・・・通信インターフェイス、１０２４・・・ハードディスクドライブ、１０２６・・・ＤＶＤドライブ、１０３０・・・ＲＯＭ、１０４０・・・入出力チップ、１０４２・・・キーボード

Claims (18)

  1. 被写体に容器内の内容物を吐出して、散布紋を形成する吐出部と、
    前記被写体の前記散布紋を含む領域の画像を撮像するカメラと、
    前記散布紋を基準点として前記画像の画像重畳処理を行う画像重畳処理部と
    を備え、
    前記カメラは、可視光画像用の可視光カメラと、前記被写体の熱画像を撮像する赤外線カメラとを有し、
    前記吐出部は、前記内容物により前記被写体の表面に前記被写体の他の部分と異なる温度を有する変温部を形成し、
    前記赤外線カメラは、前記変温部を含む領域の前記熱画像を撮像し、
    前記画像重畳処理部は、前記熱画像および前記可視光画像の画像重畳処理において、前記変温部および前記散布紋を前記画像重畳処理における基準点として用いる、
    画像データ処理システム。
  2. 前記内容物は気化性の成分を有し、前記被写体に吐出された前記内容物が気化する際の気化熱によって前記変温部が形成される
    請求項１に記載の画像データ処理システム。
  3. 画像重畳処理における前記画像の重畳部分の連続性に基づいて、前記画像重畳処理の困難性を評価する連結性評価部をさらに備え、
    前記連結性評価部により、前記被写体を撮像した画像の前記画像重畳処理が困難であると評価された場合に、前記吐出部は前記散布紋を形成する、
    請求項１または２に記載の画像データ処理システム。
  4. 前記連結性評価部は、前記カメラが撮像する画像内の特徴点抽出処理を行い、得られた特徴点の数量に基づいて前記画像重畳処理の困難性を評価する、
    請求項３に記載の画像データ処理システム。
  5. 前記連結性評価部は、周期的な繰り返しパターンの有無を検知し、検知結果に基づいて困難性を評価する、
    請求項３または４に記載の画像データ処理システム。
  6. 前記連結性評価部は、前記画像の前記画像重畳処理を試行し、試行結果に基づいて困難性を評価する、
    請求項３から５のいずれか一項に記載の画像データ処理システム。
  7. 前記画像重畳処理は複数の画像の連結処理を含む、
    請求項３から６のいずれか一項に記載の画像データ処理システム。
  8. 前記画像重畳処理は複数の画像の合成処理を含む、
    請求項１から７のいずれか一項に記載の画像データ処理システム。
  9. 暗所撮影用の照明をさらに備える、
    請求項１から８のいずれか一項に記載の画像データ処理システム。
  10. 前記内容物を前記被写体の表面温度と異なる温度に調整する温度調整装置をさらに備える、
    請求項１から９のいずれか一項に記載の画像データ処理システム。
  11. 前記内容物は有色である、
    請求項１から１０のいずれか一項に記載の画像データ処理システム。
  12. 前記容器はエアゾール容器である、
    請求項１から請求項１１のいずれか一項に記載の画像データ処理システム。
  13. 請求項１から請求項１２のいずれか一項に記載の画像データ処理システムを搭載する、
    無人航空機。
  14. 無人航空機に搭載された容器から被写体に内容物を吐出して散布紋を形成する段階と、
    前記内容物により前記被写体の表面に前記被写体の他の部分と異なる温度を有する変温部を形成する段階と、
    可視光カメラによって前記散布紋を含む領域の可視光画像を撮像する段階と、
    赤外線カメラによって前記変温部を含む領域の熱画像を撮像する段階と、
    前記変温部および前記散布紋を基準点として、前記熱画像および前記可視光画像の画像重畳処理を行う段階と、
    を備える、
    画像データ処理方法。
  15. 前記被写体の表面形状を撮像する段階と、
    撮像された前記表面形状に基づいて、前記被写体に前記内容物を吐出するか否かを判断する段階と、を備える、
    請求項１４に記載の画像データ処理方法。
  16. 前記被写体に前記内容物を吐出するか否かを前記判断する段階は、
    前記表面形状が予め定められた第１の閾値より深い凹凸を有しない場合に前記表面形状が平滑面であると判断し、前記内容物を吐出することを判断する段階を有する、
    請求項１５に記載の画像データ処理方法。
  17. 前記被写体に前記内容物を吐出するか否かを前記判断する段階は、
    前記表面形状が予め定められた第２の閾値より深い傷または凹凸を有する場合に、前記被写体に前記内容物を吐出することを判断する段階を有し、
    前記可視光画像を撮像する段階は、前記被写体を予め定められた第１の距離で撮像する段階と、前記被写体を前記第１の距離より遠い第２の距離で撮像する段階とを有する、
    請求項１５または１６に記載の画像データ処理方法。
  18. 請求項１４から１７のいずれか一項に記載の画像データ処理方法をコンピュータに実行させるためのプログラム。
JP2019135194A 2019-07-23 2019-07-23 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム Active JP7314680B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019135194A JP7314680B2 (ja) 2019-07-23 2019-07-23 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
US17/627,814 US20220253973A1 (en) 2019-07-23 2020-07-21 Image data processing system, unmanned aerial vehicle, image data processing method, and non-transitory computer-readable recording medium
CN202080016225.XA CN113474788B (zh) 2019-07-23 2020-07-21 影像数据处理系统、无人飞机、影像数据处理方法及非暂存计算机可读取记忆媒体
PCT/JP2020/028344 WO2021015215A1 (ja) 2019-07-23 2020-07-21 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
TW109124951A TW202121330A (zh) 2019-07-23 2020-07-23 影像資料處理系統、無人飛機、影像資料處理方法及非暫存電腦可讀取記憶媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019135194A JP7314680B2 (ja) 2019-07-23 2019-07-23 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021018705A JP2021018705A (ja) 2021-02-15
JP7314680B2 true JP7314680B2 (ja) 2023-07-26

Family

ID=74193165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019135194A Active JP7314680B2 (ja) 2019-07-23 2019-07-23 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20220253973A1 (ja)
JP (1) JP7314680B2 (ja)
CN (1) CN113474788B (ja)
TW (1) TW202121330A (ja)
WO (1) WO2021015215A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7167341B2 (ja) * 2019-06-27 2022-11-08 株式会社Ｎｔｔドコモ 情報処理装置
US11869363B1 (en) * 2019-09-17 2024-01-09 Travis Kunkel System and method for autonomous vehicle and method for swapping autonomous vehicle during operation
US20220097842A1 (en) * 2020-09-28 2022-03-31 Travis Kunkel Rugged unmanned airborne vehicle
CN117795324A (zh) * 2021-08-24 2024-03-29 富士胶片株式会社 图像分析装置、方法及程序
TWI806430B (zh) * 2022-02-16 2023-06-21 財團法人工業技術研究院 瑕疵檢測方法與瑕疵檢測裝置
KR102515011B1 (ko) * 2022-11-15 2023-03-29 주식회사 디비엔텍 영상 내 개인정보 비식별화 성능 고도화 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164363A (ja) 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
WO2018096577A1 (ja) 2016-11-22 2018-05-31 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01191212A (ja) * 1988-01-26 1989-08-01 Honda Motor Co Ltd 流体の温度調整装置
CH684467A5 (de) * 1991-12-16 1994-09-30 Elpatronic Ag Verfahren zur Ueberwachung der Schweissqualität beim Quetschnahtschweissen.
JP3231107B2 (ja) * 1992-12-14 2001-11-19 本田技研工業株式会社 流体の温度調整装置および温度調整方法
AUPN903296A0 (en) * 1996-03-29 1996-04-26 Commonwealth Scientific And Industrial Research Organisation An aircraft detection system
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
WO2016098146A1 (ja) * 2014-12-19 2016-06-23 株式会社 スカイロボット 構造体非破壊検査システム
CN105957124B (zh) * 2016-04-20 2018-10-30 长沙理工大学 具有重复场景元素的自然图像颜色编辑方法及装置
KR101785202B1 (ko) * 2016-04-29 2017-10-13 한국과학기술원 열상 센서와 rgb-d 센서 융합을 위한 자동 캘리브레이션 시스템과 그 방법
JP2019118043A (ja) * 2017-12-27 2019-07-18 キヤノン株式会社 撮像装置、画像処理装置、制御方法およびプログラム
CN108197563B (zh) * 2017-12-29 2022-03-11 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164363A (ja) 2013-02-22 2014-09-08 Hitachi Ltd マルチカメラ撮影装置およびマルチカメラ撮影方法
WO2018096577A1 (ja) 2016-11-22 2018-05-31 株式会社Ｆｕｊｉ 画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
CN113474788A (zh) 2021-10-01
WO2021015215A1 (ja) 2021-01-28
JP2021018705A (ja) 2021-02-15
US20220253973A1 (en) 2022-08-11
CN113474788B (zh) 2024-02-13
TW202121330A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
JP7314680B2 (ja) 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
US11914370B2 (en) System and method for providing easy-to-use release and auto-positioning for drone applications
US20230343087A1 (en) Automatic terrain evaluation of landing surfaces, and associated systems and methods
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
CA2253955A1 (fr) Procede et dispositif de guidage d'une perche de ravitaillement en vol
CN110383812A (zh) 控制装置、系统、控制方法以及程序
WO2020011230A1 (zh) 控制装置、移动体、控制方法以及程序
US20220234545A1 (en) Rotating blade mechanism for cleaning cylindrical sensors
WO2019206076A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序
JP2019216343A (ja) 決定装置、移動体、決定方法、及びプログラム
CN109417609B (zh) 用于组合和编辑uav操作数据和视频数据的方法和系统
JP2021085893A (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP6790318B2 (ja) 無人航空機、制御方法、及びプログラム
JP6972456B1 (ja) 測距センサ、撮像装置、制御方法、及びプログラム
US11265456B2 (en) Control device, photographing device, mobile object, control method, and program for image acquisition
JP7003358B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
WO2020011198A1 (zh) 控制装置、移动体、控制方法以及程序
WO2021152952A1 (ja) 無人航空機の動作制限方法
WO2019080805A1 (zh) 控制装置、摄像装置、飞行体、控制方法以及程序
JP6896963B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
US11275383B2 (en) Control device, lens device, imaging device, imaging system, movable object control method, and program
WO2021031840A1 (zh) 装置、摄像装置、移动体、方法以及程序
JP6888215B2 (ja) 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム
WO2022011533A1 (zh) 一种运动控制方法、控制设备、可移动平台及存储介质
US20210218879A1 (en) Control device, imaging apparatus, mobile object, control method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150