JP7008736B2 - 画像キャプチャ方法および画像キャプチャ装置 - Google Patents

画像キャプチャ方法および画像キャプチャ装置 Download PDF

Info

Publication number
JP7008736B2
JP7008736B2 JP2020038019A JP2020038019A JP7008736B2 JP 7008736 B2 JP7008736 B2 JP 7008736B2 JP 2020038019 A JP2020038019 A JP 2020038019A JP 2020038019 A JP2020038019 A JP 2020038019A JP 7008736 B2 JP7008736 B2 JP 7008736B2
Authority
JP
Japan
Prior art keywords
image
image capture
capture device
time point
temporary storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038019A
Other languages
English (en)
Other versions
JP2021096805A (ja
Inventor
慧冰 郭
國睿 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2021096805A publication Critical patent/JP2021096805A/ja
Application granted granted Critical
Publication of JP7008736B2 publication Critical patent/JP7008736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、画像処理方法および画像処理装置に関し、特に、画像キャプチャ方法および画像キャプチャ装置に関する。
今日では、飛行体に搭載された画像キャプチャ装置を用いて対象物の画像をキャプチャする技術および応用分が注目されている。無人航空機（ＵＡＶ）は、空中にとどまってより適切な視野角からターゲットの画像をキャプチャすることができる。この画像キャプチャ方法に基づいて、画像伝送技術を統合して、遠隔操作撮影の手段による遠隔検査（橋梁断面、貯水池、および／または他の大きな構造物など）を開発することができる。ただし、制御端末とＵＡＶの間の信号伝送には時間遅延があり、この時間遅延の間、ＵＡＶの姿勢は風や機械的振動などの環境要因の影響を受けやすく、画像の移動を生じる。その結果、正確なズームおよびフォーカス画像を取得することが困難になり得る。
本開示は、対象物の画像をキャプチャすることができる画像キャプチャ方法および画像キャプチャ装置を提供する。
本開示の画像キャプチャ方法は、以下のステップを含む。検査領域の検査領域画像を第１の時点で第１の画像キャプチャデバイスによってキャプチャする。制御信号を前記第１の時点の後の第２の時点で受信する。前記制御信号は、前記検査領域画像内の局所領域に対応する。処理部を使用して、前記第１の時点における前記第１の画像キャプチャデバイスと前記第２の時点における前記第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも一つを計算する。前記処理部を使って、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも一つに従って前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換する。駆動部を使って、前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるように駆動する。前記第２の画像キャプチャデバイスを使って前記局所領域に対応する局所領域画像をキャプチャする。
本開示の一実施形態では、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスは飛行体に搭載され、前記相対並進関係および相対回転関係の少なくとも１つを計算するステップは、前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも１つを計算するステップを含む。
本開示の一実施形態において、前記第１の画像キャプチャデバイスは前記飛行体の本体に搭載され、前記第２の画像キャプチャデバイスは前記飛行体の自己安定化装置に搭載される。前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するステップはさらに、前記相対並進関係及び前記相対回転関係の少なくとも１つを前記補償回転量に基づいて計算するステップを含む。
本開示の一実施形態において、前記第１の３次元座標値を計算するステップは、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を、推定距離値として推定するステップを含む。第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値は、前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて計算される。
本開示の一実施形態において、前記画像キャプチャ方法は画像特徴照合ステップをさらに含み、前記画像特徴照合ステップは、前記第１の時点における前記検査領域画像を第１の画像一時記憶部により記憶し、前記第２の時点における前記局所領域画像を第２の画像一時記憶部により記憶するステップと、前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するステップを含む。
本開示の一実施形態において、前記画像キャプチャ方法はさらに補正ステップを含み、前記補正ステップは、前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値より小さいとき、前記処理部が前記推定距離値を補正するステップを含む。前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の座標値とに基づいて前記第１の３次元座標値が補正される。前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値が補正される。前記処理部が、前記補正された第２の３次元座標値に基づいて補正回転量を判定し、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように前記駆動部に命令する。
本開示の一実施形態において、前記画像キャプチャ方法は、さらに、前記局所領域の別の局所領域画像を第３の時点で前記第２の画像キャプチャデバイスによりキャプチャするステップと、前記局所領域画像を前記第１の画像一時記憶部により記憶し、前記別の局所領域画像を前記第２の画像一時記憶部により記憶するステップと、前記処理部によって、別の相対並進関係および別の相対回転関係の少なくとも１つを計算するために前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の第３の時点における前記第２の画像キャプチャデバイスとの間の別の画像一致度を計算するステップと、前記処理部によって、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するステップと、前記処理部によって、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに基づいて別の補正回転量を判定するステップと、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するステップとを含む。
本開示の一実施形態において、前記画像キャプチャ方法はさらに補正ステップを含み、前記補正ステップは、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値以上であるとき、前記処理部によって、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定し、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように前記駆動部に命令するステップを備え、前記局所領域画像内の前記対応する局所領域は前記局所領域内で前記画像一致度が前記閾値以上である領域である。
本開示の一実施形態において、前記第１の３次元座標値を計算するステップは、前記処理部によって、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するステップを含む。
本開示の一実施形態において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む。
本開示の画像キャプチャ装置は、第１の画像キャプチャデバイス、第２の画像キャプチャデバイス、処理部および駆動部を含む。前記第１の画像キャプチャデバイスは、検査領域の検査領域画像を第１の時点でキャプチャするように構成されている。前記処理部は、前記第１の時点における前記第１の画像キャプチャデバイスと第２の時点における前記第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも一つを計算するよう構成され、且つ前記処理部は前記第１の時点の後の第２の時点において制御信号を受信するよう構成されている。前記制御信号は前記検査領域画像内の局所領域に対応する。前記処理部は、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも１つに従って、前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換するよう構成されている。前記駆動部は、前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるように駆動するよう構成され、前記駆動部が前記第２の画像キャプチャデバイスを前記回転量で回転させた後に、前記第２の画像キャプチャデバイスが前記局所領域の局所領域画像をキャプチャするように構成されている。
本開示の一実施形態において、前記画像キャプチャ装置は飛行体を含み、前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスが前記飛行体に搭載される。前記処理部は、前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および相対回転関係の少なくとも１つを計算するよう構成されている。
本開示の一実施形態において、前記飛行体は本体および自己安定化装置を含む。前記第１の画像キャプチャデバイスは前記本体に搭載され、前記第２の画像キャプチャデバイスは前記自己安定化装置に搭載される。前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記処理部は前記補償回転量に基づいて前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するよう構成されている。
本開示の一実施形態において、前記処理部は、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を画像平面座標系に垂直な軸に沿った推定距離値として推定するよう構成され、且つ前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて前記第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値を計算するよう構成されている。
本開示の一実施形態において、前記画像キャプチャ装置は、第１の画像一時記憶部および第２の画像一時記憶部をさらに備え、前記第１の画像一時記憶部が前記第１の時点における前記検査領域画像を記憶するよう構成され、前記第２の画像一時記憶部が前記第２の時点における前記局所領域画像を記憶するよう構成されている。前記処理部が、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するよう構成されている。
本開示の一実施形態において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値より小さいとき、前記処理部は、前記推定距離値を補正するよう構成され、前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の座標値とに基づいて前記第１の３次元座標値を補正するよう構成され、且つ前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値を補正するよう構成されている。さらに、前記処理部は、前記補正された第２の３次元座標値に基づいて補正回転量を判定するよう構成され、前記駆動部が、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように構成されている。
本開示の一実施形態において、前記第２の画像キャプチャデバイスが第３の時点で前記局所領域の別の局所領域画像をキャプチャするよう構成され、前記第１の画像一時記憶部が前記局所領域画像を記憶するよう構成され、前記第２の画像一時記憶部が前記別の局所領域画像を記憶するよう構成され、前記処理部が、前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の第３の時点における前記第２の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも１つを計算するよう構成され、前記処理部が、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するよう構成され、且つ前記処理部が、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに応じて別の補正回転量を判定し、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するように構成されている。
本開示の一実施形態において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が前記閾値以上であるとき、前記処理部が、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定するよう構成され、前記駆動部が、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように構成され、前記局所領域画像内の前記対応する局所領域は前記局所領域内で前記画像一致度が前記閾値以上である領域である。
本開示の一実施形態において、前記処理部が、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するよう構成されている。
本開示の一実施形態において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む。
以上に基づき、本画像キャプチャ方法及び画像キャプチャ装置は、第１の時点における第１の画像キャプチャデバイスに対して第２の時点における第２の画像キャプチャデバイスにより発生される並進量及び回転量をパラメータとして利用し、このパラメータを利用して空間内の検査対象（すなわち局所領域）の３次元座標値を計算し、それによって、第１の時点から第２の時点までの経過時間（たとえば、制御信号の送信に起因する時間遅延）中に生じる並進量および／または回転量により発生する３次元座標値の誤差を補正することができる。このように、風などの環境要因および／または画像キャプチャ装置自体の機械的振動により生じる予測不能の並進量および／または回転量を補正することができるため、画像キャプチャ装置の位置を正確に維持することができる。
本開示の一実施形態による画像キャプチャシステムの概略ブロック図である。 図１の画像キャプチャ装置の概略側面図である。 本開示の一実施形態による画像キャプチャ方法のフローチャートである。 本開示の一実施形態による別の画像キャプチャ方法のフローチャートである。 図２の画像キャプチャ装置は第１の時点から第２の時点へ並進および／または回転を生じることを示す。 図１のオペレーティング装置の画像平面に表示される画像を示す。 図５の検査領域画像における平面座標と３次元空間との関係を示す。 本開示の一実施形態による画像キャプチャ方法のフローチャートである。 図１の画像キャプチャ装置のいくつかのコンポーネントの概略ブロック図である。
図１は、本開示の一実施形態による画像キャプチャシステムの概略ブロック図である。図２は、図１の画像キャプチャ装置の概略側面図である。図１及び図２を参照すると、この実施形態における画像キャプチャシステム１００は、オペレーティング装置１１０および画像キャプチャ装置１２０を含む。一実施形態において、画像キャプチャ装置１２０は、無人航空機（ＵＡＶ）などの無人乗り物、自律車両などの無人車両、ロボット、または機械装置である。別の実施形態では、画像キャプチャ装置１２０は、取り外し可能または取り外し不可能なデバイスである。一実施形態では、オペレーティング装置１１０は、例えば、コンピュータ、サーバー、またはリモートコントロールデバイスなどのリモートデバイスで実装される。オペレーティング装置１１０は、画像キャプチャ装置１２０によってキャプチャされた画像および／または画像内の局所領域を表示し得るスクリーンを含むことができる。一実施形態では、リモートデバイスは、画像キャプチャ装置１２０を遠隔制御するように構成することもできる。一実施形態では、画像キャプチャ装置１２０とリモートデバイスは異なる位置または場所に位置するが、本開示はこれに限定されない。別の実施形態では、画像キャプチャ装置１２０およびリモートデバイスは、同じ位置または場所に設置してもよい。画像キャプチャ装置１２０は、主剛体１２１、第１の画像キャプチャデバイス１２２、第２の画像キャプチャデバイス１２３、処理部１２４、駆動部１２５、慣性検出装置１２６を含む。
第１の画像キャプチャデバイス１２２は、例えば、広角カメラであり、検査対象領域の広角画像をキャプチャするために主剛体１２１に取り付けられる。この広角画像は、主剛体１２１上に配置された処理部１２４を介して画像信号ＩＳと共にオペレーティング装置１１０に送信される。一実施形態では、主剛体１２１は、容易に変形されないまたは変形しない主剛体である。一実施形態では、画像信号ＩＳは、無線通信を介してオペレーティング装置１１０に送信される。一実施形態において、ユーザは、オペレーティング装置１１０により表示される広角画像から、検査対象を選択する（または、オペレーティング装置１１０が設定または画像検出に従って検査対象を選択する）ことができ、それに応じてオペレーティング装置１１０は検査対象に関連する命令を発生する。その命令は制御信号ＣＳの形で処理部１２４に送信される。一実施形態では、制御信号ＣＳは、無線通信を介して処理部１２４に送信される。処理部１２４は、命令に従って、第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３の並進量および／または回転量に関する計算を実行し、その後第２の画像キャプチャデバイス１２３を検査対象に正しく対面するように回転させる。この命令は、広角画像の時点に対応するタイムスタンプ、および／または検査対象（すなわち、後述する局所領域Ａ）の画像特徴、座標、および／または距離を含む。処理部１２４は、信号送信、計算、情報記憶などの機能を有する回路および電気部品を含むことができる。一実施形態では、処理部１２４は、プロセッサ、無線トランシーバ、および／または制御回路を含む。本開示は、処理部１２４の構成および形態を何ら限定するものでない。
第２の画像キャプチャデバイス１２３は、例えばテレスコープカメラであり、駆動部１２５に搭載され、制御信号ＣＳの命令に基づいて、処理部１２４の計算結果に応じて、対応する検査領域に向いて検査領域内の検査対象のスポット画像をキャプチャするように構成される。一実施形態では、慣性検出装置１２６は、例えば空中停滞中に風、機械的振動、またはその他の要因により発生されるＵＡＶの主剛体１２１の並進量および／または回転量を検出するように構成される。駆動部１２５は、例えば、主剛体１２１に結合された自己安定化装置であり、主剛体１２１の並進量および／または回転量に応じて補正並進量および／または補償回転量を発生するように構成されるため、第２の画像キャプチャデバイス１２３は進行方向に向き続けることができる。一実施形態では、慣性検出装置１２６および／または駆動部１２５は、１つの装置として統合することができる。一実施形態では、慣性検出装置１２６および／または駆動部１２５は、例えば、自己安定化ジンバルである。一実施形態では、慣性検出装置１２６は、主剛体１２１上に配置し、配線および／または回路を介して処理部１２４に結合してもよい。
以下は、図１の画像キャプチャシステム１００内の画像キャプチャ装置１２０を、本開示の一実施形態よる画像キャプチャ方法を説明するための一例として取り上げる。図３Ａは本開示の一実施形態による画像キャプチャ方法のフローチャートである。この画像キャプチャ方法は、図１に示す画像キャプチャ装置１２０により実行することができる。図３Ａを参照されたい。最初に、第１の時点で、画像キャプチャ装置１２０が、検査領域の検査領域画像Ｉ１を第１の画像キャプチャデバイス１２２によりキャプチャする（ステップＳ１）。第１の時点の後の第２の時点で、制御信号ＣＳが処理部１２４によって受信される（ステップＳ２）。処理部１２４が、第１の時点での第１の画像キャプチャデバイス１２２と第２の時点での第２の画像キャプチャデバイス１２３との間の相対並進関係および／または相対回転関係を計算する（ステップＳ３）。処理部１２４が、検査領域画像Ｉ１内の画像平面座標系ＴＣにおける局所領域Ａの座標値（ｕ、ｖ）に従って、第１の画像キャプチャデバイス１２２に対する局所領域Ａの第１の３次元座標値を計算する（ステップＳ４）。処理部１２４が、相対並進関係および／または相対回転関係に従って、第１の３次元座標値を第２の画像キャプチャデバイス１２３に対する第２の３次元座標値に変換する（ステップＳ５）。駆動部１２５が、局所領域Ａが第２の画像キャプチャデバイス１２３の視野に入るように、第２の画像キャプチャデバイス１２３を第２の３次元座標に応じた回転量で回転駆動する（ステップＳ６）。第２の画像キャプチャデバイス１２３が局所領域Ａの局所領域画像Ｉ２をキャプチャする（ステップＳ７）。
詳細には、ステップＳ１において、処理部１２４は、第１の画像キャプチャデバイス１２２によりキャプチャされた検査領域画像Ｉ１と、検査領域画像Ｉ１の第１時点に対応するタイムスタンプをオペレーティング装置１１０に送信する。一実施形態では、画像キャプチャ装置１２０が検査領域画像をキャプチャした後（または各検査領域画像がキャプチャされた後、または同じ時間間隔ごとに）、対応するタイムスタンプ、慣性検出装置１２６によって検出された並進量および／または回転量、駆動部１２５の補正並進量および／または補償回転量、および／または画像キャプチャ装置１２０の位置および／または方向が、画像キャプチャ装置１２０の記憶装置（図示せず）に記憶される。記憶装置は、例えば、不揮発性メモリ（ハードディスクドライブやソリッドステートドライブなど）または揮発性メモリ（ランダムアクセスメモリやレジスタなど）である。
ステップＳ２において、オペレーティング装置１１０は画像信号ＩＳに対応する制御信号ＣＳを返送し、画像キャプチャ装置１２０の処理部１２４が制御信号ＣＳを受信する。制御信号ＣＳは、検査領域画像Ｉ１内の検査対象局所領域Ａの信号に対応する。一実施形態では、制御信号ＣＳは、検査領域画像Ｉ１においてユーザが選択した検査対象局所領域Ａに応じてオペレーティング装置１１０により生成される対応信号である。制御信号ＣＳは、局所領域Ａの画像の特徴、座標および／または距離、ならびに第１の時点に対応するタイムスタンプを含む。処理部１２４は、制御信号ＣＳの情報に基づいて、第１の時点に対応する検査領域画像Ｉ１の撮影時点とともに、局所領域Ａの画像特徴、座標、および／または距離を取得することができる。一実施形態では、検査領域画像Ｉ１は、第１の時点でキャプチャされ、オペレーティング装置１１０への送信の時間遅延および局所領域の選択にかかる時間の後に、制御信号ＣＳが画像キャプチャ装置１２０に送信される。その後、画像キャプチャ装置１２０は、第２の時点で制御信号ＣＳを受信する。
ステップＳ３において、処理部１２４は、制御信号ＣＳの第１の時点に対応するタイムスタンプに従って第１の時点を判定し、さらに第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３の間の並進量および／または回転量を判定する。図４を参照されたい。図４は、画像キャプチャ装置１２０（図２）が第１の時点から第２の時点への間に並進および／または回転を生じることを示し、ここで破線は第１の時点に対応し、実線は第２の時点に対応し、第２の時点は第１の時点よりも後である。第１の時点から第２の時点までの間に、画像キャプチャ装置１２０は、風、機械的振動、および／または他の要因による並進量および／または回転量が存在し得る。駆動部１２５は、図４に示されるように、それに応じて第２の画像キャプチャデバイス１２３を並進および／または回転駆動してその並進量および／または回転量を補正することができる。別の実施形態では、画像キャプチャ装置１２０は、別の位置への飛行による並進量および／または回転量を生じさせることもできる。したがって、第２の時点での第２の画像キャプチャデバイス１２３は、第１の時点での第１の画像キャプチャデバイス１２２に対する並進量および／または回転量を有し、処理部１２４を使用して慣性検出装置１２６の検出に応じた並進量および／または回転量を計算することができる。
図５を参照されたい。図５は、図１のオペレーティング装置１１０のスクリーンに表示される画像を示す。本実施形態では、オペレーティング装置１１０のスクリーンには、検査領域画像Ｉ１、局所領域Ａ、局所領域画像Ｉ２が表示される。ユーザは、第１の時点で第１の画像キャプチャデバイス１２２によってキャプチャされた検査領域画像Ｉ１に従って、検査対象局所領域Ａを選択して、対応する制御信号ＣＳを発生する。画像キャプチャ装置１２０は、第２の時点で制御信号ＣＳを受信し、その後第２の画像キャプチャデバイス１２３により第２の時点で検査対象局所領域Ａの画像特徴を含む画像をキャプチャする。第１の時点から第２の時点まで、画像キャプチャ装置１２０は並進量および／または回転量を生成する。加えて、ユーザが第１の画像キャプチャデバイス１２２によってキャプチャされた画像に基づいて第２の画像キャプチャデバイス１２３により画像をキャプチャするため、第１の時点での第１の画像キャプチャデバイス１２２と第２の時点での第２の画像キャプチャデバイス１２３との間には相対並進関係Ｔおよび相対回転関係Ｒがある。一実施形態では、相対並進関係Ｔは相対位置Ｔｓおよび動的並進Ｔｄを含み、相対回転関係Ｒは相対角度Ｒｓおよび動的相対角度Ｒｄを含む。相対位置Ｔｓおよび相対角度Ｒｓは、第１の画像キャプチャデバイス１２２と第２の画像キャプチャデバイス１２３との間の静的な相対関係であり、その相対関係は、例えば、主剛体１２１が水平状態にあり、第２の画像キャプチャデバイス１２３が中心状態にあるとき、第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３が同じキャリブレーションパターンを使ってそれらのパターンの比較を計算することによって得ることができる。言い換えれば、相対並進Ｔｓおよび相対回転Ｒｓは、回転なしの状態での第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３の設置位置の間の静止姿勢差および撮影角度差とすることができる。動的並進Ｔｄおよび動的相対角度Ｒｄは、例えば、第１の時点に対応する画像キャプチャ装置１２０の位置および角度と第２の時点に対応する画像キャプチャ装置１２０の位置および角度の間の相対関係に基づいて得られる画像キャプチャ装置１２０の動的並進量及び動的回転量とすることができる。一実施形態では、動的並進Ｔｄおよび動的相対回転Ｒｄは、第１の時点と第２の時点との間の主剛体１２１の動的姿勢の差および撮影角度の差、例えば風によって生じる画像キャプチャ装置１２０の姿勢の変化または画像キャプチャ装置１２０の傾きなど、とすることができる。一実施形態では、処理部１２４は、主剛体１２１の動的相対角度Ｒｄを判定できるだけでなく、第１の時点から第２の時点までの主剛体１２１の部分軸の若干の回転量を補償するために駆動部１２５によって発生される補償回転量Ｒｃ、例えば、キャプチャされる画像を安定させるために、検出された並進量および／または回転量に応じて自己安定化ジンバルによって自動的に発生される回転を判定することもできる。
一実施形態では、処理部１２４は、第１の時点のタイムスタンプに従って、第１の時点で第１の画像キャプチャデバイス１２２によってキャプチャされた画像を取得することができる。一実施形態では、第１の時点のタイムスタンプに従って、画像キャプチャ装置１２０は、処理部１２４を介して、第１の時点に対応する慣性検出装置１２６によって検出された並進量および／または回転量を、および／または記憶装置から画像キャプチャ装置１２０の位置および／または方向を読み取る。また、画像キャプチャ装置１２０は、第２の時点のタイムスタンプに従って、第２の時点に対応する慣性検出装置１２６により検出された並進量および／または回転量を、および／または記憶装置から画像キャプチャ装置１２０の位置および／または方向を読み取る。これにより、画像キャプチャ装置１２０は、第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３との間の相対並進関係および／または相対回転関係を計算し、蓄積する。例えば、処理部１２４は、積分計算によって、第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３との間の相対並進関係および／または相対回転関係を計算することができる。一実施形態では、第２の時点は画像キャプチャ装置１２０の現在の時刻であり、したがって、慣性検出装置１２６によって現在検出された並進量および／または回転量、および／または画像キャプチャ装置１２０の位置および／または方向を採用することができる。一実施形態では、第１の時点における第１の画像キャプチャデバイス１２２と第２の時点における第２の画像キャプチャデバイス１２３との間の相対並進関係Ｔおよび相対回転関係Ｒは、次の式（１）および（２）により計算して発生させることができる。
Ｔ＝Ｔｓ＋Ｔｄ・・・・式（１）
Ｒ＝ＲｄＲｓＲｃ・・・式（２）
ステップＳ４において、処理部１２４は、制御信号ＣＳに応じて、第１の画像キャプチャデバイス１２２に対する検査対象局所領域Ａの距離を計算する。一実施形態では、制御信号ＣＳは、検査領域画像Ｉ１においてユーザによって選択された局所領域Ａの座標および／または距離を含む。処理部１２４は、制御信号ＣＳに基づいて第２の時点での第２の画像キャプチャデバイス１２３に対する局所領域Ａの空間座標を判定することができる。
図６は、図５の検査領域画像Ｉ１における平面座標と３次元空間との関係を示す。図６内の位置Ｐ１は、第１の時点における空間内の第１の画像キャプチャデバイス１２２の１点（例えば、中心または幾何学的中心）の位置を表す。位置Ｐ２は、空間内の局所領域Ａの１点（例えば、中心または幾何学的中心）を表す。位置Ｐ３は、第２の時点における空間内の第２の画像キャプチャデバイス１２３の１点（例えば、中心または幾何学的中心）の位置を表す。位置Ｐ２に対応する局所領域Ａの１点の座標は、画像平面座標系ＴＣにおいて位置（ｕ、ｖ）である。一実施形態では、制御信号ＣＳは位置（ｕ、ｖ）を含む。一実施形態では、処理部１２４は、画像平面座標系ＴＣ（すなわち、図６の軸Ｘおよび軸Ｙによって定義される画像平面座標系）に垂直な軸（例えば、光軸ＯＡ）に沿った第１の画像キャプチャデバイス１２２の位置Ｐ１と局所領域Ａの位置Ｐ２との間の距離を推定距離値Ｄとして推定する。第１の時点における第１の画像キャプチャデバイス１２２に対する局所領域Ａの１点（たとえば、位置Ｐ２）の第１の３次元座標値Ｐ”は、推定距離値Ｄおよび位置（ｕ、ｖ）に基づいて次式（３）により算出される。式（３）において、ｘ、ｙおよびｚは、第１の３次元座標値Ｐ”の値を表す。図６において、空間座標は、原点としてＰ１を使用し、座標の中心として光軸を使用する。この実施形態では、画像座標は、画像の左上隅を原点として使用し、ｃｘおよびｃｙは、第１の画像キャプチャデバイス１２２の固有のパラメータであり、それぞれ、第１の画像キャプチャデバイス１２２の水平中心点座標および垂直中心点座標を表す。すなわち、画像平面座標系ＴＣにおける光軸ＯＡの座標値である。ｆｘおよびｆｙは、第１の画像キャプチャデバイス１２２の固有のパラメータであり、それぞれＸ軸およびＹ軸に沿った第１の画像キャプチャデバイス１２２の焦点距離を表し、ｚは画像平面座標系ＴＣに垂直な方向を表す。推定距離値Ｄは、ｚ方向における位置Ｐ２と位置Ｐ１との間の距離である。要するに、ステップＳ４において、処理部１２４は、位置（ｕ，ｖ）に基づいて、第１の時刻における第１の画像キャプチャデバイス１２２に対する局所領域Ａの一点（例えば位置Ｐ２）の第１の３次元座標値Ｐ”を算出する。
Figure 0007008736000001
 ・・・式（３）
ステップＳ５において、例えば、以下の式（４）を用いて、第１の時点での第１の画像キャプチャデバイス１２２に対する第１の３次元座標値Ｐ”を第２の時点での第２の画像キャプチャデバイス１２３に対する第２の３次元座標値Ｐ’に変換する。したがって、駆動部１２５を第２の３次元座標値Ｐ’に従って駆動して、局所領域Ａが第２の画像キャプチャデバイス１２３の視野に入るように、第２の画像キャプチャデバイス１２３を回転させることができ、その後、第２の画像キャプチャデバイス１２３を使って局所領域Ａの局所領域画像をキャプチャすることができる。具体的には、式（４）における相対並進関係Ｔおよび相対回転関係Ｒは、ステップＳ３において式（１）および（２）により算出された、第１の時点の第１の画像キャプチャデバイス１２２と第２の時点の第２の画像キャプチャデバイス１２３との間の並進量および／または回転量である。式（４）から導出される変換により、処理部１２４は、第１の時点における第１の画像キャプチャデバイス１２２に対する局所領域Ａの１点（例えば、位置Ｐ２）の第１の３次元座標値Ｐ”を変換して第２の時点における第２の画像キャプチャデバイス１２３に対する局所領域Ａの１点（例えば位置Ｐ２）の第２の３次元座標値Ｐ’を取得することができる。
Ｐ’＝ＲＰ”＋Ｔ・・・式（４）
ステップＳ６において、処理部１２４は駆動部１２５に、ステップＳ１～Ｓ５から得られた計算結果に応じて回転するよう命令して、局所領域Ａが第２の画像キャプチャデバイス１２３の視野に入るようにする。
ステップＳ７において、第２の画像キャプチャデバイス１２３によって、局所領域Ａの一部または全部を含む局所領域画像Ｉ２をキャプチャする。一実施形態では、局所領域画像Ｉ２は、局所領域Ａの画像の一部（たとえば、局所領域Ａの左半分または下半分の画像、または局所領域Ａの中央領域の画像）、または局所領域Ａの画像全体（たとえば、局所領域Ａの画像と一致する画像、または局所領域Ａおよびその外側を含む画像）を含むことができる。本開示の一実施形態によれば、検査対象の画像を正確にキャプチャすることができる。一実施形態では、局所領域Ａが上述の方法で第２の画像キャプチャデバイス１２３の視野内に導入された後、第２の画像キャプチャデバイス１２３の視野をズームインにより狭めて、局所領域Ａが第２の画像キャプチャデバイス１２３の視野から外れない限り、できるだけ局所領域Ａに焦点を合わせることができる。さらに、第２の３次元座標値Ｐ”をさらに補正するために画像キャプチャの精度に影響を及ぼし得る他の要因を考慮することもできるが、本開示はそれに限定されない。たとえば、画像キャプチャの精度に影響を及ぼす要因には、たとえば、魚眼レンズの使用に起因するレンズの半径方向の歪みと接線方向の歪みがある。
図３Ｂを参照されたい。図３Ｂは、本開示の一実施形態による別の画像キャプチャ方法のフローチャートである。この画像キャプチャ方法は、図１に示す画像キャプチャシステム１００により実行することができる。図３Ｂは図３Ａに類似する。同じステップとコンポーネントは同じ符号で示されている。図３Ｂに示す画像キャプチャ方法は、画像キャプチャ装置１２０により実行されるステップＳ１～Ｓ７を含むだけでなく、ステップＳ１とＳ２の間にオペレーティング装置１１０により実行されるステップＳ１０１～Ｓ１０３も含む。
ステップＳ１０１において、オペレーティング装置１１０が、画像キャプチャ装置１２０により送信される画像信号ＩＳを受信する。画像信号ＩＳは、第１の時点で第１の画像キャプチャデバイス１２２によりキャプチャされた検査領域画像Ｉ１と、第１の時点に対応するタイムスタンプとを含む。ステップＳ１０２において、オペレーティング装置１１０またはオペレーティング装置１１０のスクリーンを介して、検査領域画像Ｉ１から検査対象領域の局所領域Ａが選択され、対応する制御信号ＣＳが生成される。制御信号ＣＳは、選択された局所領域Ａの画像特徴、座標および／または距離、ならびに第１の時点に対応するタイムスタンプを含む。ステップＳ１０３において、オペレーティング装置１１０は制御信号ＣＳを第２の画像キャプチャデバイス１２３に送信する。したがって、後続のステップＳ２～Ｓ７において、画像キャプチャ装置１２０は、オペレーティング装置１１０によって送信された制御信号ＣＳを受信し、対応する後続の処理を実行することができる。
一実施形態では、上記のステップＳ４における推定距離値Ｄは、推定誤差に基づいて計算された不正確な第２の３次元座標値Ｐ’をもたらし得る。一実施形態では、推定距離値Ｄおよび／または第２の３次元座標値Ｐ’が正しいか否かをさらに画像特徴照合ステップにより判定し、推定距離値Ｄおよび／または第２の３次元座標値Ｐ’を補正ステップにより補正することができる
図７は、本開示の一実施形態による画像キャプチャ方法のフローチャートである。一実施形態では、図７は、図３Ａ及び／又は図３ＢのステップＳ７に続くものとしてよい。図８は、図１の画像キャプチャ装置のいくつかのコンポーネントの概略ブロック図である。一実施形態では、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８は１つの記憶装置に構成しても、または独立の記憶装置としてもよい。図７及び図８を参照すると、画像キャプチャ装置１２０の第１の画像一時記憶部１２７は検査領域画像Ｉ１を記憶するために使用され、画像キャプチャ装置１２０の第２の画像一時記憶部１２８は第２の時点での局所領域画像Ｉ２を記憶するために使用される（ステップＳ８）。一実施形態では、第１の画像一時記憶部１２７は、検査領域画像Ｉ１と検査領域画像Ｉ１内の局所領域Ａの座標および／または距離とを記憶する。一実施形態では、第１の画像一時記憶部１２７は局所領域Ａの内容を記憶する。処理部１２４は、第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度が閾値より大きいか否かを判定する（ステップＳ９）。一実施形態では、処理部１２４が、第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度が閾値以上であると判定した場合、推定距離Ｄおよび／または第２の３次元座標値Ｐ’が実際の距離値に近いと判定され、処理部１２４が第１の画像一時記憶部に記憶された画像および第２の画像一時記憶部１２８に記憶された画像の中心からの距離を計算して第２の画像キャプチャデバイス１２３の補正回転量を判定する（ステップＳ１０）。第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度が閾値よりも低い場合、推定距離値Ｄおよび／または第２の３次元座標値Ｐ’が実際の距離値からずれていると判定され、処理部１２４が推定距離値Ｄを補正して、第２の画像キャプチャデバイス１２３の補正回転量を判定する（ステップＳ１１）。
処理部１２４は、第２の画像キャプチャデバイス１２３の補正回転量に応じて、第２の画像キャプチャデバイス１２３を回転および／またはズーム制御する（ステップＳ１２）。処理部１２４は、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新するために使用される（ステップＳ１３）。
一実施形態において、ステップＳ９において、処理部１２４は、第１の画像一時記憶部１２７によって記憶された画像と第２の画像一時記憶部１２８によって記憶された画像に対して画像特徴照合ステップを実行して、２つの画像間の画像一致度が高いか低いかを判定する。一実施形態では、処理部１２４は、２つの画像間の画像一致度が閾値以上であるか、閾値未満であるかを判定することができる。例えば、第１の画像一時記憶部１２７が検査領域画像Ｉ１を記憶し、第２の画像一時記憶部１２８が局所領域画像Ｉ２を記憶する場合、処理部１２４は、検査領域画像Ｉ１の局所領域Ａと局所領域画像Ｉ２との画像一致度が閾値以上であるか否かを判定することができる。
一実施形態において、処理部１２４は、以下の方法により、第１の画像一時記憶部１２７の検査領域画像Ｉ１と第２の画像一時記憶部１２８の局所領域画像Ｉ２との画像一致度を判定する。第２の画像一時記憶部１２８の局所領域画像Ｉ２において、探索窓を使って検査領域画像Ｉ１の局所領域Ａに対応する画像の閾値よりも大きい領域およびその座標（例えば、中心座標）を探索し、探索した座標の局所領域画像Ｉ２の中心からの偏差を判定することによって推定距離値Ｄと実際の値との間の偏差を判定することができる。
ステップＳ１０において、処理部１２４は、第１の画像一時記憶部１２７に記憶された画像と第２の画像一時記憶部１２８に記憶された画像との画像一致度の比較結果に基づいて補正ステップを実行することができる。例えば、第１の画像一時記憶部１２７が検査領域画像Ｉ１を記憶し、第２の画像一時記憶部１２８が局所領域画像Ｉ２を記憶し、処理部１２４が検査領域画像Ｉ１と局所領域画像Ｉ２との画像一致度が閾値以上であると判定するとき、補正回転量が、局所領域画像Ｉ２から探索される対応する局所領域Ａ’（例えば、検査領域画像Ｉ１の局所領域Ａと閾値より大きい画像一致度を有する局所領域画像Ｉ２内の領域）の中心座標と局所領域画像Ｉ２の中心座標との間の距離を判定することによって判定される。一実施形態では、局所領域画像Ｉ２から探索された局所領域Ａ’の中心座標と局所領域画像Ｉ２の中心座標との間の距離が判定された後に、補正回転量を判定するために、第２の画像キャプチャデバイス１２３の固有パラメータ（事前に設定または較正される）を使用することができる。代わりに、別の実施形態では、処理部１２４は、検査領域画像Ｉ１の画像特徴部の位置および局所領域画像Ｉ２の画像面積の割合を判定することにより、補正回転量を判定してよい。
ステップＳ１１において、処理部１２４は、画像一致度の特徴監視結果に従って補正ステップを実行することができる。例えば、第１の画像一時記憶部１２７が検査領域画像Ｉ１を記憶し、第２の画像一時記憶部１２８が局所領域画像Ｉ２を記憶し、処理部１２４が検査領域画像Ｉ１と局所領域画像Ｉ２との画像一致度が閾値よりも低いと判定すると、処理部１２４が推定距離値Ｄを補正する。第１の３次元座標値Ｐ”が補正された推定距離値および座標値に従って補正され、第２の３次元座標値Ｐ’が第１の３次元座標値Ｐ”に従って補正され、処理部１２４が補正された第２の３次元座標値Ｐ’に従って補正回転量を判定し、補正回転量に応じた回転を駆動部１２６に命令する。処理部１２４を介した推定距離値の補正の詳細に関して、この補正は様々な異なる方法で実施することができるが、本開示はそれらに限定されない。一実施形態では、回転量が補正された後、局所領域画像Ｉ２が再度取得され、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８に記憶された画像間の画像一致度を計算するステップＳ９および後続のステップが、局所領域画像Ｉ２の検索窓内に閾値より大きな画像一致度を有する領域が見つかるまで繰り返される。処理部１２４は、最後に使用した回転量および局所領域画像Ｉ２で見つかった相関領域の中心座標偏差に応じて、第２の時点での第１の画像キャプチャデバイス１２２と第２の画像キャプチャデバイス１２３との間の推定距離および並進量および／または回転量を補正することができる。一実施形態では、処理部１２４は、推定距離値Ｄを補正するために３Ｄ再構成の分野の技術を使用する。例えば、処理部１２４は、推定距離値Ｄおよび推定並進量および／または回転量を修正するために、以下の技術のいずれか１つまたはいくつか、例えば補正ステレオ画像推定テクノロジー、ビデオオドメトリーテクノロジー、ＳｆＭ（Structure from Motion）テクノロジー、拡張カルマンフィルターテクノロジー、視覚的同期ポジショニングおよび視覚的スラムテクノロジーを使用することができる。一実施形態では、処理部１２４は、図３Ａに示すステップＳ４において、複数の異なる推定距離値を使用して複数の第１の３次元座標値Ｐ”を補正し、図３ＡのステップＳ５において、補正された複数の第１の３次元座標値Ｐ”を使用して複数の第２の３次元座標値Ｐ’を補正することにより、複数の推定距離値に対応する複数の第２の３次元座標値Ｐ’を判定することができる。さらに、処理部１２４は、複数の第２の３次元座標値Ｐ’のどの組が比較結果に近いかを検査領域画像Ｉ１と局所領域画像Ｉ２との画像一致度に基づいて判定することによって、第２の画像キャプチャデバイス１２３の補正回転量を判定することができる。一実施形態では、検査領域画像Ｉ１と局所領域画像Ｉ２との間の撮影角度の差が大きすぎて、画像一致度が低くなることがあり得る。したがって、処理部１２４は、駆動部１２５を制御して、複数の異なるプリセット回転量に応じて回転させ、画像一致度が閾値以上になるまで、各プリセット回転量で対応する局所領域画像Ｉ２を撮影することもできる。一実施形態では、第２の画像キャプチャデバイス１２３の焦点倍率の差が大きすぎて、画像の対応が低くなることもあり得る。したがって、処理部１２４は、複数の異なるプリセット焦点距離に応じてズームを実行し、画像一致度がより大きくなるまで各プリセット焦点距離を調整した後に対応する局所領域画像Ｉ２を撮影するように第２の画像キャプチャデバイス１２３を制御することもできる。一実施形態では、処理部１２４は、視覚慣性オドメトリ技術を使用し、図３Ａに示すステップＳ３～Ｓ５を実行して、動的並進Ｔｄ、動的相対角度Ｒｄおよび／または補償回転量Ｒｃを補正し、補正された第２の３次元座標値を判定することができ、それに応じて推定距離値を補正することができる。したがって、処理部１２４は、ステップＳ１１で距離推定値を補正し、それに応じて第２の画像キャプチャデバイス１２３の補正回転量を判定することができる。
別の実施形態では、ステップＳ１０およびステップＳ１１の一方のみが実行されるように選択されることに限定されない。処理部１２４は、ステップＳ１０およびステップＳ１１を並行にまたは順に実行して、第２の画像キャプチャデバイス１２３の補正回転量を異なる方法で同時に算出してもよい。
次に、処理部１２４は、駆動部１２５に、補正回転量に応じて第２の画像キャプチャデバイス１２３の回転および／または焦点距離を調整するよう命令する（ステップＳ１２）。具体的には、処理部１２４は、ステップＳ１０および／またはステップＳ１１で判定された第２の画像キャプチャデバイス１２３の補正回転量に応じて、補正画像Ｉ３（本開示に図示せず）を回転させて撮影するよう駆動部１２５に命令する。処理部１２４による第２の画像キャプチャデバイス１２３の焦点距離の判定の詳細に関して、補正は様々な異なる方法で実行することができ、本開示はそれに限定されるものではない。一実施形態では、処理部１２４は、検査領域画像Ｉ１内の局所領域Ａの面積と補正画像Ｉ３内の局所領域Ａの面積とを判定し、両面積の比に従って第２の画像キャプチャデバイス１２３の焦点距離を判定することができる。一実施形態では、処理部１２４は、補正された推定距離値および補正された第２の３次元座標値に従って第２の画像キャプチャデバイス１２３の焦点距離を判定することができる。
最後に、ステップＳ１３において、処理部１２４は、次の画像キャプチャ動作を実行するために第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８に記憶されたデータを更新することができる。一実施形態では、処理部１２４は、局所領域Ａに対してズーム操作を実行することができる。局所領域Ａのズーム画像を取得するために、処理部１２４は、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新する。具体的には、処理部１２４は、第２の画像一時記憶部１２８に元々記憶されていた局所領域画像Ｉ２を第１の画像一時記憶部１２７に移し、最新（例えば、第２の時点の後の第３の時点）の第２の画像キャプチャデバイス１２３によりキャプチャされた画像を第２の画像一時記憶部１２８に入れる。例えば、第２の画像キャプチャデバイス１２３は、第３の時点で局所領域Ａの画像をより高い倍率でキャプチャすることができる。ステップＳ９～Ｓ１３を再帰的に実行することにより、異なる倍率および異なる撮影角度での検査対象の局所領域Ａの画像をより好適に取得することができる。一実施形態では、処理部１２４は、慣性検出装置１２６によって検出される時間変化と主剛体１２１の並進量および／または回転量に従って、ならびに図３Ａに示すステップＳ３～Ｓ５に従って、対応する第２の３次元座標値を判定することができる。処理部１２４が第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新した後、画像キャプチャ装置１２０は、ステップＳ９～Ｓ１３を実行して、第２の時点で第２の画像キャプチャデバイスによってキャプチャされた画像と第３の時点で第２の画像キャプチャデバイス１２３によりキャプチャされた画像との間の画像一致度が閾値より大きいか否かを第１の画像一時記憶部１２７に記憶された画像および第２の画像一時記憶部１２８に記憶された画像に基づいて判定する。このようにして、画像キャプチャ装置１２０は、ステップＳ１０および／またはステップＳ１１により第２の画像キャプチャデバイス１２３の補正回転量を判定し、ステップＳ１２により同一または異なる検査対象領域を撮影することができる。一実施形態では、処理部１２４は、プリセット時間隔が経過したと判定されたとき、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新することができる。一実施形態では、処理部１２４は、慣性検出装置１２６がプリセットの移動量および／またはプリセットの回転量よりも大きい主剛体１２１の並進量および／または回転量を検知するとき、第１の画像一時記憶部１２７および／または第２の画像一時記憶部１２８を更新することができる。要するに、画像キャプチャ装置１２０は、上述した第１の画像一時記憶部１２７および第２の画像一時記憶部１２８の更新動作により、ユーザにより選択された検査領域画像Ｉ１の局所領域Ａを連続的に撮影することができる。ユーザは、局所領域Ａを連続的に検査することができる。あるいは、ユーザの命令に従って画像キャプチャ装置１２０は局所領域Ａにズームインすることができ、それにより、ユーザは局所領域Ａのより鮮明な画像を検査することができる。局所領域Ａにズームインするための複数のズームインステップに対応する複数の固有のパラメータは、事前に設定または較正することができる。
一施形態では、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８（メモリまたは他の適切な形態のものでもよい）は処理部１２４に含めてもよい。加えて、処理部１２４はさらに、第１の画像キャプチャデバイス１２２および第２の画像キャプチャデバイス１２３によりキャプチャされた画像を時間セグメントで格納するために、第１の画像キャプチャデバイス１２２に対応する一時記憶スペースおよび第２の画像キャプチャデバイス１２３に対応する一時記憶スペースを含んでもよい。
例えば、処理部１２４は、例えば、中央処理装置（ＣＰＵ）、または他のプログラム可能な汎用または特定用途向けマイクロ制御装置（ＭＣＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブルコントローラ、特定用途向け集積回路（ＡＳＩＣ）、グラフィック処理ユニット（ＧＰＵ）、論理演算装置（ＡＬＵ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他同様のコンポーネントまたは上記のコンポーネントの組み合わせ、を含むことができる。
第１の画像一時記憶部１２７および第２画像一時記憶部１２８は、別々に設けられた２つの記憶装置であってもよいし、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８は統合して単一のメモリ装置としてもよい。例えば、第１の画像一時記憶部１２７および第２の画像一時記憶部１２８は、例えば、任意のタイプの固定または取り外し可能なランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、または複数のモジュール、さまざまなアプリケーション、または処理部１２４によって実行可能なさまざまなプログラムを格納する同様のコンポーネントまたは上記コンポーネントの組み合わせとしてもよい。
例えば、慣性検出装置１２６は、例えば、加速度センサー、角速度センサー、磁気誘導センサー、加速度計、三軸ジャイロスコープ、六軸ジャイロスコープ、磁力計等または位置や角度の変化を検出するためのそれらの組み合わせとしてもよい。
本発明の画像キャプチャ方法および画像キャプチャ装置は、無人航空機に適用することができる。
１００：画像キャプチャシステム
１１０：オペレーティング装置
１２０：画像キャプチャ装置
１２１：主剛体
１２２：第１の画像キャプチャデバイス
１２３：第２の画像キャプチャデバイス
１２４：処理部
１２５：駆動部
１２６：慣性センサー
１２７：第１の画像一時記憶部
１２８：第２の画像一時記憶部
Ａ：局所領域
ｃｘ、ｃｙ、ｕ、ｖ：座標
Ｄ：距離
Ｉ１：検査領域画像
Ｉ２：局所領域画像
ＩＳ、ＣＳ：信号
ＯＡ：光軸
Ｐ１、Ｐ２、Ｐ３：位置
Ｓ１～Ｓ１３、Ｓ１０１～Ｓ１０３：ステップ
ＴＣ：画像平面座標系
Ｘ、Ｙ：軸

Claims (18)

  1. 画像キャプチャデバイスに適した画像キャプチャ方法であって、
    検査領域の検査領域画像を第１の時点で第１の画像キャプチャデバイスによってキャプチャするステップと、
    前記第１の時点の後の第２の時点で、前記検査領域画像内の局所領域に対応する制御信号を受信するステップと、
    処理部によって、前記第１の時点における前記第１の画像キャプチャデバイスと前記第２の時点における第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも１つを計算するステップと、
    前記処理部によって、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも１つに従って、前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換するステップと、
    駆動部によって、前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるように駆動するステップと、
    前記第２の画像キャプチャデバイスによって前記局所領域に対応する局所領域画像をキャプチャするステップと、
    を備え、
    前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスは飛行体に搭載され、
    前記相対並進関係および前記相対回転関係の少なくとも１つを計算するステップは、
    前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも１つを計算するステップ、
    を備える、画像キャプチャ方法。
  2. 請求項１に記載の画像キャプチャ方法において、前記第１の画像キャプチャデバイスは前記飛行体の本体に搭載され、前記第２の画像キャプチャデバイスは前記飛行体の自己安定化装置に搭載され、前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するステップはさらに、
    前記相対並進関係及び前記相対回転関係の少なくとも１つを前記補償回転量に基づいて計算するステップ、
    を備える、画像キャプチャ方法。
  3. 請求項１または２に記載の画像キャプチャ方法において、前記第１の３次元座標値を計算するステップは、
    前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を、推定距離値として推定するステップと、
    前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて前記第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値を計算するステップと、
    を備える、画像キャプチャ方法。
  4. 請求項３に記載の画像キャプチャ方法において、画像特徴照合ステップをさらに備え、前記画像特徴照合ステップは、
    前記第１の時点における前記検査領域画像を第１の画像一時記憶部により記憶し、前記第２の時点における前記局所領域画像を第２の画像一時記憶部により記憶するステップと、
    前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するステップと、
    を備える、画像キャプチャ方法。
  5. 請求項４に記載の画像キャプチャ方法において、さらに補正ステップを備え、前記補正ステップは、
    前記処理部によって、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値より小さいとき、前記推定距離値を補正するステップと、
    前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の座標値とに基づいて前記第１の３次元座標値を補正するステップと、
    前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値を補正するステップと、
    前記処理部によって、前記補正された第２の３次元座標値に基づいて補正回転量を判定し、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように前記駆動部に命令するステップと、
    を備える、画像キャプチャ方法。
  6. 請求項５に記載の画像キャプチャ方法において、さらに、
    前記局所領域の別の局所領域画像を第３の時点で前記第２の画像キャプチャデバイスによりキャプチャするステップと、
    前記局所領域画像を前記第１の画像一時記憶部により記憶し、前記別の局所領域画像を前記第２の画像一時記憶部により記憶するステップと、
    前記処理部によって、前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の前記第３の時点における前記第２の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも１つを計算するステップと、
    前記処理部によって、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するステップと、
    前記処理部によって、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに基づいて別の補正回転量を判定し、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するステップと、
    を備える、画像キャプチャ方法。
  7. 請求項４から６のいずれか一項に記載の画像キャプチャ方法において、さらに補正ステップを備え、前記補正ステップは、
    前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値以上であるとき、前記処理部によって、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定し、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように前記駆動部に命令するステップを備え、
    前記局所領域画像内の前記対応する局所領域は、前記局所領域内で前記画像一致度が前記閾値以上である領域である、画像キャプチャ方法。
  8. 請求項１から７のいずれか一項に記載の画像キャプチャ方法において、前記第１の３次元座標値を計算するステップは、
    前記処理部によって、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するステップ、
    を備える、画像キャプチャ方法。
  9. 請求項１から８のいずれか一項に記載の画像キャプチャ方法において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む、画像キャプチャ方法。
  10. 検査領域の検査領域画像を第１の時点でキャプチャするように構成された第１の画像キャプチャデバイスと、
    第２の画像キャプチャデバイスと、
    前記第１の時点における前記第１の画像キャプチャデバイスと第２の時点における前記第２の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも１つを計算するよう構成された処理部であって、前記第１の時点の後の前記第２の時点において前記検査領域画像内の局所領域に対応する制御信号を受信するよう構成され、前記制御信号に応じて、前記第１の時点における前記第１の画像キャプチャデバイスに対する前記局所領域の第１の３次元座標値を計算し、前記第１の３次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも１つに従って、前記第２の時点における前記第２の画像キャプチャデバイスに対する第２の３次元座標値に変換するよう構成された、処理部と、
    前記第２の画像キャプチャデバイスを前記第２の３次元座標値に応じた回転量で回転させるよう駆動するよう構成された駆動部と、
    を備え、前記駆動部が前記第２の画像キャプチャデバイスを前記回転量で回転させた後で前記第２の画像キャプチャデバイスが前記局所領域の局所領域画像をキャプチャするように構成され、
    前記第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスが搭載された飛行体を備え、前記処理部が、前記飛行体上の第１の画像キャプチャデバイスおよび前記第２の画像キャプチャデバイスの相対位置および相対角度の少なくとも１つと、前記第１の時点から前記第２の時点までの前記飛行体の並進量および回転量の少なくとも１つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも１つを計算するよう構成されている、画像キャプチャ装置。
  11. 請求項１０に記載の画像キャプチャ装置において、前記飛行体は本体および自己安定化装置を備え、前記第１の画像キャプチャデバイスが前記本体に搭載され、前記第２の画像キャプチャデバイスが前記自己安定化装置に搭載され、前記自己安定化装置が前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記処理部が前記補償回転量に基づいて前記相対並進関係及び前記相対回転関係の少なくとも１つを計算するよう構成されている、画像キャプチャ装置。
  12. 請求項１０または１１に記載の画像キャプチャ装置において、前記処理部が、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第１の時点における前記第１の画像キャプチャデバイスと前記局所領域内の１点との間の距離を、推定距離値として推定するよう構成され、且つ前記推定距離値と前記画像平面座標系内の前記局所領域内の前記１点の座標値とに基づいて前記第１の画像キャプチャデバイスに対する前記局所領域内の前記１点の前記第１の３次元座標値を計算するよう構成されている、画像キャプチャ装置。
  13. 請求項１２に記載の画像キャプチャ装置において、第１の画像一時記憶部および第２の画像一時記憶部をさらに備え、前記第１の画像一時記憶部が前記第１の時点における前記検査領域画像を記憶するよう構成され、前記第２の画像一時記憶部が前記第２の時点における前記局所領域画像を記憶するよう構成され、前記処理部が、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するよう構成されている、画像キャプチャ装置。
  14. 請求項１３に記載の画像キャプチャ装置において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値より小さいとき、前記処理部が、前記推定距離値を補正するよう構成され、前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記１点の前記座標値とに基づいて前記第１の３次元座標値を補正するよう構成され、前記補正された第１の３次元座標値に基づいて前記第２の３次元座標値を補正するよう構成され、且つ前記補正された第２の３次元座標値に基づいて補正回転量を判定するよう構成され、前記駆動部が、前記補正回転量に応じて前記第２の画像キャプチャデバイスを回転させるように構成されている、画像キャプチャ装置。
  15. 請求項１４に記載の画像キャプチャ装置において、前記第２の画像キャプチャデバイスが第３の時点で前記局所領域の別の局所領域画像をキャプチャするよう構成され、前記第１の画像一時記憶部が前記局所領域画像を記憶するように構成され、前記第２の画像一時記憶部が前記別の局所領域画像を記憶するよう構成され、前記処理部が、前記第２の時点における前記第２の画像キャプチャデバイスと前記第２の時点の後の前記第３の時点における前記第２の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも１つを計算するよう構成され、前記処理部が、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するよう構成され、且つ前記処理部が、前記第２の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも１つと、前記第１の画像一時記憶部の前記局所領域画像と前記第２の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに応じて別の補正回転量を判定し、前記第２の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するように構成されている、画像キャプチャ装置。
  16. 請求項１３から１５のいずれか一項に記載の画像キャプチャ装置において、前記第１の画像一時記憶部の前記検査領域画像と前記第２の画像一時記憶部の前記第２の時点における前記局所領域画像との間の前記画像一致度が前記閾値以上であるとき、前記処理部が、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定するよう構成され、前記駆動部が、前記第２の画像キャプチャデバイスを前記補正回転量に応じて回転させるように構成され、前記局所領域画像内の前記対応する局所領域は、前記局所領域内で前記画像一致度が前記閾値以上である領域である、画像キャプチャ装置。
  17. 請求項１０から１６のいずれか一項に記載の画像キャプチャ装置において、前記処理部が、画像平面座標系内の前記局所領域の座標値に基づいて前記第１の画像キャプチャデバイスに対する前記局所領域の前記第１の３次元座標値を計算するよう構成されている、画像キャプチャ装置。
  18. 請求項１０から１７のいずれか一項に記載の画像キャプチャ装置において、前記制御信号は、前記第１の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む、画像キャプチャ装置。
JP2020038019A 2019-12-16 2020-03-05 画像キャプチャ方法および画像キャプチャ装置 Active JP7008736B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
TW108145972A TWI726536B (zh) 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備
TW108145972 2019-12-16
US16/729,507 2019-12-30
US16/729,507 US11310423B2 (en) 2019-12-16 2019-12-30 Image capturing method and image capturing apparatus

Publications (2)

Publication Number Publication Date
JP2021096805A JP2021096805A (ja) 2021-06-24
JP7008736B2 true JP7008736B2 (ja) 2022-01-25

Family

ID=76318384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038019A Active JP7008736B2 (ja) 2019-12-16 2020-03-05 画像キャプチャ方法および画像キャプチャ装置

Country Status (4)

Country Link
US (1) US11310423B2 (ja)
JP (1) JP7008736B2 (ja)
CN (1) CN112985359B (ja)
TW (1) TWI726536B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168437A (ja) * 2020-04-09 2021-10-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US11611700B2 (en) * 2020-07-12 2023-03-21 Skydio, Inc. Unmanned aerial vehicle with virtual un-zoomed imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124399A (ja) 2008-11-21 2010-06-03 Mitsubishi Electric Corp 空中移動体からの自動追尾撮影装置
JP2017055325A (ja) 2015-09-11 2017-03-16 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
JP2018040992A (ja) 2016-09-08 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、撮像システム、移動体、撮像方法、及びプログラム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2148231C (en) 1993-01-29 1999-01-12 Michael Haysom Bianchi Automatic tracking camera control system
US6437819B1 (en) 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7450735B1 (en) 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
US7768571B2 (en) 2004-03-22 2010-08-03 Angstrom, Inc. Optical tracking system using variable focal length lens
US20060203090A1 (en) 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
EP2278271B1 (en) * 2005-03-11 2012-05-23 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
CN1968405A (zh) 2005-11-14 2007-05-23 耿征 广角或超广角全方位视觉监控方法和系统
JP5127820B2 (ja) 2006-04-20 2013-01-23 ファロ テクノロジーズ インコーポレーテッド カメラ利用標的座標計測方法
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
TWI369135B (en) 2007-12-31 2012-07-21 Nat Applied Res Lab Nat Ct For High Performance Computing Camera control system capable of positioning and tracking object in space and method thereof
US8180107B2 (en) 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
CN101572804B (zh) 2009-03-30 2012-03-21 浙江大学 多摄像机智能控制方法及装置
US20110310219A1 (en) * 2009-05-29 2011-12-22 Youngkook Electronics, Co., Ltd. Intelligent monitoring camera apparatus and image monitoring system implementing same
CN101860732B (zh) 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
KR101302803B1 (ko) 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
CN102891959B (zh) * 2011-07-21 2015-06-03 宝硕财务科技股份有限公司 图像式摄影控制系统及其控制方法
US8861947B2 (en) * 2013-03-15 2014-10-14 Freefly Systems, Inc. Method and system for correcting camera pointing angle in an actively stabilized system to compensate for translational movements
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
JP6784434B2 (ja) 2014-07-30 2020-11-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 方法、ｕａｖ制御プログラム、無人航空機、及び制御システム
CN104197928B (zh) 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN108718405B (zh) * 2014-09-17 2019-11-26 深圳市大疆创新科技有限公司 自动白平衡系统及方法
CN106029501B (zh) * 2014-12-23 2019-05-14 深圳市大疆灵眸科技有限公司 Uav全景成像
NO339419B1 (en) * 2015-03-25 2016-12-12 FLIR Unmanned Aerial Systems AS Path-Based Flight Maneuvering System
CN204697158U (zh) 2015-06-16 2015-10-07 成都西可科技有限公司 一种具有保持实时拍摄图像竖直功能的航拍器
JP6673371B2 (ja) * 2015-07-08 2020-03-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 可動物体を使用して障害物を検出する方法及びそのシステム
WO2017017675A1 (en) * 2015-07-28 2017-02-02 Margolin Joshua Multi-rotor uav flight control method and system
WO2017028023A1 (en) * 2015-08-14 2017-02-23 SZ DJI Technology Co., Ltd. Gimbal having parallel stability mechanism
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
KR20170065235A (ko) * 2015-12-03 2017-06-13 삼성전자주식회사 소형 카메라 짐벌
WO2017128050A1 (zh) * 2016-01-26 2017-08-03 深圳市大疆创新科技有限公司 无人飞行器及多目成像系统
CN113589833A (zh) 2016-02-26 2021-11-02 深圳市大疆创新科技有限公司 用于视觉目标跟踪的方法
WO2017187220A1 (en) * 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. System and method for aerial system control
CN109416535B (zh) * 2016-05-25 2022-11-11 深圳市大疆创新科技有限公司 基于图像识别的飞行器导航技术
CN106131454B (zh) * 2016-07-27 2019-10-25 苏州佳世达电通有限公司 一种影像撷取系统及影像撷取方法
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技（深圳）有限公司 飞行器的信息获取方法、装置及设备
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
WO2018214155A1 (zh) * 2017-05-26 2018-11-29 深圳市大疆创新科技有限公司 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection
TW201915582A (zh) * 2017-10-12 2019-04-16 圓展科技股份有限公司 影像擷取系統及其馬達定位方法
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
US10690525B2 (en) * 2018-01-03 2020-06-23 General Electric Company Systems and methods associated with unmanned aerial vehicle targeting accuracy
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
JP7092538B2 (ja) * 2018-03-30 2022-06-28 三菱電機株式会社 構造物の形状測定用の画像撮影システム、機上制御装置
US10721404B1 (en) * 2018-08-29 2020-07-21 Amazon Technologies, Inc. Configuring imaging devices based on control signals
WO2021076789A1 (en) * 2019-10-15 2021-04-22 Daniel Todd Kerzner Navigation using selected visual landmarks
US11880212B2 (en) * 2020-07-10 2024-01-23 Alarm.Com Incorporated Robot localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124399A (ja) 2008-11-21 2010-06-03 Mitsubishi Electric Corp 空中移動体からの自動追尾撮影装置
JP2017055325A (ja) 2015-09-11 2017-03-16 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
JP2018040992A (ja) 2016-09-08 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 撮像装置、撮像システム、移動体、撮像方法、及びプログラム

Also Published As

Publication number Publication date
CN112985359B (zh) 2023-02-28
TW202126023A (zh) 2021-07-01
JP2021096805A (ja) 2021-06-24
US20210185230A1 (en) 2021-06-17
TWI726536B (zh) 2021-05-01
US11310423B2 (en) 2022-04-19
CN112985359A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10970873B2 (en) Method and device to determine the camera position and angle
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
US9409656B2 (en) Aerial photographing system
JP5854655B2 (ja) 無人機、特に自動操縦下でホバリング飛行を行うことができる無人機の水平速度を評価する方法
JP6712330B2 (ja) 撮影制御装置、撮影制御方法及びプログラム
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP5027746B2 (ja) 位置測定方法、位置測定装置、およびプログラム
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
JP2018013337A (ja) 飛行物体の誘導位置決め装置および方法
JP6988197B2 (ja) 制御装置、飛行体、および制御プログラム
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
JP2019128175A (ja) トンネル壁面検査装置及びトンネル壁面検査プログラム
JP7008736B2 (ja) 画像キャプチャ方法および画像キャプチャ装置
CN110728716B (zh) 一种标定方法、装置及飞行器
CN112050806B (zh) 一种移动车辆的定位方法及装置
CN111953892B (zh) 无人飞行器、检查方法
US20190116309A1 (en) Overhead line image capturing system and overhead line image capturing method
US10949981B2 (en) Position measuring method, position measuring apparatus, and position measuring system
JP2018146524A (ja) 測量システム
JP5716273B2 (ja) 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
JP2010145219A (ja) 運動推定装置及びプログラム
JP2021028188A (ja) ドローン撮影装置及び方法
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220111

R150 Certificate of patent or registration of utility model

Ref document number: 7008736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150