JP7008736B2 - 画像キャプチャ方法および画像キャプチャ装置 - Google Patents

画像キャプチャ方法および画像キャプチャ装置 Download PDF

Info

Publication number
JP7008736B2
JP7008736B2 JP2020038019A JP2020038019A JP7008736B2 JP 7008736 B2 JP7008736 B2 JP 7008736B2 JP 2020038019 A JP2020038019 A JP 2020038019A JP 2020038019 A JP2020038019 A JP 2020038019A JP 7008736 B2 JP7008736 B2 JP 7008736B2
Authority
JP
Japan
Prior art keywords
image
image capture
capture device
time point
temporary storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020038019A
Other languages
English (en)
Other versions
JP2021096805A (ja
Inventor
慧冰 郭
國睿 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2021096805A publication Critical patent/JP2021096805A/ja
Application granted granted Critical
Publication of JP7008736B2 publication Critical patent/JP7008736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、画像処理方法および画像処理装置に関し、特に、画像キャプチャ方法および画像キャプチャ装置に関する。
今日では、飛行体に搭載された画像キャプチャ装置を用いて対象物の画像をキャプチャする技術および応用分が注目されている。無人航空機(UAV)は、空中にとどまってより適切な視野角からターゲットの画像をキャプチャすることができる。この画像キャプチャ方法に基づいて、画像伝送技術を統合して、遠隔操作撮影の手段による遠隔検査(橋梁断面、貯水池、および/または他の大きな構造物など)を開発することができる。ただし、制御端末とUAVの間の信号伝送には時間遅延があり、この時間遅延の間、UAVの姿勢は風や機械的振動などの環境要因の影響を受けやすく、画像の移動を生じる。その結果、正確なズームおよびフォーカス画像を取得することが困難になり得る。
本開示は、対象物の画像をキャプチャすることができる画像キャプチャ方法および画像キャプチャ装置を提供する。
本開示の画像キャプチャ方法は、以下のステップを含む。検査領域の検査領域画像を第1の時点で第1の画像キャプチャデバイスによってキャプチャする。制御信号を前記第1の時点の後の第2の時点で受信する。前記制御信号は、前記検査領域画像内の局所領域に対応する。処理部を使用して、前記第1の時点における前記第1の画像キャプチャデバイスと前記第2の時点における前記第2の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも一つを計算する。前記処理部を使って、前記制御信号に応じて、前記第1の時点における前記第1の画像キャプチャデバイスに対する前記局所領域の第1の3次元座標値を計算し、前記第1の3次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも一つに従って前記第2の時点における前記第2の画像キャプチャデバイスに対する第2の3次元座標値に変換する。駆動部を使って、前記第2の画像キャプチャデバイスを前記第2の3次元座標値に応じた回転量で回転させるように駆動する。前記第2の画像キャプチャデバイスを使って前記局所領域に対応する局所領域画像をキャプチャする。
本開示の一実施形態では、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスは飛行体に搭載され、前記相対並進関係および相対回転関係の少なくとも1つを計算するステップは、前記飛行体上の第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスの相対位置および相対角度の少なくとも1つと、前記第1の時点から前記第2の時点までの前記飛行体の並進量および回転量の少なくとも1つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも1つを計算するステップを含む。
本開示の一実施形態において、前記第1の画像キャプチャデバイスは前記飛行体の本体に搭載され、前記第2の画像キャプチャデバイスは前記飛行体の自己安定化装置に搭載される。前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記相対並進関係及び前記相対回転関係の少なくとも1つを計算するステップはさらに、前記相対並進関係及び前記相対回転関係の少なくとも1つを前記補償回転量に基づいて計算するステップを含む。
本開示の一実施形態において、前記第1の3次元座標値を計算するステップは、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第1の時点における前記第1の画像キャプチャデバイスと前記局所領域内の1点との間の距離を、推定距離値として推定するステップを含む。第1の画像キャプチャデバイスに対する前記局所領域内の前記1点の前記第1の3次元座標値は、前記推定距離値と前記画像平面座標系内の前記局所領域内の前記1点の座標値とに基づいて計算される。
本開示の一実施形態において、前記画像キャプチャ方法は画像特徴照合ステップをさらに含み、前記画像特徴照合ステップは、前記第1の時点における前記検査領域画像を第1の画像一時記憶部により記憶し、前記第2の時点における前記局所領域画像を第2の画像一時記憶部により記憶するステップと、前記処理部によって、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するステップを含む。
本開示の一実施形態において、前記画像キャプチャ方法はさらに補正ステップを含み、前記補正ステップは、前記処理部によって、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が前記閾値より小さいとき、前記処理部が前記推定距離値を補正するステップを含む。前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記1点の座標値とに基づいて前記第1の3次元座標値が補正される。前記補正された第1の3次元座標値に基づいて前記第2の3次元座標値が補正される。前記処理部が、前記補正された第2の3次元座標値に基づいて補正回転量を判定し、前記補正回転量に応じて前記第2の画像キャプチャデバイスを回転させるように前記駆動部に命令する。
本開示の一実施形態において、前記画像キャプチャ方法は、さらに、前記局所領域の別の局所領域画像を第3の時点で前記第2の画像キャプチャデバイスによりキャプチャするステップと、前記局所領域画像を前記第1の画像一時記憶部により記憶し、前記別の局所領域画像を前記第2の画像一時記憶部により記憶するステップと、前記処理部によって、別の相対並進関係および別の相対回転関係の少なくとも1つを計算するために前記第2の時点における前記第2の画像キャプチャデバイスと前記第2の時点の後の第3の時点における前記第2の画像キャプチャデバイスとの間の別の画像一致度を計算するステップと、前記処理部によって、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するステップと、前記処理部によって、前記第2の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも1つと、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに基づいて別の補正回転量を判定するステップと、前記第2の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するステップとを含む。
本開示の一実施形態において、前記画像キャプチャ方法はさらに補正ステップを含み、前記補正ステップは、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が前記閾値以上であるとき、前記処理部によって、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定し、前記第2の画像キャプチャデバイスを前記補正回転量に応じて回転させるように前記駆動部に命令するステップを備え、前記局所領域画像内の前記対応する局所領域は前記局所領域内で前記画像一致度が前記閾値以上である領域である。
本開示の一実施形態において、前記第1の3次元座標値を計算するステップは、前記処理部によって、画像平面座標系内の前記局所領域の座標値に基づいて前記第1の画像キャプチャデバイスに対する前記局所領域の前記第1の3次元座標値を計算するステップを含む。
本開示の一実施形態において、前記制御信号は、前記第1の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む。
本開示の画像キャプチャ装置は、第1の画像キャプチャデバイス、第2の画像キャプチャデバイス、処理部および駆動部を含む。前記第1の画像キャプチャデバイスは、検査領域の検査領域画像を第1の時点でキャプチャするように構成されている。前記処理部は、前記第1の時点における前記第1の画像キャプチャデバイスと第2の時点における前記第2の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくとも一つを計算するよう構成され、且つ前記処理部は前記第1の時点の後の第2の時点において制御信号を受信するよう構成されている。前記制御信号は前記検査領域画像内の局所領域に対応する。前記処理部は、前記制御信号に応じて、前記第1の時点における前記第1の画像キャプチャデバイスに対する前記局所領域の第1の3次元座標値を計算し、前記第1の3次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも1つに従って、前記第2の時点における前記第2の画像キャプチャデバイスに対する第2の3次元座標値に変換するよう構成されている。前記駆動部は、前記第2の画像キャプチャデバイスを前記第2の3次元座標値に応じた回転量で回転させるように駆動するよう構成され、前記駆動部が前記第2の画像キャプチャデバイスを前記回転量で回転させた後に、前記第2の画像キャプチャデバイスが前記局所領域の局所領域画像をキャプチャするように構成されている。
本開示の一実施形態において、前記画像キャプチャ装置は飛行体を含み、前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスが前記飛行体に搭載される。前記処理部は、前記飛行体上の第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスの相対位置および相対角度の少なくとも1つと、前記第1の時点から前記第2の時点までの前記飛行体の並進量および回転量の少なくとも1つとに基づいて、前記相対並進関係および相対回転関係の少なくとも1つを計算するよう構成されている。
本開示の一実施形態において、前記飛行体は本体および自己安定化装置を含む。前記第1の画像キャプチャデバイスは前記本体に搭載され、前記第2の画像キャプチャデバイスは前記自己安定化装置に搭載される。前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記処理部は前記補償回転量に基づいて前記相対並進関係及び前記相対回転関係の少なくとも1つを計算するよう構成されている。
本開示の一実施形態において、前記処理部は、前記第1の時点における前記第1の画像キャプチャデバイスと前記局所領域内の1点との間の距離を画像平面座標系に垂直な軸に沿った推定距離値として推定するよう構成され、且つ前記推定距離値と前記画像平面座標系内の前記局所領域内の前記1点の座標値とに基づいて前記第1の画像キャプチャデバイスに対する前記局所領域内の前記1点の前記第1の3次元座標値を計算するよう構成されている。
本開示の一実施形態において、前記画像キャプチャ装置は、第1の画像一時記憶部および第2の画像一時記憶部をさらに備え、前記第1の画像一時記憶部が前記第1の時点における前記検査領域画像を記憶するよう構成され、前記第2の画像一時記憶部が前記第2の時点における前記局所領域画像を記憶するよう構成されている。前記処理部が、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するよう構成されている。
本開示の一実施形態において、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が前記閾値より小さいとき、前記処理部は、前記推定距離値を補正するよう構成され、前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記1点の座標値とに基づいて前記第1の3次元座標値を補正するよう構成され、且つ前記補正された第1の3次元座標値に基づいて前記第2の3次元座標値を補正するよう構成されている。さらに、前記処理部は、前記補正された第2の3次元座標値に基づいて補正回転量を判定するよう構成され、前記駆動部が、前記補正回転量に応じて前記第2の画像キャプチャデバイスを回転させるように構成されている。
本開示の一実施形態において、前記第2の画像キャプチャデバイスが第3の時点で前記局所領域の別の局所領域画像をキャプチャするよう構成され、前記第1の画像一時記憶部が前記局所領域画像を記憶するよう構成され、前記第2の画像一時記憶部が前記別の局所領域画像を記憶するよう構成され、前記処理部が、前記第2の時点における前記第2の画像キャプチャデバイスと前記第2の時点の後の第3の時点における前記第2の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも1つを計算するよう構成され、前記処理部が、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するよう構成され、且つ前記処理部が、前記第2の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも1つと、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに応じて別の補正回転量を判定し、前記第2の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するように構成されている。
本開示の一実施形態において、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が前記閾値以上であるとき、前記処理部が、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定するよう構成され、前記駆動部が、前記第2の画像キャプチャデバイスを前記補正回転量に応じて回転させるように構成され、前記局所領域画像内の前記対応する局所領域は前記局所領域内で前記画像一致度が前記閾値以上である領域である。
本開示の一実施形態において、前記処理部が、画像平面座標系内の前記局所領域の座標値に基づいて前記第1の画像キャプチャデバイスに対する前記局所領域の前記第1の3次元座標値を計算するよう構成されている。
本開示の一実施形態において、前記制御信号は、前記第1の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む。
以上に基づき、本画像キャプチャ方法及び画像キャプチャ装置は、第1の時点における第1の画像キャプチャデバイスに対して第2の時点における第2の画像キャプチャデバイスにより発生される並進量及び回転量をパラメータとして利用し、このパラメータを利用して空間内の検査対象(すなわち局所領域)の3次元座標値を計算し、それによって、第1の時点から第2の時点までの経過時間(たとえば、制御信号の送信に起因する時間遅延)中に生じる並進量および/または回転量により発生する3次元座標値の誤差を補正することができる。このように、風などの環境要因および/または画像キャプチャ装置自体の機械的振動により生じる予測不能の並進量および/または回転量を補正することができるため、画像キャプチャ装置の位置を正確に維持することができる。
本開示の一実施形態による画像キャプチャシステムの概略ブロック図である。 図1の画像キャプチャ装置の概略側面図である。 本開示の一実施形態による画像キャプチャ方法のフローチャートである。 本開示の一実施形態による別の画像キャプチャ方法のフローチャートである。 図2の画像キャプチャ装置は第1の時点から第2の時点へ並進および/または回転を生じることを示す。 図1のオペレーティング装置の画像平面に表示される画像を示す。 図5の検査領域画像における平面座標と3次元空間との関係を示す。 本開示の一実施形態による画像キャプチャ方法のフローチャートである。 図1の画像キャプチャ装置のいくつかのコンポーネントの概略ブロック図である。
図1は、本開示の一実施形態による画像キャプチャシステムの概略ブロック図である。図2は、図1の画像キャプチャ装置の概略側面図である。図1及び図2を参照すると、この実施形態における画像キャプチャシステム100は、オペレーティング装置110および画像キャプチャ装置120を含む。一実施形態において、画像キャプチャ装置120は、無人航空機(UAV)などの無人乗り物、自律車両などの無人車両、ロボット、または機械装置である。別の実施形態では、画像キャプチャ装置120は、取り外し可能または取り外し不可能なデバイスである。一実施形態では、オペレーティング装置110は、例えば、コンピュータ、サーバー、またはリモートコントロールデバイスなどのリモートデバイスで実装される。オペレーティング装置110は、画像キャプチャ装置120によってキャプチャされた画像および/または画像内の局所領域を表示し得るスクリーンを含むことができる。一実施形態では、リモートデバイスは、画像キャプチャ装置120を遠隔制御するように構成することもできる。一実施形態では、画像キャプチャ装置120とリモートデバイスは異なる位置または場所に位置するが、本開示はこれに限定されない。別の実施形態では、画像キャプチャ装置120およびリモートデバイスは、同じ位置または場所に設置してもよい。画像キャプチャ装置120は、主剛体121、第1の画像キャプチャデバイス122、第2の画像キャプチャデバイス123、処理部124、駆動部125、慣性検出装置126を含む。
第1の画像キャプチャデバイス122は、例えば、広角カメラであり、検査対象領域の広角画像をキャプチャするために主剛体121に取り付けられる。この広角画像は、主剛体121上に配置された処理部124を介して画像信号ISと共にオペレーティング装置110に送信される。一実施形態では、主剛体121は、容易に変形されないまたは変形しない主剛体である。一実施形態では、画像信号ISは、無線通信を介してオペレーティング装置110に送信される。一実施形態において、ユーザは、オペレーティング装置110により表示される広角画像から、検査対象を選択する(または、オペレーティング装置110が設定または画像検出に従って検査対象を選択する)ことができ、それに応じてオペレーティング装置110は検査対象に関連する命令を発生する。その命令は制御信号CSの形で処理部124に送信される。一実施形態では、制御信号CSは、無線通信を介して処理部124に送信される。処理部124は、命令に従って、第1の画像キャプチャデバイス122および第2の画像キャプチャデバイス123の並進量および/または回転量に関する計算を実行し、その後第2の画像キャプチャデバイス123を検査対象に正しく対面するように回転させる。この命令は、広角画像の時点に対応するタイムスタンプ、および/または検査対象(すなわち、後述する局所領域A)の画像特徴、座標、および/または距離を含む。処理部124は、信号送信、計算、情報記憶などの機能を有する回路および電気部品を含むことができる。一実施形態では、処理部124は、プロセッサ、無線トランシーバ、および/または制御回路を含む。本開示は、処理部124の構成および形態を何ら限定するものでない。
第2の画像キャプチャデバイス123は、例えばテレスコープカメラであり、駆動部125に搭載され、制御信号CSの命令に基づいて、処理部124の計算結果に応じて、対応する検査領域に向いて検査領域内の検査対象のスポット画像をキャプチャするように構成される。一実施形態では、慣性検出装置126は、例えば空中停滞中に風、機械的振動、またはその他の要因により発生されるUAVの主剛体121の並進量および/または回転量を検出するように構成される。駆動部125は、例えば、主剛体121に結合された自己安定化装置であり、主剛体121の並進量および/または回転量に応じて補正並進量および/または補償回転量を発生するように構成されるため、第2の画像キャプチャデバイス123は進行方向に向き続けることができる。一実施形態では、慣性検出装置126および/または駆動部125は、1つの装置として統合することができる。一実施形態では、慣性検出装置126および/または駆動部125は、例えば、自己安定化ジンバルである。一実施形態では、慣性検出装置126は、主剛体121上に配置し、配線および/または回路を介して処理部124に結合してもよい。
以下は、図1の画像キャプチャシステム100内の画像キャプチャ装置120を、本開示の一実施形態よる画像キャプチャ方法を説明するための一例として取り上げる。図3Aは本開示の一実施形態による画像キャプチャ方法のフローチャートである。この画像キャプチャ方法は、図1に示す画像キャプチャ装置120により実行することができる。図3Aを参照されたい。最初に、第1の時点で、画像キャプチャ装置120が、検査領域の検査領域画像I1を第1の画像キャプチャデバイス122によりキャプチャする(ステップS1)。第1の時点の後の第2の時点で、制御信号CSが処理部124によって受信される(ステップS2)。処理部124が、第1の時点での第1の画像キャプチャデバイス122と第2の時点での第2の画像キャプチャデバイス123との間の相対並進関係および/または相対回転関係を計算する(ステップS3)。処理部124が、検査領域画像I1内の画像平面座標系TCにおける局所領域Aの座標値(u、v)に従って、第1の画像キャプチャデバイス122に対する局所領域Aの第1の3次元座標値を計算する(ステップS4)。処理部124が、相対並進関係および/または相対回転関係に従って、第1の3次元座標値を第2の画像キャプチャデバイス123に対する第2の3次元座標値に変換する(ステップS5)。駆動部125が、局所領域Aが第2の画像キャプチャデバイス123の視野に入るように、第2の画像キャプチャデバイス123を第2の3次元座標に応じた回転量で回転駆動する(ステップS6)。第2の画像キャプチャデバイス123が局所領域Aの局所領域画像I2をキャプチャする(ステップS7)。
詳細には、ステップS1において、処理部124は、第1の画像キャプチャデバイス122によりキャプチャされた検査領域画像I1と、検査領域画像I1の第1時点に対応するタイムスタンプをオペレーティング装置110に送信する。一実施形態では、画像キャプチャ装置120が検査領域画像をキャプチャした後(または各検査領域画像がキャプチャされた後、または同じ時間間隔ごとに)、対応するタイムスタンプ、慣性検出装置126によって検出された並進量および/または回転量、駆動部125の補正並進量および/または補償回転量、および/または画像キャプチャ装置120の位置および/または方向が、画像キャプチャ装置120の記憶装置(図示せず)に記憶される。記憶装置は、例えば、不揮発性メモリ(ハードディスクドライブやソリッドステートドライブなど)または揮発性メモリ(ランダムアクセスメモリやレジスタなど)である。
ステップS2において、オペレーティング装置110は画像信号ISに対応する制御信号CSを返送し、画像キャプチャ装置120の処理部124が制御信号CSを受信する。制御信号CSは、検査領域画像I1内の検査対象局所領域Aの信号に対応する。一実施形態では、制御信号CSは、検査領域画像I1においてユーザが選択した検査対象局所領域Aに応じてオペレーティング装置110により生成される対応信号である。制御信号CSは、局所領域Aの画像の特徴、座標および/または距離、ならびに第1の時点に対応するタイムスタンプを含む。処理部124は、制御信号CSの情報に基づいて、第1の時点に対応する検査領域画像I1の撮影時点とともに、局所領域Aの画像特徴、座標、および/または距離を取得することができる。一実施形態では、検査領域画像I1は、第1の時点でキャプチャされ、オペレーティング装置110への送信の時間遅延および局所領域の選択にかかる時間の後に、制御信号CSが画像キャプチャ装置120に送信される。その後、画像キャプチャ装置120は、第2の時点で制御信号CSを受信する。
ステップS3において、処理部124は、制御信号CSの第1の時点に対応するタイムスタンプに従って第1の時点を判定し、さらに第1の時点における第1の画像キャプチャデバイス122と第2の時点における第2の画像キャプチャデバイス123の間の並進量および/または回転量を判定する。図4を参照されたい。図4は、画像キャプチャ装置120(図2)が第1の時点から第2の時点への間に並進および/または回転を生じることを示し、ここで破線は第1の時点に対応し、実線は第2の時点に対応し、第2の時点は第1の時点よりも後である。第1の時点から第2の時点までの間に、画像キャプチャ装置120は、風、機械的振動、および/または他の要因による並進量および/または回転量が存在し得る。駆動部125は、図4に示されるように、それに応じて第2の画像キャプチャデバイス123を並進および/または回転駆動してその並進量および/または回転量を補正することができる。別の実施形態では、画像キャプチャ装置120は、別の位置への飛行による並進量および/または回転量を生じさせることもできる。したがって、第2の時点での第2の画像キャプチャデバイス123は、第1の時点での第1の画像キャプチャデバイス122に対する並進量および/または回転量を有し、処理部124を使用して慣性検出装置126の検出に応じた並進量および/または回転量を計算することができる。
図5を参照されたい。図5は、図1のオペレーティング装置110のスクリーンに表示される画像を示す。本実施形態では、オペレーティング装置110のスクリーンには、検査領域画像I1、局所領域A、局所領域画像I2が表示される。ユーザは、第1の時点で第1の画像キャプチャデバイス122によってキャプチャされた検査領域画像I1に従って、検査対象局所領域Aを選択して、対応する制御信号CSを発生する。画像キャプチャ装置120は、第2の時点で制御信号CSを受信し、その後第2の画像キャプチャデバイス123により第2の時点で検査対象局所領域Aの画像特徴を含む画像をキャプチャする。第1の時点から第2の時点まで、画像キャプチャ装置120は並進量および/または回転量を生成する。加えて、ユーザが第1の画像キャプチャデバイス122によってキャプチャされた画像に基づいて第2の画像キャプチャデバイス123により画像をキャプチャするため、第1の時点での第1の画像キャプチャデバイス122と第2の時点での第2の画像キャプチャデバイス123との間には相対並進関係Tおよび相対回転関係Rがある。一実施形態では、相対並進関係Tは相対位置Tsおよび動的並進Tdを含み、相対回転関係Rは相対角度Rsおよび動的相対角度Rdを含む。相対位置Tsおよび相対角度Rsは、第1の画像キャプチャデバイス122と第2の画像キャプチャデバイス123との間の静的な相対関係であり、その相対関係は、例えば、主剛体121が水平状態にあり、第2の画像キャプチャデバイス123が中心状態にあるとき、第1の画像キャプチャデバイス122および第2の画像キャプチャデバイス123が同じキャリブレーションパターンを使ってそれらのパターンの比較を計算することによって得ることができる。言い換えれば、相対並進Tsおよび相対回転Rsは、回転なしの状態での第1の画像キャプチャデバイス122および第2の画像キャプチャデバイス123の設置位置の間の静止姿勢差および撮影角度差とすることができる。動的並進Tdおよび動的相対角度Rdは、例えば、第1の時点に対応する画像キャプチャ装置120の位置および角度と第2の時点に対応する画像キャプチャ装置120の位置および角度の間の相対関係に基づいて得られる画像キャプチャ装置120の動的並進量及び動的回転量とすることができる。一実施形態では、動的並進Tdおよび動的相対回転Rdは、第1の時点と第2の時点との間の主剛体121の動的姿勢の差および撮影角度の差、例えば風によって生じる画像キャプチャ装置120の姿勢の変化または画像キャプチャ装置120の傾きなど、とすることができる。一実施形態では、処理部124は、主剛体121の動的相対角度Rdを判定できるだけでなく、第1の時点から第2の時点までの主剛体121の部分軸の若干の回転量を補償するために駆動部125によって発生される補償回転量Rc、例えば、キャプチャされる画像を安定させるために、検出された並進量および/または回転量に応じて自己安定化ジンバルによって自動的に発生される回転を判定することもできる。
一実施形態では、処理部124は、第1の時点のタイムスタンプに従って、第1の時点で第1の画像キャプチャデバイス122によってキャプチャされた画像を取得することができる。一実施形態では、第1の時点のタイムスタンプに従って、画像キャプチャ装置120は、処理部124を介して、第1の時点に対応する慣性検出装置126によって検出された並進量および/または回転量を、および/または記憶装置から画像キャプチャ装置120の位置および/または方向を読み取る。また、画像キャプチャ装置120は、第2の時点のタイムスタンプに従って、第2の時点に対応する慣性検出装置126により検出された並進量および/または回転量を、および/または記憶装置から画像キャプチャ装置120の位置および/または方向を読み取る。これにより、画像キャプチャ装置120は、第1の時点における第1の画像キャプチャデバイス122と第2の時点における第2の画像キャプチャデバイス123との間の相対並進関係および/または相対回転関係を計算し、蓄積する。例えば、処理部124は、積分計算によって、第1の時点における第1の画像キャプチャデバイス122と第2の時点における第2の画像キャプチャデバイス123との間の相対並進関係および/または相対回転関係を計算することができる。一実施形態では、第2の時点は画像キャプチャ装置120の現在の時刻であり、したがって、慣性検出装置126によって現在検出された並進量および/または回転量、および/または画像キャプチャ装置120の位置および/または方向を採用することができる。一実施形態では、第1の時点における第1の画像キャプチャデバイス122と第2の時点における第2の画像キャプチャデバイス123との間の相対並進関係Tおよび相対回転関係Rは、次の式(1)および(2)により計算して発生させることができる。
T=Ts+Td・・・・式(1)
R=RdRsRc・・・式(2)
ステップS4において、処理部124は、制御信号CSに応じて、第1の画像キャプチャデバイス122に対する検査対象局所領域Aの距離を計算する。一実施形態では、制御信号CSは、検査領域画像I1においてユーザによって選択された局所領域Aの座標および/または距離を含む。処理部124は、制御信号CSに基づいて第2の時点での第2の画像キャプチャデバイス123に対する局所領域Aの空間座標を判定することができる。
図6は、図5の検査領域画像I1における平面座標と3次元空間との関係を示す。図6内の位置P1は、第1の時点における空間内の第1の画像キャプチャデバイス122の1点(例えば、中心または幾何学的中心)の位置を表す。位置P2は、空間内の局所領域Aの1点(例えば、中心または幾何学的中心)を表す。位置P3は、第2の時点における空間内の第2の画像キャプチャデバイス123の1点(例えば、中心または幾何学的中心)の位置を表す。位置P2に対応する局所領域Aの1点の座標は、画像平面座標系TCにおいて位置(u、v)である。一実施形態では、制御信号CSは位置(u、v)を含む。一実施形態では、処理部124は、画像平面座標系TC(すなわち、図6の軸Xおよび軸Yによって定義される画像平面座標系)に垂直な軸(例えば、光軸OA)に沿った第1の画像キャプチャデバイス122の位置P1と局所領域Aの位置P2との間の距離を推定距離値Dとして推定する。第1の時点における第1の画像キャプチャデバイス122に対する局所領域Aの1点(たとえば、位置P2)の第1の3次元座標値P”は、推定距離値Dおよび位置(u、v)に基づいて次式(3)により算出される。式(3)において、x、yおよびzは、第1の3次元座標値P”の値を表す。図6において、空間座標は、原点としてP1を使用し、座標の中心として光軸を使用する。この実施形態では、画像座標は、画像の左上隅を原点として使用し、cxおよびcyは、第1の画像キャプチャデバイス122の固有のパラメータであり、それぞれ、第1の画像キャプチャデバイス122の水平中心点座標および垂直中心点座標を表す。すなわち、画像平面座標系TCにおける光軸OAの座標値である。fxおよびfyは、第1の画像キャプチャデバイス122の固有のパラメータであり、それぞれX軸およびY軸に沿った第1の画像キャプチャデバイス122の焦点距離を表し、zは画像平面座標系TCに垂直な方向を表す。推定距離値Dは、z方向における位置P2と位置P1との間の距離である。要するに、ステップS4において、処理部124は、位置(u,v)に基づいて、第1の時刻における第1の画像キャプチャデバイス122に対する局所領域Aの一点(例えば位置P2)の第1の3次元座標値P”を算出する。
Figure 0007008736000001
・・・式(3)
ステップS5において、例えば、以下の式(4)を用いて、第1の時点での第1の画像キャプチャデバイス122に対する第1の3次元座標値P”を第2の時点での第2の画像キャプチャデバイス123に対する第2の3次元座標値P’に変換する。したがって、駆動部125を第2の3次元座標値P’に従って駆動して、局所領域Aが第2の画像キャプチャデバイス123の視野に入るように、第2の画像キャプチャデバイス123を回転させることができ、その後、第2の画像キャプチャデバイス123を使って局所領域Aの局所領域画像をキャプチャすることができる。具体的には、式(4)における相対並進関係Tおよび相対回転関係Rは、ステップS3において式(1)および(2)により算出された、第1の時点の第1の画像キャプチャデバイス122と第2の時点の第2の画像キャプチャデバイス123との間の並進量および/または回転量である。式(4)から導出される変換により、処理部124は、第1の時点における第1の画像キャプチャデバイス122に対する局所領域Aの1点(例えば、位置P2)の第1の3次元座標値P”を変換して第2の時点における第2の画像キャプチャデバイス123に対する局所領域Aの1点(例えば位置P2)の第2の3次元座標値P’を取得することができる。
P’=RP”+T・・・式(4)
ステップS6において、処理部124は駆動部125に、ステップS1~S5から得られた計算結果に応じて回転するよう命令して、局所領域Aが第2の画像キャプチャデバイス123の視野に入るようにする。
ステップS7において、第2の画像キャプチャデバイス123によって、局所領域Aの一部または全部を含む局所領域画像I2をキャプチャする。一実施形態では、局所領域画像I2は、局所領域Aの画像の一部(たとえば、局所領域Aの左半分または下半分の画像、または局所領域Aの中央領域の画像)、または局所領域Aの画像全体(たとえば、局所領域Aの画像と一致する画像、または局所領域Aおよびその外側を含む画像)を含むことができる。本開示の一実施形態によれば、検査対象の画像を正確にキャプチャすることができる。一実施形態では、局所領域Aが上述の方法で第2の画像キャプチャデバイス123の視野内に導入された後、第2の画像キャプチャデバイス123の視野をズームインにより狭めて、局所領域Aが第2の画像キャプチャデバイス123の視野から外れない限り、できるだけ局所領域Aに焦点を合わせることができる。さらに、第2の3次元座標値P”をさらに補正するために画像キャプチャの精度に影響を及ぼし得る他の要因を考慮することもできるが、本開示はそれに限定されない。たとえば、画像キャプチャの精度に影響を及ぼす要因には、たとえば、魚眼レンズの使用に起因するレンズの半径方向の歪みと接線方向の歪みがある。
図3Bを参照されたい。図3Bは、本開示の一実施形態による別の画像キャプチャ方法のフローチャートである。この画像キャプチャ方法は、図1に示す画像キャプチャシステム100により実行することができる。図3Bは図3Aに類似する。同じステップとコンポーネントは同じ符号で示されている。図3Bに示す画像キャプチャ方法は、画像キャプチャ装置120により実行されるステップS1~S7を含むだけでなく、ステップS1とS2の間にオペレーティング装置110により実行されるステップS101~S103も含む。
ステップS101において、オペレーティング装置110が、画像キャプチャ装置120により送信される画像信号ISを受信する。画像信号ISは、第1の時点で第1の画像キャプチャデバイス122によりキャプチャされた検査領域画像I1と、第1の時点に対応するタイムスタンプとを含む。ステップS102において、オペレーティング装置110またはオペレーティング装置110のスクリーンを介して、検査領域画像I1から検査対象領域の局所領域Aが選択され、対応する制御信号CSが生成される。制御信号CSは、選択された局所領域Aの画像特徴、座標および/または距離、ならびに第1の時点に対応するタイムスタンプを含む。ステップS103において、オペレーティング装置110は制御信号CSを第2の画像キャプチャデバイス123に送信する。したがって、後続のステップS2~S7において、画像キャプチャ装置120は、オペレーティング装置110によって送信された制御信号CSを受信し、対応する後続の処理を実行することができる。
一実施形態では、上記のステップS4における推定距離値Dは、推定誤差に基づいて計算された不正確な第2の3次元座標値P’をもたらし得る。一実施形態では、推定距離値Dおよび/または第2の3次元座標値P’が正しいか否かをさらに画像特徴照合ステップにより判定し、推定距離値Dおよび/または第2の3次元座標値P’を補正ステップにより補正することができる
図7は、本開示の一実施形態による画像キャプチャ方法のフローチャートである。一実施形態では、図7は、図3A及び/又は図3BのステップS7に続くものとしてよい。図8は、図1の画像キャプチャ装置のいくつかのコンポーネントの概略ブロック図である。一実施形態では、第1の画像一時記憶部127および/または第2の画像一時記憶部128は1つの記憶装置に構成しても、または独立の記憶装置としてもよい。図7及び図8を参照すると、画像キャプチャ装置120の第1の画像一時記憶部127は検査領域画像I1を記憶するために使用され、画像キャプチャ装置120の第2の画像一時記憶部128は第2の時点での局所領域画像I2を記憶するために使用される(ステップS8)。一実施形態では、第1の画像一時記憶部127は、検査領域画像I1と検査領域画像I1内の局所領域Aの座標および/または距離とを記憶する。一実施形態では、第1の画像一時記憶部127は局所領域Aの内容を記憶する。処理部124は、第1の画像一時記憶部127に記憶された画像と第2の画像一時記憶部128に記憶された画像との画像一致度が閾値より大きいか否かを判定する(ステップS9)。一実施形態では、処理部124が、第1の画像一時記憶部127に記憶された画像と第2の画像一時記憶部128に記憶された画像との画像一致度が閾値以上であると判定した場合、推定距離Dおよび/または第2の3次元座標値P’が実際の距離値に近いと判定され、処理部124が第1の画像一時記憶部に記憶された画像および第2の画像一時記憶部128に記憶された画像の中心からの距離を計算して第2の画像キャプチャデバイス123の補正回転量を判定する(ステップS10)。第1の画像一時記憶部127に記憶された画像と第2の画像一時記憶部128に記憶された画像との画像一致度が閾値よりも低い場合、推定距離値Dおよび/または第2の3次元座標値P’が実際の距離値からずれていると判定され、処理部124が推定距離値Dを補正して、第2の画像キャプチャデバイス123の補正回転量を判定する(ステップS11)。
処理部124は、第2の画像キャプチャデバイス123の補正回転量に応じて、第2の画像キャプチャデバイス123を回転および/またはズーム制御する(ステップS12)。処理部124は、第1の画像一時記憶部127および/または第2の画像一時記憶部128を更新するために使用される(ステップS13)。
一実施形態において、ステップS9において、処理部124は、第1の画像一時記憶部127によって記憶された画像と第2の画像一時記憶部128によって記憶された画像に対して画像特徴照合ステップを実行して、2つの画像間の画像一致度が高いか低いかを判定する。一実施形態では、処理部124は、2つの画像間の画像一致度が閾値以上であるか、閾値未満であるかを判定することができる。例えば、第1の画像一時記憶部127が検査領域画像I1を記憶し、第2の画像一時記憶部128が局所領域画像I2を記憶する場合、処理部124は、検査領域画像I1の局所領域Aと局所領域画像I2との画像一致度が閾値以上であるか否かを判定することができる。
一実施形態において、処理部124は、以下の方法により、第1の画像一時記憶部127の検査領域画像I1と第2の画像一時記憶部128の局所領域画像I2との画像一致度を判定する。第2の画像一時記憶部128の局所領域画像I2において、探索窓を使って検査領域画像I1の局所領域Aに対応する画像の閾値よりも大きい領域およびその座標(例えば、中心座標)を探索し、探索した座標の局所領域画像I2の中心からの偏差を判定することによって推定距離値Dと実際の値との間の偏差を判定することができる。
ステップS10において、処理部124は、第1の画像一時記憶部127に記憶された画像と第2の画像一時記憶部128に記憶された画像との画像一致度の比較結果に基づいて補正ステップを実行することができる。例えば、第1の画像一時記憶部127が検査領域画像I1を記憶し、第2の画像一時記憶部128が局所領域画像I2を記憶し、処理部124が検査領域画像I1と局所領域画像I2との画像一致度が閾値以上であると判定するとき、補正回転量が、局所領域画像I2から探索される対応する局所領域A’(例えば、検査領域画像I1の局所領域Aと閾値より大きい画像一致度を有する局所領域画像I2内の領域)の中心座標と局所領域画像I2の中心座標との間の距離を判定することによって判定される。一実施形態では、局所領域画像I2から探索された局所領域A’の中心座標と局所領域画像I2の中心座標との間の距離が判定された後に、補正回転量を判定するために、第2の画像キャプチャデバイス123の固有パラメータ(事前に設定または較正される)を使用することができる。代わりに、別の実施形態では、処理部124は、検査領域画像I1の画像特徴部の位置および局所領域画像I2の画像面積の割合を判定することにより、補正回転量を判定してよい。
ステップS11において、処理部124は、画像一致度の特徴監視結果に従って補正ステップを実行することができる。例えば、第1の画像一時記憶部127が検査領域画像I1を記憶し、第2の画像一時記憶部128が局所領域画像I2を記憶し、処理部124が検査領域画像I1と局所領域画像I2との画像一致度が閾値よりも低いと判定すると、処理部124が推定距離値Dを補正する。第1の3次元座標値P”が補正された推定距離値および座標値に従って補正され、第2の3次元座標値P’が第1の3次元座標値P”に従って補正され、処理部124が補正された第2の3次元座標値P’に従って補正回転量を判定し、補正回転量に応じた回転を駆動部126に命令する。処理部124を介した推定距離値の補正の詳細に関して、この補正は様々な異なる方法で実施することができるが、本開示はそれらに限定されない。一実施形態では、回転量が補正された後、局所領域画像I2が再度取得され、第1の画像一時記憶部127および第2の画像一時記憶部128に記憶された画像間の画像一致度を計算するステップS9および後続のステップが、局所領域画像I2の検索窓内に閾値より大きな画像一致度を有する領域が見つかるまで繰り返される。処理部124は、最後に使用した回転量および局所領域画像I2で見つかった相関領域の中心座標偏差に応じて、第2の時点での第1の画像キャプチャデバイス122と第2の画像キャプチャデバイス123との間の推定距離および並進量および/または回転量を補正することができる。一実施形態では、処理部124は、推定距離値Dを補正するために3D再構成の分野の技術を使用する。例えば、処理部124は、推定距離値Dおよび推定並進量および/または回転量を修正するために、以下の技術のいずれか1つまたはいくつか、例えば補正ステレオ画像推定テクノロジー、ビデオオドメトリーテクノロジー、SfM(Structure from Motion)テクノロジー、拡張カルマンフィルターテクノロジー、視覚的同期ポジショニングおよび視覚的スラムテクノロジーを使用することができる。一実施形態では、処理部124は、図3Aに示すステップS4において、複数の異なる推定距離値を使用して複数の第1の3次元座標値P”を補正し、図3AのステップS5において、補正された複数の第1の3次元座標値P”を使用して複数の第2の3次元座標値P’を補正することにより、複数の推定距離値に対応する複数の第2の3次元座標値P’を判定することができる。さらに、処理部124は、複数の第2の3次元座標値P’のどの組が比較結果に近いかを検査領域画像I1と局所領域画像I2との画像一致度に基づいて判定することによって、第2の画像キャプチャデバイス123の補正回転量を判定することができる。一実施形態では、検査領域画像I1と局所領域画像I2との間の撮影角度の差が大きすぎて、画像一致度が低くなることがあり得る。したがって、処理部124は、駆動部125を制御して、複数の異なるプリセット回転量に応じて回転させ、画像一致度が閾値以上になるまで、各プリセット回転量で対応する局所領域画像I2を撮影することもできる。一実施形態では、第2の画像キャプチャデバイス123の焦点倍率の差が大きすぎて、画像の対応が低くなることもあり得る。したがって、処理部124は、複数の異なるプリセット焦点距離に応じてズームを実行し、画像一致度がより大きくなるまで各プリセット焦点距離を調整した後に対応する局所領域画像I2を撮影するように第2の画像キャプチャデバイス123を制御することもできる。一実施形態では、処理部124は、視覚慣性オドメトリ技術を使用し、図3Aに示すステップS3~S5を実行して、動的並進Td、動的相対角度Rdおよび/または補償回転量Rcを補正し、補正された第2の3次元座標値を判定することができ、それに応じて推定距離値を補正することができる。したがって、処理部124は、ステップS11で距離推定値を補正し、それに応じて第2の画像キャプチャデバイス123の補正回転量を判定することができる。
別の実施形態では、ステップS10およびステップS11の一方のみが実行されるように選択されることに限定されない。処理部124は、ステップS10およびステップS11を並行にまたは順に実行して、第2の画像キャプチャデバイス123の補正回転量を異なる方法で同時に算出してもよい。
次に、処理部124は、駆動部125に、補正回転量に応じて第2の画像キャプチャデバイス123の回転および/または焦点距離を調整するよう命令する(ステップS12)。具体的には、処理部124は、ステップS10および/またはステップS11で判定された第2の画像キャプチャデバイス123の補正回転量に応じて、補正画像I3(本開示に図示せず)を回転させて撮影するよう駆動部125に命令する。処理部124による第2の画像キャプチャデバイス123の焦点距離の判定の詳細に関して、補正は様々な異なる方法で実行することができ、本開示はそれに限定されるものではない。一実施形態では、処理部124は、検査領域画像I1内の局所領域Aの面積と補正画像I3内の局所領域Aの面積とを判定し、両面積の比に従って第2の画像キャプチャデバイス123の焦点距離を判定することができる。一実施形態では、処理部124は、補正された推定距離値および補正された第2の3次元座標値に従って第2の画像キャプチャデバイス123の焦点距離を判定することができる。
最後に、ステップS13において、処理部124は、次の画像キャプチャ動作を実行するために第1の画像一時記憶部127および/または第2の画像一時記憶部128に記憶されたデータを更新することができる。一実施形態では、処理部124は、局所領域Aに対してズーム操作を実行することができる。局所領域Aのズーム画像を取得するために、処理部124は、第1の画像一時記憶部127および/または第2の画像一時記憶部128を更新する。具体的には、処理部124は、第2の画像一時記憶部128に元々記憶されていた局所領域画像I2を第1の画像一時記憶部127に移し、最新(例えば、第2の時点の後の第3の時点)の第2の画像キャプチャデバイス123によりキャプチャされた画像を第2の画像一時記憶部128に入れる。例えば、第2の画像キャプチャデバイス123は、第3の時点で局所領域Aの画像をより高い倍率でキャプチャすることができる。ステップS9~S13を再帰的に実行することにより、異なる倍率および異なる撮影角度での検査対象の局所領域Aの画像をより好適に取得することができる。一実施形態では、処理部124は、慣性検出装置126によって検出される時間変化と主剛体121の並進量および/または回転量に従って、ならびに図3Aに示すステップS3~S5に従って、対応する第2の3次元座標値を判定することができる。処理部124が第1の画像一時記憶部127および/または第2の画像一時記憶部128を更新した後、画像キャプチャ装置120は、ステップS9~S13を実行して、第2の時点で第2の画像キャプチャデバイスによってキャプチャされた画像と第3の時点で第2の画像キャプチャデバイス123によりキャプチャされた画像との間の画像一致度が閾値より大きいか否かを第1の画像一時記憶部127に記憶された画像および第2の画像一時記憶部128に記憶された画像に基づいて判定する。このようにして、画像キャプチャ装置120は、ステップS10および/またはステップS11により第2の画像キャプチャデバイス123の補正回転量を判定し、ステップS12により同一または異なる検査対象領域を撮影することができる。一実施形態では、処理部124は、プリセット時間隔が経過したと判定されたとき、第1の画像一時記憶部127および/または第2の画像一時記憶部128を更新することができる。一実施形態では、処理部124は、慣性検出装置126がプリセットの移動量および/またはプリセットの回転量よりも大きい主剛体121の並進量および/または回転量を検知するとき、第1の画像一時記憶部127および/または第2の画像一時記憶部128を更新することができる。要するに、画像キャプチャ装置120は、上述した第1の画像一時記憶部127および第2の画像一時記憶部128の更新動作により、ユーザにより選択された検査領域画像I1の局所領域Aを連続的に撮影することができる。ユーザは、局所領域Aを連続的に検査することができる。あるいは、ユーザの命令に従って画像キャプチャ装置120は局所領域Aにズームインすることができ、それにより、ユーザは局所領域Aのより鮮明な画像を検査することができる。局所領域Aにズームインするための複数のズームインステップに対応する複数の固有のパラメータは、事前に設定または較正することができる。
一施形態では、第1の画像一時記憶部127および第2の画像一時記憶部128(メモリまたは他の適切な形態のものでもよい)は処理部124に含めてもよい。加えて、処理部124はさらに、第1の画像キャプチャデバイス122および第2の画像キャプチャデバイス123によりキャプチャされた画像を時間セグメントで格納するために、第1の画像キャプチャデバイス122に対応する一時記憶スペースおよび第2の画像キャプチャデバイス123に対応する一時記憶スペースを含んでもよい。
例えば、処理部124は、例えば、中央処理装置(CPU)、または他のプログラム可能な汎用または特定用途向けマイクロ制御装置(MCU)、マイクロプロセッサ、デジタル信号プロセッサ(DSP)、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、グラフィック処理ユニット(GPU)、論理演算装置(ALU)、複合プログラマブルロジックデバイス(CPLD)、フィールドプログラマブルゲートアレイ(FPGA)、またはその他同様のコンポーネントまたは上記のコンポーネントの組み合わせ、を含むことができる。
第1の画像一時記憶部127および第2画像一時記憶部128は、別々に設けられた2つの記憶装置であってもよいし、第1の画像一時記憶部127および第2の画像一時記憶部128は統合して単一のメモリ装置としてもよい。例えば、第1の画像一時記憶部127および第2の画像一時記憶部128は、例えば、任意のタイプの固定または取り外し可能なランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、フラッシュメモリ、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、または複数のモジュール、さまざまなアプリケーション、または処理部124によって実行可能なさまざまなプログラムを格納する同様のコンポーネントまたは上記コンポーネントの組み合わせとしてもよい。
例えば、慣性検出装置126は、例えば、加速度センサー、角速度センサー、磁気誘導センサー、加速度計、三軸ジャイロスコープ、六軸ジャイロスコープ、磁力計等または位置や角度の変化を検出するためのそれらの組み合わせとしてもよい。
本発明の画像キャプチャ方法および画像キャプチャ装置は、無人航空機に適用することができる。
100:画像キャプチャシステム
110:オペレーティング装置
120:画像キャプチャ装置
121:主剛体
122:第1の画像キャプチャデバイス
123:第2の画像キャプチャデバイス
124:処理部
125:駆動部
126:慣性センサー
127:第1の画像一時記憶部
128:第2の画像一時記憶部
A:局所領域
cx、cy、u、v:座標
D:距離
I1:検査領域画像
I2:局所領域画像
IS、CS:信号
OA:光軸
P1、P2、P3:位置
S1~S13、S101~S103:ステップ
TC:画像平面座標系
X、Y:軸

Claims (18)

  1. 画像キャプチャデバイスに適した画像キャプチャ方法であって、
    検査領域の検査領域画像を第1の時点で第1の画像キャプチャデバイスによってキャプチャするステップと、
    前記第1の時点の後の第2の時点で、前記検査領域画像内の局所領域に対応する制御信号を受信するステップと、
    処理部によって、前記第1の時点における前記第1の画像キャプチャデバイスと前記第2の時点における第2の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくともつを計算するステップと、
    前記処理部によって、前記制御信号に応じて、前記第1の時点における前記第1の画像キャプチャデバイスに対する前記局所領域の第1の3次元座標値を計算し、前記第1の3次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも1つに従って、前記第2の時点における前記第2の画像キャプチャデバイスに対する第2の3次元座標値に変換するステップと、
    駆動部によって、前記第2の画像キャプチャデバイスを前記第2の3次元座標値に応じた回転量で回転させるように駆動するステップと、
    前記第2の画像キャプチャデバイスによって前記局所領域に対応する局所領域画像をキャプチャするステップと、
    を備え
    前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスは飛行体に搭載され、
    前記相対並進関係および前記相対回転関係の少なくとも1つを計算するステップは、
    前記飛行体上の第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスの相対位置および相対角度の少なくとも1つと、前記第1の時点から前記第2の時点までの前記飛行体の並進量および回転量の少なくとも1つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも1つを計算するステップ、
    を備える、画像キャプチャ方法。
  2. 請求項に記載の画像キャプチャ方法において、前記第1の画像キャプチャデバイスは前記飛行体の本体に搭載され、前記第2の画像キャプチャデバイスは前記飛行体の自己安定化装置に搭載され、前記自己安定化装置は前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記相対並進関係及び前記相対回転関係の少なくとも1つを計算するステップはさらに、
    前記相対並進関係及び前記相対回転関係の少なくとも1つを前記補償回転量に基づいて計算するステップ、
    を備える、画像キャプチャ方法。
  3. 請求項1または2に記載の画像キャプチャ方法において、前記第1の3次元座標値を計算するステップは、
    前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第1の時点における前記第1の画像キャプチャデバイスと前記局所領域内の1点との間の距離を、推定距離値として推定するステップと、
    前記推定距離値と前記画像平面座標系内の前記局所領域内の前記1点の座標値とに基づいて前記第1の画像キャプチャデバイスに対する前記局所領域内の前記1点の前記第1の3次元座標値を計算するステップと、
    を備える、画像キャプチャ方法。
  4. 請求項に記載の画像キャプチャ方法において、画像特徴照合ステップをさらに備え、前記画像特徴照合ステップは、
    前記第1の時点における前記検査領域画像を第1の画像一時記憶部により記憶し、前記第2の時点における前記局所領域画像を第2の画像一時記憶部により記憶するステップと、
    前記処理部によって、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するステップと、
    を備える、画像キャプチャ方法。
  5. 請求項に記載の画像キャプチャ方法において、さらに補正ステップを備え、前記補正ステップは、
    前記処理部によって、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の前記画像一致度が前記閾値より小さいとき、前記推定距離値を補正するステップと、
    前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記1点の座標値とに基づいて前記第1の3次元座標値を補正するステップと、
    前記補正された第1の3次元座標値に基づいて前記第2の3次元座標値を補正するステップと、
    前記処理部によって、前記補正された第2の3次元座標値に基づいて補正回転量を判定し、前記補正回転量に応じて前記第2の画像キャプチャデバイスを回転させるように前記駆動部に命令するステップと、
    を備える、画像キャプチャ方法。
  6. 請求項に記載の画像キャプチャ方法において、さらに、
    前記局所領域の別の局所領域画像を第3の時点で前記第2の画像キャプチャデバイスによりキャプチャするステップと、
    前記局所領域画像を前記第1の画像一時記憶部により記憶し、前記別の局所領域画像を前記第2の画像一時記憶部により記憶するステップと、
    前記処理部によって、前記第2の時点における前記第2の画像キャプチャデバイスと前記第2の時点の後の前記第3の時点における前記第2の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも1つを計算するステップと、
    前記処理部によって、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するステップと、
    前記処理部によって、前記第2の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも1つと、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに基づいて別の補正回転量を判定し、前記第2の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するステップと、
    を備える、画像キャプチャ方法。
  7. 請求項からのいずれか一項に記載の画像キャプチャ方法において、さらに補正ステップを備え、前記補正ステップは、
    前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の前記画像一致度が前記閾値以上であるとき、前記処理部によって、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定し、前記第2の画像キャプチャデバイスを前記補正回転量に応じて回転させるように前記駆動部に命令するステップを備え、
    前記局所領域画像内の前記対応する局所領域は、前記局所領域内で前記画像一致度が前記閾値以上である領域である、画像キャプチャ方法。
  8. 請求項1からのいずれか一項に記載の画像キャプチャ方法において、前記第1の3次元座標値を計算するステップは、
    前記処理部によって、画像平面座標系内の前記局所領域の座標値に基づいて前記第1の画像キャプチャデバイスに対する前記局所領域の前記第1の3次元座標値を計算するステップ、
    を備える、画像キャプチャ方法。
  9. 請求項1からのいずれか一項に記載の画像キャプチャ方法において、前記制御信号は、前記第1の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む、画像キャプチャ方法。
  10. 検査領域の検査領域画像を第1の時点でキャプチャするように構成された第1の画像キャプチャデバイスと、
    第2の画像キャプチャデバイスと、
    前記第1の時点における前記第1の画像キャプチャデバイスと第2の時点における前記第2の画像キャプチャデバイスとの間の相対並進関係および相対回転関係の少なくともつを計算するよう構成された処理部であって、前記第1の時点の後の前記第2の時点において前記検査領域画像内の局所領域に対応する制御信号を受信するよう構成され、前記制御信号に応じて、前記第1の時点における前記第1の画像キャプチャデバイスに対する前記局所領域の第1の3次元座標値を計算し、前記第1の3次元座標値を、前記相対並進関係および前記相対回転関係の少なくとも1つに従って、前記第2の時点における前記第2の画像キャプチャデバイスに対する第2の3次元座標値に変換するよう構成された、処理部と、
    前記第2の画像キャプチャデバイスを前記第2の3次元座標値に応じた回転量で回転させるよう駆動するよう構成された駆動部と、
    を備え、前記駆動部が前記第2の画像キャプチャデバイスを前記回転量で回転させた後で前記第2の画像キャプチャデバイスが前記局所領域の局所領域画像をキャプチャするように構成され
    前記第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスが搭載された飛行体を備え、前記処理部が、前記飛行体上の第1の画像キャプチャデバイスおよび前記第2の画像キャプチャデバイスの相対位置および相対角度の少なくとも1つと、前記第1の時点から前記第2の時点までの前記飛行体の並進量および回転量の少なくとも1つとに基づいて、前記相対並進関係および前記相対回転関係の少なくとも1つを計算するよう構成されている、画像キャプチャ装置。
  11. 請求項10に記載の画像キャプチャ装置において、前記飛行体は本体および自己安定化装置を備え、前記第1の画像キャプチャデバイスが前記本体に搭載され、前記第2の画像キャプチャデバイスが前記自己安定化装置に搭載され、前記自己安定化装置が前記本体の部分回転量に応じて補償回転量を発生するように構成され、前記処理部が前記補償回転量に基づいて前記相対並進関係及び前記相対回転関係の少なくとも1つを計算するよう構成されている、画像キャプチャ装置。
  12. 請求項10または11に記載の画像キャプチャ装置において、前記処理部が、前記検査領域画像が位置する画像平面座標系に垂直な軸に沿った、前記第1の時点における前記第1の画像キャプチャデバイスと前記局所領域内の1点との間の距離を、推定距離値として推定するよう構成され、且つ前記推定距離値と前記画像平面座標系内の前記局所領域内の前記1点の座標値とに基づいて前記第1の画像キャプチャデバイスに対する前記局所領域内の前記1点の前記第1の3次元座標値を計算するよう構成されている、画像キャプチャ装置。
  13. 請求項12に記載の画像キャプチャ装置において、第1の画像一時記憶部および第2の画像一時記憶部をさらに備え、前記第1の画像一時記憶部が前記第1の時点における前記検査領域画像を記憶するよう構成され、前記第2の画像一時記憶部が前記第2の時点における前記局所領域画像を記憶するよう構成され、前記処理部が、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の画像一致度が閾値より大きいか否かを判定するよう構成されている、画像キャプチャ装置。
  14. 請求項13に記載の画像キャプチャ装置において、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の前記画像一致度が前記閾値より小さいとき、前記処理部が、前記推定距離値を補正するよう構成され、前記補正された推定距離値と前記画像平面座標系における前記局所領域内の前記1点の前記座標値とに基づいて前記第1の3次元座標値を補正するよう構成され、前記補正された第1の3次元座標値に基づいて前記第2の3次元座標値を補正するよう構成され、且つ前記補正された第2の3次元座標値に基づいて補正回転量を判定するよう構成され、前記駆動部が、前記補正回転量に応じて前記第2の画像キャプチャデバイスを回転させるように構成されている、画像キャプチャ装置。
  15. 請求項14に記載の画像キャプチャ装置において、前記第2の画像キャプチャデバイスが第3の時点で前記局所領域の別の局所領域画像をキャプチャするよう構成され、前記第1の画像一時記憶部が前記局所領域画像を記憶するように構成され、前記第2の画像一時記憶部が前記別の局所領域画像を記憶するよう構成され、前記処理部が、前記第2の時点における前記第2の画像キャプチャデバイスと前記第2の時点の後の前記第3の時点における前記第2の画像キャプチャデバイスとの間の別の相対並進関係および別の相対回転関係の少なくとも1つを計算するよう構成され、前記処理部が、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の別の画像一致度が前記閾値より大きいか否かを判定するよう構成され、且つ前記処理部が、前記第2の画像キャプチャデバイスの前記別の相対並進関係および前記別の相対回転関係の少なくとも1つと、前記第1の画像一時記憶部の前記局所領域画像と前記第2の画像一時記憶部の前記別の局所領域画像との間の前記別の画像一致度が前記閾値より大きいか否かとに応じて別の補正回転量を判定し、前記第2の画像キャプチャデバイスを前記別の補正回転量に応じて回転させるように前記駆動部に命令するように構成されている、画像キャプチャ装置。
  16. 請求項13から15のいずれか一項に記載の画像キャプチャ装置において、前記第1の画像一時記憶部の前記検査領域画像と前記第2の画像一時記憶部の前記第2の時点における前記局所領域画像との間の前記画像一致度が前記閾値以上であるとき、前記処理部が、前記局所領域画像内の対応する局所領域の中心から前記局所領域画像の中心までの距離を計算して補正回転量を判定するよう構成され、前記駆動部が、前記第2の画像キャプチャデバイスを前記補正回転量に応じて回転させるように構成され、前記局所領域画像内の前記対応する局所領域は、前記局所領域内で前記画像一致度が前記閾値以上である領域である、画像キャプチャ装置。
  17. 請求項10から16のいずれか一項に記載の画像キャプチャ装置において、前記処理部が、画像平面座標系内の前記局所領域の座標値に基づいて前記第1の画像キャプチャデバイスに対する前記局所領域の前記第1の3次元座標値を計算するよう構成されている、画像キャプチャ装置。
  18. 請求項10から17のいずれか一項に記載の画像キャプチャ装置において、前記制御信号は、前記第1の時点に対応するタイムスタンプおよび前記局所領域の画像特徴を含む、画像キャプチャ装置。
JP2020038019A 2019-12-16 2020-03-05 画像キャプチャ方法および画像キャプチャ装置 Active JP7008736B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
TW108145972A TWI726536B (zh) 2019-12-16 2019-12-16 影像擷取方法及影像擷取設備
TW108145972 2019-12-16
US16/729,507 2019-12-30
US16/729,507 US11310423B2 (en) 2019-12-16 2019-12-30 Image capturing method and image capturing apparatus

Publications (2)

Publication Number Publication Date
JP2021096805A JP2021096805A (ja) 2021-06-24
JP7008736B2 true JP7008736B2 (ja) 2022-01-25

Family

ID=76318384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020038019A Active JP7008736B2 (ja) 2019-12-16 2020-03-05 画像キャプチャ方法および画像キャプチャ装置

Country Status (4)

Country Link
US (1) US11310423B2 (ja)
JP (1) JP7008736B2 (ja)
CN (1) CN112985359B (ja)
TW (1) TWI726536B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168437A (ja) * 2020-04-09 2021-10-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
US11611700B2 (en) * 2020-07-12 2023-03-21 Skydio, Inc. Unmanned aerial vehicle with virtual un-zoomed imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124399A (ja) 2008-11-21 2010-06-03 Mitsubishi Electric Corp 空中移動体からの自動追尾撮影装置
JP2017055325A (ja) 2015-09-11 2017-03-16 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
JP2018040992A (ja) 2016-09-08 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像装置、撮像システム、移動体、撮像方法、及びプログラム

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2148231C (en) 1993-01-29 1999-01-12 Michael Haysom Bianchi Automatic tracking camera control system
US6437819B1 (en) 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
US7522186B2 (en) 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7450735B1 (en) 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
US7768571B2 (en) 2004-03-22 2010-08-03 Angstrom, Inc. Optical tracking system using variable focal length lens
US20060203090A1 (en) 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
EP2278271B1 (en) * 2005-03-11 2012-05-23 Creaform Inc. Auto-referenced system and apparatus for three-dimensional scanning
US7801330B2 (en) 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
CN1968405A (zh) 2005-11-14 2007-05-23 耿征 广角或超广角全方位视觉监控方法和系统
JP5127820B2 (ja) 2006-04-20 2013-01-23 ファロ テクノロジーズ インコーポレーテッド カメラ利用標的座標計測方法
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
TWI369135B (en) 2007-12-31 2012-07-21 Nat Applied Res Lab Nat Ct For High Performance Computing Camera control system capable of positioning and tracking object in space and method thereof
US8180107B2 (en) 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
CN101572804B (zh) 2009-03-30 2012-03-21 浙江大学 多摄像机智能控制方法及装置
US20110310219A1 (en) * 2009-05-29 2011-12-22 Youngkook Electronics, Co., Ltd. Intelligent monitoring camera apparatus and image monitoring system implementing same
CN101860732B (zh) 2010-06-04 2014-08-27 天津市亚安科技股份有限公司 一种控制云台摄像机自动跟踪目标的方法
KR101302803B1 (ko) 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
CN102891959B (zh) * 2011-07-21 2015-06-03 宝硕财务科技股份有限公司 图像式摄影控制系统及其控制方法
US8861947B2 (en) * 2013-03-15 2014-10-14 Freefly Systems, Inc. Method and system for correcting camera pointing angle in an actively stabilized system to compensate for translational movements
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
US10366511B2 (en) * 2014-05-28 2019-07-30 Elbit Systems Land And C4I Ltd. Method and system for image georegistration
JP6784434B2 (ja) 2014-07-30 2020-11-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 方法、uav制御プログラム、無人航空機、及び制御システム
CN104197928B (zh) 2014-08-29 2017-01-18 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN108718405B (zh) * 2014-09-17 2019-11-26 深圳市大疆创新科技有限公司 自动白平衡系统及方法
CN106029501B (zh) * 2014-12-23 2019-05-14 深圳市大疆灵眸科技有限公司 Uav全景成像
NO339419B1 (en) * 2015-03-25 2016-12-12 FLIR Unmanned Aerial Systems AS Path-Based Flight Maneuvering System
CN204697158U (zh) 2015-06-16 2015-10-07 成都西可科技有限公司 一种具有保持实时拍摄图像竖直功能的航拍器
JP6673371B2 (ja) * 2015-07-08 2020-03-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 可動物体を使用して障害物を検出する方法及びそのシステム
WO2017017675A1 (en) * 2015-07-28 2017-02-02 Margolin Joshua Multi-rotor uav flight control method and system
WO2017028023A1 (en) * 2015-08-14 2017-02-23 SZ DJI Technology Co., Ltd. Gimbal having parallel stability mechanism
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
KR20170065235A (ko) * 2015-12-03 2017-06-13 삼성전자주식회사 소형 카메라 짐벌
WO2017128050A1 (zh) * 2016-01-26 2017-08-03 深圳市大疆创新科技有限公司 无人飞行器及多目成像系统
CN113589833A (zh) 2016-02-26 2021-11-02 深圳市大疆创新科技有限公司 用于视觉目标跟踪的方法
WO2017187220A1 (en) * 2016-04-24 2017-11-02 Hangzhou Zero Zero Technology Co., Ltd. System and method for aerial system control
CN109416535B (zh) * 2016-05-25 2022-11-11 深圳市大疆创新科技有限公司 基于图像识别的飞行器导航技术
CN106131454B (zh) * 2016-07-27 2019-10-25 苏州佳世达电通有限公司 一种影像撷取系统及影像撷取方法
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
WO2018095278A1 (zh) * 2016-11-24 2018-05-31 腾讯科技(深圳)有限公司 飞行器的信息获取方法、装置及设备
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
WO2018214155A1 (zh) * 2017-05-26 2018-11-29 深圳市大疆创新科技有限公司 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
US20190068829A1 (en) * 2017-08-24 2019-02-28 Qualcomm Incorporated Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions
US10788428B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Positioning system for aerial non-destructive inspection
TW201915582A (zh) * 2017-10-12 2019-04-16 圓展科技股份有限公司 影像擷取系統及其馬達定位方法
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
US10690525B2 (en) * 2018-01-03 2020-06-23 General Electric Company Systems and methods associated with unmanned aerial vehicle targeting accuracy
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
JP7092538B2 (ja) * 2018-03-30 2022-06-28 三菱電機株式会社 構造物の形状測定用の画像撮影システム、機上制御装置
US10721404B1 (en) * 2018-08-29 2020-07-21 Amazon Technologies, Inc. Configuring imaging devices based on control signals
WO2021076789A1 (en) * 2019-10-15 2021-04-22 Daniel Todd Kerzner Navigation using selected visual landmarks
US11880212B2 (en) * 2020-07-10 2024-01-23 Alarm.Com Incorporated Robot localization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124399A (ja) 2008-11-21 2010-06-03 Mitsubishi Electric Corp 空中移動体からの自動追尾撮影装置
JP2017055325A (ja) 2015-09-11 2017-03-16 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
JP2018040992A (ja) 2016-09-08 2018-03-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 撮像装置、撮像システム、移動体、撮像方法、及びプログラム

Also Published As

Publication number Publication date
CN112985359B (zh) 2023-02-28
TW202126023A (zh) 2021-07-01
JP2021096805A (ja) 2021-06-24
US20210185230A1 (en) 2021-06-17
TWI726536B (zh) 2021-05-01
US11310423B2 (en) 2022-04-19
CN112985359A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10970873B2 (en) Method and device to determine the camera position and angle
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
US9409656B2 (en) Aerial photographing system
JP5854655B2 (ja) 無人機、特に自動操縦下でホバリング飛行を行うことができる無人機の水平速度を評価する方法
JP6712330B2 (ja) 撮影制御装置、撮影制御方法及びプログラム
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
JP5992184B2 (ja) 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP5027747B2 (ja) 位置測定方法、位置測定装置、およびプログラム
JP5027746B2 (ja) 位置測定方法、位置測定装置、およびプログラム
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
JP2018013337A (ja) 飛行物体の誘導位置決め装置および方法
JP6988197B2 (ja) 制御装置、飛行体、および制御プログラム
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
JP2019128175A (ja) トンネル壁面検査装置及びトンネル壁面検査プログラム
JP7008736B2 (ja) 画像キャプチャ方法および画像キャプチャ装置
CN110728716B (zh) 一种标定方法、装置及飞行器
CN112050806B (zh) 一种移动车辆的定位方法及装置
CN111953892B (zh) 无人飞行器、检查方法
US20190116309A1 (en) Overhead line image capturing system and overhead line image capturing method
US10949981B2 (en) Position measuring method, position measuring apparatus, and position measuring system
JP2018146524A (ja) 測量システム
JP5716273B2 (ja) 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
JP2010145219A (ja) 運動推定装置及びプログラム
JP2021028188A (ja) ドローン撮影装置及び方法
JP6861592B2 (ja) データ間引き装置、測量装置、測量システム及びデータ間引き方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220111

R150 Certificate of patent or registration of utility model

Ref document number: 7008736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150