JP6399498B1 - 制御装置、撮像システム、移動体、制御方法、及びプログラム - Google Patents

制御装置、撮像システム、移動体、制御方法、及びプログラム Download PDF

Info

Publication number
JP6399498B1
JP6399498B1 JP2017126817A JP2017126817A JP6399498B1 JP 6399498 B1 JP6399498 B1 JP 6399498B1 JP 2017126817 A JP2017126817 A JP 2017126817A JP 2017126817 A JP2017126817 A JP 2017126817A JP 6399498 B1 JP6399498 B1 JP 6399498B1
Authority
JP
Japan
Prior art keywords
vibration
information
unit
control
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017126817A
Other languages
English (en)
Other versions
JP2019009751A (ja
Inventor
嘉懿 張
嘉懿 張
本庄 謙一
謙一 本庄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2017126817A priority Critical patent/JP6399498B1/ja
Priority to PCT/CN2017/114575 priority patent/WO2019000842A1/zh
Priority to CN201780065067.5A priority patent/CN109845240B/zh
Application granted granted Critical
Publication of JP6399498B1 publication Critical patent/JP6399498B1/ja
Publication of JP2019009751A publication Critical patent/JP2019009751A/ja
Priority to US16/723,193 priority patent/US20200137310A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0094Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20Rotors; Rotor supports
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur

Abstract

【課題】支持機構に回転可能に支持された撮像装置が撮像する場合に、撮像装置の振れ補正が適切に実行する。【解決手段】制御装置は、撮像装置を回転可能に支持する支持機構を制御する。制御装置は、撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報を取得する第1取得部53、振動発生部が発生させる振動に対応する支持機構(ジンバル50)の制御情報を取得する第2取得部59タイミング情報に示されるタイミングで、制御情報に基づいて支持機構を制御する制御部52を備える。【選択図】図2

Description

本発明は、制御装置、撮像システム、移動体、制御方法、及びプログラムに関する。
撮影時に用いられるシャッターの種類に応じて、振動センサで検出された振れ成分に対してメカニカルシャッターに起因する振れ成分を加算するか否かを判定するカメラシステムが開示されている。
特許文献1 特開2007−21933号公報
支持機構に回転可能に支持された撮像装置が撮像する場合に、撮像装置の振れ補正が適切に実行できない場合がある。
本発明の一態様に係る制御装置は、撮像装置を回転可能に支持する支持機構を制御する。制御装置は、撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報を取得する第1取得部を備えてよい。制御装置は、振動発生部が発生させる振動に対応する支持機構の制御情報を取得する第2取得部を備えてよい。制御装置は、タイミング情報に示されるタイミングで、制御情報に基づいて支持機構を制御する制御部を備えてよい。
撮像装置は、着脱可能に装着されるレンズ部を有してよい。レンズ部は、振動発生部を含んでよい。
撮像装置は、振動発生部が発生させる振動の振動情報を記憶する記憶部を含んでよい。制御装置は、記憶部から振動情報を取得する第3取得部を備えてよい。制御装置は、第3取得部により取得された振動情報に基づいて制御情報を生成する生成部を備えてよい。
第2取得部は、生成部により生成された制御情報を取得してよい。
レンズ部は、制御情報を記憶する記憶部を含んでよい。第2取得部は、記憶部から制御情報を取得してよい。
第2取得部は、複数のレンズ部のそれぞれの識別情報に対応付けて、複数のレンズ部のそれぞれが有する振動発生部が発生させる振動に対応する支持機構の制御情報を記憶する記憶部から、撮像装置に装着されたレンズ部の識別情報に対応する制御情報を取得してよい。
制御装置は、複数のレンズ部のそれぞれの識別情報に対応付けて、複数のレンズ部のそれぞれが有する振動発生部が発生させる振動の振動情報を記憶する記憶部から、撮像装置に装着されたレンズ部の識別情報に対応する振動情報を取得する第3取得部を備えてよい。制御装置は、第3取得部により取得された振動情報に基づいて制御情報を生成する生成部を備えてよい。第2取得部は、生成部により生成された制御情報を取得してよい。
撮像装置は、支持機構に着脱可能に支持されてよい。制御装置は、複数のレンズ部のそれぞれの識別情報と、複数の支持機構のそれぞれの識別情報とに対応付けて、複数のレンズ部のそれぞれが有する振動発生部が発生させる振動の振動情報を記憶する記憶部から、撮像装置に装着されたレンズ部の識別情報と、撮像装置を支持する支持機構の識別情報とに対応する振動情報を取得する第3取得部を備えてよい。制御装置は、第3取得部により取得された振動情報に基づいて制御情報を生成する生成部を備えてよい。第2取得部は、生成部により生成された制御情報を取得してよい。
撮像装置は、支持機構に着脱可能に支持されてよい。第2取得部は、複数のレンズ部のそれぞれの識別情報と、複数の支持機構のそれぞれの識別情報とに対応付けて、複数のレンズ部のそれぞれが有する振動発生部が発生させる振動に対応する複数の支持機構のそれぞれの制御情報を記憶する記憶部から、撮像装置に装着されたレンズ部の識別情報と、撮像装置を支持する支持機構の識別情報とに対応する制御情報を取得してよい。
撮像装置は、振動発生部が発生させる振動の振動情報を記憶する記憶部を含んでよい。制御装置は、撮像装置から振動情報を取得する第3取得部を備えてよい。制御装置は、第3取得部により取得された振動情報に基づいて制御情報を生成する生成部を備えてよい。第2取得部は、生成部により生成された制御情報を取得してよい。
撮像装置は、制御情報を記憶する記憶部を含んでよい。第2取得部は、記憶部から制御情報を取得してよい。
制御部は、撮像装置の振動を検出するセンサからの検出信号と、制御情報とに基づいて支持機構を制御してよい。
制御装置は、タイミングより前の予め定められたタイミングで、撮像装置に対して振動発生部の駆動を指示する駆動指示部を備えてよい。制御装置は、撮像装置の振動を検出するセンサからの、予め定められたタイミングでの検出信号に基づいて、制御情報を生成する生成部を備えてよい。制御装置は、生成部により生成された制御情報を記憶する記憶部を備えてよい。第2取得部は、記憶部から制御情報を取得してよい。
第1取得部は、撮像装置からタイミング情報を取得してよい。
振動発生部は、シャッター、フィルタ、絞り、レンズ、レンズを移動させる機構部材のうちの少なくとも1つを含んでよい。
本発明の一態様に係る撮像システムは、上記制御装置を備えてよい。撮像システムは、支持機構を備えてよい。撮像システムは、撮像装置を備えてよい。
撮像装置は、制御情報に基づく支持機構の制御により抑制できない振動の残余成分に対する補正情報を取得する第4取得部を備えてよい。撮像装置は、タイミング情報に示されるタイミングで、補正情報に基づいて振れ補正を実行する振れ補正部を備えてよい。
本発明の一態様に係る撮像システムは、上記撮像システムを備えて移動する。
本発明の一態様に係る制御方法は、撮像装置を回転可能に支持する支持機構を制御する制御方法である。制御方法は、撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報、及び振動発生部が発生させる振動に対応する支持機構の制御情報を取得する段階を備えてよい。制御方法は、タイミング情報に示されるタイミングで、制御情報に基づいて支持機構を制御する段階を備えてよい。
本発明の一態様に係るプログラムは、撮像装置を回転可能に支持する支持機構をコンピュータに制御させるためのプログラムである。プログラムは、撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報、及び振動発生部が発生させる振動に対応する支持機構の制御情報を取得する段階をコンピュータに実行させてよい。プログラムは、タイミング情報に示されるタイミングで、制御情報に基づいて支持機構を制御する段階をコンピュータに実行させてよい。
本発明の一態様によれば、支持機構に回転可能に支持された撮像装置が撮像する場合に、撮像装置の振れ補正が適切に実行できなくなることを防止できる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
無人航空機(UAV)及び遠隔操作装置の外観の一例を示す図である。 UAVの機能ブロックの一例を示す図である。 制御情報及びレンズのそれぞれの識別情報を対応付けたテーブルの一例である。 制御情報、レンズ、及びジンバルのそれぞれの識別情報を対応付けたテーブルの一例である。 撮像装置とジンバルとの通信方法について説明するための図である。 シャッターの振動の抑制方法について説明するための図である。 シャッター動作のタイミングについて説明するための図である。 シャッター動作とジンバルの補正動作について説明するための図である。 ハードウェア構成の一例を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
以上のように構成されたUAV10において、撮像装置100及びジンバル50がそれぞれ振れ補正を実行することで、撮像装置100の振れ補正が適切に行われず、撮像装置100が所望の画像を撮像できない場合がある。例えば、UAV10に搭載された撮像装置100でシャッターを動作させると、UAV10がシャッターの動作に応じて振れてしまい、撮像装置100が所望の画像を撮像できない場合がある。
そこで、本実施形態では、撮像装置100が備えるシャッターなどの動作に応じて、ジンバル50が適切に振れ補正を行い、撮像装置100が振れることを防止する。
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ32、通信インタフェース34、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、ジンバル50、撮像装置60及び撮像装置100を備える。
通信インタフェース34は、遠隔操作装置300などの他の装置と通信する。通信インタフェース34は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ32は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ32は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ32は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
UAV制御部30は、メモリ32に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース34を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置、つまりUAV10の位置を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。
撮像装置100は、撮像部102及びレンズ部200を備える。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、ジャイロセンサ116、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。ジャイロセンサ116は、撮像装置100の振動を検出する。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
レンズ部200は、複数のレンズ210、複数のレンズ駆動部212、及びレンズ制御部220を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環などの機構部材を介して、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、機構部材を介して1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
レンズ部200は、メモリ222、位置センサ214、絞り234、絞り駆動部236、フィルタ238、フィルタ駆動部240、シャッター230、及びシャッター駆動部232をさらに有する。
レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ210の一部または全部は、光軸に沿って移動する。レンズ制御部220は、レンズ210の少なくとも1つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ214は、レンズ210の位置を検出する。位置センサ214は、現在のズーム位置またはフォーカス位置を検出してよい。
絞り234は、イメージセンサ120に入射される光の量を調整する。絞り234は、少なくとも一枚の羽部材を含んでよい。絞り駆動部236は、アクチュエータを含んでよい。アクチュエータは、電磁アクチュエータでよい。電磁アクチュエータは、電磁石、またはソレノイドでよい。絞り駆動部236は、レンズ制御部220からの指令を受けて、アクチュエータを駆動して、複数の羽部材の重なり度合いを調整して、絞り開口の大きさを調整してよい。
フィルタ238は、レンズ210を介して入射される光の光量を減光したり、特定の波長の光をカットしたりする。フィルタ238は、NDフィルタ、及び赤外線カットフィルタの少なくとも1つを含んでよい。フィルタ駆動部240は、アクチュエータを含んでよい。アクチュエータは、電磁アクチュエータでよい。電磁アクチュエータは、電磁石、またはソレノイドでよい。フィルタ駆動部240は、レンズ制御部220からの指令を受けて、アクチュエータを駆動して、入射される光が通過する第1位置と、入力される光の特定の波長成分が取り除かれる、もしくは入力される光が減衰する第2位置との間でフィルタ238を移動させる。
シャッター230は、少なくとも一枚の羽部材を含んでよい。シャッター駆動部232は、アクチュエータを含んでよい。アクチュエータは、電磁アクチュエータでよい。電磁アクチュエータは、電磁石、またはソレノイドでよい。シャッター駆動部232は、レンズ制御部220からの指令を受けて、アクチュエータを駆動して、複数の羽部材の重なり速度を調整して、光の透過と遮断とを所望の速度で切り替えてよい。
メモリ222は、レンズ駆動部212を介して移動する複数のレンズ210の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
このように構成されたレンズ部200が備えるシャッター230、フィルタ238、絞り234、レンズ210、またはレンズ210を移動させる機構部材が駆動することで、撮像装置100が振動することがある。本実施形態では、ジンバル50は、そのような振動の振動情報をシャッター230、フィルタ238、絞り234、レンズ210、レンズ210の機構部材が動作する前に取得しておく。ジンバル50は、シャッター230、フィルタ238、絞り234、レンズ210、またはレンズ210の機構部材が動作するタイミングも事前に取得しておく。そして、ジンバル50は、振動情報に応じてそのタイミングで、動作して、撮像装置100の振れを防止する。ここで、シャッター230、フィルタ238、絞り234、レンズ210、及びレンズ210の機構部材は、振動を発生させる振動発生部の一例である。以下、シャッター230を振動発生部の一例として説明する。
ジンバル50は、メモリ51、ジンバル制御部52、ジャイロセンサ59、及び回転機構58を備える。ジンバル制御部52は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。ジャイロセンサ59は、ジンバル50の振動を検出する。回転機構58は、アクチュエータを用いてロール軸及びヨー軸のそれぞれを中心に撮像装置100を回転可能に支持する。回転機構58は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転可能に支持してよい。
ジンバル制御部52は、取得部53、回転制御部54、及び生成部56を有する。取得部53は、シャッター230が振動を発生させるタイミングを示すタイミング情報を取得する。取得部53は、撮像装置100からタイミング情報を取得してよい。取得部53は、シャッター230が発生させる振動に対応するジンバル50の制御情報を取得する。取得部53は、第1取得部、第2取得部、及び第3取得部の一例である。回転制御部54は、タイミング情報に示されるタイミングで、制御情報に基づいてジンバル50を制御する。回転制御部54は、制御部の一例である。
レンズ部200のメモリ222にシャッター230が発生させる振動の振動情報を記憶しておいてよい。そして、取得部53は、レンズ部200から振動情報を取得してよい。生成部56は、取得部53により取得された振動情報に基づいて制御情報を生成してよい。取得部53は、生成部56により生成された制御情報を取得してよい。例えば、撮像装置100の出荷前に、実際に撮像装置100をジンバル50に搭載した状態でシャッター230を動作させ、その時の撮像装置100の振動をジャイロセンサ116で検出する。そして、ジャイロセンサ116で検出された検出信号に基づいて振動情報を生成し、その振動情報をメモリ222に登録しておいてよい。
メモリ222は、振動情報の代わりに振動情報に対応するジンバル50の制御情報を記憶してもよい。この場合、取得部53は、メモリ222から制御情報を取得してよい。制御情報は、ジンバル50が備えるモータに対する駆動命令を含んでよい。
振動情報または駆動情報は、メモリ51に記憶されてもよい。この場合、取得部53は、メモリ51から振動情報または駆動情報を取得してよい。取得部53は、ネットワーク上に存在するサーバからレンズ部200の振動に対応する振動情報または駆動情報を取得してもよい。
メモリ51は、複数のレンズ部、すなわち複数の交換レンズのそれぞれの識別情報に対応付けて、複数のレンズ部のそれぞれが有するシャッター230が発生させる振動に対応するジンバル50の制御情報を記憶してよい。この場合、取得部53は、撮像装置100に装着されているレンズ部200の識別情報をレンズ部200から取得してよい。そして、取得部53は、取得された識別情報に対応する制御情報をメモリ51から取得してよい。
メモリ51は、複数のレンズ部のそれぞれの識別情報に対応付けて、複数のレンズ部のそれぞれが有するシャッター230が発生させる振動の振動情報を記憶してよい。この場合、取得部53は、レンズ部200から取得したレンズ部200の識別情報に対応する振動情報をメモリ51から取得してよい。生成部56が、取得された振動情報に対応するジンバル50の制御情報を取得してよい。
レンズ部200とジンバル50との組み合わせにより撮像装置100の振動状態は変化する。すなわち、交換レンズの種類と、ジンバル50の種類との組み合わせによって、撮像装置100の振動状態は変化する。
そこで、例えば、UAV10が備えるメモリ32が、複数のレンズ部200のそれぞれの識別情報と、複数のジンバル50のそれぞれの識別情報とに対応付けて、複数のレンズ部200のそれぞれが有するシャッター230が発生させる振動の振動情報を記憶してよい。取得部53は、撮像装置100に装着されたレンズ部200からレンズ部200の識別情報を取得し、メモリ51から撮像装置100が支持されているジンバル50の識別情報を取得する。取得部53は、レンズ部200の識別情報と、ジンバル50の識別情報とに対応する振動情報をメモリ32から取得してよい。生成部56は、取得部53により取得された振動情報に基づいて制御情報を生成してよい。
メモリ32は、複数のレンズ部200のそれぞれの識別情報と、複数のジンバル50のそれぞれの識別情報とに対応付けて、複数のレンズ部200のそれぞれが有するシャッター230が発生させる振動に対応する複数のジンバル50のそれぞれの制御情報を記憶してよい。取得部53は、レンズ部200の識別情報と、ジンバル50の識別情報とに対応する振動情報をメモリ32から取得してよい。
撮像部102が備えるメモリ130が、シャッター230が発生させる振動の振動情報、または振動情報に対応する制御情報を記憶してもよい。
図3は、制御情報及びレンズのそれぞれの識別情報を対応付けたテーブルの一例を示す。メモリ51が、このテーブルを記憶してよい。取得部53は、レンズ部200から取得したレンズ部200の識別情報に対応する制御情報の識別情報をテーブルから読み出す。取得部53は、テーブルから読み出された制御情報の識別情報に対応する制御情報を、さらにメモリ51から取得してよい。
図4は、制御情報、レンズ、及びジンバルのそれぞれの識別情報を対応付けたテーブルの一例である。メモリ32は、このテーブルを記憶してよい。取得部53は、レンズ部200から取得したレンズ部200の識別情報と、メモリ51から取得したジンバル50の識別情報とに対応する制御情報の識別情報をテーブルから読み出す。取得部53は、テーブルから読み出された制御情報の識別情報に対応する制御情報を、さらにメモリ51から取得してよい。
取得部53は、撮像装置100からシャッター230が動作するタイミングを示すタイミング情報を取得してよい。回転制御部54は、タイミング情報に示されるタイミングで、取得部53により取得された制御情報に基づいてジンバル50を制御する。これにより、シャッター230の動作に伴い撮像装置100が振動することを防止できる。
ジンバル制御部52は、ジャイロセンサ59及びジャイロセンサ116からの検出信号に基づいて、フィードバック制御によりさらにジンバル50の回転を制御してもよい。すなわち、ジンバル制御部52は、制御情報に基づくフィードフォワード制御と、ジャイロセンサ59及びジャイロセンサ116からの検出信号に基づくフォードバック制御とを行ってよい。
ジンバル制御部52は、さらに駆動指示部57を有してよい。駆動指示部57は、撮影時にシャッター230が動作するタイミングより前の予め定められたタイミングで、撮像装置100に対してシャッター230の駆動を指示する。ジンバル制御部52は、例えば、UAV10の飛行前のキャリブレーションのタイミングで、撮像装置100に対してシャッター230の駆動を指示してよい。生成部56は、撮像部102のジャイロセンサ116から撮像装置100の振動に対応する検出信号を取得して、その検出信号からUAV10の飛行前のキャリブレーションのタイミングで、ジンバル50の制御情報を生成して、メモリ51に記憶してよい。
ジンバル50が、シャッター230の振動を完全に抑制できない可能性もある。その場合には、撮像装置100の振れ補正でその振動の残余成分を除去してよい。撮像制御部110は、取得部112、及び振れ補正部114を有してよい。取得部112は、制御情報に基づくジンバル50の制御により抑制できない振動の残余成分に対する補正情報を取得してよい。取得部112は、メモリ222またはメモリ130などに記憶された補正情報を取得してよい。振れ補正部114は、シャッター230が動作するタイミングで、補正情報に基づいて振れ補正を実行してよい。振れ補正部114は、いわゆる光学式振れ補正を実行してよい。すなわち、振れ補正部114は、シャッター230が動作するタイミングで、補正情報に基づいてレンズ210及びイメージセンサ120の少なくとも一方を駆動させることで、補正情報に基づく振れ補正を実行してよい。これにより、ジンバル50の制御により除去できない振動の残余成分を除去してよい。補正情報は、例えば、レンズ部200の出荷前の測定に基づいて生成されてよい。すなわち、実際に撮像装置100をジンバル50に搭載した状態でシャッター230を動作させ、かつジンバル50を制御情報に基づいて振れ補正を実行させる。その時の撮像装置100の振動の残余成分をジャイロセンサ116が検出する。撮像制御部110が、ジャイロセンサ116で検出された検出信号に基づいて補正情報を生成し、その補正情報をメモリ222に登録しておいてよい。例えば、シャッター230による撮像装置100の振動の周波数帯のうち、第1の周波数帯についてはジンバル50が補正し、第2の周波数帯については撮像装置100が補正してもよい。ジンバル50が、シャッター230による撮像装置100の振動の周波数帯のうちの第1の周波数帯の振動成分を、撮像装置100の姿勢制御により補正してよい。撮像装置100が、第1の周波数帯より低い第2の周波数帯の振動成分を光学式振れ補正により補正してもよい。第1の周波数帯は、第2の周波数帯より広くてよい。
図5に示すように、撮像装置100が備えるMCU100Aと、ジンバル50が備えるMCU50Aとは、GPIOポートを介して通信してよい。MCU100Aは、撮像制御部110として機能し、MCU50Aは、ジンバル制御部52として機能する。
ジンバル50は、図6に示すように、ジャイロセンサ116を介して撮像装置100全体の振動500を検出して、その振動500を抑制すべく、フィードバック制御で、撮像装置100の振動を抑制している。さらに、ジンバル50は、シャッター230が動作するタイミングで生じる撮像装置100の振動501を打ち消す振動502を与えるように、フォードフォワード制御で動作する。
図7及び図8に示すように、ジンバル50は、例えば遠隔操作装置300からUAV制御部30を介して撮像装置100のリレーズ指示を受信する(S100)。撮像装置100は、リレーズ指示を受信すると、ジンバル50にシャッター230を動作させるタイミングを示すタイミング情報をGPIO通信で通知する(S102)。撮像装置100は、例えば、1ms後にシャッター230を動作させることをジンバル50に通知する。通知後、ジンバル50及び撮像装置100のそれぞれのMCU50A及びMCU100Aは、タイマーのカウントを開始する(S104)。それぞれのタイマーで1msのカウントが終了すると、撮像装置100は、シャッター230を動作させ、ジンバル50は、シャッター230の振動に対応する制御情報に基づいて撮像装置100を振れさせる。ジンバル50は、予め定められた振動パターンで動作することで、補正動作を実行する。ジンバル50の制御により、シャッター230の動作による撮像装置100の振動501が、符号506で示すように打ち消される。
以上、本実施形態に係る撮像システムによれば、ジンバル50に回転可能に支持された撮像装置100が撮像する場合に、撮像装置100の振れ補正が適切に実行できなくなることを防止できる。
図9は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 UAV
20 UAV本体
30 UAV制御部
32 メモリ
34 通信インタフェース
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
50 ジンバル
51 メモリ
52 ジンバル制御部
53 取得部
54 回転制御部
56 生成部
58 回転機構
57 駆動指示部
59 ジャイロセンサ
60 撮像装置
100 撮像装置
102 撮像部
110 撮像制御部
112 取得部
114 振れ補正部
116 ジャイロセンサ
120 イメージセンサ
130 メモリ
200 レンズ部
210 レンズ
212 レンズ駆動部
214 位置センサ
220 レンズ制御部
222 メモリ
230 シャッター
232 シャッター駆動部
234 絞り
236 絞り駆動部
238 フィルタ
240 フィルタ駆動部
300 遠隔操作装置
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM

Claims (19)

  1. 撮像装置を回転可能に支持する支持機構を制御する制御装置であって、
    前記撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報を取得する第1取得部と、
    前記振動発生部が発生させる振動に対応する前記支持機構の制御情報を取得する第2取得部と、
    前記タイミング情報に示される前記タイミングで、前記制御情報に基づいて前記支持機構を制御する制御部と
    を備える制御装置。
  2. 前記撮像装置は、着脱可能に装着されるレンズ部を有し、
    前記レンズ部は、前記振動発生部を含む、請求項1に記載の制御装置。
  3. 前記撮像装置は、前記振動発生部が発生させる振動の振動情報を記憶する記憶部を含み、
    前記制御装置は、
    前記記憶部から前記振動情報を取得する第3取得部と、
    前記第3取得部により取得された前記振動情報に基づいて前記制御情報を生成する生成部と
    をさらに備え、
    前記第2取得部は、前記生成部により生成された前記制御情報を取得する、請求項2に記載の制御装置。
  4. 前記レンズ部は、前記制御情報を記憶する記憶部を含み、
    前記第2取得部は、前記記憶部から前記制御情報を取得する、請求項2に記載の制御装置。
  5. 前記第2取得部は、複数のレンズ部のそれぞれの識別情報に対応付けて、前記複数のレンズ部のそれぞれが有する振動発生部が発生させる振動に対応する前記支持機構の制御情報を記憶する記憶部から、前記撮像装置に装着された前記レンズ部の識別情報に対応する前記制御情報を取得する、請求項2に記載の制御装置。
  6. 複数のレンズ部のそれぞれの識別情報に対応付けて、前記複数のレンズ部のそれぞれが有する振動発生部が発生させる振動の振動情報を記憶する記憶部から、前記撮像装置に装着された前記レンズ部の識別情報に対応する前記振動情報を取得する第3取得部と、
    前記第3取得部により取得された前記振動情報に基づいて前記制御情報を生成する生成部と
    をさらに備え、
    前記第2取得部は、前記生成部により生成された前記制御情報を取得する、請求項2に記載の制御装置
  7. 前記撮像装置は、前記支持機構に着脱可能に支持され、
    前記制御装置は、
    複数のレンズ部のそれぞれの識別情報と、複数の支持機構のそれぞれの識別情報とに対応付けて、前記複数のレンズ部のそれぞれが有する振動発生部が発生させる振動の振動情報を記憶する記憶部から、前記撮像装置に装着された前記レンズ部の識別情報と、前記撮像装置を支持する前記支持機構の識別情報とに対応する前記振動情報を取得する第3取得部と、
    前記第3取得部により取得された前記振動情報に基づいて前記制御情報を生成する生成部と
    をさらに備え、
    前記第2取得部は、前記生成部により生成された前記制御情報を取得する、請求項2に記載の制御装置。
  8. 前記撮像装置は、前記支持機構に着脱可能に支持され、
    前記第2取得部は、複数のレンズ部のそれぞれの識別情報と、複数の支持機構のそれぞれの識別情報とに対応付けて、前記複数のレンズ部のそれぞれが有する振動発生部が発生させる振動に対応する複数の支持機構のそれぞれの制御情報を記憶する記憶部から、前記撮像装置に装着された前記レンズ部の識別情報と、前記撮像装置を支持する前記支持機構の識別情報とに対応する前記制御情報を取得する、請求項2に記載の制御装置。
  9. 前記撮像装置は、前記振動発生部が発生させる振動の振動情報を記憶する記憶部を含み、
    前記制御装置は、
    前記撮像装置から前記振動情報を取得する第3取得部と、
    前記第3取得部により取得された前記振動情報に基づいて前記制御情報を生成する生成部をさらに備え、
    前記第2取得部は、前記生成部により生成された前記制御情報を取得する、請求項1に記載の制御装置。
  10. 前記撮像装置は、前記制御情報を記憶する記憶部を含み、
    前記第2取得部は、前記記憶部から前記制御情報を取得する、請求項1に記載の制御装置。
  11. 前記制御部は、前記撮像装置の振動を検出するセンサからの検出信号と、前記制御情報とに基づいて前記支持機構を制御する、請求項1に記載の制御装置。
  12. 前記タイミングより前の予め定められたタイミングで、前記撮像装置に対して前記振動発生部の駆動を指示する駆動指示部と、
    前記撮像装置の振動を検出するセンサからの、前記予め定められたタイミングでの検出信号に基づいて、前記制御情報を生成する生成部と、
    前記生成部により生成された前記制御情報を記憶する記憶部と
    をさらに備え、
    前記第2取得部は、前記記憶部から前記制御情報を取得する、請求項1に記載の制御装置。
  13. 前記第1取得部は、前記撮像装置から前記タイミング情報を取得する、請求項1に記載の制御装置。
  14. 前記振動発生部は、シャッター、フィルタ、絞り、レンズ、及び前記レンズを移動させる機構部材のうちの少なくとも1つを含む、請求項1に記載の制御装置。
  15. 請求項1から14の何れか1つに記載の制御装置と、
    前記支持機構と、
    前記撮像装置と
    を備える撮像システム。
  16. 前記撮像装置は、
    前記制御情報に基づく前記支持機構の制御により抑制できない前記振動の残余成分に対する補正情報を取得する第4取得部と
    前記タイミングで、前記補正情報に基づいて振れ補正を実行する振れ補正部と
    を備える、請求項15に記載の撮像システム。
  17. 請求項16に記載の撮像システムを備えて移動する移動体。
  18. 撮像装置を回転可能に支持する支持機構を制御する制御方法であって、
    前記撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報、及び前記振動発生部が発生させる振動に対応する前記支持機構の制御情報を取得する段階と、
    前記タイミング情報に示される前記タイミングで、前記制御情報に基づいて前記支持機構を制御する段階と
    を備える制御方法。
  19. 撮像装置を回転可能に支持する支持機構をコンピュータに制御させるためのプログラムであって、
    前記撮像装置が備える振動発生部が振動を発生させるタイミングを示すタイミング情報、及び前記振動発生部が発生させる振動に対応する前記支持機構の制御情報を取得する段階と、
    前記タイミング情報に示される前記タイミングで、前記制御情報に基づいて前記支持機構を制御する段階と
    を前記コンピュータに実行させるためのプログラム。
JP2017126817A 2017-06-28 2017-06-28 制御装置、撮像システム、移動体、制御方法、及びプログラム Active JP6399498B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017126817A JP6399498B1 (ja) 2017-06-28 2017-06-28 制御装置、撮像システム、移動体、制御方法、及びプログラム
PCT/CN2017/114575 WO2019000842A1 (zh) 2017-06-28 2017-12-05 控制装置、摄像系统、移动体、控制方法及程序
CN201780065067.5A CN109845240B (zh) 2017-06-28 2017-12-05 控制装置、摄像系统、移动体、控制方法
US16/723,193 US20200137310A1 (en) 2017-06-28 2019-12-20 Control device, photographing system, movable body, and control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017126817A JP6399498B1 (ja) 2017-06-28 2017-06-28 制御装置、撮像システム、移動体、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6399498B1 true JP6399498B1 (ja) 2018-10-03
JP2019009751A JP2019009751A (ja) 2019-01-17

Family

ID=63708650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017126817A Active JP6399498B1 (ja) 2017-06-28 2017-06-28 制御装置、撮像システム、移動体、制御方法、及びプログラム

Country Status (4)

Country Link
US (1) US20200137310A1 (ja)
JP (1) JP6399498B1 (ja)
CN (1) CN109845240B (ja)
WO (1) WO2019000842A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112665710A (zh) * 2020-12-21 2021-04-16 陕西宝光集团有限公司 设备运行状态的检测方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6794600B2 (ja) * 2019-02-25 2020-12-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 光学フィルタ装置、撮像装置、撮像システム、及び移動体
CN110730287B (zh) * 2019-10-24 2021-07-30 深圳市道通智能航空技术股份有限公司 一种可拆换的云台相机、飞行器、系统及其云台拆换方法
JP7455558B2 (ja) 2019-11-28 2024-03-26 株式会社東芝 撮像装置とその空間安定化方法
JP6775208B1 (ja) * 2020-04-06 2020-10-28 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
JP2021189368A (ja) * 2020-06-03 2021-12-13 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co., Ltd 制御装置、撮像システム、制御方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208310A (ja) * 2006-01-30 2007-08-16 Tamagawa Seiki Co Ltd ジンバルを用いたディジタルカメラによる撮影方法
JP2017102446A (ja) * 2015-11-25 2017-06-08 パナソニックIpマネジメント株式会社 レンズ鏡筒

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245378A (en) * 1990-07-09 1993-09-14 Canon Kabushiki Kaisha Image stabilization device
US6035133A (en) * 1995-07-17 2000-03-07 Canon Kabushiki Kaisha Image blur prevention device
JP2001215543A (ja) * 2000-01-31 2001-08-10 Canon Inc 振れ補正装置
JP4415596B2 (ja) * 2003-07-28 2010-02-17 株式会社ニコン 撮影レンズ、およびカメラシステム
JP4634752B2 (ja) * 2004-07-09 2011-02-16 Hoya株式会社 像ぶれ補正機能を備えたカメラ
US8159542B2 (en) * 2005-11-11 2012-04-17 Panasonic Corporation Interchangeable lens, camera system, and its control method
JP4981325B2 (ja) * 2006-02-13 2012-07-18 キヤノン株式会社 カメラシステム
JP4778852B2 (ja) * 2006-07-13 2011-09-21 Hoya株式会社 像ブレ補正装置
JP5150070B2 (ja) * 2006-07-13 2013-02-20 ペンタックスリコーイメージング株式会社 像ブレ補正装置
JP2008157979A (ja) * 2006-12-20 2008-07-10 Olympus Imaging Corp デジタルカメラ
JP2008209849A (ja) * 2007-02-28 2008-09-11 Olympus Imaging Corp 撮像装置および一眼レフレックスカメラ
JP5123693B2 (ja) * 2007-03-13 2013-01-23 ペンタックスリコーイメージング株式会社 像ブレ補正装置
JP2009003220A (ja) * 2007-06-22 2009-01-08 Seiko Epson Corp 手ぶれ防止装置、手ぶれ防止方法及び撮像機器
JP2009251491A (ja) * 2008-04-10 2009-10-29 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
CN101726961A (zh) * 2008-10-27 2010-06-09 亚洲光学股份有限公司 一种摄像装置及其振动补偿控制的方法
US20110109752A1 (en) * 2009-11-11 2011-05-12 Omnivision Technologies, Inc. Image sensor with shaking compensation
JP2011135462A (ja) * 2009-12-25 2011-07-07 Canon Inc 撮像装置及びその制御方法
JP2012163852A (ja) * 2011-02-08 2012-08-30 Nikon Corp ブレ補正装置及び光学機器
CN103635856B (zh) * 2011-06-29 2015-06-17 奥林巴斯映像株式会社 照相机装置、更换镜头装置、照相机主体部及对焦控制方法
JP5597776B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 撮像装置及びその画質補正方法並びに交換レンズと撮像装置本体
WO2015060637A1 (ko) * 2013-10-25 2015-04-30 자화전자(주) 카메라 렌즈 모듈
CN105847701B (zh) * 2016-06-15 2019-02-15 维沃移动通信有限公司 一种摄像头的控制方法及电子设备
CN106375669B (zh) * 2016-09-30 2019-08-06 天津远度科技有限公司 一种稳像方法、装置和无人机

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007208310A (ja) * 2006-01-30 2007-08-16 Tamagawa Seiki Co Ltd ジンバルを用いたディジタルカメラによる撮影方法
JP2017102446A (ja) * 2015-11-25 2017-06-08 パナソニックIpマネジメント株式会社 レンズ鏡筒

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112665710A (zh) * 2020-12-21 2021-04-16 陕西宝光集团有限公司 设备运行状态的检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109845240A (zh) 2019-06-04
WO2019000842A1 (zh) 2019-01-03
JP2019009751A (ja) 2019-01-17
CN109845240B (zh) 2021-08-20
US20200137310A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
JP6399498B1 (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
JP6493702B2 (ja) 制御方法、撮像装置、撮像システム、移動体、制御方法、及びプログラム
JP2019191428A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6496953B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6565072B2 (ja) 制御装置、レンズ装置、飛行体、制御方法、及びプログラム
JP6544542B2 (ja) 制御装置、撮像装置、無人航空機、制御方法、及びプログラム
JP6331180B1 (ja) 制御装置、撮像装置、撮像システム、飛行体、制御方法、及びプログラム
JP6587006B2 (ja) 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム
JP6501091B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6838231B2 (ja) 制御装置、無人航空機、制御方法、及びプログラム
JP7048019B2 (ja) 制御装置、飛行体、制御方法、及びプログラム
JP6972458B1 (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP6543859B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
JP6565071B2 (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP2019205047A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
US11363195B2 (en) Control device, imaging device, imaging system, movable object, control method, and program
JP6519886B2 (ja) 撮像装置、撮像システム、移動体、方法、及びプログラム
JP7003357B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6459012B1 (ja) 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6710863B2 (ja) 飛行体、制御方法、及びプログラム
JP6409239B1 (ja) 撮像装置、撮像システム、飛行体、記録方法、及びプログラム
JP2021128208A (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
WO2018207284A1 (ja) レンズ装置、撮像システム、及び移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180827

R150 Certificate of patent or registration of utility model

Ref document number: 6399498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250