JP7043706B2 - 制御装置、撮像システム、制御方法、及びプログラム - Google Patents

制御装置、撮像システム、制御方法、及びプログラム Download PDF

Info

Publication number
JP7043706B2
JP7043706B2 JP2020102433A JP2020102433A JP7043706B2 JP 7043706 B2 JP7043706 B2 JP 7043706B2 JP 2020102433 A JP2020102433 A JP 2020102433A JP 2020102433 A JP2020102433 A JP 2020102433A JP 7043706 B2 JP7043706 B2 JP 7043706B2
Authority
JP
Japan
Prior art keywords
angle
image pickup
unit
imaging
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020102433A
Other languages
English (en)
Other versions
JP2021197619A (ja
Inventor
謙一 本庄
崇彦 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2020102433A priority Critical patent/JP7043706B2/ja
Publication of JP2021197619A publication Critical patent/JP2021197619A/ja
Application granted granted Critical
Publication of JP7043706B2 publication Critical patent/JP7043706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、制御装置、撮像システム、制御方法、及びプログラムに関する。
特許文献1には、「撮像システムは、第1撮像部と、第2撮像部と、第1撮像部によって撮像された第1の画像に基づいて、第2撮像部が搭載された移動体の移動を制御する第1の制御部と、第1撮像部によって撮像された画像に基づいて、被写体を特定する特定部と、特定部が特定した被写体が第2撮像部の撮像範囲に含まれるように制御する第2の制御部とを備える。」と記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2017-212531号公報
第1撮像部で撮像された画像に基づいて、第2撮像部の姿勢を制御する支持機構を制御して、第2撮像部の撮像範囲を調整することが望まれている。
本発明の一態様に係る制御装置は、第1撮像部と、第1撮像部より画角が狭い第2撮像部と、第2撮像部の姿勢を制御可能に第2撮像部を支持する支持機構とを備える撮像システムを制御する制御装置でよい。制御装置は、第1撮像部の画角を示す第1画角情報と、第2撮像部の画角を示す第2画角情報と、第2撮像部の姿勢を示す姿勢情報とに基づいて、第1撮像部により撮像される第1撮像領域と、第2撮像部により撮像される第2撮像領域との位置関係を特定するように構成される回路を備えてよい。回路は、位置関係に基づいて、第1撮像部により撮像される画像に、第2撮像領域の位置を示す指標を重畳して表示部に表示させるように構成されてよい。
回路は、画像上で指標を移動させることに対応して、第1画角情報と、第2画角情報とに基づいて、移動後の指標で示される第2撮像領域を撮像する第2撮像部の姿勢を特定するように構成されてよい。回路は、特定された第2撮像部の姿勢に基づいて、支持機構を制御するように構成されてよい。
指標のサイズは、第2撮像領域のサイズに対応してよい。回路は、画像上で指標のサイズを変化させることに対応して、変化後の指標のサイズに基づいて、第2撮像部の画角を調整するように構成されてよい。
回路は、移動後の指標で示される第2撮像領域に存在する第1被写体までの距離を特定するように構成されてよい。回路は、距離にさらに基づいて、移動後の指標で示される第2撮像領域を撮像する第2撮像部の姿勢を特定するように構成されてよい。
回路は、被写体までの距離に応じた第1撮像部により撮像される画像上における第2撮像領域のサイズ及び位置と第2撮像部の姿勢との予め定められた対応関係に基づいて、第1被写体までの距離に対応する第2撮像部の姿勢を特定するように構成されてよい。
回路は、第1撮像部で撮像される画像に基づいて、移動後の指標で示される第2撮像領域内に存在する第1被写体までの距離を特定するように構成されてよい。回路は、距離に基づいて、第2撮像部の合焦制御を実行するように構成されてよい。
本発明の一態様に係る撮像システムは、上記制御装置と、第1撮像部と、第2撮像部と、支持機構とを備えてよい。
撮像システムは、支持機構が設けられる把持部を備えてよい。第1撮像部は、把持部に設けられてよい。
表示部は、把持部に設けられてよい。把持部は、第2撮像部により撮像される画像を表示する他の表示部を有してよい。
本発明の一態様に係る制御方法は、第1撮像部と、第1撮像部より画角が狭い第2撮像部と、第2撮像部の姿勢を制御可能に第2撮像部を支持する支持機構とを備える撮像システムを制御する制御方法でよい。制御方法は、第1撮像部の画角を示す第1画角情報と、第2撮像部の画角を示す第2画角情報と、支持機構により制御される第2撮像部の姿勢を示す姿勢情報とに基づいて、第1撮像部により撮像される第1撮像領域と、第2撮像部により撮像される第2撮像領域との位置関係を特定する段階を備えてよい。制御方法は、位置関係に基づいて、第1撮像部により撮像される画像に、第2撮像領域の位置を示す指標を重畳して表示部に表示させる段階を備えてよい。
本発明の一態様に係るプログラムは、上記制御装置としてコンピュータを機能させるためのプログラムでよい。
本発明の一態様によれば、第1撮像部で撮像された画像に基づいて、第2撮像部の姿勢を制御する支持機構を制御して、第2撮像部の撮像範囲を調整できる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
撮像システムを前面から見た外観の一例を示す図である。 撮像システムを背面から見た外観の一例を示す図である。 撮像システムの機能ブロックを示す図である。 水平方向から見たメインカメラ及び広角カメラの画角、及びメインカメラの回転角度の一例を示す図である。 垂直方向から見たメインカメラ及び広角カメラの画角、及びメインカメラの回転角度の一例を示す図である。 メインカメラの光軸と広角カメラの光軸とが水平の場合に、メインカメラの光軸が広角カメラの光軸と重なると仮定した場合において、水平方向から見たメインカメラ及び広角カメラの画角、及びメインカメラの回転角度の一例を示す図である。 広角カメラの撮像領域とメインカメラの撮像領域との位置関係を示す座標系を示す図である。 画像上で画枠を移動させる場合の処理手順の一例を示すフローチャートである。 無人航空機及び遠隔操作装置の外観の一例を示す図である。 ハードウェア構成の一例を示す図である。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等の様なメモリ要素等を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM(登録商標))、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図1は、本実施形態に係る撮像システム10を前面から見た図である。図2は、撮像システム10を背面から見た図である。撮像システム10は、メインカメラ100、ジンバル200、把持部300、及び表示端末400を備える。ジンバル200は、メインカメラ100を、アクチュエータを用いてロール軸、ピッチ軸、ヨー軸のそれぞれを中心に回転可能に支持する。ジンバル200は、支持機構の一例である。ジンバル200は、ロール軸、ピッチ軸、及びヨー軸の少なくとも1つを中心にメインカメラ100を回転させることで、メインカメラ100の姿勢を変更、または維持してよい。ジンバル200は、ロール軸駆動機構201、ピッチ軸駆動機構202、及びヨー軸駆動機構203を備える。ジンバル200は、ヨー軸駆動機構203が固定される基部204をさらに備える。把持部300は、基部204に固定される。把持部300は、操作インタフェース301、表示部302、及び広角カメラ310を備える。メインカメラ100は、ピッチ軸駆動機構202に固定される。基部204は把持部300から機械的に取り外し可能でも良い。基部204は把持部300から電気的に取り外し可能でも良い。基部204は把持部300から電気的かつ機械的に取り外し可能でも良い。
操作インタフェース301は、メインカメラ100及びジンバル200を操作するための命令をユーザから受け付ける。操作インタフェース301は、メインカメラ100による撮影または録画を指示するシャッター/録画ボタンを含んでよい。操作インタフェース301は、撮像システム10の電源をオンまたはオフ、及びメインカメラ100の静止画撮影モードまたは動画撮影モードの切り替えを指示する電源/ファンクションボタンを含んでよい。
表示部302は、メインカメラ100により撮像される画像を表示してよい。表示部302は、メインカメラ100及びジンバル200を操作するためのメニュー画面を表示してよい。表示部302は、メインカメラ100及びジンバル200を操作するための命令を受け付けるタッチパネルディスプレイでよい。
広角カメラ310は、メインカメラ100より広い画角を有する。表示端末400は、広角カメラ310で撮像された画像を表示する表示部410と、内蔵カメラ401とを備える。表示端末400は、把持部300に着脱可能に装着される。表示端末400は、例えば、スマートフォンでよい。広角カメラ310は、第1撮像部の一例である。メインカメラ100は、広角カメラ310より画角が狭い第2撮像部の一例である。広角カメラ310の代わりに、内蔵カメラ401で撮像された画像を表示部410に表示してもよい。
表示端末400は、広角カメラ310により撮像される画像上に、メインカメラ100で撮像される撮像領域を示す画枠500を重畳して表示する。ユーザが表示部410に表示される画像上で画枠500をタッチしながら移動させると、移動後の画枠500に対応する撮像領域をメインカメラ100が撮像できるように、ジンバル200がメインカメラ100の姿勢を制御する。ユーザが指等で表示部410に表示される画像上の画枠500のサイズを変化させると、メインカメラ100は、変化後の画枠500のサイズに対応する画角にすべくズーム倍率を調整する。
ユーザは、表示端末400に表示される広角カメラ310で撮像される画像上で、メインカメラ100で撮像される撮像領域を示す画枠500を確認しながら、メインカメラ100で撮像されている画像を表示部302で確認できる。
図3は、撮像システム10の機能ブロックを示す図である。メインカメラ100は、撮像制御部110、イメージセンサ120、メモリ130、レンズ制御部150、レンズ駆動部152、複数のレンズ154、及び測距センサ160を備える。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、撮像用のイメージセンサの一例である。イメージセンサ120は、複数のレンズ154を介して結像された光学像の画像データを撮像制御部110に出力する。撮像制御部110は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。
撮像制御部110は、把持部300からのメインカメラ100の動作命令に応じて、イメージセンサ120から出力された画像信号にデモザイク処理を施すことで画像データを生成する。撮像制御部110は、画像データをメモリ130に格納する。撮像制御部110は、測距センサ160を制御する。撮像制御部110は、回路の一例である。測距センサ160は、対象物までの距離を測距する飛行時間型センサ(TOFセンサ)でよい。メインカメラ100は、測距センサ160により測距された距離に基づいて、フォーカスレンズの位置を調整することで、合焦制御を実行する。
メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120等を制御するのに必要なプログラム等を格納する。メモリ130は、メインカメラ100の筐体の内部に設けられてよい。把持部300は、メインカメラ100により撮像された画像データを保存するための他のメモリを備えてよい。把持部300は、把持部300の筐体からメモリを取り外し可能なスロットを有してよい。
複数のレンズ154は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ154の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ制御部150は、撮像制御部110からのレンズ制御命令に従って、レンズ駆動部152を駆動して、1または複数のレンズ154を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。レンズ駆動部152は、複数のレンズ154の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ(VCM)を含んでよい。レンズ駆動部152は、DCモータ、コアレスモータ、または超音波モータ等の電動機を含んでよい。レンズ駆動部152は、電動機からの動力をカム環、ガイド軸等の機構部材を介して複数のレンズ154の少なくとも一部または全部に伝達して、複数のレンズ154の少なくとも一部または全部を光軸に沿って移動させてよい。本実施形態では、複数のレンズ154は、メインカメラ100と一体型の例について説明する。しかし、複数のレンズ154は、交換レンズでよく、メインカメラ100とは別体で構成されてもよい。
メインカメラ100は、姿勢制御部210、角速度センサ212、及び加速度センサ214をさらに備える。角速度センサ212は、メインカメラ100の角速度を検出する。角速度センサ212は、メインカメラ100のロール軸、ピッチ軸、及びヨー軸回りのそれぞれの角速度を検出する。姿勢制御部210は、角速度センサ212からメインカメラ100の角速度に関する角速度情報を取得する。角速度情報は、メインカメラ100のロール軸、ピッチ軸、及びヨー軸回りのそれぞれの角速度を示してよい。姿勢制御部210は、加速度センサ214からメインカメラ100の加速度に関する加速度情報を取得する。加速度情報は、メインカメラ100のロール軸、ピッチ軸、及びヨー軸のそれぞれの方向の加速度を示してもよい。
角速度センサ212、及び加速度センサ214は、イメージセンサ120及びレンズ154等を収容する筐体内に設けられてよい。姿勢制御部210は、角速度情報及び加速度情報に基づいて、メインカメラ100の姿勢を維持または変更すべく、ジンバル200を制御する。
メモリ168は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、及びEEPROMの少なくとも1つを含んでよい。メモリ168は、撮像システム10を制御するために必要なプログラム等を格納する。
ここで、メインカメラ100と、広角カメラ310とは物理的に異なる位置に配置されている。メインカメラ100の撮像領域と、広角カメラ310の撮像領域との位置関係が特定できなければ、広角カメラ310で撮像される画像上に、メインカメラ100の撮像領域に対応する画枠500を重畳させて表示させることはできない。
そこで、撮像制御部110は、広角カメラ310の画角を示す第1画角情報と、メインカメラ100の画角を示す第2画角情報と、ジンバル200により制御されるメインカメラ100の姿勢を示す姿勢情報とに基づいて、広角カメラ310により撮像される撮像領域と、メインカメラ100により撮像される撮像領域との位置関係を特定する。撮像制御部110は、広角カメラ310の撮像領域とメインカメラ100の撮像領域との位置関係に基づいて、広角カメラ310により撮像される画像上にメインカメラ100の撮像領域の位置を示す画枠500を重畳して表示部410に表示させる。画枠500は、広角カメラ310で撮像される画像上でのメインカメラ100の撮像領域の位置、及びメインカメラ100の撮像領域のサイズを示す指標の一例である。
図4Aは、水平方向から見たメインカメラ100の垂直画角α、広角カメラ310の垂直画角β、及びメインカメラ100のピッチ方向の回転角度θを示す。回転角度θは、水平方向から見た広角カメラ310の光軸521とメインカメラ100の光軸522との成す角度を示す。
図4Bは、垂直方向から見たメインカメラ100の水平画角α、広角カメラ310の水平画角β、及びメインカメラ100のヨー方向の回転角度θを示す。回転角度θは、垂直方向から見た広角カメラ310の光軸521とメインカメラ100の光軸522との成す角度を示す。図4Bでは、広角カメラ310の光軸521と平行な一点鎖線521'とメインカメラ100の光軸522との成す角度で、回転角度θを表している。
広角カメラ310の垂直画角β、及び広角カメラ310の水平画角βは、広角カメラ310の画角を示す。メインカメラ100の垂直画角α、及びメインカメラ100の水平画角αは、メインカメラ100の画角を示す。回転角度θ及び回転角度θは、メインカメラ100の姿勢を示す。なお、本実施形態では、便宜上、広角カメラ310の画角は、撮像範囲の半分の角度を示す。
メインカメラ100と、広角カメラ310とは、物理的に異なる位置に配置されている。したがって、メインカメラ100の光軸522と、広角カメラ310の光軸521とは、離間している。しかし、近接撮影でなければ、メインカメラ100の光軸522が広角カメラ310の光軸521と平行の場合、メインカメラ100の光軸522は、広角カメラ310の光軸521と重なっていると近似しても、ある程度の精度で、広角カメラ310の撮像領域とメインカメラ100の撮像領域との位置関係を特定できる。
図5は、メインカメラ100の光軸522が広角カメラ310の光軸521と平行である場合、メインカメラ100の光軸522と、広角カメラ310の光軸521とが重なっていると近似した場合の、水平方向から見たメインカメラ100の垂直画角α、広角カメラ310の垂直画角β、及びピッチ方向のメインカメラ100の回転角度θvを示す。このように近似した場合、広角カメラ310の撮像領域とメインカメラ100の撮像領域との位置関係を特定する演算を簡素化できる。広角カメラ310で撮像された画像上で、ある程度の精度でメインカメラ100が撮像すべき撮像領域を特定できる。これにより、広角カメラ310で撮像された広範囲の画像上で、メインカメラ100の所望の撮像領域を即座に特定して、メインカメラ100が所望の撮像領域を撮像できるように自動的にジンバル200を制御してメインカメラ100の姿勢を調整できる。
撮像制御部110は、広角カメラ310で撮像される画像に基づいて測距された広角カメラ310から移動後の画枠500内の被写体までの距離に基づいて、メインカメラ100の合焦制御を実行してよい。メインカメラ100の合焦制御は、メインカメラ100が所望の撮像領域を撮像できる姿勢に制御される前、または制御中に実行されてよい。これにより、メインカメラ100が所望の撮像領域を撮像できる姿勢になった直後に、メインカメラ100は、主要被写体に合焦させた状態で所望の撮像領域を撮像できる。
図6は、広角カメラ310で撮像される画像510の座標系を示す。図6では、メインカメラ100の光軸522と広角カメラ310の光軸521とが平行である場合、メインカメラ100の光軸522と、広角カメラ310の光軸521とが重なっていると仮定している。原点C10(0,0)は、広角カメラ310の光軸中心を示し、かつ画像510の中心を示す。広角カメラ310の画角は、原点C10(0,0)を中心として、第1象限から左周りに第4象限までの4点、C11(P,Q)、C12(-P,Q)、C13(-P,-Q)、及びC14(P,-Q)で画定される。ここで、P=k×tan(β)、Q=k×tan(β)である。k及びkは、予め定められた係数であり、例えば、画像510のピクセル数(水平方向のピクセル数及び垂直方向のピクセル数)に基づいて定められてよい。
点C20(x,y)は、メインカメラ100の姿勢が回転角度θ及び回転角度θである場合のメインカメラ100の光軸中心を示す。ここでは、メインカメラ100の光軸522と広角カメラ310の光軸521とが平行である場合、メインカメラ100の光軸522と、広角カメラ310の光軸521とが重なっていると仮定している。したがって、回転角度θ及び回転角度θが0の場合、点C20は、原点C10に位置する。原点C10(x,y)は、x=k×tan(θ)、y=k×tan(θv)である。また、画枠500の水平方向の幅をW及びWと定義し、画枠500の垂直方向の幅をH及びHと定義する。ここで、W=x-k×tan(θ-α)、W=-x+k×tan(θ+α)、H=y-k×tan(θ-α)、及びH=-y+k×tan(θ+α)である。
原点C10(0,0)から第1象限に存在するメインカメラ100の画枠500は、W>W、及びH>Hの関係を満たす。広角カメラ310で撮像された画像510上に表示されるメインカメラ100の光軸中心座標である点C20(x,y)に対する画枠500は、一般的には点対称にならない。
撮像制御部110は、第1画角情報である広角カメラ310の水平画角β及び垂直画角β、第2画角情報であるメインカメラ100の水平画角α及び垂直画角α、並びにメインカメラ100の姿勢情報である回転角度θ及び回転角度θに基づいて、広角カメラ310により撮像される撮像領域と、メインカメラ100により撮像される撮像領域との位置関係を特定する。撮像制御部110は、広角カメラ310で撮像される画像510の座標系で、画枠500の位置を特定することで、広角カメラ310により撮像される撮像領域と、メインカメラ100により撮像される撮像領域との位置関係を特定する。
画像510上でユーザが画枠500を移動させると、撮像制御部110は、広角カメラ310の水平画角β及び垂直画角β、及びメインカメラ100の水平画角α及び垂直画角αに基づいて、画像510上における移動後の画枠500で示される第2撮像領域を撮像するメインカメラ100の姿勢を特定する。撮像制御部110は、メインカメラ100の姿勢として、回転角度θ及び回転角度θを特定する。姿勢制御部210は、特定された回転角度θ及び回転角度θに基づいて、ジンバル200を制御する。
撮像制御部110は、画像510上でユーザが画枠500のサイズを変化させることに対応して、変化後の画枠500のサイズに基づいて、メインカメラ100の画角を調整する。すなわち、撮像制御部110は、変化後の画枠500のサイズに基づいて、メインカメラ100のズーム倍率を調整する。
上記では、メインカメラ100の光軸522が広角カメラ310の光軸521と平行にある場合、メインカメラ100の光軸522と、広角カメラ310の光軸521とが重なると仮定している。したがって、メインカメラ100の光軸中心座標(x,y)をx=k×tan(θ)、y=k×tan(θv)としている。しかし、広角カメラ310の光軸521と、メインカメラ100の光軸522との位置ずれを考慮して、x=k×tan(θ)+X、y=k×tan(θv)+Yとしてもよい。X、及びYは、広角カメラ310の光軸522と、メインカメラ100の光軸522との位置ずれを示す定数である。X、及びYは、被写体までの距離に応じた定数でよい。すなわち、被写体までの距離をlとして、メインカメラ100の光軸中心座標(x,y)は、x=k×tan(θ)+X(l)、y=k×tan(θv)+Y(l)で表されてよい。メインカメラ100の光軸522を広角カメラ310の光軸521と平行にした状態で、被写体までの距離を変化させながらメインカメラ100及び広角カメラ310が撮像する。そして、被写体までの距離ごとにメインカメラ100で撮像される画像と広角カメラ310で撮像される画像とを比較することで、被写体までの距離ごとのX、及びYを予め計測し、メモリ168に格納してよい。
撮像制御部110は、広角カメラ310の画角、メインカメラ100の画角、及び被写体までの距離に対応する位置関係の補正量を示す予め定められた補正条件に基づいて、測距センサ160により測距された被写体までの距離に応じた補正量を決定し、決定された補正量に基づいて、メインカメラ100の光軸中心座標(x,y)を補正してよい。撮像制御部110は、補正量に対応するピクセル数だけ、画像510上のメインカメラ100の光軸中心座標を補正してよい。
図7は、画像上で画枠を移動させる場合の処理手順の一例を示すフローチャートである。撮像制御部110は、広角カメラ310の水平画角β及び垂直画角βを示す第1画角情報、及びメインカメラ100の水平画角α及び垂直画角αを示す第2画角情報を取得する(S100)。広角カメラ310の画角が固定である場合、撮像制御部110は、例えば、メモリ168に予め格納された第1画角情報を読み出すことで、第1画角情報を取得してよい。撮像制御部110は、レンズ制御部150からメインカメラ100の画角を示すレンズ154の制御情報を取得することで、第2画角情報を取得してよい。
さらに、撮像制御部110は、メインカメラ100の回転角度θ及び回転角度θを示す姿勢情報を取得する。撮像制御部110は、姿勢制御部210からジンバル200の制御情報を取得することで、メインカメラ100の姿勢情報を取得してよい。
撮像制御部110は、第1画像情報、第2画像情報、及び姿勢情報に基づいて、表示端末400に表示される画像上のメインカメラ100の光軸中心座標を演算する(S104)。撮像制御部110は、画枠500の水平方向の幅W及びW、画枠500の垂直方向の幅H及びHを、W=x-k×tan(θ-α)、W=-x+k×tan(θ+α)、H=y-k×tan(θ-α)、及びH=-y+k×tan(θ+α)の式に従って、演算する。WとWとの境界点は、光軸中心座標(x,y)を通るY軸に沿った線上に位置する。HとHとの境界点は、光軸中心座標(x,y)を通るX軸に沿った線上に位置する。
撮像制御部110は、演算されたメインカメラ100の光軸中心座標、画枠500の水平方向の幅W及びW、画枠500の垂直方向の幅H及びHに従って、表示端末400に表示される画像上に画枠500を重畳して表示させる(S106)。
ユーザが表示端末400に表示される画像上で、画枠500を移動させると(S108)、撮像制御部110は、画枠500の移動量を演算する(S110)。撮像制御部110は、移動前の画枠500の画像上の位置と移動後の画枠500の画像上の位置とを比較することで、画枠500の移動量(画枠500が垂直方向に移動したピクセル数及び画枠500が水平方向に移動したピクセル数)を演算する。次いで、撮像制御部110は、画枠500の移動量に関連するメインカメラ100の光軸中心座標を演算する(S112)。撮像制御部110は、x=k×tan(θ)、y=k×tan(θv)に従って、回転角度θ及び回転角度θを演算する。撮像制御部110は、メインカメラ100が演算された回転角度θ及び回転角度θの姿勢になるようにジンバル200を制御して、メインカメラ100の姿勢を変更する(S114)。
撮像制御部110は、メインカメラ100及び広角カメラ310の画角情報、並びにメインカメラ100の姿勢情報に基づいて、メインカメラ100の光軸中心座標、画枠500の水平方向の幅W及びW、画枠500の垂直方向の幅H及びHを演算する。撮像制御部110は、演算されたメインカメラ100の光軸中心座標、画枠500の水平方向の幅W及びW、画枠500の垂直方向の幅H及びHに基づいて、広角カメラ310で撮像された画像510上における画枠500の位置を演算する。これにより、画枠500の位置に応じて、ユーザが所望する撮像領域をメインカメラ100が撮像できるように、ジンバル200がメインカメラ100の姿勢を制御できる。
ところで、画像510上での画枠500の位置が同じでも、被写体までの距離が異なれば、画枠500の撮像領域内の被写体を撮像できるメインカメラ100の姿勢は異なる。被写体までの距離が近い場合には、被写体までの距離を考慮しないと、移動後の画枠500内の被写体を撮像できる適切な姿勢にメインカメラ100の姿勢を制御できない場合がある。したがって、所望の被写体を撮像領域内に収めるようにメインカメラ100の姿勢をより精度よく制御する場合には、被写体までの距離を考慮したほうが好ましい。
撮像制御部110は、移動後の画枠500に存在する主要被写体までの距離を特定してよい。撮像制御部110は、広角カメラ310で撮像された画像に基づいて特定された距離情報に基づいて、主要被写体までの距離を特定してよい。撮像制御部110は、主要被写体までの距離にさらに基づいて、画像510上における移動後の画枠500内の撮像領域を撮像するメインカメラ100の回転角度θ及び回転角度θを特定してよい。
撮像制御部110は、被写体までの距離に応じた画像510上における画枠500のサイズ及び位置とメインカメラ100の回転角度θ及び回転角度θとの予め定められた対応関係に基づいて、画枠500内の主要被写体までの距離に対応する画像500上における画枠500内の撮像領域を撮像するメインカメラ100の回転角度θ及び回転角度θを特定してよい。
撮像制御部110は、主要被写体までの距離に対応する画枠500のサイズ及び位置とメインカメラ100の回転角度θ及び回転角度θとの対応関係をメモリ168から読み出し、その対応関係に従って、画像500上における画枠500に対応するメインカメラ100の回転角度θ及び回転角度θを特定してよい。撮像制御部110は、被写体までの距離ごとに、画枠500のサイズ及び位置に対応するメインカメラ100の回転角度θ及び回転角度θを予め演算してよい。撮像制御部110は、被写体までの距離ごとの画枠500のサイズ及び位置に対応するメインカメラ100の回転角度θ及び回転角度θを予め定められた対応関係として、メモリ168に格納してよい。
上記のようなメインカメラ100は、移動体に搭載されてもよい。メインカメラ100は、図8に示すような、無人航空機(UAV)に搭載されてもよい。UAV1000は、UAV本体20、ジンバル50、複数の撮像装置60、及びメインカメラ100を備えてよい。ジンバル50、及びメインカメラ100は、撮像システムの一例である。UAV1000は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV1000を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV1000を飛行させる。回転翼の数は、4つには限定されない。また、UAV1000は、回転翼を有さない固定翼機でもよい。
メインカメラ100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、メインカメラ100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、メインカメラ100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、メインカメラ100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心にメインカメラ100を回転させることで、メインカメラ100の姿勢を変更してよい。
複数の撮像装置60は、UAV1000の飛行を制御するためにUAV1000の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV1000の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV1000の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV1000の周囲の3次元空間データが生成されてよい。UAV1000が備える撮像装置60の数は4つには限定されない。UAV1000は、少なくとも1つの撮像装置60を備えていればよい。UAV1000は、UAV1000の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、メインカメラ100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
遠隔操作装置600は、UAV1000と通信して、UAV1000を遠隔操作する。遠隔操作装置600は、UAV1000と無線で通信してよい。遠隔操作装置600は、UAV1000に上昇、下降、加速、減速、前進、後進、回転等のUAV1000の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV1000の高度を上昇させる指示情報を含む。指示情報は、UAV1000が位置すべき高度を示してよい。UAV1000は、遠隔操作装置600から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV1000を上昇させる上昇命令を含んでよい。UAV1000は、上昇命令を受け付けている間、上昇する。UAV1000は、上昇命令を受け付けても、UAV1000の高度が上限高度に達している場合には、上昇を制限してよい。
図9は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR-ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 撮像システム
20 UAV本体
50 ジンバル
60 撮像装置
100 メインカメラ
110 撮像制御部
120 イメージセンサ
130 メモリ
150 レンズ制御部
152 レンズ駆動部
154 レンズ
160 測距センサ
168 メモリ
200 ジンバル
201 ロール軸駆動機構
202 ピッチ軸駆動機構
203 ヨー軸駆動機構
204 基部
210 姿勢制御部
212 角速度センサ
214 加速度センサ
300 把持部
301 操作インタフェース
302 表示部
310 広角カメラ
400 表示端末
401 内蔵カメラ
410 表示部
600 遠隔操作装置
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM

Claims (10)

  1. 第1撮像部と、前記第1撮像部より画角が狭い第2撮像部と、前記第2撮像部の姿勢を制御可能に前記第2撮像部を支持する支持機構とを備える撮像システムを制御する制御装置であって、
    前記第1撮像部の画角を示す第1画角情報と、前記第2撮像部の画角を示す第2画角情報と、前記第2撮像部の姿勢を示す姿勢情報とに基づいて、前記第1撮像部により撮像される第1撮像領域と、前記第2撮像部により撮像される第2撮像領域との位置関係を特定し、
    前記位置関係に基づいて、前記第1撮像部により撮像される画像に、前記第2撮像領域の位置を示す指標を重畳して表示部に表示させるように構成される回路を備え
    前記回路は、
    前記画像上で前記指標を移動させることに対応して、前記第1画角情報と、前記第2画角情報とに基づいて、移動後の前記指標で示される第2撮像領域を撮像する前記第2撮像部の姿勢を特定し、
    特定された前記第2撮像部の前記姿勢に基づいて、前記支持機構を制御するように構成され、
    前記回路は、
    移動後の前記指標で示される第2撮像領域に存在する第1被写体までの距離を特定し、
    前記距離にさらに基づいて、移動後の前記指標で示される第2撮像領域を撮像する前記第2撮像部の姿勢を特定するように構成される、制御装置。
  2. 前記指標のサイズは、前記第2撮像領域のサイズに対応し、
    前記回路は、前記画像上で前記指標のサイズを変化させることに対応して、変化後の前記指標のサイズに基づいて、前記第2撮像部の画角を調整するように構成される、請求項に記載の制御装置。
  3. 前記回路は、
    被写体までの距離に応じた前記第1撮像部により撮像される画像上における第2撮像領域のサイズ及び位置と前記第2撮像部の姿勢との予め定められた対応関係に基づいて、前記第1被写体までの距離に対応する前記第2撮像部の姿勢を特定するように構成される、請求項1または2に記載の制御装置。
  4. 第1撮像部と、前記第1撮像部より画角が狭い第2撮像部と、前記第2撮像部の姿勢を制御可能に前記第2撮像部を支持する支持機構とを備える撮像システムを制御する制御装置であって、
    前記第1撮像部の画角を示す第1画角情報と、前記第2撮像部の画角を示す第2画角情報と、前記第2撮像部の姿勢を示す姿勢情報とに基づいて、前記第1撮像部により撮像される第1撮像領域と、前記第2撮像部により撮像される第2撮像領域との位置関係を特定し、
    前記位置関係に基づいて、前記第1撮像部により撮像される画像に、前記第2撮像領域の位置を示す指標を重畳して表示部に表示させるように構成される回路を備える制御装置。
    前記回路は、
    前記画像上で前記指標を移動させることに対応して、前記第1画角情報と、前記第2画角情報とに基づいて、移動後の前記指標で示される第2撮像領域を撮像する前記第2撮像部の姿勢を特定し、
    特定された前記第2撮像部の前記姿勢に基づいて、前記支持機構を制御するように構成され、
    前記回路は、
    前記第1撮像部で撮像される画像に基づいて、移動後の前記指標で示される第2撮像領域内に存在する第1被写体までの距離を特定し、
    前記距離に基づいて、前記第2撮像部の合焦制御を実行するように構成される制御装置。
  5. 請求項1からの何れか一つに記載の制御装置と、
    前記第1撮像部と、
    前記第2撮像部と、
    前記支持機構と
    を備える撮像システム。
  6. 前記支持機構が設けられる把持部をさらに備え、
    前記第1撮像部は、前記把持部に設けられる、請求項に記載の撮像システム。
  7. 前記表示部は、前記把持部に設けられ、
    前記把持部は、前記第2撮像部により撮像される画像を表示する他の表示部を有する、請求項に記載の撮像システム。
  8. 第1撮像部と、前記第1撮像部より画角が狭い第2撮像部と、前記第2撮像部の姿勢を制御可能に前記第2撮像部を支持する支持機構とを備える撮像システムを制御する制御方法であって、
    前記第1撮像部の画角を示す第1画角情報と、前記第2撮像部の画角を示す第2画角情報と、前記支持機構により制御される前記第2撮像部の姿勢を示す姿勢情報とに基づいて、前記第1撮像部により撮像される第1撮像領域と、前記第2撮像部により撮像される第2撮像領域との位置関係を特定する段階と、
    前記位置関係に基づいて、前記第1撮像部により撮像される画像に、前記第2撮像領域の位置を示す指標を重畳して表示部に表示させる段階と
    前記画像上で前記指標を移動させることに対応して、前記第1画角情報と、前記第2画角情報とに基づいて、移動後の前記指標で示される第2撮像領域を撮像する前記第2撮像部の姿勢を特定する段階と、
    特定された前記第2撮像部の前記姿勢に基づいて、前記支持機構を制御する段階と、
    移動後の前記指標で示される第2撮像領域に存在する第1被写体までの距離を特定する段階と、
    前記距離にさらに基づいて、移動後の前記指標で示される第2撮像領域を撮像する前記第2撮像部の姿勢を特定する段階と
    を備える制御方法。
  9. 第1撮像部と、前記第1撮像部より画角が狭い第2撮像部と、前記第2撮像部の姿勢を制御可能に前記第2撮像部を支持する支持機構とを備える撮像システムを制御する制御方法であって、
    前記第1撮像部の画角を示す第1画角情報と、前記第2撮像部の画角を示す第2画角情報と、前記支持機構により制御される前記第2撮像部の姿勢を示す姿勢情報とに基づいて、前記第1撮像部により撮像される第1撮像領域と、前記第2撮像部により撮像される第2撮像領域との位置関係を特定する段階と、
    前記位置関係に基づいて、前記第1撮像部により撮像される画像に、前記第2撮像領域の位置を示す指標を重畳して表示部に表示させる段階と、
    前記画像上で前記指標を移動させることに対応して、前記第1画角情報と、前記第2画角情報とに基づいて、移動後の前記指標で示される第2撮像領域を撮像する前記第2撮像部の姿勢を特定する段階と、
    特定された前記第2撮像部の前記姿勢に基づいて、前記支持機構を制御する段階と、
    前記第1撮像部で撮像される画像に基づいて、移動後の前記指標で示される第2撮像領域内に存在する第1被写体までの距離を特定する段階と、
    前記距離に基づいて、前記第2撮像部の合焦制御を実行する段階と
    を備える制御方法。
  10. 請求項1からの何れか一つに記載の制御装置としてコンピュータを機能させるためのプログラム。
JP2020102433A 2020-06-12 2020-06-12 制御装置、撮像システム、制御方法、及びプログラム Active JP7043706B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020102433A JP7043706B2 (ja) 2020-06-12 2020-06-12 制御装置、撮像システム、制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020102433A JP7043706B2 (ja) 2020-06-12 2020-06-12 制御装置、撮像システム、制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2021197619A JP2021197619A (ja) 2021-12-27
JP7043706B2 true JP7043706B2 (ja) 2022-03-30

Family

ID=79195988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020102433A Active JP7043706B2 (ja) 2020-06-12 2020-06-12 制御装置、撮像システム、制御方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7043706B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244369A (ja) 2008-03-28 2009-10-22 Sony Corp 撮像装置及び撮像方法
JP2009284452A (ja) 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244369A (ja) 2008-03-28 2009-10-22 Sony Corp 撮像装置及び撮像方法
JP2009284452A (ja) 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム

Also Published As

Publication number Publication date
JP2021197619A (ja) 2021-12-27

Similar Documents

Publication Publication Date Title
JP6496955B1 (ja) 制御装置、システム、制御方法、及びプログラム
JP6878736B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP2019216343A (ja) 決定装置、移動体、決定方法、及びプログラム
JP6630939B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6790318B2 (ja) 無人航空機、制御方法、及びプログラム
JP7043706B2 (ja) 制御装置、撮像システム、制御方法、及びプログラム
WO2020216037A1 (zh) 控制装置、摄像装置、移动体、控制方法以及程序
JP7003358B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
JP6641574B1 (ja) 決定装置、移動体、決定方法、及びプログラム
JP6696092B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP6268655B1 (ja) 撮像装置、撮像システム、移動体、撮像方法、及びプログラム
JP2021032990A (ja) 制御装置、撮像システム、制御方法、及びプログラム
JP6896963B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6878738B1 (ja) 制御装置、撮像システム、移動体、制御方法、及びプログラム
JP6743337B1 (ja) 制御装置、撮像装置、撮像システム、制御方法、及びプログラム
JP7019895B2 (ja) 装置、撮像装置、撮像システム、移動体、方法、及びプログラム
JP7173657B2 (ja) 制御装置、撮像装置、制御方法、及びプログラム
WO2020156085A1 (zh) 图像处理装置、摄像装置、无人驾驶航空器、图像处理方法以及程序
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP7003357B2 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
WO2021249245A1 (zh) 装置、摄像装置、摄像系统及移动体
JP2021032964A (ja) 制御装置、撮像システム、制御方法、及びプログラム
JP2022011663A (ja) 装置、撮像装置、移動体、プログラム及び方法
JP2020052379A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP2021018309A (ja) 位相差検出装置、撮像装置、撮像システム、移動体、位相差検出方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7043706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150