JP6818987B1 - Image processing equipment, imaging equipment, moving objects, image processing methods, and programs - Google Patents
Image processing equipment, imaging equipment, moving objects, image processing methods, and programs Download PDFInfo
- Publication number
- JP6818987B1 JP6818987B1 JP2019145084A JP2019145084A JP6818987B1 JP 6818987 B1 JP6818987 B1 JP 6818987B1 JP 2019145084 A JP2019145084 A JP 2019145084A JP 2019145084 A JP2019145084 A JP 2019145084A JP 6818987 B1 JP6818987 B1 JP 6818987B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- horizon
- subject existing
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 103
- 238000003384 imaging method Methods 0.000 title claims abstract description 67
- 238000003672 processing method Methods 0.000 title claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 14
- 238000000034 method Methods 0.000 abstract description 27
- 230000008859 change Effects 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000015654 memory Effects 0.000 description 32
- 230000008569 process Effects 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】被写体像の鮮鋭度が被写体距離の変化に応じて不自然な変わり方をすることを抑制すること。【解決手段】画像処理装置は、撮像方向に沿って移動する撮像装置により撮像された画像に画像処理を施す回路を備える。回路は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施すように構成されてよい。撮像方向に沿って移動する撮像装置により撮像された画像に画像処理を施す方法であって、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施すように構成される段階を備える。【選択図】図5PROBLEM TO BE SOLVED: To suppress an unnatural change in the sharpness of a subject image according to a change in a subject distance. An image processing device includes a circuit that performs image processing on an image captured by an image pickup device that moves along an imaging direction. The circuit may be configured to perform image processing that emphasizes the frequency components of the lower spatial frequency band in the image region including the subject existing at a closer distance. A method of performing image processing on an image captured by an imaging device that moves along the imaging direction, and image processing that emphasizes frequency components in a lower spatial frequency band in an image region including a subject existing at a closer distance. It has a stage that is configured to apply. [Selection diagram] Fig. 5
Description
本発明は、画像処理装置、撮像装置、移動体、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing device, an imaging device, a moving body, an image processing method, and a program.
特許文献1には、コントラスト感を向上させるエンハンサ(画質改善装置)が開示されている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2010−28178号公報
Patent Document 1 discloses an enhancer (image quality improving device) that improves a sense of contrast.
[Prior art literature]
[Patent Document]
[Patent Document 1] Japanese Unexamined Patent Publication No. 2010-28178
例えば遠方の被写体に近づきながら撮影する場合、被写体像の空間周波数成分は、被写体に近づくにつれて低周波側にシフトする。そのため、被写体に近づきながら撮影した画像に特定の空間周波数帯域を強調する画像処理を一律に施すと、被写体像の鮮鋭度が被写体距離の変化に応じて不自然な変わり方をしまう場合がある。 For example, when shooting while approaching a distant subject, the spatial frequency component of the subject image shifts to the low frequency side as it approaches the subject. Therefore, if image processing that emphasizes a specific spatial frequency band is uniformly applied to an image taken while approaching the subject, the sharpness of the subject image may change unnaturally according to a change in the subject distance.
本発明の一態様に係る画像処理装置は、撮像方向に沿って移動する撮像装置により撮像された画像に画像処理を施す回路を備えてよい。回路は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施すように構成されてよい。 The image processing apparatus according to one aspect of the present invention may include a circuit that performs image processing on an image captured by an imaging device that moves along an imaging direction. The circuit may be configured to perform image processing that emphasizes the frequency components of the lower spatial frequency band in the image region including the subject existing at a closer distance.
回路は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数にピークゲインを持つフィルタを用いて画像処理を施すように構成されてよい。 The circuit may be configured to perform image processing on an image region containing a subject existing at a closer distance by using a filter having a peak gain at a lower spatial frequency.
回路は、遠距離に存在する被写体を含む画像領域から、近距離に存在する被写体を含む画像領域にかけて、強調する周波数帯域を低下させるように構成されてよい。 The circuit may be configured to reduce the frequency band to be emphasized from the image region including the subject existing at a long distance to the image region including the subject existing at a short distance.
回路は、より低い空間周波数帯域においてより低いピークゲインを持つフィルタを用いて画像処理を施すように構成されてよい。 The circuit may be configured to perform image processing with a filter having a lower peak gain in the lower spatial frequency band.
回路は、画像に水平線及び地平線の少なくとも一方が含まれる場合に、画像における水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に、上記にお画像処理を施すように構成されてよい。 The circuit is configured to perform image processing described above on an image region containing a subject located closer than at least one of the horizon and the horizon in the image when the image contains at least one of the horizon and the horizon. Good.
回路は、撮像装置の高度が予め定められた高度より高く、かつ、画像に水平線及び地平線の少なくとも一方が含まれる場合に、画像における水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に画像処理を施すように構成されてよい。 The circuit includes an image that includes a subject that is closer than at least one of the horizon and horizon in the image when the altitude of the imager is higher than a predetermined altitude and the image contains at least one of the horizon and horizon. The area may be configured to undergo image processing.
回路は、撮像装置の高度が予め定められた高度より高く、画像に地上及び水面の少なくとも一方が含まれる場合に、画像の全体に上記の画像処理を施すように構成されてよい。 The circuit may be configured to perform the above image processing on the entire image when the altitude of the imaging device is higher than a predetermined altitude and the image includes at least one of the ground and the water surface.
回路は、撮像装置の高度が予め定められた高度より高く、画像に地上及び水面の少なくとも一方が含まれ、撮像装置100の向きと鉛直下方の向きとがなす角が予め定められた角度以上の場合に、画像の全体に上記の画像処理を施すように構成されてよい。
In the circuit, the altitude of the image pickup device is higher than the predetermined altitude, the image includes at least one of the ground surface and the water surface, and the angle formed by the direction of the
回路は、撮像装置が撮像方向に沿って移動している場合に、画像に上記の画像処理を施すように構成されてよい。 The circuit may be configured to perform the above image processing on an image when the image pickup apparatus is moving along the imaging direction.
回路は、撮像装置が撮像方向に沿って予め定められた閾値以上の速さで移動している場合に、画像に前記画像処理を施すように構成されてよい。 The circuit may be configured to perform the image processing on an image when the image pickup apparatus is moving at a speed equal to or higher than a predetermined threshold value along the image pickup direction.
本発明の一態様に係る撮像装置は、上記画像処理装置と、イメージセンサとを備えてよい。 The image pickup apparatus according to one aspect of the present invention may include the above-mentioned image processing apparatus and an image sensor.
本発明の一態様に係る移動体は、上記撮像装置を備えて移動する移動体でよい。 The moving body according to one aspect of the present invention may be a moving body equipped with the above-mentioned imaging device.
本発明の一態様に係る画像処理方法は、撮像方向に沿って移動する撮像装置により撮像された画像に画像処理を施す。画像処理方法は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階を備える。 In the image processing method according to one aspect of the present invention, image processing is performed on an image captured by an imaging device that moves along an imaging direction. The image processing method includes a step of performing image processing that emphasizes frequency components in a lower spatial frequency band in an image region including a subject existing at a closer distance.
本発明の一態様に係るプログラムは、撮像方向に沿って移動する撮像装置により撮像された画像に施す画像処理をコンピュータに実行させる。プログラムは、コンピュータに、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階を実行させてよい。 The program according to one aspect of the present invention causes a computer to perform image processing on an image captured by an imaging device that moves along an imaging direction. The program may cause the computer to perform image processing that emphasizes the frequency components of the lower spatial frequency band in the image region containing the subject located at a closer distance.
本発明の一態様によれば、被写体像の鮮鋭度が被写体距離の変化に応じて不自然な変わり方をすることを抑制することができる。 According to one aspect of the present invention, it is possible to prevent the sharpness of the subject image from changing unnaturally according to the change in the subject distance.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the necessary features of the present invention. Sub-combinations of these feature groups can also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Also, not all combinations of features described in the embodiments are essential to the means of solving the invention. It will be apparent to those skilled in the art that various changes or improvements can be made to the following embodiments. It is clear from the description of the claims that such modified or improved forms may also be included in the technical scope of the present invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。 Various embodiments of the present invention may be described with reference to flowcharts and block diagrams, wherein the block is (1) a stage of the process in which the operation is performed or (2) a device having a role of performing the operation. May represent the "part" of. Specific stages and "parts" may be implemented by programmable circuits and / or processors. Dedicated circuits may include digital and / or analog hardware circuits. It may include integrated circuits (ICs) and / or discrete circuits. The programmable circuit may include a reconfigurable hardware circuit. Reconfigurable hardware circuits include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGA), programmable logic arrays (PLA), etc. It may include a memory element such as.
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。 The computer-readable medium may include any tangible device capable of storing instructions executed by the appropriate device. As a result, the computer-readable medium having the instructions stored therein will include the product, including instructions that can be executed to create means for performing the operation specified in the flowchart or block diagram. Examples of computer-readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer-readable media include floppy® disks, diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or flash memory), Electrically erasable programmable read-only memory (EEPROM), static random access memory (SRAM), compact disc read-only memory (CD-ROM), digital versatile disc (DVD), Blu-ray (RTM) disc, memory stick, integrated A circuit card or the like may be included.
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 Computer-readable instructions may include either source code or object code written in any combination of one or more programming languages. Source code or object code includes traditional procedural programming languages. Traditional procedural programming languages are assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state-setting data, or Smalltalk®, JAVA®, C ++. It may be an object-oriented programming language such as, and a "C" programming language or a similar programming language. Computer-readable instructions are used locally or on a local area network (LAN), wide area network (WAN) such as the Internet, to the processor or programmable circuit of a general purpose computer, special purpose computer, or other programmable data processing device. ) May be provided. The processor or programmable circuit may execute computer-readable instructions to create means for performing the operations specified in the flowchart or block diagram. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers and the like.
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50及び撮像装置100は、撮像システムの一例である。UAV10は、移動体とは、空中を移動する飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。空中を移動する飛行体とは、UAVの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。
FIG. 1 shows an example of the appearance of the unmanned aerial vehicle (UAV) 10 and the
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
The UAV
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
The
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
The plurality of
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
The
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ37、通信インタフェース36、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を備える。
FIG. 2 shows an example of the functional block of the UAV 10. The UAV 10 includes a UAV control unit 30, a
通信インタフェース36は、遠隔操作装置300などの他の装置と通信する。通信インタフェース36は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ37は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ37は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、USBメモリ、及びソリッドステートドライブ(SSD)等のフラッシュメモリの少なくとも1つを含んでよい。メモリ37は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
The
UAV制御部30は、メモリ37に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース36を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
The UAV control unit 30 controls the flight and imaging of the UAV 10 according to the program stored in the
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度及び経度)、つまりUAV10の位置(緯度及び経度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
The GPS receiver 41 receives a plurality of signals indicating the time transmitted from the plurality of GPS satellites. The GPS receiver 41 calculates the position (latitude and longitude) of the GPS receiver 41, that is, the position (latitude and longitude) of the UAV 10 based on the plurality of received signals. The
撮像装置100は、撮像部102及びレンズ部200を備える。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、メモリ130、及び測距センサ140を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像された光学像を撮像し、撮像された画像を撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。撮像制御部110は、回路の一例である。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、USBメモリ、及びソリッドステートドライブ(SSD)などのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
The
測距センサ140は、被写体までの距離を測距する。測距センサ140は、赤外線センサ、超音波センサ、ステレオカメラ、TOF(Time Of Flight)センサなどでよい。
The
レンズ部200は、複数のレンズ210、複数のレンズ駆動部212、及びレンズ制御部220を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環などの機構部材を介して、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部212は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、機構部材を介して1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
The
レンズ部200は、メモリ222、位置センサ214をさらに有する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ210の一部または全部は、光軸に沿って移動する。レンズ制御部220は、レンズ210の少なくとも1つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ214は、レンズ210の位置を検出する。位置センサ214は、現在のズーム位置またはフォーカス位置を検出してよい。
The
レンズ駆動部212は、振れ補正機構を含んでよい。レンズ制御部220は、振れ補正機構を介して、レンズ210を光軸に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。レンズ駆動部212は、ステッピングモータにより振れ補正機構を駆動して、振れ補正を実行してよい。なお、振れ補正機構は、ステッピングモータにより駆動されて、イメージセンサ120を光軸に方向に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。
The
メモリ222は、レンズ駆動部212を介して移動する複数のレンズ210の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
The
撮像装置100が備える画像処理機能について説明する。撮像制御部110は、イメージセンサ120から出力される画像に、エンハンスフィルタを適用することによってエンハンス処理を行う。撮像制御部110は、UAV10の飛行状態及び撮像装置100の向きに基づいて、画像に適用するエンハンスフィルタの空間周波数特性を制御する。撮像制御部110は、イメージセンサ120から順次に出力される画像に、それぞれエンハンス処理を含む画像処理を施すことによって記録用の映像データを生成して、メモリ130に記録する。
The image processing function included in the
撮像制御部110は、撮像方向に沿って移動する撮像装置100により撮像された画像に画像処理を施す。撮像制御部110は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す。具体的には、撮像制御部110は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数にピークゲインを持つフィルタを用いて画像処理を施す。例えば、撮像制御部110は、遠距離に存在する被写体を含む画像領域から、近距離に存在する被写体を含む画像領域にかけて、強調する周波数帯域を低下させてよい。
The image pickup control unit 110 performs image processing on the image captured by the
撮像制御部110は、レンズ210のMTFを考慮してピークゲインを設定してよい。撮像制御部110は、より低い空間周波数帯域においてより低いピークゲインを持つフィルタを用いて上記の画像処理を施してよい。
The image pickup control unit 110 may set the peak gain in consideration of the MTF of the
撮像制御部110は、画像に水平線及び地平線の少なくとも一方が含まれる場合に、画像における水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に、上記の画像処理を施してよい。 When the image includes at least one of the horizon and the horizon, the image pickup control unit 110 may perform the above image processing on an image region including a subject existing at a closer distance than at least one of the horizon and the horizon in the image.
撮像制御部110は、撮像装置100の高度が予め定められた高度より高く、かつ、画像に水平線及び地平線の少なくとも一方が含まれる場合に、画像における水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に上記の画像処理を施して良い。撮像制御部110は、撮像装置100の高度が予め定められた高度より高く、画像に地上及び水面の少なくとも一方が含まれる場合に、画像の全体に上記の画像処理を施してよい。撮像制御部110は、撮像装置100の高度が予め定められた高度より高く、画像に地上及び水面の少なくとも一方が含まれる場合に、画像の全体に上記の画像処理を施してよい。
The image pickup control unit 110 exists at a closer distance than at least one of the horizon and the horizon in the image when the altitude of the
撮像制御部110は、撮像装置100が撮像方向に沿って移動している場合に、画像に上記の画像処理を施してよい。撮像制御部110は、撮像装置100が撮像方向に沿って移動していない場合に、上記の画像処理を禁止してよい。撮像制御部110は、撮像装置100が撮像方向に沿って予め定められた閾値以上の速さで移動している場合に、画像に上記の画像処理を施してよい。撮像制御部110は、撮像装置100の撮像方向に沿う方向の速さが予め定められた閾値未満の場合に、上記の画像処理を禁止してよい。
The image pickup control unit 110 may perform the above-mentioned image processing on the image when the
図3は、エンハンス処理によって強調される空間周波数帯域の制御例を示す。画像310は、イメージセンサ120から出力される画像である。画像310は、UAV10が飛行しながら風景を撮影している場合に得られる画像である。画像310は、いわゆる空撮画像である。
FIG. 3 shows an example of controlling the spatial frequency band emphasized by the enhancement process. The
撮像制御部110は、画像310にエンハンスフィルタを適用することによって、エンハンス処理を施す。エンハンス処理は、例えば、エッジ強調処理や鮮鋭化処理などのような、画像の高周波領域の空間周波数成分を強調する処理である。
The image pickup control unit 110 performs an enhancement process by applying an enhancement filter to the
画像310は、中央部付近に水平線320を含む。画像310は、水平線320の近くに位置する被写体330と、水平線320より撮像装置100側に位置する被写体340とを含む。被写体330は撮像装置100から遠距離に存在するため、画像310において小さく写る。被写体340は被写体330に比べて撮像装置100に近い位置に存在するため、画像310において比較的に大きく写る。一般に、空撮によって得られる水平線や地平線を含む画像は、画像の上下方向の中間領域の地平線や水平線の位置を境にして、地平線又は水平線の付近から画像の下端にかけて、被写体が大きく写り、被写体の空間周波数が高くなる。
UAV10が水平方向に前進しながら撮影すると、被写体330が写る位置が水平線320の近くの位置から下端に向けて移動しながら、被写体330が徐々に大きくなる。同一被写体の画像の空間周波数成分は、画像上のサイズが大きいほど低周波数側にシフトする。そのため、UAV10が被写体330に近づくにつれて、被写体330の位置が水平線320の近くから下端に向けて移動しながら、被写体330の空間周波数成分が低周波数側にシフトする。
When the UAV 10 takes a picture while moving forward in the horizontal direction, the subject 330 gradually becomes larger while the position where the subject 330 is captured moves from a position near the
したがって、撮像装置100により撮像される画像全体に特定の周波数特性を持つエンハンスフィルタを一律に適用すると、被写体330の画像における主要な空間周波数がエンハンスフィルタによって強調される空間周波数帯域に一致するような距離から被写体330を撮像したときに得られる画像において、被写体330の鮮鋭度が最も高くなる。そのため、撮像装置100から被写体330までの距離が特定の距離になったときに被写体330の画像の鮮鋭度が最も高くなり、その前後の位置から得られ被写体330の画像の鮮鋭度は比較的に低くなる。これにより、UAV10が水平方向に前進しながら被写体330に近づきながら撮影した画像に特定のエンハンスフィルタを一律に適用すると、不自然な映像になってしまう場合がある。
Therefore, if an enhancement filter having a specific frequency characteristic is uniformly applied to the entire image captured by the
そこで、撮像制御部110は、エンハンスフィルタによって強調される空間周波数帯域を、画像領域毎に変化させる。具体的には、撮像制御部110は、エンハンス処理によって強調される空間周波数帯域を、遠距離被写体の画像領域から近距離被写体の画像領域にかけて、低下させる。例えば、撮像制御部110は、画像310における水平線320の位置から、画像310の下端の画像領域にかけて、エンハンスフィルタによって強調される空間周波数帯域を徐々に低下させる。
Therefore, the image pickup control unit 110 changes the spatial frequency band emphasized by the enhancement filter for each image region. Specifically, the image pickup control unit 110 reduces the spatial frequency band emphasized by the enhancement process from the image region of the long-distance subject to the image region of the short-distance subject. For example, the image pickup control unit 110 gradually lowers the spatial frequency band emphasized by the enhance filter from the position of the
図4は、エンハンスフィルタの周波数特性を模式的に示す。グラフ400は、画像310における水平線320の位置に適用されるエンハンスフィルタの空間周波数特性を表すゲインカーブ410を示す。グラフ420は、画像310の下端の位置に適用されるエンハンスフィルタの空間周波数特性を表すゲインカーブ430を示す。グラフ400及びグラフ420の横軸は空間周波数であり、縦軸は輝度ゲインである。
FIG. 4 schematically shows the frequency characteristics of the enhance filter.
ゲインカーブ430はピーク周波数f0においてピークゲインG0を持つ。ゲインカーブ410は、ピーク周波数X・f0においてピークゲインG1を持つ。ここで、Xは1より大きい値である。このように、撮像制御部110は、エンハンスフィルタの空間周波数特性のピークを、画像上の水平線320の位置において最も高く設定し、画像の下端において最も低くなるように設定する。
The
フィルタ特性変化領域450は、エンハンスフィルタのゲインカーブのピーク周波数を変化させる領域である。領域450に示すグラデーションは、エンハンスフィルタのゲインカーブのピーク周波数の高さを濃淡によって模式的に示したものである。撮像制御部110は、水平線320の位置より下方の画像領域を、フィルタ特性変化領域450として決定する。フィルタ特性変化領域450のグラデーションで示されるように、撮像制御部110は、エンハンスフィルタのゲインカーブのピーク周波数の高さを、水平線320の位置から下端に向けて、高さ方向にX・f0からf0まで徐々に低下させる。なお、撮像制御部110は、画像におけるフィルタ特性変化領域450以外の領域460には、予め定められた周波数特性を持つエンハンスフィルタを一律に適用してよい。なお、本実施形態では主として、「高さ」は、イメージセンサ120の水平軸を水平線に平行にして撮像された画像における、画像の下端からの距離を表すものとする。一般に、高さは、画像において鉛直方向に対応する方向の距離であるとしてよい。
The filter
なお、グラフ400のMTFカーブ402及びグラフ420のMTFカーブ422は、レンズ210のMTFを示す。撮像制御部110は、ゲインカーブ410のゲインG1及びゲインカーブ430のゲインG0を、MTFカーブ402及びMTFカーブ422を考慮して決定する。例えば、f0におけるMTFカーブ422のゲインが、X・f0におけるMTFカーブ402のゲインより大きい場合、G1よりG0を小さくする。一般に、MTFカーブ402及びMTFカーブ422は、被写体距離、及び像高によって異なり得る。そこで、撮像制御部110は、被写体距離、像高及びレンズ210の光学特性から定まるMTFカーブに基づいて、エンハンスフィルタのゲインカーブを決定する。これにより、レンズが持つ空間周波数特性の影響を抑制することができる。
The MTF curve 402 in the
なお、「エンハンスフィルタにより強調される空間周波数帯域」とは、ピーク周波数を含む予め定められた範囲であってよい。「エンハンスフィルタにより強調される空間周波数帯域」とは、ピークゲインが予め定められた閾値以上となる空間周波数帯域であってよい。「エンハンスフィルタにより強調される空間周波数帯域」とは、空間周波数をゲインで重みづけすることによって算出される重み付け平均値であってよい。 The "spatial frequency band emphasized by the enhancement filter" may be a predetermined range including the peak frequency. The “spatial frequency band emphasized by the enhancement filter” may be a spatial frequency band in which the peak gain is equal to or higher than a predetermined threshold value. The “spatial frequency band emphasized by the enhancement filter” may be a weighted average value calculated by weighting the spatial frequency with a gain.
図5は、被写体330に適用されるエンハンスフィルタを模式的に示す。イメージセンサ120は、UAV10が被写体330に近づくにつれて、画像501、画像502、及び画像503の順で撮像して撮像制御部110に出力する。
FIG. 5 schematically shows an enhancement filter applied to the subject 330. As the UAV 10 approaches the subject 330, the
撮像制御部110は、画像501において被写体330が存在する高さの画像領域に、ゲインカーブ510で表される空間周波数特性を持つエンハンスフィルタを適用する。ゲインカーブ510は空間周波数X1・f0にピーク周波数を持つ。撮像制御部110は、画像501の後に撮像された画像502において被写体330が存在する高さの画像領域に、ゲインカーブ520で表される空間周波数特性を持つエンハンスフィルタを適用する。ゲインカーブ520は空間周波数X2・f0にピーク周波数を持つ。撮像制御部110は、画像503の後に撮像された画像503において被写体330が存在する高さの画像領域に、ゲインカーブ530で表される空間周波数特性を持つエンハンスフィルタを適用する。ゲインカーブ530は空間周波数X3・f0にピーク周波数を持つ。ここで、1<X1<X2<X3である。このように、撮像制御部110は、画像内における被写体330のサイズが大きくなるにつれてピーク周波数を低域側にシフトさせるので、被写体330の鮮鋭度が不自然に変化することを抑制することができる。
The image pickup control unit 110 applies an enhancement filter having a spatial frequency characteristic represented by a
なお、画像の下端に近いほど、画像における被写体330の位置の変化は速くなる。そこで、撮像制御部110は、画像の下端により近い画像領域に適用するエンハンスフィルタの強度を、より大きくしてよい。例えば、撮像制御部110は、画像の下端により近い画像領域に適用するエンハンスフィルタのピークゲインを、より大きくしてよい。 The closer to the lower end of the image, the faster the change in the position of the subject 330 in the image. Therefore, the image pickup control unit 110 may increase the intensity of the enhancement filter applied to the image region closer to the lower end of the image. For example, the image pickup control unit 110 may increase the peak gain of the enhancement filter applied to the image region closer to the lower end of the image.
図6は、画像の高さ方向におけるピーク周波数を模式的に示すグラフである。図5のグラフの横軸は高さ、縦軸はピーク周波数である。高さは、画像の下端からの距離を示す。 FIG. 6 is a graph schematically showing the peak frequency in the height direction of the image. The horizontal axis of the graph of FIG. 5 is the height, and the vertical axis is the peak frequency. The height indicates the distance from the bottom edge of the image.
図6に示されるように、撮像制御部110は、水平線が写っている高さHから画像の下端までの間で、ピーク周波数をX・f0からf0まで直線的に低下させる。撮像制御部110は、少なくとも近似的に、高さの一次関数によって表されるピーク周波数を設定してよい。 As shown in FIG. 6, the imaging control unit 110 linearly reduces the peak frequency from X · f0 to f0 between the height H in which the horizon is reflected and the lower end of the image. The imaging control unit 110 may set the peak frequency represented by the linear function of the height, at least approximately approximately.
撮像制御部110は、少なくとも近似的に、高さの高次関数数によって表されるピーク周波数を設定してよい。撮像制御部110は、高さに応じて連続的にピーク周波数を減少させてよい。撮像制御部110は、ピーク周波数をステップ状に変化させてもよい。撮像制御部110は、少なくとも近似的に、高さの階段関数によって表されるピーク周波数を設定してよい。撮像制御部110は、第1の画像領域に、第1のピーク周波数を持つエンハンスフィルタを適用し、第1の画像領域より近距離の被写体を含む第2の画像領域に、第1のピーク周波数より低い第2のピーク周波数を持つエンハンスフィルタを適用してよい。 The imaging control unit 110 may set the peak frequency represented by the number of higher-order functions of the height, at least approximately approximately. The image pickup control unit 110 may continuously reduce the peak frequency according to the height. The image pickup control unit 110 may change the peak frequency in steps. The imaging control unit 110 may set the peak frequency represented by the step function of the height, at least approximately approximately. The image pickup control unit 110 applies an enhancement filter having a first peak frequency to the first image region, and applies a first peak frequency to a second image region including a subject closer than the first image region. An enhancement filter with a lower second peak frequency may be applied.
図3から図6等に関連して具体例を説明したように、撮像制御部110は、空撮により得られる画像310にエンハンス処理を施す場合に、画像上の水平線320の位置から下端に向けて被写体の位置が変化しながら被写体の空間周波数が低下していくという画像特性に適合するように、エンハンスフィルタによって強調される空間周波数を、水平線320の位置から下端に向けて低周波側にシフトさせる。これにより、特定の被写体の鮮鋭度が不自然に変化することを抑制することができる。
As a specific example has been described in relation to FIGS. 3 to 6 and the like, when the
なお、図3から図6において、被写体330に近づきながら撮像する場合を取り上げて説明した。しかし、被写体330から遠ざかりながら撮影する場合にも同様のエンハンス処理を適用できる。 In addition, in FIGS. 3 to 6, the case of taking an image while approaching the subject 330 has been taken up and described. However, the same enhancement processing can be applied when shooting while moving away from the subject 330.
図7は、撮像制御部110が実行するエンハンス処理の手順の一例を示すフローチャートである。撮像制御部110は、図7に示すフローチャートの処理を、撮像装置100が撮像を行っている最中に随時に実行する。
FIG. 7 is a flowchart showing an example of the enhancement processing procedure executed by the image pickup control unit 110. The imaging control unit 110 executes the processing of the flowchart shown in FIG. 7 at any time while the
S702において、撮像制御部110は、UAV10の高度が閾値以上であるか否かを判断する。閾値として例えば、2m以上の値を適用してよい。UAV10の高度が閾値以上でない場合、S720において、撮像制御部110は、予め定められた方式でエンハンス処理を行う。例えば、撮像制御部110は、予め定められた空間周波数特性を持つエンハンスフィルタを画像全体に一様に適用することにより、エンハンス処理を行う。 In S702, the image pickup control unit 110 determines whether or not the altitude of the UAV 10 is equal to or higher than the threshold value. For example, a value of 2 m or more may be applied as the threshold value. When the altitude of the UAV 10 is not equal to or higher than the threshold value, in S720, the image pickup control unit 110 performs the enhancement process by a predetermined method. For example, the image pickup control unit 110 performs the enhancement process by uniformly applying an enhancement filter having a predetermined spatial frequency characteristic to the entire image.
撮像制御部110は、S702においてUAV10の高度が閾値以上であると判断した場合、S704において、撮像制御部110は、被写体に地平線及び水平線の少なくとも一方が含まれているか否かを判断する。撮像制御部110は、画像解析によって、被写体に地平線及び水平線の少なくとも一方が含まれているか否かを判断してよい。撮像制御部110は、UAV10の位置、地図情報及び撮像装置100の撮像範囲に基づいて、被写体に地平線及び水平線の少なくとも一方が含まれるか否かを判断してよい。
When the image pickup control unit 110 determines in S702 that the altitude of the UAV 10 is equal to or higher than the threshold value, in S704, the image pickup control unit 110 determines whether or not the subject includes at least one of the horizon and the horizon. The image pickup control unit 110 may determine whether or not the subject includes at least one of the horizon and the horizon by image analysis. The image pickup control unit 110 may determine whether or not the subject includes at least one of the horizon and the horizon based on the position of the UAV 10 and the map information and the image pickup range of the
撮像制御部110は、S704において被写体に地平線及び水平線の少なくとも一方が含まれると判断した場合、S706において、画像における地平線又は水平線の位置から近距離被写体を含む位置までの画像領域に、地平線又は水平線の位置から近距離被写体を含む位置にかけてピーク周波数が低下するエンハンスフィルタを適用することにより、エンハンス処理を行う。 When the image pickup control unit 110 determines in S704 that the subject includes at least one of the horizon and the horizon, in S706, the horizon or the horizon extends to the image region from the position of the horizon or the horizon to the position including the short-distance subject in the image. The enhancement process is performed by applying an enhancement filter whose peak frequency decreases from the position of 1 to the position including a short-distance subject.
撮像制御部110は、S704において被写体に地平線及び水平線のいずれも含まれていないと判断した場合、地上及び水面の少なくとも一方が含まれるか否かを判断する。撮像制御部110は、画像解析によって、被写体に地上及び水面の少なくとも一方が含まれるか否かを判断してよい。撮像制御部110は、UAV10の位置、地図情報及び撮像装置100の撮像範囲に基づいて、被写体に地上及び水面の少なくとも一方が含まれる否かを判断してよい。
When the image pickup control unit 110 determines in S704 that the subject does not include either the horizon or the horizon, it determines whether or not at least one of the ground and the water surface is included. The image pickup control unit 110 may determine whether or not the subject includes at least one of the ground surface and the water surface by image analysis. The image pickup control unit 110 may determine whether or not the subject includes at least one of the ground surface and the water surface based on the position of the UAV 10 and the map information and the image pickup range of the
撮像制御部110は、S710において被写体に地上及び水面のいずれも含まれていないと判断した場合、S720に処理を移行する。撮像制御部110は、S710において被写体に地上及び水面の少なくとも一方が含まれていると判断した場合、S712において、撮像装置100の撮像方向が鉛直方向より水平側に向いているか否かを判断する。例えば、撮像制御部110は、UAV10の姿勢とジンバル50により制御されるヨー角及びピッチ角とに基づいて、撮像装置100の撮像方向と鉛直下向き方向とがなす角度が予め定められた値以上である場合に、撮像装置100の撮像方向が鉛直方向より水平側に向いていると判断してよい。
When the image pickup control unit 110 determines in S710 that the subject does not include either the ground or the water surface, the process shifts to S720. When the image pickup control unit 110 determines in S710 that the subject includes at least one of the ground and the water surface, in S712, the image pickup control unit 110 determines whether or not the image pickup direction of the
撮像制御部110は、S712において撮像装置100の撮像方向が鉛直方向より水平側に向いていないと判断した場合、S720似処理を移行する。撮像制御部110は、S712において撮像装置100の撮像方向が鉛直方向より水平側に向いていると判断した場合、S714において、遠距離側の被写体を含む位置から近距離側の被写体が含む位置にかけてピーク周波数が低下するエンハンスフィルタを画像全体に適用することにより、エンハンス処理を行う。
When the image pickup control unit 110 determines in S712 that the image pickup direction of the
このように、撮像制御部110は、UAV10の飛行状態及び撮像装置が搭載されたジンバル50の姿勢によって、エンハンスフィルタの空間周波数特性及びエンハンスフィルタを適用する画像領域を制御する。これにより、自然に見える映像を生成することが可能になる。
In this way, the image pickup control unit 110 controls the spatial frequency characteristic of the enhance filter and the image region to which the enhance filter is applied according to the flight state of the UAV 10 and the attitude of the
以上に説明したように、撮像制御部110は、遠距離に存在する被写体を含む画像領域から、近距離に存在する被写体を含む画像領域にかけて、空間周波数特性が異なる画像処理を施す。これにより、例えば空撮により得られる画像に対して適正な画像処理を適用することができる。なお、図3から図7に関連して、空撮により得られる画像に適用する画像処理を説明したが、空撮に限らず、被写体距離が変化する様々な状況で得られた画像に同様の画像処理を適用してよい。 As described above, the image pickup control unit 110 performs image processing having different spatial frequency characteristics from an image region including a subject existing at a long distance to an image region including a subject existing at a short distance. Thereby, for example, appropriate image processing can be applied to an image obtained by aerial photography. Although the image processing applied to the image obtained by aerial photography has been described in relation to FIGS. 3 to 7, the same applies to images obtained in various situations where the subject distance changes, not limited to aerial photography. Image processing may be applied.
図8は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
FIG. 8 shows an example of a
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
The
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is executed between the
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
Further, the
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
Various types of information such as various types of programs, data, tables, and databases may be stored in recording media and processed. The
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
The program or software module described above may be stored on a
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process such as operation, procedure, step, and step in the device, system, program, and method shown in the claims, the specification, and the drawing is particularly "before" and "prior to". It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. It's not a thing.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the description of the claims that such modified or improved forms may also be included in the technical scope of the present invention.
10 UAV
20 UAV本体
30 UAV制御部
36 通信インタフェース
37 メモリ
40 推進部
41 GPS受信機
42 慣性計測装置
43 磁気コンパス
44 気圧高度計
45 温度センサ
46 湿度センサ
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 撮像制御部
120 イメージセンサ
130 メモリ
140 測距センサ
200 レンズ部
210 レンズ
212 レンズ駆動部
214 位置センサ
220 レンズ制御部
222 メモリ
300 遠隔操作装置
310 画像
320 水平線
330 被写体
340 被写体
400 グラフ
410 ゲインカーブ
402 MTFカーブ
420 グラフ
422 MTFカーブ
430 ゲインカーブ
450 フィルタ特性変化領域
501、502、503 画像
510、520、530 ゲインカーブ
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
10 UAV
20 UAV main unit 30
1214 RAM
1220 Input /
Claims (17)
前記回路は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施すように構成され、
前記回路は、遠距離に存在する被写体を含む画像領域から、近距離に存在する被写体を含む画像領域にかけて、前記強調する周波数帯域を低下させるように構成される
画像処理装置。 Equipped with a circuit that performs image processing on the image captured by the imaging device that moves along the imaging direction.
The circuit is configured to perform image processing that emphasizes frequency components in a lower spatial frequency band in an image region containing a subject existing at a closer distance .
The circuit is an image processing device configured to reduce the emphasized frequency band from an image region including a subject existing at a long distance to an image region including a subject existing at a short distance .
請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the circuit is configured to perform the image processing on an image region including a subject existing at a closer distance by using a filter having a peak gain at a lower spatial frequency.
請求項2に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the circuit is configured to perform image processing using a filter having a lower peak gain in a lower spatial frequency band.
請求項1から3のいずれか一項に記載の画像処理装置。 The circuit is configured to perform the image processing on an image region including a subject existing at a closer distance than at least one of the horizon and the horizon in the image when the image includes at least one of the horizon and the horizon. The image processing apparatus according to any one of claims 1 to 3 .
前記回路は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施すように構成され、
前記回路は、前記撮像装置の高度が予め定められた高度より高く、かつ、前記画像に水平線及び地平線の少なくとも一方が含まれる場合に、前記画像における前記水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に前記画像処理を施すように構成される
画像処理装置。 Equipped with a circuit that performs image processing on the image captured by the imaging device that moves along the imaging direction.
The circuit is configured to perform image processing that emphasizes frequency components in a lower spatial frequency band in an image region containing a subject existing at a closer distance.
The circuit exists at a closer distance than at least one of the horizon and the horizon in the image when the altitude of the image pickup apparatus is higher than a predetermined altitude and the image includes at least one of the horizon and the horizon. An image processing device configured to perform the image processing on an image area including a subject to be processed.
前記回路は、より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施すように構成され、
前記回路は、前記画像に水平線及び地平線の少なくとも一方が含まれる場合に、前記画像における前記水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に、前記画像処理を施すように構成され、
前記回路は、前記撮像装置の高度が予め定められた高度より高く、前記画像に地上及び水面の少なくとも一方が含まれる場合に、前記画像の全体に前記画像処理を施すように構成される
画像処理装置。 Equipped with a circuit that performs image processing on the image captured by the imaging device that moves along the imaging direction.
The circuit is configured to perform image processing that emphasizes frequency components in a lower spatial frequency band in an image region containing a subject existing at a closer distance.
The circuit is configured to perform the image processing on an image region including a subject existing at a closer distance than at least one of the horizon and the horizon in the image when the image includes at least one of the horizon and the horizon. Being done
The circuit is configured to perform the image processing on the entire image when the altitude of the image pickup apparatus is higher than a predetermined altitude and the image includes at least one of the ground surface and the water surface. apparatus.
請求項6に記載の画像処理装置。 In the circuit, the altitude of the image pickup device is higher than a predetermined altitude, the image includes at least one of the ground surface and the water surface, and the angle formed by the direction of the image pickup device and the vertically downward direction is predetermined. The image processing apparatus according to claim 6 , wherein the image processing is performed on the entire image when the angle is equal to or larger than that of the image.
請求項1から7のいずれか一項に記載の画像処理装置。 The image processing device according to any one of claims 1 to 7, wherein the circuit is configured to perform the image processing on the image when the image pickup device is moving along an imaging direction.
請求項1から8のいずれか一項に記載の画像処理装置。 The circuit is any of claims 1 to 8 configured to perform the image processing on the image when the image pickup apparatus is moving at a speed equal to or higher than a predetermined threshold value along the image pickup direction. The image processing apparatus according to item 1 .
請求項1から9のいずれか一項に記載の画像処理装置と
を備える撮像装置。 Image sensor and
An imaging device including the image processing device according to any one of claims 1 to 9 .
より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階
を備え、
前記画像処理を施す段階は、遠距離に存在する被写体を含む画像領域から、近距離に存在する被写体を含む画像領域にかけて、前記強調する周波数帯域を低下させる段階を備える
画像処理方法。 An image processing method that performs image processing on an image captured by an imaging device that moves along the imaging direction.
It is provided with a step of performing image processing that emphasizes the frequency component of the lower spatial frequency band in the image region including the subject existing at a closer distance .
The stage of performing the image processing includes a step of lowering the frequency band to be emphasized from an image region including a subject existing at a long distance to an image region including a subject existing at a short distance. ..
より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階 The stage of performing image processing that emphasizes the frequency components of the lower spatial frequency band in the image region including the subject existing at a closer distance.
を備え、With
前記画像処理を施す段階は、前記撮像装置の高度が予め定められた高度より高く、かつ、前記画像に水平線及び地平線の少なくとも一方が含まれる場合に、前記画像における前記水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に前記画像処理を施す段階を備える The stage of performing the image processing is from at least one of the horizon and the horizon in the image when the altitude of the image pickup apparatus is higher than a predetermined altitude and the image contains at least one of the horizon and the horizon. A step of performing the image processing on an image area including a subject existing at a short distance is provided.
画像処理方法。Image processing method.
より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階 The stage of performing image processing that emphasizes the frequency components of the lower spatial frequency band in the image region including the subject existing at a closer distance.
を備え、With
前記画像処理を施す段階は、 The stage of performing the image processing is
前記画像に水平線及び地平線の少なくとも一方が含まれる場合に、前記画像における前記水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に、前記画像処理を施す段階と、 When the image contains at least one of the horizon and the horizon, a step of performing the image processing on an image region including a subject existing at a closer distance than at least one of the horizon and the horizon in the image.
前記撮像装置の高度が予め定められた高度より高く、前記画像に地上及び水面の少なくとも一方が含まれる場合に、前記画像の全体に前記画像処理を施す段階と When the altitude of the image pickup apparatus is higher than a predetermined altitude and the image includes at least one of the ground surface and the water surface, the step of performing the image processing on the entire image.
を備える To prepare
画像処理方法。Image processing method.
より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階
を前記コンピュータに実行させ、
前記画像処理を施す段階は、遠距離に存在する被写体を含む画像領域から、近距離に存在する被写体を含む画像領域にかけて、前記強調する周波数帯域を低下させる段階を備える
プログラム。 A program for causing a computer to perform image processing on an image captured by an imaging device that moves along the imaging direction.
The computer is made to perform a step of performing image processing for emphasizing the frequency component of the lower spatial frequency band in the image region including the subject existing at a closer distance .
The step of performing the image processing is a program including a step of lowering the frequency band to be emphasized from an image region including a subject existing at a long distance to an image region including a subject existing at a short distance .
より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階 The stage of performing image processing that emphasizes the frequency components of the lower spatial frequency band in the image region including the subject existing at a closer distance.
を前記コンピュータに実行させ、To the computer to execute
前記画像処理を施す段階は、前記撮像装置の高度が予め定められた高度より高く、かつ、前記画像に水平線及び地平線の少なくとも一方が含まれる場合に、前記画像における前記水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に前記画像処理を施す段階を備える The stage of performing the image processing is from at least one of the horizon and the horizon in the image when the altitude of the image pickup apparatus is higher than a predetermined altitude and the image contains at least one of the horizon and the horizon. A step of performing the image processing on an image area including a subject existing at a short distance is provided.
プログラム。program.
より近距離に存在する被写体を含む画像領域に、より低い空間周波数帯域の周波数成分を強調する画像処理を施す段階 The stage of performing image processing that emphasizes the frequency components of the lower spatial frequency band in the image region including the subject existing at a closer distance.
を前記コンピュータに実行させ、To the computer to execute
前記画像処理を施す段階は、 The stage of performing the image processing is
前記画像に水平線及び地平線の少なくとも一方が含まれる場合に、前記画像における前記水平線及び地平線の少なくとも一方より近距離に存在する被写体を含む画像領域に、前記画像処理を施す段階と、 When the image contains at least one of the horizon and the horizon, a step of performing the image processing on an image region including a subject existing at a closer distance than at least one of the horizon and the horizon in the image.
前記撮像装置の高度が予め定められた高度より高く、前記画像に地上及び水面の少なくとも一方が含まれる場合に、前記画像の全体に前記画像処理を施す段階と When the altitude of the image pickup apparatus is higher than a predetermined altitude and the image includes at least one of the ground surface and the water surface, the step of performing the image processing on the entire image.
を備える To prepare
プログラム。program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145084A JP6818987B1 (en) | 2019-08-07 | 2019-08-07 | Image processing equipment, imaging equipment, moving objects, image processing methods, and programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019145084A JP6818987B1 (en) | 2019-08-07 | 2019-08-07 | Image processing equipment, imaging equipment, moving objects, image processing methods, and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6818987B1 true JP6818987B1 (en) | 2021-01-27 |
JP2021026581A JP2021026581A (en) | 2021-02-22 |
Family
ID=74200202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019145084A Expired - Fee Related JP6818987B1 (en) | 2019-08-07 | 2019-08-07 | Image processing equipment, imaging equipment, moving objects, image processing methods, and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6818987B1 (en) |
-
2019
- 2019-08-07 JP JP2019145084A patent/JP6818987B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2021026581A (en) | 2021-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210014427A1 (en) | Control device, imaging device, mobile object, control method and program | |
JP2019110462A (en) | Control device, system, control method, and program | |
JP6733106B2 (en) | DETERMINING DEVICE, MOVING BODY, DETERMINING METHOD, AND PROGRAM | |
US20210105411A1 (en) | Determination device, photographing system, movable body, composite system, determination method, and program | |
JP6565072B2 (en) | Control device, lens device, flying object, control method, and program | |
US20210092282A1 (en) | Control device and control method | |
JP6543875B2 (en) | Control device, imaging device, flying object, control method, program | |
JP6801161B1 (en) | Image processing equipment, imaging equipment, moving objects, image processing methods, and programs | |
JP6501091B1 (en) | CONTROL DEVICE, IMAGING DEVICE, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM | |
JP6503607B2 (en) | Imaging control apparatus, imaging apparatus, imaging system, moving object, imaging control method, and program | |
JP6544542B2 (en) | Control device, imaging device, unmanned aerial vehicle, control method, and program | |
JP6818987B1 (en) | Image processing equipment, imaging equipment, moving objects, image processing methods, and programs | |
JP2019078953A (en) | Control device, imaging apparatus, flying body, control method and program | |
JP2019096965A (en) | Determination device, control arrangement, imaging system, flying object, determination method, program | |
JP6543859B1 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE OBJECT, IMAGE PROCESSING METHOD, AND PROGRAM | |
JP6547984B2 (en) | CONTROL DEVICE, IMAGING DEVICE, IMAGING SYSTEM, MOBILE OBJECT, CONTROL METHOD, AND PROGRAM | |
JP6798072B2 (en) | Controls, mobiles, control methods, and programs | |
JP6459012B1 (en) | Control device, imaging device, flying object, control method, and program | |
JP6569157B1 (en) | Control device, imaging device, moving object, control method, and program | |
JP2019205047A (en) | Controller, imaging apparatus, mobile body, control method and program | |
JP6878738B1 (en) | Control devices, imaging systems, moving objects, control methods, and programs | |
JP7003357B2 (en) | Control device, image pickup device, moving object, control method, and program | |
JP6710863B2 (en) | Aircraft, control method, and program | |
JP6413170B1 (en) | Determination apparatus, imaging apparatus, imaging system, moving object, determination method, and program | |
JP2021193412A (en) | Device, imaging device, imaging system, and mobile object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6818987 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |