JP6629019B2 - 動的画像マスキングシステム及び方法 - Google Patents

動的画像マスキングシステム及び方法 Download PDF

Info

Publication number
JP6629019B2
JP6629019B2 JP2015181672A JP2015181672A JP6629019B2 JP 6629019 B2 JP6629019 B2 JP 6629019B2 JP 2015181672 A JP2015181672 A JP 2015181672A JP 2015181672 A JP2015181672 A JP 2015181672A JP 6629019 B2 JP6629019 B2 JP 6629019B2
Authority
JP
Japan
Prior art keywords
see
image
gatekeeper
imaging
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015181672A
Other languages
English (en)
Other versions
JP2017027571A (ja
Inventor
チャールズ ビー. スピネッリ,
チャールズ ビー. スピネッリ,
ロバート ダブリュ. ターナー,
ロバート ダブリュ. ターナー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2017027571A publication Critical patent/JP2017027571A/ja
Application granted granted Critical
Publication of JP6629019B2 publication Critical patent/JP6629019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/12Avionics applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Description

本開示は、広くは、リモートセンシング画像収集のためのシステム及び方法に関し、特に、航空リモートセンシング画像収集などの、リモートセンシング画像収集のための自動化された動的画像マスキングシステム及び方法に関する。
航空リモートセンシングなどのリモートセンシングは、地上及び地球表面及び遠隔物体の画像を得るための、レーダー撮像システム、カメラ撮像システム、光検出及び測距(LIDAR)システム、並びに他のセンサ及び撮像システムなどの、センサ及び撮像技術の使用を含む。アナログ航空写真撮影術、動画撮影術、及びデジタル写真撮影術は、一般に、航空リモートセンシングにおいて使用され、画像を収集する。デジタル写真撮影術は、遠隔で感知されたデータを直ちに解析するために地上又は基地局へリアルタイム伝送することを可能にし、デジタル画像はコンピュータを援用して解析及び解釈され得る。
しかしながら、航空リモートセンシング画像収集は冗漫であり得、かつ画像の捕捉イベントが生じたときに撮像システムが正しく方向付けられなければ、結果として大量のあまり有用でない情報が生成され得る。農場及び農作物の画像を収集して、植物の健康及び活力を判断し得る、精密農業(PA)ベースの航空リモートセンシングミッションに対して、オペレーターは、大きな土地領域、ユニークで良く知られた画像収集場所の分散、範囲に関して良好に規定された飛行プロファイル、飛行時間、高度、位置、及び速度、並びに画像排除される特別地域を取り扱うことができなければならず、それらのうちの後者は、説明されなければ、精密農業(PA)ベースの航空センシング動作を大幅に妨げ得る。
例えば、精密農業ベースの航空リモートセンシングミッションを飛行する場合に、無人機(UAV)などの航空ビークルは、他の人口集中地域上を飛行することによって最初の農場へ入場し得る。最初の農場上の位置までに撮像を開始することは望ましくない可能性があり、したがって、UAVの自動操縦及び撮像システムが統合され、自律した動作を可能にすることが望ましい。
航空リモートセンシング画像収集のための既知のシステム及び方法は、全体の土地を見ることができる局地内に位置するパイロットによる操縦制御の下に飛行することを含み得、それ故、精密農業マーケットに好適であり得る自律した動作を可能にしない。更に、収集区域が良好に規定されていない場合に、撮像すべき土地又は領域がたくさんありすぎて、収集される画像データの量はセンサ及び撮像システムを圧倒し得る。更に、制限され又は境界を越え、規定された収集区域内にないデータが、不注意で撮像され、収集され得る。
それに加えて、航空リモートセンシング画像収集のための既知のシステム及び方法は、(n秒毎に)予めプログラムされ得、又はオペレーターにトリガされ得る、手動動作シャッター制御を含み得る。しかしながら、精密農業マーケットで使用されるそのような手動動作を用いる場合には、人間が、撮像されるように指定された特定の場所へ入場することが必要であり得る。この選択肢は、特に、地上レベルの上方400フィート未満の低い高度を飛行する場合に、見通し線を超えて飛行し、適正な目的地に到達することが必要であり得る。しかしながら、そのような選択肢は、労働力が必要であり、高価であり、かつ精密農業マーケットに対処するための望ましい結果を生まない可能性がある。
別の選択肢は、領域の鳥瞰図を提供する、撮像カメラシステムから地上のコントローラ(パイロット及び地上の制御局のオペレーター)への生中継を行うことであり得る。これは、操作時及び写真を撮る時をオペレーターに注意喚起するために使用され得る。しかしながら、この選択肢も、また、労働力を必要とし、かつ精密農業ミッションに対する全ての要求を満たさない可能性がある。
したがって、当該技術分野において、動的画像マスキングプロセスを介してフィルターをかけられた自律したリモートセンシング画像を提供するため、かつ精密農業ミッションなどの画像収集イベント又はミッションに対する望ましくない又は無関係な画素をマスキング又は修正するやり方を提供するための、既知のシステム及び方法を超えた利点を提供する、動的画像マスキングシステムのための改良されたシステム及び方法が必要である。
本開示の例示的な実施態様は、既存の解決法の限界を超えるための、動的画像マスキングプロセスを介してフィルターをかけられた自律したリモートセンシング画像を提供する、動的画像マスキングシステムのための改良されたシステム及び方法を提供する。以下の詳細な説明で検討されるように、動的画像マスキングプロセスを介してフィルターをかけられた自律したリモートセンシング画像を提供する、動的画像マスキングシステムのための改良されたシステム及び方法の実施形態は、既存のシステム及び方法を超えた重大な利点を提供し得る。
本開示の実施形態では、動的画像マスキングプロセスを介してフィルターをかけられた自律したリモートセンシング画像を提供するための、動的画像マスキングシステムが提供される。動的画像マスキングシステムは、リモートセンシングプラットフォームを備える。
動的画像マスキングシステムは、リモートセンシングプラットフォームに関連した撮像システムを更に備える。撮像システムは、光学システム及び画像センシングシステムを備える。
動的画像マスキングシステムは、撮像システムに関連したマルチレベルの保安システムを更に備える。動的画像マスキングシステムは、撮像システム及びマルチレベルの保安システム内に配置された1以上の画像修正位置を更に備え、1以上の画像の修正は、動的画像マスキングプロセスを介して行われる。
動的画像マスキングシステムは、撮像システムに関連したコンピュータシステムを更に備える。コンピュータシステムは、動的画像マスキングプロセスを介して1以上の画像修正位置を制御する、1以上のコントローラにゲートキーパー(gatekeeper)指示命令を送るように設定された、ゲートキーパーアルゴリズムを備える。
本開示の別の実施形態では、動的画像マスキングプロセスを介してフィルターをかけられた自律したリモートセンシング画像を提供するための方法が提供される。方法は、リモートセンシングプラットフォームに撮像システムを装備するステップを含む。方法は、撮像のための領域を指定して撮像されるべき指定された領域を得るステップを更に含む。方法は、撮像されるべき指定された領域の表面上の複数の基準点を規定するステップを更に含む。
方法は、複数の基準点を参照して、撮像されるべきでない排除された領域として複数の特定の表面領域を指定するステップを更に含む。方法は、撮像されるべき指定された領域を対象とする予め規定された収集プランニングプロセスを制御するステップを更に含む。
方法は、全地球測位システム(GPS)、無線式のナビゲーションシステム、光学式のナビゲーションシステム、慣性計測ユニット(IMU)システム、磁気探知器が装備された慣性計測ユニット(IMU)システム、又はそれらの組み合わせを備えた、ナビゲーションシステムを使用して、撮像されるべき指定された領域を撮像するように撮像システムを位置決めするステップを更に含む。方法は、撮像システムを使用して、予め規定された収集プランニングプロセスによって対象とされた撮像されるべき指定された領域を撮像するステップを更に含む。
方法は、排除された領域の1以上の画像内の1以上の画素を動的に無効にするステップを更に含む。方法は、撮像されるべき指定された領域の動的画像マスキングを介して、フィルターをかけられた自律したリモートセンシング画像を得るステップを更に含む。
本開示の別の実施形態では、動的画像マスキングプロセスを介してフィルターをかけられた自律したリモートセンシング画像を提供するための方法が提供される。方法は、無人機(UAV)に撮像システムを装備するステップを含む。方法は、撮像のための領域を指定して、撮像されるべき指定された領域を得るステップを更に含む。方法は、撮像されるべき指定された領域の表面上の複数の基準点を規定するステップを更に含む。
方法は、複数の基準点を参照して、撮像されるべきでない排除された領域として複数の特定の表面領域を指定するステップを更に含む。方法は、撮像されるべき指定された領域を対象とするUAVの予め規定された飛行プランを制御するステップを更に含む。
方法は、全地球測位システム(GPS)、無線式のナビゲーションシステム、光学式のナビゲーションシステム、慣性計測ユニット(IMU)システム、磁気探知器が装備された慣性計測ユニット(IMU)システム、又はそれらの組み合わせを備えた、ナビゲーションシステムを使用して、撮像されるべき指定された領域を撮像するように撮像システムを位置決めするステップを更に含む。方法は、撮像されるべき指定された領域上でUAVを飛行させ、かつ撮像システムを使用して、UAVの予め規定された飛行プランによって対象とされた撮像されるべき指定された領域を撮像するステップを更に含む。
方法は、排除された領域の1以上の画像内の1以上の画素を動的に無効にするステップを更に含む。方法は、撮像されるべき指定された領域の動的画像マスキングを介して、フィルターをかけられた自律したリモートセンシング画像を得るステップを更に含む。
既に説明した特徴、機能及び利点は、本開示の様々な実施形態で独立に実現することが可能であるか、以下の説明及び図面を参照してさらなる詳細が理解され得る、さらに別の実施形態で組み合わせることが可能である。
本開示は、好適で例示的な実施形態を図示する添付の図面と組み合される以下の詳細な説明を参照することによってより良く理解され得るが、図面は必ずしも縮尺通りに描かれていない。
本開示の動的画像マスキングシステム及び方法の実施形態において使用され得る、撮像システムの実施形態のシステムブロック図である。 図1の撮像システムを有する本開示の動的画像マスキングシステムの実施形態のシステムブロック図であり、動的画像マスキングシステム内のゲートキーパーアルゴリズム及び様々な画像修正位置を示している。 本開示の動的画像マスキングシステム及び方法の実施形態において使用される、ゲートキーパーアルゴリズムの実施形態の機能ブロック図である。 本開示の動的画像マスキングシステムの実施形態のうちの1つのシステムブロック図である。 本開示の動的画像マスキングプロセスの実施形態のうちの1つのシステムブロック図である。 本開示の方法の実施形態の流れ図である。 本開示の方法の別の実施形態の流れ図である。 本開示の動的画像マスキングシステム及び方法の実施形態において使用され得る、無人機(UAV)の概略的な表現の図である。 航空機の製造及び保守方法の実施形態の流れ図である。 航空機の実施形態の機能ブロック図である。
以降、添付図面を参照して本発明の実施形態についてさらに詳細に説明するが、添付図面には開示されるすべての実施形態が示されているわけではない。実際には、複数の異なる実施形態が提供可能であり、これらの実施形態は、本明細書で説明される実施形態に限定されるものではない。むしろ、これらの実施形態は、本開示が徹底的であるように、かつ当業者に本開示の範囲が完全に伝わるように提供されている。
図面を参照すると、図1は、本開示の、動的画像マスキングシステム10(図2参照)、方法150(図5A参照)、及び方法170(図5B参照)の実施形態において使用され得る、撮像システム12の実施形態のシステムブロック図である。
図1で示されるように、撮像システム12は、リモートセンシングプラットフォーム14に関連し、かつ光学システム20及び画像センシングシステム22を備える。カメラ20a(図4Aも参照)などの光学システム20(図1参照)は、全世界の光学視野を表す。収集プランニングプロセス16(図1参照)は、収集プランニングプロセス出力18(図1参照)を、光学システム20(図1参照)に出力する。光学システム20(図1参照)は、焦点面アレイサブシステム22a(図1参照)の焦点面アレイ26(図1参照)に、生画像データ出力24を出力する。
図1で示されるように、画像センシングシステム22(図1参照)は、焦点面アレイサブシステム22a(図1参照)を備え得、焦点面アレイサブシステム22aは、焦点面アレイ26、アナログデジタル変換器(A/D)30、揮発性一時記憶メモリ34、デジタル信号プロセッサ38、及びデジタルアナログ変換器(D/A)54を備え得る。
焦点面アレイ26(図1参照)は、生画像データ24(図1参照)を読み込み、それ(28)をアナログデジタル変換器30(図1参照)に渡す。アナログデジタル変換器30(図1参照)は、アナログデジタル変換器出力32(図1参照)を、揮発性一時記憶メモリ34(図1参照)に出力し、ここで、画像122(図4A参照)は、一時的に記憶される(後続の画像が現在の画像に上書きされる)。その後、揮発性一時記憶メモリ34(図1参照)は、揮発性一時記憶メモリ出力36(図1参照)を、デジタル信号プロセッサ38(図1参照)に出力する。幾つかの動作がデジタル信号プロセッサ38(図1参照)内で行われ得る。幾つかの動作は、例えば、デジタル信号37(図4B参照)を読み込むこと、ゲイン(gain)を調整すること、ベイヤーフィルター(Bayer filter)(すなわち、例えば、jpgファイルフォーマットに対して、光センサの四角い格子上にRGB(赤、緑、青)カラーフィルターを配置するためのカラーフィルターアレイ(CFA))を介してデジタル信号37(図4B参照)を処理すること、及びエッジシャープニング(edge sharpening)などの画像処理技術を実行することを含んでいる。デジタル信号37(図4B参照)が、デジタル信号プロセッサ38(図1参照)によって、可読画像フォーマット39(図4B参照)に加工された後に、デジタル信号プロセッサ38(図1参照)は、マルチレベルの保安システム42(図1参照)の不揮発性結果記憶メモリ44(図1参照)内で記憶するためにデジタル出力40(図1参照)を出力する。不揮発性結果記憶メモリ出力46(図1参照)は、不揮発性結果記憶メモリ44(図1参照)から、必要であるならば、後処理のためのマルチレベルの保安システム42(図1参照)の後処理プロセス48(図1参照)に出力され得る。後処理プロセス48(図1参照)は、後処理出力結果(product)49(図1参照)を出力する。
光学システム20がアナログである場合に、デジタル信号プロセッサ38(図1参照)は、デジタル信号プロセッサ出力信号52(図1参照)を、デジタルアナログ変換器54(図1参照)に出力し、デジタルアナログ変換器54(図1参照)は、信号をアナログに変換し、アナログ出力56(図1参照)を出力する。アナログ出力56(図1参照)は、ビデオ編集システム58(図1参照)内で使用され得、又はその中に記憶され得る。
本開示の実施形態では、動的画像マスキングプロセス11(図4A、図4B参照)を介して、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)を提供するための動的画像マスキングシステム10(図2、図4A参照)が提供される。図2は、図1の撮像システム12を有する本開示の動的画像マスキングシステム10のシステムブロック図であり、動的画像マスキングシステム10内のゲートキーパー(GK)アルゴリズム60及び様々な画像修正位置90を示す。
図2は、1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)が、フィルターをかけられた自律したリモートセンシング画像51などの、マスキングされた画像50を生成するために修正され得る、画像修正位置90を示す。図4Aは、本開示の動的画像マスキングシステム10の実施形態のうちの1つのシステムブロック図である。図4Bは、本開示の動的画像マスキングプロセス11の実施形態のうちの1つのシステムブロック図である。
図2及び図4Aで示される動的画像マスキングシステム10が詳細に検討される前に、ゲートキーパーアルゴリズム60(図2、図3、図4B)が検討される。図3は、本開示の、動的画像マスキングシステム10(図2参照)、方法150(図5A参照)、及び方法170(図5B参照)の実施形態において使用される、ゲートキーパーアルゴリズム60の実施形態の機能ブロック図である。図3は、ゲートキーパー(GK)機能61を示す。本明細書で使用されるように、「アルゴリズム」は、作業を実行し、又は問題を解決するための一組の指示又はステップの一覧を意味する。
ゲートキーパーアルゴリズム60(図3参照)は、例えば、地上などの、画素126(図4B参照)が来るところの場所を計算し、かつ画素126(図4B参照)が撮像のための領域118(図4A参照)内にあるか否かを決定する。画素126(図4B参照)が撮像のための領域118(図4A参照)内にある場合に、画像122(図4B参照)の画素126(図4B参照)が捕捉される。画素126(図4B参照)が撮像のための領域118(図4A参照)内にない場合に、画素126(図4B参照)は適切な値で置き換えられる。具体的な値は使用される画素置き代えの方法に応じる。
図3で示されるように、ゲートキーパーアルゴリズム60は、好ましくは、例えば、無人機200(図4B、図6参照)の形態における航空ベースプラットフォーム14a(図4B参照)などのリモートセンシングプラットフォーム14の、全地球測位システム(GPS)を用いて得られるような位置(GPS)108、慣性計測ユニット(IMU)システムを用いて得られるような姿勢(IMU)104を取得する。好ましくは、GPS及びIMUデータは、姿勢(IMU)104、又は位置(GPS)108すなわち測位に関するいかなる問題をも避けるために、高い忠実性を有し、それは、撮像されるべき指定された領域118a(図4A参照)に影響を与え得る。
図3で更に示されるように、ゲートキーパーアルゴリズム60は、また、例えば、時間102、距離センサ106、高度、速度、飛行プロファイル、又はリモートセンシングプラットフォーム14(図2参照)の他の情報などの、情報を取得し得る。図3で更に示されるように、ゲートキーパーアルゴリズム60は、好ましくは、例えば、視野95a(図4B参照)及び焦点距離95b(図4B参照)などのパラメータ95(図4B参照)を含んだカメラモデル94、マスキング指示命令96、収集プランニング98に関する情報、収集ポリシー100に関する情報、又は他の適切な情報を含み得る、ルールセット92を適用して、マスキングされた画像50(図2参照)を生成する。このやり方において、ゲートキーパーアルゴリズム60(図3参照)は、1以上の画素126(図4B参照)のうちのどれを修正するかに関するゲートキーパー(GK)指示命令62(図2、図3参照)を、1以上のコントローラ63(図2参照)に提供する。
一実施形態では、マスキング指示命令96(図3参照)は、固定された又は移動している物体又は人々の場所又は位置を公然と報知するための、動的に更新されたモバイルマスキング指示命令96a(図4B参照)を含み得る。例えば、この実施形態は、彼又は彼女の写真を公然と撮られることを望んでいない第1の人が、携帯電話97(図4B参照)などの装置を用いて、彼又は彼女の場所又は位置を、写真を撮っている第2の人に伝えることを可能にする。例えば、カメラ20a(図2参照)又はセンサなどの第2の人の光学システム20(図2参照)は、第1の人の位置を受信して、第1の人が、カメラモデル94(図4B参照)、及び、例えば、視野95a(図4B参照)、焦点距離95b(図4B参照)、設定、又は他の適切なカメラパラメータ95(図5B参照)などのカメラパラメータ95(図4B参照)に基づいて、カメラフレーム内で特定され得るか否かを決定する。そうであるならば、カメラ20a(図2参照)などの光学システム20(図2参照)又はセンサは、第1の人の画像をマスキングし又は不鮮明にする。
動的画像マスキングシステム10(図2、図4A参照)は、好ましくは、自動化された画像収集システム148(図4A参照)である。画像収集システム148は、ゲートキーパーアルゴリズム60(図2、図3、図4B参照)を含む。ゲートキーパーアルゴリズム60は、動的画像マスキングプロセス11(図4A、図4B参照)を介して、動的画像マスキングシステム10(図2参照)内に配置された1以上の画像修正位置90(図2参照)を制御する1以上のコントローラ63(図2、図4B参照)に対して、ゲートキーパー指示命令62(図2、図3、図4B参照)を提供する。
本明細書で使用されるように、「動的画像マスキング」は、1以上の画素126(図4B参照)が望まれず、無関係であり、又は制限される、排除された領域124(図4A参照)の1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)を、マスキングし、空白にし、遮断し、上書きし、光飽和し(目くらましし)、収集せず、消去し、抑制し、又はさもなければ修正することを意味する。動的画像マスキングシステム10(図2、図4A参照)及び動的画像マスキングプロセス11(図4A、図4B)は、信頼可能であり、かつ再現性があり、かつ好ましくは、利用される興味のある画素126(図4B参照)のみを有する結果の集合(product set)をもたらす、フィルターがかけられた自律したリモートセンシング画像51(図4A参照)などのマスキングされた画像50(図4A)を生成する。動的画像マスキングプロセス11を受けた1以上の画素126(図4B参照)は、例えば、マスキングされた画素126a(図4B参照)、空白にされた画素126b(図4B参照)、収集されない画素126c(図4B)、上書きされた画素126d(図4B参照)、光飽和した画素126e(図4B参照)、又は他の適切に修正された画素をもたらし得る。
図2、図4Aで示されるように、動的画像マスキングシステム10は、図1で示されるリモートセンシングプラットフォーム14に関連した撮像システム12を備える。撮像システム12(図2、図4A)は、2次元の撮像システム12a(図4A参照)、立体画像生成などの3次元の撮像システム12b(図4A参照)、又は別の適切な撮像システム12(図4A参照)を備え得る。図2、図4Aで示されるように、撮像システム12は、光学システム20及び画像センシングシステム22を備える。
図4Aで示されるように、リモートセンシングプラットフォーム14は、無人機200(図6参照)などの航空ベースプラットフォーム14a、地上ベースプラットフォーム14b、宇宙ベースプラットフォーム14c、又は水中ベースプラットフォーム14dを備え得る。リモートセンシングプラットフォーム14(図4A参照)は、また、別の適切なプラットフォームを備え得る。
図2、図4Aで示されるように、動的画像マスキングシステム10は、撮像システム12に関連したマルチレベルの保安システム42を更に備える。マルチレベルの保安システム42(図2参照)は、不揮発性結果記憶メモリ44(図2参照)及び後処理プロセス48(図2参照)を備える。不揮発性結果記憶メモリ44(図2参照)は、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、ビデオメモリ(VRAM)、ハードディスク、フロッピーディスク、コンパクトディスク(CD)、磁気テープ、それらの組み合わせ、又は別の適切なコンピュータ可読記憶装置などの、任意の適切なコンピュータ可読記憶媒体を備え得る。
マルチレベルの保安システム42(図2、図4A参照)は、好ましくは、画像122(図4B参照)のためのデータの整合性を維持するために必要とされる。マルチレベルの保安システム42(図2、図4A参照)は、個々の画素126(図4B参照)に関する情報に対するアクセスと同様に、動的画像マスキングシステム10に対するアクセスを制御する。
図2、図4Bで示されるように、動的画像マスキングシステム10は、好ましくは、撮像システム12及びマルチレベルの保安システム42内に配置された、1以上の画像修正位置90を更に備える。1以上の画像の修正90は、動的画像マスキングプロセス11を介して行われる。1以上の画像修正位置90(図2参照)は、また、撮像システム12(図2参照)及びマルチレベルの保安システム42(図2参照)の外部に配置され得る。
動的画像マスキングシステム10(図2、図4A参照)は、好ましくは、収集イベント又はミッションの間に収集された1以上の画像122(図4A参照)のプランニング、収集、及び後処理のための、収集プランニングフェーズ112(図4A参照)、収集フェーズ114(図4A参照)、及び後処理フェーズ116(図4A参照)を含む。収集プランニングフェーズ112(図4A参照)のために、動的画像マスキングシステム10(図2、図4A参照)は、好ましくは、予め規定された収集プランニングプロセス16(図1、図2、図4A参照)を含み得る。例えば、予め規定された収集プランニングプロセス16(図4A参照)は、無人機200(図6参照)などの航空ベースプラットフォーム14a(図4A参照)の予め規定された飛行プラン17(図4A参照)を含み得る。
予め規定された収集プランニングプロセス16(図1、図2、図4A参照)は、好ましくは、収集イベント又はミッションに先立って、例えば、無人機200(図6参照)を撮像のための領域118(図4A参照)上で飛行させることに先立って、撮像システム12(図1、図2、図4A参照)を用いて撮像されるべきでない排除された領域124(図4A参照)を決定することを含む。予め規定された収集プランニングプロセス16(図1、図2、図4A参照)は、どの領域で画像122(図4A参照)を収集しないかを動的にプランニングすること、及び取集イベント又はミッションに先立って収集又はミッションプランからそのような領域を排除することを可能にする。
予め規定された収集プランニングプロセス16(図2、図4A参照)は、手動のプロセスとして、又は自動化されたプロセスとして行われ得る。自動化されたプロセスは、好ましくは、画像修正位置90a(図2参照)などの画像修正位置90(図2参照)において、予め規定された収集プランニングプロセス16(図2参照)に対して、ゲートキーパー指示命令62a(図2参照)などのゲートキーパー指示命令62(図2参照)を送るように設定された、ゲートキーパー(GK)アルゴリズム60a(図2参照)などのゲートキーパー(GK)アルゴリズム60(図2参照)を使用する。ゲートキーパー指示命令62a(図2参照)などのゲートキーパー指示命令62(図2参照)は、好ましくは、この収集プランニングフェーズ112(図4A参照)において、収集プランニング98(図3参照)及び収集ポリシー(100)、又は他の適切なルール及びポリシーを含んだルールセット92(図3参照)を含み得る。収集プランニング98(図3参照)及び収集ポリシー100(図3参照)は、好ましくは、収集イベント又はミッションの領域、地域、州、国、及び/又は国家において現在有効な特定のポリシー及びルールの実施を含む。
図2で示されるように、画像修正位置90aなどの画像修正位置90は、撮像システム12の光学システム20への入力の前に、特定される。図2で更に示されるように、収集プランニングプロセス出力18は、収集プランニングプロセス16からの出力であり、かつ光学システム20への入力である。
動的画像マスキングシステム10(図2、図4A参照)の収集フェーズ114(図4A参照)のために、撮像システム12(図2、図4A参照)は、好ましくは、撮像されるべき指定された領域118a(図4A参照)を得るために、撮像するための領域118(図4A参照)を指定するために使用される。複数の基準点120(図4A参照)が、撮像されるべき指定された領域118a(図4A参照)の表面118b(図4A参照)上で規定され得る。複数の特定の表面領域124a(図4A参照)が、複数の基準点120(図4A参照)を参照して、撮像されるべきでない排除された領域124(図4A参照)として指定され得る。
動的画像マスキングシステム10(図4A参照)は、撮像されるべき指定された領域118a(図4A参照)を撮像するために、撮像システム12(図2、図4A参照)を位置決めするためのナビゲーションシステム110(図4A参照)を更に備え得る。ナビゲーションシステム110(図4A参照)は、全地球測位システム(GPS)110a(図4A参照)、無線式のナビゲーションシステム110b(図4A参照)、光学式のナビゲーションシステム110c(図4A参照)、慣性計測ユニット(IMU)システム110d(図4A参照)、磁気探知器が装備された慣性計測ユニット(IMU)システム110e、それらの組み合わせ、又は別の適切なナビゲーションシステム110(図4A参照)を備え得る。
図1、図2、図4Aで示されるように、光学システム20はカメラ20aを備え得る。好ましくは、カメラ20a(図1、図2、図4A参照)は、デジタルカメラ20b(図4A参照)である。光学システム20(図1、図2、図4A参照)は、また、他の適切なカメラ装置又は先進の光学装置を備え得る。上述されたように、光学システム20は、全世界の光学視野を表す。
図2、図4Bで示されるように、動的画像マスキングシステム10は、光学システム20と画像センシングシステム22との間に配置された光学目くらまし(blindness)システム64を更に備える。図2、図4Bで更に示されるように、ゲートキーパー(GK)アルゴリズム60bなどのゲートキーパー(GK)アルゴリズム60は、画像修正位置90bなどの画像修正位置90を制御するために、ゲートキーパー指示命令62bなどのゲートキーパー指示命令62を、光学目くらましシステム64などのコントローラ63に送るように構成される。ゲートキーパーアルゴリズム60b(図2参照)は、光学システム20(図2参照)と画像センシングシステム22(図2参照)との間に配置された画像修正位置90b(図2参照)を制御する光学目くらましシステム64(図2参照)に、ゲートキーパー指示命令62b(図2参照)を、機械的又は光学的に送るように設定されている。
画素126(図4B参照)は、画像センシングシステム22(図2参照)の焦点面アレイ26(図2参照)上で記録される前に修正されるので、この光学目くらましシステム64(図2参照)の実施形態を用いることによって、無関係な画素は処理されない。画素126(図4B参照)は、光子を収集することを防止され得るか、又は画素126(図4B参照)が、「目くらまし(blindness)」が生じることをもたらすために画素126を100%発光することによって光飽和され得るかのいずれかである。
光学目くらましシステム64(図2、図4B参照)は、画像修正ハードウェア65(図4B参照)と共に使用され得る。画像修正ハードウェア65(図4B参照)は、複数の画素126(図4B参照)が光子を収集することを防止するために使用され得る、シャッター制御機械装置66a(図4B参照)などの、機械装置66(図4B参照)を備え得る。代替的に、画像修正ハードウェア65(図4B参照)は、焦点面アレイ26(図2参照)上の特定の画素126(図4B参照)を照射するために使用され得る、レーザー光学装置67a(図4B参照)及びマイクロミラー光学装置67b(図4B参照)などの、光学装置67(図4B参照)を備え得、画素126(図4B参照)の目くらましをもたらす。
ゲートキーパー指示命令62b(図2参照)などのゲートキーパー指示命令62(図2参照)は、好ましくは、この収集フェーズ114(図4A参照)において、カメラモデル94(図3参照)、マスキング指示命令96(図3参照)、収集プランニング(98)、収集ポリシー(100)、又は他の適切なルール及びポリシーを含んだルールセット92(図3参照)を含み得る。ゲートキーパー指示命令62b(図2参照)などのゲートキーパー指示命令62(図2参照)は、好ましくは、この収集フェーズ114(図4A参照)において、時間102(図3参照)、姿勢(IMU)104(図3参照)、距離センサ106(図3参照)、及び/又は位置(GPS)108(図3参照)を更に含み得る。
図1で示されるように、光学システム20は、光学システム20を用いて得られた生画像データ24を出力し、生画像データ24を撮像システム12の画像センシングシステム22に入力する。図2で示されるように、ゲートキーパーアルゴリズム60bなどのゲートキーパーアルゴリズム60、及び動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90bなどの画像修正位置90を制御するために、光学目くらましシステム出力68を使用する光学目くらましシステム64を使用することによって、1以上の画素126(図4B参照)がマスキング又は修正される。このようにして、ゲートキーパーアルゴリズム60b(図2参照)などのゲートキーパーアルゴリズム60(図2参照)、及び光学目くらましシステム64(図2参照)を使用することによって、マスキングされた生画像データ24a(図2参照)は、画像センシングシステム22(図2参照)の焦点面アレイ26(図2参照)に入力される。
図2、図4Aで示されるように、画像センシングシステム22は、焦点面アレイサブシステム22aを備え、焦点面アレイサブシステム22aは、焦点面アレイ26、アナログデジタル変換器(A/D)30、揮発性一時記憶メモリ34、デジタル信号プロセッサ38、及びデジタルアナログ変換器(D/A)54を備える。焦点面アレイサブシステム22a(図2参照)は集積回路であってよく、焦点面アレイサブシステム22a(図2参照)は、画像センシングシステム22(図2参照)の焦点面アレイサブシステム22a(図2参照)内の望ましい画像修正位置90(図2参照)において、例えば、画像修正位置90c、90d、及び90eなどにおいて、信号を遮断するために何らかの不均一化を必要とし得る。
図4Aで示されるように、画像センシングシステム22は、レーダー撮像システム22b、ソナー撮像システム22c、赤外線撮像システム33d、X線撮像システム22e、光検出及び測距システム(LIDAR)22f、又は別の適切な画像センシングシステム22を更に備え得る。
図2で示されるように、ゲートキーパーアルゴリズム60cなどの状態にあるゲートキーパーアルゴリズム60は、ゲートキーパー指示命令62cなどの状態にあるゲートキーパー指示命令62を、画素コントローラ69などのコントローラ63に送るように設定されている。画素コントローラ69(図2参照)は、焦点面アレイ26(図2参照)上の1以上の画素126(図2参照)をゼロ飽和140(図4A参照)又は100パーセントの飽和142(図4A参照)のいずれかで上書きすることによって、動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90cなどの画像修正位置90を制御するために、画素コントローラ出力70を使用する。
この画素コントローラ69(図2参照)の実施形態を用いて、画素コントローラ(図2参照)は、焦点面アレイ26(図2参照)にデータを供給して焦点面アレイ26(図2参照)上の画素126(図4B参照)を、0(ゼロ)(0に対応する)又は100%(100パーセント)の飽和(このレベルは8ビットシステムに対する256の値に対応し得る)のいずれかで実質的に上書きする。
図1で示されるように、焦点面アレイ26は、焦点面アレイ出力28を出力し、焦点面アレイ出力28をアナログデジタル変換器30に入力する。図2で示されるように、ゲートキーパーアルゴリズム60cなどのゲートキーパーアルゴリズム60、及び動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90cなどの画像修正位置90を制御するために画素コントローラ出力70を使用する画素コントローラ69を使用することによって、1以上の画素126(図4B参照)はマスキング又は上書きによって修正される。このようにして、ゲートキーパーアルゴリズム60c(図2参照)などのゲートキーパーアルゴリズム60(図2参照)、及び画素コントローラ69(図2参照)を使用することによって、マスキングされた焦点面アレイ出力28a(図2参照)は、アナログデジタル変換器30に入力される。
図2で更に示されるように、アナログデジタル変換器30はマスキングされた焦点面アレイ出力28a(図2参照)を受信する。それは、好ましくは、焦点面アレイ26からのマスキングされた生画像データ24aの状態にある。アナログデジタル変換器30(図2参照)は、アナログデジタル信号37(図4B参照)からのマスキングされた生画像データ24aを変換する。
図2で示されるように、ゲートキーパーアルゴリズム60dなどの状態にあるゲートキーパーアルゴリズム60は、ゲートキーパー指示命令62dなどの状態にあるゲートキーパー指示命令62を、デジタル化コントローラ72などのコントローラ63に送るように設定されている。デジタル化コントローラ72(図2参照)は、動的画像マスキングプロセス11(図4A、図4B)を介して、画像修正位置90dなどの画像修正位置90を制御するために、デジタル化コントローラ出力74を使用する。画像修正位置90d(図2参照)は、アナログデジタル変換器30(図2参照)と揮発性一時記憶メモリ34(図2参照)との間に配置される。1以上の画素126(図4B参照)は、好ましくは、最小値146a(図4B参照)又は最大値146b(図4B参照)のいずれかの1以上の画素126(図4B参照)についてデジタル化された値146(図4B参照)を設定することによって、画像修正位置90dにおいて修正される。
このデジタル化コントローラ72(図2参照)の実施形態を用いて、デジタル化コントローラ72(図2参照)は、デジタル化された値146(図4B)を高く(最小値146a(図4B参照))又は低く(最大値146b(図4B参照))のいずれかに設定することによって、アナログデジタル変換器30(図2参照)の後でデジタル化を制御する。このやり方で、特定の画素126(図4B参照)に対する信号は、実質的にショートアウト(shorted out)(低く設定された値)又はマックスアウト(maxed out)(高く設定された値)される。この実施形態は、カスタムインターフェースエレクトロニクス、例えば、ブール演算子のハードウェア実施態様である有線の論理和関数144(図4B参照)を用いて使用され得る。有線の論理和関数144(図4B参照)は、入力毎にプルダウン抵抗器及び1つのダイオードを使用して、論理和ゲートのブール論理演算を電気的に実行する。
図1で示されるように、アナログデジタル変換器30は、アナログデジタル変換器出力32を出力し、アナログデジタル変換器出力32を揮発性一時記憶メモリ34に入力する。図2で示されるように、ゲートキーパーアルゴリズム60dなどのゲートキーパーアルゴリズム60、及び動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90dなどの画像修正位置90を制御するためにデジタル化コントローラ出力74を使用するデジタル化コントローラ72を使用することによって、1以上の画素126(図4B参照)はマスキングされ又は上書きによって修正される。このようにして、ゲートキーパーアルゴリズム60d(図2参照)などのゲートキーパーアルゴリズム60(図2参照)、及びデジタル化コントローラ72(図2参照)を使用することによって、マスキングされたアナログデジタル変換器出力32a(図2参照)は、揮発性一時記憶メモリ34(図2参照)に入力される。
図2で更に示されるように、揮発性一時記憶メモリ34は、マスキングされたアナログデジタル変換器出力32aを受信し、それは、好ましくは、アナログデジタル変換器30からのデジタル信号37(図4B参照)の状態にある。揮発性一時記憶メモリ34は、アナログデジタル変換器30からのデジタル信号37(図4B参照)を一時的に記憶する。
図2で示されるように、ゲートキーパーアルゴリズム60eなどの状態にあるゲートキーパーアルゴリズム60は、ゲートキーパー指示命令62eなどの状態にあるゲートキーパー指示命令62を、デジタルフローコントローラ76などのコントローラ63に送るように設定されている。デジタルフローコントローラ76(図2参照)は、動的画像マスキングプロセス11(図4A、図4B)を介して、画像修正位置90eなどの画像修正位置90を制御するために、デジタルフローコントローラ出力78を使用する。画像修正位置90e(図2参照)は、揮発性一時記憶メモリ34(図2参照)とデジタル信号プロセッサ38(図2参照)との間に配置される。1以上の画素126(図4B参照)は、好ましくは、一度に単一の画像122(図4A参照)を修正すること、及び単一の画像122(図4A参照)内の1以上の画素126をマスキングすることによって、画像修正位置90eにおいて修正される。
このデジタルフローコントローラ76(図2参照)の実施形態を用いて、揮発性一時記憶メモリ34(図2参照)は、一度に単一の画像122(図4A参照)をデジタル信号プロセッサ38(図2参照)に出力する。このことは、揮発性一時記憶メモリ34(図2参照)のメモリが、処理される各々の単一の画像122(図4A参照)に対して上書きされるので、生じる。
図1で示されるように、揮発性一時記憶メモリ34は、揮発性一時記憶メモリ出力36を出力し、揮発性一時記憶メモリ出力36をデジタル信号プロセッサ38に入力する。図2で示されるように、ゲートキーパーアルゴリズム60eなどのゲートキーパーアルゴリズム60、及び動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90eなどの画像修正位置90を制御するためにデジタルフローコントローラ出力78を使用するデジタルフローコントローラ76を使用することによって、1以上の画素126(図4B参照)は、マスキングされ又は上書きによって修正される。このようにして、ゲートキーパーアルゴリズム60e(図2参照)などのゲートキーパーアルゴリズム60(図2参照)、及びデジタルフローコントローラ76(図2参照)を使用することによって、マスキングされた揮発性一時記憶メモリ出力36a(図2参照)は、デジタル信号プロセッサ38に入力される。
デジタル信号プロセッサ38(図2参照)は、揮発性一時記憶メモリ34(図2参照)からデジタル信号37(図4B参照)を受信し、デジタル信号37(図4B参照)を可読画像フォーマット39(図4B参照)に加工する。撮像システム12(図2参照)がアナログ出力を使用する場合に、デジタルアナログ変換器54(図2参照)は、デジタル信号プロセッサ38(図2参照)から可読デジタル信号を受信し、可読デジタル信号をアナログ信号に変換する。
図2で示されるように、ゲートキーパーアルゴリズム60fなどの状態にあるゲートキーパーアルゴリズム60は、ゲートキーパー指示命令62fなどの状態にあるゲートキーパー指示命令62を、コントロール記憶コントローラ80などのコントローラ63に送るように設定されている。コントロール記憶コントローラ80(図2参照)は、動的画像マスキングプロセス11(図4A、図4B)を介して、画像修正位置90fなどの画像修正位置90を制御するために、コントロール記憶コントローラ出力82を使用する。画像修正位置90f(図2参照)は、撮像システム12(図2参照)の焦点面アレイサブシステム22a(図2参照)のデジタル信号プロセッサ出力40(図1、図2参照)において、マルチレベルの保安システム42(図2参照)の不揮発性結果記憶メモリ44(図2参照)に入力される前に、配置される。画像修正位置90fにおいて、1以上の画素126(図4B参照)は、マスキングによって修正され得、それによって、それらは不揮発性結果記憶メモリ44(図2参照)に書き込まれない。
このコントロール記憶コントローラ80(図2参照)の実施形態を用いて、コントロール記憶コントローラ80(図2参照)は、焦点面アレイサブシステム22a(図2参照)の出力において画像122(図4A参照)を修正する。抑制され又は消去される(隠蔽される)ことが必要な1以上の画素126(図4B参照)は、ゲートキーパーアルゴリズム60f(図2参照)などのゲートキーパーアルゴリズム60(図2参照)によって決定され、この画素情報は画像122(図4A参照)内の位置に関連付けられる。結果は、望ましくない画素が、遮断され、かつ不揮発性結果記憶メモリ44(図2参照)に書き込まれないということである。
図1で示されるように、デジタル信号プロセッサ38は、デジタル出力40を出力し、デジタル出力40を、マルチレベルの保安システム42の不揮発性結果記憶メモリ44に入力する。図2で示されるように、ゲートキーパーアルゴリズム60fなどのゲートキーパーアルゴリズム60、及び動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90fなどの画像修正位置90を制御するためにコントロール記憶コントローラ出力82を使用するコントロール記憶コントローラ80を使用することによって、1以上の画素126(図4B参照)は、マスキングされ又は遮断されることによって修正され、かつ不揮発性結果記憶メモリ44に書き込まれない。このようにして、ゲートキーパーアルゴリズム60f(図2参照)などのゲートキーパーアルゴリズム60(図2参照)、及びコントロール記憶コントローラ80(図2参照)を使用することによって、マスキングされたデジタル出力40a(図2参照)は、マルチレベルの保安システム42(図2参照)の不揮発性結果記憶メモリ44(図2参照)に出力される。
図2で示されるように、ゲートキーパーアルゴリズム60gなどの状態にあるゲートキーパーアルゴリズム60は、動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90gなどの画像修正位置90を制御するために、ゲートキーパー指示命令62gなどの状態にあるゲートキーパー指示命令62を送るように設定されている。画像修正位置90g(図2参照)は、不揮発性結果記憶メモリ44(図2参照)と後処理プロセス48(図2参照)との間にあるマルチレベルの保安システム42(図2参照)内に配置される。画像修正位置90gにおいて、1以上の画素126(図4B参照)は、1以上の画素126(図4B参照)を、ゼロ飽和140(図4B参照)又は100パーセントの飽和142(図4B参照)のいずれかを用いて上書きすることによって修正され得る。
この実施形態を用いて、画像122(図4A参照)は、その画像が不揮発性記憶メモリ44(図2参照)を出た後であるが、その画像が後処理プロセス48(図2参照)において後処理される前に修正される。ゲートキーパーアルゴリズム60g(図2参照)などのゲートキーパーアルゴリズム60(図2参照)によって決定された望ましくない画素は、それらのデジタル化された値146(図4B参照)を、0(ゼロ)又は画素126(図4B参照)の許容された値の100%(100パーセント)を表す値である既知のエンティティーを用いて上書きすることによって遮断される。
図1で示されるように、揮発性一時記憶メモリ44は、揮発性一時記憶メモリ出力46を出力し、揮発性一時記憶メモリ出力46を後処理プロセス48に入力する。図2で示されるように、動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90gなどの画像修正位置90を制御するためにゲートキーパーアルゴリズム60gなどのゲートキーパーアルゴリズム60を使用することによって、1以上の画素126(図4B参照)はマスキングされ又は修正される。このようにして、ゲートキーパーアルゴリズム60g(図2参照)などのゲートキーパーアルゴリズム60(図2参照)を使用することによって、マスキングされた不揮発性結果記憶メモリ出力46a(図2参照)は、後処理プロセス48(図2参照)に出力される。
図2で示されるように、ゲートキーパーアルゴリズム60hなどの状態にあるゲートキーパーアルゴリズム60は、動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90hなどの画像修正位置を制御するために、ゲートキーパー指示命令62hなどの状態にあるゲートキーパー指示命令62を送るように設定されている。画像修正位置90h(図2参照)は、後処理プロセス48(図2参照)においてマルチレベルの保安システム42(図2参照)内に配置される。画像修正位置90hにおいて、1以上の画素126(図4B参照)は、撮像されるべき指定された領域118a(図4B参照)から排除された領域124(図4B)を表す1以上の画素126(図4B参照)を編集すること又は無視することによって修正され得る。
後処理フェーズ116(図4A参照)である、この実施形態を用いて、1以上の画素126(図4B参照)は、後処理プロセス48(図2参照)においてマスキングされる。画像122(図4A参照)は、排除された領域124(図4B参照)などの望ましくない画像122(図4A)の部分を表す1以上の画像122(図4B参照)を編集すること又は単に無視することによって、実質的に修正される。
図1で示されるように、後処理プロセス48は、マルチレベルの保安システム42から後処理された出力49を出力する。図2で示されるように、動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90hなどの画像修正位置90を制御するためにゲートキーパーアルゴリズム60hなどのゲートキーパーアルゴリズム60を使用することによって、1以上の画素126(図4B参照)はマスキングされ又は修正される。このようにして、ゲートキーパーアルゴリズム60h(図2参照)などのゲートキーパーアルゴリズム60(図2参照)を使用することによって、後処理プロセス48は、フィルターをかけられた自律したリモートセンシング画像51(図2参照)などのマスキングされた画像50(図2参照)を得るために、マルチレベルの保安システム42からマスキングされた後処理された出力49aを出力する。
図2で示されるように、ゲートキーパーアルゴリズム60iなどの状態にあるゲートキーパーアルゴリズム60は、ゲートキーパー指示命令62iなどの状態にあるゲートキーパー指示命令62を、アナログ信号コントローラ84などのコントローラ63に送るように設定されている。アナログ信号コントローラ84(図2参照)は、動的画像マスキングプロセス11(図4A、図4B)を介して、画像修正位置90iなどの画像修正位置90を制御するために、アナログ信号コントローラ出力86を使用する。
画像修正位置90i(図2参照)は、焦点面アレイサブシステム22a(図2参照)のデジタルアナログ変換器54(図2参照)のアナログ出力56(図2参照)において、焦点面アレイサブシステム22a(図2参照)の外部に配置されたビデオ編集システム58(図2参照)に入力される前に、配置される。1以上の画素126(図4B参照)は、好ましくは、1以上の画素126(図4B参照)をマスキングすることによって、画像修正位置90iにおいて修正され、それによって、それらはビデオ編集システム58(図2参照)に書き込まれない。
図1で示されるように、デジタル信号プロセッサ38は、デジタル信号プロセッサ出力信号52をデジタルアナログ変換器54へ出力し、デジタルアナログ変換器54は、焦点面アレイサブシステム22aからアナログ出力56を出力し、アナログ出力56をビデオ編集システム58に入力する。図2で示されるように、ゲートキーパーアルゴリズム60iなどのゲートキーパーアルゴリズム60、及び動的画像マスキングプロセス11(図4A、図4B参照)を介して、画像修正位置90iなどの画像修正位置90を制御するために、アナログ信号コントローラ出力86を使用するアナログ信号コントローラ84を使用することによって、複数の画素126(図4B参照)は、マスキングされ又は修正される。このようにして、ゲートキーパーアルゴリズム60i(図2参照)などのゲートキーパーアルゴリズム60(図2参照)、及びアナログ信号コントローラ84(図2参照)を使用することによって、マスキングされたアナログ出力56a(図2参照)は、ビデオ編集システム58(図2参照)に入力される。
図4Bで示されるように、動的画像マスキングシステム10は、撮像システム12に関連したコンピュータシステム130を更に備える。コンピュータシステム130(図4B参照)は、動的画像マスキングプロセス11(図2、図4B)を用いて1以上の画像修正位置90(図2、図4B参照)を制御する1以上のコントローラ63(図2、図4B参照)に、ゲートキーパー指示命令62(図2、図4B参照)を送るように設定された、ゲートキーパーアルゴリズム60(図2、図4B参照)を備える。
図4Bで示されるように、コンピュータシステム130は、好ましくは、コンピュータ132、並びにソフトウェア134、ファームウェア136、及びハードウェア138のうちの1以上を備える。ゲートキーパーアルゴリズム60及びコントローラ63は、好ましくは、ハードウェア138及びファームウェア136の組み合わせ、又はハードウェア138及びソフトウェア134の組み合わせであり得る。
ソフトウェア134(図4B参照)又はファームウェア136(図4B参照)は、コンピュータシステム130のコンピュータ132(図4B参照)又はコンピュータシステム130(図4B参照)の他のハードウェア138と連動して使用されるように設計された、ゲートキーパーアルゴリズム60(図3参照)を実装し得る。
本開示の別の実施形態では、動的画像マスキングプロセス11(図4A、図4B参照)を介して、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)を提供するための方法150(図5A参照)が提供される。図5Aは、本開示の方法150の実施形態の流れ図である。
図5Aで示されるように、方法150は、リモートセンシングプラットフォーム14(図2、図4A参照)に撮像システム12(図2、図4A参照)を装備するステップ152を含む。リモートセンシングプラットフォーム14(図2、図4A参照)に撮像システム12(図2、図4A参照)を装備するステップ152は、リモートセンシングプラットフォーム14(図2、図4A参照)に、撮像システム12(図2、図4A参照)を装備することを含む。撮像システム12は、デジタルカメラ20a(図2参照)を含んだ光学システム20(図2参照)、並びに焦点面アレイサブシステム22a(図4A参照)、レーダー撮像システム22b(図4A参照)、ソナー撮像システム22c(図4A参照)、赤外線撮像システム22d(図4A参照)、X線撮像システム22e(図4A参照)、又は光検出及び測距(LIDAR)システム22f(図4A参照)を含んだ、画像センシングシステム22(図2、図4A参照)を備える。
リモートセンシングプラットフォーム14(図2、図4A参照)に撮像システム12(図2、図4A参照)を装備するステップ152は、航空ベースプラットフォーム14a(図4A参照)、地上ベースプラットフォーム14b(図4A参照)、宇宙ベースプラットフォーム14c(図4A参照)、又は水中ベースプラットフォーム14d(図4A参照)に装備することを更に含む。
図5Aで示されるように、方法150は、撮像のための領域118(図4A参照)を指定して、撮像されるべき指定された領域118a(図4A参照)を得るステップ154を更に含む。図5Aで示されるように、方法150は、撮像されるべき指定された領域118a(図4A参照)の表面118b(図4A参照)上の複数の基準点120(図4A参照)を規定するステップ156を更に含む。
図5Aで示されるように、方法150は、複数の基準点120(図4A参照)を参照して、撮像されるべきではない排除された領域124(図4A参照)として、複数の特定の表面領域124a(図4A参照)を指定するステップ158を更に備える。図5Aで示されるように、方法150は、撮像されるべき指定された領域118a(図4A参照)を対象とする予め規定された収集プランニングプロセス16(図2、図4A参照)を制御するステップ160を更に含む。
図5Aで示されるように、方法150は、全地球測位システム(GPS)110a(図4A参照)、無線式のナビゲーションシステム110b(図4A参照)、光学式のナビゲーションシステム110c(図4A参照)、慣性計測ユニット(IMU)システム110d(図4A参照)、磁気探知器が装備された慣性計測ユニット(IMU)システム110e(図4A)、又はそれらの組み合わせを備えた、ナビゲーションシステム110(図4A参照)を使用して、撮像されるべき指定された領域118a(図4A参照)を撮像する撮像システム12(図2、図4A参照)を位置決めするステップ162を含む。
図5Aで示されるように、方法150は、撮像システム12(図2、図4A参照)を使用して、予め規定された収集プランニングプロセス16(図2、図4A参照)によって対象とされた撮像されるべき指定された領域118a(図4A参照)を撮像するステップ164を更に含む。
図5Aで示されるように、方法150は、排除された領域124(図4A参照)の1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)を動的に無効にするステップ166を含む。排除された領域124(図4A参照)の1以上の画像122(図4A参照)からの1以上の画素126(図4B参照)を動的に無効にするステップ166は、排除された領域124(図4A参照)の1以上の捕捉された画像124b(図4B参照)を修正し、それらを判読できなくすることを含む。
一実施形態では、排除された領域124(図4A参照)の1以上の捕捉された画像124b(図4A参照)の修正は、好ましくは、撮像されるべき指定された領域118a(図4A参照)の撮像の間にリアルタイムで実行される。別の実施形態では、排除された領域124(図4A参照)の1以上の捕捉された画像124b(図4A参照)の修正は、撮像されるべき指定された領域118a(図4A参照)の全体の撮像が完了した後で、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)が、撮像されるべき指定された領域118a(図4A参照)の動的画像マスキングプロセス11(図4B参照)を介して得られる前に、実行される。
図5Aで示されるように、方法150は、撮像されるべき指定された領域118a(図4A参照)の動的画像マスキングプロセス11を介して、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)を得るステップ168を含む。
本開示の別の実施形態では、動的画像マスキングプロセス11(図4A、図4B参照)を介して、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)を提供するための方法170(図5B参照)が提供される。図5Bは、本開示の方法170の別の実施形態の流れ図である。
図5Bで示されるように、方法170は、無人機(UAV)200(図6参照)に撮像システム12(図2、図4A参照)を装備するステップ172を含む。
図5Bで示されるように、方法170は、撮像のための領域118(図4A参照)を指定して、撮像されるべき指定された領域118a(図4A参照)を得るステップ174を更に含む。
図5Bで示されるように、方法170は、撮像されるべき指定された領域118a(図4A参照)の表面118b(図4A参照)上の複数の基準点120(図4A参照)を規定するステップ176を更に含む。
図5Bで示されるように、方法170は、複数の基準点120(図4A参照)を参照して、撮像されるべきではない排除された領域124(図4A参照)として、複数の特定の表面領域124a(図4A参照)を指定するステップ178を更に備える。
図5Bで示されるように、方法170は、撮像されるべき指定された領域118a(図4A参照)を対象とするUAV200(図6参照)の予め規定された飛行プラン17を制御するステップ180を更に含む。
図5Bで示されるように、方法170は、全地球測位システム(GPS)110a(図4A参照)、無線式のナビゲーションシステム110b(図4A参照)、光学式のナビゲーションシステム110c(図4A参照)、慣性計測ユニット(IMU)システム110d(図4A参照)、磁気探知器が装備された慣性計測ユニット(IMU)システム110e(図4A)、又はそれらの組み合わせを備えた、ナビゲーションシステム110(図4A参照)を使用して、撮像されるべき指定された領域118a(図4A参照)を撮像するように撮像システム12(図2、図4A参照)を位置決めするステップ182を更に含む。
図5Bで示されるように、方法170は、撮像されるべき指定された領域118a(図4A参照)上でUAV200(図6参照)を飛行させ、かつ撮像システム12(図2、図4A参照)を使用して、UAV200(図6参照)の予め規定された飛行プラン17(図4A参照)によって対象とされた撮像されるべき指定された領域118a(図4A参照)を撮像するステップ184を更に含む。
図5Bで示されるように、方法170は、排除された領域124(図4A参照)の1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)を動的に無効にするステップ186を更に含む。排除された領域124(図4A参照)の1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)を動的に無効にするステップ186は、UAV200(図6参照)の予め規定された飛行プラン17(図4A参照)をガイドして、排除された領域124(図4A参照)上で飛行することを避けることを含む。
排除された領域124(図4A参照)の1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)を動的に無効にするステップ186は、排除された領域124(図4A参照)上でUAV200(図6参照)が飛行する場合に、画像センシングシステム22(図2、図4A参照)による撮像の動的なリアルタイムの取り消しを更に含む。
排除された領域124(図4A参照)の1以上の画像122(図4A参照)内の1以上の画素126(図4B参照)を動的に無効にするステップ186は、排除された領域124(図4A参照)の1以上の捕捉された画像124b(図4B参照)を修正し、それらを判読できなくすることを更に含む。
一実施形態では、排除された領域124(図4A参照)の1以上の捕捉された画像124b(図4A参照)の修正は、好ましくは、撮像されるべき指定された領域118a(図4A参照)の撮像の間にリアルタイムで実行される。別の実施形態では、排除された領域124(図4A参照)の1以上の捕捉された画像124b(図4A参照)の修正は、撮像されるべき指定された領域118a(図4A参照)の全体の撮像が完了した後で、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)が、撮像されるべき指定された領域118a(図4A参照)の動的画像マスキングプロセス11(図4B参照)を介して得られる前に、実行される。
図5Bで示されるように、方法170は、撮像されるべき指定された領域118a(図4A参照)の動的画像マスキングプロセス11を介して、フィルターをかけられた自律したリモートセンシング画像51(図2、図4A参照)を得るステップ188を更に含む。
図6は、本開示の、動的画像マスキングシステム10、方法150(図5A参照)、及び方法170(図5B参照)の実施形態において使用され得る無人機(UAV)200の形態における、航空ベースプラットフォーム14aなどのリモートセンシングプラットフォーム14の実施形態の概略的な表現を示す図である。図6で示されるように、UAV200の形態における航空ベースプラットフォーム14aなどのリモートセンシングプラットフォーム14は、動的画像マスキングシステム10を含む。図6で更に示されるように、UAV200は、ノーズ202、胴体204、翼206、及び尾部208を備える。
図7は、航空機の製造及び保守方法300の実施形態の流れ図である。図8は、航空機320の実施形態の機能ブロック図である。図7及び図8を参照すると、本開示の実施形態が、図7に示す航空機の製造及び保守方法300、及び図8に示す航空機320に照らして説明され得る。製造前の段階では、例示的な航空機の製造及び保守方法300(図7参照)は、航空機320(図8参照)の仕様及び設計302、並びに材料の調達304(図7参照)を含み得る。製造段階では、図8の航空機320(図8参照)の構成要素及びサブアセンブリの製造306(図7参照)、並びにシステムインテグレーション308(図7参照)が行われる。その後、航空機320(図8参照)は、認可及び納品310(図7参照)を経て運航312(図7参照)に供される。顧客により運航312(図7参照)される間に、航空機320(図8参照)は定期的な整備及び保守314(図7参照)を受け、それは、改造、再設定、改修、及び他の適切な保守も含み得る。
航空機の製造及び保守方法300(図7参照)の各プロセスは、システムインテグレーター、第三者、及び/又はオペレーター(例えば、顧客)によって実施又は実行され得る。本明細書の目的のために、システムインテグレーターは、限定しないが、いかなる数の航空機メーカー、及び主要システムの下請業者を含むことができ、第三者は、限定しないが、いかなる数のベンダー、下請業者、及び供給業者を含むことができ、オペレーターは、航空会社、リース会社、軍事団体、サービス機関、及び他の適切なオペレーターを含むことができる。
図8で示されるように、航空機の製造及び保守方法300によって製造された航空機320は、複数のシステム324及び内装326を有する機体322を含み得る。図8で更に示されるように、複数のシステム324の例には、推進システム328、電気システム330、油圧システム332、及び環境システム344のうちの1以上が含まれ得る。いかなる数の他のシステムも含まれ得る。航空宇宙産業の例を示したが、本開示の原理は、自動車産業などの他の産業にも適用し得る。
本明細書で具現化された方法とシステムは、航空機の製造及び保守方法300(図7参照)のいかなる1以上の段階で採用することができる。例えば、構成要素及びサブアセンブリの製造306(図7参照)に対応する構成要素又はサブアセンブリは、航空機320(図8参照)の運航312(図7参照)期間中に製造される構成要素またはサブアセンブリと同様のやり方で作製または製造され得る。また、1以上の装置の実施形態、方法の実施形態、又はこれらの組み合わせは、例えば、航空機320(図8参照)の組立てを大幅に効率化するか、又は航空機320のコストを削減することにより、構成要素及びサブアセンブリの製造306(図7参照)及びシステムインテグレーション308(図7参照)の段階で利用することができる。同様に、装置の実施形態、方法の実施形態、若しくはそれらの組み合わせのうちの1以上は、航空機320(図8参照)の運航312(図7参照)中に、例えば限定しないが、整備及び保守312(図7参照)に利用され得る。
動的画像マスキングシステム10(図2、図4A、図4B参照)、方法150(図5A参照)、及び方法170(図5B参照)の開示された実施形態は、航空ベースプラットフォームミッションなどの、リモートセンシングプラットフォームミッションに対して、抑制され、限界を超え、又は理由がない領域若しくはデータを撮像しないことのみならず、有用かつ望ましいデータのみを撮像することを含んで、既知のシステム及び方法よりも多くの利点を提供する。この種の「保証されたシャッター制御」は、懸念され得るプライバシー侵害の問題に対処し、動的画像マスキングシステム10(図2、図4A、図4B参照)が、顧客以外の地域上で収集されたデータなどの不用なデータによって閉口されないことを保証する。
更に、動的画像マスキングシステム10(図2、図4A、図4B参照)、方法150(図5A参照)、及び方法170(図5B参照)の開示された実施形態は、画像収集のための良好に規定された区域を提供し、かつ自律した動作を提供し、それらは、典型的には、植物の健康及び活力を判断するために耕作地上を飛行するなど、完全な精密農業マーケットにおける航空リモートセンシング画像収集のために必要とされる。更に、動的画像マスキングシステム10(図2、図4A、図4B参照)、方法150(図5A参照)、及び方法170(図5B参照)の開示された実施形態は、撮像システム12(図2、図4A参照)と無人機(UAV)200(図6参照)などのリモートセンシングプラットフォーム14の自動操縦とを統合し、複数のUAV200に対する飛行及びシャッター制御動作を同時に実行し得る。
それに加えて、動的画像マスキングシステム10(図2、図4A、図4B参照)、方法150(図5A参照)、及び方法170(図5B参照)の開示された実施形態は、好ましくは、利用される興味のある画素126(図4B参照)のみを用いて設定された結果をもたらす、信頼可能であり、再現性があるマスキングされた画像50(図2、図4A参照)を生成する。画素126(図4B参照)は、収集されないか、空白にされるか、上書きされるか、光を用いて飽和されるか、又はさもなければ、結果生成プロセスにおいて画素126(図4B参照)を無益なものにするために修正されるか、のいずれかであり得る。更に、収集プランニングフェーズ112(図4A参照)において「空白にされる」ことから、収集フェーズ114(図4A参照)において上書きされることまで、1以上の画像(図4A参照)が収集された後に、後処理フェーズ116(図4A参照)において後処理されるまで、このことは結果生成プロセスのいずれかの所で生じ得る。
更に、本開示は下記の条項による実施形態を含む。
条項1
動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための動的画像マスキングシステム(10)であって、前記動的画像マスキングシステムは、
リモートセンシングプラットフォーム(14)と、
前記リモートセンシングプラットフォーム(14)に関連した撮像システム(12)とを備え、前記撮像システム(12)は、
光学システム(20)と、
画像センシングシステム(22)とを備え、
前記動的画像マスキングシステムは、更に、
前記撮像システム(12)に関連したマルチレベルの保安システム(42)、
前記撮像システム(12)及び前記マルチレベルの保安システム(42)内に配置された1以上の画像修正位置(90)であって、1以上の画像の修正が前記動的画像マスキングプロセス(11)を介して行われる1以上の画像修正位置(90)、及び
前記撮像システム(12)に関連したコンピュータシステム(130)であって、前記動的画像マスキングプロセス(11)を介して前記1以上の画像修正位置(90)を制御する1以上のコントローラ(63)に、ゲートキーパー指示命令(62)を送るように設定されたゲートキーパーアルゴリズム(60)を含んだ、コンピュータシステム(130)を備える、動的画像マスキングシステム(10)。
条項2
撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするために、全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を更に備える、条項1に記載の動的画像マスキングシステム(10)。
条項3
前記リモートセンシングプラットフォーム(14)は、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備える、条項1又は2に記載の動的画像マスキングシステム(10)。
条項4
前記光学システム(20)は、デジタルカメラ(20b)を含んだカメラ(20a)を備え、
前記画像センシングシステム(22)は、焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22d)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を備える、条項1から3のいずれか一項に記載の動的画像マスキングシステム(10)。
条項5
前記ゲートキーパーアルゴリズム(60)は、前記撮像システム(12)を用いて撮像されるべきでない排除された領域(124)を決定することによって、前記撮像システム(12)に入力される前に、配置された予め規定された収集プランニングプロセス(16)における画像修正位置(90)において、前記予め規定された収集プランニングプロセス(16)に、ゲートキーパー指示命令(62)を送るように更に設定されている、条項1から4のいずれか一項に記載の動的画像マスキングシステム(10)。
条項6
前記ゲートキーパーアルゴリズム(60)は、前記光学システム(20)と前記画像センシングシステム(22)との間に配置された画像修正位置(90)を制御する光学目くらましシステム(64)に、ゲートキーパー指示命令(62)を機械的又は光学的に送るように設定され、前記光学目くらましシステム(64)は、1以上の画素(126)が光子を収集することを防止するためのシャッター制御機械装置(66a)を備えるか、1以上の画素(126)を照射するためのレーザー(67a)及びマイクロミラー(67b)の光学装置を備え、前記1以上の画素(126)の目くらましをもたらす、条項1から5のいずれか一項に記載の動的画像マスキングシステム(10)。
条項7
前記画像センシングシステム(22)は焦点面アレイサブシステム(22a)を備え、
前記焦点面アレイサブシステム(22a)は、
前記光学システム(20)から生画像データ(24)を読み込む焦点面アレイ(26)、
前記焦点面アレイ(26)から前記生画像データ(24)を受信し、前記生画像データ(24)をアナログ信号からデジタル信号に変換するアナログデジタル変換器(30)、
前記アナログデジタル変換器(30)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を一時的に記憶する揮発性一時記憶メモリ(34)、
前記揮発性一時記憶メモリ(34)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を可読画像フォーマット(39)に加工するデジタル信号プロセッサ(38)、及び
前記撮像システム(12)がアナログ出力を使用する場合に、前記デジタル信号プロセッサ(38)から可読デジタル信号を受信し、前記可読デジタル信号をアナログ信号に変換するデジタルアナログ変換器(54)を備える、条項1から6のいずれか一項に記載の動的画像マスキングシステム(10)。
条項8
前記ゲートキーパーアルゴリズム(60)は、前記焦点面アレイ(26)上の1以上の画素をゼロ飽和(140)又は100パーセントの飽和(142)のいずれかで上書きすることによって、前記焦点面アレイ(26)において画像修正位置(90)を制御する画素コントローラに、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項9
前記ゲートキーパーアルゴリズム(60)は、最小値(146a)又は最大値(146b)のいずれかの1以上の画素(126)についてデジタル化された値(146)を設定することによって、前記アナログデジタル変換器(30)と前記揮発性一時記憶メモリ(34)との間に配置された画像修正位置(90)を制御するデジタル化コントローラ(72)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項10
前記ゲートキーパーアルゴリズム(60)は、一度に単一の画像(122)を修正すること、及び前記単一の画像(122)内の1以上の画素(126)をマスキングすることによって、前記揮発性一時記憶メモリ(34)と前記デジタル信号プロセッサ(38)との間に配置された画像修正位置(90)を制御するデジタルフローコントローラ(73)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項11
前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)が不揮発性結果記憶メモリ(44)に書き込まれないように、前記1以上の画素(126)をマスキングすることによって、前記焦点面アレイサブシステム(22a)のデジタル信号プロセッサ出力(40)において、前記マルチレベルの保安システム(42)の前記不揮発性結果記憶メモリ(44)に入力される前に、配置された画像修正位置(90)を制御するコントロール記憶コントローラ(80)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項12
前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)がビデオ編集システム(58)に書き込まれないように、前記1以上の画素(126)をマスキングすることによって、前記焦点面アレイサブシステム(22a)のデジタルアナログ変換器出力(56)において、前記ビデオ編集システム(58)に入力される前に、配置された画像修正位置(90)を制御するアナログ信号コントローラ(84)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項13
前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)をゼロ飽和(140)又は100パーセントの飽和(142)で上書きすることによって、不揮発性結果記憶メモリ(44)と後処理プロセス(48)との間の、前記マルチレベルの保安システム(42)内に配置された画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、条項1から12のいずれか一項に記載の動的画像マスキングシステム(10)。
条項14
前記ゲートキーパーアルゴリズム(60)は、撮像されるべき指定された領域(118a)から排除された領域(124)を表す1以上の画素(126)を編集し又は無視することによって、前記マルチレベルの保安システム(42)の後処理プロセス(48)において、画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、条項1から13のいずれか一項に記載の動的画像マスキングシステム(10)。
条項15
動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための方法であって、前記方法は、
リモートセンシングプラットフォーム(14)に撮像システム(12)を装備するステップ、
撮像のための領域(118)を指定して、撮像されるべき指定された領域(118a)を得るステップ、
前記撮像されるべき指定された領域(118a)の表面(188b)上の複数の基準点(120)を規定するステップ、
前記複数の基準点(120)に関して撮像されるべきでない排除された領域(124)として、複数の特定の表面領域(124a)を指定するステップ、
前記撮像されるべき指定された領域(118a)を対象とする予め規定された収集プランニングプロセス(16)を制御するステップ、
全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を使用して、前記撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするステップ、
前記撮像システム(12)を使用して、前記予め規定された収集プランニングプロセス(16)によって対象とされた前記撮像されるべき指定された領域(118a)を撮像するステップ、
前記排除された領域(124)の1以上の画像(122)内の1以上の画素(126)を動的に無効にするステップ、及び
前記撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を得るステップを含む、方法。
条項16
前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、デジタルカメラ(20a)を含んだ光学システム(20)、並びに焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22c)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を含んだ画像センシングシステム(22)を備えた撮像システム(12)を、前記リモートセンシングプラットフォーム(14)に装備することを含む、条項15に記載の方法。
条項17
前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備えた前記リモートセンシングプラットフォーム(14)に装備することを含む、条項15又は16に記載の方法。
条項18
前記排除された領域(124)の前記1以上の画像(122)からの前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)の1以上の捕捉された画像(124b)を修正し、前記1以上の捕捉された画像(124b)を判読できなくすることを含む、条項15から17のいずれか一項に記載の方法。
条項19
前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の撮像の間にリアルタイムで実行される、条項18に記載の方法。
条項20
動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための方法であって、前記方法は、
無人機(UAV)(200)に撮像システム(12)を装備するステップ、
撮像のための領域(118)を指定して、撮像されるべき指定された領域(118a)を得るステップ、
前記撮像されるべき指定された領域(118a)の表面(188b)上の複数の基準点(120)を規定するステップ、
前記複数の基準点(120)に関して撮像されるべきでない排除された領域(124)として、複数の特定の表面領域(124a)を指定するステップ、
前記撮像されるべき指定された領域(118a)を対象とする前記UAV(200)の予め規定された飛行プラン(17)を制御するステップ、
全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を使用して、前記撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするステップ、
前記撮像されるべき指定された領域(118a)上で前記UAV(200)を飛行させ、前記撮像システム(12)を使用して、前記UAV(200)の前記予め規定された飛行プラン(17)によって対象とされた前記撮像されるべき指定された領域(118a)を撮像するステップ、
前記排除された領域(124)の1以上の画像(122)内の1以上の画素(126)を動的に無効にするステップ、及び
前記撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を得るステップを含む、方法。
条項21
前記排除された領域(124)の1以上の画像(122)内の前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)上を飛行することを避けるために、前記UAVの前記予め規定された飛行プラン(17)をガイドすることを含む、条項20に記載の方法。
条項22
前記排除された領域(124)の1以上の画像(122)内の前記1以上の画素(126)を動的に無効にするステップは、前記UAV(200)が前記排除された領域(124)上を飛行する場合に、前記画像センシングシステム(22)によって撮像することを動的にリアルタイムで取り消すこと含む、条項20又は21に記載の方法。
条項23
前記排除された領域(124)の前記1以上の画像(122)からの前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)の1以上の捕捉された画像(124b)を修正し、前記1以上の捕捉された画像(124b)を判読できなくすることを含む、条項20から22のいずれか一項に記載の方法。
条項24
前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の撮像の間にリアルタイムで実行される、条項23に記載の方法。
条項25
前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の全体の撮像が完了した後で、前記フィルターをかけられた自律したリモートセンシング画像(51)が、撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して得られる前に、実行される、条項23に記載の方法。
上述の説明及び関連する図面に示した教示の利点を有するこのような発明に関連する当業者であれば、本発明の多数の変形例および他の実施形態が想起されよう。本明細書に記載した実施形態は、例示することを意図したものであって、限定的又は網羅的であることを意図していない。本明細書では特定の用語を使用しているが、それらは、一般的及び説明的な意味でのみ使用されており、限定を目的として使用されているものではない。

Claims (14)

  1. 動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための動的画像マスキングシステム(10)であって、前記動的画像マスキングシステムは、
    リモートセンシングプラットフォーム(14)と、
    前記リモートセンシングプラットフォーム(14)に関連した撮像システム(12)とを備え、前記撮像システム(12)は、
    光学システム(20)と、
    画像センシングシステム(22)とを備え、
    前記動的画像マスキングシステムは、更に、
    前記撮像システム(12)に関連したマルチレベルの保安システム(42)、
    前記撮像システム(12)及び前記マルチレベルの保安システム(42)内に配置された1以上の画像修正位置(90)であって、1以上の画像の修正は前記動的画像マスキングプロセス(11)を介して行われる、1以上の画像修正位置(90)、
    前記光学システム(20)と前記画像センシングシステム(22)との間に配置された画像修正位置(90)を制御する光学目くらましシステム(64)であって、前記光学目くらましシステム(64)は、1以上の画素(126)が光子を収集することを防止するためのシャッター制御機械装置(66a)を備えるか、1以上の画素(126)を照射するためのレーザー(67a)及びマイクロミラー(67b)の光学装置を備え、前記1以上の画素(126)の目くらましをもたらす、光学目くらましシステム(64)、及び
    前記撮像システム(12)に関連したコンピュータシステム(130)であって、前記動的画像マスキングプロセス(11)を介して前記1以上の画像修正位置(90)を制御する1以上のコントローラ(63)に、ゲートキーパー指示命令(62)を送るように設定されたゲートキーパーアルゴリズム(60)を含んだ、コンピュータシステム(130)を備える、動的画像マスキングシステム(10)。
  2. 撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするために、全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を更に備える、請求項1に記載の動的画像マスキングシステム(10)。
  3. 前記リモートセンシングプラットフォーム(14)は、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備える、請求項1又は2に記載の動的画像マスキングシステム(10)。
  4. 前記光学システム(20)は、デジタルカメラ(20b)を含んだカメラ(20a)を備え、前記画像センシングシステム(22)は、焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22d)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を備える、請求項1から3のいずれか一項に記載の動的画像マスキングシステム(10)。
  5. 前記ゲートキーパーアルゴリズム(60)は、前記撮像システム(12)を用いて撮像されるべきでない排除された領域(124)を決定することによって、前記撮像システム(12)に入力される前に、配置された予め規定された収集プランニングプロセス(16)における画像修正位置(90)において、前記予め規定された収集プランニングプロセス(16)に、ゲートキーパー指示命令(62)を送るように更に設定されている、請求項1から4のいずれか一項に記載の動的画像マスキングシステム(10)。
  6. 前記ゲートキーパーアルゴリズム(60)は、前記光学目くらましシステム(64)に、ゲートキーパー指示命令(62)を機械的又は光学的に送るように設定され、請求項1から5のいずれか一項に記載の動的画像マスキングシステム(10)。
  7. 前記画像センシングシステム(22)は焦点面アレイサブシステム(22a)を備え、
    前記焦点面アレイサブシステム(22a)は、
    前記光学システム(20)から生画像データ(24)を読み込む焦点面アレイ(26)、
    前記焦点面アレイ(26)から前記生画像データ(24)を受信し、前記生画像データ(24)をアナログ信号からデジタル信号に変換するアナログデジタル変換器(30)、
    前記アナログデジタル変換器(30)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を一時的に記憶する揮発性一時記憶メモリ(34)、
    前記揮発性一時記憶メモリ(34)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を可読画像フォーマット(39)に加工するデジタル信号プロセッサ(38)、及び
    前記撮像システム(12)がアナログ出力を使用する場合に、前記デジタル信号プロセッサ(38)から可読デジタル信号を受信し、前記可読デジタル信号をアナログ信号に変換するデジタルアナログ変換器(54)を備える、請求項1から6のいずれか一項に記載の動的画像マスキングシステム(10)。
  8. 前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)をゼロ飽和(140)又は100パーセントの飽和(142)で上書きすることによって、不揮発性結果記憶メモリ(44)と後処理プロセス(48)との間の、前記マルチレベルの保安システム(42)内に配置された画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、請求項1から7のいずれか一項に記載の動的画像マスキングシステム(10)。
  9. 前記ゲートキーパーアルゴリズム(60)は、撮像されるべき指定された領域(118a)から排除された領域(124)を表す1以上の画素(126)を編集し又は無視することによって、前記マルチレベルの保安システム(42)の後処理プロセス(48)において、画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、請求項1から8のいずれか一項に記載の動的画像マスキングシステム(10)。
  10. 動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための方法であって、前記方法は、
    リモートセンシングプラットフォーム(14)に撮像システム(12)を装備するステップであって、前記撮像システム(12)が、
    光学システム(20)と、
    画像センシングシステム(22)と、
    前記光学システム(20)と前記画像センシングシステム(22)との間に配置された画像修正位置(90)を制御する光学目くらましシステム(64)であって、前記光学目くらましシステム(64)は、1以上の画素(126)が光子を収集することを防止するためのシャッター制御機械装置(66a)を備えるか、1以上の画素(126)を照射するためのレーザー(67a)及びマイクロミラー(67b)の光学装置を備え、前記1以上の画素(126)の目くらましをもたらす、光学目くらましシステム(64)とを備える、撮像システムを装備するステップ、
    撮像のための領域(118)を指定して、撮像されるべき指定された領域(118a)を得るステップ、
    前記撮像されるべき指定された領域(118a)の表面(188b)上の複数の基準点(120)を規定するステップ、
    前記複数の基準点(120)に関して撮像されるべきでない排除された領域(124)として、複数の特定の表面領域(124a)を指定するステップ、
    前記撮像されるべき指定された領域(118a)を対象とする予め規定された収集プランニングプロセス(16)を制御するステップ、
    全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を使用して、前記撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするステップ、
    前記撮像システム(12)を使用して、前記予め規定された収集プランニングプロセス(16)によって対象とされた前記撮像されるべき指定された領域(118a)を撮像するステップ、
    前記排除された領域(124)の1以上の画像(122)内の1以上の画素(126)を動的に無効にするステップ、及び
    前記撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を得るステップを含む、方法。
  11. 前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、デジタルカメラ(20a)を含んだ前記光学システム(20)、並びに焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22d)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を含んだ前記画像センシングシステム(22)を備えた撮像システム(12)を、前記リモートセンシングプラットフォーム(14)に装備することを含む、請求項10に記載の方法。
  12. 前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備えた前記リモートセンシングプラットフォーム(14)に装備することを含む、請求項10又は11に記載の方法。
  13. 前記排除された領域(124)の前記1以上の画像(122)からの前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)の1以上の捕捉された画像(124b)を修正し、前記1以上の捕捉された画像(124b)を判読できなくすることを含む、請求項10から12のいずれか一項に記載の方法。
  14. 前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の撮像の間にリアルタイムで実行される、請求項13に記載の方法。
JP2015181672A 2014-09-29 2015-09-15 動的画像マスキングシステム及び方法 Active JP6629019B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/500,589 US9846921B2 (en) 2014-09-29 2014-09-29 Dynamic image masking system and method
US14/500,589 2014-09-29

Publications (2)

Publication Number Publication Date
JP2017027571A JP2017027571A (ja) 2017-02-02
JP6629019B2 true JP6629019B2 (ja) 2020-01-15

Family

ID=55485416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015181672A Active JP6629019B2 (ja) 2014-09-29 2015-09-15 動的画像マスキングシステム及び方法

Country Status (4)

Country Link
US (1) US9846921B2 (ja)
JP (1) JP6629019B2 (ja)
CN (1) CN105526916B (ja)
FR (1) FR3026540B1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3241205A4 (en) * 2014-12-31 2018-11-07 Airmap Inc. System and method for controlling autonomous flying vehicle flight paths
US10029804B1 (en) * 2015-05-14 2018-07-24 Near Earth Autonomy, Inc. On-board, computerized landing zone evaluation system for aircraft
TW201836020A (zh) 2017-02-17 2018-10-01 日商半導體能源研究所股份有限公司 半導體裝置及半導體裝置的製造方法
WO2018170857A1 (zh) * 2017-03-23 2018-09-27 深圳市大疆创新科技有限公司 图像融合的方法和无人飞行器
US10606271B2 (en) 2017-07-17 2020-03-31 The Boeing Company Magnetic navigation and positioning system
US10922431B2 (en) 2017-12-27 2021-02-16 Honeywell International Inc. Systems and methods for dynamically masking video and images captured by a drone device camera
EP4009226B1 (en) * 2020-12-04 2024-05-29 Axis AB Tag for indicating a region of interest and method for finding a region of interest in an image
CA3137651A1 (en) 2020-12-19 2022-06-19 The Boeing Company Combined multi-spectral and polarization sensor
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001023072A (ja) * 1999-07-05 2001-01-26 Nippon Signal Co Ltd:The 道路交通情報提供システム
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
JP2003173449A (ja) * 2001-12-06 2003-06-20 Dowa Koei Kk リモートセンシング支援装置、そのプログラム並びにプログラム記録媒体
US6909997B2 (en) * 2002-03-26 2005-06-21 Lockheed Martin Corporation Method and system for data fusion using spatial and temporal diversity between sensors
JP2004030460A (ja) * 2002-06-27 2004-01-29 Starlabo Corp 画像処理方法、画像処理プログラム及びそれを記録した記録媒体
JP4508753B2 (ja) * 2003-07-12 2010-07-21 エルジー エレクトロニクス インコーポレイティド 携帯端末機のカメラ撮影制限システム及びその方法
KR100652619B1 (ko) * 2003-07-18 2006-12-01 엘지전자 주식회사 휴대 단말기에 적용되는 디지털 카메라의 사용 제한시스템 및 방법
US20070070894A1 (en) * 2005-09-26 2007-03-29 Fan Wang Method to determine a scheduling priority value for a user data connection based on a quality of service requirement
US8918540B2 (en) * 2005-09-26 2014-12-23 The Boeing Company Unmanned air vehicle interoperability agent
JP4356733B2 (ja) * 2006-11-09 2009-11-04 アイシン精機株式会社 車載用画像処理装置とその制御方法
US8218868B2 (en) * 2007-06-13 2012-07-10 Sensors Unlimited, Inc. Method and apparatus for enhancing images
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8731234B1 (en) * 2008-10-31 2014-05-20 Eagle View Technologies, Inc. Automated roof identification systems and methods
US20140347482A1 (en) * 2009-02-20 2014-11-27 Appareo Systems, Llc Optical image monitoring system and method for unmanned aerial vehicles
US8713215B2 (en) * 2009-05-29 2014-04-29 Z Microsystems, Inc. Systems and methods for image stream processing
US8266333B1 (en) * 2009-05-29 2012-09-11 Z Microsystems, Inc. System and method for parallel image processing and routing
US9163909B2 (en) 2009-12-11 2015-10-20 The Boeing Company Unmanned multi-purpose ground vehicle with different levels of control
WO2012044297A1 (en) * 2010-09-30 2012-04-05 Empire Technology Development Llc Automatic flight control for uav based solid modeling
US9086484B2 (en) * 2011-06-30 2015-07-21 The Boeing Company Context-based target recognition
US20150234102A1 (en) * 2012-08-20 2015-08-20 Drexel University Dynamically focusable multispectral light field imaging
JP6055274B2 (ja) * 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
DE102013019488A1 (de) * 2012-11-19 2014-10-09 Mace Wolf Bilderfassung mit schutz der privatsphäre
US20140312165A1 (en) * 2013-03-15 2014-10-23 Armen Mkrtchyan Methods, apparatus and systems for aerial assessment of ground surfaces
EP4040784A1 (en) * 2013-11-14 2022-08-10 KSI Data Sciences, Inc. A system and method for managing and analyzing multimedia information

Also Published As

Publication number Publication date
FR3026540A1 (fr) 2016-04-01
US20170018058A1 (en) 2017-01-19
CN105526916B (zh) 2020-10-02
FR3026540B1 (fr) 2019-03-29
CN105526916A (zh) 2016-04-27
US9846921B2 (en) 2017-12-19
JP2017027571A (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6629019B2 (ja) 動的画像マスキングシステム及び方法
Singh et al. A meta-analysis and review of unmanned aircraft system (UAS) imagery for terrestrial applications
Mahajan et al. Drones for normalized difference vegetation index (NDVI), to estimate crop health for precision agriculture: A cheaper alternative for spatial satellite sensors
EP3374928B1 (en) A method for aerial imagery acquisition and analysis
CN104504748B (zh) 一种无人机倾斜摄影红外三维成像系统及建模方法
JP7152836B2 (ja) 無人飛行体のアクションプラン作成システム、方法及びプログラム
EP3596570B1 (de) Verfahren zum bestimmen eines pfades entlang eines objekts, system und verfahren zum automatischen inspizieren eines objekts
US10891483B2 (en) Texture classification of digital images in aerial inspection
CN104118561B (zh) 一种基于无人机技术的大型濒危野生动物监测的方法
US11769225B2 (en) Image processing apparatus, image processing method, and program
US11741571B2 (en) Voronoi cropping of images for post field generation
CN108414454A (zh) 一种植物三维结构及光谱信息的同步测量系统及测量方法
DE212017000227U1 (de) Systeme zum Bestimmen eines prognostizierten Risikos für eine Flugbahn eines unbemannten Luftfahrzeugs
CN111765974A (zh) 一种基于微型制冷红外热像仪的野生动物观测系统及方法
WO2019191940A1 (en) Methods and system for composing and capturing images
Laliberte et al. Unmanned aerial vehicles for rangeland mapping and monitoring: A comparison of two systems
Gehrke et al. Multispectral image capturing with foveon sensors
US11034450B2 (en) Aircraft-based function control method and device
Launchbury Unmanned Aerial Vehicles in Forestry
Rojas et al. Towards image mosaicking with aerial images for monitoring rice crops
US20240095911A1 (en) Estimating properties of physical objects, by processing image data with neural networks
JP2021027409A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP2021033482A (ja) 飛行体の支援システム
JP6803960B1 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2022053417A (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191204

R150 Certificate of patent or registration of utility model

Ref document number: 6629019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250