JP6629019B2 - 動的画像マスキングシステム及び方法 - Google Patents
動的画像マスキングシステム及び方法 Download PDFInfo
- Publication number
- JP6629019B2 JP6629019B2 JP2015181672A JP2015181672A JP6629019B2 JP 6629019 B2 JP6629019 B2 JP 6629019B2 JP 2015181672 A JP2015181672 A JP 2015181672A JP 2015181672 A JP2015181672 A JP 2015181672A JP 6629019 B2 JP6629019 B2 JP 6629019B2
- Authority
- JP
- Japan
- Prior art keywords
- see
- image
- gatekeeper
- imaging
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 198
- 230000000873 masking effect Effects 0.000 title claims description 136
- 238000003384 imaging method Methods 0.000 claims description 130
- 230000008569 process Effects 0.000 claims description 93
- 238000003702 image correction Methods 0.000 claims description 69
- 230000003287 optical effect Effects 0.000 claims description 65
- 238000003860 storage Methods 0.000 claims description 55
- 230000004048 modification Effects 0.000 claims description 25
- 238000012986 modification Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 22
- 238000012805 post-processing Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003331 infrared imaging Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000012423 maintenance Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 201000004569 Blindness Diseases 0.000 description 2
- 238000009313 farming Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009419 refurbishment Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2358/00—Arrangements for display data security
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/12—Avionics applications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Burglar Alarm Systems (AREA)
Description
条項1
動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための動的画像マスキングシステム(10)であって、前記動的画像マスキングシステムは、
リモートセンシングプラットフォーム(14)と、
前記リモートセンシングプラットフォーム(14)に関連した撮像システム(12)とを備え、前記撮像システム(12)は、
光学システム(20)と、
画像センシングシステム(22)とを備え、
前記動的画像マスキングシステムは、更に、
前記撮像システム(12)に関連したマルチレベルの保安システム(42)、
前記撮像システム(12)及び前記マルチレベルの保安システム(42)内に配置された1以上の画像修正位置(90)であって、1以上の画像の修正が前記動的画像マスキングプロセス(11)を介して行われる1以上の画像修正位置(90)、及び
前記撮像システム(12)に関連したコンピュータシステム(130)であって、前記動的画像マスキングプロセス(11)を介して前記1以上の画像修正位置(90)を制御する1以上のコントローラ(63)に、ゲートキーパー指示命令(62)を送るように設定されたゲートキーパーアルゴリズム(60)を含んだ、コンピュータシステム(130)を備える、動的画像マスキングシステム(10)。
条項2
撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするために、全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を更に備える、条項1に記載の動的画像マスキングシステム(10)。
条項3
前記リモートセンシングプラットフォーム(14)は、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備える、条項1又は2に記載の動的画像マスキングシステム(10)。
条項4
前記光学システム(20)は、デジタルカメラ(20b)を含んだカメラ(20a)を備え、
前記画像センシングシステム(22)は、焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22d)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を備える、条項1から3のいずれか一項に記載の動的画像マスキングシステム(10)。
条項5
前記ゲートキーパーアルゴリズム(60)は、前記撮像システム(12)を用いて撮像されるべきでない排除された領域(124)を決定することによって、前記撮像システム(12)に入力される前に、配置された予め規定された収集プランニングプロセス(16)における画像修正位置(90)において、前記予め規定された収集プランニングプロセス(16)に、ゲートキーパー指示命令(62)を送るように更に設定されている、条項1から4のいずれか一項に記載の動的画像マスキングシステム(10)。
条項6
前記ゲートキーパーアルゴリズム(60)は、前記光学システム(20)と前記画像センシングシステム(22)との間に配置された画像修正位置(90)を制御する光学目くらましシステム(64)に、ゲートキーパー指示命令(62)を機械的又は光学的に送るように設定され、前記光学目くらましシステム(64)は、1以上の画素(126)が光子を収集することを防止するためのシャッター制御機械装置(66a)を備えるか、1以上の画素(126)を照射するためのレーザー(67a)及びマイクロミラー(67b)の光学装置を備え、前記1以上の画素(126)の目くらましをもたらす、条項1から5のいずれか一項に記載の動的画像マスキングシステム(10)。
条項7
前記画像センシングシステム(22)は焦点面アレイサブシステム(22a)を備え、
前記焦点面アレイサブシステム(22a)は、
前記光学システム(20)から生画像データ(24)を読み込む焦点面アレイ(26)、
前記焦点面アレイ(26)から前記生画像データ(24)を受信し、前記生画像データ(24)をアナログ信号からデジタル信号に変換するアナログデジタル変換器(30)、
前記アナログデジタル変換器(30)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を一時的に記憶する揮発性一時記憶メモリ(34)、
前記揮発性一時記憶メモリ(34)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を可読画像フォーマット(39)に加工するデジタル信号プロセッサ(38)、及び
前記撮像システム(12)がアナログ出力を使用する場合に、前記デジタル信号プロセッサ(38)から可読デジタル信号を受信し、前記可読デジタル信号をアナログ信号に変換するデジタルアナログ変換器(54)を備える、条項1から6のいずれか一項に記載の動的画像マスキングシステム(10)。
条項8
前記ゲートキーパーアルゴリズム(60)は、前記焦点面アレイ(26)上の1以上の画素をゼロ飽和(140)又は100パーセントの飽和(142)のいずれかで上書きすることによって、前記焦点面アレイ(26)において画像修正位置(90)を制御する画素コントローラに、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項9
前記ゲートキーパーアルゴリズム(60)は、最小値(146a)又は最大値(146b)のいずれかの1以上の画素(126)についてデジタル化された値(146)を設定することによって、前記アナログデジタル変換器(30)と前記揮発性一時記憶メモリ(34)との間に配置された画像修正位置(90)を制御するデジタル化コントローラ(72)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項10
前記ゲートキーパーアルゴリズム(60)は、一度に単一の画像(122)を修正すること、及び前記単一の画像(122)内の1以上の画素(126)をマスキングすることによって、前記揮発性一時記憶メモリ(34)と前記デジタル信号プロセッサ(38)との間に配置された画像修正位置(90)を制御するデジタルフローコントローラ(73)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項11
前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)が不揮発性結果記憶メモリ(44)に書き込まれないように、前記1以上の画素(126)をマスキングすることによって、前記焦点面アレイサブシステム(22a)のデジタル信号プロセッサ出力(40)において、前記マルチレベルの保安システム(42)の前記不揮発性結果記憶メモリ(44)に入力される前に、配置された画像修正位置(90)を制御するコントロール記憶コントローラ(80)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項12
前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)がビデオ編集システム(58)に書き込まれないように、前記1以上の画素(126)をマスキングすることによって、前記焦点面アレイサブシステム(22a)のデジタルアナログ変換器出力(56)において、前記ビデオ編集システム(58)に入力される前に、配置された画像修正位置(90)を制御するアナログ信号コントローラ(84)に、ゲートキーパー指示命令(62)を送るように設定されている、条項7に記載の動的画像マスキングシステム(10)。
条項13
前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)をゼロ飽和(140)又は100パーセントの飽和(142)で上書きすることによって、不揮発性結果記憶メモリ(44)と後処理プロセス(48)との間の、前記マルチレベルの保安システム(42)内に配置された画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、条項1から12のいずれか一項に記載の動的画像マスキングシステム(10)。
条項14
前記ゲートキーパーアルゴリズム(60)は、撮像されるべき指定された領域(118a)から排除された領域(124)を表す1以上の画素(126)を編集し又は無視することによって、前記マルチレベルの保安システム(42)の後処理プロセス(48)において、画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、条項1から13のいずれか一項に記載の動的画像マスキングシステム(10)。
条項15
動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための方法であって、前記方法は、
リモートセンシングプラットフォーム(14)に撮像システム(12)を装備するステップ、
撮像のための領域(118)を指定して、撮像されるべき指定された領域(118a)を得るステップ、
前記撮像されるべき指定された領域(118a)の表面(188b)上の複数の基準点(120)を規定するステップ、
前記複数の基準点(120)に関して撮像されるべきでない排除された領域(124)として、複数の特定の表面領域(124a)を指定するステップ、
前記撮像されるべき指定された領域(118a)を対象とする予め規定された収集プランニングプロセス(16)を制御するステップ、
全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を使用して、前記撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするステップ、
前記撮像システム(12)を使用して、前記予め規定された収集プランニングプロセス(16)によって対象とされた前記撮像されるべき指定された領域(118a)を撮像するステップ、
前記排除された領域(124)の1以上の画像(122)内の1以上の画素(126)を動的に無効にするステップ、及び
前記撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を得るステップを含む、方法。
条項16
前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、デジタルカメラ(20a)を含んだ光学システム(20)、並びに焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22c)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を含んだ画像センシングシステム(22)を備えた撮像システム(12)を、前記リモートセンシングプラットフォーム(14)に装備することを含む、条項15に記載の方法。
条項17
前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備えた前記リモートセンシングプラットフォーム(14)に装備することを含む、条項15又は16に記載の方法。
条項18
前記排除された領域(124)の前記1以上の画像(122)からの前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)の1以上の捕捉された画像(124b)を修正し、前記1以上の捕捉された画像(124b)を判読できなくすることを含む、条項15から17のいずれか一項に記載の方法。
条項19
前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の撮像の間にリアルタイムで実行される、条項18に記載の方法。
条項20
動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための方法であって、前記方法は、
無人機(UAV)(200)に撮像システム(12)を装備するステップ、
撮像のための領域(118)を指定して、撮像されるべき指定された領域(118a)を得るステップ、
前記撮像されるべき指定された領域(118a)の表面(188b)上の複数の基準点(120)を規定するステップ、
前記複数の基準点(120)に関して撮像されるべきでない排除された領域(124)として、複数の特定の表面領域(124a)を指定するステップ、
前記撮像されるべき指定された領域(118a)を対象とする前記UAV(200)の予め規定された飛行プラン(17)を制御するステップ、
全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を使用して、前記撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするステップ、
前記撮像されるべき指定された領域(118a)上で前記UAV(200)を飛行させ、前記撮像システム(12)を使用して、前記UAV(200)の前記予め規定された飛行プラン(17)によって対象とされた前記撮像されるべき指定された領域(118a)を撮像するステップ、
前記排除された領域(124)の1以上の画像(122)内の1以上の画素(126)を動的に無効にするステップ、及び
前記撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を得るステップを含む、方法。
条項21
前記排除された領域(124)の1以上の画像(122)内の前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)上を飛行することを避けるために、前記UAVの前記予め規定された飛行プラン(17)をガイドすることを含む、条項20に記載の方法。
条項22
前記排除された領域(124)の1以上の画像(122)内の前記1以上の画素(126)を動的に無効にするステップは、前記UAV(200)が前記排除された領域(124)上を飛行する場合に、前記画像センシングシステム(22)によって撮像することを動的にリアルタイムで取り消すこと含む、条項20又は21に記載の方法。
条項23
前記排除された領域(124)の前記1以上の画像(122)からの前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)の1以上の捕捉された画像(124b)を修正し、前記1以上の捕捉された画像(124b)を判読できなくすることを含む、条項20から22のいずれか一項に記載の方法。
条項24
前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の撮像の間にリアルタイムで実行される、条項23に記載の方法。
条項25
前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の全体の撮像が完了した後で、前記フィルターをかけられた自律したリモートセンシング画像(51)が、撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して得られる前に、実行される、条項23に記載の方法。
Claims (14)
- 動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための動的画像マスキングシステム(10)であって、前記動的画像マスキングシステムは、
リモートセンシングプラットフォーム(14)と、
前記リモートセンシングプラットフォーム(14)に関連した撮像システム(12)とを備え、前記撮像システム(12)は、
光学システム(20)と、
画像センシングシステム(22)とを備え、
前記動的画像マスキングシステムは、更に、
前記撮像システム(12)に関連したマルチレベルの保安システム(42)、
前記撮像システム(12)及び前記マルチレベルの保安システム(42)内に配置された1以上の画像修正位置(90)であって、1以上の画像の修正は前記動的画像マスキングプロセス(11)を介して行われる、1以上の画像修正位置(90)、
前記光学システム(20)と前記画像センシングシステム(22)との間に配置された画像修正位置(90)を制御する光学目くらましシステム(64)であって、前記光学目くらましシステム(64)は、1以上の画素(126)が光子を収集することを防止するためのシャッター制御機械装置(66a)を備えるか、1以上の画素(126)を照射するためのレーザー(67a)及びマイクロミラー(67b)の光学装置を備え、前記1以上の画素(126)の目くらましをもたらす、光学目くらましシステム(64)、及び
前記撮像システム(12)に関連したコンピュータシステム(130)であって、前記動的画像マスキングプロセス(11)を介して前記1以上の画像修正位置(90)を制御する1以上のコントローラ(63)に、ゲートキーパー指示命令(62)を送るように設定されたゲートキーパーアルゴリズム(60)を含んだ、コンピュータシステム(130)を備える、動的画像マスキングシステム(10)。 - 撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするために、全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を更に備える、請求項1に記載の動的画像マスキングシステム(10)。
- 前記リモートセンシングプラットフォーム(14)は、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備える、請求項1又は2に記載の動的画像マスキングシステム(10)。
- 前記光学システム(20)は、デジタルカメラ(20b)を含んだカメラ(20a)を備え、前記画像センシングシステム(22)は、焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22d)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を備える、請求項1から3のいずれか一項に記載の動的画像マスキングシステム(10)。
- 前記ゲートキーパーアルゴリズム(60)は、前記撮像システム(12)を用いて撮像されるべきでない排除された領域(124)を決定することによって、前記撮像システム(12)に入力される前に、配置された予め規定された収集プランニングプロセス(16)における画像修正位置(90)において、前記予め規定された収集プランニングプロセス(16)に、ゲートキーパー指示命令(62)を送るように更に設定されている、請求項1から4のいずれか一項に記載の動的画像マスキングシステム(10)。
- 前記ゲートキーパーアルゴリズム(60)は、前記光学目くらましシステム(64)に、ゲートキーパー指示命令(62)を機械的又は光学的に送るように設定される、請求項1から5のいずれか一項に記載の動的画像マスキングシステム(10)。
- 前記画像センシングシステム(22)は焦点面アレイサブシステム(22a)を備え、
前記焦点面アレイサブシステム(22a)は、
前記光学システム(20)から生画像データ(24)を読み込む焦点面アレイ(26)、
前記焦点面アレイ(26)から前記生画像データ(24)を受信し、前記生画像データ(24)をアナログ信号からデジタル信号に変換するアナログデジタル変換器(30)、
前記アナログデジタル変換器(30)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を一時的に記憶する揮発性一時記憶メモリ(34)、
前記揮発性一時記憶メモリ(34)から前記デジタル信号(37)を受信し、前記デジタル信号(37)を可読画像フォーマット(39)に加工するデジタル信号プロセッサ(38)、及び
前記撮像システム(12)がアナログ出力を使用する場合に、前記デジタル信号プロセッサ(38)から可読デジタル信号を受信し、前記可読デジタル信号をアナログ信号に変換するデジタルアナログ変換器(54)を備える、請求項1から6のいずれか一項に記載の動的画像マスキングシステム(10)。 - 前記ゲートキーパーアルゴリズム(60)は、1以上の画素(126)をゼロ飽和(140)又は100パーセントの飽和(142)で上書きすることによって、不揮発性結果記憶メモリ(44)と後処理プロセス(48)との間の、前記マルチレベルの保安システム(42)内に配置された画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、請求項1から7のいずれか一項に記載の動的画像マスキングシステム(10)。
- 前記ゲートキーパーアルゴリズム(60)は、撮像されるべき指定された領域(118a)から排除された領域(124)を表す1以上の画素(126)を編集し又は無視することによって、前記マルチレベルの保安システム(42)の後処理プロセス(48)において、画像修正位置(90)を制御するゲートキーパー指示命令(62)を送るように設定されている、請求項1から8のいずれか一項に記載の動的画像マスキングシステム(10)。
- 動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を提供するための方法であって、前記方法は、
リモートセンシングプラットフォーム(14)に撮像システム(12)を装備するステップであって、前記撮像システム(12)が、
光学システム(20)と、
画像センシングシステム(22)と、
前記光学システム(20)と前記画像センシングシステム(22)との間に配置された画像修正位置(90)を制御する光学目くらましシステム(64)であって、前記光学目くらましシステム(64)は、1以上の画素(126)が光子を収集することを防止するためのシャッター制御機械装置(66a)を備えるか、1以上の画素(126)を照射するためのレーザー(67a)及びマイクロミラー(67b)の光学装置を備え、前記1以上の画素(126)の目くらましをもたらす、光学目くらましシステム(64)とを備える、撮像システムを装備するステップ、
撮像のための領域(118)を指定して、撮像されるべき指定された領域(118a)を得るステップ、
前記撮像されるべき指定された領域(118a)の表面(188b)上の複数の基準点(120)を規定するステップ、
前記複数の基準点(120)に関して撮像されるべきでない排除された領域(124)として、複数の特定の表面領域(124a)を指定するステップ、
前記撮像されるべき指定された領域(118a)を対象とする予め規定された収集プランニングプロセス(16)を制御するステップ、
全地球測位システム(GPS)(110a)、無線式のナビゲーションシステム(110b)、光学式のナビゲーションシステム(110c)、慣性計測ユニット(IMU)システム(110d)、磁気探知器が装備された慣性計測ユニット(IMU)システム(110e)、又はそれらの組み合わせを備えたナビゲーションシステム(110)を使用して、前記撮像されるべき指定された領域(118a)を撮像するように前記撮像システム(12)を位置決めするステップ、
前記撮像システム(12)を使用して、前記予め規定された収集プランニングプロセス(16)によって対象とされた前記撮像されるべき指定された領域(118a)を撮像するステップ、
前記排除された領域(124)の1以上の画像(122)内の1以上の画素(126)を動的に無効にするステップ、及び
前記撮像されるべき指定された領域(118a)の前記動的画像マスキングプロセス(11)を介して、フィルターをかけられた自律したリモートセンシング画像(51)を得るステップを含む、方法。 - 前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、デジタルカメラ(20a)を含んだ前記光学システム(20)、並びに焦点面アレイサブシステム(22a)、レーダー撮像システム(22b)、ソナー撮像システム(22c)、赤外線撮像システム(22d)、X線撮像システム(22e)、又は光検出及び測距(LIDAR)システム(22f)を含んだ前記画像センシングシステム(22)を備えた撮像システム(12)を、前記リモートセンシングプラットフォーム(14)に装備することを含む、請求項10に記載の方法。
- 前記リモートセンシングプラットフォーム(14)に前記撮像システム(12)を装備するステップは、航空ベースプラットフォーム(14a)、地上ベースプラットフォーム(14b)、宇宙ベースプラットフォーム(14c)、又は水中ベースプラットフォーム(14d)を備えた前記リモートセンシングプラットフォーム(14)に装備することを含む、請求項10又は11に記載の方法。
- 前記排除された領域(124)の前記1以上の画像(122)からの前記1以上の画素(126)を動的に無効にするステップは、前記排除された領域(124)の1以上の捕捉された画像(124b)を修正し、前記1以上の捕捉された画像(124b)を判読できなくすることを含む、請求項10から12のいずれか一項に記載の方法。
- 前記排除された領域(124)の前記1以上の捕捉された画像(124b)の前記修正は、前記撮像されるべき指定された領域(118a)の撮像の間にリアルタイムで実行される、請求項13に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/500,589 US9846921B2 (en) | 2014-09-29 | 2014-09-29 | Dynamic image masking system and method |
US14/500,589 | 2014-09-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017027571A JP2017027571A (ja) | 2017-02-02 |
JP6629019B2 true JP6629019B2 (ja) | 2020-01-15 |
Family
ID=55485416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015181672A Active JP6629019B2 (ja) | 2014-09-29 | 2015-09-15 | 動的画像マスキングシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9846921B2 (ja) |
JP (1) | JP6629019B2 (ja) |
CN (1) | CN105526916B (ja) |
FR (1) | FR3026540B1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3241205A4 (en) * | 2014-12-31 | 2018-11-07 | Airmap Inc. | System and method for controlling autonomous flying vehicle flight paths |
US10029804B1 (en) * | 2015-05-14 | 2018-07-24 | Near Earth Autonomy, Inc. | On-board, computerized landing zone evaluation system for aircraft |
TW201836020A (zh) | 2017-02-17 | 2018-10-01 | 日商半導體能源研究所股份有限公司 | 半導體裝置及半導體裝置的製造方法 |
WO2018170857A1 (zh) * | 2017-03-23 | 2018-09-27 | 深圳市大疆创新科技有限公司 | 图像融合的方法和无人飞行器 |
US10606271B2 (en) | 2017-07-17 | 2020-03-31 | The Boeing Company | Magnetic navigation and positioning system |
US10922431B2 (en) | 2017-12-27 | 2021-02-16 | Honeywell International Inc. | Systems and methods for dynamically masking video and images captured by a drone device camera |
EP4009226B1 (en) * | 2020-12-04 | 2024-05-29 | Axis AB | Tag for indicating a region of interest and method for finding a region of interest in an image |
CA3137651A1 (en) | 2020-12-19 | 2022-06-19 | The Boeing Company | Combined multi-spectral and polarization sensor |
CN114596683A (zh) * | 2022-02-09 | 2022-06-07 | 青岛海信日立空调系统有限公司 | 入侵检测方法及装置 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001023072A (ja) * | 1999-07-05 | 2001-01-26 | Nippon Signal Co Ltd:The | 道路交通情報提供システム |
US7019777B2 (en) * | 2000-04-21 | 2006-03-28 | Flight Landata, Inc. | Multispectral imaging system with spatial resolution enhancement |
JP2003173449A (ja) * | 2001-12-06 | 2003-06-20 | Dowa Koei Kk | リモートセンシング支援装置、そのプログラム並びにプログラム記録媒体 |
US6909997B2 (en) * | 2002-03-26 | 2005-06-21 | Lockheed Martin Corporation | Method and system for data fusion using spatial and temporal diversity between sensors |
JP2004030460A (ja) * | 2002-06-27 | 2004-01-29 | Starlabo Corp | 画像処理方法、画像処理プログラム及びそれを記録した記録媒体 |
JP4508753B2 (ja) * | 2003-07-12 | 2010-07-21 | エルジー エレクトロニクス インコーポレイティド | 携帯端末機のカメラ撮影制限システム及びその方法 |
KR100652619B1 (ko) * | 2003-07-18 | 2006-12-01 | 엘지전자 주식회사 | 휴대 단말기에 적용되는 디지털 카메라의 사용 제한시스템 및 방법 |
US20070070894A1 (en) * | 2005-09-26 | 2007-03-29 | Fan Wang | Method to determine a scheduling priority value for a user data connection based on a quality of service requirement |
US8918540B2 (en) * | 2005-09-26 | 2014-12-23 | The Boeing Company | Unmanned air vehicle interoperability agent |
JP4356733B2 (ja) * | 2006-11-09 | 2009-11-04 | アイシン精機株式会社 | 車載用画像処理装置とその制御方法 |
US8218868B2 (en) * | 2007-06-13 | 2012-07-10 | Sensors Unlimited, Inc. | Method and apparatus for enhancing images |
US9041915B2 (en) * | 2008-05-09 | 2015-05-26 | Ball Aerospace & Technologies Corp. | Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR |
US8731234B1 (en) * | 2008-10-31 | 2014-05-20 | Eagle View Technologies, Inc. | Automated roof identification systems and methods |
US20140347482A1 (en) * | 2009-02-20 | 2014-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for unmanned aerial vehicles |
US8713215B2 (en) * | 2009-05-29 | 2014-04-29 | Z Microsystems, Inc. | Systems and methods for image stream processing |
US8266333B1 (en) * | 2009-05-29 | 2012-09-11 | Z Microsystems, Inc. | System and method for parallel image processing and routing |
US9163909B2 (en) | 2009-12-11 | 2015-10-20 | The Boeing Company | Unmanned multi-purpose ground vehicle with different levels of control |
WO2012044297A1 (en) * | 2010-09-30 | 2012-04-05 | Empire Technology Development Llc | Automatic flight control for uav based solid modeling |
US9086484B2 (en) * | 2011-06-30 | 2015-07-21 | The Boeing Company | Context-based target recognition |
US20150234102A1 (en) * | 2012-08-20 | 2015-08-20 | Drexel University | Dynamically focusable multispectral light field imaging |
JP6055274B2 (ja) * | 2012-10-31 | 2016-12-27 | 株式会社トプコン | 航空写真測定方法及び航空写真測定システム |
DE102013019488A1 (de) * | 2012-11-19 | 2014-10-09 | Mace Wolf | Bilderfassung mit schutz der privatsphäre |
US20140312165A1 (en) * | 2013-03-15 | 2014-10-23 | Armen Mkrtchyan | Methods, apparatus and systems for aerial assessment of ground surfaces |
EP4040784A1 (en) * | 2013-11-14 | 2022-08-10 | KSI Data Sciences, Inc. | A system and method for managing and analyzing multimedia information |
-
2014
- 2014-09-29 US US14/500,589 patent/US9846921B2/en active Active
-
2015
- 2015-09-15 JP JP2015181672A patent/JP6629019B2/ja active Active
- 2015-09-24 FR FR1559008A patent/FR3026540B1/fr active Active
- 2015-09-29 CN CN201510634267.0A patent/CN105526916B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
FR3026540A1 (fr) | 2016-04-01 |
US20170018058A1 (en) | 2017-01-19 |
CN105526916B (zh) | 2020-10-02 |
FR3026540B1 (fr) | 2019-03-29 |
CN105526916A (zh) | 2016-04-27 |
US9846921B2 (en) | 2017-12-19 |
JP2017027571A (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6629019B2 (ja) | 動的画像マスキングシステム及び方法 | |
Singh et al. | A meta-analysis and review of unmanned aircraft system (UAS) imagery for terrestrial applications | |
Mahajan et al. | Drones for normalized difference vegetation index (NDVI), to estimate crop health for precision agriculture: A cheaper alternative for spatial satellite sensors | |
EP3374928B1 (en) | A method for aerial imagery acquisition and analysis | |
CN104504748B (zh) | 一种无人机倾斜摄影红外三维成像系统及建模方法 | |
JP7152836B2 (ja) | 無人飛行体のアクションプラン作成システム、方法及びプログラム | |
EP3596570B1 (de) | Verfahren zum bestimmen eines pfades entlang eines objekts, system und verfahren zum automatischen inspizieren eines objekts | |
US10891483B2 (en) | Texture classification of digital images in aerial inspection | |
CN104118561B (zh) | 一种基于无人机技术的大型濒危野生动物监测的方法 | |
US11769225B2 (en) | Image processing apparatus, image processing method, and program | |
US11741571B2 (en) | Voronoi cropping of images for post field generation | |
CN108414454A (zh) | 一种植物三维结构及光谱信息的同步测量系统及测量方法 | |
DE212017000227U1 (de) | Systeme zum Bestimmen eines prognostizierten Risikos für eine Flugbahn eines unbemannten Luftfahrzeugs | |
CN111765974A (zh) | 一种基于微型制冷红外热像仪的野生动物观测系统及方法 | |
WO2019191940A1 (en) | Methods and system for composing and capturing images | |
Laliberte et al. | Unmanned aerial vehicles for rangeland mapping and monitoring: A comparison of two systems | |
Gehrke et al. | Multispectral image capturing with foveon sensors | |
US11034450B2 (en) | Aircraft-based function control method and device | |
Launchbury | Unmanned Aerial Vehicles in Forestry | |
Rojas et al. | Towards image mosaicking with aerial images for monitoring rice crops | |
US20240095911A1 (en) | Estimating properties of physical objects, by processing image data with neural networks | |
JP2021027409A (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP2021033482A (ja) | 飛行体の支援システム | |
JP6803960B1 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP2022053417A (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6629019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |