KR102266223B1 - 화상 처리 장치, 비행체 및 프로그램 - Google Patents

화상 처리 장치, 비행체 및 프로그램 Download PDF

Info

Publication number
KR102266223B1
KR102266223B1 KR1020207026536A KR20207026536A KR102266223B1 KR 102266223 B1 KR102266223 B1 KR 102266223B1 KR 1020207026536 A KR1020207026536 A KR 1020207026536A KR 20207026536 A KR20207026536 A KR 20207026536A KR 102266223 B1 KR102266223 B1 KR 102266223B1
Authority
KR
South Korea
Prior art keywords
image
camera
altitude
vehicle
flying object
Prior art date
Application number
KR1020207026536A
Other languages
English (en)
Other versions
KR20200115648A (ko
Inventor
아키히코 다지카
Original Assignee
소프트뱅크 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트뱅크 가부시키가이샤 filed Critical 소프트뱅크 가부시키가이샤
Publication of KR20200115648A publication Critical patent/KR20200115648A/ko
Application granted granted Critical
Publication of KR102266223B1 publication Critical patent/KR102266223B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B7/00Radio transmission systems, i.e. using radiation field
    • H04B7/14Relay systems
    • H04B7/15Active relay systems
    • H04B7/185Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502Airborne stations
    • H04B7/18506Communications with or from aircraft, i.e. aeronautical mobile service
    • H04B7/18508Communications with or from aircraft, i.e. aeronautical mobile service with satellite system used as relay, i.e. aeronautical mobile satellite service
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/08Helicopters with two or more rotors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41WEAPONS
    • F41HARMOUR; ARMOURED TURRETS; ARMOURED OR ARMED VEHICLES; MEANS OF ATTACK OR DEFENCE, e.g. CAMOUFLAGE, IN GENERAL
    • F41H11/00Defence installations; Defence devices
    • F41H11/02Anti-aircraft or anti-guided missile or anti-torpedo defence installations or systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/042Control of altitude or depth specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0008Transmission of traffic-related information to or from an aircraft with other aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0078Surveillance aids for monitoring traffic from the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0082Surveillance aids for monitoring traffic from a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Emergency Management (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

제1 고도로부터 제1 고도보다도 낮은 고도의 방향을 촬상하는 제1 카메라에 의해서 촬상된 제1 영역을 피사체로서 포함하는 제1 화상과, 제2 고도로부터 제2 고도보다도 낮은 고도의 방향을 촬상하는 제2 카메라에 의해서 촬상된 제1 영역을 피사체로서 포함하는 제2 화상을 취득하는 화상 취득부와, 제1 화상 내의 제1 영역과 제2 화상 내의 제1 영역의 차분에 기초하여, 제1 고도 및 제2 고도보다도 낮은 고도의 비행 물체를 검출하는 비행 물체 검출부를 구비하는 화상 처리 장치를 제공한다.

Description

화상 처리 장치, 비행체 및 프로그램
본 발명은 화상 처리 장치, 비행체 및 프로그램에 관한 것이다.
감시 영역 내에 비래(飛來)하는 비행 물체를 검지하는 비행 물체 감시 시스템이 알려져 있었다(예를 들면, 특허 문헌 1 참조).
특허 문헌 1: 일본 특허공개공보 2017-167870호
의심 비행 물체를 적절히 검출 가능한 기술을 제공하는 것이 바람직하다.
본 발명의 제1 양태에 의하면, 화상 처리 장치가 제공된다. 화상 처리 장치는 제1 고도로부터 제1 고도보다도 낮은 고도의 방향을 촬상하는 제1 카메라에 의해서 촬상된 제1 영역을 피사체로서 포함하는 제1 화상과, 제2 고도로부터 제2 고도보다도 낮은 고도의 방향을 촬상하는 제2 카메라에 의해서 촬상된 제1 영역을 피사체로서 포함하는 제2 화상을 취득하는 화상 취득부를 구비해도 된다. 화상 처리 장치는 제1 화상 내의 제1 영역과 제2 화상 내의 제1 영역의 차분에 기초하여, 제1 고도 및 제2 고도보다도 낮은 고도의 비행 물체를 검출하는 비행 물체 검출부를 구비해도 된다.
상기 제1 카메라는 비행체의 날개의 일단에 배치되어 있어도 되고, 상기 제2 카메라는 상기 비행체의 날개의 타단에 배치되어 있어도 된다. 상기 제1 카메라는 비행체의 선단(先端)에 배치되어 있어도 되고, 상기 제2 카메라는 상기 비행체의 후단에 배치되어 있어도 된다.
상기 제1 카메라는 제1 비행체에 탑재되고 있어도 되고, 상기 제2 카메라는 상기 제1 비행체와는 상이한 제2 비행체에 탑재되고 있어도 된다. 상기 화상 처리 장치는 상기 비행 물체의 추정 고도를 취득하는 추정 고도 취득부와, 상기 추정 고도에 따라서, 상기 제1 비행체와 상기 제2 비행체 사이의 거리를 조정시키는 조정 제어부를 더 구비해도 된다.
상기 제1 화상의 촬영 시각과 상기 제2 화상의 촬영 시각은 동일해도 된다. 상기 화상 취득부는 상기 제1 카메라에 의해서 촬상된 후에 기울기 보정이 실시된 상기 제1 화상과, 상기 제2 카메라에 의해서 촬상된 후에 기울기 보정이 실시된 상기 제2 화상을 취득해도 된다. 상기 화상 처리 장치는 지형 및 건물의 정보를 포함하는 지도 데이터를 참조하는 지도 데이터 참조부를 더 구비해도 되고, 상기 비행 물체 검출부는 상기 제1 화상 내의 상기 제1 영역과 상기 제2 화상 내의 상기 제1 영역의 차분과, 상기 지도 데이터 중의 상기 제1 영역에 대응하는 범위 내의 지형 및 건물의 정보에 기초하여, 상기 비행 물체를 검출해도 된다. 상기 화상 처리 장치는 상기 제1 카메라에 의해서 촬상된 화상 및 상기 제2 카메라에 의해서 촬상된 화상 중 적어도 어느 것에 기초하여, 상기 비행 물체를 식별하는 물체 식별부를 더 구비해도 된다. 상기 물체 식별부는 상기 비행 물체가 조류인지 여부를 식별해도 된다. 상기 화상 처리 장치는 상기 제1 카메라에 의해서 촬상된 화상 및 상기 제2 카메라에 의해서 촬상된 화상 중 적어도 어느 것에 기초하여, 상기 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 중 적어도 어느 것을 도출하는 비행 정보 도출부를 더 구비해도 된다. 상기 화상 처리 장치는 상기 제1 카메라로부터 상기 비행 물체까지의 거리 및 상기 제1 고도에 기초하여, 상기 비행 물체의 고도를 도출하는 고도 도출부를 더 구비해도 된다. 상기 화상 처리 장치는, 상기 비행 물체 검출부가 상기 비행 물체를 검출한 것에 따라 경고를 출력하는 경고 출력부를 더 구비해도 된다. 상기 화상 처리 장치는 비행체에 탑재되어도 되고, 상기 경고 출력부는 상기 비행 물체 검출부가 상기 비행 물체를 검출한 것에 따라서, 통신 위성을 통해서 지상의 통신 기기에 상기 경고를 송신해도 된다. 상기 화상 처리 장치는 비행체에 탑재되어도 되고, 상기 화상 처리 장치는 통신 위성과 통신하는 위성 통신부를 더 구비해도 된다.
본 발명의 제2 양태에 의하면, 컴퓨터를, 상기 화상 처리 장치로서 기능시키기 위한 프로그램이 제공된다.
본 발명의 제3 양태에 의하면, 상기 제1 카메라와, 상기 제2 카메라와, 상기 화상 처리 장치를 구비하는 비행체가 제공된다.
덧붙여, 상기의 발명의 개요는, 본 발명의 필요한 특징의 모두를 열거한 것은 아니다. 또, 이들 특징군의 서브 콤비네이션도 또한, 발명이 될 수 있다.
도 1은 화상 처리 장치(100)에 의한 화상 처리를 설명하는 설명도이다.
도 2는 비행체(200)의 일례를 개략적으로 나타낸다.
도 3은 비행체(200)의 하드웨어 구성의 일례를 개략적으로 나타낸다.
도 4는 비행체(200)에 의한 처리의 흐름의 일례를 개략적으로 나타낸다.
도 5는 비행체(200)의 기능 구성의 일례를 개략적으로 나타낸다.
도 6은 비행체(400) 및 비행체(500)의 일례를 개략적으로 나타낸다.
도 7은 비행체(400), 비행체(500), 및 지상국(300)의 하드웨어 구성의 일례를 개략적으로 나타낸다.
도 8은 지상국(300)에 의한 처리의 흐름의 일례를 개략적으로 나타낸다.
도 9는 지상국(300)의 기능 구성의 일례를 개략적으로 나타낸다.
도 10은 비행체(400) 및 비행체(500)에 의한 화상(430) 및 화상(530)에 대한 기울기 보정을 설명하는 설명도이다.
도 11은 비행 물체(800)의 검출 정밀도를 설명하는 설명도이다.
도 12는 비행체(200)의 통신 환경의 일례를 개략적으로 나타낸다.
도 13은 비행체(400) 및 비행체(500)의 통신 환경의 일례를 개략적으로 나타낸다.
이하, 발명의 실시 형태를 통해서 본 발명을 설명하지만, 이하의 실시 형태는 청구 범위에 따른 발명을 한정하는 것은 아니다. 또, 실시 형태 중에서 설명되어 있는 특징의 조합의 모두가 발명의 해결 수단에 필수라고는 할 수 없다.
도 1은 화상 처리 장치(100)에 의한 화상 처리를 설명하는 설명도이다. 화상 처리 장치(100)는 제1 고도로부터 제1 고도보다도 낮은 고도의 방향을 촬상하는 카메라(10)에 의해서 촬상된 화상(14)을 카메라(10)로부터 취득한다. 화상 처리 장치(100)는 유선 접속을 통해서 카메라(10)로부터 화상(14)을 수신해도 된다. 또, 화상 처리 장치(100)는 무선 접속을 통해서 카메라(10)로부터 화상(14)을 수신해도 된다. 화상 처리 장치(100)는 임의의 네트워크를 통해서 카메라(10)로부터 화상(14)을 수신해도 된다. 제1 고도는 카메라(10)의 고도여도 된다. 카메라(10)는 예를 들면, 비행체에 탑재되어 지상을 촬상하는 카메라이다. 카메라(10)는 고층 건축물의 상층 예를 들면, 최상층에 배치되어 지상을 촬상하는 카메라여도 된다. 카메라(10)는 가시광 카메라여도 된다. 카메라(10)는 적외선 카메라여도 된다. 카메라(10)는 멀티 스펙트럼 카메라여도 된다. 카메라(10)는 이른바 레이더여도 된다.
또, 화상 처리 장치(100)는 제2 고도로부터 제2 고도보다도 낮은 고도의 방향을 촬상하는 카메라(20)에 의해서 촬상된 화상(24)을 카메라(20)로부터 취득한다. 화상 처리 장치(100)는 유선 접속을 통해서 카메라(20)로부터 화상(24)을 수신해도 된다. 또, 화상 처리 장치(100)는 무선 접속을 통해서 카메라(20)로부터 화상(24)을 수신해도 된다. 화상 처리 장치(100)는 임의의 네트워크를 통해서 카메라(20)로부터 화상(24)을 수신해도 된다. 제2 고도는 카메라(20)의 고도여도 된다. 카메라(20)는 예를 들면, 비행체에 탑재되어 지상을 촬상하는 카메라이다, 또, 카메라(20)는 고층 건축물의 상층 예를 들면, 최상층에 배치되어 지상을 촬상하는 카메라여도 된다. 카메라(20)는 가시광 카메라여도 된다. 카메라(20)는 적외선 카메라여도 된다. 카메라(20)는 멀티 스펙트럼 카메라여도 된다. 카메라(20)는 이른바 레이더여도 된다.
화상 처리 장치(100)는 제1 영역을 피사체로서 포함하는 화상(14)과, 제1 영역을 피사체로서 포함하는 화상(24)을 이용하여, 제1 고도 및 제2 고도보다도 낮은 고도의 비행 물체를 검출한다. 화상(14)의 촬상 범위(12)와, 화상(24)의 촬상 범위(22)가 동일한 경우, 제1 영역은 화상(14) 및 화상(24)의 전체여도 된다. 화상(14)의 촬상 범위(12)와, 화상(24)의 촬상 범위(22)가 어긋나 있는 경우, 제1 영역은 화상(14)과 화상(24)에 공통으로 포함되는 영역이어도 된다.
카메라(10)와 카메라(20)는 수평 방향으로 거리가 떨어져 있으며, 화상(14) 및 화상(24)에 포함되는 피사체 중, 보다 높은 고도로 위치하는 피사체일수록, 화상(14) 내에 있어서의 위치와 화상(24) 내에 있어서의 위치가 상이하게 된다. 도 1에서는, 다른 피사체에 비해 비행 물체(40)의 고도가 높아, 화상(14) 내에 있어서의 비행 물체(16)의 위치와 화상(24) 내에 있어서의 비행 물체(26)의 위치가 어긋나 있다.
화상 처리 장치(100)는 화상(14) 내의 제1 영역과 화상(24) 내의 제1 영역의 차분에 기초하여, 비행 물체를 검출한다. 예를 들면, 화상 처리 장치(100)는, 도 1에 예시하는 것처럼, 화상(14)과 화상(24)의 차분 화상(30)을 생성하고, 차분으로서 추출된 비행 물체(16)와 비행 물체(26)가 동일 물체라고 판정할 수 있는 경우에, 비행 물체(16) 및 비행 물체(26)를 하나의 비행 물체로서 검출한다. 화상(14)과 화상(24)의 촬상 시각은 동일해도 된다.
화상 처리 장치(100)는 화상(14) 내의 제1 영역과 화상(24) 내의 제1 영역의 차분과, 지형 및 건물의 정보를 포함하는 지도 데이터 중의 제1 영역에 대응하는 범위 내의 지형 및 건물의 정보에 기초하여, 비행 물체를 검출해도 된다. 화상(14) 및 화상(24)의 피사체 중, 비행 물체(16) 및 비행 물체(26) 외에도, 비교적 고도가 높은 고층 건축물 및 산 등이 차분으로서 검출되게 되지만, 화상 처리 장치(100)는 차분으로서 검출된 대상물 중, 지도 데이터에 포함되는 고층 건축물 및 산 등을 제외해도 된다. 이것에 의해, 비행 물체(16) 및 비행 물체(26)의 검출 정밀도를 향상시킬 수 있다.
화상 처리 장치(100)는 카메라(10)에 의해서 촬상된 화상 및 카메라(20)에 의해서 촬상된 화상 중 적어도 어느 것에 기초하여, 비행 물체를 식별해도 된다. 화상 처리 장치(100)는 비행 물체의 형상 및 비행 물체의 움직임 중 적어도 어느 것에 의해서 비행 물체를 식별해도 된다. 화상 처리 장치(100)는 예를 들면, 비행 물체가 드론 등의 무인 항공기인지 여부를 식별한다. 또 예를 들면, 화상 처리 장치(100)는 비행 물체가 조류인지 여부를 식별한다. 비행 물체가 조류이고, 카메라(10) 및 카메라(20)가, 적외선 카메라 및 하이퍼 스펙트럼 카메라인 경우, 화상 처리 장치(100)는 화상(14) 및 화상(24) 중 적어도 어느 것에 기초하여, 새의 종류를 식별해도 된다.
화상 처리 장치(100)는 카메라(10)에 의해서 촬상된 화상 및 카메라(20)에 의해서 촬상된 화상 중 적어도 어느 것에 기초하여, 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 중 적어도 어느 것을 도출해도 된다. 예를 들면 화상 처리 장치(100)는 시간적으로 연속하는 화상으로부터, 비행 물체의 비행 속도 및 비행 방향을 도출한다. 또 예를 들면, 화상 처리 장치(100)는 도출한 비행 속도 및 비행 방향으로부터, 비행 루트 예측을 도출한다.
도 2는 비행체(200)의 일례를 개략적으로 나타낸다. 비행체(200)는 화상 처리 장치(100)로서 기능해도 된다. 비행체(200)는 카메라(210) 및 카메라(220)를 가진다. 카메라(210)는 비행체(200)의 날개의 일단에 배치되고, 카메라(220)는 비행체(200)의 날개의 타단에 배치되어 있다. 카메라(210) 및 카메라(220)는, 카메라(10) 및 카메라(20)의 일례여도 된다. 도 2에 나타내는 비행체(200)는, 프로펠라, 태양전지 패널, 배터리 및 안테나를 가지는 성층권 플랫폼이다. 도 2에서는, 비행체(200)가 성층권 플랫폼인 경우를 예로 들어 설명하지만, 이것으로 한정하지 않고, 비행체(200)는 비행기, 무인 항공기, 및 기구 등이어도 된다. 비행체(200)가 앞뒤로 긴 형상을 가지는 경우, 카메라(210)는 비행체(200)의 선단에 배치되고, 카메라(220)는 비행체(200)의 후단에 배치되어도 된다.
비행체(200)는 지상국(300)을 통해서 네트워크(80)와 통신한다. 네트워크(80)는 예를 들면, 인터넷 및 휴대 전화망을 포함한다.
비행체(200)는 카메라(210) 및 카메라(220)에 의해서 촬상한 화상으로부터, 비행 물체를 검출한다. 비행체(200)는 비행 물체를 검출했을 경우, 지상국(300) 및 네트워크(80)를 통해서, 임의의 통신 기기에 경고를 송신해도 된다. 비행체(200)는, 추가로, 비행 물체의 화상, 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 등을 해당 통신 기기에 대해서 송신해도 된다.
도 3은 비행체(200)의 하드웨어 구성의 일례를 개략적으로 나타낸다. 비행체(200)는 비행 제어 CPU(Central Processing Unit)(202), 통신 장치(204), 안테나(205), DB(DataBase)(206), 카메라(210), 카메라(220), 및 화상 처리 CPU(230)를 구비한다. 비행 제어 CPU(202), 통신 장치(204), DB(206), 화상 처리 CPU(230)는, 데이터 버스(20)를 통해서 접속되어 있다.
비행 제어 CPU(202)는 비행체(200)의 비행을 제어한다. 통신 장치(204)는 안테나(205)를 통한 통신을 실행한다. 통신 장치(204)는 예를 들면, 안테나(205)를 통해서 지상국(300)와 통신한다.
DB(206)는 각종 데이터를 격납한다. DB(206)는 예를 들면, 지형 및 건물의 정보를 포함하는 지도 데이터를 격납한다. DB(206)는 예를 들면, 통신 장치(204)가 지상국(300) 및 네트워크(80)를 통해서, 임의의 통신 기기로부터 수신한 지도 데이터를 격납한다. DB(206)는 카메라(210)에 의해서 촬상된 화상을 격납해도 된다. DB(206)는 카메라(220)에 의해서 촬상된 화상을 격납해도 된다.
화상 처리 CPU(230)는 카메라(210)가 촬상한 화상 및 카메라(220)가 촬상한 화상을 처리한다. 화상 처리 CPU(230)는 카메라(210)가 촬상한 화상 내의 제1 영역과, 카메라(220)가 촬상한 화상 내의 제1 영역의 차분에 기초하여, 비행체(200)보다도 낮은 고도의 비행 물체를 검출한다.
도 4는 비행체(200)에 의한 처리의 흐름의 일례를 개략적으로 나타낸다. 비행체(200)는 예를 들면, 도 4에 나타내는 처리를 정기적으로 실행한다. 비행체(200)는 지상국(300)으로부터 지시를 수령했던 것에 따라서, 도 4에 나타내는 처리를 실행해도 된다.
스텝(스텝을 S로 생략하여 기재하는 경우가 있음.) 102에서는, 카메라(210) 및 카메라(220)가 화상을 촬상한다. S104에서는, 화상 처리 CPU(230)가 카메라(210) 및 카메라(220)에 의해서 촬상된 화상을 보정한다. 화상 처리 CPU(230)는 예를 들면, 화상에 기울기 보정을 실시한다.
S106에서는, 화상 처리 CPU(230)가, S104에 있어서 보정한 화상을 대조한다. 화상 처리 CPU(230)는 DB(206)에 격납되어 있는 지도 데이터를 참조하여, 대조한 화상으로부터, 이미 알고 있는 건축물 및 산 등을 제외해도 된다.
S108에서는, 화상 처리 CPU(230)가 화상 내에 의심 비행 물체가 있는지 여부를 판정한다. 있다고 판정했을 경우, S110으로 전행하고, 없다고 판정했을 경우, S112로 진행한다. S110에서는, 화상 처리 CPU(230)가 통신 장치(204)에, 지상국(300) 및 네트워크(80)를 통해서 미리 설정된 기기에 대해서 경보를 발령시킴과 아울러, 의심 비행 물체의 화상을 송신시킨다.
S112에서는, 처리를 종료할지 여부를 판정한다. 종료하지 않는다고 판정했을 경우, S102로 돌아가, 종료한다고 판정했을 경우, 처리를 종료한다.
도 5는 화상 처리 CPU(230)의 기능 구성의 일례를 개략적으로 나타낸다. 화상 처리 CPU(230)는 화상 취득부(232), 비행 물체 검출부(234), 지도 데이터 참조부(236), 물체 식별부(238), 비행 정보 도출부(240), 고도 도출부(242), 및 송신 제어부(244)를 가진다.
화상 취득부(232)는 카메라(210)가 촬상한 화상을 취득한다. 화상 취득부(232)는 카메라(220)가 촬상한 화상을 취득한다.
비행 물체 검출부(234)는 화상 취득부(232)가 취득한 화상에 기초하여, 비행 물체를 검출한다. 지도 데이터 참조부(236)는 DB(206)에 격납되어 있는 지도 데이터를 참조한다. 비행 물체 검출부(234)는 화상 취득부(232)가 취득한 화상과, 지도 데이터 참조부(236)가 참조한 지도 데이터에 기초하여 비행 물체를 검출해도 된다.
물체 식별부(238)는 화상 취득부(232)가 취득한 카메라(210) 및 카메라(220)에 의해서 촬상된 화상에 기초하여, 비행 물체 검출부(234)가 검출한 비행 물체를 식별한다. 물체 식별부(238)는 예를 들면, 비행 물체가 무인 항공기인지 여부를 판정한다. 물체 식별부(238)는 비행 물체가 조류인지 여부를 식별해도 된다.
비행 정보 도출부(240)는 화상 취득부(232)가 취득한 카메라(210) 및 카메라(220)에 의해서 촬상된 화상에 기초하여, 비행 물체 검출부(234)가 검출한 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 중 적어도 어느 것을 도출한다.
고도 도출부(242)는 비행 물체 검출부(234)가 검출한 비행 물체의 고도를 도출한다. 고도 도출부(242)는 예를 들면, 카메라(210)로부터 비행 물체까지의 거리와 카메라(210)의 고도에 기초하여, 비행 물체의 고도를 도출한다. 고도 도출부(242)는 예를 들면, 비행체(200)가 가지는 고도계에 의해서 측정된 고도를 카메라(210)의 고도로 한다. 또, 고도 도출부(242)는 예를 들면, 카메라(210)에 의해서 촬상된 화상과 카메라(220)에 의해서 촬상된 화상에 대해서, 삼각 측량을 이용한 수법 등의 공지 수법을 적용하여, 카메라(210)와 비행 물체의 거리를 도출한다. 그리고, 고도 도출부(242)는 카메라(210)의 고도로부터, 카메라(210)와 비행 물체의 거리를 감산함으로써, 비행 물체의 고도를 도출한다.
송신 제어부(244)는 각종 정보를 통신 장치(204)에 송신시킨다. 송신 제어부(244)는 예를 들면, 비행 물체 검출부(234)가 비행 물체를 검출했을 경우에, 경고 정보를 통신 장치(204)에, 미리 설정된 통신 기기를 향해서 송신시킨다. 송신 제어부(244)는 경고 출력부의 일례여도 된다. 송신 제어부(244)는 물체 식별부(238)에 의한 식별 결과를 통신 장치(204)에 송신시켜도 된다. 송신 제어부(244)는 비행 정보 도출부(240)에 의해서 도출된 정보를 통신 장치(204)에 송신시켜도 된다. 송신 제어부(244)는 고도 도출부(242)에 의해서 도출된 고도를 통신 장치(204)에 송신시켜도 된다.
덧붙여, 도 2 내지 도 5에서는, 비행체(200)가 화상 처리 장치(100)로서 기능하는 예를 들어 설명했지만, 이것으로 한정되지 않는다. 예를 들면, 지상국(300)이 화상 처리 장치(100)로서 기능해도 된다. 이 경우, 지상국(300)은 카메라(210) 및 카메라(220)에 의해서 촬상된 화상을 비행체(200)로부터 수신하고, 수신한 화상에 기초하여 비행 물체를 검출한다. 또 예를 들면, 네트워크(80)에 접속된 통신 기기가 화상 처리 장치(100)로서 기능해도 된다. 이 경우, 해당 통신 기기는 카메라(210) 및 카메라(220)에 의해서 촬상된 화상을 비행체(200), 지상국(300), 및 네트워크(80)를 통해서 수신하고, 수신한 화상에 기초하여 비행 물체를 검출한다.
도 6은 비행체(400) 및 비행체(500)의 일례를 개략적으로 나타낸다. 비행체(400)는 카메라(410)를 가진다. 카메라(410)는 카메라(10)의 일례여도 된다. 비행체(500)는 카메라(510)를 가진다. 카메라(510)는 카메라(20)의 일례여도 된다. 도 6에 나타내는 비행체(400) 및 비행체(500)는, 성층권 플랫폼이다. 도 6에서는, 비행체(400) 및 비행체(500)가 성층권 플랫폼인 경우를 예로 들어 설명하지만, 이것으로 한정하지 않고, 비행체(400) 및 비행체(500)는 비행기, 무인 항공기, 및 기구 등이어도 된다.
비행체(400)는 지상국(300)을 통해서 네트워크(80)와 통신한다. 비행체(500)는 지상국(600)을 통해서 네트워크(80)와 통신한다. 지상국(300)은 화상 처리 장치로서 기능해도 된다.
지상국(300)은 카메라(410)에 의해서 촬상된 화상을 비행체(400)로부터 수신한다. 또, 지상국(300)은 카메라(510)에 의해서 촬상된 화상을, 비행체(500), 지상국(600), 및 네트워크(80)를 통해서 수신한다. 지상국(300)은 카메라(410)에 의해서 촬상된 화상과 카메라(510)에 의해서 촬상된 화상으로부터 비행 물체를 검출한다. 지상국(300)은 비행 물체를 검출했을 경우, 네트워크(80)를 통해서, 임의의 통신 기기에 경고를 송신해도 된다. 지상국(300)은, 추가로, 비행 물체의 화상, 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 등을 해당 통신 기기에 대해서 송신해도 된다.
도 7은 비행체(400), 비행체(500), 및 지상국(300)의 하드웨어 구성의 일례를 개략적으로 나타낸다. 비행체(400)는 비행 제어 CPU(402), 통신 장치(404), 안테나(405), 카메라(410), 및 화상 처리 CPU(420)를 구비한다. 비행 제어 CPU(402), 통신 장치(404), 및 화상 처리 CPU(420)는, 데이터 버스(408)를 통해서 접속되어 있다.
비행 제어 CPU(402)는 비행체(400)의 비행을 제어한다. 통신 장치(404)는 안테나(405)를 통한 통신을 실행한다. 통신 장치(404)는 예를 들면, 안테나(405)를 통해서 지상국(300)과 통신한다.
화상 처리 CPU(420)는 카메라(410)가 촬상한 화상을 처리한다. 화상 처리 CPU(420)는 예를 들면, 카메라(410)가 촬상한 화상을, 통신 장치(404)에, 지상국(300)을 향해서 송신시킨다. 화상 처리 CPU(420)는 카메라(410)가 촬상한 화상에 대해서 기울기 보정을 실시해도 된다.
비행체(500)는 비행 제어 CPU(502), 통신 장치(504), 안테나(505), 카메라(510), 및 화상 처리 CPU(520)를 구비한다. 비행 제어 CPU(502), 통신 장치(504), 및 화상 처리 CPU(520)는, 데이터 버스(508)를 통해서 접속되어 있다.
비행 제어 CPU(502)는 비행체(500)의 비행을 제어한다. 통신 장치(504)는 안테나(505)를 통한 통신을 실행한다. 통신 장치(504)는 예를 들면, 안테나(505)를 통해서 지상국(600)과 통신한다.
화상 처리 CPU(520)는 카메라(510)가 촬상한 화상을 처리한다. 화상 처리 CPU(520)는 예를 들면, 카메라(510)가 촬상한 화상을, 통신 장치(504)에, 지상국(600)을 향해서 송신시킨다. 화상 처리 CPU(520)는 카메라(510)가 촬상한 화상에 대해서 기울기 보정을 실시해도 된다.
지상국(300)은 인터넷 접속부(302), 통신 장치(304), 안테나(305), DB(306), 및 화상 처리 CPU(308)를 구비한다. 인터넷 접속부(302), 통신 장치(304), DB(306), 및 화상 처리 CPU(308)는, 데이터 버스(309)를 통해서 접속되어 있다.
인터넷 접속부(302)는 네트워크(80)에 접속하여, 인터넷 상의 통신 기기와 통신한다. 통신 장치(304)는 안테나(305)를 통한 통신을 실행한다. 통신 장치(304)는 예를 들면, 안테나(305)를 통해서 비행체(400)와 통신한다.
DB(306)는 각종 데이터를 격납한다. DB(306)는 예를 들면, 지형 및 건물의 정보를 포함하는 지도 데이터를 격납한다. DB(306)는 예를 들면, 인터넷 접속부(302)가 네트워크(80)를 통해서 임의의 통신 기기로부터 수신한 지도 데이터를 격납한다. DB(306)는 통신 장치(304)가 비행체(400)로부터 수신한 카메라(410)에 의한 촬상 화상을 격납해도 된다. DB(306)는, 인터넷 접속부(302)가 네트워크(80) 및 지상국(600)을 통해서 비행체(500)로부터 수신한 카메라(510)에 의한 촬상 화상을 격납해도 된다.
화상 처리 CPU(308)는, 카메라(410)에 의한 촬상 화상 및 카메라(510)에 의한 촬상 화상을 처리한다. 화상 처리 CPU(308)는 카메라(410)에 의한 촬상 화상 내의 제1 영역과 카메라(510)에 의한 촬상 화상 내의 제1 영역의 차분에 기초하여, 비행체(400) 및 비행체(500)보다도 낮은 고도의 비행 물체를 검출한다.
도 8은 지상국(300)에 의한 처리의 흐름의 일례를 개략적으로 나타낸다. 지상국(300)은 예를 들면, 도 8에 나타내는 처리를 정기적으로 실행한다.
S202에서는, 비행체(400) 및 비행체(500)에 의해서 촬상된 화상을 수신한다. S204에서는, 화상 처리 CPU(308)가 S202에 있어서 수신한 화상을 보정한다. 화상 처리 CPU(308)는 예를 들면, 화상에 기울기 보정을 실시한다.
S206에서는, 화상 처리 CPU(308)가, S204에 있어서 보정한 화상을 대조한다. 화상 처리 CPU(308)는 DB(306)에 격납되어 있는 지도 데이터를 참조하여, 대조한 화상으로부터, 이미 알고 있는 건축물 및 산 등을 제외해도 된다.
S208에서는, 화상 처리 CPU(308)가 화상 내에 의심 비행 물체가 있는지 여부를 판정한다. 있다고 판정했을 경우, S210으로 전행하고, 없다고 판정했을 경우, S212로 진행한다. S210에서는, 화상 처리 CPU(308)가 통신 장치(304)에, 네트워크(80)를 통해서 미리 설정된 통신 기기에 대해서 경보를 발령시킴과 아울러, 의심 비행 물체의 화상을 송신시킨다.
S212에서는, 처리를 종료할지 여부를 판정한다. 종료하지 않는다고 판정했을 경우, S202로 돌아가고, 종료한다고 판정했을 경우, 처리를 종료한다.
도 9는 화상 처리 CPU(308)의 기능 구성의 일례를 개략적으로 나타낸다. 화상 처리 CPU(308)는 화상 취득부(332), 비행 물체 검출부(334), 지도 데이터 참조부(336), 물체 식별부(338), 비행 정보 도출부(340), 고도 도출부(342), 송신 제어부(344), 추정 고도 취득부(352), 및 조정 제어부(354)를 가진다.
화상 취득부(332)는 카메라(410)가 촬상한 화상을 취득한다. 화상 취득부(332)는 카메라(510)가 촬상한 화상을 취득한다.
비행 물체 검출부(334)는 화상 취득부(332)가 취득한 화상에 기초하여, 비행 물체를 검출한다. 지도 데이터 참조부(336)는 DB(306)에 격납되어 있는 지도 데이터를 참조한다. 비행 물체 검출부(334)는 화상 취득부(332)가 취득한 화상과, 지도 데이터 참조부(336)가 참조한 지도 데이터에 기초하여 비행 물체를 검출해도 된다.
물체 식별부(338)는 화상 취득부(332)가 취득한 카메라(410) 및 카메라(510)에 의해서 촬상된 화상에 기초하여, 비행 물체 검출부(334)가 검출한 비행 물체를 식별한다. 물체 식별부(338)는 예를 들면, 비행 물체가 무인 항공기인지 여부를 판정한다. 물체 식별부(338)는 비행 물체가 조류인지 여부를 식별해도 된다.
비행 정보 도출부(340)는 화상 취득부(332)가 취득한 카메라(210) 및 카메라(220)에 의해서 촬상된 화상에 기초하여, 비행 물체 검출부(334)가 검출한 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 중 적어도 어느 것을 도출한다.
고도 도출부(342)는 비행 물체 검출부(334)가 검출한 비행 물체의 고도를 도출한다. 고도 도출부(342)는 예를 들면, 카메라(410)로부터 비행 물체까지의 거리와 카메라(410)의 고도에 기초하여, 비행 물체의 고도를 도출한다. 고도 도출부(342)는 예를 들면, 비행체(400)가 가지는 고도계에 의해서 측정된 고도를 카메라(410)의 고도로 한다. 또, 고도 도출부(342)는 예를 들면, 카메라(410)에 의해서 촬상된 화상과 카메라(510)에 의해서 촬상된 화상에 대해서, 삼각 측량을 이용한 수법 등의 공지 수법을 적용하여, 카메라(410)와 비행 물체의 거리를 도출한다. 그리고, 고도 도출부(342)는 카메라(410)의 고도로부터, 카메라(410)와 비행 물체의 거리를 감산함으로써, 비행 물체의 고도를 도출한다.
송신 제어부(344)는 각종 정보를 통신 장치(304)에 송신시킨다. 송신 제어부(344)는 예를 들면, 비행 물체 검출부(334)가 비행 물체를 검출했을 경우에, 경고 정보를 통신 장치(304)에, 미리 설정된 통신 기기를 향해서 송신시킨다. 송신 제어부(344)는 물체 식별부(338)에 의한 식별 결과를 통신 장치(304)에 송신시켜도 된다. 송신 제어부(344)는 비행 정보 도출부(340)에 의해서 도출된 정보를 통신 장치(304)에 송신시켜도 된다. 송신 제어부(344)는 고도 도출부(342)에 의해서 도출된 고도를 통신 장치(304)에 송신시켜도 된다.
덧붙여, 도 6 내지 도 9에서는, 지상국(300)이 화상 처리 장치(100)로서 기능하는 예를 들어 설명했지만, 이것으로 한정되지 않는다. 예를 들면, 지상국(600)이 화상 처리 장치(100)로서 기능해도 된다. 이 경우, 지상국(600)은 카메라(410)에 의해서 촬상된 화상을 지상국(300) 및 네트워크(80)를 통해서 비행체(400)로부터 수신하고, 카메라(510)에 의해서 촬상된 화상을 비행체(500)로부터 수신하고, 수신한 화상에 기초하여 비행 물체를 검출한다. 또 예를 들면, 네트워크(80)에 접속된 통신 기기가 화상 처리 장치(100)로서 기능해도 된다. 이 경우, 해당 통신 기기는 카메라(410)에 의해서 촬상된 화상을 지상국(300) 및 네트워크(80)를 통해서 수신하고, 카메라(510)에 의해서 촬상된 화상을 지상국(600) 및 네트워크(80)를 통해서 수신하고, 수신한 화상에 기초하여 비행 물체를 검출한다.
추정 고도 취득부(352)는 비행 물체의 추정 고도를 취득한다. 추정 고도 취득부(352)는 예를 들면, 네트워크(80) 상의 통신 기기로부터, 비행 물체의 추정 고도를 취득한다. 추정 고도는 예를 들면, 검출 대상의 비행 물체의 평균적인 고도이다.
조정 제어부(354)는 추정 고도 취득부(352)가 취득한 추정 고도에 따라서, 비행체(400)와 비행체(500) 사이의 거리를 조정시킨다. 조정 제어부(354)는 예를 들면, 비행체(400)와 비행체(500) 사이의 거리를 조정할 수 있도록, 비행체(400)의 비행 제어 데이터를 비행체(400)를 향해서 통신 장치(304)에 송신시키고, 비행체(500)의 비행 제어 데이터를 비행체(500)를 향해서 인터넷 접속부(302)에 송신시킨다.
추정 고도 취득부(352)는 비행 물체의 추정 위치를 추가로 취득해도 되고, 이 경우 조정 제어부(354)는 추정 고도 및 추정 위치에 따라서, 비행체(400)와 비행체(500) 사이의 거리, 비행체(400)의 고도, 및 비행체(500)의 고도를 조정시켜도 된다.
도 10은 비행체(400) 및 비행체(500)에 의한 화상(430) 및 화상(530)에 대한 기울기 보정을 설명하는 설명도이다. 화상(430)에 대한 기울기 보정은, 비행체(400)에 의해서 실행되어도 된다. 또, 지상국(300)이 화상 처리 장치로서 기능하는 경우, 화상(430)에 대한 기울기 보정은 지상국(300)에 의해서 실행되어도 된다. 또, 네트워크(80) 상의 통신 기기가 화상 처리 장치로서 기능하는 경우, 화상(430)에 대한 기울기 보정은 해당 통신 기기에 의해서 실행되어도 된다.
화상(530)에 대한 기울기 보정은, 비행체(500)에 의해서 실행되어도 된다. 또, 지상국(600)이 화상 처리 장치로서 기능하는 경우, 화상(530)에 대한 기울기 보정은 지상국(600)에 의해서 실행되어도 된다. 또, 네트워크(80) 상의 통신 기기가 화상 처리 장치로서 기능하는 경우, 화상(530)에 대한 기울기 보정은 해당 통신 기기에 의해서 실행되어도 된다.
화상(430)을 기울기 보정한 보정 화상(432)과 화상(530)을 기울기 보정한 보정 화상(532)은, 화상 처리 장치(100)에 의해서 대조되어도 된다.
도 11은 비행 물체(800)의 검출 정밀도를 설명하는 설명도이다. 여기에서는, 카메라(410) 및 카메라(510)에 의한 촬상 화상의 총 화소수가 1억 픽셀이며, 세로 픽셀수가 1만 픽셀, 가로 픽셀수가 1만 픽셀이며, 카메라(410) 및 카메라(510)에 의한 촬상 범위가 사방 1km이며, 카메라(410)와 카메라(510)의 거리(710)가 2km, 카메라(410)와 카메라(510)의 고도가 20km, 대상의 비행 물체(800)인 무인 항공기의 지상고(地上高)가 10m인 경우를 예로 들어 설명한다.
이 경우, 1 픽셀 사이즈는 0.1m가 된다. 무인 항공기 위와 아래는 닮은꼴이므로, 고도(730)/고도(720)=거리(740)/거리(710)가 되고, 거리(740)는 1m가 되며, 어긋난 픽셀수는 10픽셀이 된다.
도 11에 도시한 것처럼 예를 들면, 고도 20km를 비행하는 비행체(400) 및 비행체(500)가, 2km 떨어진 위치로부터 촬상했을 경우, 지상고 10m의 무인 항공기를 검출하는 것은 이론적으로 가능하다.
상기 실시 형태에서는, 비행체(200)가 지상국(300)을 통해서 네트워크(80)와 통신하는 예를 주로 들어 설명했지만, 이것으로 한정되지 않는다. 비행체(200)는 위성 통신을 실행해도 된다.
도 12는 비행체(200)의 통신 환경의 일례를 개략적으로 나타낸다. 여기에서는, 도 2와 상이한 점을 주로 설명한다.
비행체(200)는 도시하지 않은 위성 통신부를 구비하고, 통신 위성(900)과의 사이에서 위성 통신을 실행한다. 비행체(200)는 통신 위성(900)을 통해서 네트워크(80)와 통신해도 된다. 통신 위성(900)은 예를 들면, 지상국(910)을 통해서, 비행체(200)와 네트워크(80) 사이의 통신을 중계한다.
비행체(200)는 비행 물체를 검출했을 경우, 통신 위성(900), 지상국(910) 및 네트워크(80)를 통해서, 임의의 통신 기기에 경고를 송신해도 된다. 비행체(200)는, 추가로, 비행 물체의 화상, 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 등을 해당 통신 기기에 대해서 송신해도 된다.
도 13은 비행체(400) 및 비행체(500)의 통신 환경의 일례를 개략적으로 나타낸다. 여기에서는, 도 6과 상이한 점을 주로 설명한다.
비행체(400)는 도시하지 않은 위성 통신부를 구비하고, 통신 위성(900)과의 사이에서 위성 통신을 실행한다. 비행체(400)는 통신 위성(900)을 통해서 네트워크(80)와 통신해도 된다. 통신 위성(900)은 예를 들면, 지상국(910)을 통해서, 비행체(400)와 네트워크(80) 사이의 통신을 중계한다.
비행체(500)는 도시하지 않은 위성 통신부를 구비하고, 통신 위성(900)과의 사이에서 위성 통신을 실행한다. 비행체(500)는 통신 위성(900)을 통해서 네트워크(80)와 통신해도 된다. 통신 위성(900)은 예를 들면, 지상국(910)을 통해서, 비행체(500)와 네트워크(80) 사이의 통신을 중계한다.
지상국(910)은 도시하지 않은 위성 통신부를 구비하고, 카메라(410)에 의해서 촬상된 화상을, 비행체(400) 및 통신 위성(900)을 통해서 수신해도 된다. 또, 지상국(910)은 카메라(510)에 의해서 촬상된 화상을, 비행체(500) 및 통신 위성(900)을 통해서 수신해도 된다. 지상국(910)은 카메라(410)에 의해서 촬상된 화상과 카메라(510)에 의해서 촬상된 화상으로부터 비행 물체를 검출해도 된다. 지상국(910)은 비행 물체를 검출했을 경우, 네트워크(80)를 통해서, 임의의 통신 기기에 경고를 송신해도 된다. 지상국(910)은, 추가로, 비행 물체의 화상, 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 등을 해당 통신 기기에 대해서 송신해도 된다.
비행체(400)는 통신 위성(900)을 통해서 비행체(500)와 통신해도 된다. 비행체(400)는 예를 들면, 카메라(510)에 의해서 촬상된 화상을, 비행체(500) 및 통신 위성(900)을 통해서 수신해도 된다. 비행체(400)는 카메라(410)에 의해서 촬상한 화상과, 카메라(510)에 의해서 촬상된 화상으로부터 비행 물체를 검출해도 된다. 비행체(400)는 비행 물체를 검출했을 경우, 통신 위성(900), 지상국(910), 및 네트워크(80)를 통해서, 임의의 통신 기기에 경고를 송신해도 된다. 비행체(400)는 추가로, 비행 물체의 화상, 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 등을 해당 통신 기기에 대해서 송신해도 된다.
이상의 설명에 있어서, 화상 처리 장치(100)의 각부는, 하드웨어에 의해 실현되어도 되고, 소프트웨어에 의해 실현되어도 된다. 또, 하드웨어와 소프트웨어의 조합에 의해 실현되어도 된다. 또, 프로그램이 실행됨으로써, 컴퓨터가, 화상 처리 장치(100)로서 기능해도 된다. 프로그램은 컴퓨터 판독 가능한 매체 또는 네트워크에 접속된 기억 장치로부터, 화상 처리 장치(100)의 적어도 일부를 구성하는 컴퓨터에 인스톨되어도 된다.
컴퓨터에 인스톨되어, 컴퓨터를 본 실시 형태에 따른 화상 처리 장치(100)로서 기능시키는 프로그램은, CPU 등에 작용하게 하여, 컴퓨터를, 화상 처리 장치(100)의 각부로서 각각 기능시킨다. 이들 프로그램에 기술(記述)된 정보 처리는, 컴퓨터에 기입됨으로써, 소프트웨어와 화상 처리 장치(100)의 하드웨어 자원이 협동한 구체적 수단으로서 기능한다.
이상, 본 발명을 실시 형태를 이용하여 설명했지만, 본 발명의 기술적 범위는 상기 실시 형태에 기재된 범위에는 한정되지 않는다. 상기 실시 형태에, 다양한 변경 또는 개량을 더하는 것이 가능한 것이 당업자에게 분명하다. 그 같은 변경 또는 개량을 더한 형태도 본 발명의 기술적 범위에 포함될 수 있는 것이, 청구 범위의 기재로부터 분명하다.
청구 범위, 명세서, 및 도면 중에 있어서 나타낸 장치, 시스템, 프로그램, 및 방법에 있어서의 동작, 절차, 스텝, 및 단계 등의 각 처리의 실행 순서는, 특별히 「보다 전에」, 「앞서」 등으로 명시하고 있지 않고, 또한, 전(前)처리의 출력을 후처리에서 이용하지 않는 한, 임의의 순서로 실현할 수 있음에 유의해야 한다. 청구 범위, 명세서, 및 도면 중의 동작 플로우에 관해서, 편의상 「우선,」, 「다음에,」 등을 이용하여 설명했다고 해도, 이 순으로 실시하는 것이 필수인 것을 의미하는 것은 아니다.
10: 카메라 12: 촬상 범위
14: 화상 16: 비행 물체
20: 카메라 22: 촬상 범위
24: 화상 26: 비행 물체
30: 차분 화상 40: 비행 물체
80: 네트워크 100: 화상 처리 장치
200: 비행체 202: 비행 제어 CPU
204: 통신 장치 205: 안테나
206: DB 208: 데이터 버스
210: 카메라 220: 카메라
230: 화상 처리 CPU 232: 화상 취득부
234: 비행 물체 검출부 236: 지도 데이터 참조부
238: 물체 식별부 240: 비행 정보 도출부
242: 고도 도출부 244: 송신 제어부
300: 지상국 302: 인터넷 접속부
304: 통신 장치 305: 안테나
306: DB 308: 화상 처리 CPU
309: 데이터 버스 332: 화상 취득부
334: 비행 물체 검출부 336: 지도 데이터 참조부
338: 물체 식별부 340: 비행 정보 도출부
342: 고도 도출부 344: 송신 제어부
352: 추정 고도 취득부 354: 조정 제어부
400: 비행체 402: 비행 제어 CPU
404: 통신 장치 405: 안테나
408: 데이터 버스 410: 카메라
420: 화상 처리 CPU 430: 화상
432: 보정 화상 500: 비행체
502: 비행 제어 CPU 504: 통신 장치
505: 안테나 508: 데이터 버스
510: 카메라 520: 화상 처리 CPU
530: 화상 532: 보정 화상
600: 지상국 710: 거리
720: 고도 730: 고도
740: 거리 800: 비행 물체
900: 통신 위성 910: 지상국

Claims (20)

  1. 제1 비행체에 탑재된 제1 고도로부터 상기 제1 고도보다도 낮은 고도의 방향을 촬상하는 제1 카메라에 의해서 촬상된 제1 영역을 피사체로서 포함하는 제1 화상과, 상기 제1 비행체와는 상이한 제2 비행체에 탑재된 제2 고도로부터 상기 제2 고도보다도 낮은 고도의 방향을 촬상하는 제2 카메라에 의해서 촬상된 상기 제1 영역을 피사체로서 포함하는 제2 화상을 취득하는 화상 취득부와,
    상기 제1 화상 내의 상기 제1 영역과 상기 제2 화상 내의 상기 제1 영역의 차분에 기초하여, 상기 제1 고도 및 상기 제2 고도보다도 낮은 고도의 비행 물체를 검출하는 비행 물체 검출부와,
    상기 비행 물체의 추정 고도를 취득하는 추정 고도 취득부와,
    상기 추정 고도에 따라서, 상기 제1 비행체와 상기 제2 비행체 사이의 거리를 조정시키는 조정 제어부를 구비하는, 화상 처리 장치.
  2. 청구항 1에 있어서,
    상기 조정 제어부는 상기 제1 비행체와 상기 제2 비행체 사이의 거리를 조정할 수 있도록, 상기 제1 비행체의 비행 제어 데이터를 상기 제1 비행체를 향해서 송신시키고, 상기 제2 비행체의 비행 제어 데이터를 상기 제2 비행체를 향해서 송신시키는, 화상 처리 장치.
  3. 청구항 1에 있어서,
    상기 추정 고도 취득부는 상기 비행 물체의 추정 위치를 추가로 취득하고,
    상기 조정 제어부는 상기 추정 고도 및 상기 추정 위치에 따라서, 상기 제1 비행체와 상기 제2 비행체 사이의 거리, 상기 제1 비행체의 고도, 및 상기 제2 비행체의 고도를 조정시키는, 화상 처리 장치.
  4. 삭제
  5. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 제1 화상의 촬영 시각과 상기 제2 화상의 촬영 시각은 동일한, 화상 처리 장치.
  6. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 화상 취득부는 상기 제1 카메라에 의해서 촬상된 후에 기울기 보정이 실시된 상기 제1 화상과, 상기 제2 카메라에 의해서 촬상된 후에 기울기 보정이 실시된 상기 제2 화상을 취득하는, 화상 처리 장치.
  7. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 제1 카메라에 의해서 촬상된 화상 및 상기 제2 카메라에 의해서 촬상된 화상 중 적어도 어느 것에 기초하여, 상기 비행 물체를 식별하는 물체 식별부를 더 구비하는, 화상 처리 장치.
  8. 청구항 7에 있어서,
    상기 물체 식별부는 상기 비행 물체가 조류인지 여부를 식별하는, 화상 처리 장치.
  9. 청구항 7에 있어서,
    상기 물체 식별부는 상기 비행 물체가 무인 항공기인지 여부를 식별하는, 화상 처리 장치.
  10. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 제1 카메라에 의해서 촬상된 화상 및 상기 제2 카메라에 의해서 촬상된 화상 중 적어도 어느 것에 기초하여, 상기 비행 물체의 비행 속도, 비행 방향, 및 비행 루트 예측 중 적어도 어느 것을 도출하는 비행 정보 도출부를 더 구비하는, 화상 처리 장치.
  11. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 제1 카메라로부터 상기 비행 물체까지의 거리 및 상기 제1 고도에 기초하여, 상기 비행 물체의 고도를 도출하는 고도 도출부를 더 구비하는, 화상 처리 장치.
  12. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 비행 물체 검출부가 상기 비행 물체를 검출한 것에 따라 경고를 출력하는 경고 출력부를 더 구비하는, 화상 처리 장치.
  13. 청구항 12에 있어서,
    상기 화상 처리 장치는 상기 제1 비행체 또는 상기 제2 비행체에 탑재되고,
    상기 경고 출력부는 상기 비행 물체 검출부가 상기 비행 물체를 검출한 것에 따라서, 통신 위성을 통해서 지상의 통신 기기에 상기 경고를 송신하는, 화상 처리 장치.
  14. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 화상 처리 장치는 상기 제1 비행체 또는 상기 제2 비행체에 탑재되고,
    상기 화상 처리 장치는 통신 위성과 통신하는 위성 통신부를 더 구비하는, 화상 처리 장치.
  15. 컴퓨터를, 청구항 1 내지 청구항 3 중 어느 한 항에 기재된 화상 처리 장치로서 기능시키기 위한 기록 매체에 저장된 프로그램.
  16. 청구항 1에 기재된 상기 화상 처리 장치와,
    상기 제1 카메라를 구비하는 상기 제1 비행체.

  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020207026536A 2018-02-20 2019-01-30 화상 처리 장치, 비행체 및 프로그램 KR102266223B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-027905 2018-02-20
JP2018027905A JP6652979B2 (ja) 2018-02-20 2018-02-20 画像処理装置、飛行体及びプログラム
PCT/JP2019/003219 WO2019163454A1 (ja) 2018-02-20 2019-01-30 画像処理装置、飛行体及びプログラム

Publications (2)

Publication Number Publication Date
KR20200115648A KR20200115648A (ko) 2020-10-07
KR102266223B1 true KR102266223B1 (ko) 2021-06-18

Family

ID=67687232

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207026536A KR102266223B1 (ko) 2018-02-20 2019-01-30 화상 처리 장치, 비행체 및 프로그램

Country Status (8)

Country Link
US (1) US11042740B2 (ko)
EP (1) EP3757941B1 (ko)
JP (1) JP6652979B2 (ko)
KR (1) KR102266223B1 (ko)
CN (1) CN111742348B (ko)
CA (1) CA3091897C (ko)
IL (1) IL276818B (ko)
WO (1) WO2019163454A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3107374C (en) * 2018-07-24 2022-09-27 Tg-17, Llc Systems and methods for autonomous machine tracking and localization of mobile objects
US11532155B1 (en) * 2019-07-09 2022-12-20 ACME Atronomatic, LLC Methods and devices for earth remote sensing using stereoscopic hyperspectral imaging in the visible (VIS) and infrared (IR) bands
GB2588893A (en) * 2019-10-23 2021-05-19 Airbus Operations Ltd Aerial vehicle detection
EP4287162A1 (en) * 2021-01-29 2023-12-06 NEC Corporation Control system, flying body identification method, computer-readable medium, and flying body
KR102473353B1 (ko) * 2021-04-01 2022-12-06 주식회사 켐에쎈 드론을 이용한 전신주 새집 생성 방지 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008298631A (ja) * 2007-05-31 2008-12-11 Nec System Technologies Ltd 地図変化検出装置、地図変化検出方法およびプログラム
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3652741B2 (ja) * 1995-08-31 2005-05-25 東京瓦斯株式会社 地図データ作成方法
JPH11257931A (ja) * 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd 物体認識装置
JP2000283753A (ja) * 1999-03-31 2000-10-13 Fuji Heavy Ind Ltd ステレオ画像による測距装置
JP2001333416A (ja) * 2000-05-19 2001-11-30 Fujitsu General Ltd ネットワーク監視カメラシステム
WO2011140178A1 (en) * 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
US8923558B2 (en) * 2012-05-15 2014-12-30 Raytheon Company Moving object detection using stereo rectified images acquired from a moving aircraft
CN102779347B (zh) * 2012-06-14 2014-08-06 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
EP3121675B1 (en) * 2015-07-23 2019-10-02 The Boeing Company Method for positioning aircrafts based on analyzing images of mobile targets
US10218893B2 (en) 2015-10-27 2019-02-26 Mitsubishi Electric Corporation Image capturing system for shape measurement of structure, method of capturing image of structure for shape measurement of structure, on-board control device, remote control device, program, and storage medium
JP2017167870A (ja) 2016-03-17 2017-09-21 セコム株式会社 飛行物体監視システム及び飛行物体監視装置
CN205524962U (zh) * 2016-03-30 2016-08-31 深圳市高巨创新科技开发有限公司 一种组合式无人机
IL244838A0 (en) * 2016-03-30 2016-07-31 Itai Orr System and method for autonomous driving of vehicles
CN109196441A (zh) * 2016-05-16 2019-01-11 深圳市大疆创新科技有限公司 用于协调设备动作的系统和方法
CN106598075A (zh) * 2016-07-21 2017-04-26 深圳曼塔智能科技有限公司 一种基于发光目标识别的无人机跟踪控制系统及方法
EP3444688A4 (en) * 2016-08-11 2019-07-10 Autel Robotics Co., Ltd. METHOD AND SYSTEM FOR TRACKING AND IDENTIFICATION AND AIRCRAFT
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及系统
CN107016690B (zh) * 2017-03-06 2019-12-17 浙江大学 基于视觉的无人机入侵检测与识别系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008298631A (ja) * 2007-05-31 2008-12-11 Nec System Technologies Ltd 地図変化検出装置、地図変化検出方法およびプログラム
KR101252680B1 (ko) * 2012-11-28 2013-04-08 네이버시스템(주) 디지털 항공이미지를 이용한 영상도화시스템

Also Published As

Publication number Publication date
JP6652979B2 (ja) 2020-02-26
JP2019144804A (ja) 2019-08-29
US20200372238A1 (en) 2020-11-26
KR20200115648A (ko) 2020-10-07
EP3757941A4 (en) 2022-03-30
CA3091897A1 (en) 2019-08-29
CN111742348B (zh) 2022-02-15
EP3757941C0 (en) 2023-06-07
US11042740B2 (en) 2021-06-22
EP3757941A1 (en) 2020-12-30
EP3757941B1 (en) 2023-06-07
IL276818A (en) 2020-10-29
IL276818B (en) 2021-04-29
WO2019163454A1 (ja) 2019-08-29
CN111742348A (zh) 2020-10-02
CA3091897C (en) 2021-03-09

Similar Documents

Publication Publication Date Title
KR102266223B1 (ko) 화상 처리 장치, 비행체 및 프로그램
EP1998139B1 (en) Building shape change detecting method, and building shape change detecting system
CN107871405B (zh) 利用视觉信息进行空中碰撞威胁的检测与评估
KR102195179B1 (ko) 항공사진을 이용한 정사영상 구축방법
US20170221241A1 (en) System, method and apparatus for generating building maps
CN111123964B (zh) 一种无人机降落方法、设备以及计算机可读介质
CN108140245B (zh) 测距方法、装置以及无人机
KR101771492B1 (ko) 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템
KR20160112080A (ko) 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
CN112462791A (zh) 一种车载无人机机场全自动高精度飞行着陆系统及方法
JP2020138681A (ja) 無人飛行体の制御システム
JP2019144804A5 (ko)
US9571801B2 (en) Photographing plan creation device and program and method for the same
CN106647785B (zh) 无人机停机坪控制方法及装置
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones
US20140078146A1 (en) Flight obstacle extraction device, flight obstacle extraction method, and recording medium
CN109163718A (zh) 一种面向建筑群的无人机自主导航方法
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
US20190227573A1 (en) Re-search method during uav landing process
Tahar et al. A new approach on production of slope map using autonomous unmanned aerial vehicle
US7171028B2 (en) Method and apparatus for covertly determining the rate of relative motion between two objects
US8655619B1 (en) System, method, and software for estimating a peak acceleration of an optical system
CN112486210A (zh) 一种无人机移动机场飞行着陆补偿终端制导系统及方法
JPH0757045B2 (ja) 送電線監視システム
Hormigo et al. A micro-UAV system for forest management

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right