KR20240026849A - A satellite system capable of object recognition using AI algorithms - Google Patents

A satellite system capable of object recognition using AI algorithms Download PDF

Info

Publication number
KR20240026849A
KR20240026849A KR1020230075688A KR20230075688A KR20240026849A KR 20240026849 A KR20240026849 A KR 20240026849A KR 1020230075688 A KR1020230075688 A KR 1020230075688A KR 20230075688 A KR20230075688 A KR 20230075688A KR 20240026849 A KR20240026849 A KR 20240026849A
Authority
KR
South Korea
Prior art keywords
image
unit
satellite system
algorithm
image data
Prior art date
Application number
KR1020230075688A
Other languages
Korean (ko)
Inventor
이창수
Original Assignee
주식회사 한국우주기술
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한국우주기술 filed Critical 주식회사 한국우주기술
Publication of KR20240026849A publication Critical patent/KR20240026849A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

본 발명은 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템에 관한 것이다. 특히, 다중 채널의 카메라 모듈을 단일 위성 시스템에 탑재하여 넓은 영역에 대한 방대한 관측 데이터를 획득하면서, 데이터 처리량의 문제를 해소하기 위하여, AI 알고리즘을 이용하여 학습된 객체 위주의 이미지 정보를 획득하는 기술을 제공함에 있다.The present invention relates to a satellite system capable of object recognition using an AI algorithm. In particular, a technology that acquires object-oriented image information learned using an AI algorithm to solve the problem of data throughput while acquiring massive observation data over a wide area by mounting a multi-channel camera module on a single satellite system. In providing.

Description

AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템 {A satellite system capable of object recognition using AI algorithms}{A satellite system capable of object recognition using AI algorithms}

본 발명은 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템에 관한 것으로, 보다 상세하게는 다중 채널의 카메라 모듈을 단일 위성 시스템에 탑재하여 넓은 영역에 대한 방대한 관측 데이터를 획득하면서, 데이터 처리량의 문제를 해소하기 위하여, AI 알고리즘을 이용하여 학습된 객체 위주의 이미지 정보를 획득하는 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템에 관한 것이다.The present invention relates to a satellite system capable of object recognition using an AI algorithm. More specifically, the present invention relates to a satellite system capable of object recognition using an AI algorithm. More specifically, a multi-channel camera module is mounted on a single satellite system to acquire massive observation data over a wide area, solving the problem of data throughput. To this end, it relates to a satellite system capable of object recognition using an AI algorithm that acquires image information centered on objects learned using an AI algorithm.

자국의 어업 영역권에 대한 확보 및 보호 차원에서 어선의 위치 감시를 위하여 다양한 방법이 활용되고 있다.Various methods are being used to monitor the location of fishing boats in order to secure and protect the country's fishing territorial rights.

일반적으로 대형 선박에서는 위성 통신으로 각 선박의 위치를 전송받아, 전자해상도상 기점하여 감시하고 있으나, 소형 선박과 같이 영세한 선박에서는 위성통신 시스템을 구비하기 어려운 문제가 있다.In general, large ships receive the location of each ship through satellite communication and monitor it based on electronic resolution, but it is difficult for small ships such as small ships to be equipped with a satellite communication system.

또한, 최근에는 육상에 위치한 기지국(지상국 등)에서 연안을 항해하는 선박의 통항 상태 및 특정 선박의 준법여부를 실시간으로 감지하거나, 우리나라의 경우, 복방 한계선 인근에 어장이 풍부하여 조업하는 어선의 수가 증가함에 따라, 조업의 위험도 역시 증가하고 있어, 어선의 위치를 정확하게 파악하여 어선을 국내 어업 영역으로 안정적으로 인도하기 위해 이용되고 있다.In addition, recently, base stations (ground stations, etc.) located on land can detect in real time the traffic status of ships sailing along the coast and the compliance of specific ships, or in the case of Korea, the number of fishing boats operating is increasing due to the abundance of fishing grounds near the discharge limit line. As the risk of fishing also increases, it is being used to accurately determine the location of fishing boats and guide them stably to domestic fishing areas.

더불어, 어선의 위치에 대한 증빙자료를 확보하여 추후 우리나라의 주변국가(중국, 일본 또는, 북한 등)와의 어업 마찰에 대하여 대응할 수 있는 방안이 요구되고 있다.In addition, there is a need for a plan to secure evidence of the location of fishing boats and respond to future fishing conflicts with neighboring countries (China, Japan, North Korea, etc.).

이와 관련해서, 국내 등록 특허 제10-1208638호(등록일자 2012.11.29.)에서는 선위 측정에 사용되는 위성 신호의 모호성을 검출할 수 있는 시스템을 개시하고 있다.In this regard, domestically registered patent No. 10-1208638 (registration date 2012.11.29.) discloses a system that can detect ambiguity in satellite signals used for ship position measurement.

국내 등록 특허 제10-1208638호(등록일자 2012.11.29.)Domestic registered patent No. 10-1208638 (registration date 2012.11.29.)

따라서, 본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 다중 채널의 카메라 모듈을 단일 위성 시스템에 탑재하여 넓은 영역에 대한 방대한 관측 데이터를 획득함과 동시에, 데이터 처리랑의 문제점을 해소하기 위하여 AI 알고리즘을 이용하여 학습된 객체 위주의 이미지 정보를 획득하는 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템을 제공함에 있다.Therefore, the present invention was conceived to solve the problems of the prior art as described above. The purpose of the present invention is to acquire massive observation data over a wide area by mounting a multi-channel camera module on a single satellite system and at the same time In order to solve problems with data processing, we provide a satellite system capable of object recognition using an AI algorithm that acquires image information centered on objects learned using an AI algorithm.

특히, 불법 선박 감지에 적용할 경우, 인식한 선박 객체와 전달되는 선박의 AIS 신호와 비교하여, 실시간으로 넓은 범위의 불법 선박 감지를 수행할 수 있을 뿐 아니라, 감지한 불법 선박에 대한 초해상화 이미지 데이터를 획득할 수 있는 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템을 제공함에 있다.In particular, when applied to illegal vessel detection, not only can a wide range of illegal vessel detection be performed in real time by comparing the recognized vessel object with the transmitted AIS signal of the vessel, but also super-resolution of the detected illegal vessel. The goal is to provide a satellite system capable of object recognition using an AI algorithm that can acquire image data.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은, 다중 채널의 카메라 모듈이 탑재된 단일 위성 시스템에서 AI 알고리즘을 이용한 객체 인식을 수행하기 위한 시스템으로서, 탑재된 다중 채널의 카메라 모듈 각각으로부터 획득된 이미지 데이터를 입력받는 이미지 입력부, 기저장된 이미지 처리 알고리즘을 이용하여, 상기 이미지 입력부에 의한 복수의 이미지 데이터를 단일 이미지 데이터로 병합 처리하는 이미지 병합부, 사전에 학습 처리된 객체 탐지 네트워크를 이용하여, 상기 이미지 병합부에 의한 상기 단일 이미지 데이터에 대한 객체 탐지를 수행하는 이미지 분석부, 기저장된 이미지 처리 알고리즘을 이용하여, 상기 이미지 분석부에 의한 객체 탐지 영역의 초해상화 처리를 수행하는 SR 처리부 및 상기 SR 처리부에 의해 초해상화 처리를 수행한 이미지 데이터를 연계되어 있는 지상국으로 전송하는 이미지 전송부를 포함하는 것이 바람직하다.The satellite system capable of object recognition using the AI algorithm of the present invention to achieve the above-mentioned purpose is a system for performing object recognition using the AI algorithm in a single satellite system equipped with a multi-channel camera module. an image input unit that receives image data acquired from each of the multi-channel camera modules, an image merge unit that merges and processes multiple image data from the image input unit into single image data using a pre-stored image processing algorithm, An image analysis unit that performs object detection on the single image data by the image merge unit using a learned object detection network, and an object detection area by the image analysis unit using a pre-stored image processing algorithm. It is preferable to include an SR processing unit that performs super-resolution processing and an image transmission unit that transmits image data on which super-resolution processing has been performed by the SR processing unit to a connected ground station.

더 나아가, 상기 이미지 병합부는 단일 위성 시스템에 탑재된 다중 채널의 카메라 모듈의 설치 각도를 고려한 광역의 단일 이미지 데이터를 생성하며, 상기 이미지 전송부는 상기 이미지 입력부에 의한 복수의 이미지 데이터와 상기 이미지 병합부에서 생성한 광역의 단일 이미지 데이터를 상기 지상국으로 전송하는 것이 바람직하다.Furthermore, the image merging unit generates wide-area single image data considering the installation angle of the multi-channel camera module mounted on a single satellite system, and the image transmitting unit generates a plurality of image data from the image input unit and the image merging unit. It is desirable to transmit the wide-area single image data generated by to the ground station.

더 나아가, 상기 이미지 전송부는 상기 이미지 입력부에 의한 복수의 이미지 데이터와 상기 이미지 분석부에 의해 탐지된 객체 영역 데이터를 상기 지상국으로 전송하는 것이 바람직하다.Furthermore, the image transmission unit preferably transmits a plurality of image data from the image input unit and object area data detected by the image analysis unit to the ground station.

더 나아가, 상기 SR 처리부는 상기 이미지 분석부에 의해 탐지된 각 객체에 의한 경계 박스(bounding box) 영역을 생성하고, 생성한 경계 박스 영역에 대한 초해상화 처리를 수행하는 것이 바람직하다.Furthermore, it is preferable that the SR processing unit generates a bounding box area for each object detected by the image analysis unit and performs super-resolution processing on the generated bounding box area.

더 나아가, 상기 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은 지상국으로부터 연계 서버에 의해 수집한 항해 중인 선박 관련 정보를 입력받는 선박 정보 입력부를 더 포함하며, 상기 이미지 분석부는 사전에 선박 객체의 탐지를 위해 학습 처리된 객체 탐지 네트워크를 이용하여, 상기 이미지 병합부에 의해 병합 처리된 상기 단일 이미지 데이터에 포함되어 있는 선박 객체를 탐지하고, 탐지한 선박 객체의 위치 정보와 상기 선박 정보 입력부에 의해 입력받은 상기 선박 관련 정보를 비교하여, 일치 여부를 판단하여, 해당하는 선박 객체에 상기 선박 관련 정보를 라벨링 처리하는 것이 바람직하다.Furthermore, the satellite system capable of object recognition using the AI algorithm further includes a ship information input unit that receives information related to a sailing ship collected from a ground station by a linkage server, and the image analysis unit detects ship objects in advance. Detects a ship object included in the single image data merged by the image merging unit, using an object detection network learned and processed to detect the location information of the detected ship object and the ship information input unit. It is desirable to compare the ship-related information, determine whether there is a match, and label the corresponding ship object with the ship-related information.

더 나아가, 상기 이미지 분석부는 탐지한 선박 객체의 위치 정보와 상기 선박 정보 입력부에 의해 입력받은 상기 선박 관련 정보를 비교하여, 일치 여부를 판단하여, 탐지한 선박 객체 중 일치되는 선박 관련 정보가 없을 경우, 불법 선박으로 라벨링 처리를 수행하는 것이 바람직하다.Furthermore, the image analysis unit compares the location information of the detected ship object with the ship-related information input by the ship information input unit to determine whether there is a match, and if there is no matching ship-related information among the detected ship objects, , it is desirable to carry out the labeling process as an illegal vessel.

더 나아가, 상기 이미지 전송부는 상기 이미지 분석부에 의해 라벨링 처리된 각 객체에 대해, 상기 SR 처리부에 의해 초해상화 처리를 수행한 이미지 데이터를 상기 지상국으로 전송하는 것이 바람직하다.Furthermore, it is preferable that the image transmission unit transmits image data on which super-resolution processing has been performed by the SR processing unit for each object labeled by the image analysis unit to the ground station.

본 발명에 의하면, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은 사전에 학습된 객체 위주의 실시간 이미지 정보 획득을 통해 감시 정찰 기능을 수행할 수 있으며, 선박의 AIS 신호 데이터와 결합하여, 선박 객체 인식 및 위치 정보를 통해 불법 선박, 밀입국 감시 등의 체계를 구성할 수 있는 장점이 있다.According to the present invention, a satellite system capable of object recognition using an AI algorithm can perform a surveillance and reconnaissance function by acquiring real-time image information centered on objects learned in advance, and recognizes ship objects by combining it with the ship's AIS signal data. It has the advantage of being able to form a system to monitor illegal ships and illegal immigration through location information.

또한, 다중 채널의 카메라 모듈과 대용량 저장 장치를 통해서, 넓은 영역, 방대한 관측 데이터를 확보할 수 있는 지형 관측 기능을 수행할 수 있는 장점이 있다.In addition, it has the advantage of being able to perform a terrain observation function that can secure a large area and vast amount of observation data through a multi-channel camera module and a large capacity storage device.

도 1 및 도 2는 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템을 나타낸 구성 예시도이다.Figures 1 and 2 are configuration diagrams showing a satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention.

상술한 본 발명의 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 실시예를 통하여 보다 분명해질 것이다. 이하의 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다. 본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들은 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1 및 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 한정되지는 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소들로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소는 제1 구성 요소로도 명명될 수 있다. 어떠한 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떠한 구성 요소가 다른 구성 요소에 직접 연결되어 있다거나 또는 직접 접속되어 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하기 위한 다른 표현들, 즉 '∼사이에'와 '바로 ∼사이에' 또는 '∼에 인접하는'과 '∼에 직접 인접하는' 등의 표현도 마찬가지로 해석되어야 한다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 포함하다 또는 가지다 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써 본 발명을 상세히 설명하도록 한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.The purpose, features and advantages of the present invention described above will become clearer through the following examples in conjunction with the attached drawings. The following specific structural and functional descriptions are merely illustrative for the purpose of explaining embodiments according to the concept of the present invention. Embodiments according to the concept of the present invention may be implemented in various forms and may be implemented in various forms and may be described in the present specification or application. It should not be construed as limited to the examples. Since the embodiments according to the concept of the present invention can make various changes and have various forms, specific embodiments will be illustrated in the drawings and described in detail in the specification or application. However, this is not intended to limit the embodiments according to the concept of the present invention to a specific disclosed form, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention. Terms such as first and or second may be used to describe various components, but the components are not limited to the terms. The above terms are used only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component, and similar Likewise, the second component may also be called the first component. When it is mentioned that a component is connected or connected to another component, it should be understood that it may be directly connected or connected to the other component, but that other components may exist in between. On the other hand, when it is mentioned that a component is directly connected or directly connected to another component, it should be understood that there are no other components in the middle. Other expressions to explain the relationship between components, such as 'between' and 'immediately between' or 'adjacent to' and 'directly adjacent to', should be interpreted similarly. The terms used in this specification are merely used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as include or have are intended to designate the existence of a described feature, number, step, operation, component, part, or combination thereof, but are intended to indicate the presence of one or more other features, numbers, steps, operations, It should be understood that this does not exclude in advance the possibility of the presence or addition of components, parts, or combinations thereof. Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms as defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and unless clearly defined in this specification, should not be interpreted in an idealized or overly formal sense. No. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the attached drawings. The same reference numerals in each drawing indicate the same member.

더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, a system refers to a set of components including devices, mechanisms, and means that are organized and interact regularly to perform necessary functions.

본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은, 다중 채널의 카메라 모듈이 탑재된 단일 위성 시스템에서 AI 알고리즘을 이용한 객체 인식을 수행하기 위한 기술에 관한 것이다.A satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention relates to technology for performing object recognition using an AI algorithm in a single satellite system equipped with a multi-channel camera module.

단일 위성 시스템의 일 예를 들자면, 5m 카메라 4 채널을 탑재하여, 이들이 수행한 동시 촬영 결과에 따른 영상 데이터를 입력받게 된다.As an example of a single satellite system, it is equipped with 4 channels of 5m cameras and receives image data according to the results of simultaneous filming performed by them.

각 카메라 모듈의 촬영 폭은 13 km ~ 52 km로 한정하고 있으며, 16 TB의 대용량 저장 장치를 구비하여, 입력되는 영상 데이터를 처리하고 있다. 또한, 후술할 다양한 AI 알고리즘을 온보드(On-board) 처리하여, 다기능, 고성능, 초저가의 AI 기술이 적용된 초소형 위성 시스템의 구성이 가능하다.The shooting width of each camera module is limited to 13 km to 52 km, and it is equipped with a 16 TB mass storage device to process input video data. In addition, by processing various AI algorithms, which will be described later, on-board, it is possible to configure a micro-satellite system equipped with multi-functional, high-performance, and ultra-low-cost AI technology.

이를 통해서, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은, 사전에 학습된 객체 위주의 실시간 이미지 정보 획득을 통해 감시 정찰 기능을 수행할 수 있으며, 선박의 AIS 신호와 결합하여, 선박 객체 인식 및 위치 정보를 통해 불법 선박, 밀입국 감시 등의 체계를 구성할 수 있다. 또한, 다중 채널의 카메라 모듈과 대용량 저장 장치를 통해서, 넓은 영역, 방대한 관측 데이터를 확보할 수 있는 지형 관측 기능을 수행할 수도 있다.Through this, the satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention can perform a surveillance and reconnaissance function through acquisition of real-time image information centered on pre-learned objects, and the ship's AIS signal and In combination, a system for monitoring illegal ships and illegal immigration can be formed through ship object recognition and location information. In addition, through a multi-channel camera module and a large capacity storage device, it is possible to perform a terrain observation function that can secure a large amount of observation data in a large area.

특히, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은, 관성 모멘트 최적화(최소화)를 위한 무게 중심을 설정하고, 다중 채널의 카메라 모듈의 배치를 고려함으로써, 다기능, 고성능, 초저가의 AI 기술이 적용된 초소형 위성 시스템의 구성이 가능하다.In particular, the satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention sets the center of gravity for optimizing (minimizing) the moment of inertia and considers the arrangement of multi-channel camera modules, thereby providing multi-function and high performance. , it is possible to construct an ultra-small satellite system using ultra-low-cost AI technology.

도 1은 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템을 나타낸 구성 예시도이다.Figure 1 is an exemplary configuration diagram showing a satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은 도 1에 도시된 바와 같이, 이미지 입력부(100), 이미지 병합부(200), 이미지 분석부(300), SR 처리부(400) 및 이미지 전송부(500)를 포함하는 것이 바람직하다.As shown in FIG. 1, a satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention includes an image input unit 100, an image merge unit 200, an image analysis unit 300, and an SR processing unit ( It is preferable to include 400) and an image transmission unit 500.

다중 채널의 카메라 모듈이 탑재된 단일 위성 시스템에 상기 구성들이 포함되는 것이 바람직하며, 각 구성들은 CPU를 포함하는 연산처리수단에 각각 또는 통합 구성되어 동작을 수행하는 것이 바람직하다.It is preferable that the above components are included in a single satellite system equipped with a multi-channel camera module, and each component is preferably configured individually or integrated into an arithmetic processing unit including a CPU to perform operations.

각 구성에 대해서 자세히 알아보자면,To learn more about each configuration,

상기 이미지 입력부(100)는 탑재된 다중 채널의 카메라 모듈 각각으로부터 획득된 이미지 데이터를 입력받는 것이 바람직하다.The image input unit 100 preferably receives image data obtained from each of the mounted multi-channel camera modules.

상술한 단일 위성 시스템의 예에 이어서 설명하자면, 상기 이미지 입력부(100)는 적어도 4개의 이미지 데이터를 입력받게 된다.Continuing with the example of the single satellite system described above, the image input unit 100 receives at least four image data.

상기 이미지 병합부(200)는 미리 저장된 이미지 처리 알고리즘을 이용하여, 상기 이미지 입력부(100)에 의한 복수의 이미지 데이터를 단일 이미지 데이터로 병합 처리하는 것이 바람직하다.The image merge unit 200 preferably merges the plurality of image data generated by the image input unit 100 into a single image data using a pre-stored image processing algorithm.

상세하게는, 상기 이미지 병합부(200)는 미리 저장된 이미지 처리 알고리즘(을 이용하여, 상기 이미지 입력부(100)에 의한 복수의 이미지 데이터에 대해서 상기 단일 위성 시스템에 탑재된 다중 채널의 카메라 모듈의 설치 각도를 고려한 광역의 단일 이미지 데이터를 생성하는 것이 바람직하다.In detail, the image merge unit 200 uses a pre-stored image processing algorithm ( It is desirable to generate wide-area single image data considering angles.

일 예를 들자면, 이미지 처리 알고리즘으로 SURF 알고리즘, RANSAC 알고리즘이 미리 저장되어 있다면, 상기 이미지 병합부(200)는 복수의 이미지 데이터 각각을 그레이 스케일로 변환한 후, SURF 알고리즘을 이용하여 이미지 간 특징점을 매칭시키게 된다. 이 후, 복수의 이미지를 하나의 평면에 투영하고, RANSAC 알고리즘을 이용하여 정확한 대응점 변환을 수행하여, 광역의 단일 이미지 데이터를 생성하게 된다. 이 때, 저장된 SURF 알고리즘, RANSAC 알고리즘은 실시예에 불과하며, 복수의 이미지 데이터를 하나의 광역 이미지 데이터로 변환할 수 있는 다양한 이미지 처리 알고리즘의 적용이 가능하다.For example, if the SURF algorithm and the RANSAC algorithm are pre-stored as image processing algorithms, the image merge unit 200 converts each of the plurality of image data into gray scale and then uses the SURF algorithm to combine feature points between images. It is matched. Afterwards, multiple images are projected onto one plane, and accurate corresponding point conversion is performed using the RANSAC algorithm to generate wide-area single image data. At this time, the stored SURF algorithm and RANSAC algorithm are only examples, and various image processing algorithms that can convert multiple image data into one wide-area image data can be applied.

여기서, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은, 상기 이미지 입력부(100)에 의한 복수의 이미지 데이터와 상기 이미지 병합부(200)에서 생성한 광역의 단일 이미지 데이터를 상기 이미지 전송부(500)를 통해서, 연계되어 있는 지상국으로 전송하는 것이 바람직하다.Here, the satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention includes a plurality of image data by the image input unit 100 and a wide-area single image data generated by the image merge unit 200. It is desirable to transmit to a connected ground station through the image transmission unit 500.

본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템의 동작 자체는 위성 시스템 내에서 수행되는 동작이기 때문에, 연산량과 데이터량에 한계가 존재할 수 밖에 없다. 그렇기 때문에, raw 데이터인 상기 이미지 입력부(100)에 의한 복수의 이미지 데이터와 이를 활용하여 생성한 광역의 단일 이미지 데이터를 모두 지상국으로 전송함으로써, 지상국에서 보다 심층적으로 이들을 활용하도록 제안할 수 있다.Since the operation of a satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention itself is an operation performed within the satellite system, there are bound to be limits to the amount of computation and data. Therefore, it can be proposed that the plurality of image data from the image input unit 100, which is raw data, and the wide-area single image data generated using the raw data are all transmitted to the ground station so that the ground station can utilize them in a more in-depth manner.

상기 이미지 분석부(300)는 사전에 학습 처리된 객체 탐지 네트워크를 이용하여, 상기 이미지 병합부(200)에 의한 상기 단일 이미지 데이터에 대한 객체 탐지를 수행하는 것이 바람직하다.The image analysis unit 300 preferably performs object detection on the single image data by the image merge unit 200 using a previously trained object detection network.

즉, 상기 이미지 분석부(300)는 위성 시스템을 통해서 획득되는 각각의 이미지 데이터에 대한 객체 탐지를 수행하는 것이 아니라, 상기 이미지 병합부(200)에서 생성한 단일 이미지 데이터에 대한 객체 탐지를 수행하는 것이 바람직하다.That is, the image analysis unit 300 does not perform object detection on each image data acquired through a satellite system, but rather performs object detection on single image data generated by the image merge unit 200. It is desirable.

상기 이미지 분석부(300) 역시도, 상기 이미지 전송부(500)를 통해서, 탐지된 객체 영역 데이터를 연계되어 있는 지상국으로 전송하는 것이 바람직하다.The image analysis unit 300 also preferably transmits the detected object area data to a connected ground station through the image transmission unit 500.

이 때, 상기 이미지 전송부(500)는 상기 이미지 입력부(100)에 의한 복수의 이미지 데이터와 상기 이미지 병합부(200)에서 생성한 광역의 단일 이미지 데이터를 함께 전송함으로써, 상국에서 보다 심층적으로 이들을 활용하도록 제안할 수 있다.At this time, the image transmission unit 500 transmits a plurality of image data from the image input unit 100 and a wide-area single image data generated by the image merging unit 200, thereby allowing the upper station to dig deeper into these data. You can suggest its use.

또한, 상기 이미지 분석부(300)는 다양한 분야에서 객체 검출에 활용되고 있는 YOLO V5를 이용하고 있으나, 이는 본 발명의 일 실시예에 불과하다.In addition, the image analysis unit 300 uses YOLO V5, which is used for object detection in various fields, but this is only an embodiment of the present invention.

특히, 위성에서 촬영한 이미지를 통해서 탐지하고자 하는 객체인 선박, 비행기 등은 이를 학습하기 위한 학습 데이터 자체가 현저히 부족할 수 밖에 없다.In particular, the objects to be detected through images taken from satellites, such as ships and airplanes, inevitably lack the learning data themselves to learn them.

이러한 점을 고려하여, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은, 사전에 객체 탐지 네트워크의 학습 처리를 수행함에 있어서, 데이터 증강 기법을 적용하여, 부족한 데이터 셋의 개수를 보완하는 것이 바람직하다.Taking this into consideration, a satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention applies a data augmentation technique in performing the learning process of the object detection network in advance to improve the quality of the insufficient data set. It is desirable to supplement the number.

뿐만 아니라, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템의 초기 운영 과정에서 획득되는 이미지 데이터를 학습 데이터 셋으로 채용하여, 반복 학습을 수행하는 것이 바람직하다.In addition, it is desirable to perform iterative learning by employing image data acquired during the initial operation of a satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention as a learning data set.

상기 SR 처리부(400)는 미리 저장된 이미지 처리 알고리즘을 이용하여, 상기 이미지 분석부(300)에 의한 객체 탐지 영역의 초해상화 처리를 수행하는 것이 바람직하다.The SR processing unit 400 preferably performs super-resolution processing of the object detection area by the image analysis unit 300 using a pre-stored image processing algorithm.

상세하게는, 상기 SR 처리부(400)는 상기 이미지 분석부(300)에 의해 식별된 객체 중심으로, 다시 말하자면, 상기 이미지 분석부(300)에 의해 탐지된 각 객체에 의한 경계 박스(bounding box) 영역을 생성하고, 생성한 경계 박스 영역에 대한 초해상화 처리를 수행하는 것이 바람직하다.In detail, the SR processing unit 400 is centered on the object identified by the image analysis unit 300, in other words, the bounding box for each object detected by the image analysis unit 300. It is desirable to create a region and perform super-resolution processing on the created bounding box region.

초해상화 처리를 위해 저장된 이미지 처리 알고리즘으로는 EDSR 알고리즘을 예로 들고 있으나, 이는 하나의 예시에 불과하다.The EDSR algorithm is used as an example of an image processing algorithm stored for super-resolution processing, but this is only an example.

상기 이미지 전송부(500)는 상기 SR 처리부(400)에 의해 초해상화 처리를 수행한 이미지 데이터를 연계되어 있는 지상국으로 전송하는 것이 바람직하다.It is preferable that the image transmission unit 500 transmits image data that has undergone super-resolution processing by the SR processing unit 400 to a connected ground station.

물론, 상기 이미지 전송부(500)는 상기 SR 처리부(400)에 의해 동작을 수행하기 위해 적용된 이미지 데이터들, 상세하게는, 상기 이미지 입력부(100)에 의한 복수의 이미지 데이터, 상기 이미지 병합부(200)에서 생성한 광역의 단일 이미지 데이터 및 상기 이미지 분석부(300)에 의해 탐지된 객체 영역 데이터를 상기 SR 처리부(400)에 의해 초해상화 처리를 수행한 이미지 데이터와 함께 전송함으로써, 지상국에서 보다 심층적으로 이들을 활용하도록 제안할 수 있다.Of course, the image transmission unit 500 includes image data applied to perform an operation by the SR processing unit 400, specifically, a plurality of image data by the image input unit 100, and the image merging unit ( By transmitting the wide-area single image data generated by 200 and the object area data detected by the image analysis unit 300 together with the image data that has undergone super-resolution processing by the SR processing unit 400, the ground station You can suggest using them in more depth.

더불어, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은 도 2에 도시된 바와 같이, 선박 정보 입력부(10)를 더 포함하는 것이 바람직하다.In addition, the satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention preferably further includes a ship information input unit 10, as shown in FIG. 2.

이를 통해서, 위성 시스템을 통해서 획득되는 이미지 데이터를 분석하여 포함되어 있는 객체를 단순 탐지하는 것이 아니라, 원하는 형태의 객체를 탐지하고, 탐지한 객체가 정상 상태인지 비정상 상태인지 판단하여, 이를 지상국에 전달할 수 있다.Through this, rather than simply detecting objects included by analyzing image data acquired through a satellite system, it detects objects of a desired type, determines whether the detected object is in a normal state or an abnormal state, and transmits this to the ground station. You can.

이를 위해, 본 발명의 일 실시예에 따른 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은 탐지를 원하는 객체를 선박으로 한정하고 있으나, 이는 본 발명의 하나의 예시에 불과하며, 객체 탐지 네트워크의 학습 처리 과정에 따라 선박, 비행 물체 등 다양하게 적용 가능한다.To this end, the satellite system capable of object recognition using an AI algorithm according to an embodiment of the present invention limits the object desired to be detected to a ship, but this is only an example of the present invention and is a learning process of the object detection network. Depending on the process, it can be applied to a variety of things, including ships and flying objects.

상기 선박 정보 입력부(10)는 지상국으로부터 연계 서버에 의해 수집한 항해 중인 선박 관련 정보를 입력받는 것이 바람직하다.It is preferable that the ship information input unit 10 receives information related to a sailing ship collected by a linkage server from a ground station.

이 때, 상기 선박 관련 정보로는 AIS(Automatic Identification System) 데이터로서, 선박 자동 식별 장치의 데이터를 포함하는 것이 바람직하다.At this time, the ship-related information is AIS (Automatic Identification System) data, and preferably includes data from an automatic ship identification device.

상기 선박 자동 식별 장치는 선박의 항해 안전 및 보안 강화를 위해, 선박의 위치, 속력, 진도, 선박 식별 정보 등의 데이터를 무선통신(VHF 주파수)을 통하여 자동 송수신할 수 있는 항해 장비로서, 국제 해사 기구(IMO) 선반 안전법에 따르면, 2004년 이후로는 총 300gt(톤)를 초과하는 선박은 AIS를 의무 설치하도록 법제화하고 있다.The automatic ship identification device is a navigation equipment that can automatically transmit and receive data such as the ship's location, speed, progress, and ship identification information through wireless communication (VHF frequency) in order to strengthen the navigation safety and security of the ship. According to the IMO Shelf Safety Act, since 2004, ships exceeding 300 gt (ton) in total have been required to install AIS.

상기 이미지 분석부(300)는 사전에, 선박 객체의 탐지를 위해 학습 처리된 객체 탐지 네트워크를 이용하여, 상기 이미지 병합부(200)에 의해 병합 처리된 상기 단일 이미지 데이터에 포함되어 있는 선박 객체를 탐지하는 것이 바람직하다.The image analysis unit 300 uses an object detection network previously learned to detect ship objects, and identifies ship objects included in the single image data merged by the image merge unit 200. It is desirable to detect.

이 후, 상기 이미지 분석부(300)는 탐지한 선박 객체의 위치 정보와 상기 선박 정보 입력부(100)에 의해 입력받은 상기 선박 관련 정보를 비교하여, 탐지한 선박 객체와 상기 선박 관련 정보를 매칭시킬 수 있다.Afterwards, the image analysis unit 300 compares the location information of the detected ship object and the ship-related information input by the ship information input unit 100 to match the detected ship object and the ship-related information. You can.

즉, 탐지한 선박 객체의 위치 정보와 상기 선박 관련 정보에 포함되어 있는 선박의 위치 정보를 비교하여, 위치 정보의 일치 여부를 판단하여, 일치되는 선박 객체에 대해서 상기 선박 관련 정보의 라벨링 처리를 수행하는 것이 바람직하다.In other words, the location information of the detected vessel object is compared with the location information of the vessel included in the vessel-related information, it is determined whether the location information matches, and labeling of the vessel-related information is performed for the matched vessel object. It is desirable to do so.

모든 상황이 안정적으로 진행되어, 탐지한 모든 선박 객체에 대한 선박 관련 정보를 매칭시키는 것이 가장 이상적이나, 해적선, 밀입국선 등의 불법 선박의 경우, 악의적인 목적으로 항해하기 때문에, 당연히 선박 관련 정보를 매칭시킬 수 없다.The ideal situation is to ensure that all situations proceed stably and match ship-related information to all detected ship objects. However, in the case of illegal ships such as pirate ships and smuggling vessels, ship-related information is naturally required because they sail for malicious purposes. Cannot be matched.

다시 말하자면, 상기 이미지 분석부(300)에서, 탐지한 선박 객체의 위치 정보와 상기 선박 정보 입력부(100)에 의해 입력받은 상기 선박 관련 정보를 비교하여, 위치 정보의 일치 여부를 판단한 결과에 따라, 탐지한 선박 객체 중 일치되는 선박 관련 정보가 없을 수 있다.In other words, the image analysis unit 300 compares the location information of the detected vessel object with the vessel-related information input by the vessel information input unit 100, and determines whether the location information matches. Among the detected ship objects, there may be no matching ship-related information.

즉, 밀입국선이나 해적선의 경우, 당연히 선박 관련 정보를 남기지 않기 때문에, 획득한 위성 데이터를 통해서 해당하는 선박 객체가 탐지되었다 하더라도, 해당하는 선박 관련 정보를 매칭시킬 수 없다.In other words, in the case of smuggled ships or pirate ships, naturally, they do not leave any ship-related information, so even if the corresponding ship object is detected through the acquired satellite data, the corresponding ship-related information cannot be matched.

이에 따라, 상기 이미지 분석부(300)는 탐지한 선박 객체의 위치 정보와 상기 선박 관련 정보에 포함되어 있는 선박의 위치 정보를 비교하여, 위치 정보의 일치 여부를 판단하여, 일치되지 않는 선박 객체에 대해서는 불법 선박으로 라벨링 처리를 수행하는 것이 바람직하다.Accordingly, the image analysis unit 300 compares the location information of the detected vessel object with the location information of the vessel included in the vessel-related information, determines whether the location information matches, and identifies the mismatched vessel object. It is advisable to carry out the labeling process for illegal vessels.

이를 통해서, 상기 SR 처리부(400)는 상기 이미지 분석부(300)에 의해 라벨링 처리된 각 객체에 대한 초해상화 처리를 수행하기 때문에, 상기 이미지 전송부(500)는 연계되어 있는 지상국으로 라벨링된 초해상화 이미지 데이터를 전송함으로써, 불법 선박에 대한 감시 체계를 보다 굳건하게 구축할 수 있는 장점이 있다.Through this, since the SR processing unit 400 performs super-resolution processing on each object labeled by the image analysis unit 300, the image transmitting unit 500 is labeled as a connected ground station. By transmitting super-resolution image data, there is an advantage in establishing a more robust surveillance system for illegal vessels.

이상에서 본 발명의 바람직한 실시예에 대하여 설명하였으나, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것일 뿐이다. 따라서, 본 발명의 기술 사상은 개시된 각각의 실시예 뿐 아니라, 개시된 실시예들의 조합을 포함하고, 나아가, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 첨부된 청구범위의 사상 및 범주를 일탈함이 없이 본 발명에 대한 다수의 변경 및 수정이 가능하며, 그러한 모든 적절한 변경 및 수정은 균등물로서 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.Although preferred embodiments of the present invention have been described above, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but are only for explanation. Accordingly, the technical idea of the present invention includes not only each disclosed embodiment, but also a combination of the disclosed embodiments, and furthermore, the scope of the technical idea of the present invention is not limited by these embodiments. In addition, a person skilled in the art to which the present invention pertains can make numerous changes and modifications to the present invention without departing from the spirit and scope of the appended claims, and all such appropriate changes and modifications are equivalent to It should be considered as falling within the scope of the present invention as water.

100 : 이미지 입력부
200 : 이미지 병합부
300 : 이미지 분석부
400 : SR 처리부
500 : 이미지 전송부100: Image input unit
200: Image merge unit
300: Image analysis unit
400: SR processing unit
500: Image transmission unit

Claims (7)

다중 채널의 카메라 모듈이 탑재된 단일 위성 시스템에서 AI 알고리즘을 이용한 객체 인식을 수행하기 위한 시스템으로서,
탑재된 다중 채널의 카메라 모듈 각각으로부터 획득된 이미지 데이터를 입력받는 이미지 입력부;
기저장된 이미지 처리 알고리즘을 이용하여, 상기 이미지 입력부에 의한 복수의 이미지 데이터를 단일 이미지 데이터로 병합 처리하는 이미지 병합부;
사전에 학습 처리된 객체 탐지 네트워크를 이용하여, 상기 이미지 병합부에 의한 상기 단일 이미지 데이터에 대한 객체 탐지를 수행하는 이미지 분석부;
기저장된 이미지 처리 알고리즘을 이용하여, 상기 이미지 분석부에 의한 객체 탐지 영역의 초해상화 처리를 수행하는 SR 처리부; 및
상기 SR 처리부에 의해 초해상화 처리를 수행한 이미지 데이터를 연계되어 있는 지상국으로 전송하는 이미지 전송부;
를 포함하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.
A system for performing object recognition using an AI algorithm in a single satellite system equipped with a multi-channel camera module,
An image input unit that receives image data obtained from each of the mounted multi-channel camera modules;
an image merging unit that merges a plurality of image data from the image input unit into a single image data using a pre-stored image processing algorithm;
an image analysis unit that performs object detection on the single image data by the image merge unit using a pre-trained object detection network;
an SR processing unit that performs super-resolution processing of the object detection area by the image analysis unit using a pre-stored image processing algorithm; and
an image transmission unit that transmits image data subjected to super-resolution processing by the SR processing unit to a connected ground station;
A satellite system capable of object recognition using an AI algorithm, including.
 제 1항에 있어서,
상기 이미지 병합부는
단일 위성 시스템에 탑재된 다중 채널의 카메라 모듈의 설치 각도를 고려한 광역의 단일 이미지 데이터를 생성하며,
상기 이미지 전송부는
상기 이미지 입력부에 의한 복수의 이미지 데이터와 상기 이미지 병합부에서 생성한 광역의 단일 이미지 데이터를 상기 지상국으로 전송하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.
According to clause 1,
The image merge unit
Generates wide-area single image data considering the installation angle of the multi-channel camera module mounted on a single satellite system.
The image transmission unit
A satellite system capable of object recognition using an AI algorithm that transmits a plurality of image data from the image input unit and a wide-area single image data generated by the image merge unit to the ground station.
 제 1항에 있어서,
상기 이미지 전송부는
상기 이미지 입력부에 의한 복수의 이미지 데이터와 상기 이미지 분석부에 의해 탐지된 객체 영역 데이터를 상기 지상국으로 전송하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.
According to clause 1,
The image transmission unit
A satellite system capable of object recognition using an AI algorithm that transmits a plurality of image data from the image input unit and object area data detected by the image analysis unit to the ground station.
 제 1항에 있어서,
상기 SR 처리부는
상기 이미지 분석부에 의해 탐지된 각 객체에 의한 경계 박스(bounding box) 영역을 생성하고, 생성한 경계 박스 영역에 대한 초해상화 처리를 수행하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.
According to clause 1,
The SR processing unit
A satellite system capable of object recognition using an AI algorithm, which generates a bounding box area for each object detected by the image analysis unit and performs super-resolution processing on the generated bounding box area.
 제 4항에 있어서,
상기 AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템은
지상국으로부터 연계 서버에 의해 수집한 항해 중인 선박 관련 정보를 입력받는 선박 정보 입력부;
를 더 포함하며,
상기 이미지 분석부는
사전에 선박 객체의 탐지를 위해 학습 처리된 객체 탐지 네트워크를 이용하여, 상기 이미지 병합부에 의해 병합 처리된 상기 단일 이미지 데이터에 포함되어 있는 선박 객체를 탐지하고,
탐지한 선박 객체의 위치 정보와 상기 선박 정보 입력부에 의해 입력받은 상기 선박 관련 정보를 비교하여, 일치 여부를 판단하여, 해당하는 선박 객체에 상기 선박 관련 정보를 라벨링 처리하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.
According to clause 4,
A satellite system capable of object recognition using the AI algorithm is
a vessel information input unit that receives information related to a sailing vessel collected from a ground station by a linked server;
It further includes,
The image analysis unit
Using an object detection network previously trained to detect ship objects, detect ship objects included in the single image data merged by the image merge unit,
Object recognition using an AI algorithm that compares the location information of the detected ship object with the ship-related information input by the ship information input unit, determines whether they match, and labels the ship-related information on the corresponding ship object. This capable satellite system.
 제 5항에 있어서,
상기 이미지 분석부는
탐지한 선박 객체의 위치 정보와 상기 선박 정보 입력부에 의해 입력받은 상기 선박 관련 정보를 비교하여, 일치 여부를 판단하여, 탐지한 선박 객체 중 일치되는 선박 관련 정보가 없을 경우, 불법 선박으로 라벨링 처리를 수행하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.
According to clause 5,
The image analysis unit
The location information of the detected vessel object is compared with the vessel-related information entered by the vessel information input unit to determine whether there is a match, and if there is no matching vessel-related information among the detected vessel objects, labeling is performed as an illegal vessel. A satellite system capable of object recognition using AI algorithms.
 제 6항에 있어서,
상기 이미지 전송부는
상기 이미지 분석부에 의해 라벨링 처리된 각 객체에 대해, 상기 SR 처리부에 의해 초해상화 처리를 수행한 이미지 데이터를 상기 지상국으로 전송하는, AI 알고리즘을 이용한 객체 인식이 가능한 위성 시스템.According to clause 6,
The image transmission unit
A satellite system capable of object recognition using an AI algorithm, which transmits image data subjected to super-resolution processing by the SR processing unit for each object labeled by the image analysis unit to the ground station.
KR1020230075688A 2022-08-22 2023-06-13 A satellite system capable of object recognition using AI algorithms KR20240026849A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220104616 2022-08-22
KR20220104616 2022-08-22

Publications (1)

Publication Number Publication Date
KR20240026849A true KR20240026849A (en) 2024-02-29

Family

ID=90041363

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020230075668A KR20240026848A (en) 2022-08-22 2023-06-13 A radar satellite system capable of object recognition using AI algorithms
KR1020230075688A KR20240026849A (en) 2022-08-22 2023-06-13 A satellite system capable of object recognition using AI algorithms

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020230075668A KR20240026848A (en) 2022-08-22 2023-06-13 A radar satellite system capable of object recognition using AI algorithms

Country Status (1)

Country Link
KR (2) KR20240026848A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101208638B1 (en) 2012-05-11 2012-12-06 한국해양연구원 Detection system and method for plausibility of ship's positioning signal from global navigation satellite system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102185307B1 (en) 2019-04-05 2020-12-01 한국항공우주연구원 Method and system for high resolving object response of sar images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101208638B1 (en) 2012-05-11 2012-12-06 한국해양연구원 Detection system and method for plausibility of ship's positioning signal from global navigation satellite system

Also Published As

Publication number Publication date
KR20240026848A (en) 2024-02-29

Similar Documents

Publication Publication Date Title
EP3109659A1 (en) Satellite fishing surveillance constellation and method
CN110175186B (en) Intelligent ship environment threat target sensing system and method
US20140218242A1 (en) Computerized nano-satellite platform for large ocean vessel tracking
KR20130093245A (en) Suspected smuggling vessel ais analysis system and it's analysis method on the basis of multi-sensors and sailing pattern analysis
EP3654233A1 (en) System and method for identifying an object in water
CN109212545A (en) Multiple source target following measuring system and tracking based on active vision
KR20130037764A (en) Integration method of satellite information and ship information for integrated ship monitoring
CN110908394A (en) Maritime water pollution supervision unmanned aerial vehicle system and supervision method
JP7184101B2 (en) Ship behavior analysis device, ship behavior analysis method and program
Arguedas Texture-based vessel classifier for electro-optical satellite imagery
GB2608378A (en) Methods and systems for detecting vessels
KR20220065384A (en) Ship entry/departure monitoring system using real-time port images and ship identification device signals
CN111626129A (en) Ship target joint detection method based on satellite AIS and infrared camera
Yu et al. On-board fast and intelligent perception of ships with the “Jilin-1” spectrum 01/02 satellites
KR20240026849A (en) A satellite system capable of object recognition using AI algorithms
CN116894936B (en) Unmanned aerial vehicle vision-based marine target identification and positioning method and system
JP2006200932A (en) Radar signal processing system
KR102261665B1 (en) Apparatus for automatic navigation, method for automatic navigation and midget submarine using the same
CN110008988B (en) Satellite-ground integration-based rapid specific ship target identification method
KR102135725B1 (en) Automatic landing control device and operation method of the same
Amabdiyil et al. Marine vessel detection comparing GPRS and satellite images for security applications
KR101258950B1 (en) Vessel monitoring apparatus for unidentified vessel, vessel monitoring system having the same and method for monitoring vessel
KR20170134077A (en) Method and system for detecting ship using image of uav
CN115346133A (en) Ship detection method and system based on optical satellite image
CN113705503A (en) Abnormal behavior detection system and method based on multi-mode information fusion

Legal Events

Date Code Title Description
E902 Notification of reason for refusal