KR20240058858A - 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템 - Google Patents
다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템 Download PDFInfo
- Publication number
- KR20240058858A KR20240058858A KR1020247007241A KR20247007241A KR20240058858A KR 20240058858 A KR20240058858 A KR 20240058858A KR 1020247007241 A KR1020247007241 A KR 1020247007241A KR 20247007241 A KR20247007241 A KR 20247007241A KR 20240058858 A KR20240058858 A KR 20240058858A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- metadata
- full
- motion video
- image frames
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000006835 compression Effects 0.000 claims abstract description 20
- 238000007906 compression Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000012800 visualization Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템이 개시된다. 상기 이미지 스티칭 방법은, 여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계; 여러 그룹의 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화하고, 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하는 단계; 복수 개의 풀-모션 비디오 비트 스트림을 통신 링크를 통해 수신단으로 전송하는 단계; 각각의 풀-모션 비디오 비트 스트림을 이미지 프레임 및 그에 대응하는 메타데이터로 파싱하고, 메타데이터에 기초하여 이미지 프레임 간의 중첩 관계를 계산하는 단계; 및 복수 개의 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계; 를 포함한다. 시공간적으로 동기화된 무인기 메타데이터 및 비디오 데이터를 갖는 풀-모션 비디오 스트림을 구축함으로써, 메타데이터를 이용하여 정확한 무인기 비행 상황 및 지리적 측위 등의 정보를 제공하여, 비디오 스티칭 효과를 향상시킨다. 아울러, 메타데이터는 이미지 프레임과 엄격하게 동기화되므로, 상이한 이미지 프레임 간의 중첩 관계를 정확하게 계산할 수 있다.
Description
본 출원은 2021년 8월 30일에 중국 특허청에 제출된, 출원 번호가 202111006658.X이고, 출원 명칭이 "다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템"인 중국 특허 출원의 우선권을 주장하며, 그 전체 내용은 참조로 본 출원에 포함된다.
본 발명은 무인기 이미징 기술 분야에 관한 것으로, 구체적으로는, 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템에 관한 것이다.
무인기 기술의 발전으로, 다종다양한 무인기가 각양각색의 비행 임무를 수행하기 위해 다양한 업계에 사용되었다. 일반적인 소비 레벨의 무인기와는 달리, 산업용 무인기는 지역 모니터링, 순검, 측량, 조사 및 증거 수집 등 임무와 같은 보다 많은 임무를 수행할 수 있으며; 비상 구조, 재난 모니터링, 교통 도로 모니터링, 국경 순찰 및 지역 모니터링 등의 업계와 같은 보다 많은 업계 응용에서 보다 큰 역할을 할 수 있다. 무인기에 단일 카메라 광전 포드, 다중 카메라 파노라마 장비 등을 포함한 비디오 수집 장비를 탑재하여, 다중 데이터 전송 링크를 통해 비디오 데이터를 지상으로 전송하여, 실시간으로 비행 지역 상황을 파악하거나, 인공지능 등의 알고리즘을 활용해 더욱 효과적인 정보를 획득한다.
기존 무인기 비디오 데이터 전송 과정에서는, 일반적으로 비디오 데이터만 있거나, 또는 메타데이터만 있는데, 순검 등의 실시간 임무와 같은 실제 응용에서, 데이터 유형의 단일함은 비행 상태 실시간 모니터링 또는 파노라마 이미지 구성, 타겟 측위 등 방법을 포함한 비디오 데이터 및 무인기 메타데이터를 기반으로 한 추가적인 정보 처리와 같은, 다음 단계에서 더 많은 임무를 완성하는데 불리하다. 무인기 비디오나 이미지를 기반으로 한 스티칭 기술은, 무인기 데이터 링크를 통해 실시간으로 전송되는 일련 이미지를 이용하고, 지상에서 증분 알고리즘을 활용해 비행 지역의 2차원 이미지를 재구성하는 것이다. 마찬가지로, 후처리 방법을 사용하여 전역 최적화의 알고리즘을 통해 비행 지역의 2차원 이미지를 재구성하고, 재구성된 디지털 표면 모델에 기초하여 정사 보정을 수행할 수도 있다.
종래의 이미지 스티칭 방법은, 이미지 특징점 매칭을 기반으로 이미지 간의 움직임을 계산하고, 이미지 등록 모델 호모그래피 행렬을 사용하여 이미지를 증분적으로 스티칭하고, 위의 단계를 반복하여 전역 스티칭 이미지를 얻는 것을 포함한다. 그러나, 이 방법은 누적 오차로 인한 드리프트 문제가 존재하는 동시에, 복수 개의 이미지를 사용하여 계산 결과를 제약하지 않기 때문에 오차가 매우 크며, 비디오 이미지 또는 다채널 비디오 이미지를 동시에 사용할 경우에는 밀집된 비디오 스트림 이미지를 처리하지 못하며, 반복 계산으로 효율성이 떨어지는 문제가 있다. 이미지 특징점 매칭을 기반으로 이미지 간의 움직임을 계산하여, 삼각 측량의 방법을 통해 시나리오 구조를 복원하고, 2D-3D 방법을 통해 카메라 포즈를 계산하여, 이미지를 증분적으로 스티칭하며, 위의 단계를 반복하여 전역 스티칭 이미지를 얻는다. 그러나, 이 방법도 마찬가지로 누적 오차로 인한 드리프트 문제가 존재하며, 시나리오 구조 재구성이 실패하거나, 등록이 실패하거나, 항공기 움직임이 크게 변경되는 경우, 손실이 발생하기 쉬워, 스티칭을 다시 시작해야 한다. 비디오 이미지 또는 다채널 비디오 이미지를 동시에 사용할 경우, 밀집된 비디오 스트림 이미지를 처리하지 못하며, 반복 계산으로 효율성이 떨어지는 문제가 있다. 다중 무인기로부터 실시간 비디오 이미지를 수신하여, 타겟 측위에 기반하여 이미지를 사전 변환시키고 나서, 중첩 영역에 대해 이미지 스티칭을 수행하여, 스티칭된 이미지를 얻는다. 그러나, 이 방법은 여전히 특징점 매칭의 방법을 사용하여 이미지를 스티칭하고 ,타겟 측위에 기반하여 이미지를 사전 변환시킬 필요가 있어, 스티칭 품질이 저하되기 쉽고, 변환 후 이미지 매칭이 더 이상 정확하지 않을 수 있으며, 다중 무인기 비디오 처리 시, 중첩 영역만 처리하고, 다중 무인기의 비행 지역이 비중첩되는 경우는 처리하지 못한다.
상술한 바를 종합하면, 종래의 다중 무인기 기반의 이미지 스티칭 방법에는 스티칭 품질이 떨어지는 문제점이 존재한다.
이를 감안하여, 본 발명은 종래의 다중 무인기 기반의 이미지 스티칭 방법에 존재하는 스티칭 품질이 떨어지는 문제를 해결하는, 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템을 제공한다.
상기의 문제를 해결하기 위해, 본 발명의 기술방안은 다중 무인기 기반의 이미지 스티칭 방법을 채택하는 것으로, 상기 이미지 스티칭 방법은, 여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계; 여러 그룹의 상기 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화하고, 상기 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하는 단계; 복수 개의 상기 풀-모션 비디오 비트 스트림을 통신 링크를 통해 수신단으로 전송하는 단계; 각각의 상기 풀-모션 비디오 비트 스트림을 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계; 및 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계; 를 포함한다.
선택적으로, 각각의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계는, 복수 개의 상기 풀-모션 비디오 비트 스트림마다 각각 일 프레임의 시간 동기화된 상기 이미지 프레임을 파싱함과 동시에, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 상이한 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 또는, 복수 개의 상기 풀-모션 비디오 비트 스트림으로 멀티 프레임의 상기 이미지 프레임을 각각 파싱할 때, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 시간 동기화된 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 를 포함한다.
선택적으로, 각 그룹의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계는, 복수 개의 상기 풀-모션 비디오 비트 스트림으로 각각 멀티 프레임의 상기 이미지 프레임을 파싱할 때, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 동일 풀-모션 비디오 비트 스트림에 포함된 복수 개의 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 를 더 포함한다.
선택적으로, 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계는, 복수 개의 상기 이미지 프레임의 좌표계를 일치화한 후, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성하는 단계; 를 포함한다.
선택적으로, 이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계는, 동일 참조 클럭 회로에 기초하여 동일 참조 클럭을 갖는 상기 이미지 압축 비트 스트림을 수집하기 위한 제1 제어 신호 및 상기 메타데이터를 수집하기 위한 제2 제어 신호를 각각 출력하는 단계; 및 상기 제1 제어 신호 및 상기 제2 제어 신호에 기초하여 절대 시간을 포함하는 상기 이미지 압축 비트 스트림 및 상기 메타데이터를 획득하는 단계; 를 포함한다.
선택적으로, 상기 메타데이터는 적어도 GNSS측위 데이터를 포함한다.
선택적으로, 상기 이미지 스티칭 방법은, 상기 이미지 프레임에 대해 가시화 처리를 수행하는 단계를 더 포함하고, 상기 이미지 프레임에 대해 가시화 처리를 수행하는 단계는, 각각의 상기 풀-모션 비디오 비트 스트림에 기초하여 대응하는 제1 레이어를 확립하는 단계; 상기 중첩 관계가 비중첩인 경우, 상기 중첩 관계 계산에 참여하는 상기 이미지 프레임을 각각 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어에서 업데이트하는 방식으로 상기 스티칭 이미지를 구성하는 단계; 및 상기 중첩 관계가 중첩인 경우, 상기 중첩 관계 계산에 참여하는 모든 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어를 호출하여 전체적인 제2 레이어로 간주하고, 복수 개의 상기 이미지 프레임에 대해 정사 보정 및 사진 측량 좌표계 일치화를 수행하고, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성한 후, 상기 스티칭 이미지를 상기 제2 레이어에서 업데이트하는 단계; 를 포함한다.
선택적으로, 상기 업데이트 빈도는 상기 풀-모션 비디오 비트 스트림의 프레임 레이트와 동일하도록 구성된다.
이에 따라, 본 발명은 다중 무인기 기반의 이미지 스티칭 시스템을 제공한다. 상기 이미지 스티칭 시스템은, 여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하고, 여러 그룹의 상기 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화한 후, 상기 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하고, 복수 개의 상기 풀-모션 비디오 비트 스트림을 복수 개의 통신 링크를 통해 수신단으로 전송하기 위한 송신단; 및 각각의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산한 후, 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하기 위한 상기 수신단; 을 포함한다.
선택적으로, 상기 수신단은, 이미지 스티칭이 필요한 여러 쌍의 이미지 프레임을 선택하기 위한 판단 유닛; 상기 이미지 프레임 간의 중첩 관계를 계산하기 위한 측위 유닛; 상기 스티칭 이미지를 생성하기 위한 스티칭 유닛; 및 상기 스티칭 이미지를 표시하기 위한 디스플레이 유닛; 을 포함한다.
본 발명의 가장 중요한 개선점은 다중 무인기 기반의 이미지 스티칭 방법을 제공하는 것으로, 시공간적으로 동기화된 무인기 메타데이터 및 비디오 데이터를 갖는 풀-모션 비디오 스트림을 구축함으로써, 메타데이터를 이용하여 정확한 무인기 비행 상황 및 지리적 측위 등의 정보를 제공하여, 비디오 스티칭 효과를 향상시키며, 따라서, 기존의 이미지 스티칭 방법에 존재하는 오차, 누적 드리프트 등의 문제를 피할 수 있다. 아울러, 메타데이터는 이미지 프레임과 엄격하게 동기화되므로, 메타데이터를 통해 상기 메타데이터에 대응하는 이미지 프레임의 시야 범위 및 시야 중심 좌표를 정확하게 파싱할 수 있어, 상이한 이미지 프레임 간의 중첩 관계를 정확하게 계산할 수 있어, 다중 무인기 스티칭 시 데이터의 비동기화로 인해 발생하는 부정확한 스티칭의 문제를 해결한다.
도 1은 본 발명의 다중 무인기 기반의 이미지 스티칭 방법의 간략화 흐름도이다.
도 2는 본 발명의 다중 무인기 기반의 이미지 스티칭 시스템의 간략화 유닛 연결도이다.
도 2는 본 발명의 다중 무인기 기반의 이미지 스티칭 시스템의 간략화 유닛 연결도이다.
이하에서는 본 출원의 명세서와 도면을 결부시켜 본 출원에 따른 기술방안을 명확하고 완전하게 설명하기로 한다. 설명되는 실시예는 본 출원의 일부 실시예에 불과하며, 전부의 실시예가 아님은 자명한 것이다. 본 출원의 실시예에 기초하여, 당업자에 의해 창의적인 노동 없이 획득되는 기타 모든 실시예들은 모두 본 출원의 보호 범위에 속한다.
실시예 1
도 1에 도시된 바와 같이, 다중 무인기 기반의 이미지 스티칭 방법으로서, 여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계; 여러 그룹의 상기 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화하고, 상기 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하는 단계; 복수 개의 상기 풀-모션 비디오 비트 스트림을 통신 링크를 통해 수신단으로 전송하는 단계; 각각의 상기 풀-모션 비디오 비트 스트림을 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계; 및 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계; 를 포함한다. 여기서, 메타데이터에는 GNSS(Global Navigation Satellite System, 글로벌 내비게이션 새틀라이트 시스템) 데이터, 고도 데이터, 시야각 데이터 및 비행 자세 데이터 등이 포함될 수 있다. 사전 설정 필드는 다음과 같을 수 있다: 사용되는 통신 전송 프로토콜이 H264 또는 H265인 경우, 사전 설정 필드는 SEI(Supplemental Enhancement Information, 보충 강화 정보) 필드일 수 있으며; 사용되는 통신 전송 프로토콜이 TS(MPEG2 Transport stream, 전송 스트림) 캡슐화 프로토콜인 경우, 사전 설정 필드는 사용자 정의 필드이다. 구체적으로, 메타데이터 정보의 유형은 센서를 탑재한 모바일 기기의 유형에 따라 달라지는데, 예를 들어, 기기가 선박인 경우, 메타데이터에는 기기 상태 데이터가 포함될 수 있고, 기기 상태 데이터에는 적어도 GNSS 데이터, 풍향 데이터 및 항행 방향 데이터 등이 포함될 수 있다. 기기가 항공기인 경우, 메타데이터에는 적어도POS(Position and Orientation System, 위치 및 방향 측정 시스템) 데이터, 운반기 상태 데이터, 하중 센서 타입 데이터, 포드 POS 데이터, 포드 상태 데이터 및 이미지 처리 보드 데이터가 포함된다. 센서 기기가 고정형 카메라인 경우, 메타데이터 정보에는 측위, 시각 방향, 피치각, 시야각, 타워 고도, 채널, 전송 대역폭, 기기 ID(Identity document, 신분 식별 번호) 등의 정보가 포함될 수 있다. 여기서, 운반기 POS 데이터에는 적어도 운반기 요각 데이터, 운반기 피치각 데이터, 운반기 롤각 데이터, 운반기의 경도 및 위도 데이터, 운반기 고도 데이터, 운반기의 출발점 대비 거리 데이터, 운반기의 출발점 대비 방위각 데이터, 운반기 비행 속도 데이터가 포함된다. 포드 POS 데이터에는 적어도 가시광 수평 시야각 데이터, 가시광 수직 시야각 데이터, 적외선 수평 시야각 데이터, 적외선 수직 시야각 데이터, 카메라 초점 거리 데이터, 포드 항행 방향 오일러각 데이터, 포드 피치 오일러각 데이터, 항행 방향 프레임각 데이터, 피치 프레임각 데이터, 롤 프레임각 데이터, 타겟의 경도, 위도 및 고도 데이터, 타겟 속도 데이터, 타겟 속도 방위각 데이터 및 운반기 대비 타겟의 추정 거리 데이터가 포함된다.
진일보하여, 각각의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계는, 복수 개의 상기 풀-모션 비디오 비트 스트림마다 각각 일 프레임의 시간 동기화된 상기 이미지 프레임을 파싱함과 동시에, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 상이한 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 또는, 복수 개의 상기 풀-모션 비디오 비트 스트림으로 멀티 프레임의 상기 이미지 프레임을 각각 파싱할 때, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 시간 동기화된 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 를 포함한다. 여기서, 상이한 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하는 단계는, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보, 시야각 데이터 및 피치각 및 요각에 기초하여 상기 메타데이터에 대응하는 이미지 프레임의 시야 범위 및 시야 중심 좌표를 계산하여, 상기 이미지 프레임의 지리적 범위 데이터를 구성하고, 상이한 상기 이미지 프레임 간의 지리적 범위 데이터의 중첩 영역을 계산하여, 상기 지리적 범위 중첩 데이터를 생성하는 단계를 포함한다.
더 진일보하여, 각 그룹의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계는, 복수 개의 상기 풀-모션 비디오 비트 스트림으로 각각 멀티 프레임의 상기 이미지 프레임을 파싱할 때, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 동일 풀-모션 비디오 비트 스트림에 포함된 복수 개의 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 를 더 포함한다.
진일보하여, 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계는, 복수 개의 상기 이미지 프레임의 좌표계를 일치화한 후, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성하는 단계; 를 포함한다. 여기서, 존재할 수 있는 다중 무인기의 촬영 유닛 파라미터의 상이함 및 무인기 비행 높이의 상이함으로 인해 상이한 무인기가 수집한 이미지 프레임의 공간 해상도가 상이할 수 있으므로, 복수 개의 상기 이미지 프레임에 대해 정사 보정 및 사진 측량 좌표계 일치화를 수행한 후, 복수 개의 상기 이미지 프레임에 대해 공간 해상도 일치화를 수행하여, 이미지 스티칭 효과를 향상시킬 수도 있으며; 상기 중첩 관계로 표현되는 중첩 영역이 비교적 큰 경우에는, 상기 중첩 관계 계산에 참여하는 복수 개의 상기 이미지 프레임에 대해 이미지 움직임 변화를 계산하고 나서, 이미지 스티칭을 수행할 수도 있다.
더 진일보하여, 상기 스티칭 이미지를 생성한 후, 기존 스티칭 결과 및 복수 개의 이미지의 메타데이터를 사용하여, 전역 최적화를 수행할 수도 있으며, 지리적 등록, 카메라 포즈 최적화 등을 포함하되 이에 국한되지 않는 방법을 사용하여 스티칭 효과를 개선할 수 있다.
진일보하여, 상기 이미지 스티칭 방법은, 상기 이미지 프레임에 대해 가시화 처리를 수행하는 단계를 더 포함하고, 상기 이미지 프레임에 대해 가시화 처리를 수행하는 단계는, 각각의 상기 풀-모션 비디오 비트 스트림에 기초하여 대응하는 제1 레이어를 확립하는 단계; 상기 중첩 관계가 비중첩인 경우, 상기 중첩 관계 계산에 참여하는 상기 이미지 프레임을 각각 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어에서 업데이트하는 방식으로 상기 스티칭 이미지를 구성하는 단계; 상기 중첩 관계가 중첩인 경우, 상기 중첩 관계 계산에 참여하는 모든 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어를 호출하여 전체적인 제2 레이어로 간주하고, 복수 개의 상기 이미지 프레임에 대해 정사 보정 및 사진 측량 좌표계 일치화를 수행하고, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성한 후, 상기 스티칭 이미지를 상기 제2 레이어에서 업데이트하는 단계; 를 포함한다. 여기서, 상기 업데이트 빈도는 상기 풀-모션 비디오 비트 스트림의 프레임 레이트와 동일하도록 구성되어, 스티칭 이미지의 가시화 표현의 실시간 완성을 구현하도록 한다. 상기 업데이트 빈도는, 상기 풀-모션 비디오 비트 스트림의 프레임 레이트가 상기 업데이트 빈도의 배수가 되도록 구성될 수도 있는데, 예를 들어, 상기 풀-모션 비디오 비트 스트림의 프레임 레이트가 50프레임인 경우, 상기 업데이트 빈도는 25 프레임이 되는바, 따라서 스티칭 이미지의 가시화 표현을 실시간으로 완성할 필요가 없을 때, 해시레이트 부하를 줄일 수 있다.
본 출원이 기타 다른 필요가 있는 응용 시나리오에 적용가능하도록 하기 위해, 본 출원은 이미지 스티칭 방법을 더 제공한다. 구체적으로, 복수 개의 상기 풀-모션 비디오 비트 스트림마다 각각 일 프레임의 시간 동기화된 상기 이미지 프레임을 파싱함과 동시에, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 상이한 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 제1 중첩 관계를 생성하고; 상기 제1 중첩 관계가 중첩인 경우, 상기 중첩 관계 계산에 참여하는 모든 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어를 호출하여 전체적인 제2 레이어로 간주하고, 복수 개의 상기 이미지 프레임에 대해 정사 보정 및 사진 측량 좌표계 일치화를 수행하고, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성한 후, 상기 스티칭 이미지를 상기 제2 레이어에서 업데이트하고; 상기 제1 중첩 관계가 비중첩인 경우, 상기 제1 중첩 관계 계산에 참여하는 상기 이미지 프레임을 각각 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어에서 업데이트하는 방식으로 상기 스티칭 이미지를 구성하는데, 여기서, 상기 제1 중첩 관계 계산에 참여하는 상기 이미지 프레임을 상기 제1 레이어에서 업데이트하는 방식은, 상기 풀-모션 비디오 비트 스트림에서 현재 상기 이미지 프레임과 이전 프레임의 상기 이미지 프레임의 지리적 범위 중첩 데이터를 계산하고, 상기 제2 중첩 관계를 생성하고, 현재 상기 이미지 프레임과 이전 프레임의 상기 이미지 프레임에 대해 정사 보정 및 사진 측량 좌표계 일치화를 수행하고, 상기 제2 중첩 관계에 기초하여 상기 스티칭 이미지를 생성한 후, 상기 스티칭 이미지를 상기 제1 레이어에서 업데이트하는 것 일 수 있다.
진일보하여, 이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계는, 동일 참조 클럭 회로에 기초하여 동일 참조 클럭을 갖는 상기 이미지 압축 비트 스트림을 수집하기 위한 제1 제어 신호 및 상기 메타데이터를 수집하기 위한 제2 제어 신호를 각각 출력하는 단계; 및 상기 제1 제어 신호 및 상기 제2 제어 신호에 기초하여 절대 시간을 포함하는 상기 이미지 압축 비트 스트림 및 상기 메타데이터를 획득하는 단계; 를 포함한다. 본 발명은, 동일 참조 클럭 회로가 출력한 참조 클럭 신호를 제1 제어 신호 및 제2 제어 신호로 사용하여, 이미지 압축 비트 스트림과 메타데이터에 포함된 타임 스탬프가 모두 동일 클럭 소스를 참조하도록 하므로, 이미지 압축 비트 스트림의 타임 스탬프와 메타데이터의 타임 스탬프가 동일 클럭 소스의 시스템 내에서 서로를 절대 시간으로 간주할 수 있다. 여기서, 상기 제1 제어 신호 및 상기 제2 제어 신호를 생성하는 구체적인 방법은, 무인기의 부하 처리 서브유닛이 지상국으로부터 명령을 수신한 후, 동일 참조 클럭 회로에 기초하여 각각 제1 제어 신호 및 제2 제어 신호를 출력하는 것일 수 있다.
진일보하여, 상기 이미지 스티칭 방법은, 송신단이 상기 풀-모션 비디오 비트 스트림을 통신 링크를 통해 상기 수신단으로 전송할 때, 상기 통신 링크에 적어도 하나의 전송 노드가 포함되어 있으면, 상기 전송 노드는 상기 풀-모션 비디오 비트 스트림을 다중 프레임의 이미지 프레임 및 그 시간 동기화된 상기 메타데이터로 파싱가능한 것; 상기 메타데이터를 수정한 후, 수정된 상기 메타데이터를 시간 동기화의 방식으로 상기 이미지 프레임의 사전 설정 필드에 캡슐화하고, 수정된 메타데이터를 포함하는 풀-모션 비디오 비트 스트림을 생성하는 것; 그리고 수정된 상기 메타데이터를 포함하는 풀-모션 비디오 비트 스트림을 계속해서 통신 링크를 통해 상기 수신단으로 전송하는 것; 을 더 포함한다. 본 발명은, 메타데이터를 이미지 압축 비트 스트림에 동기적으로 캡슐화하는 데이터 전송 방식을 사용하여, 링크에 전송 노드가 존재할 때, 전송 노드가 압축 비트 스트림을 파괴하지 않고 풀-모션 비디오 비트 스트림에서 다시 순수한 이미지 프레임을 추출하고, 그리고 풀-모션 비디오 비트 스트림의 사전 설정 필드에서 상기 이미지 프레임과 동기화된 메타데이터를 추출할 수 있도록 함으로써, 전송 노드가 이미지 프레임 및 메타데이터에 기초하여 다양한 응용 시나리오를 구현할 수 있을 뿐만 아니라, 메타데이터를 수정한 후에 메타데이터 및 이미지 프레임을 다시 캡슐화한 후, 수신단으로 전송할 수 있도록 하여, 풀-모션 비디오 비트 스트림이 통신 링크에서 전송될 때 수정 가능성, 응용 시나리오 다양성을 구비함을 보장한다.
본 발명은, 시공간적으로 동기화된 무인기 메타데이터 및 비디오 데이터를 갖는 풀-모션 비디오 스트림을 구축함으로써, 메타데이터를 이용하여 정확한 무인기 비행 상황 및 지리적 측위 등의 정보를 제공하여, 비디오 스티칭 효과를 향상시키며, 따라서, 기존의 이미지 스티칭 방법에 존재하는 오차, 누적 드리프트 등의 문제를 피할 수 있다. 아울러, 메타데이터는 이미지 프레임과 엄격하게 동기화되므로, 메타데이터를 통해 상기 메타데이터에 대응하는 이미지 프레임의 시야 범위 및 시야 중심 좌표를 정확하게 파싱할 수 있어, 상이한 이미지 프레임 간의 중첩 관계를 정확하게 계산할 수 있어, 다중 무인기 스티칭 시 데이터의 비동기화로 인해 발생하는 부정확한 스티칭의 문제를 해결한다.
실시예 2
이에 따라, 도 2에 도시된 바와 같이, 본 발명은 다중 무인기 기반의 이미지 스티칭 시스템을 제공한다. 상기 이미지 스티칭 시스템은, 여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하고, 여러 그룹의 상기 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화한 후, 상기 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하고, 복수 개의 상기 풀-모션 비디오 비트 스트림을 복수 개의 통신 링크를 통해 수신단으로 전송하기 위한 송신단; 및 각각의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산한 후, 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하기 위한 상기 수신단; 을 포함한다. 여기서, 송신단은 무인기일 수 있고; 수신단은 지상국 또는 기타 백엔드 데이터 처리 유닛일 수 있는데, 상기 수신단이 기타 백엔드 데이터 처리 유닛인 경우, 상기 지상국은 데이터의 투명한 전송과 전달을 구현하기 위한 중간 전송 노드로 간주될 수 있다.
진일보하여, 상기 수신단은, 이미지 스티칭이 필요한 여러 쌍의 이미지 프레임을 선택하기 위한 판단 유닛; 상기 이미지 프레임 간의 중첩 관계를 계산하기 위한 측위 유닛; 상기 스티칭 이미지를 생성하기 위한 스티칭 유닛; 및 상기 스티칭 이미지를 표시하기 위한 디스플레이 유닛; 을 포함한다.
이상 본 발명의 실시예에 따른 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템을 상세히 소개하였다. 본 명세서의 각 실시예는 점진적인 방식으로 설명되었으며, 각 실시예에서 중점적으로 설명된 것들은 모두 기타 실시예들과의 차이점인 것으로, 각 실시예 간의 동일 및 유사한 부분은 서로 참조될 수 있다. 실시예에 개시된 장치는, 실시예에 개시된 방법과 대응되므로 설명이 비교적 간단한데, 관련되는 점들은 방법 부분의 설명을 참조할 수 있다. 당업자는 본 발명의 원리를 벗어나지 않고 본 발명에 대한 여러가지 개선 및 수식을 할 수 있으며, 이러한 개선 및 수식들도 본 발명의 특허청구범위에 속한다는 점을 일러둔다.
전문적인 기술자는 본 명세서에 개시된 실시예를 결부시켜 설명된 각 예시의 유닛 및 알고리즘 단계가 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들 둘의 결합에 의해 구현될 수 있음을 추가로 의식할 수 있다. 하드웨어와 소프트웨어의 호환 가능성을 명확하게 설명하기 위하여, 위의 설명에서는 각 예시의 구성 및 단계를 기능별로 일반적으로 설명하였다. 이러한 기능이 하드웨어에서 수행되는지 아니면 소프트웨어에서 수행되는지는 기술방안의 특정 응용 및 설계 제약 조건에 따라 결정된다. 전문적인 기술자는 각각의 특정 응용에 대해 서로 다른 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 발명의 범위를 벗어나는 것으로 간주되어서는 안된다.
본 명세서에 개시된 실시예를 결부시켜 설명된 방법 또는 알고리즘의 단계는 직접 하드웨어, 프로세서에 의해 실행되는 소프트웨어 모듈, 또는 이들 둘의 결합으로 실시될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리(RAM), 메모리, 읽기 전용 메모리(Read-Only Memory), 전기적으로 프로그래밍 가능한 ROM, 전기적 소거 및 프로그래밍 가능한 ROM, 레지스터, 하드 디스크, 이동식 디스크, CD-ROM 또는 해당 기술 분야에서 공지된 임의의 기타 형태의 저장 매체에 배치될 수 있다.
Claims (10)
- 다중 무인기 기반의 이미지 스티칭 방법에 있어서,
여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계;
여러 그룹의 상기 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화하고, 상기 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하는 단계;
복수 개의 상기 풀-모션 비디오 비트 스트림을 통신 링크를 통해 수신단으로 전송하는 단계;
각각의 상기 풀-모션 비디오 비트 스트림을 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계; 및
복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제1항에 있어서,
각각의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계는,
복수 개의 상기 풀-모션 비디오 비트 스트림마다 각각 일 프레임의 시간 동기화된 상기 이미지 프레임을 파싱함과 동시에, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 상이한 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 또는,
복수 개의 상기 풀-모션 비디오 비트 스트림으로 멀티 프레임의 상기 이미지 프레임을 각각 파싱할 때, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 시간 동기화된 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제2항에 있어서,
각 그룹의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산하는 단계는,
복수 개의 상기 풀-모션 비디오 비트 스트림으로 각각 멀티 프레임의 상기 이미지 프레임을 파싱할 때, 상기 메타데이터에 포함된 상기 이미지 프레임과 시간 동기화된 지리적 위치 정보를 파싱하여, 동일 풀-모션 비디오 비트 스트림에 포함된 복수 개의 상기 이미지 프레임 간의 지리적 범위 중첩 데이터를 계산하고, 상기 중첩 관계를 생성하는 단계; 를 더 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제1항에 있어서,
복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하는 단계는,
복수 개의 상기 이미지 프레임의 좌표계를 일치화한 후, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성하는 단계; 를 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제1항에 있어서,
이미지 압축 비트 스트림 및 메타데이터를 획득하는 단계는,
동일 참조 클럭 회로에 기초하여 동일 참조 클럭을 갖는 상기 이미지 압축 비트 스트림을 수집하기 위한 제1 제어 신호 및 상기 메타데이터를 수집하기 위한 제2 제어 신호를 각각 출력하는 단계; 및
상기 제1 제어 신호 및 상기 제2 제어 신호에 기초하여 절대 시간을 포함하는 상기 이미지 압축 비트 스트림 및 상기 메타데이터를 획득하는 단계;
를 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제5항에 있어서,
상기 메타데이터는 적어도 GNSS측위 데이터를 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제4항에 있어서,
상기 이미지 스티칭 방법은, 상기 이미지 프레임에 대해 가시화 처리를 수행하는 단계를 더 포함하고, 상기 이미지 프레임에 대해 가시화 처리를 수행하는 단계는,
각각의 상기 풀-모션 비디오 비트 스트림에 기초하여 대응하는 제1 레이어를 확립하는 단계;
상기 중첩 관계가 비중첩인 경우, 상기 중첩 관계 계산에 참여하는 상기 이미지 프레임을 각각 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어에서 업데이트하는 방식으로 상기 스티칭 이미지를 구성하는 단계; 및
상기 중첩 관계가 중첩인 경우, 상기 중첩 관계 계산에 참여하는 모든 상기 이미지 프레임이 속하는 상기 풀-모션 비디오 비트 스트림에 대응하는 상기 제1 레이어를 호출하여 전체적인 제2 레이어로 간주하고, 복수 개의 상기 이미지 프레임에 대해 정사 보정 및 사진 측량 좌표계 일치화를 수행하고, 상기 중첩 관계에 기초하여 상기 스티칭 이미지를 생성한 후, 상기 스티칭 이미지를 상기 제2 레이어에서 업데이트하는 단계; 를 포함하는 것을 특징으로 하는 이미지 스티칭 방법. - 제7항에 있어서,
상기 업데이트의 빈도는 상기 풀-모션 비디오 비트 스트림의 프레임 레이트와 동일하도록 구성되는 것을 특징으로 하는 이미지 스티칭 방법. - 다중 무인기 기반의 이미지 스티칭 시스템에 있어서,
여러 그룹의 이미지 압축 비트 스트림 및 메타데이터를 획득하고, 여러 그룹의 상기 메타데이터를 시간 동기화의 방식으로 프레임별로 이미지 압축 비트 스트림의 사전 설정 필드에 캡슐화한 후, 상기 메타데이터를 포함하는 복수 개의 풀-모션 비디오 비트 스트림을 생성하고, 복수 개의 상기 풀-모션 비디오 비트 스트림을 복수 개의 통신 링크를 통해 수신단으로 전송하기 위한 송신단; 및
각각의 상기 풀-모션 비디오 비트 스트림을 여러 쌍의 이미지 프레임 및 그에 대응하는 상기 메타데이터로 파싱하고, 상기 메타데이터에 기초하여 상기 이미지 프레임 간의 중첩 관계를 계산한 후, 복수 개의 상기 이미지 프레임 및 그 중첩 관계에 기초하여 스티칭 이미지를 생성하기 위한 상기 수신단;
을 포함하는 것을 특징으로 하는 이미지 스티칭 시스템. - 제9항에 있어서,
상기 수신단은,
이미지 스티칭이 필요한 여러 쌍의 이미지 프레임을 선택하기 위한 판단 유닛;
상기 이미지 프레임 간의 중첩 관계를 계산하기 위한 측위 유닛;
상기 스티칭 이미지를 생성하기 위한 스티칭 유닛; 및
상기 스티칭 이미지를 표시하기 위한 디스플레이 유닛;
을 포함하는 것을 특징으로 하는 이미지 스티칭 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006658.XA CN115731100A (zh) | 2021-08-30 | 2021-08-30 | 一种基于多无人机的图像拼接方法及其系统 |
| CN202111006658.X | 2021-08-30 | ||
| PCT/CN2022/091638 WO2023029551A1 (zh) | 2021-08-30 | 2022-05-09 | 一种基于多无人机的图像拼接方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240058858A true KR20240058858A (ko) | 2024-05-03 |
Family
ID=85291030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247007241A KR20240058858A (ko) | 2021-08-30 | 2022-05-09 | 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP4398183A1 (ko) |
| KR (1) | KR20240058858A (ko) |
| CN (1) | CN115731100A (ko) |
| WO (1) | WO2023029551A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116821414B (zh) * | 2023-05-17 | 2024-07-19 | 成都纵横大鹏无人机科技有限公司 | 基于无人机视频形成视场投影地图的方法及系统 |
| CN116363185B (zh) * | 2023-06-01 | 2023-08-01 | 成都纵横自动化技术股份有限公司 | 地理配准方法、装置、电子设备和可读存储介质 |
| CN116958519B (zh) * | 2023-09-15 | 2023-12-08 | 四川泓宝润业工程技术有限公司 | 一种无人机视频图像与无人机位置数据对齐的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10104286B1 (en) * | 2015-08-27 | 2018-10-16 | Amazon Technologies, Inc. | Motion de-blurring for panoramic frames |
| US10412395B2 (en) * | 2017-03-10 | 2019-09-10 | Raytheon Company | Real time frame alignment in video data |
| CN107371040B (zh) * | 2017-08-28 | 2020-05-15 | 荆门程远电子科技有限公司 | 一种无人机影像高效处理系统 |
| WO2020013454A1 (ko) * | 2018-07-13 | 2020-01-16 | 엘지전자 주식회사 | 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치 |
| CN113542926B (zh) * | 2021-07-07 | 2023-09-19 | 东风悦享科技有限公司 | 一种基于Sharing-Smart无人清扫车的5G平行驾驶系统及控制方法 |
-
2021
- 2021-08-30 CN CN202111006658.XA patent/CN115731100A/zh active Pending
-
2022
- 2022-05-09 WO PCT/CN2022/091638 patent/WO2023029551A1/zh active Application Filing
- 2022-05-09 KR KR1020247007241A patent/KR20240058858A/ko active Search and Examination
- 2022-05-09 EP EP22862694.1A patent/EP4398183A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4398183A1 (en) | 2024-07-10 |
| WO2023029551A1 (zh) | 2023-03-09 |
| CN115731100A (zh) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20240058858A (ko) | 다중 무인기 기반의 이미지 스티칭 방법 및 그 시스템 | |
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| EP3443749B1 (en) | Systems and methods for video processing and display | |
| EP3653990B1 (en) | Real-time moving platform management system | |
| CN110675450B (zh) | 基于slam技术的正射影像实时生成方法及系统 | |
| CN105700547B (zh) | 一种基于导航飞艇的空中立体视频街景系统及实现方法 | |
| US20190356936A9 (en) | System for georeferenced, geo-oriented realtime video streams | |
| US20210385381A1 (en) | Image synthesis system | |
| CN109618134A (zh) | 一种无人机动态视频三维地理信息实时融合系统及方法 | |
| CN112461210A (zh) | 一种空地协同建筑测绘机器人系统及其测绘方法 | |
| EP4084543B1 (en) | Terminal device, application server, reception method, and transmission method | |
| WO2021149484A1 (ja) | 画像生成装置、画像生成方法、および、プログラム | |
| CN102831816B (zh) | 一种提供实时场景地图的装置 | |
| CN109068098B (zh) | 一种用于增强画面显示的无人机视频监控系统 | |
| CN105096284A (zh) | 一种生成道路正射投影图像的方法、装置及系统 | |
| CN114882201A (zh) | 实时全景三维数字工地地图监管系统及方法 | |
| Gong et al. | An image-sequence compressing algorithm based on homography transformation for unmanned aerial vehicle | |
| Lourakis et al. | Pose estimation of a moving camera with low-cost, multi-GNSS devices | |
| CN112365591A (zh) | 一种基于合成视觉的空地协同综合态势生成方法 | |
| WO2017160381A1 (en) | System for georeferenced, geo-oriented real time video streams | |
| KR20240058089A (ko) | Gis에 응용되는 모션 비디오 프레젠테이션 방법 및 그 시스템 | |
| CN113703473B (zh) | 一种即时勘察输电走廊附近自然灾害的无人机图传通信方法 | |
| WO2019100214A1 (zh) | 输出影像生成方法、设备及无人机 | |
| Alamouri et al. | The joint research project ANKOMMEN–Exploration using automated UAV and UGV | |
| CN114326764A (zh) | 基于Rtmp传输的智慧林业无人机定点直播方法及无人机系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |