KR20230095322A - Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device - Google Patents

Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device Download PDF

Info

Publication number
KR20230095322A
KR20230095322A KR1020210184684A KR20210184684A KR20230095322A KR 20230095322 A KR20230095322 A KR 20230095322A KR 1020210184684 A KR1020210184684 A KR 1020210184684A KR 20210184684 A KR20210184684 A KR 20210184684A KR 20230095322 A KR20230095322 A KR 20230095322A
Authority
KR
South Korea
Prior art keywords
calculating
aircraft
coordinates
area
shooting
Prior art date
Application number
KR1020210184684A
Other languages
Korean (ko)
Other versions
KR102616962B1 (en
Inventor
최우진
김성수
윤용은
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210184684A priority Critical patent/KR102616962B1/en
Publication of KR20230095322A publication Critical patent/KR20230095322A/en
Application granted granted Critical
Publication of KR102616962B1 publication Critical patent/KR102616962B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 본 발명의 비행체 탑재 광학장비 지상 중첩 촬영 방법은, 촬영정보가 비행체로 전송되는 단계, 상기 비행체의 예상 비행경로를 산출하는 단계, 상기 비행체가 촬영 영역의 좌표를 산출하는 단계, 상기 비행체로부터 상기 촬영 영역의 최단 거리 지점을 산출하는 단계, 상기 촬영 영역의 좌표를 분할하기 위한 기준 발자국(footprint) 좌표를 획득하는 단계, 상기 촬영 영역의 분할 간격을 산출하는 단계, 상기 비행경로에 대한 폭방향 및 길이방향의 촬영 수를 산출하는 단계, 촬영 시작 단계를 포함한다.The ground superimposition photographing method of the optical equipment mounted on the aircraft of the present invention of the present invention includes the steps of transmitting photographing information to the aircraft, calculating the expected flight path of the aircraft, calculating the coordinates of the shooting area by the aircraft, and the aircraft. Calculating the shortest distance point of the capturing area from , obtaining reference footprint coordinates for dividing the coordinates of the capturing area, calculating the division interval of the capturing area, the width of the flight path A step of calculating the number of shots in the directional and longitudinal directions and a step of starting to shoot are included.

Description

비행체 탑재 광학장비 지상 중첩 촬영 방법 {Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device}Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device}

본 발명은 비행체 탑재 광학장비로 지상 촬영 시, 정보의 누락없이 중첩된 영상을 획득하고자 하는 촬영방법에 관한 발명이다.The present invention relates to a photographing method for obtaining overlapping images without missing information when photographing on the ground with an optical equipment mounted on an aircraft.

UAV 및 전투기와 같은 비행체 정찰임무 수행을 위해 넓은 범위의 영역을 촬영하는 경우, 제한된 시야각에서 높은 해상도의 정보를 얻기 위하여 여러 장의 영상을 획득해서 모자이크 형태로 이어 붙이는 방법이 일반적이다. In the case of photographing a wide area for reconnaissance missions of aircraft such as UAVs and fighter jets, it is common to acquire multiple images and stitch them together in a mosaic form in order to obtain high-resolution information from a limited viewing angle.

이러한 영상을 획득하기 위한 촬영 임무는 주로 계획된 비행경로를 바탕으로 수행하게 되므로 예측 가능한 촬영 계획을 사전에 결정할 수 있다. 하지만 실제 비행에서의 다양한 변수에도 임무영역 내 빈틈없는 영상 획득을 위하여 촬영 계획 시 영상 간 중첩 적용에 여유 마진이 필요하다. Since the shooting mission to acquire these images is mainly performed based on the planned flight path, a predictable shooting plan can be determined in advance. However, in order to acquire images seamlessly within the mission area despite various variables in actual flight, margins are required for overlapping images between images when planning shooting.

이러한 여유 마진을 최소화 하는 것뿐만 아니라 다양한 방향의 촬영영역에 대해서 중첩된 영상정보를 효율적으로 얻기 위해 최적화된 중첩 촬영계획기법이 요구된다.In addition to minimizing this extra margin, an optimized overlapping shooting planning technique is required to efficiently obtain overlapping image information for shooting areas in various directions.

나아가 계획된 임무 수행이 아닌 비행 중 자유롭게 수행하는 수동촬영 임무에서도 마찬가지로 안정적인 영상을 획득하기 위하여 On-board상에서 수행될 수 있도록 최적화된 촬영계획 기법이 요구되고 있다.Furthermore, in order to obtain stable images in manual shooting missions that are freely performed during flight rather than performing planned missions, shooting planning techniques optimized to be performed on-board are required.

10-2141646 B1 (2020.07.30)10-2141646 B1 (2020.07.30)

본 발명이 이루고자 하는 기술적 과제는 비행체 탑재 광학장비로 지상 촬영 시, 정보의 누락없이 중첩된 영상을 획득하고자 한다.A technical problem to be achieved by the present invention is to acquire overlapping images without missing information when ground-based shooting with an optical equipment mounted on an aircraft.

본 발명의 비행체 탑재 광학장비 지상 중첩 촬영 방법은, 촬영정보가 비행체로 전송되는 단계, 상기 비행체의 예상 비행경로를 산출하는 단계, 상기 비행체가 촬영 영역의 좌표를 산출하는 단계, 상기 비행체로부터 상기 촬영 영역의 최단 거리 지점을 산출하는 단계, 상기 촬영 영역의 좌표를 분할하기 위한 기준 발자국(footprint) 좌표를 획득하는 단계, 상기 촬영 영역의 분할 간격을 산출하는 단계, 상기 비행경로에 대한 폭방향 및 길이방향의 촬영 수를 산출하는 단계, 촬영 시작 단계를 포함한다.The ground superimposition photographing method of the optical equipment mounted on the aircraft of the present invention includes the steps of transmitting photographing information to the aircraft, calculating the expected flight path of the aircraft, calculating the coordinates of the shooting area by the aircraft, and the photographing from the aircraft. Calculating the shortest distance point of the region, acquiring reference footprint coordinates for dividing the coordinates of the capturing region, calculating the division interval of the capturing region, the width direction and length of the flight path A step of calculating the number of shots in a direction and a step of starting shooting are included.

또한, 기준 발자국(footprint) 좌표는 상기 최단 거리 지점에서의 영상 발자국(Footprint) 좌표로부터 계산되며, 상기 영상 발자국(Footprint) 좌표는 시선 방향의 지상 표면에 투영된 영상 센서로부터 취득된 투영영상의 꼭짓점 4개인 것을 특징으로 한다.In addition, the reference footprint coordinates are calculated from the image footprint coordinates at the shortest distance point, and the image footprint coordinates are the vertices of the projection image acquired from the image sensor projected on the ground surface in the gaze direction. It is characterized by four.

또한, 분할 간격을 산출하는 단계는, 상기 최단 거리에서 산출한 상기 영상 발자국(Footprint)의 4개 꼭짓점 좌표를 기준으로 상기 촬영영역을 분할하여 그 간격(14)을 산출하며, 상기 투영영상은 평행사변형인 것을 특징으로 한다.촬영영역의 분할은 기준되는 상기 투영영상(10)과 상기 촬영 영역 모서리와의 교점(12)을 산출하여 각각의 모서리 방향으로 투영영상(10-1, 10-2, 10-3)이 서로 접하도록 이어붙인다. 이 때, 이어 붙인 투영영상(10-1,10-2,10-3)의 위치를 촬영영역의 모서리 방향으로 재조정하여 최적의 분할간격을 산출하는 단계를 포함한다. In addition, in the step of calculating the division interval, the interval 14 is calculated by dividing the photographing area based on the coordinates of the four vertices of the image footprint calculated from the shortest distance, and the projection image is parallel. Characterized in that it is a quadrilateral. The division of the shooting area is performed by calculating the intersection point 12 between the projection image 10 and the corner of the shooting area, and dividing the projection images 10-1, 10-2, 10-3) connect to each other. At this time, a step of calculating an optimal division interval by readjusting the positions of the attached projection images 10-1, 10-2, and 10-3 in the direction of the corners of the imaging area is included.

본 발명에 제시된 방법을 활용하면 임무 전 촬영계획 단계에서 중첩 마진과 촬영 총 횟수를 최소화시킨 촬영영역 분할이 가능하다. 또한 사전 계획된 촬영임무 수행 시에는 촬영시작 시점에서 필요에 따라 촬영 영역을 재분할함으로써 다양한 비행 환경 변수에 대응 할 수 있다. 더불어 비행 중 임의로 수행하는 수동 촬영 임무의 경우에도 중첩된 영상정보를 안정적이고 신속하게 획득 할 수 있다. Using the method proposed in the present invention, it is possible to divide the shooting area by minimizing the overlap margin and the total number of shots in the shooting planning stage before the mission. In addition, when performing a pre-planned shooting mission, it is possible to respond to various flight environment variables by re-dividing the shooting area as needed at the start of shooting. In addition, even in the case of manual shooting missions performed arbitrarily during flight, overlapping image information can be stably and quickly acquired.

도 1은 본 발명의 전체 촬영방법에 대한 순서도이다.
도 2는 촬영하고자하는 영역을 위도와 경도 좌표계에 나타낸 그림이다.
도 3은 비행경로 1, 2, 3에 대하여 촬영 시작위치를 나타낸 그림이다.
도 4는 촬영영역 분할한 그림이다.
도 5는 분할 간격을 결정하는 방법을 설명하는 그림이다.
1 is a flow chart of the entire imaging method of the present invention.
2 is a diagram showing an area to be photographed in a latitude and longitude coordinate system.
3 is a diagram showing the shooting start positions for flight paths 1, 2, and 3.
4 is a picture in which the shooting area is divided.
5 is a diagram explaining a method of determining a division interval.

도 1은 본 발명을 이해하기 위하여 촬영 계획 및 임무 수행이 이루어지는 전체 흐름을 순서도로 나타낸 것이다.1 is a flow chart showing the entire flow of filming planning and mission execution in order to understand the present invention.

촬영 계획의 목적은 가장 먼저 촬영하고자 하는 지상의 촬영영역에 대한 영상정보를 누락 없이 취득하는 것이다. 이를 위해 중첩된 영상을 획득하는 것이 필요하며, 동시에 임무의 효율성을 위해 중첩된 영상의 촬영 개수를 최소화 할 필요가 있다.The purpose of the shooting plan is to first acquire image information about the shooting area on the ground without omission. To this end, it is necessary to acquire overlapping images, and at the same time, it is necessary to minimize the number of overlapping images for mission efficiency.

도 1의 각 단계에 대한 구체적인 설명은 다음과 같다.A detailed description of each step in FIG. 1 is as follows.

먼저, 촬영 정보 전송 단계(S10)이다. 비행경로를 따라 임무를 시작하기 위해 촬영에 필요한 정보를 서버로부터 비행체로 전송하는 단계이거나, 비행체로 전송하기 전에 촬영 정보가 서버로 전송되는 단계이다. 촬영에 필요한 정보로는 비행체의 위치 및 속도, 카메라 시선의 자세 및 시선 방향, 지형고도 및 경사거리, 카메라 시계, 촬영영역 길이, 폭, 회전방향, 촬영중심 좌표, 중첩률 등이 있다. First, it is a photographing information transmission step (S10). This is a step in which information necessary for shooting is transmitted from the server to the aircraft in order to start a mission along the flight path, or in which shooting information is transmitted to the server before being transmitted to the aircraft. The information required for shooting includes the position and speed of the aircraft, the attitude and direction of the camera's line of sight, terrain altitude and slope distance, the camera's field of view, the length, width, rotation direction of the shooting area, the coordinates of the shooting center, and the overlap rate.

다음은, 비행체의 예상 비행경로를 산출하는 단계(S20)이다. 비행체가 임무 중의 비행경로 상에서 비행체의 속도 성분을 고려하여 예상 경로를 나타내는 진행 방향 벡터를 산출 한다. 비행체에서 계산이 산출될 수도 있고, 비행체와 서버의 통신을 통해 서버에서 산출된 계산결과가 비행체로 전송 될 수도 있다. 촬영 영역 사각형의 길이방향과 폭방향의 좌표 분할은 비행체의 속도 및 영상의 크기(Field Of View)를 기초로 계산될 수 있다.The next step is to calculate the expected flight path of the aircraft (S20). A heading vector representing an expected path is calculated by considering the speed component of the vehicle on the flight path during the mission. The calculation may be calculated in the aircraft, or the calculation result calculated in the server may be transmitted to the aircraft through communication between the aircraft and the server. Coordinate division in the longitudinal and width directions of the rectangle of the imaging area may be calculated based on the speed of the vehicle and the size of the image (Field Of View).

다음은, 촬영 영역의 좌표를 산출하는 단계(S30)이다. 촬영하고자 하는 직사각형의 영역을 지도상에서 위도와 경도 단위로 산출하는 단계이다. 도 2는 촬영하고자하는 직사각형 영역(width, length)을 위도와 경도 좌표계에 나타낸 것이다. 위도 및 경도로 표시된 촬영영역 내 점들 중 촬영시작 위치점(100)을 기준으로 분할영상(20)이 촬영 영역의 폭(width)방향 및 길이(length)방향으로 취득된다. 폭방향 및 길이방향의 분할영상(20) 간에는 중첩영역(30)이 반드시 있어야 한다. 촬영 시작위치(100)으로부터 폭방향 및 길이방향의 분할영상 개수를 정하기 위해, 위도(latitude) 및 경도(longitude)를 따라 단위폭 및 단위길이를 알아야 한다. 이를 위해, 촬영 시작위치(100)을 위도를 따라 연장(50)하고, 경도를 따라 연장(40)해서 위도 및 경도로 나타낼 수 있으며, 비행경로의 회전성분을 고려하여 배치한다. 비행방향에서 촬영시작 위치(100)는 비행 경로로부터 가장 근접한 촬영영역의 꼭짓점위치이다. 촬영방향은 비행방향 중 폭방향으로 시작한다. The next step is to calculate the coordinates of the imaging area (S30). This is a step of calculating a rectangular area to be photographed in terms of latitude and longitude on the map. 2 shows a rectangular area (width, length) to be photographed in latitude and longitude coordinates. Based on the capturing start location point 100 among the points in the capturing area indicated by latitude and longitude, the divided image 20 is acquired in the width and length directions of the capturing area. An overlapping region 30 must exist between the split images 20 in the width direction and the length direction. In order to determine the number of divided images in the width and length directions from the shooting start position 100, unit width and unit length must be known along latitude and longitude. To this end, the shooting start position 100 can be expressed as latitude and longitude by extending 50 along the latitude and extending 40 along the longitude, and is arranged in consideration of the rotation component of the flight path. The shooting start position 100 in the flight direction is the vertex position of the closest shooting area from the flight path. The shooting direction starts in the width direction of the flight direction.

도 3은 비행경로 1, 2, 3에 대하여 촬영 시작위치는 P1이다.3 shows the starting position of P1 for the flight paths 1, 2 and 3.

다음은, 최단 거리 지점을 산출하는 단계(S40)이다. 산출한 촬영 영역을 영상크기에 맞추어 다수의 촬영좌표로 분할하기 위해서 기준이 되는 영상 발자국(Footprint)이 필요하다. 특히, 분할 결과가 반드시 중첩될 수 있도록 설정하기 위해서 경로 상 발자국(Footprint) 크기가 가장 작은 지점인 최단거리 지점을 산출하는 것이 목적이다. The next step is to calculate the shortest distance point (S40). In order to divide the calculated shooting area into a number of shooting coordinates according to the image size, a standard image footprint is required. In particular, the purpose is to calculate the shortest distance point, which is the point with the smallest footprint size on the path, in order to ensure that the division results overlap.

이 때, 촬영영역의 면과 예상 비행경로 상의 최단 거리가 되는 비행 위치를 기준 지점으로 하여, 촬영영역을 분할하기 위해 기준이 되는 FOV(field of view) 발자국(Footprint) 크기를 가장 작게 설정하여 분할중첩을 최우선으로 하는 것이 목적이다. At this time, the flight position that is the shortest distance between the surface of the shooting area and the expected flight path is used as a reference point, and the field of view (FOV) footprint size that is the standard for dividing the shooting area is set to the smallest and divided. The goal is to prioritize overlap.

도 3에서 비행경로는 촬영영역 상공을 지나는지 여부에 따라 비행경로 1과 비행경로 2,3으로 나눌 수 있다. 촬영영역 상공을 지나지 않는 비행경로 1의 경우, P1, P2와 비행경로 벡터의 거리 비교만으로 최단거리 지점을 산출 할 수 있다. In FIG. 3, the flight path may be divided into flight path 1 and flight path 2 and 3 depending on whether or not the flight path passes over the shooting area. In the case of flight path 1 that does not pass over the shooting area, the shortest distance point can be calculated only by comparing the distance between P1 and P2 and the flight path vector.

촬영영역 상공을 지나는 비행경로는 촬영영역의 길이방향 성분인 P1, P2 위를 지나는지 여부에 따라 다시 비행경로 2와 비행경로 3으로 나눈다. 비행경로 2의 최단 거리 지점은 P4, 비행경로 3의 최단 거리지점은 P3인데, P3은 경로 상 임의의 지점이다.The flight path passing over the imaging area is divided into flight path 2 and flight path 3 depending on whether or not it passes over P1 and P2, which are longitudinal components of the imaging area. The shortest point on flight path 2 is P4, and the shortest point on flight path 3 is P3, where P3 is an arbitrary point on the path.

따라서 촬영영역 상공을 지나는 비행경로의 경우에는 최단 거리 지점에서의 표적-비행체간 위도 및 경도 거리가 0이다. 즉, 촬영영역 상공을 지나는 경우에 기준 영상 발자국(Footprint)은 경로 상 임의의 수직하방 투영 영상이다.Therefore, in the case of a flight path passing over the imaging area, the latitude and longitude distance between the target and the vehicle at the shortest point is 0. That is, when passing over the imaging area, the reference image footprint is an arbitrary vertically downward projection image on the path.

다음은 기준 발자국(Footprint) 좌표를 획득하는 단계(S50)이다. 중첩을 고려하여 촬영 영역의 좌표를 분할하기 위해, 전 단계에서 산출한 최단 거리지점에서의 영상 발자국(Footprint) 좌표를 계산한다. The next step is to acquire reference footprint coordinates (S50). In order to divide the coordinates of the shooting area in consideration of overlap, the image footprint coordinates at the shortest distance point calculated in the previous step are calculated.

영상 발자국(Footprint) 좌표란, 시선 방향의 지상 표면에 투영된 영상 센서의 꼭짓점 4개을 의미한다. 즉, 카메라와 같은 영상센서에서 설정된 사각형 프레임의 4개 꼭짓점의 좌표를 의미한다. 지상 좌표를 산출하기 위해서는 시선벡터와 고도/경사거리 정보를 이용한 지오로케이션(GeoLocation) 기법이 널리 쓰인다. Image footprint coordinates refer to four vertexes of an image sensor projected onto the ground surface in a line of sight direction. That is, it means the coordinates of four vertices of a rectangular frame set in an image sensor such as a camera. In order to calculate ground coordinates, a geolocation technique using line of sight vector and altitude/slope distance information is widely used.

항공 분야에서의 지오로케이션 기법은 임의의 상공 위치에서 시선이 향하는 벡터와 지상 면과의 교점 위치를 구하는 방법으로 카메라의 항법정보인 위치(위도,경도,고도) 및 자세(헤딩,피치,롤)와 지상 면까지의 거리 혹은 시선이 향하고 있는 지상 면의 고도정보가 있어야 그 해가 산출된다. The geolocation technique in the field of aviation is a method of obtaining the position of the point of intersection between the vector to which the gaze is directed from an arbitrary aerial position and the ground surface, and the location (latitude, longitude, altitude) and attitude (heading, pitch, roll) of the camera navigation information. The solution is calculated only when there is the distance to the ground surface or the altitude information of the ground surface where the gaze is directed.

이 때 카메라의 항법정보는 INS와 같은 항법센서를 통해 획득하며, 지상 표면의 고도 정보는 주로 사전에 측지된 지형정보인 DTED(Digital Terrain Elevation Data)를 활용하고, 지상 면까지의 경사거리는 별도의 레이저 장비를 통해 레이저 거리 측정 값 등을 사용한다. At this time, the navigation information of the camera is obtained through a navigation sensor such as INS, and the altitude information of the ground surface mainly utilizes DTED (Digital Terrain Elevation Data), which is geodesic geodetic information in advance, and the slope distance to the ground surface is separately calculated. Use laser distance measurements, etc., through laser equipment.

촬영 영역 분할 간격 산출 단계로 넘어가기 전에 계산의 편의를 위하여 획득한 기준 발자국(Footprint)의 중심(12)을 촬영 시작지점(100)인 P1에 평행 이동시킨다. Before proceeding to the step of calculating the interval between capturing areas, the center 12 of the acquired reference footprint is moved in parallel to P1, which is the capturing start point 100, for convenience of calculation.

다음은 촬영 영역 분할 간격을 산출하는 단계(S60)이다. 앞서 최단 거리에서 산출한 영상 발자국(Footprint)의 4개 꼭짓점 좌표를 기준으로 촬영영역을 분할하여 그 간격(14)을 산출하는 단계이다. 이 때, 촬영영역의 회전 방향과 시선의 방향에 따라서 간격을 구하는 방법이 상이하다. Next is a step of calculating a capturing region division interval (S60). This is a step of calculating the interval 14 by dividing the photographing area based on the coordinates of the four vertices of the image footprint calculated in the shortest distance above. At this time, the method of obtaining the interval is different according to the direction of rotation of the imaging area and the direction of the line of sight.

먼저, 촬영영역을 분할하는 케이스를 나누기 위해 투영 영상이 평행사변형이라고 간주한다. 실제 투영 영상은 윗변이 아랫변보다 긴 형태의 사다리꼴에 가까운 사각형 형태이지만, 항공 촬영과 같이 먼 거리와 시계의 크기가 작은 조건에서의 투영 영상에서는 평행사변형에 가깝기 때문이다. 또한, 앞서 최단 거리 기준으로 기준 투영 영상을 설정하게 되면 중첩 마진이 어느 정도 확보되기 때문에 평행사변형으로 간주할 수 있다.First, it is assumed that the projected image is a parallelogram in order to divide the case of dividing the imaging area. This is because the actual projection image is in the shape of a trapezoid with the upper side longer than the lower side, but it is close to a parallelogram in the projection image under the condition of a long distance and a small field of view, such as aerial photography. In addition, if the reference projection image is set based on the shortest distance, it can be regarded as a parallelogram because the overlapping margin is secured to some extent.

도 4는 두 가지의 촬영영역을 분할하는 경우이다. 도 4(a)는 영상 발자국(Footprint)인 기준 투영영상(10)과 촬영 영역 모서리와의 교점(12)을 산출하여 각 모서리 방향으로 투영영상(10-1, 10-2, 10-3)이 서로 접하도록 이어붙인 것이다. 4 is a case in which two types of imaging areas are divided. 4(a) shows projection images 10-1, 10-2, and 10-3 in the direction of each corner by calculating the intersection point 12 between the reference projection image 10, which is the image footprint, and the corner of the shooting area. They are glued together so that they come into contact with each other.

도 4(a)는 투영영상 4개의 중심(14)이 영상 내에 모두 포함되는 경우(#1)이다. 4(a) shows a case (#1) in which all the centers 14 of the four projection images are included in the image.

반면, 도 4(b)는 투영영상 4개의 중심(16)이 영상에 포함되지 않아 공간이 생기는 경우 #2로 구분된다. 즉, 도 4(a)는 촬영영역에 투영영상(10, 10-1, 10-2, 10-3)의 중심이 포함되는 반면, 도 4(b)는 투영영상(10, 10-1, 10-2, 10-3)의 중심이 빈 공간이다.On the other hand, in FIG. 4(b), when the center 16 of the four projection images is not included in the image and a space is created, it is classified as #2. That is, while FIG. 4(a) includes the center of the projection images 10, 10-1, 10-2, and 10-3 in the shooting area, FIG. 4(b) shows the projection images 10, 10-1, The center of 10-2 and 10-3) is an empty space.

도 5는 분할 간격을 결정하는 방법을 설명하는 그림이다. 도 5(a)에서 나타낸 동일한 기준 발자국(Footprint)에 대해 분할 간격을 설정하는 방법은 도 5(b)(c)(d)로 다양하다. 5 is a diagram explaining a method of determining a division interval. Methods for setting division intervals for the same reference footprint shown in FIG. 5 (a) are varied as shown in FIG. 5 (b) (c) (d).

도 5(a)는 촬영 영역의 폭방향으로 비율이 가장 큰 경우(max dw = dw1)이고, 도 5(b)는 촬영 영역의 길이방향으로 비율이 가장 큰 경우(max dl = dl2)이고, 도 5(c)는 촬영 영역의 비율에 맞추어 전체 크기를 최대로 설정할 수 있는 경우(length : width ≒ dl3 : dw3)이다. 이 때, dw3 ≤ dw1, dl3 ≤ dl2 이다. 5(a) shows the largest ratio in the width direction of the imaging area (max dw = dw1), and FIG. 5 (b) shows the largest ratio in the longitudinal direction of the imaging area (max dl = dl2). 5(c) shows a case in which the total size can be set to the maximum according to the ratio of the capturing area (length : width ≒ dl3 : dw3). At this time, dw3 ≤ dw1 and dl3 ≤ dl2.

도 4(a)의 #1의 경우에는 도 5(a)의 dwo, dlo가 각각 도 5(b)의 dw1, 도 5(c)의 dl2에 상응하며, 도 4(b)인 #2의 경우에만 도 5(b)의 dw1, 도 5(c)의 dl2를 구하기 위해 투영영상을 촬영영역 모서리 방향에 따라서 적절하게 평행이동 시켜야한다. 최종적으로, 분할 간격을 설정하는 방법에 따라 촬영해야 할 총 개수가 상이하므로, 촬영영역의 비율을 고려하여 영상의 촬영 개수를 최소화 하도록 분할 간격 dw, dl을 산출한다.In the case of #1 in FIG. 4(a), dwo and dlo in FIG. 5(a) correspond to dw1 in FIG. 5(b) and dl2 in FIG. 5(c), respectively, and In order to obtain dw1 in FIG. 5(b) and dl2 in FIG. 5(c) only in this case, the projected image should be appropriately translated along the direction of the corner of the imaging area. Finally, since the total number of images to be captured differs depending on the method for setting the division interval, the division intervals dw and dl are calculated to minimize the number of images captured by considering the ratio of the region to be captured.

다음은 방향 별 촬영 수를 산출하는 단계(S70)이다. 촬영 영역 분할 간격 산출결과인 dw, dl을 이용하여 촬영 방향에 따른 촬영 수를 구한다. 기본적으로 촬영영역의 폭방향 거리인 width, 분할 간격 dw 및 중첩률을 고려해 폭방향 촬영 수(m)을 산출하면 촬영을 시작할 수 있다. 최종 촬영 지점이 정해져 있는 경우, 촬영영역의 길이방향 거리인 length, 분할 간격 dl 및 중첩률을 고려하여 길이방향 촬영 수(n)을 구하여 총 촬영 개수를 계산 할 수 있고 촬영의 시작과 끝 위치를 촬영 계획 단계에서 알 수 있다.Next is a step of calculating the number of shots for each direction (S70). The number of shots according to the shooting direction is obtained using dw and dl, which are the results of calculating the shooting area division interval. Basically, shooting can start when the number of shots (m) in the width direction is calculated considering the width, which is the distance in the width direction of the shooting area, the division interval dw, and the overlap rate. When the final shooting point is determined, the total number of shots can be calculated by calculating the number of shots in the longitudinal direction (n) in consideration of the longitudinal distance of the shooting area, the division interval dl, and the overlap rate. This can be known at the planning stage of the shoot.

마지막으로 촬영 시작 단계(S80)이다. 촬영 영영 분할 간격 및 방향 별 촬영 수를 최종 결과로 전송하여 촬영임무를 시작한다. 폭방향을 시작으로 dw간격으로 촬영 m번을 수행한 후, 길이방향으로 dl간격 이동 후 다시 폭방향으로 -dw간격으로 촬영 m번을 수행하는 절차를 반복하여 최종 촬영 지점까지 임무수행을 완료한다. Finally, the shooting start step (S80). The filming mission starts by sending the final result of the shooting area split interval and the number of shots by direction. After taking m shots at dw intervals starting in the width direction, moving at dl intervals in the longitudinal direction, repeating the procedure of taking m shots at -dw intervals in the width direction again to complete the mission to the final shooting point. .

Claims (8)

촬영정보가 비행체로 전송되는 단계;
상기 비행체의 예상 비행경로를 산출하는 단계;
상기 비행체가 촬영 영역의 좌표를 산출하는 단계;
상기 비행체로부터 상기 촬영 영역의 최단 거리 지점을 산출하는 단계;
상기 촬영 영역의 좌표를 분할하기 위한 기준 발자국(footprint) 좌표를 획득하는 단계;
상기 촬영 영역의 분할 간격을 산출하는 단계;
상기 비행경로에 대한 폭방향 및 길이방향의 촬영 수를 산출하는 단계;
촬영 시작 단계;를 포함하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
Transmitting the photographing information to the aircraft;
Calculating an expected flight path of the vehicle;
calculating the coordinates of the shooting area by the aircraft;
Calculating the shortest distance point of the photographing area from the aircraft;
acquiring reference footprint coordinates for dividing coordinates of the capturing area;
calculating division intervals of the imaging area;
Calculating the number of shots in the width and length directions of the flight path;
Including;
Ground overlapping method of optical equipment mounted on aircraft
제1항에 있어서,
상기 기준 발자국(footprint) 좌표는 상기 최단 거리 지점에서의 영상 발자국(Footprint) 좌표로부터 계산되는 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 1,
Characterized in that the reference footprint coordinates are calculated from image footprint coordinates at the shortest distance point
Ground overlapping method of optical equipment mounted on aircraft
제2항에 있어서,
상기 영상 발자국(Footprint) 좌표는 시선 방향의 지상 표면에 투영된 영상 센서로부터 취득된 투영영상의 꼭짓점 4개인 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 2,
Characterized in that the image footprint coordinates are four vertices of a projection image acquired from an image sensor projected on the ground surface in the gaze direction.
Ground overlapping method of optical equipment mounted on aircraft
제3항에 있어서,
상기 분할 간격을 산출하는 단계는,
상기 최단 거리에서 산출한 상기 영상 발자국(Footprint)의 4개 꼭짓점 좌표를 기준으로 상기 촬영영역을 분할하여 그 간격(14)을 산출하는 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 3,
Calculating the division interval,
Characterized in that the interval 14 is calculated by dividing the shooting area based on the coordinates of the four vertices of the image footprint calculated from the shortest distance
Ground overlapping method of optical equipment mounted on aircraft
제4항에 있어서,
상기 투영영상은 평행사변형인 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 4,
Characterized in that the projection image is a parallelogram
Ground overlapping method of optical equipment mounted on aircraft
제1항에 있어서,
상기 촬영영역의 분할은
기준되는 상기 투영영상(10)과 상기 촬영 영역 모서리와의 교점(12)을 산출하여 각각의 모서리 방향으로 투영영상(10-1, 10-2, 10-3)이 서로 접하도록 이어붙인 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 1,
The division of the shooting area is
It is characterized in that the projection images 10-1, 10-2, and 10-3 are connected to each other in the direction of each corner by calculating the intersection point 12 between the projection image 10 and the corner of the shooting area as a reference. to be
Ground overlapping method of optical equipment mounted on aircraft
제6항에 있어서,
상기 촬영영역과 상기 투영영상의 비율로부터 폭방향의 분할간격(dw) 및 길이방향의 분할간격(dl)을 산출하는 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 6,
Characterized in that the dividing interval (dw) in the width direction and the division interval (dl) in the longitudinal direction are calculated from the ratio of the shooting area and the projection image.
Ground overlapping method of optical equipment mounted on aircraft
제7항에 있어서,
상기 촬영영역의 폭방향 거리(width) 및 폭방향 분할 간격(dw) 및 폭방향 중첩률을 고려해 폭방향 촬영 수(m),
상기 촬영영역의 길이방향 거리(length), 길이방향 분할 간격(dl) 및 길이방향 중첩률을 고려하여 길이방향 촬영 수(n)로부터 총 촬영 개수(m x n)를 산출하는 것을 특징으로 하는
비행체 탑재 광학장비 지상 중첩 촬영 방법
According to claim 7,
The number of images taken in the width direction (m) in consideration of the distance in the width direction (width) of the imaging area, the division interval (dw) in the width direction, and the overlapping rate in the width direction;
Calculating the total number of shots (mxn) from the number of shots (n) in the longitudinal direction in consideration of the longitudinal distance (length) of the imaging area, the longitudinal division interval (dl), and the longitudinal overlap rate
Ground overlapping method of optical equipment mounted on aircraft
KR1020210184684A 2021-12-22 2021-12-22 Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device KR102616962B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210184684A KR102616962B1 (en) 2021-12-22 2021-12-22 Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210184684A KR102616962B1 (en) 2021-12-22 2021-12-22 Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device

Publications (2)

Publication Number Publication Date
KR20230095322A true KR20230095322A (en) 2023-06-29
KR102616962B1 KR102616962B1 (en) 2023-12-27

Family

ID=86946537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184684A KR102616962B1 (en) 2021-12-22 2021-12-22 Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device

Country Status (1)

Country Link
KR (1) KR102616962B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101128266B1 (en) * 2011-10-12 2012-03-27 (주) 한양지에스티 Aerial photo system for correcting distortion of image
KR101838734B1 (en) * 2017-11-13 2018-03-14 (주)대지이엔지 Duplication Air Photograpy System for High Precision Image
KR102141646B1 (en) 2019-01-09 2020-08-05 국방과학연구소 Method and apparatus for detecting moving object from image recorded by unfixed camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101128266B1 (en) * 2011-10-12 2012-03-27 (주) 한양지에스티 Aerial photo system for correcting distortion of image
KR101838734B1 (en) * 2017-11-13 2018-03-14 (주)대지이엔지 Duplication Air Photograpy System for High Precision Image
KR102141646B1 (en) 2019-01-09 2020-08-05 국방과학연구소 Method and apparatus for detecting moving object from image recorded by unfixed camera

Also Published As

Publication number Publication date
KR102616962B1 (en) 2023-12-27

Similar Documents

Publication Publication Date Title
US9641810B2 (en) Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US10337862B2 (en) Digital mapping system based on continuous scanning line of sight
EP2791868B1 (en) System and method for processing multi-camera array images
US10789673B2 (en) Post capture imagery processing and deployment systems
CN103149788A (en) Air 360-degree distant view photograph shooting device and method
JP2008186145A (en) Aerial image processing apparatus and aerial image processing method
CN111966133A (en) Visual servo control system of holder
JP6138326B1 (en) MOBILE BODY, MOBILE BODY CONTROL METHOD, PROGRAM FOR CONTROLLING MOBILE BODY, CONTROL SYSTEM, AND INFORMATION PROCESSING DEVICE
JP2018511509A (en) Corridor capture
CN102495522A (en) Method for manufacturing 360-degree air panoramic interactive roam system based on unmanned helicopter aerial shooting
CN107192377B (en) Method and device for remotely measuring object coordinates and aircraft
CN203204299U (en) Air 360-DEG panorama-photograph shooting apparatus
US20200210676A1 (en) Compact interval sweeping imaging system and method
JP2004056664A (en) Cooperative photography system
US20030218675A1 (en) Video picture processing method
Cledat et al. Mapping GNSS restricted environments with a drone tandem and indirect position control
Mouget et al. Photogrammetric archaeological survey with UAV
US20240121513A1 (en) Hyper camera with shared mirror
US10778899B2 (en) Camera control apparatus
US10424105B2 (en) Efficient airborne oblique image collection
KR102616962B1 (en) Overlapping Geo-Scanning Techniques for Aircraft-mounted Optical Device
US11415990B2 (en) Optical object tracking on focal plane with dynamic focal length
US20220417403A1 (en) Hyper camera with shared mirror
CN114020029B (en) Automatic generation method and device of aerial route for cluster and related components
CN111581322A (en) Method, device and equipment for displaying interest area in video in map window

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant