WO2015005534A1 - 하이브리드 비주얼 주기 유도 장치 - Google Patents

하이브리드 비주얼 주기 유도 장치 Download PDF

Info

Publication number
WO2015005534A1
WO2015005534A1 PCT/KR2013/009314 KR2013009314W WO2015005534A1 WO 2015005534 A1 WO2015005534 A1 WO 2015005534A1 KR 2013009314 W KR2013009314 W KR 2013009314W WO 2015005534 A1 WO2015005534 A1 WO 2015005534A1
Authority
WO
WIPO (PCT)
Prior art keywords
aircraft
unit
image
data
information
Prior art date
Application number
PCT/KR2013/009314
Other languages
English (en)
French (fr)
Inventor
이기창
Original Assignee
(주)안세기술
인천국제공항공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)안세기술, 인천국제공항공사 filed Critical (주)안세기술
Publication of WO2015005534A1 publication Critical patent/WO2015005534A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a hybrid visual period induction device.
  • the aircraft Once the aircraft lands on the runway at the destination airport, it will exit the runway, approach the mooring via the taxiway, and attach it to the designated boarding bridge.
  • FIMS Fluorescence Management System
  • Aircraft guiders carry paddles in both hands and guide the aircraft to a fixed location with a hand signal.
  • the aircraft is so large that they cannot see the entrance to the aircraft by themselves, they work in groups of four, with one wing guideman on each side of the wing, one beside the line where the front wheel should stop, and the aircraft guided aircraft. Guide on the induction stand on the front.
  • the VDGS Vehicle Docking Guidance System
  • the visual period guidance system using a camera operates a method of acquiring an image of an aircraft and extracting the outline of the aircraft from the aircraft to determine the type and shape of the aircraft, and inducing the aircraft position.
  • the method of inducing by using a camera has a disadvantage in that an image obtained in bad weather such as fog, snow, or rain is poor, lighting is required for nighttime image acquisition, and a discrimination error occurs.
  • A-VDGS Advanced-VDGS
  • a laser beam which is a point light source. Scanning should be done on the vertical and horizontal axis to form.
  • high-speed scanning of more pixels is required to obtain a high resolution image, which requires more time to acquire an image of one frame. Therefore, the conventional method has no limitation on accurate identification and tracking and guidance since the aircraft cannot be identified, tracked and guided based on the location information of a certain number of characteristic parts.
  • the present invention has been proposed to solve the above problems, and relates to a hybrid visual period induction apparatus combining a method using a camera and a method using a laser scanner.
  • the hybrid visual period induction device of the present invention is the first extraction unit for extracting the aircraft image data from the image signal taken by the camera, the aircraft scan data from the signal scanned by the three-dimensional laser scanner And a second extractor to extract and a controller to generate the aircraft position data in which the aircraft image data and the aircraft scan data are merged to provide a distance and a direction of the periodic target position to induce a period.
  • the first extractor according to an embodiment of the present invention, a camera for capturing a video image, converts the video image captured by the camera to a digital image, and performs an image processing operation to obtain aircraft data from the converted digital image It is preferable to include a first processing unit to perform and a second processing unit for extracting the edge (Edge) from the output of the first processing unit, and masking the background image or unnecessary image portion excluding the aircraft.
  • a first processing unit to perform and a second processing unit for extracting the edge (Edge) from the output of the first processing unit, and masking the background image or unnecessary image portion excluding the aircraft.
  • the first extraction unit preferably further includes a monitoring unit for monitoring the aircraft main field state using the camera.
  • the first extractor further includes a focus adjusting unit that performs auto focusing on the video image captured by the camera.
  • the first extractor may further include a zoom controller for enlarging a specific area of the video image captured by the camera or reducing an entire area.
  • the second extracting unit includes a laser scanner unit for extracting an aircraft scan image by using a 3D laser scanner and measuring distance information of the aircraft, wherein the laser scanner unit transmits a laser beam.
  • a distance measuring unit for measuring the distance information between the aircraft using the transmission unit and the receiving unit for receiving the reflected wave of the transmitted laser beam and the arrival time of the transmitted laser beam and the received reflected wave, a motor for rotating the distance measuring unit and the At least one refracting portion for refracting the laser beam in a direction different from the transmitting direction at the transmitting portion, wherein the motor is preferably rotated on the same axis of rotation as the laser distance measuring device.
  • the first triangular mirror for scanning the upper body of the aircraft is preferably composed of a first plane mirror and a second plane mirror for scanning the tail portion of the aircraft.
  • the second extracting unit may further include a third processing unit for removing unnecessary parts by receiving the aircraft scan image and the distance information of the aircraft from the laser scanner unit.
  • the second extractor extracts edge information of an aircraft using an aircraft scan image from which an unnecessary portion is removed from the third processor and distance information of an aircraft, and combines the distance information to scan an aircraft. It is preferable to further include a 4th processing part which extracts data.
  • the control unit includes an aircraft template which is image data of an aircraft and aircraft specification information by merging aircraft image data extracted by the first extraction unit and aircraft scan data extracted by the second extraction unit.
  • a video laser merger for creating an aircraft data profile, a storage unit connected to an airport computer system and a network, storing aircraft information about an aircraft schedule and aircraft type, and the aircraft template and aircraft data profile and the storage unit. It is preferable that the recognition unit for recognizing the aircraft to be cycled by comparing the stored aircraft information.
  • the control unit preferably further includes a display unit which displays information for inducing a cycle to an aircraft pilot by using the information according to the aircraft recognition result of the recognition unit.
  • control unit by converting the AC commercial power to direct current to supply the power required for the hybrid visual cycle induction device and direct supply of a DC voltage when the AC commercial power is outage It is preferable to further include a second power supply.
  • the control unit further includes a check unit for checking the hybrid visual period inducing device, wherein the checking unit stores the reference value information of the hybrid visual period inducing device and stores the reference value information when the system is checked. It is desirable to compare the measured value information to determine whether the system is abnormal.
  • the reference value information according to an embodiment of the present invention is the distance point between the hybrid visual period induction device and the reference point, the distance between the stop point and the center progress line closest to the hybrid visual period induction device, the distance information, It is preferable to include vertical angle information that is an angle difference on the reference point and the vertical plane and horizontal angle information that is an angle difference on the reference point and the horizontal plane.
  • the second extracting unit includes a laser scanner unit for extracting an aircraft scan image by using a 3D laser scanner and measuring distance information of the aircraft, wherein the laser scanner unit transmits a laser beam.
  • a distance measuring unit for measuring distance information between the aircraft using a transmitting unit and a receiving unit for receiving the reflected wave of the transmitted laser beam, and using the arrival time of the transmitted laser beam and the received reflected wave,
  • a rotating mirror for refracting the laser beam in a direction perpendicular to the emitted direction, at least one refracting portion for refracting the laser beam refracted by the rotating mirror in a direction perpendicular to the direction refracted by the rotating mirror, and the rotation It is preferable that the drive unit rotates on the same axis of rotation as the mirror.
  • the first triangular mirror for scanning the upper body of the aircraft is preferably composed of a first plane mirror and a second plane mirror for scanning the tail portion of the aircraft.
  • control unit may include an image template, which is an aircraft front view and a plan view data, and a storage unit, which stores a data profile, which is standard and angle data of a specific portion of the aircraft, and compares the aircraft image data and the image template. It is preferable to determine the aircraft through the step and comparing the aircraft scan data and the data profile.
  • the present invention as described above has the effect of determining the type of aircraft quickly and accurately by combining the advantages of the guidance method using a video camera and the guidance method using a laser scanner.
  • the present invention has the effect that it can induce a precise and accurate period even in poor weather conditions using a laser method.
  • the present invention has the effect of improving the accuracy and reliability by using a dual matching system of image templates and data profiles.
  • the present invention has the effect of preventing the error of the equipment by performing the calibration of the hybrid visual period induction device.
  • the present invention uses the data by the laser scanner when the video image is impossible to operate due to bad weather, etc., and the video image is used when the laser scanner is impossible to operate the rest of the methods when the video image is not working. It can be complemented by the effect.
  • FIG. 1 is a block diagram schematically showing the configuration of a hybrid visual period induction device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of a first extraction unit of a hybrid visual period induction device according to an exemplary embodiment.
  • FIG 3 shows an embodiment of the laser scanner unit 210 of the hybrid visual period induction device according to an embodiment of the present invention.
  • Figure 4 shows another embodiment of the laser scanner unit 210 of the hybrid visual period induction device according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a configuration of a second extraction unit of a hybrid visual period induction device according to an exemplary embodiment.
  • FIG. 6 illustrates a configuration of the controller 300 of the hybrid visual period induction device according to an embodiment of the present invention.
  • Figure 7 shows an example of comparing the specifications of the aircraft provided by each aircraft manufacturer.
  • FIG 8 illustrates a front view of the final aircraft obtained by the camera 110 and the distance measuring unit 211.
  • 9 is a plan view of an aircraft image obtained by the camera 110 and the distance measuring unit 211.
  • FIG. 12 illustrates an overall configuration diagram of a hybrid visual period induction device according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a method of operating a hybrid visual period induction device according to an embodiment of the present invention.
  • the best mode for practicing the present invention is the hybrid visual period induction device shown in FIG.
  • the hybrid visual period induction device includes a first extractor 100 extracting an aircraft image using a camera, and a second extractor 200 extracting aircraft scan data using a 3D laser scanner. And a controller 300 that provides distance and direction data to a designated periodic position using the aircraft image and the aircraft scan data.
  • the first extractor 100 may photograph an aircraft image using a camera, extract an edge of the aircraft from the aircraft image, and extract an aircraft image from which a background image or an unnecessary portion is removed.
  • the second extractor 200 may extract aircraft scan data including distance or direction information to the aircraft by using the 3D high speed laser scanner.
  • the control unit 300 may determine the aircraft type by using the output of the first extraction unit and the second extraction unit, and may provide the aircraft pilot with distance or direction information to the aircraft.
  • FIG. 2 is a block diagram showing the configuration of the first extraction unit 100 of the hybrid visual period induction device according to an embodiment of the present invention.
  • the first extracting unit 100 of the present invention may include a camera 110, a focus adjusting unit 120, a zoom control unit 130, a first processing unit 140, and a second processing unit 150. Can be.
  • Camera 110 is a device for converting the result of photographing the front of the hybrid visual period induction device of the present invention into an electrical signal.
  • the camera 110 may be a variety of cameras, as well as a charge-coupled device (CCD) camera and a complementary metal oxide semiconductor (CMOS) camera, and is not limited to a specific type of camera.
  • CCD charge-coupled device
  • CMOS complementary metal oxide semiconductor
  • the focus adjuster 120 may automatically adjust the focus according to the state of the camera so as to maintain the focus of the camera 110 in an optimal state.
  • the focus adjusting unit 120 may perform an auto focusing function on the image photographed by the camera 110.
  • the zoom controller 130 is a portion that enlarges or reduces a specific area when the camera 110 is photographed.
  • the zoom controller 130 receives an input signal from the focus controller 120 and the zoom controller 130, and the camera 110 obtains an optimal image. You can shoot.
  • the first processor 140 may receive an electrical signal of an image captured by the camera 110 and convert the electrical signal into a digital image having an appropriate resolution. In addition, the first processor 140 may perform various image processing on the converted digital image signal.
  • the first processing unit 140 converts the image photographed by the camera 110 into a digital image, and in order to obtain various data necessary from the converted aircraft digital image, algebraic operation, logical operation, contrast expansion or conversion, histogram Image processing such as histogram equalization and sharpening may be performed.
  • the first processor 140 may perform various image processing tasks and transmit the image of which image processing is completed to the second processor 150.
  • the second processing unit 150 is a first differential operator such as Roberts, Prewitt, Sobel, Frei-Chen, Laplacian, Gaussian Laplacian (LOG :) to determine the model of the aircraft or the image signal transmitted for tracking the aircraft. Second-order differential operators such as Laplacian of Gaussian (DAC) and Gaussian (DOG) operators can be used.
  • the second processor 150 may extract the edge of the aircraft from the image signal using the above-described first or second derivative operator, and may mask the background image or unnecessary image portion except for the aircraft image. .
  • the aircraft image data obtained by extracting an edge of the aircraft and masking a background image or an unnecessary image portion may be transmitted to the video / laser merge unit 310 in the controller 300.
  • the hybrid visual period induction device may further include a monitoring unit 160.
  • the monitoring unit 160 monitors the state of the aircraft main field using the image image acquired from the camera 110, and the equipment operator or managers may monitor or store the image using the monitoring unit 160 in the central monitoring panel of the airport.
  • the monitoring unit 160 may use the camera 110 to search for necessary images.
  • FIG 3 shows an embodiment of the laser scanner unit 210 of the hybrid visual period induction device according to an embodiment of the present invention.
  • the laser scanner unit 210 of the present invention includes the distance measuring unit 211, the rotating disc 214, the motor 215, the triangular mirrors 216 and 217, the plane mirrors 218 and 219, and the mirror rotation. Motors 220, 221, 222, and 223.
  • the distance measuring unit 211 may include an electronic circuit that generates and transmits a laser beam and receives the laser beam reflected from the aircraft.
  • the distance measuring unit 211 includes a laser diode 212 for transmitting a laser (LD: Laser Diode) and a photodiode for laser reception (213) or an Avalanche photo diode (APD). ) May be included.
  • LD Laser Diode
  • APD Avalanche photo diode
  • laser diodes and photodiodes they may also include electronic circuitry and software for measuring the time difference between the laser transmit pulse and the reflected wave receive pulse and calculating the distance of the reflecting point therefrom.
  • the rotating disc 214 may be a means for fixing the distance measuring unit 211.
  • the motor 215 may provide power for rotating the rotating disc 214, but a stepping motor or a servo motor may be used, but is not limited thereto.
  • the distance measuring unit 211 rotates in a 360 degree direction by the motor 215 and performs scanning.
  • the mirrors 216, 217, 218, and 219 may be located outside the distance measuring unit 211 of the laser scanner unit 210 in four directions.
  • the mirrors 216, 217, 218, and 219 deflect the laser beam generated by the laser diode 212 at a 90 degree angle to transmit in the horizontal direction.
  • the mirrors 216, 217, 218, and 219 receive the reflected wave signal that enters in the horizontal direction from the incident direction when receiving the laser light.
  • the light is refracted at an angle of 90 degrees to be incident toward the photodiode 213 or the avalanche photodiode, which are light receiving elements of the distance measuring unit 211.
  • mirrors 218 and 219 may be used in the case of the laser scanner unit 210 used in the hybrid visual period induction device according to an embodiment of the present invention.
  • planar mirrors 218 and 219 may be used in the case of the laser scanner unit 210 used in the hybrid visual period induction device.
  • triangular mirrors 216 and 217 may be used in the case of the laser scanner unit 210 used in the hybrid visual period induction device.
  • various shapes and numbers of mirrors may be used.
  • the distance measuring unit 211 may simultaneously measure the distance and direction of several points by transmitting and receiving a laser beam to four different points using four mirrors 216, 217, 218, and 219 during one rotation.
  • the first triangular mirror 216 may be used for scanning the upper part of the aircraft (upper body), and the second triangular mirror 217 may be used for scanning the lower part of the aircraft (lower body).
  • the first plane mirror 218 is configured to face the nose of the aircraft (Nose) can perform the detection (Detection), tracking (Tracking) and distance (Distance) measurement of the aircraft.
  • the second plane mirror 219 may measure the aircraft direction (Azimuth) along with the distance measurement of the tail portion of the aircraft and the first plane mirror.
  • the mirror rotating motors 220, 221, 222, and 223 are connected to each mirror, rotate the mirrors, and operate independently of each other.
  • Figure 4 shows another embodiment of the laser scanner unit 210 of the hybrid visual period induction device according to an embodiment of the present invention.
  • the laser scanner unit 21 used in the hybrid visual period inducing apparatus of the present invention may rotate the distance measuring unit 211 itself as in the case of FIG. 3, but the rotation mirror 214 as shown in FIG. 4. '), And the laser beam transmitted from the fixed distance measuring unit 211 is forward-reflected by the rotating mirror motor 215' which rotates the rotating mirror, and receives the reflected wave, thereby providing a more efficient and stable structure. Can be implemented.
  • the hybrid visual period induction device since the laser scanner unit 210 of the hybrid visual period induction device according to the exemplary embodiment does not directly rotate the laser distance measuring unit 211, the hybrid visual period having a higher durability may be achieved. Induction apparatus can be implemented.
  • FIG. 5 is a block diagram illustrating a configuration of a second extraction unit of a hybrid visual period induction device according to an exemplary embodiment.
  • the second extraction unit of the present invention may include a laser scanner unit 210, a third processing unit 230, a fourth processing unit 240, a distance extraction unit 250, and a direction extraction unit 260. have.
  • the laser scanner unit 210 may be configured in various ways as a 3D laser scanner, and is not limited to a specific 3D laser scanner. However, since an embodiment of the three-dimensional laser scanner used in the present invention is the same as the description of FIGS. 4 and 5 described above, a detailed description thereof will be omitted.
  • the laser scanner 210 may scan a target to be scanned in three dimensions through a three-dimensional laser scanner. In the present invention, the distance and direction information from the hybrid visual period induction device to a specific point of the aircraft can be extracted.
  • the third processor 230 rotates the distance measuring unit 211, the motor 215, the first triangular mirror 216, the second triangular mirror 217, and the first and second triangular mirrors of the laser scanner unit 210.
  • Distance information of the upper part and the lower part of the aircraft may be received from the mirror rotating motors 220 and 221.
  • the third processor may receive the distance information of the upper part and the lower part of the aircraft, remove unnecessary data, and convert the unnecessary data into an aircraft scan image.
  • the third processor 230 receives distance information measurement data from the distance measuring unit 211, receives rotation angle position data from the motor 215, and removes unnecessary data based on distance information according to each position. You can perform a task to obtain an image.
  • the third processor 230 may perform various tasks to obtain accurate aircraft position data.
  • the fourth processor 240 may acquire an edge of the aircraft by differentiating the output of the distance information change function of the third processor 230. Specifically, each image and measurement distance information are combined based on the positional information of the motor 215 and the mirror rotating motors 220, 221, 222, and 223, the transmission time of the laser beam, and the arrival time of each reflected wave. Stores image and data information. Thus, the aircraft scan data including the final aircraft scan image and the distance and position data may be transmitted to the video / laser merger 310 based on the output of the third processor 230.
  • the distance extractor 250 and the direction extractor 260 are based on the data received from the planar mirrors 218 and 219 of the laser scanner unit 210 and the mirror rotation motors 222 and 223 rotating them.
  • the distance to the aircraft and the direction of the aircraft can be extracted from the hybrid visual period guidance device.
  • the first planar mirror 218 may be configured to face the nose portion of the aircraft to perform detection, tracking, and distance measurement of the aircraft.
  • the second plane mirror 219 may measure the aircraft direction (Azimuth) together with the distance measurement of the tail portion of the aircraft and the first plane mirror.
  • the distance extractor 250 continuously tracks the nose tip position of the aircraft by the first plane mirror 218 and the mirror rotation motor 222 to measure the distance of the aircraft in real time.
  • the measured distance information can be used to calculate the remaining distance in real time from the stopping point of the aircraft.
  • the calculated remaining distance may be provided to the aircraft pilot through the control unit 300.
  • the direction extraction unit 34 continuously combines the position of the tip of the aircraft and the position of the tail by the second plane mirror 219 and the mirror rotating motor 223 to specify the direction of the aircraft in real time, and from the center line.
  • the difference in driving direction of the aircraft may be calculated in real time and provided to the aircraft pilot through the controller 300.
  • FIG. 6 illustrates a configuration of the controller 300 of the hybrid visual period induction device according to an embodiment of the present invention.
  • the control unit 300 of the hybrid visual period induction device of the present invention includes a video laser merge unit 310, a recognition unit 320, a storage unit 330, a pilot display unit 340, and a manual operation unit 350. ), The first power supply unit 360, the second preliminary power supply unit 370, and the inspection unit 380.
  • the video laser merger 310 may merge aircraft image data processed through the second processor 150 and aircraft scan data processed through the fourth processor 240.
  • a final image may be completed by merging the final aircraft scan image among the aircraft image and the laser scan data of the video laser merger 310, and a profile may be created for the position data of a specific portion of the aircraft.
  • the location data of a specific part of the aircraft includes data such as body length, wing span, nose height, wing angle, and other lengths and angles of each major part.
  • the data profile can be stored in the form of a separate text data record.
  • the recognition unit 320 is a comprehensive control and final processing system processor of the hybrid visual period induction device according to an embodiment of the present invention.
  • the recognition unit 320 may perform comprehensive control and data processing for aircraft type determination and period induction, which is an object of the hybrid visual period induction apparatus of the present invention, based on the final image and data obtained from the video laser merger 310. .
  • the recognition unit 320 finds a matching template among the aircraft image templates stored in the storage unit 330 from the final image obtained from the video laser merger 310, and simultaneously detects a body length and a wing width. Models such as span, nose height, wing angle, etc., such as the length and angle of the main parts of the aircraft are compared with the data of each aircraft manufacturer's model pre-stored in the storage unit 330 to be fully matched Can be determined.
  • the recognition unit 320 After recognizing the model of the aircraft, the recognition unit 320 displays the distance and direction information with respect to the target point on the display unit 340 to induce a period, the aircraft pilot can accurately cycle to the target point determined based on this. .
  • the recognition unit 320 may greatly improve the accuracy and reliability than the conventional visual period induction system (VDGS).
  • VDGS visual period induction system
  • the manual operation unit 350 may display information necessary for the display unit 340 in the manual mode when an error occurs or an emergency stop occurs in the hybrid visual cycle induction device of the present invention.
  • the information for the basic period may be displayed on the display unit 340 for the pilot in the manual mode in a situation where the hybrid visual period inducing device is difficult or difficult to operate.
  • the first power supply unit 360 may supply power by converting an alternating current (AC) voltage into a direct current 24V to the hybrid visual period induction device of the present invention.
  • AC alternating current
  • the hybrid visual period induction device of the present invention may further include a second power supply unit 370 for directly supplying a DC voltage in case of an AC commercial power outage.
  • the inspection unit 380 may check and calibrate the presence or absence of an abnormality of the hybrid visual cycle induction device of the present invention. The operation of the check unit 380 will be described in detail with reference to FIGS. 10 and 11.
  • Each aircraft has different wing lengths, wing angles, aircraft lengths and nose tip heights, so that these aircraft can be compared to determine the type of each aircraft.
  • the aircraft shown in FIG. 7 is merely an example, and does not show an aircraft that can be identified by the hybrid visual period induction device according to an embodiment of the present invention.
  • FIG 8 illustrates a front view of the final aircraft obtained by the camera 110 and the distance measuring unit 211.
  • T 10 is the tail of the aircraft, which is the origin
  • N 20 is the tip of the nose, which is the most recent point of the aircraft.
  • L 30 and R 40 are the left and right points of the aircraft, respectively.
  • plan view according to the video image or the laser scan may not be clearly expressed, but since the height of the aircraft is similar to the height of the hybrid visual cycle guidance device of the present invention, it is possible to determine the aircraft model only by confirming the position of the main feature point.
  • 9 is a plan view of an aircraft image obtained by the camera 110 and the distance measuring unit 211.
  • the angle formed by the center line connecting the most extreme point 10 and the most recent point 20, the line connecting the leftmost point 30 and the left wing starting point 50 is referred to as an aircraft wing angle 70.
  • FIG. 11 is a plan view of FIG. 10 viewed from above.
  • the calibration function of the hybrid visual period inducing device of the present invention may arbitrarily designate the number of times or period such as periodic, aperiodic, once a day, once a month, and the like.
  • the calibration function of the hybrid visual period induction device may be performed by the inspection unit 380 in the control unit 300.
  • the hybrid visual period induction device 700 of the present invention may be installed at various locations. In FIG. 10, it is fixed by the support means 720 for easy description, but is not limited thereto.
  • the calibration method of hybrid visual period induction device is as follows.
  • An aircraft taxiway means a road on which an aircraft's periodic guidance is performed.
  • the position of the stop line may be different depending on the aircraft model.
  • a reference point which is a reference point for the calibration of the hybrid visual period induction device of the present invention, may be an intersection point between the adjacent stop line 731 and the center progress line 740 which is the closest stop line to the hybrid visual period induction device. .
  • Distance information d71 which is the distance from the hybrid visual period induction device 700 of the present invention, to the reference point, and the vertical angle information ⁇ representing the angle in the vertical plane of the laser beam path projected from the device to the reference point.
  • 72 and the horizontal angle information ⁇ 73 representing the installation direction of the device and the angle in the horizontal plane of the central travel line 740 may be measured in advance and set as a reference value.
  • Self calibration may be performed to increase the accuracy of the hybrid visual period induction device of the present invention.
  • FIG. 12 illustrates an overall configuration diagram of a hybrid visual period induction device according to an embodiment of the present invention.
  • the overall configuration of the hybrid visual cycle induction device includes a first extractor 100 using a camera 110, a second extractor 200 using a 3D laser scanner 210, and a first extractor. And a method of inducing a period by merging outputs of the second extracting unit, and detailed description thereof is the same as described above, and thus will be omitted.
  • FIG. 13 is a flowchart illustrating a method of operating a hybrid visual period induction device according to an embodiment of the present invention.
  • a hybrid visual period induction device may start operation before a predetermined time of landing of an aircraft.
  • the hybrid visual period inducing device may check whether the reflected wave is received by firing a laser beam to a point where the arrival of the aircraft is expected (S10). This may be referred to as a standby mode, and if the aircraft is not detected, the vehicle is continuously in the standby mode, and when the aircraft arrives at a preset time or distance after the aircraft is detected, a video image is acquired (S20). An edge may be detected from the image (S21).
  • the video image may be acquired by catching an image of one frame from the image projected by the camera.
  • the laser image for the aircraft is scanned (S30). Scan the laser image using the first triangular mirror 216 and the second triangular mirror 217 of the laser scanner unit 210 to scan the laser image, and use the edge values of the luminance and distance values from the scanned image to obtain edges. Processing such as Edge Detection and Edge Enhancement can be performed (S31).
  • the two images are merged into one (S40), the final edge is extracted, and the contrast enhancement is performed by a technique such as contrast extension.
  • the aircraft image template that matches the completed aircraft image template is searched for from the aircraft template data S43 in the storage unit 330, and it is determined whether the difference is within a preset error range (S44). .
  • the aircraft enters the tracking mode, but otherwise, the video image and the laser image can be extracted again.
  • distance information data may be extracted from the laser scan image.
  • the distance information data includes distance and angle data for The Farthest Point, The Nearest Point, The Leftmost Point, and The Rightmost Point (S32).
  • the distance information data uses the distance information data, the aircraft's body length, wing span, nose height and wing angle are calculated (S33), and the result is a text profile.
  • An aircraft profile is created in record form (S34).
  • the storage unit 330 extracts the most similar profile from the aircraft profile data (S36) from the aircraft profile data and compares whether it falls within the error range (S35 and S37). If the result of the comparison is within the error range, the process enters the tracking step S50. If not, the video image and the laser scan image are acquired again. In this case, in order to lower the speed of entry of the aircraft, which is the main cause of the inconsistency, it is possible to output "SLOW", which means slow, to the aircraft pilot (S38).
  • airports have airport computer systems such as Flight Information Management System (FIMS) and Gate Operating System (GOS) through the airport network (S51).
  • FIMS Flight Information Management System
  • GOS Gate Operating System
  • E.STOP means emergency stop for the aircraft pilot according to the flight regulations. Can be output to the pilot.
  • the automatic mode is switched to the manual mode at step S55.
  • Such an airport computer system can be connected to the airport network using a communication interface.
  • the aircraft model that is, the model name is determined, and the display model 340 displays the aircraft model name, for example, "B-747-400". Display the model name and model name together and enter the cycle stage (S56, 57, 60)
  • the tracking unit keeps track of the aircraft and measures the distance from the center line of the driving line and the speed of the aircraft's entry in real time.
  • the display may be displayed through 340 (S61).
  • the cycle phase may be terminated and the aircraft pilot may output "STOP" indicating stop (S62, 63, 64).
  • the aircraft pilot may output "TOO FAR" to the aircraft pilot (S65, 66).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 주기 유도 장치에 관한 것으로, 카메라로 촬영한 영상 신호로부터 항공기 이미지 데이터를 추출하는 제1 추출부, 3차원 레이저 스캐너로 스캔한 신호로부터 항공기 스캔 데이터를 추출하는 제2 추출부 및 항공기 이미지 데이터와 항공기 스캔 데이터를 병합한 항공기 위치 데이터를 생성하여 주기 목표 위치와의 거리 및 방향을 제공하여 주기를 유도하는 제어부를 포함하여 카메라를 이용한 유도 방식과 레이저를 이용한 유도방식의 장점을 결합하여 빠르고 정확하게 항공기의 종류를 판별할 수 있다는 효과가 있는 하이브리드 비주얼 주기 유도 장치에 관한 것이다.

Description

[규칙 제26조에 의한 보정 25.10.2013]　하이브리드 비주얼 주기 유도 장치
본 발명은 하이브리드 비주얼 주기 유도 장치에 관한 것이다.
항공기가 목적지 공항 활주로에 착지하고 나면 활주로를 빠져나와 유도로를 거쳐서 계류장으로 접근하여 지정된 탑승교에 갖다 붙이게 되는데 이를 접현한다고 한다.
이 때 FIMS(Flight Information Management System)라고 불리는 “비행정보시스템”이 작동된다. 즉 관제사가 착륙한 항공기마다 개별적으로 탑승교 번호 및 이동 경로를 지정해서 조종실의 스크린 화면에 띄워 주면 이에 따라 활주로에서 목적하는 계류장까지 이동하게 된다.
이 때 조종사는 정해진 탑승구에 탑승교 접현 위치까지 항공기를 이동시키는데 이를 보조하기 위해서 종래에는 항공기 유도사(Mashaller)가 4인 1조로 항공기를 정해진 위치까지 유도하였다. 항공기 유도사는 양손에 패들(Paddle, 유도판)을 들고 수신호로 항공기를 정해진 위치까지 유도한다. 그러나 항공기가 워낙 커서 혼자서 항공기 진입로를 다 볼 수 없기 때문에 이들은 4인 1조로 일을 하는데, 날개 쪽 좌우에 윙 가이드맨을 1명씩 배치하고 한 명은 앞바퀴가 멈추어야 하는 라인 옆에, 그리고 항공기 유도사는 항공기 전면에 있는 유도대(臺) 위에 서서 유도한다.
조종실에서는 정지선이 보이지 않기 때문에 이들은 끝까지 기장과 눈을 맞추면서 선회, 직진, 서행, 정지 등의 신호를 보내서 노랑색 정지선에 정확하게 앞바퀴가 정렬하도록 한다. 그러나 항공기 유도사를 활용한 주기 유도 시스템은 항공기 유도사의 안전, 인건비 소요, 정확성, 심야근무자 확보곤란 및 인력수급의 어려움으로 인해 점차 그 수가 줄어들고 있다.
이에 직접 항공기 유도사가 항공기를 유도하는 것이 아닌 디스플레이 장치를 활용하여 항공기를 유도하는 시각 주기 유도 시스템(VDGS : Visual Docking Guidance System)이 도입되었다. 그 중에서도 카메라를 이용한 시각 주기 유도 시스템은 항공기의 영상 이미지를 획득하고 그로부터 항공기의 윤곽선을 추출하여 항공기의 기종과 형상을 판별하며, 항공기 위치를 유도하는 방식으로 동작한다.
그러나 카메라를 이용하여 유도하는 방식은 안개나 눈, 비 등이 심한 악천후에 획득되는 영상이 열악하고, 야간의 영상획득을 위하여 조명이 필수적으로 요구되며, 판별오류가 발생하는 단점이 있다.
최근에는 이러한 단점을 보완하기 위하여 단일 포인트로 강력한 광 에너지를 집속하여 송출하고 이를 이용하여 항공기를 스캔하는 레이저 스캔 방식이 많이 사용되고 있다. 레이저 빔을 이용하여 영상 이미지를 획득하는 개선된 시각 주기 유도 시스템(A-VDGS : Advanced-VDGS) 장치는 점 광원인 레이저 빔(Laser Beam)을 사용하므로 영상 이미지를 획득하기 위해서는 수많은 화소(Point Cloud)를 형성할 수 있도록 수직 및 수평축으로 주사(Scanning)하여야 한다. 또한 해상도가 높은 영상을 얻기 위해서는 더 많은 화소의 고속 스캔이 요구되어 한 프레임의 영상을 얻는데 더 많은 시간이 소요된다. 따라서 기존 방식으로는 일정 수의 특징적인 부위의 위치정보만을 토대로 항공기를 판별하고 추적 및 유도할 수밖에 없어 정확한 판별과 추적 및 유도에 한계가 있었다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 카메라를 이용한 방식과 레이저 스캐너를 이용한 방식을 결합한 하이브리드 비주얼 주기 유도 장치에 관한 것이다.
상기와 같은 기술적 과제를 해결하기 위해, 본 발명의 하이브리드 비주얼 주기 유도 장치는 카메라로 촬영한 영상 신호로부터 항공기 이미지 데이터를 추출하는 제1 추출부, 3차원 레이저 스캐너로 스캔한 신호로부터 항공기 스캔 데이터를 추출하는 제2 추출부 및 상기 항공기 이미지 데이터와 상기 항공기 스캔 데이터를 병합한 항공기 위치 데이터를 생성하여 주기 목표 위치와의 거리 및 방향을 제공하여 주기를 유도하는 제어부를 포함한다.
본 발명의 일 실시 예에 따른 상기 제1 추출부는, 비디오 영상을 촬영하는 카메라, 상기 카메라로 촬영한 비디오 영상을 디지털 이미지로 변환하고, 변환된 상기 디지털 이미지로부터 항공기 데이터를 얻기 위해 영상처리 작업을 수행하는 제1 처리부 및 상기 제1 처리부의 출력으로부터 에지(Edge)를 추출하고, 항공기를 제외한 배경 이미지나 불필요한 영상부분을 마스킹(Masking) 처리하는 제2 처리부를 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제1 추출부는, 상기 카메라를 이용하여 항공기 주기장 상태를 모니터링하는 모니터링부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제1 추출부는 상기 카메라로 촬영한 비디오 영상에 대해서 오토 포커싱(Auto Focusing)을 수행하는 초점 조절부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제1 추출부는, 상기 카메라로 촬영한 비디오 영상의 특정 영역을 확대하거나 전체 영역을 축소하는 줌 제어부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제2 추출부는, 3차원 레이저 스캐너를 이용하여 항공기 스캔 이미지를 추출하고, 항공기의 거리 정보를 측정하는 레이저 스캐너부를 포함하고, 상기 레이저 스캐너부는 레이저 빔을 송출하는 송출부와 송출된 레이저 빔의 반사파를 수신하는 수신부를 구비하고 송출된 레이저 빔과 수신된 반사파의 도달 시간 이용하여 항공기와의 거리 정보를 측정하는 거리 측정부, 상기 거리 측정부를 회전시키는 모터 및 상기 송출부에서 레이저 빔을 송출되는 방향과 다른 방향으로 굴절시키기 위한 하나 이상의 굴절부를 포함하고, 상기 모터는 레이저 거리 측정 장치와 동일한 회전축에서 회전하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 굴절부는, 상기 항공기의 상체를 스캔하기 위한 제1 삼각 미러, 상기 항공기의 하체를 스캔하기 위한 제2 삼각 미러, 상기 항공기의 코(Nose)부분을 스캔하기 위한 제1 평면 미러 및 상기 항공기의 꼬리(Tail)부분을 스캔하기 위한 제2 평면 미러로 구성된 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제2 추출부는, 상기 레이저 스캐너부로부터 항공기 스캔 이미지와 항공기의 거리정보를 수신하여 불필요한 부분을 제거하는 제3 처리부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제2 추출부는, 상기 제3 처리부로부터 불필요한 부분이 제거된 항공기 스캔 이미지와 항공기의 거리정보를 이용하여 항공기의 에지 정보를 추출하고 상기 거리정보를 결합하여 항공기 스캔 데이터를 추출하는 제4 처리부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제어부는, 상기 제1 추출부에서 추출한 항공기 이미지 데이터와 상기 제2 추출부에서 추출한 항공기 스캔 데이터를 병합하여 항공기의 이미지 데이터인 항공기 템플릿과 항공기의 규격정보를 포함하는 항공기 데이터 프로파일을 작성하는 비디오 레이저 병합부, 공항 전산 시스템과 네트워크를 통해 연결되고, 항공기의 스케쥴과 항공기 기종에 관한 항공기 정보를 저장하는 저장부 및 상기 항공기 템플릿 및 항공기 데이터 프로파일과 상기 저장부에 저장된 항공기 정보를 비교하여 주기 대상 항공기를 인식하는 인식부로 구성된 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제어부는, 상기 인식부의 항공기 인식 결과에 따른 정보를 이용하여 항공기 조종사에게 주기 유도를 위한 정보를 디스플레이하는 디스플레이부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제어부는, 교류 상용 전원을 직류로 변환하여 상기 하이브리드 비주얼 주기 유도 장치에 필요한 전력을 공급하는 제1 전력공급부 및 교류 상용전원이 정전인 경우 직류전압을 직접 공급하는 제2 전력 공급부를 더 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제어부는, 상기 하이브리드 비주얼 주기 유도 장치를 점검하는 점검부를 더 포함하고, 상기 점검부는 상기 하이브리드 비주얼 주기 유도 장치의 기준값 정보를 저장하고 시스템 점검시 저장된 상기 기준값 정보와 측정값 정보를 비교하여 시스템의 이상 유무를 판단하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 기준값 정보는, 상기 하이브리드 비주얼 주기 유도 장치와 가장 가까운 정지선과 중심진행선의 교차점을 기준점으로 하고, 상기 하이브리드 비주얼 주기 유도 장치와 상기 기준점까지의 거리인 거리정보, 상기 기준점과 수직면상의 각도 차이인 수직각 정보 및 상기 기준점과 수평면상의 각도 차이인 수평각 정보를 포함하는 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제2 추출부는, 3차원 레이저 스캐너를 이용하여 항공기 스캔 이미지를 추출하고, 항공기의 거리 정보를 측정하는 레이저 스캐너부를 포함하고, 상기 레이저 스캐너부는 레이저 빔을 송출하는 송출부와 송출된 레이저 빔의 반사파를 수신하는 수신부를 구비하고 송출된 레이저 빔과 수신된 반사파의 도달 시간을 이용하여 항공기와의 거리 정보를 측정하는 거리 측정부, 상기 레이저 거리 측정 장치로부터 송출된 상기 레이저 빔을 송출된 방향과 수직한 방향으로 굴절시키기 위한 회전 거울, 상기 회전거울에 의해 굴절된 레이저 빔을 회전거울에 의해 굴절된 방향과 수직한 방향으로 굴절시키기 위한 하나 이상의 굴절부 및 상기 회전거울과 동일한 회전축에서 회전하는 구동부로 구성된 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 굴절부는, 상기 항공기의 상체를 스캔하기 위한 제1 삼각 미러, 상기 항공기의 하체를 스캔하기 위한 제2 삼각 미러, 상기 항공기의 코(Nose)부분을 스캔하기 위한 제1 평면 미러 및 상기 항공기의 꼬리(Tail)부분을 스캔하기 위한 제2 평면 미러로 구성된 것이 바람직하다.
본 발명의 일 실시 예에 따른 상기 제어부는, 항공기 정면도와 평면도 데이터인 이미지 템플릿 및 항공기의 특정부분의 규격과 각도 데이터인 데이터 프로파일이 저장된 저장부를 포함하고, 상기 항공기 이미지 데이터와 상기 이미지 템플릿을 비교하는 단계와 상기 항공기 스캔 데이터와 상기 데이터 프로파일을 비교하는 단계를 거쳐 항공기를 판별하는 것이 바람직하다.
상기와 같은 본 발명은 비디오 카메라를 이용한 유도 방식과 레이저 스캐너를 이용한 유도방식의 장점을 결합하여 빠르고 정확하게 항공기의 종류를 판별할 수 있다는 효과가 있다.
또한 본 발명은 레이저 방식을 이용하여 열악한 기상상황에서도 정확하고 정밀한 주기 유도할 수 있다는 효과가 있다.
또한 본 발명은 이미지 템플릿과 데이터 프로파일의 이중의 매칭 시스템을 이용하여 정확성과 신뢰도를 향상시키는 효과가 있다.
또한 본 발명은 하이브리드 비주얼 주기 유도 장치의 교정을 수행하여 장비의 오류를 방지하는 효과가 있다.
또한 본 발명은 비디오 영상이 악천후 등에 의해 작동이 불가한 경우에는 레이저 스캐너에 의한 데이터를 사용하고, 레이저 스캐너가 작동이 불가한 경우에는 비디오 영상을 사용하여 어느 한 방식이 작동하지 않는 경우 나머지 방식에 의해 보완이 가능한 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 구성을 간략하게 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 제1 추출부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 레이저 스캐너부(210)의 일 실시 예를 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 레이저 스캐너부(210)의 또 다른 일 실시 예를 나타낸 것이다.
도 5는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 제2 추출부의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 제어부(300)의 구성을 나타낸 것이다.
도 7은 각 항공기 제조사에서 제공하는 항공기들의 규격을 비교한 예를 나타낸 것이다.
도 8은 카메라(110) 및 거리 측정부(211)에 의해 획득한 최종 항공기의 정면도를 나타낸 것이다.
도 9는 카메라(110) 및 거리 측정부(211)에 의해 획득한 항공기 이미지의 평면도이다.
도 10 및 11은 본 하이브리드 비주얼 주기 유도 장치의 교정 기능을 설명하기 위한 것이다.
도 12는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 전체적인 구성도를 나타낸 것이다.
도 13은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 동작방법을 나타낸 순서도이다.
본 발명의 실시를 위한 최선의 형태는 도 1에 도시된 하이브리드 비주얼 주기 유도 장치이다.
도 1에 따르면 본 발명의 하이브리드 비주얼 주기 유도 장치는 카메라를 이용하여 항공기 이미지를 추출하는 제1 추출부(100), 3차원 레이저 스캐너를 이용하여 항공기 스캔 데이터를 추출하는 제2 추출부(200) 및 항공기 이미지와 항공기 스캔 데이터를 이용하여 지정된 주기 위치까지의 거리와 방향 데이터를 제공하는 제어부(300)를 포함할 수 있다.
제1 추출부(100)는 카메라를 이용하여 항공기 이미지를 촬영하고, 항공기 이미지로부터 항공기의 에지(Edge)를 추출하고 배경 이미지나 불필요한 부분을 제거한 항공기 이미지를 추출할 수 있다.
제2 추출부(200)는 3차원 고속 레이저 스캐너를 이용하여 항공기까지의 거리나 방향 정보를 포함하는 항공기 스캔 데이터를 추출할 수 있다.
제어부(300)는 제1 추출부 및 제2 추출부의 출력을 이용하여 항공기의 기종을 판별하고, 항공기까지의 거리나 방향 정보를 항공기 파일럿에게 제공할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시 예를 상세히 설명한다.
도 2는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 제1 추출부(100)의 구성을 나타낸 블록도이다.
도 2에 따르면, 본 발명의 제1 추출부(100)는 카메라(110), 초점 조절부(120), 줌제어부(130), 제1 처리부(140) 및 제2 처리부(150)를 포함할 수 있다.
카메라(110)는 본 발명의 하이브리드 비주얼 주기 유도 장치의 전방을 촬영한 결과를 전기적 신호로 변환하는 장치이다. 카메라(110)는 CCD(Charge-Coupled Device) 카메라, CMOS(Complementary Metal Oxide Semiconductor) 카메라뿐만 아니라, 다양한 카메라가 사용될 수 있으며 특정 종류의 카메라에 한정되지 않는다.
초점 조절부(120)는 카메라(110)의 초점을 최적의 상태로 유지할 수 있도록, 카메라의 상태에 따라 자동으로 초점을 조절할 수 있다. 또한 초점 조절부(120)는 카메라(110)로 촬영한 이미지에 대해서 오토 포커싱(Auto Focusing) 기능을 수행할 수 있다.
줌 제어부(130)는 카메라(110) 촬영시 특정 영역을 확대하거나 축소하는 부분으로, 상술한 초점 조절부(120)와 줌 제어부(130)의 입력신호를 받아 카메라(110)는 최적의 이미지를 촬영할 수 있다.
제1 처리부(140)는 카메라(110)가 촬영한 이미지의 전기적 신호를 수신하여 적절한 해상도를 갖는 디지털 이미지로 변환할 수 있다. 또한, 제1 처리부(140)는 변환한 디지털 이미지 신호에 대해서 다양한 이미지 처리를 할 수 있다.
즉, 제1 처리부(140)는 카메라(110)가 촬영한 이미지를 디지털 이미지로 변환하고, 변환된 항공기 디지털 이미지로부터 필요한 각종 데이터를 획득하기 위해 대수연산, 논리연산, 명암대비 확장 또는 변환, 히스토그램 평활화(Histogram Equalization), 샤프닝(Sharpening)등의 영상처리 작업을 수행할 수 있다. 제1 처리부(140)는 다양한 영상처리 작업을 수행하고 영상 처리가 완료된 이미지를 제2 처리부(150)로 전송할 수 있다.
제2 처리부(150)는 항공기의 기종을 판별하거나 항공기의 추적을 위해서 전송받은 이미지 신호에 Roberts, Prewitt, Sobel, Frei-Chen등의 1차 미분 연산자나, 라플라시안(Laplacian), 가우시안 라플라시안(LOG : Laplacian of Gaussian), 가우시안 차(DOG : Difference of Gaussian) 연산자 등의 2차 미분 연산자를 사용할 수 있다. 제2 처리부(150)는 상술한 1차 또는 2차 미분연산자를 사용하여 이미지 신호로부터 항공기 에지(Edge)를 추출하고, 항공기 이미지를 제외한 배경 이미지나 불필요한 영상부분을 마스킹(Masking) 처리할 수 있다. 항공기의 에지(Edge)를 추출하고 배경 이미지나 불필요한 영상부분을 마스킹 처리한 항공기 이미지 데이터는 제어부(300)내 비디오/레이저 병합부(310)로 전송될 수 있다.
본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치는 모니터링부(160)를 더 포함할 수 있다.
모니터링부(160)는 카메라(110)에서 획득한 영상 이미지를 이용하여 항공기 주기장 상태를 모니터링하고 공항의 중앙감시반에서 장비 운용자나 관리자들은 모니터링부(160)를 이용하여 영상을 감시하거나 저장할 수 있다.
또한 모니터링부(160)는 필요한 이미지 검색을 위해서 카메라(110)를 이용할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 레이저 스캐너부(210)의 일 실시 예를 나타낸 것이다.
도 3에 따르면 본 발명의 레이저 스캐너부(210)는 거리 측정부(211), 회전 원판(214), 모터(215), 삼각 미러(216, 217), 평면 미러(218, 219) 및 미러 회전모터(220, 221, 222, 223)를 포함할 수 있다.
거리 측정부(211)는 레이저 빔을 발생시켜 송출하고, 항공기로부터 반사된 레이저 빔을 수신하는 전자회로를 포함할 수 있다.
거리 측정부(211)는 내부에 레이저 송신용 레이저 다이오드(212)(LD : Laser Diode)와 레이저 수신용 포토 다이오드(213)(PD: Photo Diode) 또는 아발란체 포토 다이오드(APD: Avalanche Photo Diode)를 포함할 수 있다. 또한, 레이저 다이오드와 포토다이오드 외에도 이들을 레이저 송신 펄스와 반사파 수신 펄스의 시각 차이를 측정하고 그로부터 반사점의 거리를 계산하는 전자회로 및 소프트웨어를 포함할 수 있다.
회전 원판(214)은 거리 측정부(211)를 고정하는 수단일 수 있다.
또한 모터(215)는 회전 원판(214)을 회전시키는 동력을 제공하며, 스텝핑 모터(Stepping motor) 또는 서보 모터(Servo motor)가 사용될 수 있으나, 어느 하나에 한정되는 것은 아니다. 모터(215)에 의해서 거리 측정부(211)는 360도 방향으로 회전을 하며 스캐닝을 실시한다.
레이저 스캐너부(210)의 거리 측정부(211)의 외부에 네 방향에 걸쳐 미러(216, 217, 218, 219)들이 위치할 수 있다. 미러(216, 217, 218, 219)들은 레이저 다이오드(212)에서 발생한 레이저 빔을 90도 각도로 굴절시켜 수평방향으로 송신하고, 레이저 광을 수신할 때도 입사하는 방향으로부터 수평방향으로 들어온 반사파 신호를 90도 각도로 굴절시켜 거리 측정부(211)의 수광소자인 포토 다이오드(213) 또는 아발란체 포토 다이오드 쪽으로 입사시킨다.
본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치에 사용되는 레이저 스캐너부(210)의 경우 평면 미러(218, 219)와 삼각 미러(216, 217)의 두 가지 종류의 미러가 사용될 수 있으나, 그 구성 방법에 따라 다양한 형태와 숫자의 미러가 사용될 수 있다.
거리 측정부(211)는 한 번 회전 하는 동안에 네 개의 미러(216, 217, 218, 219)들을 이용하여 각기 다른 네 지점으로 레이저 빔을 송수신함으로써 여러 지점의 거리와 방향을 동시에 측정할 수 있다.
제1 삼각 미러(216)는 항공기의 윗 부분(상체) 스캔에 사용되고, 제2 삼각 미러(217)는 항공기의 아랫부분(하체) 스캔에 사용될 수 있다.
또 제1 평면 미러(218)는 항공기의 코(Nose) 부분을 향하도록 구성되어 항공기의 감지(Detection), 추적(Tracking) 및 거리(Distance)측정을 할 수 있다.
제2 평면 미러(219)는 항공기의 꼬리(Tail)부분의 거리 측정과 제1 평면 미러와 함께 항공기 방향(Azimuth)을 측정할 수 있다.
미러 회전모터(220, 221, 222, 223)는 각 미러에 연결되고, 미러를 회전시키며 각각 독립하여 작동할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 레이저 스캐너부(210)의 또 다른 일 실시 예를 나타낸 것이다.
도 4에 따르면, 본 발명의 하이브리드 비주얼 주기 유도 장치에 사용되는 레이저 스캐너부(21)는 도 3의 경우와 같이 거리 측정부(211) 자체를 회전시킬 수도 있지만, 도 4와 같이 회전 미러(214')를 구비하고, 회전 미러를 회전시키는 회전 미러 모터(215')를 이용하여 고정된 거리 측정부(211)로부터 송출된 레이저 빔을 전방으로 굴절시켜 전송하고 반사파을 수신함으로서 보다 효율적이고 안정된 구조를 구현할 수 있다..
도 4와 같은 구성에 따르면, 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 레이저 스캐너부(210)는 레이저 거리 측정부(211)를 직접 회전시키지 않기 때문에 보다 높은 내구도를 갖는 하이브리드 비주얼 주기 유도 장치를 구현할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 제2 추출부의 구성을 나타낸 블록도이다.
도 5에 따르면, 본 발명의 제2 추출부는 레이저 스캐너부(210), 제3 처리부(230), 제4 처리부(240), 거리 추출부(250) 및 방향 추출부(260)를 포함할 수 있다.
레이저 스캐너부(210)는 3차원 레이저 스캐너로 그 형태가 다양하게 구성될 수 있으며, 특정 3차원 레이저 스캐너에 한정되지 않는다. 다만, 본 발명에서 사용되는 3차원 레이저 스캐너의 일 실시 형태는 상술한 도 4 및 도 5에 대한 설명과 동일하므로 이하 상세한 설명은 생략한다. 레이저 스캐너부(210)는 3차원 레이저 스캐너를 통해 스캔하고자 하는 목표물을 3차원으로 스캔할 수 있다. 본 발명에서는 하이브리드 비주얼 주기 유도 장치로부터 항공기의 특정 지점까지의 거리 및 방향 정보를 추출할 수 있다.
제3 처리부(230)는 레이저 스캐너부(210)의 거리 측정부(211), 모터(215), 제1 삼각 미러(216), 제2 삼각 미러(217) 및 제1, 2 삼각 미러를 회전시키는 미러 회전모터(220,221)로부터 항공기의 윗부분 및 아랫부분의 거리 정보를 수신할 수 있다. 제3 처리부는 항공기의 윗부분 및 아랫부분의 거리 정보를 수신하고 불필요한 데이터를 제거하여 항공기 스캔 이미지로 변환할 수 있다. 또한 제3 처리부(230)는 거리 측정부(211)로부터 거리정보 측정 데이터를 수신하고, 모터(215)로부터 회전각 위치 데이터를 수신하여 각 위치에 따른 거리 정보를 토대로 불필요한 데이터를 제거하는 등 정확한 영상을 얻기 위한 작업을 수행할 수 있다. 제3 처리부(230)는 위 기술한 동작 외에도 정확한 항공기 위치 데이터를 얻기 위해 다양한 작업을 수행할 수 있다.
제4 처리부(240)는 제3 처리부(230)의 거리정보 변화 함수의 출력을 미분하여 항공기의 에지(Edge)를 취득할 수 있다. 구체적으로 모터(215)와 미러 회전모터(220, 221, 222, 223)의 위치정보, 레이저 빔의 송출시각 및 각 반사파 도착시간 등의 정보를 바탕으로 각각의 이미지 및 측정 거리정보를 결합하여 최종 이미지와 데이터 정보를 저장한다. 그리하여 제3 처리부(230)의 출력을 바탕으로 최종 항공기 스캔 이미지와 거리 및 위치 데이터를 포함한 항공기 스캔 데이터를 비디오/레이저 병합부(310)로 전송할 수 있다.
거리 추출부(250)와 방향 추출부(260)는 레이저 스캐너부(210)의 평면 미러(218, 219) 및 이들을 회전시키는 미러 회전모터(222, 223)로부터 수신한 데이터를 바탕으로 본 발명의 하이브리드 비주얼 주기 유도 장치로부터 항공기까지의 거리와 항공기의 방향을 추출할 수 있다.
구체적으로, 제1 평면 미러(218)는 항공기의 코(Nose) 부분을 향하도록 구성되어 항공기의 감지(Detection), 추적(Tracking) 및 거리(Distance)측정을 할 수 있다.
또한 제2 평면 미러(219)는 항공기의 꼬리(Tail)부분의 거리 측정과 제1 평면 미러와 함께 항공기 방향(Azimuth)을 측정할 수 있다.
거리 추출부(250)는 제1 평면 미러(218)와 미러 회전모터(222)에 의해 계속적으로 항공기의 코끝 위치를 추적하여 항공기의 거리(Distance)를 실시간으로 측정할 수 있다. 측정된 거리 정보는 항공기의 정지지점으로부터 잔여거리를 실시간으로 계산하는데 사용될 수 있다. 계산된 잔여거리는 제어부(300)를 통해 항공기 조종사에게 제공될 수 있다.
방향 추출부(34)는 제2 평면 미러(219)과 미러 회전모터(223)에 의해 계속적으로 항공기 코끝의 위치와 꼬리의 위치를 조합하여 항공기의 방향(Azimuth)을 실시간으로 특정하고, 중심선으로부터 항공기의 주행방향이 얼마나 차이가 나는지를 실시간으로 계산하여 항공기 조종사에게 제어부(300)를 통해 제공할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 제어부(300)의 구성을 나타낸 것이다.
도 6에 따르면 본 발명의 하이브리드 비주얼 주기 유도 장치의 제어부(300)는 비디오 레이저 병합부(310), 인식부(320), 저장부(330), 파일럿 디스플레이부(340), 수동조작유닛(350), 제1 전력공급부(360), 제2 예비 전력 공급부(370) 및 점검부(380)로 구성될 수 있다.
비디오 레이저 병합부(310)는 제2 처리부(150)를 통해 처리된 항공기 이미지 데이터와 제4 처리부(240)를 통해 처리된 항공기 스캔 데이터를 병합할 수 있다. 구체적으로 비디오 레이저 병합부(310)의 항공기 이미지와 레이저 스캔 데이터 중 최종 항공기 스캔 이미지를 병합하여 최종 이미지를 완성하고 그에 따른 항공기의 특정 부분의 위치 데이터에 대한 프로파일(Profile)을 작성할 수 있다.
항공기 특정부분의 위치 데이터는 기체 장(Body Length), 날개 폭(Wing Span), 코 높이(Nosal Height) 및 날개 각(Wing Angle)등의 데이터를 포함하며 그외 각 주요 부위의 길이나 각도 등의 데이터 프로파일을 별도의 텍스트 데이터 레코드의 형태로 저장될 수 있다.
인식부(320)는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 종합적인 제어 및 최종 처리 시스템 프로세서이다.
인식부(320)는 비디오 레이저 병합부(310)로부터 얻은 최종 이미지 및 데이터를 기준으로 본 발명의 하이브리드 비주얼 주기 유도 장치의 목적인 항공기 기종 판별 및 주기 유도를 위한 종합적인 제어와 데이터 처리를 할 수 있다.
즉, 인식부(320)는 비디오 레이저 병합부(310)로부터 얻은 최종 이미지로부터 저장부(330)에 저장된 항공기 이미지 템플릿 중 매칭되는 템플릿을 찾아내고, 동시에 기체 장(Body Length), 날개 폭(Wing Span), 코 높이(Nosal Height) 및 날개 각(Wing Angle)등 항공기 주요 부위의 길이나 각도 등의 프로파일을 저장부(330)에 미리 저장된 항공기 제작사의 각 기종별 데이터와 비교하여 완전히 정합 되는 기종을 판별할 수 있다.
인식부(320)는 항공기의 기종을 판별한 뒤, 주기 유도를 위하여 목표지점과의 거리 및 방향 정보를 디스플레이부(340)에 표시하여 항공기 조종사가 이를 기초로 정해진 목표지점에 정확히 주기할 수 있다.
인식부(320)는 이미지 템플릿과 데이터 프로파일을 비교하는 이중 매칭을 확인함으로써 판별 오류를 최소화하기 때문에 기존의 시각 주기 유도 시스템(VDGS)보다 정확성과 신뢰도를 크게 향상시킬 수 있다.
수동조작유닛(350)은 본 발명의 하이브리드 비주얼 주기 유도 장치에 에러가 발생하거나 비상정지(Emergency Stop)가 발생한 경우 수동모드(Manual Mode)로 디스플레이부(340)에 필요한 정보를 디스플레이 할 수 있다.
즉 하이브리드 비주얼 주기 유도 장치의 고장이나 작동이 어려운 상황에서 기본적인 주기를 위한 정보를 수동모드로 항공기 조종사를 위해 디스플레이부(340)에 표시할 수도 있다.
제1 전력 공급부(360)는 본 발명의 하이브리드 비주얼 주기 유도 장치에 교류(AC)전압을 직류 24V로 변환하여 전원을 공급할 수 있다.
또한 본 발명의 하이브리드 비주얼 주기 유도 장치는 교류 상용전원이 정전인 경우를 대비하여 직류전압을 직접 공급하는 제2 전력 공급부(370)를 더 포함할 수 있다.
점검부(380)는 본 발명의 하이브리드 비주얼 주기 유도 장치의 이상 유무를 점검하고 교정(Calibration)할 수 있다. 점검부(380)의 동작에 대해서는 도 10 및 11에서 상세히 설명한다.
도 7은 각 항공기 제조사에서 제공하는 항공기들의 규격을 비교한 예을 나타낸 것이다.
도 7에 따르면, 휴즈(Hughes)사의 H-4 Spruce Goose, Myria AN-255, Airbus사의 A-380-800 및 보잉(Boeing)사의 B-747-8 모델의 각 규격을 비교한 것을 볼 수 있다.
각각의 항공기는 날개 길이, 날개 각도, 기체 길이 및 코끝 높이 등이 상이하여 이들 요소들을 비교하여 각 항공기의 기종을 판별할 수 있다.
도 7에 나타난 항공기는 일부 예시에 불과하며, 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치가 판별 가능한 항공기를 도시한 것이 아니다.
도 8은 카메라(110) 및 거리 측정부(211)에 의해 획득한 최종 항공기의 정면도를 나타낸 것이다.
도 8에 따르면, T(10)는 최원점인 항공기의 꼬리지점이고, N(20)은 항공기의 최근점인 코끝이다. L(30)과 R(40)은 각각 항공기의 최좌점 및 최우점이다. 또한 항공기의 날개각을 구하기 위해 W1(50) 및 W2(60)의 거리 및 위치각 정보를 획득하는데 이는 좌우 날개의 시작지점이다.
비디오 영상이나 레이저 스캔에 따른 평면도는 명확하게 표현되지 않을 수 있으나, 항공기 높이와 본 발명의 하이브리드 비주얼 주기 유도 장치의 높이가 비슷하므로 주요 특징지점의 위치만 확인되면 항공기 기종 판별이 가능하다.
도 9는 카메라(110) 및 거리 측정부(211)에 의해 획득한 항공기 이미지의 평면도이다.
도 9에 따르면 최원점(10)과 최근점(20)을 연결한 중심선과 최좌점(30) 및 좌측날개 시작지점(50)을 연결한 선이 이루는 각을 항공기 날개각(70)이라 한다.
도 10 및 11은 본 하이브리드 비주얼 주기 유도 장치의 교정 기능을 설명하기 위한 것이다.
도 11은 도 10을 위에서 바라본 평면도를 도시한 것이다.
도 10에 따르면 본 발명의 하이브리드 비주얼 주기 유도 장치의 교정(Calibration) 기능은 주기적, 비주기적, 일 1회, 월 1회 등 횟수나 주기를 임의로 지정할 수 있다.
하이브리드 비주얼 주기 유도 장치의 교정기능은 제어부(300)내 점검부(380)에서 수행될 수 있다. 본 발명의 하이브리드 비주얼 주기 유도 장치(700)는 다양한 위치에 설치될 수 있다. 도 10에서는 설명이 용이하도록 지지 수단(720)에 의해 고정된 것으로 되어 있으나, 이에 한정하는 것은 아니다.
하이브리드 비주얼 주기 유도 장치의 교정방법은 다음과 같다. 항공기 유도로(taxiway)는 항공기의 주기 유도가 실시되는 도로를 의미한다. 항공기 유도로에는 중심진행선(Centerline)(740)이 있고, 항공기의 정지 위치에는 다수의 정지선(Stopline)(730)이 존재한다. 항공기 기종에 따라 정지선의 위치가 각각 상이할 수 있다.
본 발명의 하이브리드 비주얼 주기 유도 장치의 교정을 위해 기준이 되는 지점인 기준점(Reference Point)은 하이브리드 비주얼 주기 유도 장치에 가장 인접한 정지선인 인접정지선(731)과 중심진행선(740)의 교차점일 수 있다.
본 발명의 하이브리드 비주얼 주기 유도 장치(700)로부터 기준점까지의 거리인 거리정보d(71)와 장치로부터 기준점(Reference Point)으로 투사되는 레이저 빔 경로의 수직 면에서의 각도를 나타내는 수직각정보φ(72) 및 장치의 설치방향과 중심진행선(740)의 수평면에서의 각도를 나타내는 수평각정보θ(73)를 사전에 측정하여 기준값으로 설정할 수 있다.
따라서 본 발명의 하이브리드 비주얼 주기 유도 장치의 교정시 미리 설정된 거리정보d(71), 수직각정보φ(72) 및 수평각정보θ(73)의 기준값과 측정값을 비교하여, 오차범위 밖에 있는 경우, 자체 교정(Self Calibration)을 실시하여 본 발명의 하이브리드 비주얼 주기 유도 장치의 정확도를 높일 수 있다.
도 12는 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 전체적인 구성도를 나타낸 것이다.
도 12에 따르면 본 발명의 하이브리드 비주얼 주기 유도 장치의 전체적인 구성은 카메라(110)를 이용한 제1 추출부(100)와 3차원 레이저 스캐너부(210)를 이용한 제2 추출부(200) 그리고 제1 및 제2 추출부의 출력을 병합하여 주기를 유도하는 방식으로 동작하며, 그 구체적인 내용은 앞서 설명한 바와 동일하므로 생략한다.
도 13은 본 발명의 일 실시 예에 따른 하이브리드 비주얼 주기 유도 장치의 동작방법을 나타낸 순서도이다.
도 13에 따르면 먼저, 항공기의 착륙 일정 시간 전 하이브리드 비주얼 주기 유도 장치가 동작을 개시할 수 있다.
하이브리드 비주얼 주기 유도 장치는 항공기의 도래가 예상되는 지점으로 레이저 빔을 발사하여 반사파의 수신 여부를 점검할 수 있다(S10). 이를 대기 모드라고 할 수 있고, 항공기가 감지되지 않으면, 계속 대기 모드에 있다가, 항공기가 감지되고 난 뒤 미리 설정해 놓은 시간 또는 거리에 항공기가 이르게 되면, 비디오 영상을 획득하고(S20), 획득된 영상으로부터 에지(Edge)를 검출할 수 있다(S21).
비디오 영상은 카메라에 투시된 영상에서 한 프레임(Frame)의 영상을 포착(Catch)하는 방식으로 획득할 수 있다. 그와 동시에 항공기에 대한 레이저 이미지를 스캔하게 된다(S30). 레이저 이미지 스캔을 위해 레이저 스캐너부(210)의 제1 삼각 미러(216) 및 제2 삼각 미러(217)를 사용하여 레이저 이미지를 스캔하고, 스캔 이미지로부터 휘도 및 거리 값의 미분 값을 이용해서 에지 검출(Edge Detection) 및 에지 향상(Edge Enhancement)등의 처리를 할 수 있다(S31).
비디오 영상과 레이저 스캔 이미지의 에지 검출이 끝나면 두 이미지를 하나로 병합하고(S40), 최종 에지를 추출하고, 이를 명암대비 확장 등의 기법으로 향상시킨다.
그 뒤 항공기 몸체 등 필요하고 관심 있는 영상 이미지만 추출하고 나머지 불필요한 이미지를 마스킹(Masking)한다(S41).
최종 이미지가 완성되면 저장부(330)내의 항공기 템플릿 데이터(S43)로부터 완성된 항공기 이미지 템플릿과 가장 일치하는 항공기 이미지 템플릿을 검색한 뒤, 그 차이가 미리 설정된 오차범위 내에 있는지를 판별한다(S44).
오차범위 내에 해당하면, 항공기 트래킹(Tracking) 모드로 진입하지만, 그렇지 않은 경우에는 비디오 이미지 및 레이저 이미지를 다시 추출할 수 있다.
한편, 레이저 스캔 이미지로부터 거리 정보 데이터를 추출할 수 있다.
거리 정보 데이터는 최원점(The Farthest Point), 최근점(The Nearest Point), 최좌점(The Leftmost Point) 및 최우점(The Rightmost Point)에 대한 거리 및 각도 데이터를 포함한다(S32). 거리 정보 데이터를 이용하여 항공기의 기체 장(Body Length), 날개 폭(Wing Span), 코 높이(Nosal Height) 및 날개 각(Wing Angle)등의 값을 계산하고(S33), 그 결과를 텍스트 프로파일 레코드 형태로 항공기 프로파일을 작성한다(S34).
또한 저장부(330)내에 항공기 프로파일 데이터(S36)로부터 해당 항공기 프로파일 데이터와 가장 유사한 프로파일을 추출하고 오차범위 내에 해당하는지를 비교한다(S35,S37). 비교한 결과 오차범위 내라면 트래킹 단계(S50)로 진입하지만, 그렇지 못한 경우에는 비디오 이미지 및 레이저 스캔 이미지를 다시 획득한다. 이 경우 불일치의 주 원인이 되는 항공기 진입속도를 낮추기 위해 항공기 조종사에게 천천히를 의미하는 "SLOW"를 출력할 수 있다(S38).
일반적으로 공항에서는 공항 네트워크(S51)를 통해 운항정보관리시스템(FIMS : Flight Information Management System), 게이트 운영 시스템(GOS : Gate Operating System)등 공항 전산 시스템이 존재 하는데(S52), 항공기가 트래킹 모드로 진입하게 되면, 비디오와 레이저로부터 획득한 데이터가 운항정보상의 예정된 기종명과 상호 일치하는지 판단한다(S53).
만일 공항내 운항정보관리시스템에 입력된 항공기 정보와 본 발명의 하이브리드 비주얼 주기 유도 장치가 검출한 항공기 정보가 불일치 하는 경우 운항 규정상 항공기 조종사에게 긴급정지(Emergency Stop)을 의미하는 "E.STOP"를 조종사에게 출력할 수 있다. 이 경우 동시에 자동모드에서 수동모드로 전환된다(S55).
위와 같은 공항 전산 시스템은 공항 네트워크에 통신 인터페이스를 사용하여 접속할 수 있다.
계획된 운항정보와 본 발명의 하이브리드 비주얼 주기 유도 장치가 판별한 항공기 정보가 일치하는 경우 항공기 모델 즉 기종명을 확정하고, 디스플레이부(340)를 통해 항공기 모델명을 예를 들어 "B-747-400"과 같이 기종명과 형명을 표시해주고 주기단계에 진입한다(S56,57,60)
주기단계부터는 항공기를 계속 추적하면서 주행로의 중심선으로부터의 이격방향과 항공기 진입속도를 실시간으로 측정하여 정지지점까지의 거리, 주행로 중심선으로부터의 이격방향 및 항공기 진입속도의 항목들에 대해서 디스플레이부(340)를 통해 표시할 수 있다(S61).
정지지점에서 0.1미터 이내가 되면 주기단계를 종료하고 항공기 조종사에게 정지를 의미하는 "STOP"를 출력할 수 있다(S62,63,64).
만일 항공기 조종사가 정지 조작을 늦게 행하여 항공기가 정지지점으로부터 0.1미터 이상 초과하면 항공기 조종사에게 "TOO FAR"를 출력할 수 있다(S65,66).
이상에서 본 발명에 따른 실시 예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (17)

  1. 카메라로 촬영한 영상 신호로부터 항공기 이미지 데이터를 추출하는 제1 추출부;
    3차원 레이저 스캐너로 스캔한 신호로부터 항공기 스캔 데이터를 추출하는 제2 추출부;및
    상기 항공기 이미지 데이터와 상기 항공기 스캔 데이터를 병합한 항공기 위치 데이터를 생성하여 주기 목표 위치와의 거리 및 방향을 제공하여 주기를 유도하는 제어부를 포함하는 하이브리드 비주얼 주기 유도 장치.
  2. 제1항에 있어서, 상기 제1 추출부는,
    비디오 영상을 촬영하는 카메라;
    상기 카메라로 촬영한 비디오 영상을 디지털 이미지로 변환하고, 변환된 상기 디지털 이미지로부터 항공기 데이터를 얻기 위한 영상처리 작업을 수행하는 제1 처리부; 및
    상기 제1 처리부의 출력으로부터 에지(Edge)를 추출하고, 항공기를 제외한 배경 이미지나 불필요한 영상부분을 마스킹(Masking) 처리하는 제2 처리부를 포함하는 하이브리드 비주얼 주기 유도 장치.
  3. 제2항에 있어서, 상기 제1 추출부는,
    상기 카메라를 이용하여 항공기 주기장 상태를 모니터링하는 모니터링부를 더 포함하는 하이브리드 비주얼 주기 유도 장치.
  4. 제2항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 추출부는,
    상기 카메라로 촬영한 비디오 영상에 대해서 오토 포커싱(Auto Focusing)을 수행하는 초점 조절부를 더 포함하는 하이브리드 비주얼 주기 유도 장치.
  5. 제 2항 내지 3항 중 어느 한 항에 있어서, 상기 제1 추출부는,
    상기 카메라로 촬영한 비디오 영상의 특정 영역을 확대하거나 전체 영역을 축소하는 줌 제어부를 더 포함하는 하이브리드 비주얼 주기 유도 장치.
  6. 제 1항에 있어서, 상기 제2 추출부는,
    3차원 레이저 스캐너를 이용하여 항공기 스캔 이미지를 추출하고, 항공기의 거리 정보를 측정하는 레이저 스캐너부를 포함하고,
    상기 레이저 스캐너부는,
    레이저 빔을 송출하는 송출부와 송출된 레이저 빔의 반사파를 수신하는 수신부를 구비하고 송출된 레이저 빔과 수신된 반사파의 도달 시간 이용하여 항공기와의 거리 정보를 측정하는 거리 측정부;
    상기 거리 측정부를 회전시키는 모터;및
    상기 송출부에서 레이저 빔을 송출되는 방향과 다른 방향으로 굴절시키기 위한 하나 이상의 굴절부를 포함하고,
    상기 모터는 레이저 거리 측정 장치와 동일한 회전축에서 회전하는 하이브리드 비주얼 주기 유도 장치.
  7. 제 6항에 있어서 상기 굴절부는,
    상기 항공기의 상체를 스캔하기 위한 제1 삼각 미러;
    상기 항공기의 하체를 스캔하기 위한 제2 삼각 미러;
    상기 항공기의 코(Nose)부분을 스캔하기 위한 제1 평면 미러;및
    상기 항공기의 꼬리(Tail)부분을 스캔하기 위한 제2 평면 미러로 구성된 하이브리드 비주얼 주기 유도 장치.
  8. 제 6항에 있어서 상기 제2 추출부는,
    상기 레이저 스캐너부로부터 항공기 스캔 이미지와 항공기의 거리정보를 수신하여 항공기 이외의 부분을 제거하는 제3 처리부를 더 포함하는 하이브리드 비주얼 주기 유도 장치.
  9. 제 8항에 있어서 상기 제2 추출부는,
    상기 제3 처리부로부터 불필요한 부분이 제거된 항공기 스캔 이미지와 항공기의 거리정보를 이용하여 항공기의 에지 정보를 추출하고 상기 거리정보를 결합하여 항공기 스캔 데이터를 추출하는 제4 처리부를 더 포함하는 하이브리드 비주얼 주기 유도 장치.
  10. 제 1항에 있어서, 상기 제어부는,
    상기 제1 추출부에서 추출한 항공기 이미지 데이터와 상기 제2 추출부에서 추출한 항공기 스캔 데이터를 병합하여 항공기의 윤곽선 데이터인 항공기 템플릿과 항공기의 주요 규격정보를 포함하는 항공기 데이터 프로파일을 작성하는 비디오 레이저 병합부;
    공항 전산 시스템과 네트워크를 통해 연결되고, 항공기의 스케쥴과 항공기 기종에 관한 항공기 정보를 저장하는 저장부;및
    상기 항공기 템플릿 및 항공기 데이터 프로파일과 상기 저장부에 저장된 항공기 스케줄 및 항공기 정보를 비교하여 주기 대상 항공기를 인식하는 인식부로 구성된 하이브리드 비주얼 주기 유도 장치.
  11. 제 10항에 있어서, 상기 제어부는,
    상기 인식부의 항공기 인식 결과에 따른 결과로부터 항공기 조종사에게 주기 위치와의 거리 및 방향 정보를 디스플레이하는 디스플레이부를 더 포함하는 하이브리드 비주얼 주기유도 장치.
  12. 제 1항에 있어서, 상기 제어부는,
    교류 상용 전원을 직류로 변환하여 상기 하이브리드 비주얼 주기 유도 장치에 필요한 전력을 공급하는 제1 전력공급부 및 교류 상용전원이 정전인 경우 직류전압을 직접 공급하는 제2 전력 공급부를 더 포함하는 하이브리드 비주얼 주기 유도 장치.
  13. 제 1항에 있어서, 상기 제어부는,
    상기 하이브리드 비주얼 주기 유도 장치를 점검하는 점검부를 더 포함하고, 상기 점검부는 상기 하이브리드 비주얼 주기 유도 장치의 기준값 정보를 저장하고 시스템 점검시 저장된 상기 기준값 정보와 측정값 정보를 비교하여 시스템의 이상 유무를 판단하는 하이브리드 비주얼 주기 유도 장치.
  14. 제 13항에 있어서, 상기 기준값 정보는,
    상기 하이브리드 비주얼 주기 유도 장치와 가장 가까운 정지선과 중심진행선의 교차점을 기준점으로 하고, 상기 하이브리드 비주얼 주기 유도 장치와 상기 기준점까지의 거리인 거리정보;
    상기 기준점과 수직면상의 각도 차이인 수직각 정보; 및
    상기 기준점과 수평면상의 각도 차이인 수평각 정보를 포함하는 하이브리드 비주얼 주기 유도 장치.
  15. 제 1항에 있어서 상기 제2 추출부는,
    3차원 레이저 스캐너를 이용하여 항공기 스캔 이미지를 추출하고, 항공기의 거리 정보를 측정하는 레이저 스캐너부를 포함하고,
    상기 레이저 스캐너부는
    레이저 빔을 송출하는 송출부와 송출된 레이저 빔의 반사파를 수신하는 수신부를 구비하고 송출된 레이저 빔과 수신된 반사파의 도달 시간을 이용하여 항공기와의 거리 정보를 측정하는 거리 측정부;
    상기 레이저 거리 측정 장치로부터 송출된 상기 레이저 빔을 송출된 방향과 수직한 방향으로 굴절시키기 위한 회전 거울;
    상기 회전거울에 의해 굴절된 레이저 빔을 회전거울에 의해 굴절된 방향과 수직한 방향으로 굴절시키기 위한 하나 이상의 굴절부;및
    상기 회전거울과 동일한 회전축에서 회전하는 구동부로 구성된 하이브리드 비주얼 주기 유도 장치.
  16. 제 15항에 있어서 상기 굴절부는,
    상기 항공기의 상체를 스캔하기 위한 제1 삼각 미러;
    상기 항공기의 하체를 스캔하기 위한 제2 삼각 미러;
    상기 항공기의 코(Nose)부분을 스캔하기 위한 제1 평면 미러;및
    상기 항공기의 꼬리(Tail)부분을 스캔하기 위한 제2 평면 미러로 구성된 하이브리드 비주얼 주기 유도 장치.
  17. 제 1항에 있어서, 상기 제어부는,
    항공기 정면도와 평면도 데이터인 이미지 템플릿 및 항공기의 특정부분의 규격과 각도 데이터인 데이터 프로파일이 저장된 저장부를 포함하고,
    상기 항공기 이미지 데이터와 상기 이미지 템플릿을 비교하는 단계와 상기 항공기 스캔 데이터와 상기 데이터 프로파일을 비교하는 단계를 거쳐 항공기를 판별하는 하이브리드 비주얼 주기 유도 장치.
PCT/KR2013/009314 2013-07-08 2013-10-18 하이브리드 비주얼 주기 유도 장치 WO2015005534A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0079884 2013-07-08
KR20130079884A KR20150006279A (ko) 2013-07-08 2013-07-08 하이브리드 비주얼 주기 유도 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2015005534A1 true WO2015005534A1 (ko) 2015-01-15

Family

ID=52280192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009314 WO2015005534A1 (ko) 2013-07-08 2013-10-18 하이브리드 비주얼 주기 유도 장치

Country Status (2)

Country Link
KR (1) KR20150006279A (ko)
WO (1) WO2015005534A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346142A (zh) * 2016-09-30 2017-11-14 广州亿航智能技术有限公司 飞行器控制方法、光流模块及飞行器
EP3951421A1 (en) * 2020-08-03 2022-02-09 Honeywell International Inc. Multi-sensor data fusion-based aircraft detection, tracking, and docking

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102567249B1 (ko) * 2021-04-21 2023-08-21 (주)안세기술 3차원 레이저 스캐너를 이용한 항공기 주기유도 시스템 및 이를 이용한 항공기 주기 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100964A (en) * 1997-05-20 2000-08-08 Sagem Sa Method and a system for guiding an aircraft to a docking station
JP2001187599A (ja) * 1999-12-28 2001-07-10 Mitsubishi Electric Corp 駐機位置表示装置
KR100512770B1 (ko) * 2003-11-10 2005-09-06 비경시스템주식회사 양방향 통신용 멀티플렉서
JP2006287650A (ja) * 2005-03-31 2006-10-19 Mitsubishi Heavy Ind Ltd 車両撮像カメラ
US20120075461A1 (en) * 2009-03-27 2012-03-29 Qifeng Yu Ground-based videometrics guiding method for aircraft landing or unmanned aerial vehicles recovery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100964A (en) * 1997-05-20 2000-08-08 Sagem Sa Method and a system for guiding an aircraft to a docking station
JP2001187599A (ja) * 1999-12-28 2001-07-10 Mitsubishi Electric Corp 駐機位置表示装置
KR100512770B1 (ko) * 2003-11-10 2005-09-06 비경시스템주식회사 양방향 통신용 멀티플렉서
JP2006287650A (ja) * 2005-03-31 2006-10-19 Mitsubishi Heavy Ind Ltd 車両撮像カメラ
US20120075461A1 (en) * 2009-03-27 2012-03-29 Qifeng Yu Ground-based videometrics guiding method for aircraft landing or unmanned aerial vehicles recovery

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346142A (zh) * 2016-09-30 2017-11-14 广州亿航智能技术有限公司 飞行器控制方法、光流模块及飞行器
WO2018059296A1 (zh) * 2016-09-30 2018-04-05 亿航智能设备（广州）有限公司 飞行器控制方法、光流模块及飞行器
EP3951421A1 (en) * 2020-08-03 2022-02-09 Honeywell International Inc. Multi-sensor data fusion-based aircraft detection, tracking, and docking
US11538349B2 (en) 2020-08-03 2022-12-27 Honeywell International Inc. Multi-sensor data fusion-based aircraft detection, tracking, and docking
US11756440B2 (en) 2020-08-03 2023-09-12 Honeywell International Inc. Multi-sensor data fusion-based aircraft detection, tracking, and docking

Also Published As

Publication number Publication date
KR20150006279A (ko) 2015-01-16

Similar Documents

Publication Publication Date Title
CN102590882B (zh) 机场道面异物监测系统
WO2016153233A1 (ko) 라이다 장치
WO2020004817A1 (ko) 차선 정보 검출 장치, 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
KR100898061B1 (ko) 하이브리드 터널 스캐닝 장치
US11009894B2 (en) Unmanned flying device control system, unmanned flying device control method, and inspection device
WO2016104917A1 (ko) 도착 정보 제공 방법 및 서버 및 디스플레이 장치
WO2017119545A1 (ko) 2d 레이저 센서와 모터를 구비하는 스캐너를 이용하여 항공기를 주기장에 안전하게 유도하는 방법
US20120140041A1 (en) Method and system for the remote inspection of a structure
KR101314566B1 (ko) 항공기 기종판별 및 주기유도 시스템 및 방법
WO2013141605A1 (ko) 항공기의 기종판별 및 주기유도를 위한 시스템 및 방법
KR101160896B1 (ko) 레이저 스캐너를 이용한 항공기 기종 식별 및 항공기 자기위치 확인 시스템
WO2015005534A1 (ko) 하이브리드 비주얼 주기 유도 장치
WO2017188572A1 (ko) 가동브래킷 변형 검사 시스템
CN106027955A (zh) 一种用于辅助飞机检查与远程故障诊断的图像采集系统
KR101800297B1 (ko) 비행체를 이용한 콘크리트 구조물 외곽 균열 탐지 시스템
WO2022092437A1 (ko) 드론을 이용하여 하천 시설을 인식하기 위한 시스템 및 그 방법
WO2017034375A1 (ko) 이동식 교통 단속 시스템
US20220413498A1 (en) Aircraft docking guidance system using 3d laser scanner and control method for the same
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
CN115792896A (zh) 一种轨道式机场跑道fod检测方法及系统
WO2022092436A1 (ko) 드론을 이용하여 하천 지형을 측량하기 위한 시스템 및 그 방법
JP4071412B2 (ja) 駐機位置表示装置
CN112505712A (zh) 基于测温成像仪和激光雷达的飞机客舱门检测系统
WO2022114551A1 (ko) 전자 장치 및 그 제어 방법
WO2023101049A1 (ko) 결함 점검 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13889154

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13889154

Country of ref document: EP

Kind code of ref document: A1