KR102674877B1 - 탑승교 데이타 융합처리 장치 및 그 방법 - Google Patents
탑승교 데이타 융합처리 장치 및 그 방법 Download PDFInfo
- Publication number
- KR102674877B1 KR102674877B1 KR1020230112237A KR20230112237A KR102674877B1 KR 102674877 B1 KR102674877 B1 KR 102674877B1 KR 1020230112237 A KR1020230112237 A KR 1020230112237A KR 20230112237 A KR20230112237 A KR 20230112237A KR 102674877 B1 KR102674877 B1 KR 102674877B1
- Authority
- KR
- South Korea
- Prior art keywords
- boarding bridge
- data
- lidar
- aircraft
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000007499 fusion processing Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000000926 separation method Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F1/00—Ground or aircraft-carrier-deck installations
- B64F1/30—Ground or aircraft-carrier-deck installations for embarking or disembarking passengers
- B64F1/305—Bridges extending between terminal building and aircraft, e.g. telescopic, vertically adjustable
- B64F1/3055—Bridges extending between terminal building and aircraft, e.g. telescopic, vertically adjustable with hinged head interface between aircraft and passenger bridge
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Structural Engineering (AREA)
- Civil Engineering (AREA)
- Architecture (AREA)
- Aviation & Aerospace Engineering (AREA)
- Artificial Intelligence (AREA)
- Mechanical Engineering (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 탑승교 데이타 융합처리 장치 및 그 방법에 관한 것으로, 본 발명의 일실시예에 따른 탑승교 데이타 융합처리 장치는, 카메라에 의해 얻는 카메라 이미지를 딥러닝을 통해 식별된 항공기 출입구 검출 정보, 상기 카메라에 의해 얻는 카메라 이미지 상에 제1 라이다에 의해 얻는 제1 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터 및 상기 카메라에 의해 얻는 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력하기 위한 출입구 검출부; 제2 라이다에 의해 얻는 제2 라이다 데이터의 클러스터링(clustering)으로부터 지면 데이터를 제거한 정보 및 상기 제2 라이다 데이터의 클러스터링 정보를 상호 통합하여 항공기 동체 및 엔진 거리 정보를 산출하기 위한 동체 및 엔진 거리 산출부; 및 상기 항공기 출입구 검출 결과와 상기 항공기 동체 및 엔진 거리 정보를 이용하여 탑승교 운전 제어 프로토콜에 적용함으로써 탑승교와 목표점까지의 이격 거리를 특정하여 상기 탑승교를 제어하도록 하기 위한 제어 연동부;를 포함한다.
Description
본 발명은 탑승교 데이타 융합처리 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 탑승교(Passenger Boarding Bridge,PBB)에서 캐빈(cabin) 상부와 하부에 설치된 라이다(Light Detection And Ranging, LiDAR)를 이용하여 항공기 출입구를 검출하고, 항공기 동체와 엔진까지의 거리를 산출함으로써 탑승교에서 항공기까지 이격거리를 특정하여 탑승교의 자동 운전 제어를 가능하게 하기 위한, 탑승교 데이타 융합처리 장치 및 그 방법에 관한 것이다.
탑승교(Passenger Boarding Bridge,PBB) 시설은 공항 이용객들의 항공기 승하차를 위해서 필요한 승강시설로서, 탑승교 운전부에 사람이 탑승하여 직접 운전하여 항공기 출입구에 접현 또는 이현하도록 되어 있다. 이때, 탑승교 운전자는 로툰다(rotunda) 하단에 설치된 영상정보와 운전석 전면 시야에 의존하여 탑승교 상태를 판단하고 수동운전에 의한 접현 또는 이현을 수행하게 된다.
최근 들어, 탑승교 시설은 다종 인식센서 및 센서 활용 기술을 접목하여 수동운전에 의존하던 탑승교의 기능을 고도화하려는 연구가 진행되고 있다. 특히, 탑승교 시설은 자율주행기술을 이용하여 주기된 항공기 근처까지 탑승교를 이동시키는 연구가 진행되고 있다.
이와 같이, 탑승교 자율주행기술 구현하기 위해서는 목적지(Target) 및 이동과정 주변의 장애물에 대해 정확히 인식하고, 움직이는 주체와 장애물 간 이격거리 계산을 통해 안정성을 확보하며, 취득 데이터를 기반으로 정확하고 정밀한 탑승교 자세 제어 기술 확보가 필요하다.
더욱이, 자율주행기술에서는 신속하게 목적지로 이동하는 제어 기술뿐만 아니라, 움직이는 주체와 장애물로 인해 안전한 주행 환경에 대한 요구가 증대되고 있다. 이를 위해, 자율주행기술에서는 주형 지형과 물체를 빠르고 정확하게 실시간으로 감지하는 다양한 센서를 필요로 한다.
최근에는 대상 물체까지의 거리, 움직이는 속도와 방향 분석 등에 다양하게 활용될 수 있는 센서 기술로서 라이다(Light Detection and Ranging, LiDAR) 기술에 대한 관심이 높아지고 있다.
따라서, 탑승교 자율주행기술에서는 라이다(LIDAR)를 이용하여 목표물(항공기)과 객체(탑승교)를 인식, 거리 측정 등을 수행할 수 있는 방안이 마련될 필요가 있다.
본 발명의 목적은 탑승교(Passenger Boarding Bridge,PBB)에서 캐빈(cabin) 상부와 하부에 설치된 라이다(Light Detection And Ranging, LiDAR)를 이용하여 항공기 출입구를 검출하고, 항공기 동체와 엔진까지의 거리를 산출함으로써 탑승교에서 항공기까지 이격거리를 특정하여 탑승교의 자동 운전 제어를 가능하게 하기 위한, 탑승교 데이타 융합처리 장치 및 그 방법을 제공하는데 있다.
본 발명의 일실시예에 따른 탑승교 데이타 융합처리 장치는, 카메라에 의해 얻는 카메라 이미지를 딥러닝을 통해 식별된 항공기 출입구 검출 정보, 상기 카메라에 의해 얻는 카메라 이미지 상에 제1 라이다에 의해 얻는 제1 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터 및 상기 카메라에 의해 얻는 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력하기 위한 출입구 검출부; 제2 라이다에 의해 얻는 제2 라이다 데이터의 클러스터링(clustering)으로부터 지면 데이터를 제거한 정보 및 상기 제2 라이다 데이터의 클러스터링 정보를 상호 통합하여 항공기 동체 및 엔진 거리 정보를 산출하기 위한 동체 및 엔진 거리 산출부; 및 상기 항공기 출입구 검출 결과와 상기 항공기 동체 및 엔진 거리 정보를 이용하여 탑승교 운전 제어 프로토콜에 적용함으로써 탑승교와 목표점까지의 이격 거리를 특정하여 상기 탑승교를 제어하도록 할 수 있다.
상기 카메라 및 상기 제1 라이다는 상기 탑승교의 캐빈 상부에 설치되고, 상기 제2 라이다는 상기 탑승교의 캐빈 하부에 설치되는 것일 수 있다.
상기 동체 및 엔진 거리 산출부는, 항공기 동체 및 엔진을 인식에 관계 없는 지면(ground) 데이터를 구별하여 제거하는 것일 수 있다.
상기 포지션 맵 데이터는, 상기 카메라에서 바라본 항공기 출입구 또는 항공기 동체의 실제 좌표값에 대해 이미지 평면으로 투영된 좌표값의 매핑데이터와 높이/깊이 정보이 저장되는 것일 수 있다.
상기 동체 및 엔진 거리 산출부는, 상기 탑승교에서 항공기 동체 및 엔진까지 거리를 측정할 때 2개 이상의 위치점을 이용하는 것일 수 있다.
상기 제1 및 제2 라이다 데이터는 3차원 공간상에 흩어져 있는 여러 포인트(point)의 집합인 3차원 포인트 클라우드인 탑승교 데이타 융합처리 장치이다.
상기 카메라에 의해 얻는 카메라 이미지는, 3차원 라이다 데이터의 실제 좌표값이 투영되어 항공기 출입구 검출과 항공기 동체 및 엔진 거리 산출을 위한 기준이 되는 이미지 평면으로서, 광축(optical axis)이 지나는 지점에 기준점(principal point)이 형성되는 것일 수 있다.
또한, 본 발명의 실시예에 따른 탑승교 데이타 융합처리 방법은, 카메라에 의해 얻는 카메라 이미지를 딥러닝을 통해 식별된 항공기 출입구 검출 정보, 상기 카메라에 의해 얻는 카메라 이미지 상에 제1 라이다에 의해 얻는 제1 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터 및 상기 카메라에 의해 얻는 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력하는 단계; 제2 라이다에 의해 얻는 제2 라이다 데이터의 클러스터링(clustering)으로부터 지면 데이터를 제거한 정보 및 상기 제2 라이다 데이터의 클러스터링 정보를 상호 통합하여 항공기 동체 및 엔진 거리 정보를 산출하는 단계; 및 상기 항공기 출입구 검출 결과와 상기 항공기 동체 및 엔진 거리 정보를 이용하여 탑승교 운전 제어 프로토콜에 적용함으로써 탑승교와 목표점까지의 이격 거리를 특정하여 상기 탑승교를 제어하도록 하는 단계;를 포함할 수 있다.
상기 항공기 동체 및 엔진 거리 정보를 산출하는 단계는 상기 제2 라이다 데이터의 클러스터링(clustering) 정보를 상기 제2 라이다 데이터의 클러스터링(clustering) 정보에서 지면 데이터를 제거한 결과를 상호 비교함으로서, 상기 지면 데이터를 식별할 수 있다.
상기 상기 항공기 동체 및 엔진 거리 정보를 산출하는 단계는, 상기 탑승교에서 항공기 동체 및 엔진까지 거리를 측정할 때 적어도 2개 이상의 위치점을 이용하는 것일 수 있다.
본 발명은 탑승교(Passenger Boarding Bridge,PBB)에서 캐빈(cabin) 상부와 하부에 설치된 라이다(Light Detection And Ranging, LiDAR)를 이용하여 항공기 출입구를 검출하고, 항공기 동체와 엔진까지의 거리를 산출함으로써 탑승교에서 항공기까지 이격거리를 특정하여 탑승교의 자동 운전 제어를 가능하게 할 수 있다.
또한, 본 발명은 탑승교의 자동 운전 모드 조정 시 목표지점(항공기 출입구와 엔진)을 인지하고, 주변 장애물을 인식할 수 있게 한다.
또한, 본 발명은 탑승교의 자동 운전을 위해 취득된 목표 데이터의 경우 날씨 및 시간대에 영향을 받지 않게 되므로 일정한 데이터 신뢰성 또한 유지할 수 있다.
도 1은 본 발명의 일실시예에 따른 탑승교 데이타 융합처리 장치를 나타낸 도면,
도 2는 항공기 동체 및 3차원 포인트 클라우드를 나타낸 도면,
도 3는 라이다 데이터의 투영 방법을 설명하는 도면,
도 4는 항공기 동체 및 출입구 거리/위치 산출 도면이다.
도 5은 항공기 동체 인식을 나타낸 도면이다.
도 2는 항공기 동체 및 3차원 포인트 클라우드를 나타낸 도면,
도 3는 라이다 데이터의 투영 방법을 설명하는 도면,
도 4는 항공기 동체 및 출입구 거리/위치 산출 도면이다.
도 5은 항공기 동체 인식을 나타낸 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일실시예에 따른 탑승교 데이타 융합처리 장치를 나타낸 도면이고, 도 2 (a)는 항공기 동체 도 2 (b)(c)는 3차원 포인트 클라우드를 나타낸 도면이며, 도 3는 3차원 포인트 클라우드의 투명 방법을 설명하는 도면이고, 도 4는 항공기 동체 인식을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 탑승교 데이타 융합처리 장치(100)는, 탑승교(Passenger Boarding Bridge,PBB)에서 캐빈(cabin) 상부와 하부에 설치된 라이다(Light Detection And Ranging, LiDAR)를 이용하여 항공기 출입구를 검출하고, 항공기 동체와 엔진까지의 거리를 산출함으로써 탑승교에서 항공기까지 이격거리를 특정하여 탑승교의 자동 운전 제어를 가능하게 한다.
이를 위해, 탑승교 데이타 융합처리 장치(100)는 출입구 검출부(110), 동체 및 엔진 거리 산출부(120), 제어 연동부(130)를 포함한다.
먼저, 출입구 검출부(110)는 탑승교의 캐빈 상부에 설치되어 항공기 출입구를 검출하되, 상부 카메라(111)를 통해 얻어진 카메라 이미지를 미리 기계학습을 통해 마련된 딥러닝 네트워크 구조에 적용함으로써 항공기 출입구를 식별 및 검출한다. 여기서, 딥러닝 네트워크 구조는 예를 들어, 이미지 분류 알고리즘이 우수한 CNN(Convolution Neural Network)일 수 있다. 이러한 CNN은 카메라 이미지에서 항공기 출입구를 식별하기 위한 패턴을 감지하는 것으로, 이미지의 특징을 추출하는 특징 추출(feature extraction) 부분과 클래스를 분류하는 분류(classification) 부분으로 구성된다.
또한, 출입구 검출부(110)는 도 3와 같이 상부 카메라(111)에서 얻어진 카메라 이미지 상에 상부 라이다(113)에서 얻어진 3차원 라이다 데이터를 투영함으로써 카메라 이미지의 좌표값 (u,v)에 대해 라이다 데이터의 실제 좌표값 (X,Y,Z)를 매핑한다.
도 3을 참조하면, 3차원 위치를 가진 객체의 실제 좌표값 P=(X,Y,Z)로 표현할 경우에, P는 카메라 이미지(이미지 평면)로 투영되면 P'=(u,v)로 되어 X값과 Y값이 각각 u값과 v값으로 매핑되고, Z값이 저장된다. 그래서, 포지션 맵(114)에는 객체(즉, 카메라에서 바라본 항공기 출입구, 항공기 동체)의 실제 좌표값에 대해 이미지 평면으로 투영된 좌표값의 매핑데이터(X값→u값, Y값→v값)와 높이/깊이 정보를 나타내는 Z값이 저장된다.
이러한 카메라 이미지는 3차원 라이다 데이터의 실제 좌표값 (X,Y,Z)이 투영되어 항공기 출입구 검출과 항공기 동체 및 엔진 거리 산출을 위한 기준이 되는 이미지 평면으로서, 광축(optical axis)이 지나는 지점에 기준점(principal point)이 형성된다.
그리고, 라이다 데이터는 도 2와 같이 3차원 공간상에 흩어져 있는 여러 포인트(point)의 집합인 3차원 포인트 클라우드 데이터를 구성할 수 있다.
한편, 카메라 이미지는 RGB 데이터를 포함하는 2차원 구조의 데이터로서 높이/깊이 정보를 포함하지 않고 있지만 객체의 특징점을 추출할 수 있고, 라이다 데이터는 높이/깊이 정보를 포함하는 3차원 구조의 데이터로서 객체의 종류를 인식하기 어렵지만 객체의 상대적 위치를 인식할 수 있다.
이와 같이 카메라 이미지와 라이다 데이터 각각은 날씨 및 시간의 환경적인 영향을 받지 않고, 센서마다 지니고 있는 장점을 융합하여 단점을 상쇄시킬 수 있기 때문에 데이터 투영을 통한 2차원 데이터와 3차원 데이터 간 데이터 융합 처리가 이루어진다.
또한, 출입구 검출부(110)는 매핑 데이터의 연산 처리 속도나 데이터 크기에 관련된 실시간 데이터(로그 형식)를 기록 가능하며, 사용자가 원하는 시간에 맞춘 스케줄링 방식으로도 수집할 수 있다.
그리고, 출입구 검출부(110)는 상부 카메라(111)에 의해 얻는 카메라 이미지에 대해 딥러닝을 통해 식별된 항공기 출입구 검출 정보, 카메라 이미지 상에 상부 라이다(113)에 의해 얻는 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터, 및 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력한다.
다음으로, 동체 및 엔진 거리 산출부(120)는 탑승교의 캐빈 하부에 설치되어 항공기 동체 및 엔진까지의 거리를 산출하되, 하부 라이다(121)에 의해 얻는 라이다 데이터의 클러스터링(clustering)(122)으로부터 지면 데이터를 제거한 정보 및 라이다 데이터의 클러스터링 정보를 상호 통합하여 탑승교와 항공기 동체 간 거리 정보, 탑승교와 엔진 간 거리 정보를 산출한다. 이때, 동체 및 엔진 거리 산출부(120)는 항공기 동체 및 엔진에 대한 인식과 관계없는 지면(ground) 정보를 제거한다. 이는 항공기 동체 및 엔진 인식에 불필요한 데이터를 제거함으로써 데이터 처리 속도를 향상시켜줄 수 있다.
여기서, 클러스터링은 항공기 동체 및 엔진을 식별하기 위한 전 단계로서 항공기 동체 및 엔진별로 포인트들을 식별하여 일정 거리 내에 있는 가까운 포인트들을 묶어주는 과정이다. 지면과 관련된 포인트들도 클러스터링을 통해 구별될 수 있다. 이때, 항공기 동체와 엔진은 각각 다른 색들로 표현되어 구분되어질 수 있다.
한편, 동체 및 엔진 거리 산출부(120)는 도 4와 같이 항공기 동체 및 엔진 거리 정보로서 탑승교에서 항공기 동체 및 엔진까지 거리를 측정할 때 적어도 2개 이상의 위치점(기준)을 이용할 수 있다. 이는 탑승교와 항공기 간의 수평 정렬을 가능하게 할 뿐만 아니라, 탑승교의 이동반경 내 장애물이 발견될 경우에 하부 라이다를 통해 물체 인지를 가능하게 할 수 있다.
도 4에서 탑승교에서 바라본 동체의 2개의 지점에서 원으로 표시된 위치의 Z개 포인트 값이 저장되어 있고, 탑승교에서 바라본 출입구의 2개의 지점에서 원으로 표시된 위치의 Z개 포인트 값이 저장된다.
도 5는 탑승교에서 항공기 동체 인식을 나타낸 도면이다.
다음으로, 제어 연동부(130)는 출입구 검출부(110)로부터 출력된 항공기 출입구 검출 결과와 동체 및 엔진 거리 산출부(120)로부터 산출된 항공기 동체 및 엔진 거리 정보를 실시간으로 전달받아 탑승교 운전 제어 프로토콜에 적용함에 따라 탑승교와 목표점까지의 이격 거리를 특정하여 탑승교의 운전을 제어할 수 있게 한다. 이 경우, 제어 연동부(130)는 탑승교와 목표점까지의 이격 거리를 실시간으로 측정하여 탑승교의 위치정보를 탑승교 제어부(미도시)로 피드백할 수 있다.
한편, 탑승교 데이타 융합처리 장치(100)는 적어도 하나 이상의 프로세서와 컴퓨터 판독 가능한 명령들을 저장하기 위한 메모리를 포함할 수 있다. 이때, 탑승교 데이타 융합처리 장치(100)는 적어도 하나의 프로세서에 의해 메모리에 저장된 컴퓨터 판독 가능한 명령들이 실행될 때, 본 발명의 실시예에 따른 탑승교 데이타 융합처리 방법을 수행할 수 있다.
즉, 탑승교 데이타 융합처리 장치(100)는 상부 카메라(111)에 의해 얻는 카메라 이미지에 대해 딥러닝을 통해 식별된 항공기 출입구 검출 정보, 카메라 이미지 상에 상부 라이다(113)에 의해 얻는 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터, 및 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력한다.
또한, 탑승교 데이타 융합처리 장치(100)는 탑승교의 캐빈 하부에 설치되어 항공기 동체 및 엔진까지의 거리를 산출하되, 하부 라이다(121)에 의해 얻는 라이다 데이터의 클러스터링(clustering)(122)으로부터 지면 데이터를 제거한 정보 및 라이다 데이터의 클러스터링 정보를 상호 통합하여 탑승교로부터 항공기 동체 및 엔진 거리 정보를 산출한다.
이후, 탑승교 데이타 융합처리 장치(100)는 '항공기 출입구 검출 결과'와 '항공기 동체 및 엔진 거리 정보'를 이용하여 탑승교 운전 제어 프로토콜에 적용함으로써 탑승교와 목표점까지의 이격 거리를 특정하여 탑승교를 제어하도록 한다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.
110 ; 출입구 검출부
120 ; 동체 및 엔진 거리 산출부
130 ; 제어 연동부
120 ; 동체 및 엔진 거리 산출부
130 ; 제어 연동부
Claims (14)
- 탑승교의 상부에 카메라 및 제1 라이다가 설치되고, 상기 카메라에 의해 얻는 카메라 이미지를 딥러닝을 통해 식별된 항공기 출입구 검출 정보,
상기 카메라에 의해 얻는 카메라 이미지 상에 상기 제1 라이다에 의해 얻는 제1 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터 및
상기 카메라에 의해 얻는 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력하기 위한 출입구 검출부;
상기 탑승교의 하부에 설치된 제2 라이다에 의해 얻는 제2 라이다 데이터의 클러스터링(clustering)으로부터 지면 데이터를 제거한 정보 및
상기 제2 라이다 데이터의 클러스터링 정보를 상호 통합하여 항공기 동체 및 엔진 거리 정보를 산출하기 위한 동체 및 엔진 거리 산출부;
상기 탑승교의 상부에 설치된 상기 카메라 및 상기 제1 라이다로부터 산출된 상기 항공기 출입구 검출 결과 및
상기 탑승교의 하부에 설치된 상기 제2 라이다로부터 산출된 상기 항공기 동체 및 엔진 거리 정보를 탑승교 운전 제어 프로토콜에 적용함으로써 탑승교와 목표점까지의 이격 거리를 측정하면서 상기 탑승교를 제어하도록 하기 위한 제어 연동부;를 포함하는 탑승교 데이타 융합처리 장치.
- 삭제
- 제 1 항에 있어서,
상기 동체 및 엔진 거리 산출부는,
항공기 동체 및 엔진을 인식에 관계 없는 지면(ground) 데이터를 구별하여 제거하는 것인 탑승교 데이타 융합처리 장치.
- 제 1 항에 있어서,
상기 포지션 맵 데이터는,
상기 카메라에서 바라본 항공기 출입구 또는 항공기 동체의 실제 좌표값에 대해 이미지 평면으로 투영된 좌표값으로부터의 매핑 데이터가 저장되는 탑승교 데이타 융합처리 장치.
- 제 1 항에 있어서,
상기 동체 및 엔진 거리 산출부는,
상기 탑승교에서 항공기 동체 및 엔진까지 거리를 측정할 때 2개 포인트 이상의 위치점을 이용하는 것인 탑승교 데이타 융합처리 장치.
- 제 1 항에 있어서,
상기 제1 및 제2 라이다 데이터는 3차원 공간상에 흩어져 있는 포인트(point)의 집합인 3차원 포인트 클라우드인 탑승교 데이타 융합처리 장치.
- 제 1 항에 있어서,
상기 카메라에 의해 얻는 카메라 이미지는, 3차원 라이다 데이터의 실제 좌표값이 투영되어 항공기 출입구 검출과 항공기 동체 및 엔진 거리 산출을 위한 기준이 되는 이미지 평면으로서, 광축(optical axis)이 지나는 지점에 기준점(principal point)이 형성되는 것인 탑승교 데이타 융합처리 장치.
- 탑승교의 상부에 카메라 및 제1 라이다, 상기 탑승교의 하부에 제2 라이다가 설치되는 단계;
상기 카메라에 의해 얻는 카메라 이미지를 딥러닝을 통해 식별된 항공기 출입구 검출 정보, 상기 카메라에 의해 얻는 카메라 이미지 상에 상기 제1 라이다에 의해 얻는 제1 라이다 데이터에 대한 투영 및 매핑을 통한 포지션 맵 데이터 및 상기 카메라에 의해 얻는 카메라 이미지를 상호 통합하여 항공기 출입구 검출 결과를 출력하는 단계;
상기 제2 라이다에 의해 얻는 제2 라이다 데이터의 클러스터링(clustering)으로부터 지면 데이터를 제거한 정보 및 상기 제2 라이다 데이터의 클러스터링 정보를 상호 통합하여 항공기 동체 및 엔진 거리 정보를 산출하는 단계; 및
상기 탑승교의 상부에 설치된 상기 카메라 및 상기 제1 라이다로부터 산출된 상기 항공기 출입구 검출 결과 및
상기 탑승교의 하부에 설치된 상기 제2 라이다로부터 산출된 상기 항공기 동체 및 엔진 거리 정보를 탑승교 운전 제어 프로토콜에 적용함으로써 탑승교와 목표점까지의 이격 거리를 측정하면서 상기 탑승교를 제어하는 단계;를 포함하는 탑승교 데이타 융합처리 방법.
- 삭제
- 제 8 항에 있어서,
상기 항공기 동체 및 엔진 거리 정보를 산출하는 단계는
상기 제2 라이다 데이터의 클러스터링(clustering) 정보를 상기 제2 라이다 데이터의 클러스터링(clustering) 정보에서 지면 데이터를 제거한 결과를 상호 비교함으로서, 상기 지면 데이터를 식별하는 탑승교 데이타 융합처리 방법.
- 제 8 항에 있어서,
상기 포지션 맵 데이터는,
상기 카메라에서 바라본 항공기 출입구 또는 항공기 동체의 실제 좌표값에 대해 이미지 평면으로 투영된 좌표값으로부터의 매핑 데이터가 저장되는 탑승교 데이타 융합처리 방법.
- 제 8 항에 있어서,
상기 항공기 동체 및 엔진 거리 정보를 산출하는 단계는,
상기 탑승교에서 항공기 동체 및 엔진까지 거리를 측정할 때 적어도 2개 이상의 포인트를 이용하는 것인 탑승교 데이타 융합처리 방법.
- 제 8 항에 있어서,
상기 제1 및 제2 라이다 데이터는 3차원 공간상에 흩어져 있는 포인트(point)의 집합인 3차원 포인트 클라우드인 탑승교 데이타 융합처리 방법.
- 제 8 항에 있어서,
상기 카메라에 의해 얻는 카메라 이미지는, 3차원 라이다 데이터의 실제 좌표값이 투영되어 항공기 출입구 검출과 항공기 동체 및 엔진 거리 산출을 위한 기준이 되는 이미지 평면으로서, 광축(optical axis)이 지나는 지점에 기준점(principal point)이 형성되는 것인 탑승교 데이타 융합처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230112237A KR102674877B1 (ko) | 2023-08-25 | 2023-08-25 | 탑승교 데이타 융합처리 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230112237A KR102674877B1 (ko) | 2023-08-25 | 2023-08-25 | 탑승교 데이타 융합처리 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102674877B1 true KR102674877B1 (ko) | 2024-06-14 |
Family
ID=91482158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230112237A KR102674877B1 (ko) | 2023-08-25 | 2023-08-25 | 탑승교 데이타 융합처리 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102674877B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190104478A (ko) | 2019-08-20 | 2019-09-10 | 엘지전자 주식회사 | 라이다 시스템과 이를 이용한 자율 주행 시스템 |
| KR102217453B1 (ko) * | 2020-03-25 | 2021-02-24 | (주)아이시에스솔루션스 | 탑승교 자동 접이현 시스템 |
| US20220036750A1 (en) * | 2020-08-03 | 2022-02-03 | Honeywell International Inc. | Multi-sensor data fusion-based aircraft detection, tracking, and docking |
| KR20230115622A (ko) * | 2022-01-27 | 2023-08-03 | 인천국제공항공사 | 탑승교 자율 접이현 장치 및 그의 동작 방법 |
-
2023
- 2023-08-25 KR KR1020230112237A patent/KR102674877B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190104478A (ko) | 2019-08-20 | 2019-09-10 | 엘지전자 주식회사 | 라이다 시스템과 이를 이용한 자율 주행 시스템 |
| KR102217453B1 (ko) * | 2020-03-25 | 2021-02-24 | (주)아이시에스솔루션스 | 탑승교 자동 접이현 시스템 |
| US20220036750A1 (en) * | 2020-08-03 | 2022-02-03 | Honeywell International Inc. | Multi-sensor data fusion-based aircraft detection, tracking, and docking |
| KR20230115622A (ko) * | 2022-01-27 | 2023-08-03 | 인천국제공항공사 | 탑승교 자율 접이현 장치 및 그의 동작 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Possatti et al. | Traffic light recognition using deep learning and prior maps for autonomous cars | |
| US11605175B2 (en) | Systems and methods for maneuvering a vehicle responsive to detecting a condition based on dynamic object trajectories | |
| US11704812B2 (en) | Methods and system for multi-target tracking | |
| US11200433B2 (en) | Detection and classification systems and methods for autonomous vehicle navigation | |
| CN111874006B (zh) | 路线规划处理方法和装置 | |
| EP2096602B1 (en) | Methods and apparatus for runway segmentation using sensor analysis | |
| KR20200040431A (ko) | 차량용 허위 타겟 판별 장치 및 그의 허위 타겟 판별 방법과 그를 포함하는 차량 | |
| US11280630B2 (en) | Updating map data | |
| Abu-Jbara et al. | A robust vision-based runway detection and tracking algorithm for automatic UAV landing | |
| CN107139666B (zh) | 越障识别系统及方法 | |
| JP2022538535A (ja) | 画像からの奥行の精緻化 | |
| KR102633140B1 (ko) | 주행 정보를 결정하는 방법 및 장치 | |
| KR20200030305A (ko) | 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들 | |
| EP3690728B1 (en) | Method and device for detecting parking area using semantic segmentation in automatic parking system | |
| CN109902676A (zh) | 一种基于动态背景的违停检测算法 | |
| KR102667741B1 (ko) | 3차원 객체를 표시하는 방법 및 장치 | |
| CN110579771A (zh) | 一种基于激光点云的飞机泊位引导方法 | |
| KR20200039548A (ko) | 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치 | |
| KR20200058272A (ko) | 도로 주행 영상의 전처리를 통한 도로 주행 상황 제공 방법 및 시스템 | |
| US20230221140A1 (en) | Roadmap generation system and method of using | |
| Liu et al. | A novel trail detection and scene understanding framework for a quadrotor UAV with monocular vision | |
| KR20200040187A (ko) | 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치 | |
| KR102674877B1 (ko) | 탑승교 데이타 융합처리 장치 및 그 방법 | |
| KR102674878B1 (ko) | Lidar 활용 항공기 특정 부위 검출 방법 | |
| Hata et al. | Road geometry classification using ANN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |