KR20190121275A - 실내 측위 시스템, 장치 및 방법 - Google Patents
실내 측위 시스템, 장치 및 방법 Download PDFInfo
- Publication number
- KR20190121275A KR20190121275A KR1020190123910A KR20190123910A KR20190121275A KR 20190121275 A KR20190121275 A KR 20190121275A KR 1020190123910 A KR1020190123910 A KR 1020190123910A KR 20190123910 A KR20190123910 A KR 20190123910A KR 20190121275 A KR20190121275 A KR 20190121275A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vehicle
- indoor
- map
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000003062 neural network model Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 45
- 238000010801 machine learning Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 82
- 230000005540 biological transmission Effects 0.000 description 31
- 238000005516 engineering process Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 28
- 238000013528 artificial neural network Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 239000000284 extract Substances 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000021109 kimchi Nutrition 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
- G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/003—Maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
Abstract
사물 인터넷을 위해 연결된 5G 환경에서 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 실내 측위 시스템 및 장치를 동작시키는 실내 측위 방법이 개시된다. 본 발명의 일 실시 예에 따른 실내 측위 방법은, 차량이 임의의 실내 공간 진입 시, 임의의 실내 공간의 실내 지도가 기 생성된 경우, 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 단계와, 임의의 실내 공간의 이미지를 획득하는 단계와, 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계와, 매칭 결과를 기반으로 임의의 실내 공간의 실내 측위를 수행하는 단계를 포함할 수 있다.
Description
본 발명은 실내 측위 시스템, 장치 및 방법에 관한 것으로, 더욱 상세하게는 지도 제작 차량의 카메라와 FOV(Field of View)를 매칭하여 보정된 이미지를 기반으로 실내 측위를 수행할 수 있도록 하는 실내 측위 시스템, 장치 및 방법에 관한 것이다.
일반적으로, SLAM(Simultaneous Localization and Mapping) 기술은 이동 로봇 등의 자율 주행에 주로 쓰이는 기술로서, 주변 환경의 지도를 이용하여 위치를 인식하거나, 역으로 위치를 인식하여 해당 지역의 지도를 만들고, 또한 위치 인식과 지도 작성 두 가지를 동시에 수행하는 기술을 말한다.
선행기술 1은 로봇이 위치를 추정함에 있어서 정확성을 높이는데 적합한 카메라 센서의 위치를 선택할 수 있도록 하고, 카메라 센서들이 위치를 이동할 수 있는 하드웨어 구성요소를 제공하여, 로봇 상에서 비주얼 슬램을 수행함에 있어 적합한 카메라 위치를 다양하게 테스트할 수 있도록 하는 방법에 대한 기술을 개시하고 있다.
선행기술 2는 실시간으로 지도 작성 및 위치 인식을 수행하면서, 급격한 카메라의 운동 등에 의해 지도의 불확도(uncertainty of measurement)가 저하될 가능성이 있는 구간에서는 영상 데이터를 저장하여, 저장된 영상 데이터 및 작성된 지도를 이용하여 정확한 전체지도를 생성할 수 있는 방법에 대한 기술을 개시하고 있다.
즉, 선행기술 1은 카메라 센서들이 획득한 이미지를 평가하여 공간의 특성에 적합한 카메라 센서의 위치를 결정하고 이를 기반으로 비주얼 슬램의 성능을 향상시키고자 하는 것을 특징으로 한다. 그리고 선행기술 2는 영상 획득 장치가 이동하면서 획득한 영상들을 이용하여, 카메라 등의 장치의 자세가 급격히 변하는 경우 정확한 지도를 생성할 수 있도록 하는 것을 특징으로 한다. 다시 말해, 선행기술 1 및 선행기술 2는 최적의 슬램을 수행할 수 있도록 카메라를 설정 및 제어하는 것은 가능하다. 그러나, 선행기술 1 및 선행기술 2는 기 생성된 슬램 맵을 이용하여 실내 측위 및 슬램 맵 갱신 등을 수행할 때, 기 생성된 슬램 맵 제작 카메라의 FOV(Field Of View) 정보를 기반으로 이미지를 매칭하는 과정이 없어, 실내 측위 및 슬랩 맵 갱신 등의 정확도가 저하되는 등의 어려움이 발생할 수 있다. 즉, 영상 기반 슬램 시, 영상의 특징(점, 선)들을 사용하는데, 이때 슬램 맵을 기 제작한 카메라와 측위를 하는 카메라의 FOV 차이가 발생할 경우 영상 인풋 차이로 인해 슬램 수행에 어려움이 발생할 수 있는 문제가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 개시의 일 과제는, 지도 제작 차량의 카메라와 FOV(Field of View)를 매칭하여 보정된 이미지를 기반으로 실내 측위를 수행할 수 있도록 하는데 있다.
본 개시의 일 과제는, FOV 값의 차이가 발생할 경우, 지도 제작 차량의 카메라의 이미지와의 인풋 차이로 슬램(SLAM)이 어려워지는 문제점을 해결하는데 있다.
본 개시의 일 과제는, 기 제작된 슬램 맵을 사용하여 다양한 카메라에서 실내 측위가 가능하도록 하는데 있다.
본 개시의 일 과제는, 지도 제작 차량의 카메라의 이미지와 실내 측위 차량의 카메라의 이미지의 이미지 특징점 추출을 통해 FOV 산출을 위한 변환식을 도출하고자 하는데 있다.
본 개시의 일 과제는, 자원 공유 네트워크를 기반으로 실내 측위 정보를 공유하여 실내 공간에서의 내비게이션 기능이 가능하도록 하는데 있다.
본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 실내 측위 방법은, 지도 제작 차량의 카메라와 FOV(Field of Veiw)를 매칭하여 보정된 이미지를 기반으로 실내 측위를 수행하는 단계를 포함할 수 있다.
구체적으로 본 개시의 일 실시 예에 따른 실내 측위 방법은, 차량이 임의의 실내 공간 진입 시, 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하는 단계, 임의의 실내 공간의 실내 지도가 기 생성된 경우, 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 단계, 임의의 실내 공간의 이미지를 획득하는 단계, 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계, 매칭 결과를 기반으로 임의의 실내 공간의 실내 측위를 수행하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 실내 측위 방법을 통하여, 카메라 FOV 값을 기반으로, 지도 제작 카메라와 실내 측위 카메라의 이미지를 매칭하여 실내 측위를 수행함으로써, 실내 측위의 정확도를 향상시킬 수 있다.
또한, 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 단계는, 기 생성된 실내 지도를 생성한 장치의 카메라 정보, 제조사별 카메라 정보 및, 레퍼런스 이미지를 획득한 임의의 실내 공간의 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함하는 맵 정보 데이터를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 단계를 통하여, 기 제작된 슬램 맵을 사용하여 다양한 카메라에서 실내 측위가 가능하도록 함으로써, 실내 측위 시스템의 성능을 향상시킬 수 있다.
또한, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계는, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 지 여부를 확인하는 단계, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 경우, 획득한 이미지의 FOV(Field of View) 값을 획득하는 단계를 포함할 수 있다.
또한, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계는, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 지 여부를 확인하는 단계, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있지 않은 경우, 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계를 통하여, FOV 차이에 의한 지도 제작 카메라와 실내 측위 카메라의 이미지의 인풋 차이가 없도록 함으로써, 슬램 결과의 오차를 감소시킬 수 있다.
또한, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계는, 이미지 특징점 추출 알고리즘에 기초해 기 생성된 실내 지도의 레퍼런스 이미지의 특징점과 획득한 비교 이미지의 특징점을 추출하여 매칭하는 단계, 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출하는 단계, 변환식에 기초하여, 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 단계를 더 포함할 수 있다.
또한, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계는, 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 레퍼런스 이미지와 획득한 비교 이미지를 매칭하는 단계, 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 레퍼런스 이미지와 획득한 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection)하여, 획득한 비교 이미지의 도메인 변환식을 도출하는 단계, 변환식에 기초하여, 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 단계를 더 포함하며, 심층 신경망 모델은, 레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델일 수 있다.
본 개시의 일 실시 예에 따른 기 생성된 실내 지도의 레퍼런스 이미지와 획득한 비교 이미지의 특징점을 추출하여 매칭하는 단계를 통하여, 레퍼런스 이미지의 촬영 위치와 최대한 일치하도록 매칭용 이미지를 촬영함으로써, 이미지 매칭의 정확도를 향상시킬 수 있으며 실내 측위기술을 고도화할 수 있다.
또한, 본 개시의 일 실시 예에 따른 실내 측위 방법은, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계 이후, 획득한 이미지 정보에 포함되는 획득한 이미지의 FOV 값을 기반으로 획득한 이미지를 기 생성된 실내 지도의 이미지에 대응하도록 보정하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 단계를 통하여, 위성신호를 받지 못하는 공간, 지하 주차 공간 등에서 위치를 정확하게 파악할 수 있도록 함으로써, 실내 측위 시스템의 제품 신뢰도를 향상시킬 수 있다.
본 개시의 일 실시 예에 따른 실내 측위 장치는, 차량이 임의의 실내 공간 진입 시, 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하고, 임의의 실내 공간의 실내 지도가 기 생성된 경우, 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 지도 정보 획득부, 임의의 실내 공간의 이미지를 획득하는 이미지 획득부, 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시키는 매칭부, 매칭 결과를 기반으로 임의의 실내 공간의 실내 측위를 수행하는 측위 수행부를 포함할 수 있다.
또한, 맵 정보 데이터는, 기 생성된 실내 지도를 생성한 장치의 카메라 정보, 제조사별 카메라 정보 및, 레퍼런스 이미지를 획득한 임의의 실내 공간의 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함할 수 있다.
본 개시의 일 실시 예에 따른 실내 측위 장치를 통하여, 카메라 FOV 값을 기반으로, 지도 제작 카메라와 실내 측위 카메라의 이미지를 매칭하여 실내 측위를 수행함으로써, 실내 측위의 정확도를 향상시킬 수 있다.
또한, 매칭부는, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 지 여부를 확인하고, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 경우, 획득한 이미지의 FOV(Field of View) 값을 획득하는 FOV획득부, 획득한 맵 정보 데이터에 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있지 않은 경우, 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득하는 비교 이미지 획득부를 포함할 수 있다.
또한, 매칭부는, 이미지 특징점 추출 알고리즘에 기초해 기 생성된 실내 지도의 레퍼런스 이미지의 특징점과 획득한 비교 이미지의 특징점을 추출하여 매칭하는 특징점 추출부, 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출하고, 변환식에 기초하여, 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 FOV산출부를 더 포함할 수 있다.
또한, 매칭부는, 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 레퍼런스 이미지와 획득한 비교 이미지를 매칭하고, 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 레퍼런스 이미지와 획득한 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection)하여, 획득한 비교 이미지의 도메인 변환식을 도출하고, 변환식에 기초하여, 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 FOV산출부를 더 포함하며, 심층 신경망 모델은, 레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델일 수 있다.
본 개시의 일 실시 예에 따른 매칭부를 통하여, 지도 제작 차량의 카메라의 이미지와 실내 측위 차량의 카메라의 이미지의 이미지 특징점 추출을 통해 FOV 산출을 위한 변환식을 도출함으로써, 기 제작된 슬램 맵을 사용하여 다양한 카메라에서 실내 측위가 가능하도록 할 수 있다.
또한, 본 개시의 일 실시 예에 따른 실내 측위 장치는, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭시킨 이후, 획득한 이미지 정보에 포함되는 획득한 이미지의 FOV 값을 기반으로 획득한 이미지를 기 생성된 실내 지도의 이미지에 대응하도록 보정하는 보정부를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 실내 측위 시스템은, 제 1 차량이 임의의 실내 공간 진입 시, 임의의 실내 공간의 이미지를 촬영하는 제 1 차량의 카메라, 제 1 차량의 카메라로부터 입력된 임의의 실내 공간의 이미지를 기반으로 제 1 차량이 임의의 실내 공간의 실내 측위를 수행하도록 하기 위한 서버를 포함하고, 서버는, 제 1 차량이 임의의 실내 공간에 진입하면 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하고, 임의의 실내 공간의 실내 지도가 기 생성된 경우, 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 제 1 차량의 이미지 정보와 제 2 차량의 이미지 정보를 매칭시키며, 제 2 차량은 기 생성된 실내 지도의 제작 차량이고, 맵 정보 데이터는 기 생성된 실내 지도를 생성한 제 2 차량의 카메라 정보, 제조사별 카메라 정보, 레퍼런스 이미지를 제 1 차량의 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함할 수 있다.
본 개시의 일 실시 예에 따른 실내 측위 시스템을 통하여, FOV 차이에 의한 지도 제작 카메라와 실내 측위 카메라의 이미지의 인풋 차이가 없도록 함으로써, 슬램 결과의 오차를 감소시킬 수 있어, 제품 신뢰도를 향상시킬 수 있다.
또한, 서버는, 맵 정보 데이터에 제 1 차량의 카메라 정보가 포함되어 있는 지 여부를 확인하여, 획득한 맵 정보 데이터에 제 1 차량의 카메라 정보가 포함되어 있는 경우, FOV(Field of View) 값을 획득하고, 획득한 맵 정보 데이터에 제 1 차량의 카메라 정보가 포함되어 있지 않은 경우, 제 2 차량으로부터 획득된 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서 제 1 차량으로부터 획득된 비교 이미지를 획득하고, 레퍼런스 이미지와 비교 이미지를 매칭하여 비교 이미지의 FOV(Field of View) 값을 산출하며, 제 2 차량으로부터 획득된 이미지 정보와 제 1 차량으로부터 획득된 이미지 정보를 매칭시킨 이후, 제 1 차량으로부터 획득된 이미지 정보에 포함되는 FOV 값을 기반으로 제 1 차량의 이미지를 제 2 차량의 이미지에 대응되도록 보정할 수 있다.
또한, 서버는, 이미지 특징 추출 알고리즘에 기초해 제 2 차량의 레퍼런스 이미지의 특징점과 제 1 차량의 비교 이미지의 특징점을 추출하여 매칭하고, 제 2 차량의 레퍼런스 이미지의 특징점 좌표계에서 제 1 차량의 비교 이미지의 특징점 좌표계로의 변환식을 도출하며, 변환식에 기초하여 획득한 비교 이미지의 FOV 값을 산출할 수 있다.
또한, 서버는, 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 제 2 차량의 레퍼런스 이미지와 제 1 차량의 비교 이미지를 매칭하고, 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 레퍼런스 이미지와 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection)하여, 비교 이미지의 도메인 변환식을 도출하며, 변환식에 기초하여, 비교 이미지의 FOV 값을 산출하고, 심층 신경망 모델은, 레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델일 수 있다.
본 개시의 일 실시 예에 따른 서버를 통하여, 지도 제작 차량의 카메라의 이미지와 실내 측위 차량의 카메라의 이미지의 이미지 특징점 추출을 통해 FOV 산출을 위한 변환식을 도출함으로써, 기 제작된 슬램 맵을 사용하여 다양한 카메라에서 실내 측위가 가능하도록 할 수 있다.
또한, 서버는, 제 1 차량의 이미지 정보와 제 2 차량의 이미지 정보의 매칭 결과를 기반으로 도출된 변환식 및 제 1 차량의 카메라 정보와, 제 1 차량의 실내 측위 데이터를 갱신할 수 있다.
또한, 본 개시의 일 실시 예에 따른 실내 측위 시스템은, 임의의 실내 공간에 설치되어, 임의의 실내 공간에 진입하는 차량의 번호판 이미지를 포함하는 전후면 측 이미지 정보를 촬영하는 실내 공간 카메라를 더 포함하고, 서버는, 실내 공간 카메라로부터 제 2 차량의 전후면 측 이미지 정보를 획득하고, 제 2 차량의 전후면 측 이미지가 촬영된 위치에 대응하는 위치에서의 제 1 차량의 전후면 측 이미지 정보를 획득하며, 제 1 차량의 번호판 이미지 크기와 제 2 차량의 번호판 이미지 크기가 매칭되는 위치에서, 제 1 차량으로부터 임의의 실내 공간의 이미지를 획득할 수 있다.
본 개시의 일 실시 예에 따른 실내 측위 시스템을 통하여, 번호판 인식 시스템을 활용하여 레퍼런스 이미지의 촬영 위치와 최대한 일치하도록 매칭용 이미지를 촬영함으로써, 실내 측위 시스템의 정확도 및 성능을 향상시킬 수 있다.
또한, 서버는, 임의의 실내 공간에 대해 생성된 실내 측위 정보에 기반하여, 임의의 실내 공간에 위치하는 적어도 하나 이상의 차량의 위치 정보를 파악할 수 있다.
본 개시의 일 실시 예에 따른 서버를 통하여, 자원 공유 네트워크를 기반으로 실내 측위 정보를 공유하여 실내 공간에서의 내비게이션 기능이 가능하도록 함으로써, 실내 측위 시스템의 활용성 및 효율성을 향상시킬 수 있다.
이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예에 의하면, 지도 제작 차량의 카메라와 FOV(Field of Veiw)를 매칭하여 보정된 이미지를 기반으로 실내 측위를 수행함으로써, 실내 측위의 정확도를 향상시킬 수 있다.
또한, FOV 차이에 의한 지도 제작 카메라와 실내 측위 카메라의 이미지의 인풋 차이가 없도록 함으로써, 슬램 결과의 오차를 감소시킬 수 있어, 제품 신뢰도를 향상시킬 수 있다.
또한, 지도 제작 차량의 카메라의 이미지와 실내 측위 차량의 카메라의 이미지의 이미지 특징점 추출을 통해 FOV 산출을 위한 변환식을 도출함으로써, 기 제작된 슬램 맵을 사용하여 다양한 카메라에서 실내 측위가 가능하도록 할 수 있다.
또한, 레퍼런스 이미지의 촬영 위치와 최대한 일치하도록 매칭용 이미지를 촬영함으로써, 이미지 매칭의 정확도를 향상시킬 수 있으며 실내 측위기술을 고도화할 수 있다.
또한, 위성신호를 받지 못하는 공간, 지하 주차 공간 등에서 위치를 정확하게 파악할 수 있도록 함으로써, 실내 측위 시스템의 제품 신뢰도를 향상시킬 수 있다.
또한, 자원 공유 네트워크를 기반으로 실내 측위 정보를 공유하여 실내 공간에서의 내비게이션 기능이 가능하도록 함으로써, 실내 측위 시스템의 활용성 및 효율성을 향상시킬 수 있다.
또한, 5G 네트워크 기반 통신을 통해 실내 측위를 수행함으로써, 신속한 데이터 처리가 가능하므로 실내 측위 시스템의 성능을 보다 향상시킬 수 있다.
또한, 실내 측위 장치 자체는 대량 생산된 획일적인 제품이지만, 사용자는 실내 측위 장치를 개인화된 장치로 인식하므로 사용자 맞춤형 제품의 효과를 낼 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 AI 서버, 자율 주행 차량, 로봇, XR 장치, 사용자 단말기 또는 가전과, 이들 중에서 적어도 하나 이상을 서로 연결하는 클라우드 네트워크를 포함하는 AI 시스템 기반 실내 측위 시스템 환경의 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 통신 환경을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 개략적인 블록도이다.
도 4는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 5는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 6 내지 도 9는 5G 통신을 이용한 자율 주행 차량의 동작의 일 예를 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 지도 처리부를 설명하기 위하여 도시한 개략적인 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 레퍼런스 이미지 생성을 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 획득한 맵 정보 데이터에 카메라 정보가 포함되어 있는 경우의 이미지 매칭을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 획득한 맵 정보 데이터에 카메라 정보가 포함되어 있지 않은 경우의 이미지 매칭을 설명하기 위한 예시도이다.
도 14는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 실내 위치 공유 환경을 설명하기 위한 예시도이다.
도 15는 본 발명의 일 실시 예에 따른 학습부를 설명하기 위한 개략적인 블록도이다.
도 16은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 측위 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 일 실시 예에 따른 실내 측위 시스템은 획득한 맵 정보 데이터의 카메라 정보 포함 여부에 따른 이미지 매칭 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 통신 환경을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 개략적인 블록도이다.
도 4는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸다.
도 5는 5G 통신 시스템에서 자율 주행 차량과 5G 네트워크의 응용 동작의 일 예를 나타낸다.
도 6 내지 도 9는 5G 통신을 이용한 자율 주행 차량의 동작의 일 예를 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 지도 처리부를 설명하기 위하여 도시한 개략적인 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 레퍼런스 이미지 생성을 설명하기 위한 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 획득한 맵 정보 데이터에 카메라 정보가 포함되어 있는 경우의 이미지 매칭을 설명하기 위한 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 획득한 맵 정보 데이터에 카메라 정보가 포함되어 있지 않은 경우의 이미지 매칭을 설명하기 위한 예시도이다.
도 14는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 실내 위치 공유 환경을 설명하기 위한 예시도이다.
도 15는 본 발명의 일 실시 예에 따른 학습부를 설명하기 위한 개략적인 블록도이다.
도 16은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 측위 방법을 설명하기 위한 흐름도이다.
도 17은 본 발명의 일 실시 예에 따른 실내 측위 시스템은 획득한 맵 정보 데이터의 카메라 정보 포함 여부에 따른 이미지 매칭 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.
본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
본 명세서에서 기술되는 차량은, 자율 주행 차량일 수 있으며, 또한 지도 제작을 위해 특수 제작된 차량일 수 있으나, 이에 한정되지는 않는다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 AI 서버, 자율 주행 차량, 로봇, XR 장치, 사용자 단말기 또는 가전과, 이들 중에서 적어도 하나 이상을 서로 연결하는 클라우드 네트워크를 포함하는 AI 시스템 기반 실내 측위 시스템 환경의 예시도이다.
도 1을 참조하면, AI 시스템 기반 실내 측위 시스템 환경은 AI 서버(20), 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 및 클라우드 네트워크(10)를 포함할 수 있다. 이때, AI 시스템 기반 실내 측위 시스템 환경에서는, AI 서버(20), 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 중에서 적어도 하나 이상이 클라우드 네트워크(10)와 연결될 수 있다. 여기서, AI 기술이 적용된 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 등을 AI 장치(30a 내지 30e)라 칭할 수 있다.
이때, 로봇(30a)은 스스로 보유한 능력에 의해 주어진 일을 자동으로 처리하거나 작동하는 기계를 의미할 수 있다. 특히, 환경을 인식하고 스스로 판단하여 동작을 수행하는 기능을 갖는 로봇을 지능형 로봇이라 칭할 수 있다. 로봇(30a)은 사용 목적이나 분야에 따라 산업용, 의료용, 가정용, 군사용 등으로 분류할 수 있다.
자율 주행 차량(30b)은 사용자의 조작 없이 또는 사용자의 최소한의 조작으로 주행하는 차량(Vehicle)을 의미하며, Autonomous??Driving Vehicle이라고도 할 수 있다. 예컨대, 자율 주행에는 주행중인 차선을 유지하는 기술, 어댑티브 크루즈 컨트롤과 같이 속도를 자동으로 조절하는 기술, 정해진 경로를 따라 자동으로 주행하는 기술, 목적지가 설정되면 자동으로 경로를 설정하여 주행하는 기술 등이 모두 포함될 수 있다. 이때, 자율 주행 차량은 자율 주행 기능을 가진 로봇으로 볼 수 있다.
XR 장치(30c)는 확장 현실(XR: eXtended Reality)을 이용하는 장치로, 확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.
사용자 단말기(30d)는 실내 측위 시스템 작동 어플리케이션 또는 실내 측위 시스템 작동 사이트에 접속한 후 인증 과정을 통하여 실내 측위 시스템의 작동 또는 제어를 위한 서비스를 제공받을 수 있다. 본 실시 예에서 인증 과정을 마친 사용자 단말기(30d)는 실내 측위 시스템(1)을 작동시키고, 실내 측위 장치(100)의 동작을 제어할 수 있다. 본 실시 예에서 사용자 단말기(30d)는 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말기(30d)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말기(30d)는 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
가전(30e)은 가정 내 구비되는 모든 전자 디바이스 중 어느 하나를 포함할 수 있으며, 특히 음성인식, 인공지능 등이 구현 가능한 단말, 오디오 신호 및 비디오 신호 중 하나 이상을 출력하는 단말 등을 포함할 수 있다. 또한 가전(30e)은 특정 전자 디바이스에 국한되지 않고 다양한 홈 어플라이언스(예를 들어, 세탁기, 건조기, 의류 처리 장치, 에어컨, 김치 냉장고 등)를 포함할 수 있다.
클라우드 네트워크(10)는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크(10)는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다. 즉, AI 시스템 기반 음향 제어 시스템 환경을 구성하는 각 장치들(30a 내지 30e, 20)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(30a 내지 30e, 20)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
이러한 클라우드 네트워크(10)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 클라우드 네트워크(10)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
또한, 클라우드 네트워크(10)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 클라우드 네트워크(10)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 클라우드 네트워크(10)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 클라우드 네트워크(10)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
AI 서버(20)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다. 또한, AI 서버(20)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터와, 실내 측위 시스템(1)을 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 AI 서버(20)는 사용자 단말기(30d)에 설치된 실내 측위 시스템 작동 어플리케이션 또는 실내 측위 시스템 작동 웹 브라우저를 이용하여 실내 측위 장치(100)의 동작을 원격에서 제어할 수 있도록 하는 웹 서버 또는 어플리케이션 서버를 포함할 수 있다.
또한, AI 서버(20)는 AI 시스템 기반 실내 측위 시스템 환경을 구성하는 AI 장치들인 로봇(30a), 자율 주행 차량(30b), XR 장치(30c), 사용자 단말기(30d) 또는 가전(30e) 중에서 적어도 하나 이상과 클라우드 네트워크(10)를 통하여 연결되고, 연결된 AI 장치들(30a 내지 30e)의 AI 프로세싱을 적어도 일부를 도울 수 있다. 이때, AI 서버(20)는 AI 장치(30a 내지 30e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(30a 내지 30e)에 전송할 수 있다. 이때, AI 서버(20)는 AI 장치(30a 내지 30e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(30a 내지 30e)로 전송할 수 있다. 또는, AI 장치(30a 내지 30e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공 지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접적으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공 지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공 지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기 보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
본 실시 예는, 특히 자율 주행 차량(30b)에 관한 것으로, 이하에서는, 상술한 기술이 적용되는 AI 장치 중 자율 주행 차량(30b)의 실시 예를 설명한다. 다만, 본 실시 예에서, 차량(도 2의 200)은 자율 주행 차량(30b)에 한정되는 것은 아니며, 자율 주행 차량(30b) 및 일반 차량 등 모든 차량을 의미할 수 있다. 본 실시 예에서는, 실내 측위 시스템(1)이 배치된 차량을 실시 예로 할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 통신 환경을 개략적으로 설명하기 위하여 도시한 도면이다. 도 1에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 2를 참조하면, 실내 측위 시스템(1)은 실내 측위 장치(100)와, 제 1 차량(200), 제 2 차량(200-1) 및 서버(300)를 필수적으로 포함하고, 그 외 사용자 단말기, 네트워크 및 제 n 차량(200-n) 등의 구성요소를 더 포함할 수 있다. 이때, 실내 측위 장치(100)는 제 1 차량(200) 및 제 2 차량(200-2) 등 각각의 차량 내에 배치될 수 있으나, 이에 한정되지는 않는다. 또한 본 실시 예에서, 제 1 차량(200)은 임의의 실내 공간에 진입하여 임의의 실내 공간의 이미지를 촬영하는 차량을 의미하고, 제 2 차량(200-1)은 상기 제 1 차량(200)이 진입한 임의의 실내 공간의 기 생성된 실내 지도의 제작 차량을 의미할 수 있다. 이때, 제 2 차량(200-1)은 제 1 차량(200)이 진입한 임의의 실내 공간의 기 생성된 실내 지도를 최초 제작한 차량을 의미할 수도 있고, 제 1 차량(200)이 진입하기 전에 임의의 실내 공간의 실내 지도를 제작(업데이트)한 차량을 의미할 수도 있다. 즉 본 실시 예에서는, 임의의 실내 공간의 실내 지도를 최초 제작한 차량의 카메라 정보를 기준으로 하여 이미지 매칭을 수행하거나, 최초 제작 이후 갱신된 실내 지도를 제작한 차량(예를 들어, 마지막으로 실내 지도를 제작한 차량)의 카메라 정보를 기준으로 하여 이미지 매칭을 수행할 수 있다.
즉, 본 실시 예는 임의의 실내 공간에서의 측위를 위한 것으로, 영상 기반의 슬램(SLAM, Simultaneous Localization and Mapping) 기술을 통해 제작된 슬램 맵을 사용하여 실내 측위를 수행할 수 있다. 이때 본 실시 예에서는 실내에서 측위하는 것을 실시 예로 하고 있으나, 이에 한정되는 것은 아니고 실외에서의 측위를 수행하는 것도 가능할 것이다.
여기서, 슬램은 차량과 같은 이동로봇에 장착된 센서를 활용하여, 이동로봇이 작업하는 지상 및 실내 환경에 대한 정보를 얻고(센싱), 다양한 형태의 지도로 표현 및 저장(맵핑)하는 동시에, 저장한 지도를 기반으로 이동로봇의 현재 위치를 추정(위치인식)하는 것을 의미할 수 있다. 즉, 슬램은 이동로봇의 자율주행을 위해 가장 기초적이면서 필수적인 기술로, 이동로봇에 구성된 센서 시스템으로부터 얻어진 정보들을 조합하여 최적화 알고리즘을 활용하여 로봇의 위치를 계산하고 지도를 획득할 수 있다. 일반적으로 활용되는 센서로는 RGB-D 카메라(또는 스테레오 카메라), 레이저 거리 센서(LiDAR), 자이로 센서, 엔코더 등이 있는데, RGB-D 카메라와 LiDAR는 공간의 정밀한 지형 정보를 제공하기 때문에 환경의 기하학적 모델링을 위해 널리 사용되고 있다. 이러한 슬램은 공장 및 물류센터 환경, 실내 상업용 공간, 가정공간 및 보행로를 활용한 라스트마일 배송 등 다양한 분야에서 이용될 수 있다. 이에, 보다 정확한 슬램을 위해 딥러닝 기반의 비젼 기술의 개발이 활발해지고 있다. 딥러닝 기반의 비젼 기술이 발전함에 따라 영상정보에서 의미정보 추출이 가능해졌으며, 이를 이용하는 의미기반의 자율주행 형태로 발전하고 있다. 따라서, 이동로봇의 자율주행을 위한 지도가 추상화된 의미기반의 형태(Semantic Map)로 표현되기 때문에 로봇용 지도가 만들어지지 않은 지역의 목적지로도 이동이 가능할 수 있다.
슬램은 다양한 방법으로 구현될 수 있으나, 예를 들어, Local Descriptor 기반의 토폴로지 SLAM은 영상을 구성하는 텍스처에서 점, 선, 영상패치 등의 주요 특징점을 추출하고, 이 특징점들과 데이터베이스의 영상에서 추출된 특징점들과 매칭을 통해 영상을 구별하는 방식으로 다양한 영상 특징을 활용할 수 있다(예를 들어, Harris, ORB, FAST, BRICKS, SIFT, SURF, KAZE, AKAZE 등). 이러한 특징점은 텍스처 기반으로 구별 가능한 설명자(Descriptor)를 가지고 있으며, 영상을 구별하는 랜드마크로 사용될 수 있다. 한편, 맵을 미리 작성하고, 이를 바탕으로 자율 주행을 하고자 할 때, 맵이 작성된 시점과 현재 시점의 차이로 인해서, 주행 환경이 변화하였을 수 있다. 이런 경우, 기존에 작성된 불확실한 맵을 바탕으로 강건하게 위치인식을 수행할 수 있어야 하고, 동시에 최신 정보로 맵을 업데이트 하는 SLAM 기술이 필요하다.
즉, 본 실시 예에서는, 제 2 차량(200-1)이 임의의 실내 공간의 슬램 맵을 최초 제작하고, 제 1 차량(200)이 상기 임의의 실내 공간에 진입하여 상기 제 2 차량(200-1)에서 제작된 슬램 맵을 기반으로 실내 측위를 수행하여 슬램 맵을 최신 정보로 업데이트할 수 있다.
본 실시 예에서 서버(300)는 상기 도 1의 AI 서버(20), MEC(Mobile Edge Computing) 서버 및 실내 측위 장치(100)의 프로세스를 위한 서버 등을 포함할 수 있으며, 이들을 통칭하는 의미일 수도 있다. 서버(300)가 본 실시 예에서 명시되지 않은 다른 서버인 경우 도 2에 도시된 연결관계 등은 달라질 수 있다.
AI 서버는 제 1 차량(200)으로부터 임의의 실내 공간의 실내 측위를 위한 데이터를 수신하여, 제 1 차량(200)에서 촬영한 임의의 실내 공간의 이미지를 분석하고, 분석한 이미지를 기반으로 상기 임의의 실내 공간의 기 생성된 실내 지도의 카메라 정보 또는 레퍼런스 이미지 정보와의 이미지 매칭을 위한 학습을 수행할 수 있다. 또한 AI 서버는 이미지 매칭 결과에 기반하여 임의의 실내 공간의 실내 측위를 위한 학습을 수행할 수 있다. 그리고 AI 서버는 이미지 매칭을 위한 학습 결과 및 실내 측위를 위한 학습 결과를 실내 측위 장치(100)에 송신하여 실내 측위 장치(100)에서 실내 측위를 위한 동작, 즉 슬램 맵 생성 및 업데이트 등을 수행하도록 할 수 있다.
MEC 서버는 일반적인 서버의 역할을 수행할 수 있음은 물론, 무선 액세스 네트워크(RAN: Radio Access Network)내에서 도로 옆에 있는 기지국(BS)과 연결되어, 유연한 차량 관련 서비스를 제공하고 네트워크를 효율적으로 운용할 수 있게 해준다. 특히 MEC 서버에서 지원되는 네트워크-슬라이싱(network-slicing)과 트래픽 스케줄링 정책은 네트워크의 최적화를 도와줄 수 있다. MEC 서버는 RAN내에 통합되고, 3GPP 시스템에서 S1-User plane interface(예를 들어, 코어 네트워크(Core network)와 기지국 사이)에 위치할 수 있다. MEC 서버는 각각 독립적인 네트워크 요소로 간주될 수 있으며, 기존에 존재하는 무선 네트워크의 연결에 영향을 미치지 않는다. 독립적인 MEC 서버는 전용 통신망을 통해 기지국에 연결되며, 당해 셀(cell)에 위치한, 여러 엔드-유저(end-user)들에게 특정 서비스들을 제공할 수 있다. 이러한 MEC 서버와 클라우드 서버는 인터넷-백본(internet-backbone)을 통해 서로 연결되고 정보를 공유할 수 있다. 또한, MEC 서버는 독립적으로 운용되고, 복수 개의 기지국을 제어할 수 있다. 특히 자율주행차량을 위한 서비스, 가상머신(VM: virtual machine)과 같은 어플리케이션 동작과 가상화 플랫폼을 기반으로 하는 모바일 네트워크 엣지(edge)단에서의 동작을 수행할 수 있다. 기지국(BS: Base Station)은 MEC 서버들과 코어 네트워크 모두에 연결되어, 제공되는 서비스 수행에서 요구되는 유연한 유저 트래픽 스케쥴링을 가능하게 할 수 있다. 특정 셀에서 대용량의 유저 트래픽이 발생하는 경우, MEC 서버는 인접한 기지국 사이의 인터페이스에 근거하여, 테스크 오프로딩(offloading) 및 협업 프로세싱을 수행 할 수 있다. 즉, MEC 서버는 소프트웨어를 기반으로하는 개방형 동작환경을 갖으므로, 어플리케이션 제공 업체의 새로운 서비스들이 용이하게 제공될 수 있다. 또한, MEC 서버는 엔드-유저(end-user) 가까이에서 서비스가 수행되므로, 데이터 왕복시간이 단축되며 서비스 제공 속도가 빠르기 때문에 서비스 대기 시간을 감소시킬 수 있다. 또한 MEC 어플리케이션과 가상 네트워크 기능(VNF: Virtual Network Functions)은 서비스 환경에 있어서, 유연성 및 지리적 분포성을 제공할 수 있다. 이러한 가상화 기술을 사용하여 다양한 어플리케이션과 네트워크 기능이 프로그래밍 될 수 있을 뿐 아니라 특정 사용자 그룹만이 선택되거나 이들만을 위한 컴파일(compile)이 가능할 수 있다. 그러므로, 제공되는 서비스는 사용자 요구 사항에 보다 밀접하게 적용될 수 있다. 그리고 중앙 통제 능력과 더불어 MEC 서버는 기지국간의 상호작용을 최소화할 수 있다. 이는 셀 간의 핸드오버(handover)와 같은 네트워크의 기본 기능 수행을 위한 프로세스를 간략하게 할 수 있다. 이러한 기능은 특히 이용자가 많은 자율주행시스템에서 유용할 수 있다. 또한, 자율주행시스템에서 도로의 단말들은 다량의 작은 패킷을 주기적으로 생성할 수 있다. RAN에서 MEC 서버는 특정 서비스를 수행함으로써, 코어 네트워크로 전달되어야 하는 트래픽의 양을 감소시킬 수 있으며, 이를 통해 중앙 집중식 클라우드 시스템에서 클라우드의 프로세싱 부담을 줄일 수 있고, 네트워크의 혼잡을 최소화할 수 있다. 그리고 MEC 서버는 네트워크 제어 기능과 개별적인 서비스들을 통합하며, 이를 통해 모바일 네트워크 운영자(MNOs: Mobile Network Operators)의 수익성을 높일 수 있으며, 설치 밀도 조정을 통해 신속하고 효율적인 유지관리 및 업그레이드가 가능하도록 할 수 있다.
한편, 본 실시 예에서, 제 1 차량(200)은 차량 통신 모듈, 차량 제어 모듈, 차량 사용자 인터페이스 모듈, 운전 조작 모듈, 차량 구동 모듈, 운행 모듈, 내비게이션 모듈 및 센싱 모듈 등을 포함할 수 있다. 실시 예에 따라 제 1 차량(200)은 상기 구성요소 외에 다른 구성요소를 포함하거나, 이하 설명되는 구성요소 중 일부를 포함하지 않을 수 있다. 한편, 본 실시 예에서는, 제 1 차량(200)을 중심으로 설명하고 있으나, 상기 제 1 차량(200)에 포함되는 구성요소는 제 2 차량(200-1)에도 포함될 수 있다. 즉 제 1 차량(200) 및 제 2 차량(200-1)은 동일한 분류의 차량을 의미할 수 있다.
여기서, 제 1 차량(200)은 자율 주행 차량일 수 있으며, 차량 사용자 인터페이스 모듈을 통하여 수신되는 사용자 입력에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 아울러, 제 1 차량(200)은 주행 상황에 따라 자율 주행 모드에서 매뉴얼 모드로 전환되거나 매뉴얼 모드에서 자율 주행 모드로 전환될 수 있다. 여기서, 주행 상황은 차량 통신 모듈에 의해 수신된 정보, 센싱 모듈에 의해 검출된 외부 오브젝트 정보 및 내비게이션 모듈에 의해 획득된 내비게이션 정보 중 적어도 어느 하나에 의해 판단될 수 있다.
한편, 본 실시 예에서 제 1 차량(200)은 제어를 위해 사용자로부터 서비스 요청(사용자 입력)을 수신할 수 있다. 제 1 차량(200)에서 사용자로부터 서비스 제공 요청을 수신하는 방법은, 사용자로부터 차량 사용자 인터페이스 모듈에 대한 터치(또는 버튼 입력) 신호를 수신하는 경우, 사용자로부터 서비스 요청에 대응하는 발화 음성을 수신하는 경우 등을 포함할 수 있다. 이때, 사용자로부터의 터치 신호 수신, 발화 음성 수신 등은 사용자 단말기(도 1의 30d)에 의해서도 가능할 수 있다. 또한 발화 음성 수신은, 별도 마이크가 구비되어 음성 인식 기능이 실행될 수 있다.
제 1 차량(200)이 자율 주행 모드로 운행되는 경우, 제 1 차량(200)은 주행, 출차, 주차 동작을 제어하는 운행 모듈의 제어에 따라 운행될 수 있다. 한편, 제 1 차량(200)이 매뉴얼 모드로 운행되는 경우, 제 1 차량(200)은 운전자의 운전 조작 모듈을 통한 입력에 의해 운행될 수 있다. 제 1 차량(200)은 통신망을 통해 외부 서버에 연결되고, 자율주행 기술을 이용하여 운전자 개입 없이 미리 설정된 경로를 따라 이동 가능할 수 있다.
차량 사용자 인터페이스 모듈은 제 1 차량(200)과 차량 사용자와의 소통을 위한 것으로, 사용자의 입력 신호를 수신하고, 수신된 입력 신호를 차량 제어 모듈로 전달하며, 차량 제어 모듈의 제어에 의해 사용자에게 제 1 차량(200)이 보유하는 정보를 제공할 수 있다. 차량 사용자 인터페이스 모듈은 입력모듈, 내부 카메라, 생체 감지 모듈 및 출력 모듈을 포함할 수 있으나 이에 한정되지 않는다.
입력 모듈은, 사용자로부터 정보를 입력 받기 위한 것으로, 입력 모듈에서 수집한 데이터는, 차량 제어 모듈에 의해 분석되어, 사용자의 제어 명령으로 처리될 수 있다. 또한, 입력 모듈은 사용자로부터 제 1 차량(200)의 목적지를 입력 받아 차량 제어 모듈로 제공할 수 있다. 또한 입력 모듈은 사용자의 입력에 따라 센싱 모듈의 복수 개의 센서 모듈 중 적어도 하나의 센서 모듈을 지정하여 비활성화하는 신호를 차량 제어 모듈로 입력할 수 있다. 그리고 입력 모듈은 차량 내부에 배치될 수 있다. 예를 들면, 입력 모듈은 스티어링 휠(Steering wheel)의 일 영역, 인스투루먼트 패널(Instrument panel)의 일 영역, 시트(Seat)의 일 영역, 각 필러(Pillar)의 일 영역, 도어(Door)의 일 영역, 센타 콘솔(Center console)의 일 영역, 헤드 라이닝(Head lining)의 일 영역, 썬바이저(Sun visor)의 일 영역, 윈드 쉴드(Windshield)의 일 영역 또는 창문(Window)의 일 영역 등에 배치될 수 있다.
출력 모듈은 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 음향 또는 이미지를 출력할 수 있다. 또한 출력 모듈은 디스플레이 모듈, 음향 출력 모듈 및 햅틱 출력 모듈 중 적어도 어느 하나를 포함할 수 있다.
디스플레이 모듈은 다양한 정보에 대응되는 그래픽 객체를 표시할 수 있다. 디스플레이 모듈은 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉서블 디스플레이(Flexible display), 삼차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. 디스플레이 모듈은 터치 입력 모듈과 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 또한 디스플레이 모듈은 HUD(Head Up Display)로 구현될 수 있다. 디스플레이 모듈이 HUD로 구현되는 경우, 디스플레이 모듈은 투사 모듈을 구비하여 윈드 쉴드 또는 창문에 투사되는 이미지를 통해 정보를 출력할 수 있다. 차량 사용자 인터페이스 모듈은 복수 개의 디스플레이 모듈을 포함할 수 있다. 디스플레이 모듈은, 스티어링 휠의 일 영역, 인스투루먼트 패널의 일 영역, 시트의 일 영역, 각 필러의 일 영역, 도어의 일 영역, 센타 콘솔의 일 영역, 헤드 라이닝의 일 영역, 썬 바이저의 일 영역에 배치되거나, 윈드 쉴드의 일 영역, 창문의 일 영역에 구현될 수 있다.
음향 출력 모듈은 차량 제어 모듈로부터 제공되는 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 음향 출력 모듈은 하나 이상의 스피커를 포함할 수 있다. 햅틱 출력 모듈은 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력 모듈은 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.
운전 조작 모듈은 운전을 위한 사용자 입력을 수신할 수 있다. 메뉴얼 모드인 경우, 제 1 차량(200)은 운전 조작 모듈에 의해 제공되는 신호에 기초하여 운행될 수 있다. 즉, 운전 조작 모듈은 매뉴얼 모드에 있어서 제 1 차량(200)의 운행을 위한 입력을 수신하고, 조향 입력 모듈, 가속 입력 모듈 및 브레이크 입력 모듈을 포함할 수 있으나 이에 한정되지 않는다.
차량 구동 모듈은 제 1 차량(200) 내 각종 장치의 구동을 전기적으로 제어하고, 파워 트레인 구동 모듈, 샤시 구동 모듈, 도어/윈도우 구동 모듈, 안전 장치 구동 모듈, 램프 구동 모듈 및 공조 구동 모듈을 포함할 수 있으나 이에 한정되지 않는다.
운행 모듈은 제 1 차량(200)의 각종 운행을 제어할 수 있으며, 특히 자율 주행 모드에서 제 1 차량(200)의 각종 운행을 제어할 수 있다. 운행 모듈은 주행 모듈, 출차 모듈 및 주차 모듈을 포함할 수 있으나, 이에 한정되지 않는다. 또한, 운행 모듈은 차량 제어 모듈의 제어를 받는 프로세서를 포함할 수 있다. 운행 모듈의 각 모듈은, 각각 개별적으로 프로세서를 포함할 수 있다. 실시 예에 따라, 운행 모듈이 소프트웨어적으로 구현되는 경우, 차량 제어 모듈의 하위 개념일 수도 있다.
이때, 주행 모듈, 출차 모듈 및 주차 모듈은 각각 제 1 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 또한 주행 모듈, 출차 모듈 및 주차 모듈은 각각 센싱 모듈로부터 오브젝트 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 제 1 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 또한, 주행 모듈, 출차 모듈 및 주차 모듈은 각각 차량 통신 모듈을 통해, 외부 디바이스로부터 신호를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 제 1 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 그리고 주행 모듈, 출차 모듈 및 주차 모듈은 각각 내비게이션 모듈로부터 내비게이션 정보를 제공받아, 차량 구동 모듈에 제어 신호를 제공하여, 제 1 차량(200)의 주행, 출차 및 주차를 수행할 수 있다. 내비게이션 모듈은 차량 제어 모듈에 내비게이션 정보를 제공할 수 있다. 내비게이션 정보는 맵(map) 정보, 설정된 목적지 정보, 목적지 설정 따른 경로 정보, 경로 상의 다양한 오브젝트에 대한 정보, 차선 정보 및 차량의 현재 위치 정보 중 적어도 어느 하나를 포함할 수 있다.
특히 본 실시 예에서, 내비게이션 모듈은 제 1 차량(200)이 진입한 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 차량 제어 모듈에 제공할 수 있다. 즉 본 실시 예에서, 제 1 차량(200)이 임의의 실내 공간에 진입하면, 차량 제어 모듈은 내비게이션 모듈로부터 임의의 실내 공간에 기 생성된 실내 지도(예를 들어, 슬램 맵)를 제공받고, 산출된 이동 경로 및 고정 식별 정보를 제공된 슬램 맵에 투영하여 지도 데이터를 생성할 수 있다.
내비게이션 모듈은, 메모리를 포함할 수 있다. 메모리는 내비게이션 정보를 저장할 수 있다. 내비게이션 정보는 차량 통신 모듈을 통해 수신된 정보에 의하여 갱신될 수 있다. 내비게이션 모듈은, 내장 프로세서에 의해 제어될 수도 있고, 외부 신호, 예를 들면, 차량 제어 모듈부터 제어 신호를 입력 받아 동작할 수 있으나 이에 한정되지 않는다.
센싱 모듈은 제 1 차량(200)에 장착된 센서를 이용하여 제 1 차량(200)의 상태를 센싱, 즉, 제 1 차량(200)의 상태에 관한 신호를 감지하고, 감지된 신호에 따라 제 1 차량(200)의 이동 경로 정보를 획득할 수 있다. 또한 센싱 모듈은 획득된 이동 경로 정보를 차량 제어 모듈에 제공할 수 있다. 또한 센싱 모듈은 제 1 차량(200)에 장착된 센서를 이용하여 제 1 차량(200) 주변의 오브젝트 등을 센싱 할 수 있다.
그리고 센싱 모듈은 제 1 차량(200) 외부에 위치하는 오브젝트를 검출하기 위한 것으로, 센싱 데이터에 기초하여 오브젝트 정보를 생성하고, 생성된 오브젝트 정보를 차량 제어 모듈로 전달할 수 있다. 이때, 오브젝트는 제 1 차량(200)의 운행과 관련된 다양한 물체, 예를 들면, 차선, 타 차량, 보행자, 이륜차, 교통 신호, 빛, 도로, 구조물, 과속 방지턱, 지형물, 동물 등을 포함할 수 있다. 센싱 모듈은 복수 개의 센서 모듈로서, 복수 개의 촬상부로서의 카메라 모듈, 라이다(LIDAR: Light Imaging Detection and Ranging), 초음파 센서, 레이다(RADAR: Radio Detection and Ranging) 및 적외선 센서를 포함할 수 있다. 센싱 모듈은 복수 개의 센서 모듈을 통하여 제 1 차량(200) 주변의 환경 정보를 센싱 할 수 있다. 실시 예에 따라, 센싱 모듈은 설명되는 구성 요소 외에 다른 구성 요소를 더 포함하거나, 설명되는 구성 요소 중 일부를 포함하지 않을 수 있다.
촬상부는 제 1 차량(200) 외부 이미지를 획득하기 위해, 제 1 차량(200)의 외부의 적절한 곳, 예를 들면, 제 1 차량(200)의 전방, 후방, 우측 사이드 미러, 좌측 사이드 미러에 위치할 수 있다. 촬상부는, 모노 카메라일 수 있으나, 이에 한정되지 않으며, 스테레오 카메라, AVM(Around View Monitoring) 카메라 또는 360도 카메라일 수 있다. 촬상부는, 제 1 차량(200) 전방의 이미지를 획득하기 위해, 차량(200)의 실내에서, 프런트 윈드 쉴드에 근접하게 배치될 수 있다. 또는, 촬상부는, 프런트 범퍼 또는 라디에이터 그릴 주변에 배치될 수 있다. 촬상부는, 차량(200) 후방의 이미지를 획득하기 위해, 차량의 실내에서, 리어 글라스에 근접하게 배치될 수 있다. 또는, 촬상부는 리어 범퍼, 트렁크 또는 테일 게이트 주변에 배치될 수 있다. 촬상부는 차량(200) 측방의 이미지를 획득하기 위해, 차량(200)의 실내에서 사이드 창문 중 적어도 어느 하나에 근접하게 배치될 수 있다. 또한, 촬상부는 휀더 또는 도어 주변에 배치될 수 있다.
차량 제어 모듈은 센싱 모듈의 각 모듈의 전반적인 동작을 제어할 수 있다. 차량 제어 모듈은 레이다, 라이다, 초음파 센서 및 적외선 센서에 의해 센싱된 데이터와 기 저장된 데이터를 비교하여, 오브젝트를 검출하거나 분류할 수 있다. 차량 제어 모듈은 획득된 이미지에 기초하여, 오브젝트를 검출하고, 트래킹 할 수 있다. 차량 제어 모듈은 이미지 처리 알고리즘을 통해, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다. 예를 들면, 차량 제어 모듈은 획득된 이미지에서, 시간에 따른 오브젝트 크기의 변화를 기초로, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다. 또한 예를 들면, 차량 제어 모듈은 핀홀(pin hole) 모델, 노면 프로파일링 등을 통해, 오브젝트와의 거리 정보 및 상대 속도 정보를 획득할 수 있다.
차량 제어 모듈은 송신된 전자파, 레이저, 초음파 및 적외선 광 중 적어도 하나 이상이 오브젝트에 반사되어 되돌아오는 반사파(또는 반사광)에 기초하여, 오브젝트를 검출하고, 트래킹 할 수 있다. 이때 차량 제어 모듈은 반사파(또는 반사광)에 기초하여, 오브젝트와의 거리 산출, 오브젝트와의 상대 속도 산출 등의 동작을 수행할 수 있다. 실시 예에 따라, 센싱 모듈은 차량 제어 모듈과 별도의 프로세서를 내부에 포함할 수 있다. 또한, 레이다, 라이다, 초음파 센서 및 적외선 센서 각각 개별적으로 프로세서를 포함할 수 있다. 센싱 모듈에 프로세서가 포함된 경우, 센싱 모듈은 차량 제어 모듈의 제어를 받는 프로세서의 제어에 따라, 동작될 수 있다.
한편, 센싱 모듈은 자세 센서(예를 들면, 요 센서(yaw sensor), 롤 센서(roll sensor), 피치 센서(pitch sensor)), 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 조도 센서, 가속 페달 포지션 센서, 브레이크 페달 포지션 센서, 등을 포함할 수 있다. 센싱 모듈은 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다. 센싱 모듈은 센싱 데이터를 기초로, 차량 상태 정보를 생성할 수 있다. 차량 상태 정보는, 차량 내부에 구비된 각종 센서에서 감지된 데이터를 기초로 생성된 정보일 수 있다. 차량 상태 정보는, 차량의 자세 정보, 차량의 속도 정보, 차량의 기울기 정보, 차량의 중량 정보, 차량의 방향 정보, 차량의 배터리 정보, 차량의 연료 정보, 차량의 타이어 공기압 정보, 차량의 스티어링 정보, 차량 실내 온도 정보, 차량 실내 습도 정보, 페달 포지션 정보 및 차량 엔진 온도 정보 등을 포함할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 3을 참조하면, 실내 측위 시스템(1)은 실내 측위 장치(100)와 임의의 실내 공간에 구비된 실내 공간 카메라(110-1)와 제 1 차량(200)에 구비된 차량 카메라(130-1)를 포함할 수 있다. 본 실시 예에서는, 제 1 차량(200)이 임의의 실내 공간에 진입하여 차량 카메라(130-1)를 통해 임의의 실내 공간의 이미지를 획득함으로써 실내 측위를 수행할 수 있도록 할 수 있다. 그리고 제 1 차량(200)이 진입한 임의의 실내 공간의 기 생성된 실내 지도에 대한 카메라 정보와 상기 제 1 차량(200)의 차량 카메라(130-1) 정보의 매칭을 통해 정확한 실내 측위가 가능하도록 할 수 있다. 또한 본 실시 예에서는, 임의의 실내 공간에 구비된 실내 공간 카메라(110-1)를 통해 임의의 실내 공간에 진입하는 차량에 대한 레퍼런스 이미지를 촬영하고, 레퍼런스 이미지를 기반으로 제 1 차량(200)의 임의의 실내 공간 진입 이미지를 매칭하여 보다 정확한 실내 측위가 가능하도록 할 수 있다. 이때, 실내 공간 카메라(110-1)와 차량 카메라(130-1)는 이미지 센서를 포함할 수 있으며, 실내 공간 카메라(110-1)와 차량 카메라(130-1)의 구현 방법은 각각 다를 수 있다. 또한, 실내 공간 카메라(110-1)와 차량 카메라(130-1)는 각각 복수 개 구비될 수 있으며, 설치 위치는 한정되지 않는다. 다만 본 실시 예에서는, 실내 공간 카메라(110-1)는 임의의 실내 공간의 진입 위치에 설치될 수 있고, 차량 카메라(130-1)는 차량의 전면 측에 설치될 수 있다.
실내 측위 장치(100)를 보다 구체적으로 살펴보면, 실내 측위 장치(100)는 통신부(110), 사용자 인터페이스부(120), 이미지 입력부(130), 지도 처리부(140), 메모리(150) 및 제어부(160)를 포함할 수 있다.
통신부(110)는 제 1 차량(200)과 외부 장치와의 통신을 수행하기 위한 차량 통신 모듈일 수 있다. 통신부(110)는 복수 개의 통신 모드에 의한 통신을 지원하고, 서버로부터 서버 신호를 수신하며, 서버로 신호를 송신할 수 있다. 또한 통신부(110)는 타 차량으로부터 신호를 수신하고, 타 차량으로 신호를 송신할 수 있으며, 사용자 단말기로부터 신호를 수신하고, 사용자 단말기로 신호를 송신할 수 있다. 즉 외부 장치는 타 차량, 사용자 단말기, 그리고 서버 시스템 등을 포함할 수 있다. 또한 통신부(110)는 차량 내에서의 통신을 위한 통신 모듈을 포함할 수 있다. 여기서, 복수 개의 통신 모드는 타 차량과의 통신을 수행하는 차량 간 통신 모드, 외부 서버와 통신을 수행하는 서버 통신 모드, 차량 내 사용자 단말기 등 사용자 단말과 통신을 수행하는 근거리 통신 모드, 차량 내 유닛들과 통신하기 위한 차량 내 통신 모드 등을 포함할 수 있다. 즉, 통신부(110)는 무선 통신 모듈, V2X 통신 모듈 및 근거리 통신 모듈 등을 포함할 수 있다.
무선 통신 모듈은 이동 통신망을 통하여 사용자 단말기 또는 서버와 상호 신호를 송수신할 수 있다. 여기서, 이동 통신망은 사용한 시스템 자원(대역폭, 전송 파워 등)을 공유하여 다중 사용자의 통신을 지원할 수 있는 다중 접속(Multiple access) 시스템이다. 다중 접속 시스템의 예로는, CDMA(Code Division Multiple Access) 시스템, FDMA(Frequency Division Multiple Access) 시스템, TDMA(Time Division Multiple Access) 시스템, OFDMA(Orthogonal Frequency Division Multiple Access) 시스템, SC-FDMA(Single Carrier Frequency Division Multiple Access) 시스템, MC-FDMA(Multi Carrier Frequency Division Multiple Access) 시스템 등이 있다.
V2X 통신 모듈은, 무선 방식으로 V2I 통신 프로토콜을 통해 RSU와 상호 신호를 송수신하고, V2V 통신 프로토콜을 통해 타 차량과 상호 신호를 송수신하며, V2P 통신 프로토콜을 통해 사용자 단말기, 즉 보행자 또는 사용자와 상호 신호를 송수신할 수 있다. 즉 V2X 통신 모듈은 인프라와의 통신(V2I), 차량간 통신(V2V), 사용자 단말기와의 통신(V2P) 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다. 즉, 통신부(110)는 통신을 수행하기 위해 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF(Radio Frequency) 회로 및 RF 소자 중 적어도 어느 하나를 포함할 수 있다.
그리고 근거리 통신 모듈은, 예를 들어 운전자의 사용자 단말기와 근거리 무선 통신 모듈을 통해 연결되도록 할 수 있다. 이때 근거리 통신 모듈은 사용자 단말기와 무선 통신뿐만 아니라 유선 통신으로 연결되도록 할 수도 있다. 예를 들어 근거리 통신 모듈은 운전자의 사용자 단말기가 사전에 등록된 경우, 제 1 차량(200)으로부터 일정 거리 내(예를 들어, 차량 내)에서 등록된 사용자 단말기가 인식되면 자동으로 제 1 차량(200)과 연결되도록 할 수 있다. 즉, 통신부(110)는 근거리 통신(Short range communication), GPS 신호 수신, V2X 통신, 광통신, 방송 송수신 및 ITS(Intelligent Transport Systems) 통신 기능을 수행할 수 있다. 통신부(110)는, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 실시 예에 따라, 통신부(110)는 설명되는 기능 외에 다른 기능을 더 지원하거나, 설명되는 기능 중 일부를 지원하지 않을 수 있다.
또한, 실시 예에 따라, 통신부(110)의 각 모듈은 통신부(110) 내에 구비된 별도의 프로세서에 의해 전반적인 동작이 제어될 수 있다. 통신부(110)는 복수 개의 프로세서를 포함하거나, 프로세서를 포함하지 않을 수도 있다. 통신부(110)에 프로세서가 포함되지 않는 경우, 통신부(110)는, 제 1 차량(200) 내 다른 장치의 프로세서 또는 차량 제어 모듈의 제어에 따라, 동작될 수 있다. 또한 통신부(110)는 차량 사용자 인터페이스 모듈과 함께 차량용 디스플레이 장치를 구현할 수 있다. 이 경우, 차량용 디스플레이 장치는, 텔레매틱스(telematics) 장치 또는 AVN(Audio Video Navigation) 장치로 명명될 수 있다.
한편, 본 실시 예에서 통신부(110)는 실내 측위 시스템(1)이 배치된 제 1 차량(200)을 자율주행 모드로 운행하기 위해 연결된 5G 네트워크의 하향 링크 그랜트에 기초하여, 이미지 특징점을 추출하여 레퍼런스 이미지와 획득 이미지를 매칭하도록 미리 훈련된 심층 신경망 모델을 이용하여, 상기 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서 제 1 차량(200)에서 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출할 수 있다. 이때 통신부(110)는 레퍼런스 이미지 정보, 제 1 차량(200)의 이미지 정보, 변환식 도출 결과를 5G 네트워크에 연결된 AI 서버로부터 수신할 수 있다.
한편, 도 4는 5G 통신 시스템에서 자율주행 차량과 5G 네트워크의 기본동작의 일 예를 나타낸 도면이다.
통신부(110)는 제 1 차량(200)이 자율주행 모드로 운행되는 경우, 특정 정보를 5G 네트워크로 전송할 수 있다(S1).
이 때, 특정 정보는 자율주행 관련 정보를 포함할 수 있다.
자율주행 관련 정보는, 차량의 주행 제어와 직접적으로 관련된 정보일 수 있다. 예를 들어, 자율주행 관련 정보는 차량 주변의 오브젝트를 지시하는 오브젝트 데이터, 맵 데이터(map data), 차량 상태 데이터, 차량 위치 데이터 및 드라이빙 플랜 데이터(driving plan data) 중 하나 이상을 포함할 수 있다.
자율주행 관련 정보는 자율주행에 필요한 서비스 정보 등을 더 포함할 수 있다. 예를 들어, 특정 정보는, 사용자 인터페이스부를 통해 입력된 목적지와 차량의 안전 등급에 관한 정보를 포함할 수 있다.
또한, 5G 네트워크는 차량의 원격 제어 여부를 결정할 수 있다(S2).
여기서, 5G 네트워크는 자율주행 관련 원격 제어를 수행하는 서버 또는 모듈을 포함할 수 있다.
또한, 5G 네트워크는 원격 제어와 관련된 정보(또는 신호)를 자율주행 차량으로 전송할 수 있다(S3).
전술한 바와 같이, 원격 제어와 관련된 정보는 자율주행 차량에 직접적으로 적용되는 신호일 수도 있고, 나아가 자율주행에 필요한 서비스 정보를 더 포함할 수 있다. 본 발명의 일 실시예에서 자율주행 차량은, 5G 네트워크에 연결된 서버를 통해 주행 경로 상에서 선택된 구간별 보험과 위험 구간 정보 등의 서비스 정보를 수신함으로써, 자율주행과 관련된 서비스를 제공할 수 있다.
이하, 도 5 내지 도 9를 참조하여 자율주행이 가능한 제 1 차량(200)과 5G 네트워크 간의 5G 통신을 위한 필수 과정(예를 들어, 차량과 5G 네트워크 간의 초기 접속 절차 등)을 개략적으로 설명하면 다음과 같다.
먼저, 5G 통신 시스템에서 수행되는 자율주행이 가능한 제 1 차량(200)과 5G 네트워크를 통한 응용 동작의 일 예는 다음과 같다.
제 1 차량(200)은 5G 네트워크와 초기 접속(Initial access) 절차를 수행한다(초기 접속 단계, S20). 이때, 초기 접속 절차는 하향 링크(Downlink, DL) 동기 획득을 위한 셀 서치(Cell search) 과정 및 시스템 정보(System information)를 획득하는 과정 등을 포함한다.
또한, 제 1 차량(200)은 5G 네트워크와 임의 접속(Random access) 절차를 수행한다(임의 접속 단계, S21). 이때, 임의 접속 절차는 상향 링크(Uplink, UL) 동기 획득 과정 또는 UL 데이터 전송을 위한 프리엠블 전송 과정, 임의 접속 응답 수신 과정 등을 포함한다.
한편, 5G 네트워크는 자율주행이 가능한 제 1 차량(200)으로 특정 정보의 전송을 스케쥴링 하기 위한 UL 그랜트(Uplink grant)를 전송한다(UL 그랜트 수신 단계, S22).
제 1 차량(200)이 UL 그랜트를 수신하는 절차는 5G 네트워크로 UL 데이터의 전송을 위해 시간/주파수 자원을 배정받는 스케줄링 과정을 포함한다.
또한, 자율주행이 가능한 제 1 차량(200)은 UL 그랜트에 기초하여 5G 네트워크로 특정 정보를 전송할 수 있다(특정 정보 전송 단계, S23).
한편, 5G 네트워크는 제 1 차량(200)으로부터 전송된 특정 정보에 기초하여 제 1 차량(200)의 원격 제어 여부를 결정할 수 있다(차량의 원격 제어 여부 결정 단계, S24).
또한, 자율주행이 가능한 제 1 차량(200)은 5G 네트워크로부터 기 전송된 특정 정보에 대한 응답을 수신하기 위해 물리 하향링크 제어 채널을 통해 DL 그랜트를 수신할 수 있다(DL 그랜트 수신 단계, S25).
이후에, 5G 네트워크는 DL 그랜트에 기초하여 자율주행이 가능한 제1 차량(200)으로 원격 제어와 관련된 정보(또는 신호)를 전송할 수 있다(원격 제어와 관련된 정보 전송 단계, S26).
한편, 앞서 자율주행이 가능한 제 1 차량(200)과 5G 네트워크의 초기 접속 과정 및/또는 임의 접속 과정 및 하향링크 그랜트 수신 과정이 결합된 절차를 예시적으로 설명하였지만, 본 발명은 이에 한정되지 않는다.
예를 들어, 초기 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계 및 원격 제어와 관련된 정보 전송 단계를 통해 초기 접속 과정 및/또는 임의접속 과정을 수행할 수 있다. 또한, 예를 들어 임의 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계, 원격 제어와 관련된 정보 전송 단계를 통해 초기접속 과정 및/또는 임의 접속 과정을 수행할 수 있다. 또한, 특정 정보 전송 단계, 차량의 원격 제어 여부 결정 단계, DL 그랜트 수신 단계, 원격 제어와 관련된 정보 전송 단계를 통해, AI 동작과 DL 그랜트 수신 과정을 결합한 방식으로 자율주행이 가능한 제 1 차량(200)의 제어가 이루어질 수 있다.
또한, 앞서 기술한 자율주행이 가능한 제 1 차량(200)의 동작은 예시적인 것이 불과하므로, 본 발명은 이에 한정되지 않는다.
예를 들어, 자율주행이 가능한 제 1 차량(200)의 동작은, 초기 접속 단계, 임의 접속 단계, UL 그랜트 수신 단계 또는 DL 그랜트 수신 단계가, 특정 정보 전송 단계 또는 원격 제어와 관련된 정보 전송 단계와 선택적으로 결합되어 동작할 수 있다. 아울러, 자율주행이 가능한 제 1 차량(200)의 동작은, 임의 접속 단계, UL 그랜트 수신 단계, 특정 정보 전송 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수도 있다. 한편, 자율주행이 가능한 제 1 차량(200)의 동작은, 초기 접속 단계, 임의 접속 단계, 특정 정보 전송 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수 있다. 또한, 자율주행이 가능한 제 1 차량(200)의 동작은, UL 그랜트 수신 단계, 특정 정보 전송 단계, DL 그랜트 수신 단계 및 원격 제어와 관련된 정보 전송 단계로 구성될 수 있다.
도 6에 도시된 바와 같이, 자율주행 모듈을 포함하는 제 1 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB(Synchronization Signal Block)에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다(초기 접속 단계, S30).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행할 수 있다(임의 접속 단계, S31).
한편, 자율주행이 가능한 제 1 차량(200)은 특정 정보를 전송하기 위해 5G 네트워크로부터 UL 그랜트를 수신할 수 있다(UL 그랜트 수신 단계, S32).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다(특정 정보 전송 단계, S33).
또한, 자율주행이 가능한 제 1 차량(200)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S34).
또한, 자율주행이 가능한 제 1 차량(200)은 원격 제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S35).
초기 접속 단계에 빔 관리(Beam Management, BM) 과정이 추가될 수 있으며, 임의 접속 단계에 PRACH(Physical Random Access CHannel) 전송과 관련된 빔 실패 복구(Beam failure recovery) 과정이 추가될 수 있으며, UL 그랜트 수신 단계에 UL 그랜트를 포함하는 PDCCH(Physical Downlink Control CHannel)의 빔 수신 방향과 관련하여 QCL(Quasi Co-Located) 관계가 추가될 수 있으며, 특정 정보 전송 단계에 특정 정보를 포함하는 PUCCH/PUSCH(Physical Uplink Shared CHannel)의 빔 전송 방향과 관련하여 QCL 관계가 추가될 수 있다. 또한, DL 그랜트 수신 단계에 DL 그랜트를 포함하는 PDCCH의 빔 수신 방향과 관련하여 QCL 관계가 추가될 수 있다.
도 7에 도시된 바와 같이, 자율주행이 가능한 제 1 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(초기 접속 단계, S40).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S41).
또한, 자율주행이 가능한 제 1 차량(200)은 설정된 그랜트(Configured grant)에 기초하여 특정 정보를 5G 네트워크로 전송한다(UL 그랜트 수신 단계, S42). 즉, 상기 5G 네트워크로부터 UL 그랜트를 수신하는 과정 대신, 설정된 그랜트를 수신할 수 있다.
또한, 자율주행이 가능한 제 1 차량(200)은 원격 제어와 관련된 정보(또는 신호)를 설정 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S43).
도 8에 도시된 바와 같이, 자율주행이 가능한 제 1 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행할 수 있다(초기 접속 단계, S50).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S51).
또한, 자율주행이 가능한 제 1 차량(200)은 5G 네트워크로부터 DL 선점(Downlink Preemption) IE(Information Element)를 수신한다(DL 선점 IE 수신, S52).
또한, 자율주행이 가능한 제 1 차량(200)은 DL 선점 IE에 기초하여 선점 지시를 포함하는 DCI(Downlink Control Information) 포맷 2_1을 5G 네트워크로부터 수신한다(DCI 포맷 2_1 수신 단계, S53).
또한, 자율주행 가능한 제 1 차량(200)은 선점 지시(Pre-emption indication)에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB 데이터의 수신을 수행(또는 기대 또는 가정)하지 않는다(eMBB 데이터의 수신 미수행 단계, S54).
또한, 자율주행이 가능한 제 1 차량(200)은 특정 정보를 전송하기 위해 5G 네트워크로 UL 그랜트를 수신한다(UL 그랜트 수신 단계, S55).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다(특정 정보 전송 단계, S56).
또한, 자율주행이 가능한 제 1 차량(200)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S57).
또한, 자율주행이 가능한 제 1 차량(200)은 원격제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S58).
도 9에 도시된 바에 의하면, 자율주행이 가능한 제 1 차량(200)은 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다(초기 접속 단계, S60).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다(임의 접속 단계, S61).
또한, 자율주행 가능 제 1 차량(200)은 특정 정보를 전송하기 위해 5G 네트워크로 UL 그랜트를 수신한다(UL 그랜트 수신 단계, S62).
UL 그랜트는 특정 정보의 전송이 반복적으로 이루어지는 경우, 그 반복 횟수에 대한 정보를 포함하고, 특정 정보는 반복 횟수에 대한 정보에 기초하여 반복하여 전송된다(특정 정보 반복 전송 단계, S63).
또한, 자율주행이 가능한 제 1 차량(200)은 UL 그랜트에 기초하여 특정 정보를 5G 네트워크로 전송한다.
또한, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제 1 주파수 자원에서, 두 번째 특정 정보의 전송은 제 2 주파수 자원에서 전송될 수 있다.
특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(Narrowband)을 통해 전송될 수 있다.
또한, 자율주행이 가능한 제 1 차량(200)은 특정 정보에 대한 응답을 수신하기 위한 DL 그랜트를 5G 네트워크로부터 수신한다(DL 그랜트 수신 단계, S64).
또한, 자율주행이 가능한 제 1 차량(200)은 원격제어와 관련된 정보(또는 신호)를 DL 그랜트에 기초하여 5G 네트워크로부터 수신한다(원격 제어 관련 정보 수신 단계, S65).
앞서 기술한 5G 통신 기술은 도 1 내지 도 17에서 후술할 본 명세서에서 제안하는 실시예와 결합되어 적용될 수 있으며, 또는 본 명세서에서 제안하는 실시예의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.
사용자 인터페이스부(120) 중 디스플레이부(121)는 제어부(160)의 제어 하에 실내 측위 시스템(1)의 작동 상태를 디스플레이 할 수 있다. 실시 예에 따라서, 디스플레이부(121)는 터치패드와 상호 레이어 구조를 이루어 터치스크린을 구성될 수 있다. 이 경우에, 디스플레이부(121)는 사용자의 터치에 의한 정보의 입력이 가능한 조작부(122)로도 사용될 수 있다. 이를 위해 디스플레이부(121)는 터치 인식 디스플레이 제어기 또는 이외의 다양한 입출력 제어기로 구성될 수 있다. 일 예로, 터치 인식 디스플레이 제어기는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공할 수 있다. 터치 인식 디스플레이 제어기는 전기 신호를 제어부(160)와 송수신할 수 있다. 또한, 터치 인식 디스플레이 제어기는 사용자에게 시각적인 출력을 표시하며, 시각적 출력은 텍스트, 그래픽, 이미지, 비디오와 이들의 조합을 포함할 수 있다.
사용자 인터페이스부(120) 중 조작부(122)는 복수의 조작 버튼(미도시)을 구비하여, 입력되는 버튼에 대응하는 신호를 제어부(160)로 전송할 수 있다. 이러한 조작부(122)는 사용자의 터치 또는 누름 조작을 인식할 수 있는 센서 또는 버튼, 스위치 구조로 구성될 수 있다. 본 실시 예에서, 조작부(122)는 디스플레이부(121)에 표시되는 실내 측위 시스템(1)의 작동과 관련한 각종 정보를 확인하거나, 변경하기 위해 사용자가 조작하는 조작 신호를 제어부(160)로 전송할 수 있다.
한편, 사용자 인터페이스부(120)는 상술하는 차량 사용자 인터페이스 모듈에 포함되거나, 차량 사용자 인터페이스를 포함할 수 있고, 디스플레이부(121)는 차량 사용자 인터페이스 모듈의 출력 모듈에 포함되거나, 출력 모듈을 포함할 수 있다. 또한 조작부(122)는 차량 사용자 인터페이스 모듈의 입력 모듈에 포함되거나, 입력 모듈을 포함할 수 있다.
이미지 입력부(130)는 제 1 차량(200)의 차량 카메라(130-1)로부터 임의의 실내 공간을 촬영한 이미지를 수집할 수 있다. 그리고 이미지 입력부(130)는 수집한 이미지와 상기 이미지의 이미지 정보를 포함하여 제어부(160)에 전송할 수 있다.
지도 처리부(140)는 제어부(160)와 연계하여 학습을 수행하거나, 제어부(160)로부터 학습 결과를 수신할 수 있다. 본 실시 예에서 지도 처리부(140)는 도 3에 도시된 바와 같이 제어부(160) 외부에 구비될 수도 있고, 제어부(160) 내부에 구비되어 제어부(160)처럼 동작할 수도 있고, 도 2의 서버(300) 내부에 구비될 수도 있다. 이하 지도 처리부(140)의 상세한 내용은 도 10을 참조하여 설명하기로 한다.
메모리(150)는 실내 측위 시스템(1)에서 필요한 각종 정보들을 저장하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리(150)에는 임의의 실내 공간에 대한 실내 지도의 맵 데이터 및 맵 정보 데이터가 저장될 수 있다. 이때 실내 지도의 맵 데이터는 지도 데이터를 의미할 수 있다. 그리고 실내 지도의 맵 정보 데이터는 기 생성된 실내 지도를 생성한 차량의 카메라 정보, 제조사별 카메라 정보 및 레퍼런스 이미지 정보, 즉 레퍼런스 이미지 정보를 상기 임의의 실내 공간에 진입한 차량에서 촬영된 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함할 수 있다. 또한, 메모리(150)는 이미지 특징점을 추출하여 레퍼런스 이미지와 획득 이미지를 매칭하도록 미리 훈련된 심층 신경망 모델을 저장할 수 있다.
여기서, 메모리(150)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(150)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD. CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
제어부(160)는 제 1 차량(200)이 임의의 실내 공간에 진입하면, 상기 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하고, 상기 임의의 실내 공간의 실내 지도가 기 생성된 경우, 상기 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득할 수 있다. 이때, 제어부(160)는 서버(300)로부터 맵 데이터 및 맵 정보 데이터를 수신할 수 있다. 그리고 제어부(160)는 수신한 맵 데이터 및 맵 정보 데이터를 메모리(150)에 저장하고, 이를 기반으로 이미지 매칭 및 실내 측위를 수행할 수 있다. 즉, 제어부(160)는 차량 카메라(130-1)를 통해 임의의 실내 공간의 이미지를 획득하고, 상기 진입한 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시킬 수 있다. 이때 제어부(160)는 실내 공간 카메라(110-1)를 통해 촬영한 레퍼런스 이미지를 기반으로 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시킬 수도 있다. 그리고 제어부(160)는 매칭 결과를 기반으로 임의의 실내 공간의 실내 측위를 수행할 수 있다.
제어부(160)는 일종의 중앙처리장치로서 메모리(150)에 탑재된 제어 소프트웨어를 구동하여 실내 측위 시스템(1) 전체의 동작을 제어할 수 있다. 제어부(160)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 프로세서(Processors), 제어기(Controllers), 마이크로 컨트롤러(Micro-controllers), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시 예에서 제어부(160)는 실내 측위 시스템(1)이 최적의 실내 측위를 수행하도록, 실내 측위 시스템(1)의 이미지 매칭에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(150)는 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시 예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
즉 실내 측위 시스템(1)에는 인공신경망(artificial neural network)이 탑재될 수 있으며, 즉 제어부(160)는 인공신경망, 예를 들어, CNN, RNN, DBN 등 심층신경망(deep neural network: DNN)을 포함할 수 있다. 따라서 제어부(160)는 실내 측위 시스템(1)의 이미지 매칭 등을 위해 심층신경망을 학습할 수 있다. 이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 제어부(160)는 설정에 따라 학습 후 인공신경망 구조를 업데이트시키도록 제어할 수 있다.
한편, 본 실시 예에서는 미리 훈련된 심층 신경망 학습을 위한 파라미터를 수집할 수 있다. 이때, 심층 신경망 학습을 위한 파라미터는 임의의 실내 공간의 이미지, 차량 카메라(130-1) 정보, 제조사별 카메라 정보, 및 레퍼런스 이미지 정보를 임의의 실내 공간에 진입한 차량에서 상기 임의의 실내 공간을 촬영한 이미지와 매칭하기 위한 데이터 등을 포함할 수 있다. 다만 본 실시 예에서는 심층 신경망 학습을 위한 파라미터가 이에 한정되는 것은 아니다. 이때 본 실시 예에서는, 학습 모델을 정교화하기 위해서 실제 사용자가 사용한 데이터를 수집할 수 있다. 즉 본 실시 예에서는 통신부(110) 및 사용자 인터페이스부(120) 등을 통해 사용자로부터 사용자 데이터를 입력 받을 수 있다. 사용자로부터 사용자 데이터를 입력 받는 경우, 본 실시 예에서는 학습 모델의 결과와 상관없이 입력 데이터를 서버 및/또는 메모리에 저장할 수 있다. 즉 본 실시 예에서, 실내 측위 시스템(1)은 임의의 실내 공간 진입 시 이미지 매칭 및 실내 측위를 위한 데이터를 서버에 저장하여 빅데이터를 구성하고, 서버단에서 딥러닝을 실행하여 관련 파라미터를 실내 측위 시스템(1) 내부에 업데이트하여 점차 정교해지도록 할 수 있다. 다만 본 실시 예에서는 실내 측위 장치(100) 또는 차량의 엣지(edge) 단에서 자체적으로 딥러닝을 실행하여 업데이트를 수행할 수도 있다. 즉 본 실시 예는, 실내 측위 시스템의 초기 설정 또는 차량의 초기 출시 시에는 실험실 조건의 딥러닝 파라미터를 내장하고, 사용자가 차량을 주행할 수록, 즉 사용자가 실내 측위를 수행할수록 누적되는 데이터를 통해 업데이트를 수행할 수 있다. 따라서 본 실시 예에서는 수집한 데이터를 라벨링하여 지도학습을 통한 결과물을 얻을 수 있도록 하며, 이를 실내 측위 시스템 자체 메모리(150)에 저장하여 진화하는 알고리즘이 완성되도록 할 수 있다. 즉, 실내 측위 시스템(1)은 실내 측위를 위한 데이터들을 수집하여 학습 데이터 세트를 생성하고, 학습 데이터 세트를 기계학습 알고리즘을 통해 학습시켜서 학습된 모델을 결정할 수 있다. 그리고 실내 측위 시스템(1)은 실제 사용자가 사용한 데이터를 수집하여 서버에서 재 학습시켜서 재 학습된 모델을 생성할 수 있다. 따라서 본 실시 예는, 학습된 모델로 판단한 후에도 계속 데이터를 수집하고, 기계학습모델을 적용하여 재 학습시켜서, 재 학습된 모델로 성능을 향상시킬 수 있다.
도 10은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 지도 처리부를 설명하기 위하여 도시한 개략적인 블록도이다. 이하의 설명에서 도 1 내지 도 9에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 10을 참조하면, 지도 처리부(140)는 지도 정보 획득부(141), 이미지 획득부(142), 매칭부(143), 보정부(144), 학습부(145) 및 측위 수행부(146)를 포함할 수 있다.
지도 정보 획득부(141)는 제 1 차량(200)이 임의의 실내 공간에 진입하면, 통신부(110)를 통해 임의의 실내 공간의 실내 지도 기 생성 여부를 확인할 수 있다. 그리고 지도 정보 획득부(141)는 임의의 실내 공간의 실내 지도가 기 생성되었다고 확인한 경우, 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득할 수 있다. 이때, 맵 정보 데이터는, 기 생성된 실내 지도를 생성한 차량의 카메라 정보, 제조사별 카메라 정보, 및 레퍼런스 이미지를 제 1 차량(200)에서 임의의 실내 공간에 진입하여 상기 임의의 실내 공간을 촬영한 비교 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함할 수 있다. 예를 들어, 맵 정보 데이터는, 제 2 차량(200-1)의 카메라 정보(해상도, FOV 등의 사양 정보), 제조사별로 알려진 카메라 정보(해상도, FOV 등의 사양 정보), 실내 공간 카메라(110-1)를 통해 촬영한 제 2 차량(200-1)의 레퍼런스 이미지 정보(화상을 구현할 수 있는 모든 정보) 및 제 2 차량(200-1)의 레퍼런스 이미지를 제 1 차량(200)에서 획득된 이미지와 매칭하기 위한 파라미터(특징점 등)를 포함할 수 있다.
영상 기반의 슬램의 경우 특징(점, 선)들을 사용할 수 있다. 이때, 임의의 실내 공간의 기 생성된 실내 지도를 제작한 제 2 차량(200-1)의 카메라와, 임의의 실내 공간에 진입하여 측위를 하고자 하는 제 1 차량(200)의 카메라의 카메라 정보의 차이가 발생할 경우, 영상 인풋의 차이가 발생할 수 있다.
특히, 본 실시 예에서는, 제 2 차량(200-1)의 카메라의 FOV 값과 제 1 차량(200)의 카메라의 FOV 값의 차이가 발생할 경우, 영상 인풋의 차이로 인해 슬램의 정확도가 떨어질 수 있어, FOV 값을 맞추는 과정을 수행하게 된다. 여기서, FOV는 Field Of View, 즉 시야 영역 또는 시야 각을 의미할 수 있다. 보통 FOV 값은 수직 각(Vertical)과 수평 각(Horizontal)으로 표현할 수 있다. 각도의 값이 높을수록 넓은 시야의 이미지를 얻을 수 있다. 카메라의 FOV 값에 의해서 카메라와 피사체와의 거리가 결정되고, 주변 사물의 왜곡이나 한번에 보이는 정보의 양이 달라질 수 있다. 즉, FOV 값의 차이에 의해 사물이 다르게 검출될 수 있으므로, 이미지를 매칭하기 위해서는 FOV 값을 산출하여 매칭하는 과정이 필요하다. 따라서 본 실시 예에서는, 임의의 실내 공간에 기 생성된 실내 지도가 있는 경우, 기 생성된 실내 지도를 제작한 차량 카메라의 FOV 값을 획득하고, 임의의 실내 공간에 진입하여 실내 측위를 하고자 하는 차량 카메라의 FOV 값을 획득 또는 산출하여, 기 생성된 실내 지도를 제작한 차량 카메라와 임의의 실내 공간에 진입한 차량 카메라를 매칭시킴으로써, 정확한 슬램이 수행되도록 할 수 있다.
이미지 획득부(142)는 임의의 실내 공간의 이미지를 획득하는 것으로, 제 1 차량(200)이 임의의 실내 공간에 진입하여 임의의 실내 공간을 촬영한 이미지를 획득할 수 있다. 이때, 이미지 획득부(142)는 제 1 차량(200)이 임의의 실내 공간에 진입하기 직전에 촬영한 이미지, 제 1 차량(200)이 임의의 실내 공간에 진입한 직후에 촬영한 이미지, 제 1 차량(200)이 임의의 실내 공간에 진입하여 촬영한 이미지를 분류하여 획득할 수 있다. 예를 들어, 본 실시 예에서는, 제 1 차량(200)이 임의의 실내 공간에 진입하기 직전, 즉 GPS를 이용하여 차량의 위치를 측정함에 따라 비교적 위치 측정이 정확한 실외에서의 이미지를 획득할 수 있다. 또한 본 실시 예에서는, 제 1 차량(200)이 임의의 실내 공간에 진입한 직후, 즉 제 2 차량(200-1)이 촬영한 레퍼런스 이미지와의 정확한 매칭이 가능하도록 레퍼런스 이미지가 촬영된 위치와 최대한 동일한 위치(기준치 이내의 위치)에서의 이미지를 획득할 수 있다.
매칭부(143)는 지도 정보 획득부(141)에서 획득한 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와, 이미지 획득부(142)에서 획득한 이미지 정보를 매칭시킬 수 있다.
본 실시 예에서, 매칭부(143)는 FOV 획득부(143-1), 비교 이미지 획득부(143-2), 특징점 추출부(143-3) 및 FOV 산출부(143-4)를 포함하여, 이미지 매칭을 수행할 수 있다. 매칭부(143)는 지도 정보 획득부(141)에서 획득한 임의의 실내 공간의 맵 정보 데이터에 제 1 차량(200)에 구비된 카메라의 카메라 정보가 포함되어 있는지 여부를 확인할 수 있다. 그리고 매칭부(143)는 카메라 정보가 포함되어 있는지 여부에 따라 FOV 값을 획득하거나 산출할 수 있다.
FOV 획득부(143-1)는 획득한 맵 정보 데이터에 제 1 차량(200)의 카메라 정보가 포함되어 있는 경우, 획득한 이미지의 FOV 값을 획득할 수 있다. 즉 FOV 획득부(143-1)는 예를 들어, 임의의 실내 공간을 관리하는 관제 서버나 실내 측위 시스템(1)의 서버(300)로부터의 맵 정보 데이터에서 제 1 차량(200)의 카메라의 FOV 값을 획득할 수 있다. 이때 맵 정보 데이터에 카메라 정보가 포함되어 있다는 것은, 제조사가 동일하거나 동일한 제품일 수 있고, FOV 값이 동일하다고 저장된 제품들 중 하나일 수 있다.
한편, 비교 이미지 획득부(143-2)는 획득한 맵 정보 데이터에 제 1 차량(200)의 카메라 정보가 포함되어 있지 않은 경우, 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득할 수 있다. 즉 비교 이미지 획득부(143-2)는 제 2 차량(200-1)에서 촬영된 임의의 실내 공간에 대한 레퍼런스 이미지가 촬영된 위치를 기준으로, 최대한 동일한 위치(예를 들어, 기준치 이내의 위치)에서 상기 임의의 실내 공간을 촬영한 이미지를 획득할 수 있다. 이때 본 실시 예에서는, 제 2 차량(200-1)이 실내 지도 제작 시, 임의의 실내 공간에 진입한 직후 촬영된 이미지를 제 2 차량(200-1)에서 촬영한 레퍼런스 이미지로 설정할 수 있다. 그리고 제 1 차량(200)이 실내 측위를 위해 상기 임의의 실내 공간에 진입한 직후 촬영된 이미지를 제 1 차량(200)에서 촬영한 비교 이미지로 설정할 수 있다.
또한, 본 실시 예에서는, 임의의 실내 공간에 실내 공간 카메라(110-1)를 구비하여, 실내 공간 카메라(110-1)를 통해 임의의 실내 공간에 진입하는 차량들을 촬영하고, 촬영한 이미지에서 번호판을 인식하여 번호판 사이즈가 일치하는 곳에서 비교 이미지를 촬영하도록 할 수도 있다.
도 11은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 레퍼런스 이미지 생성을 설명하기 위한 예시도이다. 도 11을 참조하면, 임의의 실내 공간에는 실내 공간 카메라(110-1)가 구비되어 있으며, 본 실시 예에서는 실내 공간 카메라(110-1)로부터 임의의 실내 공간에 진입하는 차량의 전후면 측 이미지를 획득할 수 있다. 예를 들어, 임의의 실내 공간이 실내 주차장인 경우, 실내 주차장의 입구에는 차량 번호판을 인식하기 위한 번호판 인식 카메라가 구비될 수 있다. 즉 실내 공간 카메라(110-1)는 번호판 인식 카메라로 구현될 수 있으며, 이에 한정되는 것은 아니다.
본 실시 예에서는, 제 2 차량(200-1)이 임의의 실내 공간의 실내 지도를 제작하기 위해 진입할 때 촬영된 번호판 촬영 이미지(A, B)를 저장할 수 있다. 그리고 본 실시 예에서는, 제 1 차량(200)이 실내 측위를 위해 임의의 실내 공간에 진입할 때, 실내 공간 카메라(110-1)로부터 촬영된 제 1 차량(200)의 번호판 촬영 이미지(A', B')를 획득할 수 있다. 그리고 본 실시 예에서는, 제 2 차량(200-1)의 번호판 촬영 이미지(A, B)를 통해 검출한 번호판의 크기와 제 1 차량(200)의 번호판 촬영 이미지(A', B')를 통해 검출한 번호판의 크기를 비교할 수 있다.
그리고 본 실시 예에서는, 제 2 차량(200-1)이 레퍼런스 이미지를 촬영한 위치에서의 번호판의 크기와, 제 1 차량(200)의 번호판의 크기가 동일하거나 기준치 이내로 유사할 때, 차량 카메라(130-1)로부터 이미지 매칭을 위한 비교 이미지를 획득할 수 있다.
특징점 추출부(143-3)는 이미지 특징점 추출 알고리즘에 기초해 기 생성된 실내 지도의 레퍼런스 이미지의 특징점과 비교 이미지 획득부(143-2)에서 획득한 비교 이미지의 특징점을 추출하여 매칭할 수 있다. 예를 들어, surf, sift 등의 이미지 특징점 추출 알고리즘을 통해 레퍼런스 이미지의 특징점과 비교 이미지에서 각각 특징점을 추출하고, 각각의 특징점을 매칭할 수 있다. 이미지 특징점을 추출하고 이를 매칭하는 것은 공지기술이므로 구체적인 설명을 생략하도록 한다.
FOV 산출부(143-4)는 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서, 비교 이미지 획득부(143-2)에서 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출할 수 있다. 그리고 FOV 산출부(143-4)는 상기 도출한 변환식에 기초하여, 비교 이미지 획득부(143-2)에서 획득한 비교 이미지의 FOV(Field of View) 값을 산출할 수 있다. 이때 FOV 산출부(143-4)는 영상 특징점 매칭을 이용한 변환 행렬 추정을 통해 변환식을 도출할 수 있다. 이는 공지된 기술이므로 그 구체적인 설명은 생략하도록 한다.
한편, 매칭부(143)는 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 레퍼런스 이미지와 제 1 차량(200)에서 획득한 비교 이미지를 매칭할 수도 있다. 이때, 심층 신경망 모델은 레퍼런스 이미지의 파라미터 및 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델일 수 있다. 즉 매칭부(143)는 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 레퍼런스 이미지와 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection, 射影) 하여, 비교 이미지의 도메인 변환식을 도출할 수 있다. 이때 본 실시 예에서는, 차량 카메라(130-1) 내에 GPU(Graphics Processing Unit) 모듈이 구비된 경우, 차량 카메라(130-1) 자체 내에서 딥러닝을 수행할 수 있다.
보정부(144)는 맵 정보 데이터에 제 1 차량(200)의 카메라 정보(FOV 값)가 포함되어 있는 경우, FOV 획득부(143-1)에서 획득한 FOV 값을 기반으로 제 1 차량(200)의 이미지를 제 2 차량(200-1)의 이미지에 대응하도록 보정할 수 있다.
반면 보정부(144)는 맵 정보 데이터에 제 1 차량(200)의 카메라 정보(FOV 값)가 포함되어 있지 않은 경우, FOV 산출부(143-4)에서 산출한 FOV 값을 기반으로 제 1 차량(200)의 이미지를 제 2 차량(200-1)의 이미지에 대응하도록 보정할 수 있다. 즉, 보정부(144)는 기 생성된 실내 지도의 이미지 정보와 이미지 획득부(142)에서 획득한 이미지 정보를 매칭시킨 이후, 상기 획득한 이미지의 FOV 값을 기반으로 상기 획득한 이미지를 상기 기 생성된 실내 지도의 이미지에 대응하도록 보정할 수 있다. 다시 말해, 보정부(144)는 제 2 차량(200-1)의 이미지 정보와 제 1 차량(200)의 이미지 정보를 매칭시켜 산출한 제 1 차량(200)의 이미지의 FOV 값을 기반으로, 제 1 차량(200)의 이미지를 제 2 차량(200-1)의 이미지에 대응하도록 보정할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 획득한 맵 정보 데이터에 카메라 정보가 포함되어 있는 경우의 이미지 매칭을 설명하기 위한 예시도이고, 도 13은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 획득한 맵 정보 데이터에 카메라 정보가 포함되지 있지 않은 경우의 이미지 매칭을 설명하기 위한 예시도이다.
도 12를 참조하면, 본 실시 예에서는, 임의의 실내 공간의 기 생성된 실내 지도의 맵 정보 데이터에 임의의 실내 공간에 진입한 차량의 카메라 정보가 포함된 경우, 맵 정보 데이터로부터 FOV 값을 획득하여 이미지를 보정할 수 있다.
본 실시 예에서, 임의의 실내 공간의 실내 지도를 최초 제작한 제 2 차량(200-1)의 카메라 정보는 해상도 및 FOV 값을 포함할 수 있으며, 이는 서버(300) 및/또는 메모리(150)에 저장될 수 있다. 이때 서버(300)는 임의의 실내 공간을 관리 하는 관제서버 또는 실내 측위 시스템(1)의 서버일 수 있다. 이때, 저장된 제 2 차량(200-1)의 카메라 정보는, 예를 들어, 제 2 차량(200-1)의 해상도는 가로(Width) 1280, 세로(height) 720 이고, FOV 값은 수평 FOV 값(Horizontal FOV) 105, 수직 FOV 값(Vertical FOV) 53 일 수 있다.
한편, 임의의 실내 공간에 진입하여 실내 측위를 수행하고자 하는 제 1 차량(200)의 카메라가 A사 카메라인 경우, FOV 획득부(143-1)는 맵 정보 데이터로부터 FOV 값(v-50, h-100)을 획득할 수 있다. 즉, A사 카메라의 FOV 값이 제 2 차량(200-1)의 카메라의 FOV 값보다 작다고 할 수 있다. 이에, 보정부(144)는 제 2 차량(200-1)의 FOV 값(v-53, h-105)에 대응하여, 제 1 차량(200)의 이미지에 대해 엣지 제로 패딩(edge zero padding)을 수행할 수 있다. 즉 보정부(144)는 엣지 제로 패딩을 수행하여 제 1 차량(200)의 이미지의 크기를 제 2 차량(200-1)의 이미지의 크기와 맞출 수 있다. 여기서, 엣지 제로 패딩은 이미지의 크기(가로/세로)를 조절하는 것으로, 하이퍼 파라미터(hyper-parameter)를 변경하여, 이미지의 가장자리를 모두 0으로 채운 데이터를 생성하는 것이다.
또한, 임의의 실내 공간에 진입하여 실내 측위를 수행하고자 하는 제 1 차량(200)의 카메라가 D사 카메라인 경우, FOV 획득부(143-1)는 맵 정보 데이터로부터 FOV 값(v-58, h-110)을 획득할 수 있다. 즉 D사 카메라의 FOV 값이 제 2 차량(200-1)의 FOV 값보다 크다고 할 수 있다. 이에, 보정부(144)는 제 2 차량(200-1)의 FOV 값(v-53, h-105)에 대응하여, 제 1 차량(200)의 이미지를 자를 수 있다(crop). 즉 보정부(144)는 이미지 크롭을 수행하여 제 1 차량(200)의 이미지의 크기를 제 2 차량(200-1)의 이미지의 크기와 맞출 수 있다.
이때 본 실시 예에서, 제 1 차량(200)의 카메라 정보(FOV 값) 및 제 1 차량(200) 카메라의 FOV 값 산출을 위한 변환 정보는 서버(300)에 업데이트될 수 있다.
도 13을 참조하면, 본 실시 예에서는, 임의의 실내 공간의 기 생성된 실내 지도의 맵 정보 데이터에 임의의 실내 공간에 진입한 차량의 카메라 정보가 포함되지 않은 경우, 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득하여 FOV 값을 산출할 수 있다. 예를 들어, 본 실시 예에서는 임의의 실내 공간의 진입 시, 레퍼런스 이미지와 비교 이미지를 획득할 수 있다. 이는 임의의 실내 공간 진입 이라는 조건으로 위치를 특정하여, 레퍼런스 이미지와 비교 이미지의 획득 위치를 최대한 동일하도록 하기 위함이다.
이때 임의의 실내 공간에 진입하여 실내 측위를 수행하고자 하는 제 1 차량(200)의 카메라가 F사 카메라인 경우, 특징점 추출부(143-3)는 이미지 특징점 추출 알고리즘에 기초해 레퍼런스 이미지와 비교 이미지의 특징점을 추출할 수 있다. 그리고 FOV 산출부(143-4)는 레퍼런스 이미지의 특징점 좌표계에서 비교 이미지의 특징점 좌표계로의 변환식을 도출하고, 변환식에 기초하여, 비교 이미지의 FOV 값(v-45, h-102)을 산출할 수 있다.
또한, 매칭부(143)는 이미지 특징점을 추출하여 레퍼런스 이미지와 비교 이미지를 매칭하도록 미리 훈련된 심층 신경망 모델을 이용하여, 레퍼런스 이미지의 특징점 좌표계에서 비교 이미지의 특징점 좌표계로의 변환식을 도출해 제 1 차량(200)의 FOV 값을 산출할 수 있다.
이때 본 실시 예에서, 제 1 차량(200) 카메라의 FOV 값 산출을 위한 도메인 변환식은 서버(300)에 업데이트될 수 있다.
한편, 도 14는 본 발명의 일 실시 예에 따른 실내 측위 시스템의 실내 위치 공유 환경을 설명하기 위한 예시도이다. 이하의 설명에서 도 1 내지 도 13에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 14를 참조하면, 본 실시 예에서는, 임의의 실내 공간(예를 들어, 지하 주차장)에서 실내 측위 정보를 기반으로 내비게이션 기능이 가능하도록 할 수 있고, 효율적으로 내부 이동 및 주차를 가능하게 할 수 있다. 즉, 서버(300)는 임의의 실내 공간에 대해 생성된 실내 측위 정보에 기반하여, 임의의 실내 공간에 위치하는 적어도 하나 이상의 차량의ㅏ 위치 정보를 파악할 수 있다. 예를 들어, 본 실시 예에서, 서버(300)는 임의의 실내 공간의 진입 방향에 위치한 차량 1(C1), 차량 2(C2), 차량 3(C3)과, 임의의 실내 공간의 출구 방향에 위치한 차량 4(C4)로부터 위치 정보를 입력 받아, 상기 차량들과 위치 정보를 공유할 수 있다. 또한, 서버(300)는 선 진입했거나 출차하는 차량들은 번호판 인식 등을 이용하여 비어있는 주차 공간의 정보를 실시간으로 공유할 수 있다. 그리고 서버(300)는 임의의 실내 공간에 위치한 차량들이 비어있는 주차 공간으로 효율적으로 이동할 수 있도록 이동 경로를 제공할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 학습부를 설명하기 위한 개략적인 블록도이다. 이하의 설명에서 도 1 내지 도 14에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 15를 참조하면, 본 실시 예에서, 학습부(145)는 러닝 프로세서(1451), 입력부(1452), 출력부(1453) 및 학습 메모리(1454)를 포함할 수 있다.
학습부(145)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치, 시스템 또는 서버를 의미할 수 있다. 여기서, 학습부(145)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, 학습부(145)는 실내 측위 시스템의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
입력부(1452)는 이미지 매칭을 위한 데이터, 실내 측위를 위한 데이터 등을 입력 데이터로 수신할 수 있다. 예를 들어, 입력 데이터는 기 생성된 실내 지도를 생성한 차량의 카메라 정보 데이터, 제조사별 카메라 정보 데이터, 및 레퍼런스 이미지를 임의의 실내 공간에 진입하는 차량에서 임의의 실내 공간을 촬영한 이미지와 매칭하기 위한 파라미터를 포함할 수 있다.
러닝 프로세서(1451)는 수신된 입력 데이터를, 이미지 매칭 데이터를 추출하기 위한 학습 모델에 적용할 수 있다. 학습 모델은 예를 들어, 레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 심층 신경망 모델 등을 포함할 수 있다. 러닝 프로세서(1451)는 학습 데이터를 이용하여 인공 신경망을 학습시킬 수 있다. 학습 모델은 인공 신경망의 AI 서버(도 1의 20)에 탑재된 상태에서 이용되거나, 외부 장치에 탑재되어 이용될 수도 있다.
출력부(1453)는 학습 모델로부터 실내 측위를 위하여 레퍼런스 이미지와 비교 이미지의 이미지 매칭을 위한 데이터를 출력할 수 있다. 이에 본 실시 예에서는, 매칭 결과를 기반으로, 임의의 실내 공간에 진입하여 실내 측위를 수행하고자 하는 차량, 즉 제 1 차량(200)의 이미지의 FOV 값을 출력할 수 있다.
학습 메모리(1454)는 모델 저장부(1454-1)를 포함할 수 있다. 모델 저장부(1454-1)는 러닝 프로세서(1451)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망)을 저장할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(1941)에 저장될 수 있다.
도 16은 본 발명의 일 실시 예에 따른 실내 측위 시스템의 측위 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 15에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 16을 참조하면, S10단계에서, 실내 측위 시스템(1)은 제 1 차량(200)이 임의의 실내 공간 진입 시, 임의의 실내 공간의 실내 지도 기 생성 여부를 확인한다. 실내 측위 시스템(1)은 제 1 차량(200)이 임의의 실내 공간에 진입하면, 통신부(110)를 통해 임의의 실내 공간의 실내 지도 기 생성 여부를 확인할 수 있다.
임의의 실내 공간의 실내 지도가 기 생성된 경우(S20단계의 예), S30단계에서, 실내 측위 시스템(1)은 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득한다. 이때, 맵 정보 데이터는, 기 생성된 실내 지도를 생성한 차량의 카메라 정보, 제조사별 카메라 정보, 및 레퍼런스 이미지를 임의의 실내 공간에 진입한 차량에서 임의의 실내 공간을 촬영한 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함할 수 있다. 예를 들어, 맵 정보 데이터는, 제 2 차량(200-1)의 카메라 정보(해상도, FOV 등의 사양 정보), 제조사별로 알려진 카메라 정보(해상도, FOV 등의 사양 정보), 실내 공간 카메라(110-1)를 통해 촬영한 제 2 차량(200-1)의 레퍼런스 이미지 정보(화상을 구현할 수 있는 모든 정보) 및 제 2 차량(200-1)의 레퍼런스 이미지를 제 1 차량(200)의 이미지와 매칭하기 위한 파라미터(특징점 등)를 포함할 수 있다.
영상 기반의 슬램의 경우 특징(점, 선)들을 사용할 수 있다. 이때, 임의의 실내 공간의 기 생성된 실내 지도를 제작한 제 2 차량(200-1)의 카메라와, 임의의 실내 공간에 진입하여 측위를 하고자 하는 제 1 차량(200)의 카메라의 카메라 정보의 차이가 발생할 경우, 영상 인풋의 차이가 발생할 수 있다. 특히, 본 실시 예에서는, 제 2 차량(200-1)의 카메라의 FOV 값과 제 1 차량(200)의 카메라의 FOV 값의 차이가 발생할 경우, 영상 인풋의 차이로 인해 슬램의 정확도가 떨어질 수 있어, FOV 값을 맞추는 과정을 수행하게 된다. FOV 값의 차이에 의해 사물이 다르게 검출될 수 있으므로, 이미지를 매칭하기 위해서는 FOV 값을 산출하여 매칭하는 과정이 필요하다. 따라서 본 실시 예에서는, 임의의 실내 공간에 기 생성된 실내 지도가 있는 경우, 기 생성된 실내 지도를 제작한 차량 카메라의 FOV 값을 획득하고, 임의의 실내 공간에 진입하여 실내 측위를 하고자 하는 차량 카메라의 FOV 값을 획득 또는 산출하여, 기 생성된 실내 지도를 제작한 차량 카메라와 임의의 실내 공간에 진입한 차량 카메라를 매칭시킴으로써, 정확한 슬램이 수행되도록 할 수 있다.
S40단계에서, 실내 측위 시스템(1)은 임의의 실내 공간의 이미지를 획득한다. 실내 측위 시스템(1)은 제 1 차량(200)이 임의의 실내 공간에 진입하여 촬영한 이미지를 획득할 수 있다. 이때, 실내 측위 시스템(1)은 제 1 차량(200)이 임의의 실내 공간에 진입하기 직전에 촬영한 이미지, 제 1 차량(200)이 임의의 실내 공간에 진입한 직후에 촬영한 이미지, 제 1 차량(200)이 임의의 실내 공간에 진입하여 촬영한 이미지를 분류하여 획득할 수 있다. 예를 들어, 본 실시 예에서는, 제 1 차량(200)이 임의의 실내 공간에 진입하기 직전, 즉 GPS를 이용하여 차량의 위치를 측정함에 따라 비교적 위치 측정이 정확한 실외에서의 이미지를 획득할 수 있다. 또한 본 실시 예에서는, 제 1 차량(200)이 임의의 실내 공간에 진입한 직후, 즉 제 2 차량(200-1)이 촬영한 레퍼런스 이미지와의 정확한 매칭이 가능하도록 레퍼런스 이미지가 촬영된 위치와 최대한 동일한 위치(기준치 이내의 위치)에서의 이미지를 획득할 수 있다.
S50단계에서, 실내 측위 시스템(1)은 진입한 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로, 기 생성된 실내 지도의 이미지 정보와 획득한 이미지 정보를 매칭한다. 본 실시 예에서, 실내 측위 시스템(1)은 임의의 실내 공간 진입 시 획득한 임의의 실내 공간의 맵 정보 데이터에 제 1 차량(200)의 카메라의 카메라 정보가 포함되어 있는지 여부를 확인할 수 있다. 그리고 실내 측위 시스템(1)은 제 1 차량(200)의 카메라 정보가 포함되어 있는지 여부에 따라 FOV 값을 획득하거나 산출할 수 있다. 구체적인 설명은 도 17을 참조하여 설명하도록 한다.
S60단계에서, 실내 측위 시스템(1)은 매칭 결과를 기반으로, 임의의 실내 공간의 실내 측위를 수행한다.
한편, 본 실시 예에서는, 임의의 실내 공간의 실내 지도가 기 생성되어 있지 않은 경우(S20단계의 아니오), S70단계에서, 실내 측위 시스템(1)은 실내 지도 최초 제작을 위한 임의의 실내 공간의 실내 측위를 수행한다.
도 17은 본 발명의 일 실시 예에 따른 실내 측위 시스템은 획득한 맵 정보 데이터의 카메라 정보 포함 여부에 따른 이미지 매칭 방법을 설명하기 위한 흐름도이다. 이하의 설명에서 도 1 내지 도 16에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 17을 참조하면, S51단계에서, 실내 측위 시스템(1)은 획득한 맵 정보 데이터에 임의의 실내 공간 진입 차량의 카메라 정보가 포함되어 있는지 확인한다.
획득한 맵 정보 데이터에 임의의 실내 공간 진입 차량의 카메라 정보가 포함되어 있지 않은 경우(S51단계의 아니오), S52단계에서, 실내 측위 시스템(1)은 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득한다. 즉, 실내 측위 시스템(1)은 제 2 차량(200-1)에서 촬영된 임의의 실내 공간에 대한 레퍼런스 이미지가 촬영된 위치를 기준으로, 최대한 동일한 위치(예를 들어, 기준치 이내의 위치)에서 상기 임의의 실내 공간을 촬영한 이미지를 획득할 수 있다. 이때 본 실시 예에서는, 제 2 차량(200-1)이 실내 지도 제작 시, 임의의 실내 공간에 진입한 직후 촬영된 이미지를 제 2 차량(200-1)에서 촬영한 레퍼런스 이미지로 설정할 수 있다. 그리고 제 1 차량(200)이 실내 측위를 위해 상기 임의의 실내 공간에 진입한 직후 촬영된 이미지를 제 1 차량(200)에서 촬영한 비교 이미지로 설정할 수 있다. 또한, 본 실시 예에서는, 임의의 실내 공간에 실내 공간 카메라(110-1)를 구비하여, 실내 공간 카메라(110-1)를 통해 임의의 실내 공간에 진입하는 차량들을 촬영하고, 촬영한 이미지에서 번호판을 인식하여 번호판 사이즈가 일치하는 곳에서 비교 이미지를 촬영하도록 할 수도 있다.
S53단계에서, 실내 측위 시스템(1)은 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출한다. 예를 들어, 실내 측위 시스템(1)은 surf, sift 등의 이미지 특징점 추출 알고리즘을 통해 레퍼런스 이미지와 비교 이미지에서 각각 특징점을 추출하고, 각각의 특징점을 매칭할 수 있다.
S54단계에서, 실내 측위 시스템(1)은 획득한 비교 이미지의 FOV(Field Of View) 값을 산출한다. 즉, 실내 측위 시스템(1)은 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서, 비교 이미지의 특징점 좌표계로의 변환식을 도출할 수 있다. 그리고 실내 측위 시스템(1)은 도출한 변환식에 기초하여, 비교 이미지의 FOV(Field of View) 값을 산출할 수 있다. 이때 실내 측위 시스템(1)은 영상 특징점 매칭을 이용한 변환 행렬 추정을 통해 변환식을 도출할 수 있다. 또한, 실내 측위 시스템(1)은 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 제 2 차량(200-1)의 레퍼런스 이미지와 제 1 차량(200)의 비교 이미지를 매칭할 수 있다. 이에, 실내 측위 시스템(1)은 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 레퍼런스 이미지와 비교 이미지를 매칭한 결과를 맵 도메인에 사영하여, 비교 이미지의 도메인 변환식을 도출할 수도 있다.
S55단계에서, 실내 측위 시스템(1)은 획득한 이미지의 FOV 값을 기반으로 획득한 이미지를 기 생성된 실내 지도의 이미지에 대응하도록 보정한다. 즉 실내 측위 시스템(1)은 기 생성된 실내 지도의 이미지 정보와 제 1 차량(200)의 이미지 정보를 매칭시킨 이후, 제 1 차량(200)의 이미지를 제 2 차량(200-1)의 이미지에 대응하도록 보정할 수 있다.
한편, 획득한 맵 정보 데이터에 임의의 실내 공간 진입 차량의 카메라와 동일한 카메라 정보가 포함되어 있는 경우(S51단계의 예), 실내 측위 시스템(1)은 맵 정보 데이터로부터 획득한 이미지의 FOV 값을 획득한다. 즉 실내 측위 시스템(1)은 예를 들어, 임의의 실내 공간을 관리하는 관제 서버나 실내 측위 시스템(1)의 서버(300)로부터의 맵 정보 데이터에서 제 1 차량(200)의 카메라의 FOV 값을 획득할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1 : AI 시스템 기반 실내 측위 시스템
10 : 클라우드 네트워크(Cloud Network)
20 : AI 서버(AI Server)
30a : 로봇(Robot)
30b : 자율 주행 차량(Self-Driving Vehicle)
30c : XR 장치(XR Device)
30d : 스마트폰(Smartphone)
30e : 가전(Home Appliance )
10 : 클라우드 네트워크(Cloud Network)
20 : AI 서버(AI Server)
30a : 로봇(Robot)
30b : 자율 주행 차량(Self-Driving Vehicle)
30c : XR 장치(XR Device)
30d : 스마트폰(Smartphone)
30e : 가전(Home Appliance )
Claims (20)
- 슬램 맵(Slam map)을 기반으로 하는 실내 측위 방법으로서,
차량이 임의의 실내 공간 진입 시, 상기 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하는 단계;
상기 임의의 실내 공간의 실내 지도가 기 생성된 경우, 상기 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 단계;
상기 임의의 실내 공간의 이미지를 획득하는 단계;
상기 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 단계; 및
상기 매칭 결과를 기반으로 상기 임의의 실내 공간의 실내 측위를 수행하는 단계를 포함하는,
실내 측위 방법.
- 제 1 항에 있어서,
상기 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 단계는,
상기 기 생성된 실내 지도를 생성한 장치의 카메라 정보, 제조사별 카메라 정보 및, 레퍼런스 이미지를 상기 획득한 임의의 실내 공간의 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함하는 맵 정보 데이터를 획득하는 단계를 포함하는,
실내 측위 방법.
- 제 2 항에 있어서,
상기 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 단계는,
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 지 여부를 확인하는 단계; 및
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 경우, 상기 획득한 이미지의 FOV(Field of View) 값을 획득하는 단계를 포함하는,
실내 측위 방법.
- 제 2 항에 있어서,
상기 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 단계는,
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 지 여부를 확인하는 단계; 및
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있지 않은 경우, 상기 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득하는 단계를 포함하는,
실내 측위 방법.
- 제 4 항에 있어서,
상기 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 단계는,
이미지 특징점 추출 알고리즘에 기초해 상기 기 생성된 실내 지도의 레퍼런스 이미지의 특징점과 상기 획득한 비교 이미지의 특징점을 추출하여 매칭하는 단계;
상기 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서 상기 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출하는 단계; 및
상기 변환식에 기초하여, 상기 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 단계를 더 포함하는,
실내 측위 방법.
- 제 4 항에 있어서,
상기 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 단계는,
이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 상기 레퍼런스 이미지와 상기 획득한 비교 이미지를 매칭하는 단계;
상기 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 상기 레퍼런스 이미지와 상기 획득한 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection)하여, 상기 획득한 비교 이미지의 도메인 변환식을 도출하는 단계; 및
상기 변환식에 기초하여, 상기 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 단계를 더 포함하며,
상기 심층 신경망 모델은, 레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델인,
실내 측위 방법.
- 제 1 항에 있어서,
상기 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 단계 이후, 상기 획득한 이미지 정보에 포함되는 상기 획득한 이미지의 FOV 값을 기반으로 상기 획득한 이미지를 상기 기 생성된 실내 지도의 이미지에 대응하도록 보정하는 단계를 더 포함하는,
실내 측위 방법.
- 슬램 맵(Slam map)을 기반으로 하는 실내 측위 장치로서,
차량이 임의의 실내 공간 진입 시, 상기 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하고, 상기 임의의 실내 공간의 실내 지도가 기 생성된 경우, 상기 기 생성된 실내 지도의 맵 데이터 및 맵 정보 데이터를 획득하는 지도 정보 획득부;
상기 임의의 실내 공간의 이미지를 획득하는 이미지 획득부;
상기 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시키는 매칭부; 및
상기 매칭 결과를 기반으로 상기 임의의 실내 공간의 실내 측위를 수행하는 측위 수행부를 포함하는,
실내 측위 장치.
- 제 8 항에 있어서,
상기 맵 정보 데이터는,
상기 기 생성된 실내 지도를 생성한 장치의 카메라 정보, 제조사별 카메라 정보 및, 레퍼런스 이미지를 상기 획득한 임의의 실내 공간의 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함하는
실내 측위 장치.
- 제 9 항에 있어서,
상기 매칭부는,
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 지 여부를 확인하고,
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있는 경우, 상기 획득한 이미지의 FOV(Field of View) 값을 획득하는 FOV획득부; 및
상기 획득한 맵 정보 데이터에 상기 획득한 임의의 실내 공간의 이미지를 촬영한 카메라의 카메라 정보가 포함되어 있지 않은 경우, 상기 기 생성된 실내 지도의 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서의 비교 이미지를 획득하는 비교 이미지 획득부를 포함하는,
실내 측위 장치.
- 제 10 항에 있어서,
상기 매칭부는,
이미지 특징점 추출 알고리즘에 기초해 상기 기 생성된 실내 지도의 레퍼런스 이미지의 특징점과 상기 획득한 비교 이미지의 특징점을 추출하여 매칭하는 특징점 추출부; 및
상기 기 생성된 실내 지도의 레퍼런스 이미지의 특징점 좌표계에서 상기 획득한 비교 이미지의 특징점 좌표계로의 변환식을 도출하고, 상기 변환식에 기초하여, 상기 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 FOV산출부를 더 포함하는,
실내 측위 장치.
- 제 10 항에 있어서,
상기 매칭부는,
이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 상기 레퍼런스 이미지와 상기 획득한 비교 이미지를 매칭하고,
상기 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 상기 레퍼런스 이미지와 상기 획득한 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection)하여, 상기 획득한 비교 이미지의 도메인 변환식을 도출하고, 상기 변환식에 기초하여, 상기 획득한 비교 이미지의 FOV(Field of View) 값을 산출하는 FOV산출부를 더 포함하며,
상기 심층 신경망 모델은,
레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델인,
실내 측위 장치.
- 제 9 항에 있어서,
상기 기 생성된 실내 지도의 이미지 정보와 상기 획득한 이미지 정보를 매칭시킨 이후, 상기 획득한 이미지 정보에 포함되는 상기 획득한 이미지의 FOV 값을 기반으로 상기 획득한 이미지를 상기 기 생성된 실내 지도의 이미지에 대응하도록 보정하는 보정부를 더 포함하는,
실내 측위 장치.
- 슬램 맵 (Slam Map)을 기반으로 하는 실내 측위 시스템으로서,
제 1 차량이 임의의 실내 공간 진입 시, 상기 임의의 실내 공간의 이미지를 촬영하는 제 1 차량의 카메라; 및
상기 제 1 차량의 카메라로부터 입력된 상기 임의의 실내 공간의 이미지를 기반으로 상기 제 1 차량이 상기 임의의 실내 공간의 실내 측위를 수행하도록 하기 위한 서버를 포함하고,
상기 서버는,
상기 제 1 차량이 상기 임의의 실내 공간에 진입하면 상기 임의의 실내 공간의 실내 지도 기 생성 여부를 확인하고, 상기 임의의 실내 공간의 실내 지도가 기 생성된 경우, 상기 임의의 실내 공간의 맵 데이터 및 맵 정보 데이터를 기반으로 상기 제 1 차량의 이미지 정보와 제 2 차량의 이미지 정보를 매칭시키며,
상기 제 2 차량은 상기 기 생성된 실내 지도의 제작 차량이고,
상기 맵 정보 데이터는 상기 기 생성된 실내 지도를 생성한 제 2 차량의 카메라 정보, 제조사별 카메라 정보, 레퍼런스 이미지를 상기 제 1 차량의 이미지와 매칭하기 위한 파라미터 중 적어도 하나 이상을 포함하는
실내 측위 시스템.
- 제 14 항에 있어서,
상기 서버는,
상기 맵 정보 데이터에 상기 제 1 차량의 카메라 정보가 포함되어 있는 지 여부를 확인하여, 상기 획득한 맵 정보 데이터에 상기 제 1 차량의 카메라 정보가 포함되어 있는 경우, FOV(Field of View) 값을 획득하고,
상기 획득한 맵 정보 데이터에 상기 제 1 차량의 카메라 정보가 포함되어 있지 않은 경우, 상기 제 2 차량으로부터 획득된 레퍼런스 이미지가 촬영된 위치와 대응되는 위치에서 상기 제 1 차량으로부터 획득된 비교 이미지를 획득하고, 상기 레퍼런스 이미지와 비교 이미지를 매칭하여 상기 비교 이미지의 FOV(Field of View) 값을 산출하며,
상기 제 2 차량으로부터 획득된 이미지 정보와 상기 제 1 차량으로부터 획득된 이미지 정보를 매칭시킨 이후, 상기 제 1 차량으로부터 획득된 이미지 정보에 포함되는 FOV 값을 기반으로 상기 제 1 차량의 이미지를 상기 제 2 차량의 이미지에 대응되도록 보정하는,
실내 측위 시스템.
- 제 15 항에 있어서,
상기 서버는,
이미지 특징 추출 알고리즘에 기초해 상기 제 2 차량의 레퍼런스 이미지의 특징점과 상기 제 1 차량의 비교 이미지의 특징점을 추출하여 매칭하고, 상기 제 2 차량의 레퍼런스 이미지의 특징점 좌표계에서 상기 제 1 차량의 비교 이미지의 특징점 좌표계로의 변환식을 도출하며, 상기 변환식에 기초하여 상기 획득한 비교 이미지의 FOV 값을 산출하는,
실내 측위 시스템.
- 제 15 항에 있어서,
상기 서버는,
이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용하여, 상기 제 2 차량의 레퍼런스 이미지와 상기 제 1 차량의 비교 이미지를 매칭하고, 상기 이미지 매칭을 위해 미리 훈련된 심층 신경망 모델을 이용해 상기 레퍼런스 이미지와 상기 비교 이미지를 매칭한 결과를 맵 도메인에 사영(projection)하여, 상기 비교 이미지의 도메인 변환식을 도출하며, 상기 변환식에 기초하여, 상기 비교 이미지의 FOV 값을 산출하고,
상기 심층 신경망 모델은, 레퍼런스 이미지의 파라미터 및 획득한 비교 이미지의 파라미터를 입력 데이터로 하여, 레퍼런스 이미지와 획득한 비교 이미지 매칭을 위해 연산하도록 훈련된 학습 모델인,
실내 측위 시스템.
- 제 15 항에 있어서,
상기 서버는,
상기 제 1 차량의 이미지 정보와 상기 제 2 차량의 이미지 정보의 매칭 결과를 기반으로 도출된 변환식 및 상기 제 1 차량의 카메라 정보와, 상기 제 1 차량의 실내 측위 데이터를 갱신하는,
실내 측위 시스템.
- 제 14 항에 있어서,
상기 임의의 실내 공간에 설치되어, 상기 임의의 실내 공간에 진입하는 차량의 번호판 이미지를 포함하는 전후면 측 이미지 정보를 촬영하는 실내 공간 카메라를 더 포함하고,
상기 서버는,
상기 실내 공간 카메라로부터 상기 제 2 차량의 전후면 측 이미지 정보를 획득하고, 상기 제 2 차량의 전후면 측 이미지가 촬영된 위치에 대응하는 위치에서의 상기 제 1 차량의 전후면 측 이미지 정보를 획득하며, 상기 제 1 차량의 번호판 이미지 크기와 상기 제 2 차량의 번호판 이미지 크기가 매칭되는 위치에서, 상기 제 1 차량으로부터 상기 임의의 실내 공간의 이미지를 획득하는,
실내 측위 시스템.
- 제 14 항에 있어서,
상기 서버는,
상기 임의의 실내 공간에 대해 생성된 실내 측위 정보에 기반하여, 상기 임의의 실내 공간에 위치하는 적어도 하나 이상의 차량의 위치 정보를 파악하는,
실내 측위 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190123910A KR20190121275A (ko) | 2019-10-07 | 2019-10-07 | 실내 측위 시스템, 장치 및 방법 |
| US16/744,973 US11302031B2 (en) | 2019-10-07 | 2020-01-16 | System, apparatus and method for indoor positioning |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190123910A KR20190121275A (ko) | 2019-10-07 | 2019-10-07 | 실내 측위 시스템, 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190121275A true KR20190121275A (ko) | 2019-10-25 |
Family
ID=68421165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190123910A KR20190121275A (ko) | 2019-10-07 | 2019-10-07 | 실내 측위 시스템, 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11302031B2 (ko) |
| KR (1) | KR20190121275A (ko) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102144431B1 (ko) * | 2020-04-21 | 2020-08-13 | 헬리오센 주식회사 | 휴대단말기를 이용한 인공지능 기반 실내 위치측위 시스템 |
| CN111983620A (zh) * | 2020-03-04 | 2020-11-24 | 武汉理工大学 | 一种面向水下机器人搜寻探摸的目标定位方法 |
| CN113537324A (zh) * | 2021-07-05 | 2021-10-22 | 百安居信息技术(上海)有限公司 | 基于薄几何平面样条插值的户型空间匹配方法及装置 |
| KR20210146770A (ko) * | 2020-05-27 | 2021-12-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 실내 측위 방법, 장치, 장비 및 저장 매체 |
| CN113989636A (zh) * | 2021-09-23 | 2022-01-28 | 深圳市联洲国际技术有限公司 | 家电设备的定位及识别方法、装置、存储介质及终端设备 |
| KR20220064026A (ko) | 2020-11-11 | 2022-05-18 | (주)덱스타 | 실시간 작업자 실내위치 측위방법 |
| KR20220064524A (ko) * | 2020-11-12 | 2022-05-19 | 네이버랩스 주식회사 | 이미지 기반 측위 방법 및 시스템 |
| KR102407802B1 (ko) | 2021-12-22 | 2022-06-10 | (주)리얼메이커 | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 |
| KR20220132274A (ko) * | 2021-03-23 | 2022-09-30 | 주식회사 다비오 | 실내 측위 장치 및 그 방법 |
| KR102554032B1 (ko) * | 2022-05-16 | 2023-07-17 | 주식회사 투와이 | 신경망을 이용한 실내 공간 측정 방법 및 장치 |
| EP4220580A1 (en) | 2022-01-28 | 2023-08-02 | Aptiv Technologies Limited | Method for vehicle driving assistance within delimited area |
| US11797014B2 (en) | 2021-02-09 | 2023-10-24 | Ford Global Technologies, Llc | Autonomous vehicle and infrastructure aided robotic system for end-to-end package delivery |
| WO2024076020A1 (ko) * | 2022-10-07 | 2024-04-11 | 삼성전자 주식회사 | 공간 맵을 생성하는 방법 및 서버 |
| KR20240049860A (ko) | 2022-10-07 | 2024-04-18 | 한국철도기술연구원 | 디지털트윈 기반 철도시설물의 복합재난 방지 시스템 및 그 방법 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111858996B (zh) * | 2020-06-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 室内定位方法、装置、电子设备及存储介质 |
| CN113124902B (zh) * | 2021-04-19 | 2024-05-14 | 追创科技(苏州)有限公司 | 移动机器人的定位修正方法和装置、存储介质、电子装置 |
| WO2022250605A1 (en) * | 2021-05-24 | 2022-12-01 | Hitachi, Ltd. | Navigation guidance methods and navigation guidance devices |
| TWI773476B (zh) * | 2021-08-05 | 2022-08-01 | 財團法人車輛研究測試中心 | 特徵點整合定位系統及特徵點整合定位方法 |
| CN113876988B (zh) * | 2021-09-18 | 2023-06-23 | 青岛海尔空调器有限总公司 | 用于衣物消毒的方法及装置、空调设备 |
| CN114111817B (zh) * | 2021-11-22 | 2023-10-13 | 武汉中海庭数据技术有限公司 | 基于slam地图与高精度地图匹配的车辆定位方法及系统 |
| CN114353795A (zh) * | 2021-12-06 | 2022-04-15 | 中南设计集团（武汉）工程技术研究院有限公司 | 一种基于uwb设备的室内三维定位系统与方法 |
| CN114413903A (zh) * | 2021-12-08 | 2022-04-29 | 上海擎朗智能科技有限公司 | 用于多机器人的定位方法、机器人配送系统及计算机可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101782057B1 (ko) | 2010-05-03 | 2017-09-26 | 삼성전자주식회사 | 지도 생성 장치 및 방법 |
| KR20190098927A (ko) | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | 위치 추정에 적합한 카메라의 위치를 설정하는 방법 및 이를 구현하는 로봇 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012029058A1 (en) * | 2010-08-30 | 2012-03-08 | Bk-Imaging Ltd. | Method and system for extracting three-dimensional information |
| JP6882664B2 (ja) * | 2017-02-07 | 2021-06-02 | 富士通株式会社 | 移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法 |
| CN107680135B (zh) * | 2017-11-16 | 2019-07-23 | 珊口（上海）智能科技有限公司 | 定位方法、系统及所适用的机器人 |
-
2019
- 2019-10-07 KR KR1020190123910A patent/KR20190121275A/ko unknown
-
2020
- 2020-01-16 US US16/744,973 patent/US11302031B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101782057B1 (ko) | 2010-05-03 | 2017-09-26 | 삼성전자주식회사 | 지도 생성 장치 및 방법 |
| KR20190098927A (ko) | 2019-08-05 | 2019-08-23 | 엘지전자 주식회사 | 위치 추정에 적합한 카메라의 위치를 설정하는 방법 및 이를 구현하는 로봇 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111983620A (zh) * | 2020-03-04 | 2020-11-24 | 武汉理工大学 | 一种面向水下机器人搜寻探摸的目标定位方法 |
| CN111983620B (zh) * | 2020-03-04 | 2024-02-20 | 武汉理工大学 | 一种面向水下机器人搜寻探摸的目标定位方法 |
| KR102144431B1 (ko) * | 2020-04-21 | 2020-08-13 | 헬리오센 주식회사 | 휴대단말기를 이용한 인공지능 기반 실내 위치측위 시스템 |
| KR20210146770A (ko) * | 2020-05-27 | 2021-12-06 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 실내 측위 방법, 장치, 장비 및 저장 매체 |
| KR20220064026A (ko) | 2020-11-11 | 2022-05-18 | (주)덱스타 | 실시간 작업자 실내위치 측위방법 |
| KR20220064524A (ko) * | 2020-11-12 | 2022-05-19 | 네이버랩스 주식회사 | 이미지 기반 측위 방법 및 시스템 |
| US11797014B2 (en) | 2021-02-09 | 2023-10-24 | Ford Global Technologies, Llc | Autonomous vehicle and infrastructure aided robotic system for end-to-end package delivery |
| KR20220132274A (ko) * | 2021-03-23 | 2022-09-30 | 주식회사 다비오 | 실내 측위 장치 및 그 방법 |
| CN113537324B (zh) * | 2021-07-05 | 2023-09-12 | 百安居网络技术(上海)有限公司 | 基于薄几何平面样条插值的户型空间匹配方法及装置 |
| CN113537324A (zh) * | 2021-07-05 | 2021-10-22 | 百安居信息技术(上海)有限公司 | 基于薄几何平面样条插值的户型空间匹配方法及装置 |
| CN113989636A (zh) * | 2021-09-23 | 2022-01-28 | 深圳市联洲国际技术有限公司 | 家电设备的定位及识别方法、装置、存储介质及终端设备 |
| CN113989636B (zh) * | 2021-09-23 | 2024-05-28 | 深圳市联洲国际技术有限公司 | 家电设备的定位及识别方法、装置、存储介质及终端设备 |
| KR102407802B1 (ko) | 2021-12-22 | 2022-06-10 | (주)리얼메이커 | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 |
| EP4220580A1 (en) | 2022-01-28 | 2023-08-02 | Aptiv Technologies Limited | Method for vehicle driving assistance within delimited area |
| KR102554032B1 (ko) * | 2022-05-16 | 2023-07-17 | 주식회사 투와이 | 신경망을 이용한 실내 공간 측정 방법 및 장치 |
| WO2024076020A1 (ko) * | 2022-10-07 | 2024-04-11 | 삼성전자 주식회사 | 공간 맵을 생성하는 방법 및 서버 |
| KR20240049860A (ko) | 2022-10-07 | 2024-04-18 | 한국철도기술연구원 | 디지털트윈 기반 철도시설물의 복합재난 방지 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210104064A1 (en) | 2021-04-08 |
| US11302031B2 (en) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11302031B2 (en) | System, apparatus and method for indoor positioning | |
| US11511598B2 (en) | Apparatus and method for controlling air conditioning of vehicle | |
| US20190391582A1 (en) | Apparatus and method for controlling the driving of a vehicle | |
| US11493926B2 (en) | Offline agent using reinforcement learning to speedup trajectory planning for autonomous vehicles | |
| US10990099B2 (en) | Motion planning methods and systems for autonomous vehicle | |
| US11328219B2 (en) | System and method for training a machine learning model deployed on a simulation platform | |
| US11231717B2 (en) | Auto-tuning motion planning system for autonomous vehicles | |
| CN111061261B (zh) | 使用标准导航地图与基于车辆的先前轨迹确定的车道配置的自动驾驶方法 | |
| US11467591B2 (en) | Online agent using reinforcement learning to plan an open space trajectory for autonomous vehicles | |
| US10809736B2 (en) | ST-graph learning based decision for autonomous driving vehicle | |
| US11409284B2 (en) | Relaxation optimization model to plan an open space trajectory for autonomous vehicles | |
| US11460838B2 (en) | Apparatus and method for virtual home service | |
| US11138844B2 (en) | Artificial intelligence apparatus and method for detecting theft and tracing IoT device using same | |
| CN111476079A (zh) | 将用于对象检测的地图特征与lidar合并的全面且有效的方法 | |
| US11731612B2 (en) | Neural network approach for parameter learning to speed up planning for complex driving scenarios | |
| US20220194412A1 (en) | Validating Vehicle Sensor Calibration | |
| US11055857B2 (en) | Compressive environmental feature representation for vehicle behavior prediction | |
| CN111240313A (zh) | 用于操作自动驾驶车辆的基于预定校准表的车辆控制系统 | |
| US11106923B2 (en) | Method of checking surrounding condition of vehicle | |
| CN114935334A (zh) | 车道拓扑关系的构建方法、装置、车辆、介质及芯片 | |
| KR20190098097A (ko) | 전자 제어 시스템 | |
| KR20190095186A (ko) | 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템 | |
| US11288373B2 (en) | Boot failure recovery scheme for hardware-based system of autonomous driving vehicles | |
| KR20190104472A (ko) | 차량용 심전도 측정 장치 및 방법 | |
| KR20210013443A (ko) | 차량에 정보를 제공하는 전자 장치 및 방법 |