KR20220132274A - Apparatus for indoor positioning and method thereof - Google Patents

Apparatus for indoor positioning and method thereof Download PDF

Info

Publication number
KR20220132274A
KR20220132274A KR1020210037371A KR20210037371A KR20220132274A KR 20220132274 A KR20220132274 A KR 20220132274A KR 1020210037371 A KR1020210037371 A KR 1020210037371A KR 20210037371 A KR20210037371 A KR 20210037371A KR 20220132274 A KR20220132274 A KR 20220132274A
Authority
KR
South Korea
Prior art keywords
poi
image
information
map
user
Prior art date
Application number
KR1020210037371A
Other languages
Korean (ko)
Other versions
KR102591370B1 (en
Inventor
박주흠
Original Assignee
주식회사 다비오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다비오 filed Critical 주식회사 다비오
Priority to KR1020210037371A priority Critical patent/KR102591370B1/en
Publication of KR20220132274A publication Critical patent/KR20220132274A/en
Application granted granted Critical
Publication of KR102591370B1 publication Critical patent/KR102591370B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

Disclosed are an indoor positioning apparatus and a method thereof. The indoor positioning apparatus of the present invention comprises: a filming unit which films an image; a map DB which stores location information of map POI; a control unit which receives the filmed image from the filming unit, recognizes an object based on deep learning, and detects image POI to generate and store space model information matched with the image POI and obtains pose information between the image POI and a user based on characteristic points in the image POI and space model information and searches the map DB based on the image POI to estimate a location of the user with the pose information between the image POI and the user based on location information of matched map POI; and a storage unit which stores the space model information matched with the image POI. According to one aspect of the present invention, the indoor positioning apparatus can quickly operate even in a mobile device and can be lightened.

Description

실내 측위 장치 및 그 방법{APPARATUS FOR INDOOR POSITIONING AND METHOD THEREOF}Indoor positioning device and method thereof

본 발명은 실내 측위 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 촬영된 영상으로부터 딥러닝 기반으로 객체를 인식하여 검출한 POI(Point Of Interest)의 공간모델 정보를 기반으로 지도 DB로부터 POI 위치정보를 검색하여 사용자의 현재 위치를 추정하는 실내 측위 장치 및 그 방법에 관한 것이다. The present invention relates to an indoor positioning device and a method therefor, and more particularly, POI location information from a map DB based on spatial model information of a POI (Point Of Interest) detected by recognizing an object based on deep learning from a captured image The present invention relates to an indoor positioning device and method for estimating a user's current location by searching.

일반적으로, 최근 실내 공간이 보다 복잡해지고 실내에서의 생활 비중이 높아짐에 따라 다수의 사용자들에게 선택적 데이터를 원하는 장소에서 사용자의 현재 위치에 기초하여 다양한 위치기반 서비스(LBS: Location-Based Services), 예컨대 실시간 데이터 팝업 서비스, 사용자 위치에 따른 선택적 데이터 전송 서비스 및 실내 내비게이션 서비스의 중요도가 높아지고 있으며, 이에 따라 관련 기술들의 연구 및 시스템 개발이 활발히 추진되고 있다. In general, as indoor space becomes more complex and the proportion of indoor life increases, various location-based services (LBS: Location-Based Services), For example, the importance of a real-time data pop-up service, a selective data transmission service according to a user's location, and an indoor navigation service is increasing. Accordingly, research and system development of related technologies are being actively promoted.

이러한 서비스는 사용자의 위치를 측정하는 기술을 기반으로 하는데, 위치 기반 서비스는 와이파이(WIFI), 비콘(BEACON) 등을 이용하여 사용자의 위치를 측정하여 실내 내비게이션 등의 서비스를 제공할 수 있다. 이러한 위치 기반 서비스를 적절히 제공하기 위해서는 사용자의 위치를 정확히 파악하는 것이 중요하다. These services are based on a technology for measuring a user's location, and the location-based service can provide services such as indoor navigation by measuring the user's location using WIFI, BEACON, and the like. In order to properly provide such a location-based service, it is important to accurately identify the user's location.

그런데, 사용자의 위치를 파악하기 위해 와이파이를 사용하는 경우 위치 계산을 위해 사용되는 와이파이 수신 신호 크기의 변동이 실내에서 굉장히 심하여, 적절한 위치 기반 서비스를 제공하는 데 어려움이 있고, 비콘 송신기들을 이용하는 경우 비콘 송신기들의 배치 간격에 따라 사용자의 위치 측정이 어려울 수 있다. 예를 들어, 비콘을 이용하여 사용자의 위치를 측정하기 위해서는 비콘과 사용자와의 거리가 정확히 측정되어야 하는데, 비콘과 사용자의 거리가 멀어질수록 오차가 커진다. 또한, 종래의 실내 위치 추정 기술들은 고가의 장비나 인프라를 구축해야 하는 문제점이 있다. However, when Wi-Fi is used to determine the user's location, the size of the Wi-Fi reception signal used for location calculation is very large indoors, so it is difficult to provide an appropriate location-based service. It may be difficult to measure the user's position depending on the arrangement interval of the transmitters. For example, in order to measure a user's location using a beacon, the distance between the beacon and the user must be accurately measured. As the distance between the beacon and the user increases, the error increases. In addition, conventional indoor location estimation techniques have a problem in that expensive equipment or infrastructure needs to be built.

이에, 고가의 장비나 인프라를 구축하지 않아도 실내 위치를 추정할 수 있는 기술 개발이 요구되고 있다. Accordingly, there is a demand for technology development capable of estimating an indoor location without building expensive equipment or infrastructure.

본 발명의 배경기술은 대한민국 공개특허공보 제10-2011-0025025호(2011.03.09. 공개, 자기장 센서를 이용한 현재 위치 측정 장치 및 방법)에 개시되어 있다. The background technology of the present invention is disclosed in Korean Patent Application Laid-Open No. 10-2011-0025025 (published on March 9, 2011, an apparatus and method for measuring a current position using a magnetic field sensor).

이와 같이 실내 위치를 추정하기 위한 실내 측위 방법으로는 주로 전통적인 이미지 처리(Image Processing)방법으로 촬영한 이미지에서 특징점(feature)들을 추출하여 저장하고, 이를 활용하여 현재 위치를 추정하는 방법인 SLAM(Simultaneous Localization And Mapping) 방식이 대부분이다. As an indoor positioning method for estimating an indoor location as described above, SLAM (Simultaneous Localization and Mapping) is the most common method.

그러나 이러한 Slam 계열의 방법은 카메라마다의 각각 조정(Calibration)을 다르게 진행해야하며, 이미지에서 추출한 특징점들의 크기가 커서 휴대 단말기 등에서 사용하기에는 데이터 크기가 큰 문제점이 있을 뿐만 아니라 보다 정확한 특징점을 수집하기 위해 LiDAR 등의 특수 장비를 사용하여 점군(Point Cloud) 데이터를 수집할 경우 접근성이 떨어지는 문제점이 있다. However, this Slam-based method requires different calibration for each camera, and the size of the feature points extracted from the image is large, so the data size is large for use in mobile terminals, etc. When collecting point cloud data using special equipment such as LiDAR, there is a problem of poor accessibility.

본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 촬영된 영상으로부터 딥러닝 기반으로 객체를 인식하여 검출한 POI(Point Of Interest)의 공간모델 정보를 기반으로 지도 DB로부터 POI 위치정보를 검색하여 사용자의 현재 위치를 추정하는 실내 측위 장치 및 그 방법을 제공하는 것이다. The present invention has been devised to improve the above problems, and an object of the present invention according to one aspect is based on spatial model information of POI (Point Of Interest) detected by recognizing an object based on deep learning from a photographed image. To provide an indoor positioning device and method for estimating a user's current location by searching for POI location information from a map DB.

본 발명의 일 측면에 따른 실내 측위 장치는, 영상을 촬영하는 촬영부; 지도 POI의 위치정보를 저장하는 지도 DB; 촬영부로부터 촬영영상을 입력받아 딥러닝 기반으로 객체를 인식하여 영상 POI를 검출한 후 영상 POI에 매칭되는 공간모델 정보를 생성하여 저장하고, 영상 POI에서의 특징점과 공간모델 정보를 기반으로 영상 POI와 사용자간 포즈정보를 획특한 후 영상 POI를 기반으로 지도 DB를 검색하여 매칭되는 지도 POI의 위치정보에 기초하여 영상 POI와 사용자간 포즈정보로 사용자의 위치를 추정하는 제어부; 및 영상 POI에 매칭되는 공간모델 정보를 저장하는 저장부;를 포함하는 것을 특징으로 한다. An indoor positioning device according to an aspect of the present invention includes: a photographing unit for photographing an image; Map DB for storing location information of map POIs; After receiving the captured image from the shooting unit, recognizing the object based on deep learning, detecting the image POI, creating and storing spatial model information matching the image POI, and storing the image POI based on the feature points and spatial model information in the image POI a controller for estimating the user's position with the image POI and the user's pose information based on the matching map POI's position information by searching the map DB based on the image POI after determining the pose information between the user and the user; and a storage unit for storing spatial model information matching the image POI.

본 발명에서 제어부는, 영상 POI에 해당하는 2D 특징점을 추출하고, 추출된 2D 특징점과 삼각측량법을 통해 깊이정보를 구하여 공간모델 정보를 생성하는 것을 특징으로 한다. In the present invention, the controller extracts 2D feature points corresponding to the image POI, and generates spatial model information by obtaining depth information through the extracted 2D feature points and triangulation method.

본 발명에서 공간모델은, 3D 점군(Point Cloud) 데이터로 구성되는 것을 특징으로 한다. In the present invention, the spatial model is characterized in that it is composed of 3D point cloud data.

본 발명에서 제어부는, 영상 POI에서 추출된 특징점과 공간모델 정보를 이용하여 원근투영 최적화 알고리즘을 통해 영상 POI와 사용자간 포즈정보를 획득하는 것을 특징으로 한다. In the present invention, the controller acquires pose information between the image POI and the user through a perspective projection optimization algorithm using the feature points and spatial model information extracted from the image POI.

본 발명에서 지도 POI의 위치정보는, 지도 POI의 위치좌표와 실제크기를 포함하는 것을 특징으로 한다. In the present invention, the location information of the map POI includes the location coordinates and the actual size of the map POI.

본 발명의 다른 측면에 따른 실내 측위 방법은, 제어부가 촬영영상으로부터 딥러닝 기반으로 객체를 인식하는 단계; 제어부가 객체를 기반으로 촬영영상에서 영상 POI를 검출하는 단계; 제어부가 영상 POI에 매칭되는 공간모델 정보를 생성하여 저장하는 단계; 제어부가 영상 POI에서의 특징점과 공간모델 정보를 기반으로 영상 POI와 사용자간 포즈정보를 획득하는 단계; 제어부가 영상 POI를 기반으로 지도 DB를 검색하여 매칭되는 지도 POI의 위치정보를 획득하는 단계; 및 제어부가 지도 POI의 위치정보에 기초하여 영상 POI와 사용자간 포즈정보로 사용자의 위치를 추정하는 단계;를 포함하는 것을 특징으로 한다. Indoor positioning method according to another aspect of the present invention, the control unit recognizing an object based on deep learning from a captured image; detecting, by the controller, an image POI from the captured image based on the object; generating and storing, by the controller, spatial model information matching the image POI; obtaining, by the controller, pose information between the image POI and the user based on feature points and spatial model information in the image POI; obtaining, by the controller, location information of a matching map POI by searching a map DB based on the image POI; and estimating, by the controller, the location of the user based on the location information of the map POI based on the image POI and the pose information between the user.

본 발명에서 공간모델 정보를 생성하여 저장하는 단계는, 제어부가 영상 POI에 해당하는 2D 특징점을 추출하고, 추출된 2D 특징점과 삼각측량법을 통해 깊이정보를 구하여 공간모델 정보를 생성하는 것을 특징으로 한다. The step of generating and storing spatial model information in the present invention is characterized in that the controller extracts 2D feature points corresponding to the image POI, obtains depth information through the extracted 2D feature points and triangulation, and generates spatial model information. .

본 발명에서 공간모델은, 3D 점군(Point Cloud) 데이터로 구성되는 것을 특징으로 한다. In the present invention, the spatial model is characterized in that it is composed of 3D point cloud data.

본 발명에서 영상 POI와 사용자간 포즈정보를 획득하는 단계는, 제어부가 영상 POI에서 추출된 특징점과 공간모델 정보를 이용하여 원근투영 최적화 알고리즘을 통해 영상 POI와 사용자간 포즈정보를 획득하는 것을 특징으로 한다. In the present invention, the step of acquiring the pose information between the image POI and the user includes the controller acquiring the pose information between the image POI and the user through a perspective projection optimization algorithm using the feature points and spatial model information extracted from the image POI. do.

본 발명에서 지도 POI의 위치정보는, 지도 POI의 위치좌표와 실제크기를 포함하는 것을 특징으로 한다. In the present invention, the location information of the map POI includes the location coordinates and the actual size of the map POI.

본 발명의 일 측면에 따른 실내 측위 장치 및 그 방법은 촬영된 영상으로부터 딥러닝 기반으로 객체를 인식하여 검출한 POI(Point Of Interest)의 공간모델 정보를 기반으로 지도 DB로부터 POI 위치정보를 검색하여 사용자의 현재 위치를 추정할 수 있어 빠른 측위의 추정이 가능하고, POI들만 검출하여 공간모델 정보를 생성할 수 있어 모바일 기기에서도 빠르게 동작할 수 있고 경량화할 수 있다. An indoor positioning device and a method according to an aspect of the present invention search for POI location information from a map DB based on spatial model information of a POI (Point Of Interest) detected by recognizing an object based on deep learning from a photographed image. Since it is possible to estimate the user's current location, it is possible to estimate the location quickly, and to generate spatial model information by detecting only POIs, so that it can be operated quickly and lightweight in a mobile device.

도 1은 본 발명의 일 실시예에 따른 실내 측위 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 실내 측위 장치에서 영상 POI를 검출한 예시 도면이다.
도 3은 본 발명의 일 실시예에 따른 실내 측위 장치에서 지도 DB의 지도 POI를 나타낸 예시 도면이다.
도 4는 본 발명의 일 실시예에 따른 실내 측위 방법을 설명하기 위한 흐름도이다. 1 is a block diagram illustrating an indoor positioning device according to an embodiment of the present invention.
2 is an exemplary diagram of detecting an image POI in an indoor positioning device according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a map POI of a map DB in an indoor positioning device according to an embodiment of the present invention.
4 is a flowchart illustrating an indoor positioning method according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명에 따른 실내 측위 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an indoor positioning device and method according to the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, definitions of these terms should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 실내 측위 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 실내 측위 장치에서 영상 POI를 검출한 예시 도면이며, 도 3은 본 발명의 일 실시예에 따른 실내 측위 장치에서 지도 DB의 지도 POI를 나타낸 예시 도면이다. 1 is a block diagram showing an indoor positioning device according to an embodiment of the present invention, FIG. 2 is an exemplary view of detecting an image POI in the indoor positioning device according to an embodiment of the present invention, and FIG. 3 is the present invention is an exemplary diagram illustrating a map POI of a map DB in an indoor positioning device according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 실내 측위 장치는, 촬영부(10), 지도 DB(60), 제어부20) 및 저장부(30)를 포함할 수 있다. As shown in FIG. 1 , the indoor positioning apparatus according to an embodiment of the present invention may include a photographing unit 10 , a map DB 60 , a control unit 20 , and a storage unit 30 .

촬영부(10)는 사용자가 현재 위치를 알기 위해 휴대 단말기 등을 통해 영상을 촬영하여 촬영영상을 제공할 수 있다. The photographing unit 10 may provide a photographed image by photographing an image through a mobile terminal or the like in order for the user to know the current location.

지도 DB(60)는 도 3에 도시된 바와 같이 지도 POI의 위치정보를 저장하여 사용자의 위치를 추정할 때 절대위치를 제공하기 위한 것으로 클라우드 서버(50) 등을 통해 제공할 수 있다. The map DB 60 stores the location information of the map POI as shown in FIG. 3 to provide an absolute location when estimating the user's location, and may be provided through the cloud server 50 or the like.

여기서, 지도 POI의 위치정보는, 지도 POI의 위치좌표와 실제크기를 포함할 수 있다. Here, the location information of the map POI may include location coordinates and an actual size of the map POI.

제어부(20)는 촬영부(10)로부터 촬영영상을 입력받아 도 2에 도시된 바와 같이 딥러닝 기반으로 간판 객체를 인식하여 영상 POI를 검출한 후 영상 POI에 매칭되는 공간모델 정보를 생성하여 저장하고, 영상 POI에서의 특징점(Feature point)과 공간모델 정보를 기반으로 영상 POI와 사용자간 포즈정보를 획특한 후 영상 POI를 기반으로 지도 DB(60)를 검색하여 매칭되는 지도 POI의 위치정보에 기초하여 영상 POI와 사용자간 포즈정보로 사용자의 위치를 추정할 수 있다. The control unit 20 receives the captured image from the capturing unit 10, detects the image POI by recognizing the signboard object based on deep learning as shown in FIG. 2, and then generates and stores spatial model information matching the image POI. Then, based on the feature point and spatial model information in the image POI, the pose information between the image POI and the user is determined, and then the map DB 60 is searched based on the image POI to find the matching map POI location information. Based on the image POI and the pose information between the user, the location of the user can be estimated.

여기서 제어부(20)는 통신부(40)를 통해 클라우드 서버(50)에 접속하여 지도 DB(60)의 정보를 제공받을 수 있다. Here, the control unit 20 may access the cloud server 50 through the communication unit 40 to receive information of the map DB 60 .

제어부(20)는 영상 POI에 해당하는 2D 특징점을 추출하고, 추출된 2D 특징점과 삼각측량법을 통해 깊이정보를 구하여 공간모델 정보를 생성할 수 있다. The controller 20 may extract 2D feature points corresponding to the image POI, obtain depth information through the extracted 2D feature points and triangulation, and generate spatial model information.

여기서, 공간모델은 3D 점군(Point Cloud) 데이터로 구성될 수 있다. Here, the spatial model may be composed of 3D point cloud data.

또한, 제어부(20)는 영상 POI에서 추출된 특징점과 공간모델 정보를 이용하여 원근투영 최적화 알고리즘을 통해 영상 POI와 사용자간 포즈정보를 획득하여 사용자의 위치를 추정할 수 있다. Also, the controller 20 may estimate the user's position by acquiring pose information between the image POI and the user through a perspective projection optimization algorithm using feature points and spatial model information extracted from the image POI.

저장부(30)는 영상 POI에 매칭되는 공간모델 정보를 저장할 수 있다. The storage unit 30 may store spatial model information matching the image POI.

상술한 바와 같이, 본 발명의 실시예에 의한 실내 측위 장치에 따르면, 촬영된 영상으로부터 딥러닝 기반으로 객체를 인식하여 검출한 POI(Point Of Interest)의 공간모델 정보를 기반으로 지도 DB로부터 POI 위치정보를 검색하여 사용자의 현재 위치를 추정할 수 있어 빠른 측위의 추정이 가능하고, POI들만 검출하여 공간모델 정보를 생성할 수 있어 모바일 기기에서도 빠르게 동작할 수 있고 경량화할 수 있다. As described above, according to the indoor positioning device according to the embodiment of the present invention, the POI location from the map DB based on spatial model information of the POI (Point Of Interest) detected by recognizing an object based on deep learning from the captured image Since the user's current location can be estimated by searching information, it is possible to estimate the location quickly, and since spatial model information can be generated by detecting only POIs, it can be operated quickly on a mobile device and can be lightweight.

도 4는 본 발명의 일 실시예에 따른 실내 측위 방법을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating an indoor positioning method according to an embodiment of the present invention.

도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 실내 측위 방법에서는 먼저, 제어부(20)가 촬영부(10)로부터 사용자가 실내 위치를 측위하기 위한 2D 이미지의 촬영영상을 입력받는다(S10). As shown in FIG. 4 , in the indoor positioning method according to an embodiment of the present invention, first, the control unit 20 receives a captured image of a 2D image for the user to position an indoor location from the photographing unit 10 ( S10 ). ).

S10 단게에서 촬영영상을 입력받은 후 제어부(20)가 촬영영상으로부터 딥러닝 기반으로 위치를 추정할 수 있는 간판 등의 객체를 인식한다(S20). After receiving the captured image in step S10, the control unit 20 recognizes an object such as a signboard that can estimate a location based on deep learning from the captured image (S20).

S20 단계에서 객체를 인식한 후 제어부(20)는 객체를 기반으로 도 2에 도시된 바와 같이 영상 POI를 검출한다(S30). After recognizing the object in step S20, the controller 20 detects an image POI based on the object as shown in FIG. 2 (S30).

S30 단계에서 영상 POI를 검출한 후 제어부(20)는 영상 POI에 매칭되는 공간모델 정보를 생성하여 저장한다(S40). After detecting the image POI in step S30, the controller 20 generates and stores spatial model information matching the image POI (S40).

여기서, 제어부(20)는 영상 POI에 해당하는 2D 특징점을 추출하고, 추출된 2D 특징점과 삼각측량법을 통해 깊이정보를 구하여 공간모델 정보를 생성한다. Here, the controller 20 extracts a 2D feature point corresponding to the image POI, obtains depth information through the extracted 2D feature point and a triangulation method, and generates spatial model information.

이때, 공간모델은 3D 점군(Point Cloud) 데이터로 구성될 수 있다. In this case, the spatial model may be composed of 3D point cloud data.

S40 단계에서 영상 POI에 매칭되는 공간모델 정보를 생성하고 저장한 후 제어부(20)는 영상 POI에서의 특징점과 공간모델 정보를 기반으로 영상 POI와 사용자간 포즈정보를 획득한다(S50). After generating and storing spatial model information matching the image POI in step S40, the controller 20 acquires pose information between the image POI and the user based on the feature points and spatial model information in the image POI (S50).

여기서, 제어부(20)는 영상 POI에서 추출된 특징점과 공간모델 정보를 이용하여 원근투영 최적화 알고리즘을 통해 영상 POI와 사용자간 포즈정보를 획득할 수 있다. Here, the controller 20 may obtain pose information between the image POI and the user through a perspective projection optimization algorithm using the feature points and spatial model information extracted from the image POI.

S50 단계에서 영상 POI와 사용자간 포즈정보를 획득한 후 제어부(20)는 영상 POI를 기반으로 도 3과 같은 지도 DB(60)를 검색하여 영상 POI와 매칭되는 지도 POI의 위치정보를 획득한다(S60). After obtaining the pose information between the image POI and the user in step S50, the controller 20 searches the map DB 60 as shown in FIG. 3 based on the image POI to obtain location information of the map POI matching the image POI ( S60).

여기서, 지도 POI의 위치정보는 지도 POI의 위치좌표와 실제크기를 포함할 수 있다. Here, the location information of the map POI may include location coordinates and an actual size of the map POI.

S60 단계에서 지도 POI의 위치정보를 획득한 후 제어부(20)는 지도 POI의 위치정보에 기초하여 영상 POI와 사용자간 포즈정보로 사용자의 위치를 추정한다(S70). After acquiring the location information of the map POI in step S60, the controller 20 estimates the location of the user based on the location information of the map POI with the pose information between the image POI and the user (S70).

여기서, 제어부(20)는 절대위치를 지도 DB(60)의 지도 POI의 위치정보에 기초로 파악하고, 촬영영상에서의 상대위치를 영상 POI와 사용자간 포즈정보에 기초로 파악한 후 촬영영상의 상대위치를 절대위치와 매칭함으로써 사용자의 위치를 추정할 수 있다. Here, the control unit 20 determines the absolute position based on the position information of the map POI of the map DB 60, and the relative position of the captured image based on the pose information between the image POI and the user. By matching the position with the absolute position, the user's position can be estimated.

상술한 바와 같이, 본 발명의 실시예에 의한 실내 측위 방법에 따르면, 촬영된 영상으로부터 딥러닝 기반으로 객체를 인식하여 검출한 POI(Point Of Interest)의 공간모델 정보를 기반으로 지도 DB로부터 POI 위치정보를 검색하여 사용자의 현재 위치를 추정할 수 있어 빠른 측위의 추정이 가능하고, POI들만 검출하여 공간모델 정보를 생성할 수 있어 모바일 기기에서도 빠르게 동작할 수 있고 경량화할 수 있다. As described above, according to the indoor positioning method according to the embodiment of the present invention, the POI location from the map DB based on spatial model information of the POI (Point Of Interest) detected by recognizing an object based on deep learning from the captured image Since the user's current location can be estimated by searching information, it is possible to estimate the location quickly, and since spatial model information can be generated by detecting only POIs, it can be operated quickly on a mobile device and can be lightweight.

본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍 가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Implementations described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream, or a signal. Although discussed only in the context of a single form of implementation (eg, discussed only as a method), implementations of the discussed features may also be implemented in other forms (eg, as an apparatus or program). The apparatus may be implemented in suitable hardware, software and firmware, and the like. A method may be implemented in an apparatus such as, for example, a processor, which generally refers to a computer, a microprocessor, a processing device, including an integrated circuit or programmable logic device, or the like. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants ("PDA") and other devices that facilitate communication of information between end-users.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. Although the present invention has been described with reference to the embodiment shown in the drawings, this is merely exemplary, and those of ordinary skill in the art to which various modifications and equivalent other embodiments are possible. will understand

따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the following claims.

10 : 촬영부 20 : 제어부
30 : 저장부 40 : 통신부
50 : 클라우드 서버 60 : 지도 DB10: photographing unit 20: control unit
30: storage unit 40: communication unit
50: cloud server 60: map DB

Claims (10)

영상을 촬영하는 촬영부;
지도 POI의 위치정보를 저장하는 지도 DB;
상기 촬영부로부터 촬영영상을 입력받아 딥러닝 기반으로 객체를 인식하여 영상 POI를 검출한 후 상기 영상 POI에 매칭되는 공간모델 정보를 생성하여 저장하고, 상기 영상 POI에서의 특징점과 공간모델 정보를 기반으로 상기 영상 POI와 사용자간 포즈정보를 획특한 후 상기 영상 POI를 기반으로 상기 지도 DB를 검색하여 매칭되는 상기 지도 POI의 위치정보에 기초하여 상기 영상 POI와 상기 사용자간 포즈정보로 상기 사용자의 위치를 추정하는 제어부; 및
상기 영상 POI에 매칭되는 상기 공간모델 정보를 저장하는 저장부;를 포함하는 것을 특징으로 하는 실내 측위 장치.
a photographing unit for photographing an image;
Map DB for storing location information of map POIs;
After receiving the captured image from the photographing unit, detecting an image POI by recognizing an object based on deep learning, generating and storing spatial model information matching the image POI, based on the feature point and spatial model information in the image POI After determining the pose information between the image POI and the user with the image POI, search the map DB based on the image POI, and based on the matching position information of the map POI, the position of the user as the pose information between the image POI and the user a control unit for estimating and
and a storage unit for storing the spatial model information matched with the image POI.
 제 1항에 있어서, 상기 제어부는, 상기 영상 POI에 해당하는 2D 특징점을 추출하고, 추출된 2D 특징점과 삼각측량법을 통해 깊이정보를 구하여 상기 공간모델 정보를 생성하는 것을 특징으로 하는 실내 측위 장치.
The indoor positioning device according to claim 1, wherein the controller extracts 2D feature points corresponding to the image POI and generates the spatial model information by obtaining depth information through the extracted 2D feature points and triangulation method.
 제 1항에 있어서, 상기 공간모델은, 3D 점군(Point Cloud) 데이터로 구성되는 것을 특징으로 하는 실내 측위 장치.
The indoor positioning device according to claim 1, wherein the spatial model is composed of 3D point cloud data.
 제 1항에 있어서, 상기 제어부는, 상기 영상 POI에서 추출된 특징점과 상기 공간모델 정보를 이용하여 원근투영 최적화 알고리즘을 통해 상기 영상 POI와 상기 사용자간 포즈정보를 획득하는 것을 특징으로 하는 실내 측위 장치.
The indoor positioning device according to claim 1, wherein the controller acquires the pose information between the image POI and the user through a perspective projection optimization algorithm using the feature points extracted from the image POI and the spatial model information. .
 제 1항에 있어서, 상기 지도 POI의 위치정보는, 상기 지도 POI의 위치좌표와 실제크기를 포함하는 것을 특징으로 하는 실내 측위 장치.
The indoor positioning device according to claim 1, wherein the location information of the map POI includes location coordinates and an actual size of the map POI.
 제어부가 촬영영상으로부터 딥러닝 기반으로 객체를 인식하는 단계;
상기 제어부가 상기 객체를 기반으로 상기 촬영영상에서 영상 POI를 검출하는 단계;
상기 제어부가 상기 영상 POI에 매칭되는 공간모델 정보를 생성하여 저장하는 단계;
상기 제어부가 상기 영상 POI에서의 특징점과 상기 공간모델 정보를 기반으로 상기 영상 POI와 사용자간 포즈정보를 획득하는 단계;
상기 제어부가 상기 영상 POI를 기반으로 지도 DB를 검색하여 매칭되는 지도 POI의 위치정보를 획득하는 단계; 및
상기 제어부가 상기 지도 POI의 위치정보에 기초하여 상기 영상 POI와 상기 사용자간 포즈정보로 상기 사용자의 위치를 추정하는 단계;를 포함하는 것을 특징으로 하는 실내 측위 방법.
Recognizing, by the controller, an object based on deep learning from the captured image;
detecting, by the controller, an image POI from the captured image based on the object;
generating and storing, by the controller, spatial model information matching the image POI;
obtaining, by the controller, pose information between the image POI and the user based on the feature points in the image POI and the spatial model information;
obtaining, by the controller, location information of a matching map POI by searching a map DB based on the image POI; and
and estimating, by the controller, the location of the user based on the location information of the map POI based on the pose information between the image POI and the user.
 제 6항에 있어서, 상기 공간모델 정보를 생성하여 저장하는 단계는, 상기 제어부가 상기 영상 POI에 해당하는 2D 특징점을 추출하고, 추출된 2D 특징점과 삼각측량법을 통해 깊이정보를 구하여 상기 공간모델 정보를 생성하는 것을 특징으로 하는 실내 측위 방법.
The spatial model information of claim 6, wherein the generating and storing of the spatial model information comprises: the controller extracting 2D feature points corresponding to the image POI, and obtaining depth information through the extracted 2D feature points and triangulation method. Indoor positioning method, characterized in that for generating.
 제 6항에 있어서, 상기 공간모델은, 3D 점군(Point Cloud) 데이터로 구성되는 것을 특징으로 하는 실내 측위 방법.
The indoor positioning method according to claim 6, wherein the spatial model is composed of 3D point cloud data.
 제 6항에 있어서, 상기 영상 POI와 상기 사용자간 포즈정보를 획득하는 단계는, 상기 제어부가 상기 영상 POI에서 추출된 특징점과 공간모델 정보를 이용하여 원근투영 최적화 알고리즘을 통해 상기 영상 POI와 상기 사용자간 포즈정보를 획득하는 것을 특징으로 하는 실내 측위 방법.
The method of claim 6, wherein the obtaining of the pose information between the image POI and the user comprises: the image POI and the user through a perspective projection optimization algorithm using feature points and spatial model information extracted from the image POI by the controller Indoor positioning method, characterized in that acquiring the inter-pose information.
 제 6항에 있어서, 상기 지도 POI의 위치정보는, 상기 지도 POI의 위치좌표와 실제크기를 포함하는 것을 특징으로 하는 실내 측위 방법.

The indoor positioning method according to claim 6, wherein the location information of the map POI includes location coordinates and an actual size of the map POI.
KR1020210037371A 2021-03-23 2021-03-23 Apparatus for indoor positioning and method thereof KR102591370B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210037371A KR102591370B1 (en) 2021-03-23 2021-03-23 Apparatus for indoor positioning and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210037371A KR102591370B1 (en) 2021-03-23 2021-03-23 Apparatus for indoor positioning and method thereof

Publications (2)

Publication Number Publication Date
KR20220132274A true KR20220132274A (en) 2022-09-30
KR102591370B1 KR102591370B1 (en) 2023-10-20

Family

ID=83451434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037371A KR102591370B1 (en) 2021-03-23 2021-03-23 Apparatus for indoor positioning and method thereof

Country Status (1)

Country Link
KR (1) KR102591370B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190121275A (en) * 2019-10-07 2019-10-25 엘지전자 주식회사 System, apparatus and method for indoor positioning
KR20200134807A (en) * 2019-05-23 2020-12-02 주식회사 다비오 System and method for indoor positioning based on image
KR20210015226A (en) * 2019-08-01 2021-02-10 주식회사 다비오 Terminal devicem, service server and method for indoor positioning based on object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200134807A (en) * 2019-05-23 2020-12-02 주식회사 다비오 System and method for indoor positioning based on image
KR20210015226A (en) * 2019-08-01 2021-02-10 주식회사 다비오 Terminal devicem, service server and method for indoor positioning based on object detection
KR20190121275A (en) * 2019-10-07 2019-10-25 엘지전자 주식회사 System, apparatus and method for indoor positioning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문(Seo Woo Han 외 5명, Perspective Projection Algorithm Enabling Mobile Device’s Indoor Positioning, Journal of Computer and Communications, 2018, 6, 159-170, 2017.12.29.) 1부.* *

Also Published As

Publication number Publication date
KR102591370B1 (en) 2023-10-20

Similar Documents

Publication Publication Date Title
US9324003B2 (en) Location of image capture device and object features in a captured image
CN104378735B (en) Indoor orientation method, client and server
US8644859B2 (en) Apparatus to provide augmented reality service using location-based information and computer-readable medium and method of the same
CN105246039B (en) A kind of indoor orientation method and system based on image procossing
US7991194B2 (en) Apparatus and method for recognizing position using camera
JP5837092B2 (en) Position determination using horizontal angle
US9906921B2 (en) Updating points of interest for positioning
KR101286169B1 (en) System and method for mersuring location in wireless communication terminal, method for collecting fingerprint information in wireless communication terminal, fingerprint server and method for providing location using the same
JP6395840B2 (en) Method and apparatus for ToF fingerprinting and geolocation
KR102277503B1 (en) Terminal devicem, service server and method for indoor positioning based on object detection
KR101573289B1 (en) Apparatus and method for recongnizing position using camera
CN112422653A (en) Scene information pushing method, system, storage medium and equipment based on location service
CN114332232B (en) Smart phone indoor positioning method based on space point, line and surface feature hybrid modeling
KR20200002219A (en) Indoor navigation apparatus and method
TWM560099U (en) Indoor precise navigation system using augmented reality technology
Li et al. Impos: An image-based indoor positioning system
US11864056B2 (en) Developing a fingerprint map for determining an indoor location of a wireless device
KR102277974B1 (en) System and method for indoor positioning based on image
TW201621273A (en) Mobile positioning apparatus and positioning method thereof
KR102591370B1 (en) Apparatus for indoor positioning and method thereof
CN112100521B (en) Method and system for identifying, positioning and obtaining panoramic picture through street view
Jeon et al. Design of positioning DB automatic update method using Google tango tablet for image based localization system
CN110692260B (en) Terminal equipment positioning system and method
CN106951553A (en) A kind of address locating methods and device
Menke et al. Multi-modal indoor positioning of mobile devices

Legal Events

Date Code Title Description
G15R Request for early publication
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant