KR102154043B1 - Vision module for position recognition of moving object and position recognition method for moving object - Google Patents

Vision module for position recognition of moving object and position recognition method for moving object Download PDF

Info

Publication number
KR102154043B1
KR102154043B1 KR1020190141485A KR20190141485A KR102154043B1 KR 102154043 B1 KR102154043 B1 KR 102154043B1 KR 1020190141485 A KR1020190141485 A KR 1020190141485A KR 20190141485 A KR20190141485 A KR 20190141485A KR 102154043 B1 KR102154043 B1 KR 102154043B1
Authority
KR
South Korea
Prior art keywords
identification code
location information
region
image
ceiling
Prior art date
Application number
KR1020190141485A
Other languages
Korean (ko)
Inventor
국태용
Original Assignee
주식회사 케이스랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이스랩 filed Critical 주식회사 케이스랩
Priority to KR1020190141485A priority Critical patent/KR102154043B1/en
Application granted granted Critical
Publication of KR102154043B1 publication Critical patent/KR102154043B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

The present invention relates to a vision module for position recognition of a moving object and a position recognition method of a moving object. The vision module extracts feature points from a ceiling image, divides a plurality of regions from the ceiling image using the feature points, generates an identification code, and compares the generated identification code and a reference identification code to find a reference identification code identical to the generated identification code and extract position information corresponding to the identical reference identification code.

Description

이동체의 위치 인식을 위한 비전 모듈 및 이동체의 위치 인식 방법 {VISION MODULE FOR POSITION RECOGNITION OF MOVING OBJECT AND POSITION RECOGNITION METHOD FOR MOVING OBJECT}A vision module for recognizing the position of a moving object and a method of recognizing the position of the moving object {VISION MODULE FOR POSITION RECOGNITION OF MOVING OBJECT AND POSITION RECOGNITION METHOD FOR MOVING OBJECT}

본 발명은 이동체의 위치 인식을 위한 비전 모듈 및 이동체의 위치 인식 방법에 관한 것이다.The present invention relates to a vision module for recognizing the position of a moving object and a method of recognizing the position of the moving object.

자율적으로 동작하면서 주어진 임무를 수행하는 로봇과 같은 이동체의 경우 이동체의 위치를 인식하는 기술이 필요하다. 실외 환경의 경우 이동체의 현재 위치 정보는 GPS (Global Positioning System) 센서에서 얻은 데이터를 사용하여 얻을 수 있다. 실내 환경의 경우는 적외선, RFID, 무선랜 등 다양한 방식을 통해 위치 인식을 하는 연구가 이뤄지고 있으나 인프라 구축 및 정확도 면에서 개선해야 할 부분이 많다.In the case of a moving object such as a robot that operates autonomously and performs a given task, a technology for recognizing the location of the moving object is required. In the case of an outdoor environment, the current location information of a moving object can be obtained by using data obtained from a GPS (Global Positioning System) sensor. In the case of indoor environments, researches on location recognition through various methods such as infrared, RFID, and wireless LAN are being conducted, but there are many areas to be improved in terms of infrastructure construction and accuracy.

적외선, RFID, 무선랜을 이용한 실내 위치 인식 방법 중에서 적외선을 이용하는 방법은 비교적 단순한 시스템이며 가격이 낮지만 햇빛과 형광등(내부 조명)으로 인해 간섭이 일어나고, 장애물이 있을 경우 LOS(Line Of Sight)가 유지될 수 없기 때문에 많은 제한이 있다. RFID는 센서 가격이 저렴하다는 장점이 있지만 통신거리가 짧기 때문에 정확성을 높이기 위해 많은 판독기가 필요하다. 무선랜(WLAN)을 사용하는 방법은 무선 인터넷을 통해 이미 구축된 네트워크를 사용할 수 있기 때문에 별도의 인프라가 필요하지 않다는 이점이 있다. 그러나 이 방법은 유리 및 가구와 같은 실내 환경으로 인해 전파가 손실되거나 감쇄되기 때문에 위치 정확도가 낮다. 기존 실내 부착형 액티브 GPS 센서나 위치 결정 센서는 환경 종속적인 단점이 존재하며, 로봇 온보드 센서의 오차 누적에 의한 정확도 감소 문제 등도 존재한다.Among the indoor location recognition methods using infrared, RFID, and wireless LAN, the method of using infrared is a relatively simple system and the price is low, but interference occurs due to sunlight and fluorescent lamps (internal lighting), and if there is an obstacle, LOS (Line Of Sight) is There are many limitations because it cannot be maintained. RFID has the advantage of inexpensive sensor price, but because the communication distance is short, many readers are required to increase accuracy. The method of using a wireless LAN (WLAN) has an advantage that a separate infrastructure is not required because a network already established through the wireless Internet can be used. However, this method has low positioning accuracy because radio waves are lost or attenuated due to indoor environments such as glass and furniture. Existing indoor-mounted active GPS sensors or positioning sensors have environmental-dependent disadvantages, and accuracy reduction problems due to accumulation of errors in the robot on-board sensor also exist.

공개특허공보 10-2011-0138428Unexamined Patent Publication 10-2011-0138428

본 발명이 해결하고자 하는 과제는 실내 환경의 구조 변화에 영향을 받지 않고, 마커 또는 비콘과 달리 환경에 부착할 필요가 없는 환경 독립형 실내 GPS 기능을 수행할 수 있는 이동체의 위치 인식을 위한 비전 모듈 및 이동체의 위치 인식 방법을 제공하는 것이다.The problem to be solved by the present invention is a vision module for location recognition of a mobile object capable of performing an environment-independent indoor GPS function that does not need to be attached to the environment unlike a marker or beacon, without being affected by structural changes of an indoor environment, and It is to provide a method of recognizing the location of a moving object.

이러한 과제를 해결하기 위한 본 발명의 한 실시예에 따른 비전 모듈은, 천장의 이미지를 획득하는 카메라, 위치 정보와 매칭되어 있는 참조 식별 코드를 기억하는 메모리, 그리고 상기 천장 이미지로부터 특징점을 추출하고, 상기 특징점을 이용하여 상기 천장 이미지에서 복수의 영역을 분할한 후 상기 분할된 영역에 대하여 식별 코드를 생성하고, 상기 생성된 식별 코드를 상기 참조 식별 코드와 비교하여 상기 생성된 식별 코드와 동일한 참조 식별 코드를 찾아 상기 동일한 참조 식별 코드에 대응하는 위치 정보를 추출하는 영상 처리부를 포함한다.The vision module according to an embodiment of the present invention for solving such a problem includes a camera that acquires an image of a ceiling, a memory that stores a reference identification code matched with location information, and extracts feature points from the ceiling image, After dividing a plurality of areas in the ceiling image using the feature points, an identification code is generated for the divided area, and the generated identification code is compared with the reference identification code to identify the same reference as the generated identification code. And an image processing unit to find a code and extract location information corresponding to the same reference identification code.

상기 메모리는 상기 위치 정보가 포함된 맵 데이터를 기억하며, 상기 특징점을 상기 위치 정보와 매칭시켜 기억할 수 있다.The memory may store map data including the location information, and store the feature points by matching the location information.

상기 복수의 영역은 상기 특징점에 대하여 일정하게 분할될 수 있으며, 상기 분할된 영역은 고유하게 정해질 수 있다.The plurality of regions may be uniformly divided with respect to the feature points, and the divided regions may be uniquely determined.

상기 영상 처리부는 들로네 삼각분할(Delaunay triangulation) 또는 보로노이 다이어그램(Voronoi diagram)을 이용하여 상기 복수의 영역을 분할할 수 있다.The image processing unit may divide the plurality of regions using a Delaunay triangulation or a Voronoi diagram.

상기 식별 코드는 상기 천장 이미지의 픽셀에 대하여 주변 픽셀과의 밝기 기울기로 표현될 수 있다.The identification code may be expressed as a brightness gradient with respect to a pixel of the ceiling image with respect to surrounding pixels.

상기 영상 처리부는 각 영역 내의 전체 픽셀의 상기 식별 코드를 평균하여 상기 각 영역의 대표 코드를 계산하며, 상기 대표 코드와 상기 메모리에 기억되어 있는 참조 대표 코드를 비교하여 어느 영역에 위치하는지 판단할 수 있다.The image processing unit calculates a representative code of each region by averaging the identification codes of all pixels in each region, and compares the representative code with a reference representative code stored in the memory to determine which region is located. have.

상기 영상 처리부는 상기 생성된 식별 코드를 현재 위치하는 영역에 대응하는 참조 식별 코드와 비교하여 상기 위치 정보를 추출할 수 있다.The image processing unit may extract the location information by comparing the generated identification code with a reference identification code corresponding to a currently located region.

본 발명의 다른 실시예에 따른 이동체는 앞선 실시예의 비전 모듈을 포함한다.A moving body according to another embodiment of the present invention includes the vision module of the previous embodiment.

본 발명의 다른 실시예에 따른 이동체의 위치 인식 방법은, 위치 정보와 매칭되어 있는 참조 식별 코드를 기억하는 단계, 천장의 이미지를 획득하는 단계, 상기 천장 이미지로부터 특징점을 추출하는 단계, 상기 특징점을 이용하여 상기 천장 이미지에서 복수의 영역을 분할하는 단계, 상기 분할된 영역에 대하여 식별 코드를 생성하는 단계, 그리고 상기 생성된 식별 코드를 상기 참조 식별 코드와 비교하여 상기 생성된 식별 코드와 동일한 참조 식별 코드를 찾아 상기 동일한 참조 식별 코드에 대응하는 위치 정보를 추출하는 단계를 포함한다.A method for recognizing a location of a moving object according to another embodiment of the present invention includes storing a reference identification code matched with location information, acquiring an image of a ceiling, extracting a feature point from the ceiling image, and determining the feature point. Dividing a plurality of areas in the ceiling image using the same reference identification as the generated identification code by comparing the generated identification code with the reference identification code, generating an identification code for the divided area And finding a code and extracting location information corresponding to the same reference identification code.

상기 위치 정보가 포함된 맵 데이터를 기억하며, 상기 특징점을 상기 위치 정보와 매칭시켜 기억하는 단계를 더 포함할 수 있다.The method may further include storing map data including the location information and matching and storing the feature point with the location information.

각 영역 내의 전체 픽셀의 상기 식별 코드를 평균하여 상기 각 영역의 대표 코드를 계산하는 단계, 그리고 상기 대표 코드와 상기 메모리에 기억되어 있는 참조 대표 코드를 비교하여 어느 영역에 위치하는지 판단하는 단계를 더 포함할 수 있다.Computing a representative code of each region by averaging the identification codes of all pixels in each region, and determining which region is located by comparing the representative code with a reference representative code stored in the memory. Can include.

상기 위치 정보 추출 단계는 상기 생성된 식별 코드를 현재 위치하는 영역에 대응하는 참조 식별 코드와 비교하여 상기 위치 정보를 추출하는 단계를 포함할 수 있다.The extracting of the location information may include comparing the generated identification code with a reference identification code corresponding to an area in which the current location is located, and extracting the location information.

이와 같이 본 발명의 실시예에 따른 비전 모듈에 의하면 실내 환경의 구조 변화에 영향을 받지 않고 이동체의 위치 인식을 수행할 수 있으며, 마커 또는 비콘과 달리 환경에 부착할 필요가 없는 환경 독립형 실내 GPS 기능을 수행할 수 있다.As described above, according to the vision module according to an embodiment of the present invention, it is possible to recognize the location of a moving object without being affected by structural changes in an indoor environment, and an environment-independent indoor GPS function that does not need to be attached to the environment unlike a marker or beacon. Can be done.

도 1은 본 발명의 실시예에 따른 비전 모듈의 블록도이다.
도 2는 이동체가 이동하는 실내 공간의 바닥을 예시적으로 나타낸 도면이다.
도 3은 실내 공간의 천장을 예시적으로 나타낸 도면이다.
도 4는 영역 분할 기법에 따라 분할된 영역을 예시적으로 나타낸 도면이다.
도 5는 도 2의 바닥 도면과 도 4의 분할된 영역을 함께 도시한 하이브리드 맵을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 식별 코드를 생성하는 것을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 비전 모듈을 포함하는 이동체의 블록도이다.
도 8은 본 발명의 실시예에 따른 이동체의 위치 인식 방법을 설명하기 위한 흐름도이다.1 is a block diagram of a vision module according to an embodiment of the present invention.
2 is a diagram illustrating a floor of an indoor space in which a moving object moves.
3 is a diagram illustrating a ceiling of an indoor space by way of example.
4 is a diagram illustrating an exemplary area divided according to the area division technique.
FIG. 5 is a diagram showing a hybrid map showing the bottom view of FIG. 2 and the divided area of FIG. 4 together.
6 is a diagram for describing generation of an identification code according to an embodiment of the present invention.
7 is a block diagram of a moving body including a vision module according to an embodiment of the present invention.
8 is a flowchart illustrating a method of recognizing a location of a moving object according to an embodiment of the present invention.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in this specification and claims should not be construed as being limited to their usual or dictionary meanings, and the inventor may appropriately define the concept of terms in order to describe his own invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that there is.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all the technical spirit of the present invention, and various equivalents that can replace them at the time of the present application And it should be understood that there may be variations.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 비전 모듈에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, a vision module according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the vision module.

도 1은 본 발명의 실시예에 따른 비전 모듈의 블록도이다.1 is a block diagram of a vision module according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 한 실시예에 따른 비전 모듈(100)은 카메라(110), 메모리(120), 영상 처리부(130), 통신부(140), 그리고 인터페이스(150)를 포함한다.As shown in FIG. 1, the vision module 100 according to an embodiment of the present invention includes a camera 110, a memory 120, an image processing unit 130, a communication unit 140, and an interface 150. do.

카메라(110)는 주위로부터 이미지를 획득하여 영상 처리부(130)에 전달하며, 입력 및 출력 인터페이스(150)는 카메라(110)로부터 취득된 이미지를 받아들여 영상 처리부(130)나 메모리(120)에 전달하거나 외부로 필요한 데이터를 전달하는 등 내부 구성 요소들이 상호 작용할 수 있도록 한다. 통신부(140)는 외부 장치와 접속하여 데이터를 주고받는다.The camera 110 acquires an image from the surroundings and transmits it to the image processing unit 130, and the input and output interface 150 receives the image acquired from the camera 110 and transmits it to the image processing unit 130 or the memory 120. It allows internal components to interact, such as transferring or transferring necessary data to the outside. The communication unit 140 connects to an external device to exchange data.

메모리(120)는 획득된 이미지를 기억하고, 전역 좌표나 지역 좌표 등의 위치 정보가 포함된 맵 데이터를 기억하며, 참조 식별 코드가 포함되어 있는 코드북 등을 기억한다. 참조 식별 코드는 미리 생성해서 위치 정보와 매칭시켜 둔다.The memory 120 stores the acquired image, stores map data including location information such as global coordinates or regional coordinates, and stores a codebook including a reference identification code. The reference identification code is generated in advance and matched with the location information.

영상 처리부(130)는 카메라(110)로부터 획득되는 이미지를 처리하여 비전 모듈(100)이 놓여 있는 곳의 위치를 파악할 수 있다. 예를 들어 이동 로봇과 같은 이동체에 비전 모듈(100)이 장착되어 있는 경우, 이동체가 이동을 할 때 비전 모듈(100)이 자신이나 이동체의 위치를 파악할 수 있다.The image processing unit 130 may process an image acquired from the camera 110 to determine a location where the vision module 100 is placed. For example, when the vision module 100 is mounted on a moving object such as a mobile robot, when the moving object moves, the vision module 100 may grasp the position of itself or the moving object.

카메라(110)는 그 렌즈가 향하는 방향이 바닥면과 수직이 되도록 배치되어 실내 환경에서 천장을 촬영하여 천장 이미지를 획득하도록 한다. 영상 처리부(130)는 천장 이미지로부터 특징점을 추출한 후 특징점을 이용하여 천장을 복수의 영역으로 분할하고, 분할된 영역에 대하여 식별 코드를 생성한다.The camera 110 is arranged so that the direction in which the lens is facing is perpendicular to the floor surface, so that the ceiling image is acquired by photographing the ceiling in an indoor environment. The image processing unit 130 extracts a feature point from the ceiling image, divides the ceiling into a plurality of areas using the feature point, and generates an identification code for the divided area.

영상 처리부(130)는 생성된 식별 코드와 메모리(120)에 기억되어 있는 코드북을 비교하여 생성된 식별 코드와 동일한 참조 식별 코드를 코드북에서 찾아 해당 참조 식별 코드에 대응하는 위치 정보를 읽어 냄으로써 비전 모듈(100)이 현재 놓여 있는 위치를 파악할 수 있다.The image processing unit 130 compares the generated identification code with the codebook stored in the memory 120 to find a reference identification code identical to the generated identification code in the codebook, and reads the location information corresponding to the reference identification code. You can find out where (100) is currently placed.

이와 같이 본 발명의 실시예에 따른 비전 모듈(100)이 비교적 변화가 없는 천장 이미지를 이용하여 위치를 파악하므로 실내 환경의 내부 구조 변화에 독립적으로 위치 결정이 가능하다. 이것은 천장 이미지의 각 영역에 대한 고유한 식별 코드가 이동체의 위치 식별에 이정표 역할을 하기 때문이다. 또한 이미지 자체를 비교하여 위치를 파악하는 구조가 아니고, 천장 이미지를 영역으로 분할하고 분할된 영역에 대하여 식별 코드를 생성한 후 식별 코드끼리 비교하여 위치를 파악하므로 더욱 빠르게 현재 위치를 인식할 수 있다.As described above, since the vision module 100 according to an exemplary embodiment of the present invention recognizes a location using a relatively unchanged ceiling image, it is possible to independently determine a location according to changes in the internal structure of an indoor environment. This is because the unique identification code for each area of the ceiling image serves as a milestone in identifying the location of the moving object. In addition, it is not a structure that determines the location by comparing the image itself, but because the ceiling image is divided into areas, identification codes are generated for the divided areas, and the location is identified by comparing the identification codes, the current location can be recognized more quickly. .

그러면 본 발명의 실시예에 따른 비전 모듈(100)이 자신의 위치에 대하여 어떻게 인식하는지에 대하여 도 2 내지 도 6을 참고하여 좀 더 상세하게 설명한다.Then, how the vision module 100 according to an embodiment of the present invention recognizes its own position will be described in more detail with reference to FIGS. 2 to 6.

도 2는 이동체가 이동하는 실내 공간의 바닥을 예시적으로 나타낸 도면으로서, 이동체가 이동할 수 있는 실내 공간의 바닥을 단면으로 표시한 것이고, 해칭된 부분은 이동체가 이동할 수 없는 벽이나 기둥과 같은 장애물 등을 표시한 것이다. 이러한 바닥 지도를 위치 정보와 함께 메모리(120)에 미리 기억해 둔다.2 is a diagram illustrating the floor of an indoor space in which a moving object moves, as a cross-sectional view of the floor of an indoor space in which a moving object can move, and the hatched part is an obstacle such as a wall or pillar to which the moving object cannot move. Etc. This floor map is stored in advance in the memory 120 together with the location information.

카메라(110)가 천장을 향해 배치되어 있으므로 비전 모듈(100)은 천장 이미지를 획득할 수 있으며, 비전 모듈(100)은 천장 이미지에서 특징점을 추출해 낸다. 특징점은 주변에 비해 밝기나 색상 변화가 심한 부분이나 눈에 띄는 것, 차이나는 것 등을 가리키는 점이다. 필요에 따라 코너를 선택할 수도 있고, 뚜렷하게 보이는 것, 가장 두드러진 것, 눈에 잘 띄는 것 위주로 특징점 추출이 이루어질 수 있도록 특징점 추출 알고리즘을 작성 또는 프로그램화한다. 특징점에 의하여 동일한 모양이 반복적으로 생성되지 않도록 특징점 추출 알고리즘을 구성하는 것이 좋으며, 동일한 이미지에 대하여는 동일한 특징점이 지속적으로 추출될 수 있도록 한다.Since the camera 110 is disposed toward the ceiling, the vision module 100 can acquire a ceiling image, and the vision module 100 extracts feature points from the ceiling image. A characteristic point is a point that indicates a part with a sharp change in brightness or color compared to the surroundings, something that stands out, or is different. A corner can be selected as needed, and a feature point extraction algorithm is created or programmed so that the feature point extraction can be performed mainly on the clearly visible, the most prominent, and the prominent one. It is recommended to configure a feature point extraction algorithm so that the same shape is not repeatedly generated by the feature points, and the same feature points can be continuously extracted for the same image.

도 3은 실내 공간의 천장을 예시적으로 나타낸 도면으로, 비전 모듈(100)이 특징점을 추출한 후 분할 기법에 따라 특징점을 연결하여 영역을 분할한 것을 함께 도시한 도면이다.3 is a diagram illustrating a ceiling of an indoor space by way of example, and is a diagram illustrating that the vision module 100 extracts the feature points and then connects the feature points according to a segmentation technique to divide an area.

영상 처리부(130)는 추출된 특징점을 이용하여 천장을 복수의 영역으로 분할한다. 영역 분할 방식의 한 예로서, 들로네 삼각분할(Delaunay triangulation)이나 보로노이 다이어그램(Voronoi diagram)을 이용하여 고유의 영역 분할 패턴을 구성한다. 들로네 삼각분할은 평면 위의 점들을 삼각형으로 연결하여 공간을 분할할 때, 이 삼각형들의 내각의 최솟값이 최대가 되도록 하는 분할을 말하며, 보로노이 다이어그램은 평면을 특정 점까지의 거리가 가장 가까운 점의 집합으로 분할한 그림을 말한다. 들로네 삼각분할과 보로노이 다이어그램은 서로 쌍대관계이다.The image processing unit 130 divides the ceiling into a plurality of regions using the extracted feature points. As an example of a region division method, a unique region division pattern is constructed using a Delaunay triangulation or Voronoi diagram. Delaunay triangulation refers to a division in which the minimum value of the inner angle of these triangles is maximized when the space is divided by connecting the points on the plane with triangles, and the Voronoi diagram refers to the division of the point where the distance to a specific point is the closest. It refers to a picture divided into sets. The Delaunay triangulation and Voronoi diagram are pairwise with each other.

들로네 삼각분할이나 보로노이 다이어그램뿐만 아니라 영역 분할은 다른 다양한 방식으로 수행할 수 있으며, 주어진 특징점들에 대하여 일정하게 영역을 분할할 수 있고, 분할된 영역이 고유하게 정해지면 어떠한 방식이라도 무방하다. 즉, 영역 분할이 일관성을 가지고 반복성이 보장된다면 어떠한 영역 분할 방식이라도 상관없다.Area division, as well as Delaunay triangulation and Voronoi diagram, can be performed in a variety of other ways, and areas can be uniformly divided for given feature points, and any method can be used if the divided areas are uniquely determined. That is, as long as the region partitioning is consistent and repeatability is guaranteed, any region partitioning method may be used.

도 4는 영역 분할 기법에 따라 분할된 영역을 예시적으로 나타낸 도면으로서, 천장 이미지로부터 특징점을 이용하여 들로네 삼각분할 기법으로 영역을 분할한 예시 도면이다. 도 5는 도 2의 바닥 도면과 도 4의 분할된 영역을 함께 도시한 하이브리드 맵을 나타낸 도면이다. 하이브리드 맵은 천장에 있는 특징점을 바닥의 수직 위치에 표시하여 실내 환경에서 바닥 좌표와 천장의 위치를 매칭하여 통합한 것이다.FIG. 4 is a diagram illustrating an area divided according to the area division technique. FIG. 4 is an exemplary view in which the area is divided by a Delaunay triangulation technique using feature points from a ceiling image. FIG. 5 is a diagram showing a hybrid map showing the bottom view of FIG. 2 and the divided area of FIG. 4 together. In the hybrid map, feature points on the ceiling are displayed on the vertical position of the floor, and the floor coordinates and the position of the ceiling are matched and integrated in an indoor environment.

비전 모듈(100)은 전역 좌표나 지역 좌표 등의 위치 정보가 포함된 바닥 맵 데이터와 천장의 특징점들을 매칭을 하여 기억함으로써 하이브리드 맵을 작성하게 된다. 따라서 천장의 특정 위치 아래에 비전 모듈(100)이 있으면 특정 위치에 대응하는 바닥 좌표를 파악할 수 있다.The vision module 100 creates a hybrid map by matching and storing feature points of a ceiling with floor map data including location information such as global coordinates or regional coordinates. Therefore, if the vision module 100 is located under a specific location on the ceiling, floor coordinates corresponding to the specific location can be identified.

그러면 비전 모듈(100)이 분할된 영역에 대하여 식별 코드를 생성하는 방법에 대하여 좀 더 상세하게 설명한다.Then, a method of generating an identification code for the divided area by the vision module 100 will be described in more detail.

도 6은 본 발명의 실시예에 따른 식별 코드를 생성하는 것을 설명하기 위한 도면이다. 도 6에 도시되어 있는 삼각형은 도 5에 도시되어 있는 하이브리드 맵에서 분할된 하나의 영역이고, 삼각형 내부의 그리드는 픽셀을 구분하기 위한 것이다.6 is a diagram for describing generation of an identification code according to an embodiment of the present invention. The triangle shown in FIG. 6 is one area divided in the hybrid map shown in FIG. 5, and a grid inside the triangle is for classifying pixels.

식별 코드는 하나의 픽셀 단위로 생성할 수 있다. 한 픽셀의 밝기와 이 픽셀을 중심으로 주위를 둘러싼 8개의 픽셀의 밝기 차이를 계산하여 8개의 크기 값을 갖는 벡터로 표현할 수 있다. 밝기의 기울기는 예를 들어 4비트 크기로 노말라이즈 될 수 있다. 따라서 기울기가 최대일 때는 15, 최소일 때는 0 값을 갖는다. 물론 5비트 이상이 되도록 할 수도 있다.The identification code can be generated in units of one pixel. The difference between the brightness of one pixel and the eight pixels surrounding the pixel can be calculated and expressed as a vector having eight size values. The slope of brightness can be normalized to a size of 4 bits, for example. Therefore, it has a value of 15 when the slope is maximum and 0 when it is minimum. Of course, you can make it more than 5 bits.

도 6에 도시한 것처럼, 예를 들어, 한 픽셀의 식별 코드는 그 픽셀과 그 픽셀의 우측에 있는 1번 픽셀부터 반시계 방향으로 8번 픽셀까지의 밝기 차이를 4비트로 아래 벡터와 같이 나타낼 수 있다.As shown in FIG. 6, for example, the identification code of one pixel can represent the difference in brightness from the pixel and the pixel No. 1 on the right side of the pixel to the pixel No. 8 in the counterclockwise direction by 4 bits, as shown in the vector below. have.

[0001 0110 0101 1001 0110 0100 0101 1000][0001 0110 0101 1001 0110 0100 0101 1000]

이와 달리 하나의 픽셀에 대하여 식별 코드를 생성하는 것이 아니라 복수의 픽셀을 하나의 단위로 묶거나 특정 형상에 대하여 식별 코드를 생성할 수도 있다. 이 경우 복수의 픽셀의 밝기 평균을 하나의 단위의 대푯값으로 하면 된다. 그런 후 개개의 단위 별로 위의 예시와 동일한 방식으로 식별 코드를 생성할 수 있다.On the contrary, instead of generating an identification code for one pixel, a plurality of pixels may be grouped into one unit or an identification code may be generated for a specific shape. In this case, the average brightness of a plurality of pixels may be used as a representative value of one unit. Then, the identification code can be generated for each unit in the same manner as in the above example.

한편 각 영역 내의 전체 픽셀의 식별 코드의 평균을 계산하여 해당 영역의 대표 코드로 사용할 수 있다. 각 영역의 대표 코드도 사전에 미리 계산하여 하이브리드 맵과 함께 메모리(120)에 참조 대표 코드로 기억해 둔다. 이와 같이 함으로써 비전 모듈(100)이 위치하는 곳의 위치 정보를 실시간으로 계산할 때 특정 분할 영역의 식별이 가능하게 된다. 이것은 위치 인식을 할 때 영역 분할이 고유하기 때문에 비전 모듈(100)이 특정 위치에 있으면 해당 위치에 대응하는 특정 영역 아래에 있다는 것을 의미한다.Meanwhile, the average of the identification codes of all pixels in each region can be calculated and used as the representative code of the corresponding region. The representative code of each area is also calculated in advance and stored as a reference representative code in the memory 120 together with the hybrid map. In this way, when the location information of the location where the vision module 100 is located is calculated in real time, it is possible to identify a specific divided area. This means that when the vision module 100 is located in a specific location, it is under a specific area corresponding to that location because the area division is unique when performing location recognition.

비전 모듈(100)은 현재 위치해 있는 곳의 위치 정보를 획득하기 위하여 천장 이미지로부터 특징점을 추출하고 특징점을 이용하여 영역을 분할하며, 현재 위치에 대응하는 픽셀의 식별 코드를 생성한 후 생성된 식별 코드와 메모리(120)에 기억되어 있는 참조 식별 코드를 비교하여 동일한 참조 식별 코드를 찾아낸다.The vision module 100 extracts feature points from the ceiling image to obtain location information of the current location, divides a region using the feature points, and generates an identification code of a pixel corresponding to the current location, and then generates an identification code. And the reference identification code stored in the memory 120 to find the same reference identification code.

생성된 식별 코드와 참조 식별 코드의 동일성 여부 판단은 다음과 같이 한다. 우선 생성된 식별 코드(벡터)에서 가장 값이 큰 성분과 참조 식별 코드(벡터)에서 가장 값이 큰 성분을 비교하고 동일하면 그 다음에 배치된 성분 값을 차례로 비교한다. 전체 성분 값이 동일하면 생성된 식별 코드와 참조 식별 코드는 동일한 것이 되고 어느 하나라도 차이가 있으면 다른 식별 코드가 된다. 동일한 식별 코드에 대하여 해당 식별 코드와 매칭이 되어 있는 위치 정보를 참조하면 현재 위치를 파악할 수 있게 된다.The determination of whether the generated identification code and the reference identification code are identical is as follows. First, the component having the highest value in the generated identification code (vector) and the component having the highest value in the reference identification code (vector) are compared, and if they are identical, the values of the next placed component are sequentially compared. If the total component values are the same, the generated identification code and the reference identification code become the same, and if any of them are different, they become different identification codes. By referring to the location information matched with the corresponding identification code for the same identification code, the current location can be identified.

이렇게 동일성 여부를 판단하는 것은 비전 모듈(100)이 어떠한 방향으로 위치해 있는지 파악하기 어려운 경우에 해당된다. 만일 비전 모듈(100)이 방위를 알 수 있는 센서를 포함하고 있거나 계산에 의하여 방위를 알 수 있는 경우는 생성된 식별 코드와 참조 식별 코드의 각각의 성분을 순서대로 비교하여 판단하면 된다.This determination of identity corresponds to a case in which it is difficult to grasp in which direction the vision module 100 is positioned. If the vision module 100 includes a sensor that can know the orientation or can know the orientation by calculation, the generated identification code and the respective components of the reference identification code are sequentially compared and determined.

두 개 이상의 참조 식별 코드 값이 동일한 경우가 있을 수 있는데 필요에 따라 특정 픽셀의 식별 코드만 비교하는 것이 아니라 그 주위 픽셀에 대한 식별 코드를 함께 비교하여 동일성 여부를 판단할 수도 있다.In some cases, two or more reference identification code values may be the same. If necessary, not only the identification codes of a specific pixel are compared, but identification codes of neighboring pixels may be compared together to determine whether they are identical.

비전 모듈(100)은 생성된 식별 코드를 메모리(120)에 기억되어 있는 전체 참조 식별 코드와 비교하여 동일한 참조 식별 코드를 찾아낼 수 있으나, 이와 달리 특정 픽셀이 포함되어 있는 영역의 대표 코드를 계산하고, 이를 메모리(120)에 기억되어 있는 참조 대표 코드와 비교하여 동일한 참조 대표 코드를 찾아낸다. 따라서 전체 픽셀의 참조 식별 코드와 비교하는 것이 아니라, 찾아낸 참조 대표 코드에 대응하는 영역의 참조 식별 코드와 비교하게 되므로 계산량이 대폭 줄어들고 고속으로 검색이 가능하게 되어 현재 위치 정보를 빠르게 계산할 수 있다.The vision module 100 can find the same reference identification code by comparing the generated identification code with the entire reference identification code stored in the memory 120, but unlike this, calculates a representative code of an area containing a specific pixel. Then, the same reference representative code is found by comparing it with the reference representative code stored in the memory 120. Therefore, it is not compared with the reference identification code of all pixels, but the comparison with the reference identification code of the region corresponding to the found reference representative code, so that the amount of calculation is greatly reduced and the search is possible at high speed, so that the current location information can be quickly calculated.

한편 지금까지 식별 코드는 하나의 픽셀, 복수의 픽셀 또는 특정 형상 등의 밝기 기울기를 벡터로 나타낸 것으로 설명하였으나, 이와 달리 특정 기하학 정보 등도 그 반복도만 보장된다면 식별 코드로서 이용될 수 있다. Meanwhile, until now, the identification code has been described as representing the brightness gradient of one pixel, a plurality of pixels, or a specific shape as a vector, but unlike this, specific geometric information can be used as an identification code if only the repeatability is guaranteed.

그러면 본 발명의 실시예에 따른 비전 모듈이 포함되어 있는 이동체에 관하여 도 7을 참고하여 설명한다.Then, a moving object including a vision module according to an embodiment of the present invention will be described with reference to FIG. 7.

본 발명의 다른 실시예에 따른 이동체(200)는 카메라(210), 메모리(220), 영상 처리부(230), 통신부(240), 인터페이스(250), 구동부(260), 그리고 제어부(270)를 포함한다. 여기서 카메라(210), 메모리(220), 영상 처리부(230), 통신부(240), 그리고 인터페이스(250)는 앞선 실시예의 비전 모듈(100)과 실질적으로 동일하므로 이에 대한 설명은 생략한다.The moving body 200 according to another embodiment of the present invention includes a camera 210, a memory 220, an image processing unit 230, a communication unit 240, an interface 250, a driving unit 260, and a control unit 270. Include. Here, since the camera 210, the memory 220, the image processing unit 230, the communication unit 240, and the interface 250 are substantially the same as the vision module 100 of the previous embodiment, a description thereof will be omitted.

구동부(260)는 이동체(200)가 이동할 수 있도록 모터 및 기구부로 이루어져 있으며, 제어부(270)는 구동부(260) 및 카메라(210), 메모리(220), 영상 처리부(230), 통신부(240), 그리고 인터페이스(250)를 제어한다. 이동체(200)는 이동 로봇으로 대변될 수 있으나 이에 한정되지 않는다. 이동체(200)는 앞선 실시예의 비전 모듈(100)이 포함되어 있으므로 실내 공간에서 자신의 위치 정보 추적이 가능하다. 이에 대한 설명은 앞선 실시예에서와 동일하므로 생략한다.The driving unit 260 is composed of a motor and a mechanism unit to allow the moving body 200 to move, and the control unit 270 includes a driving unit 260 and a camera 210, a memory 220, an image processing unit 230, and a communication unit 240 , And controls the interface 250. The moving body 200 may be represented as a mobile robot, but is not limited thereto. Since the moving body 200 includes the vision module 100 of the previous embodiment, it is possible to track its own location information in an indoor space. A description thereof is omitted since it is the same as in the previous embodiment.

그러면 본 발명의 다른 실시예에 따른 이동체의 위치 인식 방법에 대하여 도 8을 참고하여 설명한다. 도 8은 본 발명의 실시예에 따른 이동체의 위치 인식 방법을 설명하기 위한 흐름도이다.Then, a method of recognizing a location of a moving object according to another embodiment of the present invention will be described with reference to FIG. 8. 8 is a flowchart illustrating a method of recognizing a location of a moving object according to an embodiment of the present invention.

이동체(200)는 미리 탐색할 공간에 대하여 하이브리드 맵을 생성해 둔다. 먼저 바닥의 위치 정보가 포함되어 있는 지도를 생성하고, 천장 이미지에 대하여 특징점을 추출하며, 특징점을 이용하여 천장 이미지에서 영역을 분할한다. 바닥 지도와 분할된 천장 영역을 합성하여 하이브리드 맵을 생성한다. 분할된 각 영역과 각 영역 내부의 픽셀에 대하여 참조 식별 코드를 생성하여 위치 정보와 매칭시켜 두고, 각 영역에 대한 참조 대표 코드를 생성해 둔다. 하이브리드 맵과 참조 식별 코드 및 참조 대표 코드는 메모리(220)에 기억해 둔다.The moving object 200 generates a hybrid map for a space to be searched in advance. First, a map including location information of the floor is generated, feature points are extracted from the ceiling image, and regions are segmented from the ceiling image using the feature points. A hybrid map is created by synthesizing the floor map and the divided ceiling area. A reference identification code is generated for each divided area and a pixel inside each area, matched with location information, and a reference representative code for each area is generated. The hybrid map, the reference identification code, and the reference representative code are stored in the memory 220.

이동체(200)는 탐색할 공간을 이동하면서 이동체(200)가 현재 위치하고 있는 곳의 위치 정보가 필요하면 카메라(210)로부터 천장 이미지를 입력받고(S310), 입력받은 천장 이미지에 대하여 전처리 과정을 수행한다(S320).The moving object 200 receives a ceiling image from the camera 210 (S310) and performs a pre-processing process on the received ceiling image when it needs location information of the location where the moving object 200 is currently located while moving the space to be searched. Do (S320).

그런 후 이동체(200)는 천장 이미지에 대하여 특징점을 추출하고(S330), 추출된 특징점을 이용하여 영역을 분할한다(S340). 특징점 추출과 영역 분할에 대하여는 앞선 실시예에서 상세하게 설명하였으므로 여기에서는 생략한다.Then, the moving object 200 extracts feature points from the ceiling image (S330), and divides a region using the extracted feature points (S340). Since feature point extraction and region division have been described in detail in the previous embodiment, they are omitted here.

이동체(200)는 현재 위치하고 있는 곳에 대응하는 천장 이미지의 픽셀에 대하여 식별 코드를 생성하고(S350), 해당 픽셀이 포함되어 있는 영역 내의 전체 픽셀에 대하여 식별 코드를 생성한 후 해당 영역의 대표 코드를 계산한다.The moving object 200 generates an identification code for the pixel of the ceiling image corresponding to the current location (S350), generates an identification code for all pixels in the area including the corresponding pixel, and then generates a representative code of the corresponding area. Calculate.

이동체(200)는 계산된 대표 코드와 동일한 참조 대표 코드를 찾기 위해 메모리(220)에 기억되어 있는 코드북을 참조한다(S360). 또한 코드북을 참조하여 생성된 식별 코드와 동일한 참조 식별 코드를 찾는다.The mobile 200 refers to the codebook stored in the memory 220 to find the same reference representative code as the calculated representative code (S360). Also, a reference identification code identical to the generated identification code is found by referring to the codebook.

이동체(200)는 현재 위치에 대응하는 천장 이미지의 픽셀에 대한 식별 코드와 동일한 참조 식별 코드를 찾으면 해당 참조 식별 코드에 매칭되어 있는 위치 정보를 알게 되므로 현재의 위치를 인식하게 된다(S370).When the moving object 200 finds the same reference identification code as the identification code for the pixel of the ceiling image corresponding to the current location, it knows the location information matched with the reference identification code, and thus recognizes the current location (S370).

지금까지 이동체의 위치 인식 방법에 대하여 설명하였으나, 본 발명의 원리는 위치 인식 대신 객체 인식이나 장소 인식을 위한 방법으로 응용될 수 있다. 즉, 입력된 이미지에 대하여 특징점을 추출하고, 특징점을 이용하여 영역을 분할한 후 분할된 영역에 대하여 식별 코드를 생성하고 이를 미리 기억해둔 참조 식별 코드와 비교한다. 이전 실시예에서는 참조 식별 코드와 위치 정보를 매칭하여 기억해 두었으나 이 경우는 참조 식별 코드와 객체 정보 또는 장소 정보를 매칭하여 기억해 두면 된다. 또한 이 경우 카메라의 방향이 반드시 천장을 가리킬 필요가 없고 벽면 또는 임의의 방향을 가리킬 수 있게 배치될 수 있다.Until now, a method for recognizing a location of a moving object has been described, but the principle of the present invention can be applied as a method for recognizing an object or a place instead of recognizing a location. That is, a feature point is extracted from the input image, an area is segmented using the feature point, an identification code is generated for the divided area, and this is compared with a reference identification code stored in advance. In the previous embodiment, the reference identification code and location information were matched and stored, but in this case, the reference identification code and object information or location information may be matched and stored. In addition, in this case, the direction of the camera does not necessarily point to the ceiling and may be arranged to point to a wall surface or an arbitrary direction.

이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.The detailed description above is illustrative of the present invention. In addition, the above description is only for showing and describing a preferred embodiment of the present invention, and the present invention can be used in various other combinations, modifications and environments. That is, changes or modifications may be made within the scope of the concept of the invention disclosed in the present specification, the scope equivalent to the disclosed contents, and/or the skill or knowledge of the art. The above-described embodiments are for explaining the best state in carrying out the present invention, and in order to use another invention such as the present invention, implementation in another state known in the art, and required in the specific application field and use of the invention Various changes are also possible. Therefore, the detailed description of the invention is not intended to limit the invention to the disclosed embodiment. In addition, the appended claims should be construed as including other embodiments.

100: 비전 모듈, 110, 210: 카메라,
120, 220: 메모리, 130, 230: 영상 처리부,
140, 240: 통신부, 150, 250: 인터페이스,
200: 이동체, 260: 구동부,
270: 제어부100: vision module, 110, 210: camera,
120, 220: memory, 130, 230: image processing unit,
140, 240: communication unit, 150, 250: interface,
200: moving body, 260: driving unit,
270: control unit

Claims (15)

천장의 이미지를 획득하는 카메라,
위치 정보와 매칭되어 있는 참조 식별 코드를 기억하는 메모리, 그리고
상기 천장 이미지로부터 특징점을 추출하고, 상기 특징점을 이용하여 상기 천장 이미지에서 복수의 영역을 분할한 후 상기 분할된 영역에 대하여 식별 코드를 생성하고, 상기 생성된 식별 코드를 상기 참조 식별 코드와 비교하여 상기 생성된 식별 코드와 동일한 참조 식별 코드를 찾아 상기 동일한 참조 식별 코드에 대응하는 위치 정보를 추출하는 영상 처리부
를 포함하고,
상기 식별 코드는 상기 천장 이미지의 픽셀에 대하여 주변 픽셀과의 밝기 기울기로 표현되며,
상기 영상 처리부는 각 영역 내의 전체 픽셀의 상기 식별 코드를 평균하여 상기 각 영역의 대표 코드를 계산하며, 상기 대표 코드와 상기 메모리에 기억되어 있는 참조 대표 코드를 비교하여 어느 영역에 위치하는지 판단하고,
상기 영상 처리부는 상기 생성된 식별 코드를 현재 위치하는 영역에 대응하는 참조 식별 코드와 비교하여 상기 위치 정보를 추출하는
비전 모듈.A camera that acquires an image of the ceiling,
A memory for storing the reference identification code matched with the location information, and
By extracting a feature point from the ceiling image, dividing a plurality of regions from the ceiling image using the feature points, generating an identification code for the divided region, and comparing the generated identification code with the reference identification code An image processing unit that finds the same reference identification code as the generated identification code and extracts location information corresponding to the same reference identification code
Including,
The identification code is expressed as a brightness gradient with respect to a pixel of the ceiling image with respect to surrounding pixels,
The image processing unit calculates a representative code of each region by averaging the identification codes of all pixels in each region, and determines which region is located by comparing the representative code with a reference representative code stored in the memory,
The image processing unit extracts the location information by comparing the generated identification code with a reference identification code corresponding to the region in which the current location is located.
Vision module. 제1항에서,
상기 메모리는 상기 위치 정보가 포함된 맵 데이터를 기억하며, 상기 특징점을 상기 위치 정보와 매칭시켜 기억하는 비전 모듈.In claim 1,
The memory stores map data including the location information, and matches and stores the feature point with the location information. 제1항에서,
상기 복수의 영역은 상기 특징점에 대하여 일정하게 분할될 수 있으며, 상기 분할된 영역은 고유하게 정해지는 비전 모듈.In claim 1,
The plurality of areas may be uniformly divided with respect to the feature points, and the divided areas are uniquely determined. 제1항에서,
상기 영상 처리부는 들로네 삼각분할(Delaunay triangulation) 또는 보로노이 다이어그램(Voronoi diagram)을 이용하여 상기 복수의 영역을 분할하는 비전 모듈.In claim 1,
The image processing unit is a vision module that divides the plurality of regions using a Delaunay triangulation or a Voronoi diagram. 삭제delete 삭제delete 삭제delete 제1항 내지 제4항 중 어느 한 항의 비전 모듈을 포함하는 이동체.A moving body comprising the vision module of any one of claims 1 to 4. 위치 정보와 매칭되어 있는 참조 식별 코드를 기억하는 단계,
천장의 이미지를 획득하는 단계,
상기 천장 이미지로부터 특징점을 추출하는 단계,
상기 특징점을 이용하여 상기 천장 이미지에서 복수의 영역을 분할하는 단계,
상기 분할된 영역에 대하여 식별 코드를 생성하는 단계,
상기 생성된 식별 코드를 상기 참조 식별 코드와 비교하여 상기 생성된 식별 코드와 동일한 참조 식별 코드를 찾아 상기 동일한 참조 식별 코드에 대응하는 위치 정보를 추출하는 단계,
각 영역 내의 전체 픽셀의 상기 식별 코드를 평균하여 상기 각 영역의 대표 코드를 계산하는 단계, 그리고
상기 대표 코드와 메모리에 기억되어 있는 참조 대표 코드를 비교하여 어느 영역에 위치하는지 판단하는 단계
를 포함하고,
상기 식별 코드는 상기 천장 이미지의 픽셀에 대하여 주변 픽셀과의 밝기 기울기로 표현되며,
상기 위치 정보 추출 단계는 상기 생성된 식별 코드를 현재 위치하는 영역에 대응하는 참조 식별 코드와 비교하여 상기 위치 정보를 추출하는 단계를 포함하는
이동체의 위치 인식 방법.Storing a reference identification code matched with the location information,
Acquiring the image of the ceiling,
Extracting feature points from the ceiling image,
Dividing a plurality of regions in the ceiling image using the feature points,
Generating an identification code for the divided area,
Comparing the generated identification code with the reference identification code to find a reference identification code identical to the generated identification code and extracting location information corresponding to the same reference identification code,
Averaging the identification codes of all pixels in each region to calculate a representative code of each region, and
Comparing the representative code and the reference representative code stored in the memory to determine which region is located
Including,
The identification code is expressed as a brightness gradient with respect to a pixel of the ceiling image with respect to surrounding pixels,
The location information extraction step includes comparing the generated identification code with a reference identification code corresponding to the currently located region and extracting the location information
How to recognize the location of moving objects. 제9항에서,
상기 위치 정보가 포함된 맵 데이터를 기억하며, 상기 특징점을 상기 위치 정보와 매칭시켜 기억하는 단계를 더 포함하는 이동체의 위치 인식 방법.In claim 9,
Storing the map data including the location information, and matching and storing the feature point with the location information. 제9항에서,
상기 복수의 영역은 상기 특징점에 대하여 일정하게 분할될 수 있으며, 상기 분할된 영역은 고유하게 정해지는 이동체의 위치 인식 방법.In claim 9,
The plurality of areas may be uniformly divided with respect to the feature points, and the divided areas are uniquely determined. 제9항에서,
상기 복수의 영역 분할 단계는 들로네 삼각분할(Delaunay triangulation) 또는 보로노이 다이어그램(Voronoi diagram)을 이용하여 상기 복수의 영역을 분할하는 단계를 포함하는 이동체의 위치 인식 방법.In claim 9,
The step of dividing the plurality of areas includes dividing the plurality of areas using a Delaunay triangulation or a Voronoi diagram. 삭제delete 삭제delete 삭제delete
KR1020190141485A 2019-11-07 2019-11-07 Vision module for position recognition of moving object and position recognition method for moving object KR102154043B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141485A KR102154043B1 (en) 2019-11-07 2019-11-07 Vision module for position recognition of moving object and position recognition method for moving object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141485A KR102154043B1 (en) 2019-11-07 2019-11-07 Vision module for position recognition of moving object and position recognition method for moving object

Publications (1)

Publication Number Publication Date
KR102154043B1 true KR102154043B1 (en) 2020-09-09

Family

ID=72451568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141485A KR102154043B1 (en) 2019-11-07 2019-11-07 Vision module for position recognition of moving object and position recognition method for moving object

Country Status (1)

Country Link
KR (1) KR102154043B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110009547A (en) * 2009-07-22 2011-01-28 엘지전자 주식회사 Apparatus and method for detecting rotation-invariant features for localization of a mobile robot
KR20110138428A (en) 2010-06-20 2011-12-28 오종택 System and method for location finding using camera, lamp and short range communication module embedded in the equipment
JP2017224280A (en) * 2016-05-09 2017-12-21 ツーアンツ インク．ＴｗｏＡｎｔｚ Ｉｎｃ． Visual positioning-based navigation apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110009547A (en) * 2009-07-22 2011-01-28 엘지전자 주식회사 Apparatus and method for detecting rotation-invariant features for localization of a mobile robot
KR20110138428A (en) 2010-06-20 2011-12-28 오종택 System and method for location finding using camera, lamp and short range communication module embedded in the equipment
JP2017224280A (en) * 2016-05-09 2017-12-21 ツーアンツ インク．ＴｗｏＡｎｔｚ Ｉｎｃ． Visual positioning-based navigation apparatus and method

Similar Documents

Publication Publication Date Title
Kunhoth et al. Indoor positioning and wayfinding systems: a survey
JP6749480B2 (en) System, method and non-transitory computer readable storage medium for parking a vehicle
Krajník et al. A practical multirobot localization system
CN116907458A (en) System and method for indoor vehicle navigation based on optical target
CN105841687B (en) indoor positioning method and system
CN111094895B (en) System and method for robust self-repositioning in pre-constructed visual maps
CN108022264B (en) Method and equipment for determining camera pose
US11500391B2 (en) Method for positioning on basis of vision information and robot implementing same
US20200068126A1 (en) Shelf-Viewing Camera With Multiple Focus Depths
KR100698534B1 (en) Landmark for location recognition of mobile robot and location recognition device and method using same
WO2022078513A1 (en) Positioning method and apparatus, self-moving device, and storage medium
TWI733107B (en) Navigation method based on optical tag network, corresponding computing equipment and storage medium
KR101341204B1 (en) Device and method for estimating location of mobile robot using raiser scanner and structure
WO2022078488A1 (en) Positioning method and apparatus, self-moving device, and storage medium
CN106289263A (en) Indoor navigation method and device
KR20160027605A (en) Method for locating indoor position of user device and device for the same
KR100581086B1 (en) Method and apparatus for mobile robot localization using led of rfid tag
Liu et al. Semalign: Annotation-free camera-lidar calibration with semantic alignment loss
Ozcan et al. A novel fusion method with thermal and RGB-D sensor data for human detection
KR102154043B1 (en) Vision module for position recognition of moving object and position recognition method for moving object
Naggar et al. A low cost indoor positioning system using computer vision
KR101950713B1 (en) Apparatus of detecting indoor position using lacation map image and method thereof
US20240127576A1 (en) System and method for matching of image features with indistinguishable landmarks
Johns et al. Urban position estimation from one dimensional visual cues
Shewail et al. Survey of indoor tracking systems using augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant