KR20220085461A

KR20220085461A - Method for recognizing object in 3 dimentional space

Info

Publication number: KR20220085461A
Application number: KR1020200175543A
Authority: KR
Inventors: 김명환; 황민; 이후경; 박성혁; 강필도; 신윤섭; 이승희
Original assignee: (주)심스리얼리티
Priority date: 2020-12-15
Filing date: 2020-12-15
Publication date: 2022-06-22
Also published as: KR102542363B1

Abstract

본 발명은 3차원 공간에 위치하고 있는 객체를 인식하는 방법에 관한 것으로, 보다 구체적으로 3차원 공간에 대해 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체 정보를 생성함으로써 현재 위치하고 있는 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있는 객체 인식 방법에 관한 것이다.The present invention relates to a method for recognizing an object located in a three-dimensional space, and more particularly, dividing a three-dimensional map generated in a three-dimensional space into a plurality of sectors and dividing it into a plurality of sectors and providing information on objects existing in each sector in units of sectors When recognizing an object in a sector currently located by generating

Description

Method for recognizing object in 3 dimension space

본 발명은 3차원 공간에 존재하는 객체를 인식하는 방법에 관한 것으로, 보다 구체적으로 3차원 공간에서 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체들의 객체 리스트를 생성함으로써 현재 위치하고 있는 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있는 객체 인식 방법에 관한 것이다.The present invention relates to a method of recognizing an object existing in a three-dimensional space, and more specifically, a three-dimensional map generated in a three-dimensional space is divided into a plurality of sectors and divided, and the object of objects existing in each sector in units of sectors When an object is recognized in a sector currently located by generating a list, the present invention relates to an object recognition method capable of quickly recognizing an object based on an object list mapped to a current sector or quickly providing detailed information of the recognized object.

비전기술을 이용하여 실시간으로 객체를 검출하고 인식하는 일은 어려운 일임에도 불구하고 영상처리 기법의 발전과 더불어 컴퓨터, 카메라 등의 하드웨어의 성능 향상으로 인하여 이에 대한 연구가 활발히 진행되고 있다.Although it is difficult to detect and recognize an object in real time using vision technology, research on this is being actively conducted due to the development of image processing techniques and the improvement of hardware such as computers and cameras.

슬램(SLAM, Simultaneous Localization And Mapping)은 1986년 랜들C. 스미스와 피터 치즈맨의 로봇공한 논문에 처음 등장한 개념으로 정보가 주어지지 않는 임의의 3차원 공간을 이동하며 3차원 공간을 카메라로 촬영하고 촬영한 영상으로부터 지도를 작성하고 현재 위치를 추정할 수 있는 기술을 의미한다.SLAM (Simultaneous Localization And Mapping) was founded in 1986 by Randall C. It is a concept that first appeared in the Robotics thesis of Smith and Peter Cheeseman. It is a concept that moves in an arbitrary three-dimensional space where information is not given, shoots a three-dimensional space with a camera, creates a map from the captured image, and estimates the current location. means technology.

이 방식은 증강현실 등 다양한 분야에서도 그대로 적용할 수 있는데, 기본적으로 주변 환경에 대한 정보가 없는 상태에서 슬램 기술을 적용하면 카메라와 관성센서의 정보를 이용하여 주변 환경을 인식해 자신의 위치와 주변 공간구조를 파악할 수 있다.This method can be applied in various fields such as augmented reality as it is. Basically, if Slam technology is applied in a state where there is no information about the surrounding environment, it uses information from the camera and inertial sensor to recognize the surrounding environment and recognize its location and surroundings. The spatial structure can be understood.

3차원 공간에는 다양한 종류의 객체들이 존재하는데 특정 공간에 위치하는 객체에 대한 정보를 검색하기 위해서는 먼저 3차원 공간에서 객체를 인식하여야 한다. Various types of objects exist in the 3D space. In order to search for information on an object located in a specific space, it is first necessary to recognize the object in the 3D space.

슬램 기반의 기술이 주변환경을 인식하고 이를 토대로 가상의 사물을 현실과 결합하는 것이라면 객체 인식 기술(Object Recognition)은 현실 세계에 존재하는 특정 객체를 인식하고 이를 토대로 현실 세계와 가상 세계를 정합시키는 방식이다.While slam-based technology recognizes the surrounding environment and combines virtual objects with reality based on this, object recognition technology recognizes specific objects in the real world and matches the real world with the virtual world based on this. to be.

객체 인식 기술은 현실 세계에 존재하는 특정 객체의 3D 모델 데이터로부터 추출한 특징점, 윤곽선 등의 정보를 이용하여 해당 객체가 어디에, 어떤 포즈로 놓여 있는지 검색하게 된다. Object recognition technology uses information such as feature points and outlines extracted from 3D model data of a specific object in the real world to search where and in what pose the object is placed.

객체 인식 가능성을 높이기 위하여 3차원 공간에 존재하는 객체에 대한 기준 객체 정보를 데이터베이스화하는데, 예를 들어 객체를 모든 방향에서 촬영하여 객체의 특징점들을 미리 추출해두고 실제 객체를 인식하는데 이 정보를 활용하는 방법이다. 이 방식은 사전 작업이 필요하긴 하지만 높은 컴퓨팅 파워가 필요하지 않고 사전에 객체 인식만 제대로 해놓으면 성능이 매우 뛰어나다는 장점을 가진다.In order to increase the possibility of object recognition, a database of reference object information about objects existing in 3D space is used. way. Although this method requires prior work, it does not require high computing power and has the advantage that performance is very good if object recognition is done properly in advance.

그러나 3차원 공간에는 위치에 따라 다양한 종류의 객체가 존재하며 3차원 공간에 존재하는 모든 객체에 대한 기준 객체 정보로부터 특정 공간에 위치하는 객체를 인식하거나 모든 객체에 대한 기준 객체 정보로부터 인식한 객체에 대한 상세 정보를 추출하여 사용자에 제공하는 경우 오랜 시간이 소요되거나 객체 인식 오류가 발생할 가능성이 높다는 문제점을 가진다. However, in the 3D space, various types of objects exist depending on the location, and the object located in a specific space is recognized from the reference object information for all objects in the 3D space, or the object recognized from the reference object information for all objects. In the case of extracting detailed information about the information and providing it to the user, there is a problem that it takes a long time or there is a high possibility that an object recognition error occurs.

본 발명은 위에서 언급한 종래 3차원 공간에서 객체를 인식하는 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 3차원 공간에 대해 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체 정보를 생성하는 객체 인식 방법을 제공하는 것이다.The present invention is to solve the problems of the conventional method for recognizing an object in a three-dimensional space mentioned above, and an object of the present invention is to divide and divide a three-dimensional map generated in a three-dimensional space into a plurality of sectors. and to provide an object recognition method for generating object information existing in each sector on a sector-by-sector basis.

본 발명이 이루고자 하는 다른 목적은 현재 위치하고 있는 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있는 객체 인식 방법을 제공하는 것이다. Another object of the present invention is to quickly recognize an object based on an object list mapped to the current sector when recognizing an object in a currently located sector, or an object recognition method capable of quickly providing detailed information of the recognized object is to provide

본 발명이 이루고자 하는 또 다른 목적은 현재 위치하고 있는 섹터에 매핑되어 있는 객체 리스트에 기초하여 인식하지 못한 비인식 객체가 존재하는지 판단하며 비인식 객체에 대한 정보를 객체 리스트에 추가하여 용이하게 갱신할 수 있는 객체 인식 방법을 제공하는 것이다.Another object of the present invention is to determine whether an unrecognized unrecognized object exists based on the object list mapped to the currently located sector, and to easily update the unrecognized object information by adding it to the object list. It is to provide an object recognition method.

본 발명의 목적을 달성하기 위하여, 본 발명에 따른 객체 인식 방법은 3차원 지도를 생성하고자 하는 3차원 공간을 촬영하고 촬영한 영상에서 3차원 공간의 특징점을 추출하여 3차원 공간에 대한 3차원 지도를 생성하는 단계와, 생성한 3차원 지도를 다수의 섹터로 분할하고 분할한 섹터 단위로 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스에 저장되어 있는 기준 객체 정보를 비교하여 각 섹터에 존재하는 객체를 판단하는 단계와, 판단한 객체에 기초하여 각 섹터에 존재하는 객체들의 객체 리스트를 각 섹터의 하위 항목으로 생성하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the object of the present invention, an object recognition method according to the present invention is a three-dimensional map of a three-dimensional space by photographing a three-dimensional space in which a three-dimensional map is to be created, and extracting feature points of the three-dimensional space from the captured image. and dividing the created 3D map into a plurality of sectors and comparing the object information of the object existing in each sector with the reference object information stored in the object database in units of the divided sectors, and determining an object, and generating an object list of objects existing in each sector as a sub-item of each sector based on the determined object.

바람직하게, 본 바렴에 따른 객체 인식 방법은 판단한 객체에 대한 객체 상세 정보가 입력되는 단계를 더 포함하며, 객체 리스트에는 객체별 상세 정보가 매핑되어 생성되는 것을 특징으로 한다.Preferably, the object recognition method according to the present invention further comprises the step of inputting detailed object information on the determined object, and the object list is characterized in that detailed information for each object is mapped and generated.

바람직하게, 본 발명의 일 실시예에 따른 객체를 판단하는 단계는 생성한 3차원 지도를 서로 동일한 또는 서로 상이한 크기로 구분하여 다수의 섹터로 분할하는 단계와, 각 섹터에 존재하는 객체로부터 추출한 특징점과 객체 데이터베이스에 저장되어 있는 기준 객체 정보를 비교하여 일치하는 객체를 판단하는 단계와, 일치하는 객체에 기초하여 각 섹터에 존재하는 객체를 판단하는 단계를 포함하는 것을 특징으로 한다.Preferably, the step of determining the object according to an embodiment of the present invention includes dividing the generated 3D map into a plurality of sectors by dividing the generated 3D map into the same or different sizes, and a feature point extracted from an object existing in each sector and determining a matching object by comparing reference object information stored in the object database, and determining an object existing in each sector based on the matching object.

여기서 객체 정보 또는 기준 객체 정보는 객체로부터 추출한 객체의 특징점인 것을 특징으로 한다.Here, the object information or reference object information is characterized in that it is a feature point of an object extracted from the object.

여기서 객체 정보 또는 상기 기준 객체 정보는 객체의 크기 또는 색상 중 적어도 어느 하나를 더 포함하는 것을 특징으로 한다.Here, the object information or the reference object information may further include at least one of a size and a color of an object.

바람직하게, 본 발명에 따른 객체 인식 방법은 각 섹터에 존재하는 객체 중 객체 정보가 객체 데이터베이스의 기준 객체 정보와 불일치하는 객체가 존재하는지 판단하는 단계와, 기준 객체 정보와 불일치하는 객체가 존재하는 경우 비인식 객체가 존재함을 알리는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the object recognition method according to the present invention comprises the steps of: determining whether there is an object whose object information does not match reference object information of an object database among objects existing in each sector; It characterized in that it further comprises the step of notifying the existence of the unrecognized object.

바람직하게, 본 발명에 따른 객체 인식 방법은 3차원 공간에서 현재 위치하고 있는 현재 섹터를 판단하는 단계와, 판단한 현재 섹터의 하위 항목으로 생성된 현재 객체 리스트를 판단하는 단계와, 현재 섹터에 존재하는 객체와 일치하는 객체를 현재 객체 리스트에서 검색하여 객체를 인식하는 단계와, 인식한 객체들의 객체 상세 정보를 객체 리스트에서 검색하여 사용자에 제공하는 단계를 더 포함하는 것을 특징으로 한다. Preferably, the object recognition method according to the present invention includes the steps of determining a current sector currently located in a three-dimensional space, determining a current object list created as a sub-item of the determined current sector, and an object existing in the current sector It characterized in that it further comprises the steps of recognizing the object by searching for an object matching the current object list, and providing the user with detailed object information of the recognized objects by searching the object list.

본 발명에 따른 객체 인식 방법은 다음과 같은 효과를 가진다.The object recognition method according to the present invention has the following effects.

본 발명에 따른 객체 인식 방법은 3차원 공간에 대해 생성한 3차원 지도를 다수의 섹터로 구분하여 분할하고 섹터 단위로 각 섹터에 존재하는 객체 정보를 생성함으로써, 현재 위치하고 있는 현재 섹터에서 객체를 인식하는 경우 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 객체를 빠르게 인식하거나 인식한 객체의 상세정보를 신속하게 제공할 수 있다. The object recognition method according to the present invention recognizes an object in the current sector in which it is currently located by dividing and dividing the 3D map generated in the 3D space into a plurality of sectors and generating object information existing in each sector in units of sectors In this case, it is possible to quickly recognize an object based on the object list mapped to the current sector or to quickly provide detailed information of the recognized object.

본 발명에 따른 객체 인식 방법은 현재 위치하고 있는 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 인식하지 못한 비인식 객체가 존재하는지 판단하여 사용자에 알람을 제공함으로써, 비인식 객체에 대한 정보를 객체 리스트에 추가하여 용이하게 갱신할 수 있다.The object recognition method according to the present invention provides an alarm to the user by determining whether an unrecognized unrecognized object exists based on the object list mapped to the current sector in which it is currently located, thereby providing information on the unrecognized object to the object list. It can be easily updated by adding.

도 1은 본 발명에 따른 3차원 공간에서 객체를 인식하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따라 객체를 인식하는 장치를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 객체 리스트 생성부의 일 예를 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 객체 인식부의 일 예를 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 6은 3차원 공간에 대한 3차원 지도를 생성하는 일 예를 설명하기 위한 도면이다.
도 7은 생성한 3차원 지도에서 섹터를 분할하는 일 예를 설명하기 위한 도면이다
도 8은 객체 리스트를 생성하는 일 예를 설명하기 위한 흐름도이다.
도 9는 기준 객체 정보를 생성하는 일 예를 설명하고 있다.
도 10은 본 발명에서 생성된 객체 리스트의 일 예를 설명하기 위한 도면이다.
도 11은 사용자에 인식한 객체의 상세 정보를 제공하는 일 예를 설명하기 위한 도면이다.1 is a view for explaining a system for recognizing an object in a three-dimensional space according to the present invention.
2 is a functional block diagram illustrating an apparatus for recognizing an object according to the present invention.
3 is a functional block diagram illustrating an example of an object list generator according to the present invention.
4 is a functional block diagram illustrating an example of an object recognition unit according to the present invention.
5 is a flowchart illustrating an object recognition method according to the present invention.
6 is a diagram for explaining an example of generating a 3D map for a 3D space.
7 is a diagram for explaining an example of segmenting a sector in a generated 3D map.
8 is a flowchart illustrating an example of generating an object list.
9 illustrates an example of generating reference object information.
10 is a diagram for explaining an example of an object list created in the present invention.
11 is a diagram for explaining an example of providing detailed information of a recognized object to a user.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be interpreted as meanings generally understood by those of ordinary skill in the art to which the present invention belongs, unless otherwise specifically defined in the present invention, and excessively comprehensive It should not be construed in the meaning of a human being or in an excessively reduced meaning. In addition, when the technical term used in the present invention is an incorrect technical term that does not accurately express the spirit of the present invention, it should be understood by being replaced with a technical term that can be correctly understood by those skilled in the art.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, the singular expression used in the present invention includes the plural expression unless the context clearly dictates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various components or various steps described in the invention, some of which components or some steps are included. It should be construed that it may not, or may further include additional components or steps.

또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, it should be noted that the accompanying drawings are only for easy understanding of the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

이하 첨부한 도면을 참고로 본 발명에 따른 객체 인식 방법에 대해 보다 구체적으로 설명한다.Hereinafter, an object recognition method according to the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 3차원 공간에서 객체를 인식하는 시스템을 설명하기 위한 도면이다.1 is a view for explaining a system for recognizing an object in a three-dimensional space according to the present invention.

도 1을 참고로 보다 구체적으로 살펴보면, 먼저 3차원 공간에 대한 3차원 지도를 작성하여야 하는데, 사용자는 영상 장비(11)와 통신 장비(13)를 착용 후 3차원 지도를 작성하고자 하는 공간을 이동한다. 여기서 영상 장비(11)는 3차원 공간을 촬영하여 영상 정보를 생성하는 모노 카메라, 스트레오 카메라, 깊이 카메라 등을 포함하거나, 사용자의 이동 경로를 측정하기 위한 관성센서를 포함할 수 있다.Referring to FIG. 1 in more detail, first, a three-dimensional map of a three-dimensional space must be created. After the user wears the imaging equipment 11 and the communication equipment 13, the user moves the space in which the three-dimensional map is to be created. do. Here, the imaging equipment 11 may include a mono camera, a stereo camera, a depth camera, etc. that generate image information by photographing a three-dimensional space, or may include an inertial sensor for measuring the movement path of the user.

한편 통신 장비(13)는 생성한 영상 정보를 네트워크(30)를 통해 서버(50)로 송신하는 장비로, 통신 장비(13)는 와이파이, 5G 통신 등의 무선 통신 방식으로 영상 정보와 관성 측정값을 서버(50)로 송신할 수 있거나 유선 통신 방식으로 영상 정보와 관성 측정값을 서버(50)로 송신할 수 있는 다양한 통신 모듈을 구비하고 있다. 네트워크(30)는 통신 장비(13)와 서버(50) 사이의 통신 방식에 따라 유선 또는 무선으로 영상 정보 또는 관성 측정값을 송신하는 다양한 종류의 네트워크가 사용될 수있다.On the other hand, the communication device 13 is a device that transmits the generated image information to the server 50 through the network 30, and the communication device 13 uses image information and inertial measurement values through wireless communication methods such as Wi-Fi and 5G communication. It is provided with various communication modules that can transmit to the server 50 or transmit image information and inertial measurement values to the server 50 through a wired communication method. The network 30 may use various types of networks for transmitting image information or inertial measurement values by wire or wirelessly depending on a communication method between the communication equipment 13 and the server 50 .

본 발명이 적용되는 분야에 따라 서버(50)에서 3차원 지도를 작성하는 대신 통신 장비(13)에서 직접 영상 정보와 관성 측정값으로부터 3차원 지도를 생성하고 생성한 3차원 지도를 네트워크(30)를 통해 서버(50)로 송신할 수 있다.According to the field to which the present invention is applied, instead of creating a three-dimensional map in the server 50, the communication equipment 13 directly generates a three-dimensional map from image information and inertial measurement values and transfers the generated three-dimensional map to the network 30 may be transmitted to the server 50 through

3차원 공간에 대한 3차원 지도를 작성시, 3차원 공간에 존재하는 객체의 고유 객체 정보를 추출하며 추출한 객체 정보와 객체 데이터베이스에 저장되어 있는 기준 객체 정보를 비교하여 3차원 공간에 존재하는 객체를 자동 인식한다.When creating a three-dimensional map of a three-dimensional space, the unique object information of an object existing in the three-dimensional space is extracted, and the object existing in the three-dimensional space is identified by comparing the extracted object information with the reference object information stored in the object database. automatically recognized

바람직하게, 작성한 3차원 지도를 다수의 섹터로 구분하여 분할하며, 섹터 단위로 각 섹터에 존재하는 객체들과 객체들의 상세 정보로 이루어진 객체 리스트를 각 섹터의 하위 항목으로 생성한다. Preferably, the created 3D map is divided into a plurality of sectors and divided, and an object list including objects existing in each sector and detailed information of the objects is generated as sub-items of each sector in units of sectors.

한편 3차원 지도가 완성된 후 사용자가 3차원 공간을 이동하는 과정에서 특정 공간에 존재하는 객체에 대한 정보를 3차원 지도를 이용하여 획득할 수 있는데, 보다 구체적으로 살펴보면 사용자는 스마트폰 등과 같이 카메라를 구비하는 사용자 단말(70)을 이용하여 3차원 공간을 촬영하며 이동하는데 사용자 단말(70)은 촬영한 영상 정보를 네트워크(30)를 통해 서버(50)로 송신한다.Meanwhile, after the 3D map is completed, information on objects existing in a specific space can be acquired using the 3D map in the process of the user moving through the 3D space. The user terminal 70 moves while photographing a three-dimensional space by using the user terminal 70 including

서버(50)는 수신한 영상 정보에 기초하여 3차원 공간의 다수 섹터들 중 사용자가 현재 위치하고 있는 현재 섹터를 판단한다. 현재 섹터의 하위 항목으로 매핑되어 있는 객체 리스트에 기초하여 섹터 단위로 현재 섹터에 존재하는 객체를 인식하며 사용자 요청에 의해 인식한 객체의 상세 정보를 객체 리스트에서 추출하여 사용자 단말(70)로 제공한다.The server 50 determines a current sector in which the user is currently located among a plurality of sectors in the 3D space based on the received image information. Objects existing in the current sector are recognized in units of sectors based on the object list mapped to sub-items of the current sector, and detailed information of the object recognized by the user request is extracted from the object list and provided to the user terminal 70 .

3차원 공간에 다양한 객체들이 존재할 수 있는데 3차원 공간이 넓을수록 또는 3차원 공간에 존재하는 객체들의 수가 많을수록 3차원 공간의 특정 공간에 위치하는 객체를 인식하는데 많은 시간과 소요된다. 본 발명과 같이 3차원 공간 중 현재 위치하고 있는 현재 섹터를 판단하며, 현재 섹터에 위치하는 객체를 섹터 단위로 구분하여 현재 섹터에 매핑된 객체 리스트를 기준으로 객체를 인식함으로써 빠르고 정확하게 객체를 인식하고 인식한 객체에 대한 정보를 제공할 수 있다.Various objects may exist in the 3D space. As the 3D space becomes wider or the number of objects existing in the 3D space increases, it takes a lot of time and time to recognize an object located in a specific space in the 3D space. As in the present invention, it determines the current sector currently located in the three-dimensional space, classifies the object located in the current sector by sector unit, and recognizes and recognizes the object quickly and accurately by recognizing the object based on the list of objects mapped to the current sector. You can provide information about an object.

본 발명이 적용되는 분야에 따라 서버에서 객체를 인식하고 객체에 대한 상세정보를 제공하는 것으로 설명하였으나, 본 발명이 적용되는 분야에 따라 객체 데이터베이스는 사용자 단말(70)에 저장되어 있으며 사용자 단말(70)에서 직접 촬영한 영상에 기초하여 객체를 인식하고 객체에 대한 상세 정보를 제공할 수 있다. According to the field to which the present invention is applied, it has been described that the server recognizes an object and provides detailed information about the object, but according to the field to which the present invention is applied, the object database is stored in the user terminal 70 and the user terminal 70 ) can recognize an object based on an image taken directly and provide detailed information about the object.

도 2는 본 발명에 따라 객체를 인식하는 장치를 설명하기 위한 기능 블록도이다.2 is a functional block diagram illustrating an apparatus for recognizing an object according to the present invention.

도 2를 참고로 살펴보면, 영상 획득부(105)는 3차원 공간을 촬영하여 3차원 공간에 대한 영상 정보를 획득하고, 획득한 영상 정보를 지도 생성부(110)로 제공한다. 지도 생성부(110)는 획득한 영상에서 특징점을 추출하여 3차원 공간에 대한 3차원 지도을 생성한다. Referring to FIG. 2 , the image acquisition unit 105 acquires image information about the 3D space by photographing the 3D space, and provides the obtained image information to the map generation unit 110 . The map generator 110 generates a three-dimensional map for a three-dimensional space by extracting feature points from the acquired image.

영상 획득부(105)는 모노 카메라, 스트레오 카메라, 깊이 카메라 또는 이들의 조합이 사용될 수 있다. 한편 카메라는 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서와, 이미지 센서의 출력을 수신하여 2D 이미지를 생성하는 영상처리모듈 등을 구비하고 있다.The image acquisition unit 105 may use a mono camera, a stereo camera, a depth camera, or a combination thereof. Meanwhile, the camera includes a charge coupled device (CCD) or complementary metal oxide semiconductor (CMOS) image sensor, and an image processing module that generates a 2D image by receiving an output of the image sensor.

객체 리스트 생성부(120)는 생성한 3차원 지도를 서로 동일하거나 서로 상이한 크기를 가지는 섹터로 구분하여 분할하고 각 섹터 단위로 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스부(130)에 저장되어 있는 객체의 기준 객체 정보를 비교하여 각 섹터에 존재하는 객체를 인식한다. 이후 인식한 객체의 객체 정보와 사용자 인터페이스부(150)를 통해 추가 입력되는 객체의 상세 정보로 이루어진 객체 리스트를 섹터 단위로 생성하고 생성한 객체 리스트를 객체 리스트 저장부(180)에 저장한다. 여기서 객체의 객체 정보 또는 기준 객체 정보는 객체를 식별할 수 있는 객체의 고유 특징으로 객체에서 추출하는 특징점, 객체의 크기, 객체의 색상 등일 수 있다.The object list generator 120 divides and divides the generated 3D map into sectors having the same or different sizes, and stores the object information and object database unit 130 of objects existing in each sector in units of each sector. The object existing in each sector is recognized by comparing the reference object information of the object. Thereafter, an object list including object information of the recognized object and detailed information of an object additionally input through the user interface unit 150 is generated in units of sectors, and the created object list is stored in the object list storage unit 180 . Here, the object information or reference object information of the object is a unique characteristic of an object capable of identifying the object, and may be a feature point extracted from the object, the size of the object, the color of the object, and the like.

여기서 객체 데이터베이스부(140)에는 사전에 객체별 모든 방향에서 촬영하여 추출한 객체의 특징점, 객체별 크기, 객체의 색상 등의 기준 객체 정보가 저장되어 있다. 즉 객체 데이터베이스부(140)에는 3차원 공간에 존재하거나 존재할 것으로 예상되는 모든 객체별 기준 객체 정보가 저장되어 있으며, 이후 3차원 지도를 생성시 3차원 공간 중 특정 공간에 존재하는 객체로부터 추출되는 객체의 객체 정보와 기준 객체 정보를 비교하여 특정 공간에 존재하는 객체를 인식하는데 이용될 수 있다.Here, the object database unit 140 stores reference object information, such as feature points, size of each object, and color of an object, which are extracted and photographed in all directions for each object in advance. That is, the object database unit 140 stores reference object information for all objects that exist or are expected to exist in the three-dimensional space, and then, when a three-dimensional map is created, an object extracted from an object existing in a specific space in the three-dimensional space. It can be used to recognize an object existing in a specific space by comparing the object information of the reference object and the reference object information.

한편 섹터별 객체 리스트를 구비하는 3차원 지도가 완성되는 경우 사용자는 3차원 공간을 이동하며 3차원 공간에 존재하는 객체에 대한 정보를 제공받을 수 있는데, 객체 인식부(170)는 영상 획득부(105)를 통해 획득한 영상에서 특징점을 추출하여 추출한 특징점에 기초하여 3차원 지도를 구성하는 다수의 섹터 중 현재 사용자가 위치하고 있는 현재 섹터를 판단하며, 객체 리스트 저장부(180)에 저장되어 있는 객체 리스트 중 현재 섹터에 매핑되어 있는 객체 리스트를 검색하여 추출한다. On the other hand, when the 3D map including the object list for each sector is completed, the user can be provided with information about objects existing in the 3D space while moving in the 3D space. 105), the current sector in which the user is currently located among a plurality of sectors constituting the 3D map is determined based on the extracted feature points, and the object stored in the object list storage unit 180 The object list mapped to the current sector is searched for and extracted from the list.

객체 인식부(170)는 현재 섹터에 매핑되어 있는 객체 리스트에서 현재 섹터에 존재하는 객체의 객체 정보와 일치하는 객체를 판단하여 섹터 단위로 3차원 공간의 특정 공간에 존재하는 객체를 인식한다. 객체 인식부(170)는 인식한 객체에 대한 간략 정보를 출력부(190)를 통해 출력하는데, 사용자 인터페이스부(150)를 통해 인식한 객체에 대한 상세 정보의 요청이 입력되는 경우, 현재 섹터에 매핑되어 있는 객체 리스트에서 인식한 객체에 매핑되어 있는 상세 정보를 검색하여 출력부(190)를 통해 사용자에 제공한다.The object recognition unit 170 recognizes an object existing in a specific space of a three-dimensional space in units of sectors by determining an object matching object information of an object existing in the current sector from the list of objects mapped to the current sector. The object recognition unit 170 outputs brief information on the recognized object through the output unit 190. When a request for detailed information on the recognized object is input through the user interface unit 150, it is transmitted to the current sector. Detailed information mapped to the recognized object is retrieved from the mapped object list and provided to the user through the output unit 190 .

도 3은 본 발명에 따른 객체 리스트 생성부의 일 예를 설명하기 위한 기능 블록도이다. 3 is a functional block diagram illustrating an example of an object list generator according to the present invention.

도 3을 참고로 보다 구체적으로 살펴보면, 섹터 생성부(121)는 3차원 지도가 생성되는 시점과 동시에 또는 3차원 지도가 완성된 후 3차원 지도를 서로 상이한 크기 또는 서로 동일한 크기를 가지는 다수의 영역으로 구분하여 섹터를 생성한다.Referring to FIG. 3 in more detail, the sector generating unit 121 generates a 3D map at the same time when the 3D map is generated or after the 3D map is completed. A plurality of regions having different sizes or the same size are generated. to create sectors.

객체 판단부(123)는 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 섹터 단위로 각 섹터에 존재하는 객체를 판단한다.The object determination unit 123 compares object information of an object existing in each sector with reference object information stored in the object database unit to determine an object existing in each sector on a sector-by-sector basis.

리스트 편집부(125)는 섹터 단위로 각 섹터에 존재하는 객체에 대한 상세 정보가 입력되는 경우, 객체의 객체 정보와 상세 정보를 편집하여 섹터의 하위 항목으로 객체별 객체 리스트를 생성한다.When detailed information on an object existing in each sector is input on a sector-by-sector basis, the list editing unit 125 edits the object information and detailed information of the object to create an object list for each object as a sub-item of the sector.

도 4는 본 발명에 따른 객체 인식부의 일 예를 설명하기 위한 기능 블록도이다.4 is a functional block diagram illustrating an example of an object recognition unit according to the present invention.

도 4를 참고로 보다 구체적으로 살펴보면, 특징점 추출부(171)는 영상 획득부에서 획득한 영상에서 특징점을 추출한다. 현재 섹터 판단부(173)는 추출한 특징점에 기초하여 3차원 공간에서 현재 위치를 추정하고, 현재 위치에 기초하여 사용자가 위치하고 있는 현재 섹터를 판단한다. 즉, 추출한 특징점로부터 판단된 3차원 좌표로부터 현재 위치를 추정하고 현재 위치가 속하는 섹터를 판단하여 현재 위치하고 있는 현재 섹터를 판단한다.Referring to FIG. 4 in more detail, the key point extraction unit 171 extracts a key point from the image acquired by the image acquisition unit. The current sector determining unit 173 estimates a current position in a three-dimensional space based on the extracted feature points, and determines a current sector in which the user is located based on the current position. That is, the current sector is determined by estimating the current position from the three-dimensional coordinates determined from the extracted feature point and determining the sector to which the current position belongs.

객체 리스트 검색부(175)는 현재 섹터에 하위 항목으로 매핑되어 있는 객체 리스트를 검색하며, 객체 식별부(177)는 검색한 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 현재 섹터에 존재하는 객체를 인식한다.The object list search unit 175 searches for an object list mapped to the current sector as a sub-item, and the object identification unit 177 identifies an object existing in the current sector based on the searched object list mapped to the current sector. Recognize.

상세정보 제공부(179)는 사용자 인터페이스부를 통해 인식한 객체에 대한 상세 정보의 요청이 있는 경우, 검색한 현재 섹터에 매핑되어 있는 객체 리스트에서 인식한 객체에 대한 상세 정보를 추출하여 출력부를 통해 사용자에 제공한다.When there is a request for detailed information on the recognized object through the user interface unit, the detailed information providing unit 179 extracts detailed information about the recognized object from the object list mapped to the searched current sector, and provides the user through the output unit. provided to

도 5는 본 발명에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating an object recognition method according to the present invention.

도 5를 참고로 보다 구체적으로 살펴보면, 3차원 지도를 작성하고자 하는 공간을 이동하며 3차원 공간을 촬영하여 3차원 공간에 대한 3차원 지도를 생성한다(S110). 3차원 공간의 영상으로부터 특징점을 추출하고 추출한 특징점을 3차원 좌표로 변환하여 3차원 지도를 생성한다.Referring to FIG. 5 in more detail, a three-dimensional map is generated in the three-dimensional space by moving the space in which the three-dimensional map is to be created and photographing the three-dimensional space (S110). A three-dimensional map is created by extracting feature points from an image in a three-dimensional space and converting the extracted feature points into three-dimensional coordinates.

특징점은 객체의 형상을 대표하는 요소로서 객체를 묘사하고 모델링할 수 있는 중요한 점이며, 명확하게 식별이 가능한 특이점(interest point)으로서 모서리(corner), 정점(apex) 및 꼭지점(vertex)이 특징점에 해당된다. 영상에서 특징점을 추출하는 방법은 CSS(Curvature Scale Space), FAST-ER(FAST-Enhanced Repeatability)등의 알고리즘을 사용하거나, Harris corner detection 기법을 사용하여 특정한 "점"을 추출하거나, Canny edgy detection 기법을 사용하여 특정한 "선"을 추출하는 것이 가능하다. 다양한 방식으로 특징점을 추출할 수 있으며 이에 대한 상세한 설명은 생략한다.The feature point is an important point that can describe and model the object as an element representing the shape of the object. As a clearly identifiable singular point, the corner, apex, and vertex are at the feature point. applicable. To extract feature points from images, algorithms such as CSS (Curvature Scale Space) and FAST-ER (FAST-Enhanced Repeatability) are used, or specific “points” are extracted using Harris corner detection, or canny edgy detection techniques It is possible to extract a specific "line" using Feature points may be extracted in various ways, and a detailed description thereof will be omitted.

사용자가 이동하며 촬영한 영상에서 추출한 특징점을 추적하며 특징점을 3차원 좌표로 변환하여 포인트 클라우드를 생성하고, 생성한 포인트 클라우드를 조합하여 3차원 공간에 대한 3차원 지도를 생성한다. 촬영한 영상에서 추출한 특징점의 좌표는 2차원 좌표이며 특징점을 계속해서 추적하며 깊이정보를 구비하는 3차원 좌표로 변환한다. 촬영한 영상에서 깊이 정보를 획득하기 위하여 모노 카메라를 통해 촬영한 현재 영상 프레임을 기준으로 전/후 영상 프레임을 이용하여 깊이 정보를 획득하거나, 스트레오 카메라를 통해 촬영한 영상 프레임의 시차를 이용하여 깊이 정보를 획득하거나, 깊이 카메라를 이용하여 깊이 정보를 획득할 수 있다.The user moves and tracks the feature points extracted from the captured image, converts the feature points into three-dimensional coordinates to create a point cloud, and creates a three-dimensional map of the three-dimensional space by combining the generated point clouds. The coordinates of the feature points extracted from the captured image are two-dimensional coordinates, and the feature points are continuously tracked and converted into three-dimensional coordinates having depth information. In order to acquire depth information from a captured image, depth information is obtained using front/rear image frames based on a current image frame captured through a mono camera, or depth using a parallax of an image frame captured through a stereo camera Information may be obtained or depth information may be obtained using a depth camera.

여기서 3차원 좌표는 글로벌 좌표로, 통상적으로 3차원 지도를 생성하기 시작하는 위치를 기준점(0,0,0)으로 각 특징점을 3차원 좌표로 변환하여 포인트 클라우드를 생성한다. 2차원의 특징점을 3차원 좌표로 변환하는 다양한 공지된 기술들이 존재하며, 이에 대한 상세한 설명을 생략한다.Here, the three-dimensional coordinates are global coordinates, and a point cloud is generated by converting each feature point into three-dimensional coordinates with a reference point (0, 0, 0) at a position where a three-dimensional map is usually generated. Various well-known techniques for converting a two-dimensional feature point into three-dimensional coordinates exist, and a detailed description thereof will be omitted.

3차원 지도가 생성되는 시점과 동시에 또는 3차원 지도가 생성된 이후 3차원 지도를 다수의 영역으로 구분하여 3차원 공간을 다수의 섹터로 분할한다(S130). 3차원 지도를 생성하는 시점과 동시에 3차원 공간을 정해진 크기로 구분하여 다수의 섹터로 분할하거나 3차원 지도가 완성된 후 3차원 지도를 정해진 크기로 구분하여 다수의 섹터로 분할할 수 있다. 즉, 3차원 지도를 작성시 카메라의 뷰 영역으로 구분하여 다수의 섹터로 분할하거나 3차원 지도를 작성시 관성센서를 이용하여 3차원 공간을 정해진 크기로 구분하여 다수의 섹터로 분할하거나 작성자가 생성된 3차원 지도에서 직접 정해진 크기로 구분하여 3차원 공간을 다수의 섹터로 분할할 수 있다.The 3D map is divided into a plurality of regions at the same time when the 3D map is generated or after the 3D map is generated, and the 3D space is divided into a plurality of sectors (S130). At the same time when the 3D map is generated, the 3D space may be divided into a predetermined size and divided into a plurality of sectors, or after the 3D map is completed, the 3D map may be divided into a predetermined size and divided into a plurality of sectors. That is, when creating a 3D map, divide it by the camera view area and divide it into multiple sectors The 3D space can be divided into a number of sectors by directly dividing the 3D map into a predetermined size.

섹터 단위로 각 섹터에 존재하는 객체의 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 각 섹터에 존재하는 객체를 인식하며, 인식한 객체에 대한 상세 정보와 객체 정보를 조합하여 각 섹터에 대한 객체 리스트를 객체의 하위 항목으로 생성한다(S150). It recognizes objects in each sector by comparing object information of objects existing in each sector with reference object information stored in the object database on a sector-by-sector basis. An object list for a sector is created as a sub-item of the object (S150).

차후 객체 리스트를 구비하는 3차원 지도가 완성된 후, 사용자가 3차원 공간을 이동하며 영상을 촬영하는 경우 영상으로부터 추출한 특징점으로부터 사용자의 현재 위치를 추정하여 사용자가 현재 위치하고 있는 현재 섹터를 판단하며, 판단한 현재 섹터에 매핑되어 있는 객체 리스트에 기초하여 섹터 단위로 현재 섹터에 존재하는 객체를 인식한다(S170). After the three-dimensional map including the object list is completed, when the user moves in a three-dimensional space and takes an image, the user's current position is estimated from the feature points extracted from the image to determine the current sector in which the user is currently located, Based on the determined object list mapped to the current sector, an object existing in the current sector is recognized on a sector-by-sector basis (S170).

도 6은 3차원 공간에 대한 3차원 지도를 생성하는 일 예를 설명하기 위한 도면이며, 도 7은 생성한 3차원 지도에서 섹터를 분할하는 일 예를 설명하기 위한 도면이다6 is a diagram for explaining an example of generating a 3D map for a 3D space, and FIG. 7 is a diagram for explaining an example of dividing a sector in the generated 3D map

도 6에 도시되어 있는 바와 같이, 사용자는 카메라(C)로 3차원 공간(S)을 촬영하며 이동하는데, 촬영항 영상에서 특징점을 추출하여 3차원 지도를 생성한다. 3차원 지도를 작성 시작하는 위치가 절대좌표(0,0,0)으로 설정된다.As shown in FIG. 6 , the user moves while photographing the three-dimensional space S with the camera C, and generates a three-dimensional map by extracting feature points from the photographed term image. The starting position for creating a 3D map is set to absolute coordinates (0,0,0).

도 7에 도시되어 있는 바와 같이, 3차원 지도가 생성되는 시점과 동시에 또는 3차원 지도가 작성된 후 3차원 공간을 다수의 영역으로 구분하여 3차원 지도를 다수의 섹터(S1 내지 S8)로 분할한다.As shown in FIG. 7 , the 3D map is divided into a plurality of sectors S1 to S8 by dividing the 3D space into a plurality of regions at the same time when the 3D map is created or after the 3D map is created .

도 8은 객체 리스트를 생성하는 일 예를 설명하기 위한 흐름도이다.8 is a flowchart illustrating an example of generating an object list.

도 8을 참고로 보다 구체적으로 살펴보면, 섹터별로 각 섹터에 위치하는 객체로부터 생성한 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 객체 정보와 일치하는 기준 객체 정보가 존재하는지 판단한다(S151). 기준 객체 정보는 지도 생성 전에 생성되는데, 도 9는 기준 객체 정보를 생성하는 일 예를 설명하고 있다. 도 9(a)에 도시되어 있는 바와 같이 제1 객체(O1)를 여러 방향으로 촬영하여 제1 객체(O1)에 대한 기준 객체 정보, 예를 들어 특징점을 추출하여 제1 객체(O1)에 대한 기준 객체 정보를 생성하고, 도 9(b)에 도시되어 있는 바와 같이 제2 객체(O2)를 여러 방향으로 촬영하여 제2 객체(O2)에 대한 기준 객체 정보, 예를 들어 특징점을 추출하여 제2 객체(O2)에 대한 기준 객체 정보를 생성한다. 3차원 공간에 존재하는 모든 객체에 대한 기준 객체 정보를 생성하고 생성한 기준 객체 정보를 객체 데이터베이스부에 저장한다.Referring to FIG. 8 in more detail, it is determined whether reference object information matching the object information exists by comparing object information generated from objects located in each sector by sector with reference object information stored in the object database unit. (S151). Reference object information is generated before map generation, and FIG. 9 describes an example of generating reference object information. As shown in FIG. 9( a ), reference object information about the first object O1, for example, a feature point, is extracted by photographing the first object O1 in several directions. Reference object information is generated, and reference object information about the second object O2, for example, a feature point, is extracted by photographing the second object O2 in various directions as shown in FIG. 9(b). 2 Create reference object information for the object (O2). Reference object information for all objects existing in the three-dimensional space is generated, and the generated reference object information is stored in the object database unit.

다시 도 8을 참고로 살펴보면, 객체 정보와 일치하는 기준 객체 정보가 객체 데이터베이스부에 존재하는 경우, 일치하는 기준 객체 정보로 해당 객체를 인식하며 인식한 객체에 대한 상세 정보를 입력받는다(S154). 예를 들어, 기준 객체 정보에 일치하는 객체가 노트북으로 인식되는 경우 해당 노트북의 소유자, 사용기간 등의 상세 정보가 입력된다. Referring back to FIG. 8 , when reference object information matching the object information exists in the object database unit, the object is recognized as the matching reference object information and detailed information on the recognized object is received ( S154 ). For example, when an object matching the reference object information is recognized as a notebook, detailed information such as the owner of the notebook and the period of use is input.

인식한 객체의 객체 정보와 상세 정보를 편집하여 현재 섹터에 존재하는 객체들로 이루어진 객체 리스트를 섹터 단위로 생성한다(S155). 3차원 공간의 다른 섹터에 대해서도 앞서 설명한 S151, S153, S154, S155 단계를 반복하여 3차원 공간을 구성하는 모든 섹터에 대한 객체 리스트를 완성한다(S156).By editing the object information and detailed information of the recognized object, an object list including objects existing in the current sector is created in units of sectors (S155). Steps S151, S153, S154, and S155 described above are repeated for other sectors in the 3D space to complete the object list for all sectors constituting the 3D space (S156).

한편, 섹터에 위치하는 객체로부터 생성한 객체 정보와 객체 데이터베이스부에 저장되어 있는 기준 객체 정보를 비교하여 객체 데이터베이스부에 일치하는 기준 객체 정보가 존재하지 않는 경우, 인식할 수 있는 없는 객체가 존재함을 알리기 위한 알림 메시지를 출력한다(S157).On the other hand, by comparing the object information created from the object located in the sector with the reference object information stored in the object database, if there is no matching reference object information in the object database, there is an unrecognizable object. Outputs a notification message to notify (S157).

사용자는 알림 메시지에 기초하여 객체 데이터베이스부에 해당 객체에 대한 기준 객체 정보가 존재하지 않는 경우 해당 객체에 대한 기준 객체 정보를 추가 생성하여 객체 데이터베이스부를 갱신할 수 있다(S159).When the reference object information for the corresponding object does not exist in the object database unit based on the notification message, the user may update the object database unit by additionally creating reference object information for the corresponding object (S159).

도 10은 본 발명에서 생성된 객체 리스트의 일 예를 설명하기 위한 도면이다.10 is a diagram for explaining an example of an object list created in the present invention.

도 10에 도시되어 있는 바와 같이, 3차원 공간은 다수의 섹터로 분할되며, 각 섹터에는 하위 항목으로 객체 리스트가 매핑되어 있다. 각 섹터의 객체 리스트에는 각 섹터에 존재하는 객체의 이름 또는 식별자, 객체의 상세정보가 나열되어 있다.As shown in FIG. 10 , the three-dimensional space is divided into a plurality of sectors, and an object list is mapped as a sub-item to each sector. In the object list of each sector, the name or identifier of an object existing in each sector, and detailed information of the object are listed.

도 11은 사용자에 인식한 객체의 상세 정보를 제공하는 일 예를 설명하기 위한 도면이다.11 is a diagram for explaining an example of providing detailed information of a recognized object to a user.

도 11에 도시되어 있는 바와 같이, 사용자 단말을 통해 촬영된 영상에는 현재 섹터에 존재하는 객체가 디스플레이되는데, 사용자가 현재 위치하고 있는 현재 섹터에서 인식된 객체 중 사용자가 특정 객체를 선택하는 경우 선택한 객체의 상세 정보를 현재 섹터에 매핑되어 있는 객체 리스트에서 검색하며, 검색한 상세 정보를 사용자 단말에 출력할 수 있다.11 , an object existing in the current sector is displayed in the image captured through the user terminal. When the user selects a specific object among objects recognized in the current sector in which the user is currently located, the selected object is Detailed information may be retrieved from the list of objects mapped to the current sector, and the retrieved detailed information may be output to the user terminal.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.The computer-readable recording medium includes a magnetic storage medium (eg, ROM, floppy disk, hard disk, etc.), an optically readable medium (eg, CD-ROM, DVD, etc.) and a carrier wave (eg, Internet storage media such as transmission via

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다. Although the present invention has been described with reference to the embodiment shown in the drawings, which is only exemplary, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

105: 영상 획득부 110: 지도 생성부
120: 객체 리스트 생성부 130: 객체 데이터베이스부
150: 사용자 인터페이스부 170: 객체 인식부
180: 객체 리스트 저장부 190: 출력부
121: 섹터 생성부 123: 객체 판단부
125: 리스트 편집부 171: 특징점 추출부
173: 현재 섹터 판단부 175: 객체 리스트 검색부
177: 객체 식별부 179: 상세 정보 제공부105: image acquisition unit 110: map generation unit
120: object list generating unit 130: object database unit
150: user interface unit 170: object recognition unit
180: object list storage unit 190: output unit
121: sector creation unit 123: object determination unit
125: list editing unit 171: feature point extraction unit
173: current sector determination unit 175: object list search unit
177: object identification unit 179: detailed information providing unit

Claims

generating a three-dimensional map of the three-dimensional space by photographing a three-dimensional space in which a three-dimensional map is to be generated, and extracting feature points of the three-dimensional space from the captured image;
Determining an object existing in each sector by dividing the generated 3D map into a plurality of sectors and comparing object information of an object existing in each sector in units of divided sectors with reference object information stored in an object database ; and
and generating an object list of objects existing in each sector as a sub-item of each sector based on the determined object.

The method of claim 1, wherein the object recognition method
Further comprising the step of inputting detailed object information for the determined object,
The object recognition method, characterized in that the object list is created by mapping detailed information for each object.

The method of claim 2, wherein the determining of the object comprises:
dividing the generated 3D map into a plurality of sectors by dividing them into equal or different sizes;
determining a matching object by comparing feature points extracted from objects existing in each sector with reference object information stored in an object database; and
and determining an object existing in each sector based on the matching object.

The method of claim 3, wherein the object information or the reference object information
An object recognition method, characterized in that it is a feature point of an object extracted from the object.

The method of claim 4, wherein the object information or the reference object information
The object recognition method, characterized in that it further comprises at least one of the size and color of the object.

The method of claim 3, wherein the object recognition method
determining whether there is an object whose object information does not match reference object information of an object database among objects existing in each sector; and
The method of claim 1 , further comprising the step of notifying that an unrecognized object exists when there is an object that does not match the reference object information.

The method according to any one of claims 1 to 6, wherein the object recognition method is
determining a current sector currently located in the three-dimensional space;
determining a current object list created as a sub-item of the determined current sector;
recognizing an object by searching the current object list for an object matching the object existing in the current sector; and
The object recognition method further comprising the step of providing detailed object information of the recognized objects to the user by searching the object list.