KR20230013851A - 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치 - Google Patents

공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치 Download PDF

Info

Publication number
KR20230013851A
KR20230013851A KR1020210094845A KR20210094845A KR20230013851A KR 20230013851 A KR20230013851 A KR 20230013851A KR 1020210094845 A KR1020210094845 A KR 1020210094845A KR 20210094845 A KR20210094845 A KR 20210094845A KR 20230013851 A KR20230013851 A KR 20230013851A
Authority
KR
South Korea
Prior art keywords
poi
information
graph
interest
generating
Prior art date
Application number
KR1020210094845A
Other languages
English (en)
Inventor
이상혁
최민기
Original Assignee
이상혁
최민기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이상혁, 최민기 filed Critical 이상혁
Priority to KR1020210094845A priority Critical patent/KR20230013851A/ko
Publication of KR20230013851A publication Critical patent/KR20230013851A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 공가시성 그래프 기반의 관심지점 지도 생성 방법에 관한 것이다. 본 발명은 카메라부가 관심지점이 촬영된 적어도 2개의 이미지를 획득하는 단계와, 자세정보획득부가 상기 이미지를 촬영한 카메라 프레임의 6자유도 자세정보를 획득하는 단계와, 관심지점검출부가 각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득하는 단계와, 위치정보생성부가 카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성하는 단계와, 그래프생성부가 생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성하는 단계를 포함한다.

Description

공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치{Method and apparatus for generating a map of points of interest based on a co-visibility graph}
본 발명은 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치에 관한 것으로, 특히 관심지점에 해당하는 객체 정보를 위치 정보를 포함하는 공가시성 그래프 정보로 재구성하여 이미지로부터 하나의 객체 정보를 인식하더라도 이와 연결된 모든 객체 정보를 빠짐없이 검출이 가능한 공가시성 그래프(co-visibility graph) 기반의 관심지점 지도 생성하는 방법 및 장치에 관한 것이다.
객체검출 및 인식은 컴퓨터 비전 분야에서 많이 연구되던 분야이다. 객체검출은 주어진 영상 이미지로부터 일련의 알고리즘을 통해 객체와 배경을 분리하고, 분리된 객체는 객체 인식 알고리즘으로 사전에 주어진 객체 이미지 정보와 매칭하여 정보를 인식한다. 그러나 객체 검출과 인식은 영상 이미지가 저해상도, 노출 과다, 노출 부족, 손떨림 등의 이유로 질낮은 상태로 촬영되거나 환경 및 조명 등의 변화로 사전에 주어진 객체 이미지 정보와 너무 다르게 촬영될 경우 인식률이 저하되는 문제가 있다.
종래기술로는 객체인식을 위해 이미지기반 매칭 및 글자 인식 등의 기술을 활용한 사례는 많았으나 이들의 방법은 실생활에서 촬영된 영상 이미지는 조명변화, 환경변화, 출현변화, 가려짐, 블러 등등에 의해 인식률이 떨어진다.
선행특허로는 한국등록특허 제10-1337555호(객체 연관성 객체연관성을 이용한 증강 현실 제공 장치 및 방법)가 있다. 선행특허는 이웃 연결성 정보로 빠르게 관심영역의 데이터베이스 정보를 리스트업하고 그 리스트 내에서 이미지를 매칭하기 때문에 인식률을 향상시켰으나 관심영역 검출, 매칭 및 인식은 마찬가지로 영상 매칭 및 글자 인식 방법을 의존하는 기술에 불과하다. 따라서 데이터 베이스에서 관심영역에 대한 이미지를 리스트업을 하였더라도 이미지상에서 검출 및 인식을 실패하는 경우 정보제공에 실패하는 문제가 있어 100% 검출 인식을 보장하지 않는다.
본 발명이 해결하고자 하는 과제는 상기와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 이미지에서 적어도 하나의 객체가 검출 및 인식이 되면 이웃 객체들은 검출 및 인식이 수행되지 않더라도 사전에 생성해놓은 그래프 구조를 통해 모든 객체 검출 및 인식이 가능한 공가시성 그래프(co-visibility graph) 기반의 관심지점 지도 생성하는 방법 및 장치에 관한 것이다.
본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 방법은 카메라부가 관심지점이 촬영된 적어도 2개의 이미지를 획득하는 단계와, 자세정보획득부가 상기 이미지를 촬영한 카메라 프레임의 6자유도 자세정보를 획득하는 단계와, 관심지점검출부가 각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득하는 단계와, 위치정보생성부가 카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성하는 단계와, 그래프생성부가 생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성하는 단계를 포함한다.
본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 장치는 관심지점이 촬영된 적어도 2개의 이미지를 획득하는 카메라부와, 이미지를 획득한 카메라 프레임의 6자유도 자세정보를 획득하는 자세정보획득부와, 각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득하는 관심지점검출부와, 카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성하는 위치정보생성부와, 생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성하는 그래프생성부를 포함한다.
본 발명에 의하면 이미지에서 적어도 하나의 객체가 검출 및 인식이 되면 이웃 객체들이 검출 및 인식이 수행되지 않더라도 사전에 생성해놓은 공가시성 그래프 구조를 통해 모든 객체 검출 및 인식이 가능하다.
즉, 사용자의 위치로부터 획득 가능한 관심지점의 인식을 관심지점간의 검출 및 매칭과는 상관 없이 강인하고 효율적으로 수행하고, 뿐만아니라 관심지점 정보의 운용을 효과적으로 수행할 수 있다.
도 1은 본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 방법을 설명하는 흐름도이다.
도 2는 본 발명의 실시예에 따른 관심지점검출부의 동작방법을 설명하는 흐름도이다.
도 3은 본 발명의 실시예에 따른 위치정보생성부의 동작방법을 설명하는 흐름도이다.
도 4는 본 발명의 실시예에 따른 그래프생성부의 동작방법을 설명하는 흐름도이다.
도 5는 본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 장치의 구성도이다.
도 6에서 도 11은 본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 방법을 설명하는 예시도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 "기술한다"라는 용어는 관심지점에 대한 태그정보들을 열거하고 기록한다는 의미로 정의한다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 방법을 설명하는 흐름도이다.
도 1을 참조하면, 공가시성 그래프 기반의 관심지점 지도 생성 방법은 먼저 카메라부가 관심지점이 촬영된 적어도 2개의 이미지를 획득한다(S101). 카메라부가 직접 촬영하거나 기저장된 이미지를 획득할 수 있다.
자세정보획득부가 이미지를 촬영한 카메라 프레임의 6자유도 자세정보를 획득한다(S103). 자세정보획득부는 SfM(Structure from Motion) 또는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 활용하여 3차원 공간상에 상기 이미지를 촬영한 카메라 프레임들의 6자유도 자세정보를 획득할 수 있다.
관심지점검출부가 각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득한다(S105). 관심지점검출부의 구체적인 동작방법은 도 2에서 설명한다.
위치정보생성부가 카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성한다(S107). 위치정보생성부의 구체적인 동작방법은 도 3에서 설명한다.
그래프생성부가 생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성한다(S109). 그래프생성부의 구체적인 동작방법은 도 4에서 설명한다.
도 2는 본 발명의 실시예에 따른 관심지점검출부의 동작방법을 설명하는 흐름도이다.
도 2를 참조하면, 관심지점검출부가 이미지에서 관심지점의 2차원 이미지 좌표를 검출한다(S201). 관심지점검출부가 검출된 관심지점의 태그정보를 기술한다(S203). 관심지점검출부가 관심지점 태그정보를 저장부에서 검색한다(S205). 관심지점검출부(130)는 입력받은 이미지에서 관심지점을 검출하고, 관심지점의 매칭정보를 획득하기 위해 관심지점 태그정보를 검색 및 기술할 수 있다. 이때 관심지점 태그정보는 관심지점 고유번호, 이름, 지번, 특징기술자 중 적어도 하나일 수 있다.
관심지점검출부가 태그정보가 이미 존재하는 태그인지 판단하고(S207), 이미 존재하는 태그이면 관심지점의 매칭정보를 저장부에 추가하여 갱신하고(S209), 존재하지 않는 태그이면 새로운 관심지점의 태그정보와 매칭정보를 저장부에 저장한다(S211). 이때 매칭정보는 관심지점이 검출된 이미지를 촬영한 카메라 프레임 ID와 해당 이미지에서 검출된 관심지점의 2차원 이미지 좌표를 포함한다.
도 3은 본 발명의 실시예에 따른 위치정보생성부의 동작방법을 설명하는 흐름도이다.
도 3을 참조하면, 위치정보생성부가 카메라 프레임 ID와 관심지점의 2차원 이미지 좌표정보의 데이터를 취합한다(S301). 위치정보생성부는 3차원 위치를 재구성하고자 하는 관심지점의 매칭정보로부터 해당 관심지점이 관찰된 이미지의 카메라 프레임 ID와 2차원 위치정보 쌍 리스트를 획득한다. 예컨대, 위치정보생성부는 각 이미지에서 검출된 관심지점의 이미지 좌표 정보와 해당 이미지의 카메라 프레임 ID를 리스트에서 순서대로 쌍을 이루어 정보를 획득한다.
위치정보생성부가 카메라 프레임의 ID와 6자유도 프레임 자세 정보의 데이터를 취합한다(S303). 위치정보생성부는 수집한 카메라 프레임 ID 및 관심지점의 이미지 좌표 정보 쌍 리스트 중에서 카메라 프레임 ID와 대응하는 자세정보획득부로 획득한 6자유도 자세 정보를 함께 취합할 수 있다.
위치정보생성부가 취합한 데이터에 기초하여 삼각측량법을 통해 관심지점의 3차원 위치정보를 획득한다(S305). 위치정보생성부가 획득한 카메라 프레임의 ID, 카메라 프레임의 6자유도 자세, 그리고 카메라가 촬영한 이미지에 존재하는 관심지점의 2차원 위치 정보 매칭쌍 정보를 활용하여 삼각측량법으로 관심지점의 3차원 위치정보를 획득할 수 있다. 삼각측량법은 전통적인 방법인 DLT (Direct Linear Transformation) 방법으로 1차 생성이 가능하고 그다음 2차적으로 최적화를 통해 획득이 가능하다. DLT방법을 활용한 초기 위치 정보 획득은 다음과 같다. 서로 같은 관심지점을 관찰하는 프레임 아이디 {i, j, k}가 있을 때 이미지에서 관심지점의 2차원 좌표 정보를
Figure pat00001
(여기서
Figure pat00002
,
Figure pat00003
는 카메라 프레임) 라고 하고 프레임의 자세 정보를
Figure pat00004
(여기서
Figure pat00005
, K는 intrinsic camera matrix, R은 3x3 rotation matrix, t는 3x1 translation matrix)로 정의할 수 있다. 그렇다면 다음의 A 매트릭스를 구성할 수 있다.
Figure pat00006
여기서 T는 transpose matrix를 의미하며 각
Figure pat00007
는 P 매트릭스의 n번째 행을 의미한다. 위 매트릭스 A를 AX=0 의 해를 SVD(Singular Value Decomposition)을 활용하여 획득한다. 그렇게 획득한
Figure pat00008
가 관심지점의 초기 위치가 된다.
획득한 관심지점의 3차원 초기 위치 X를 다음의 수식으로 최적화를 수행할 수 있다.
Figure pat00009
, 여기서 ρ 는 최적화를 도와주는 커널이다.
위치정보생성부에서 관심지점의 3차원 위치를 계산하는 방법은 삼각측량법에 한정하는 것은 아니고 이외에 depth parameterization 등의 방식으로도 위치정보를 재구성할 수 있다.
도 4는 본 발명의 실시예에 따른 그래프생성부의 동작방법을 설명하는 흐름도이다.
도 4를 참조하면, 그래프생성부가 관심지점의 3차원 위치정보와 태그정보에 기초하여 그래프 정점을 생성한다(S401). 상기 그래프 정점은 각 관심지점의 위치정보와 태그정보를 포함한다.
그래프생성부가 생성된 그래프 정점들간의 공가시성 여부를 판단한다(S403). 그래프생성부는 관심지점 매칭 정보를 활용하여 관심지점들의 공가시성 여부를 판단할 수 있다. 공가시성 여부를 판단할 수 있는 예시로서 그래프생성부는 관심지점 매칭정보 테이블에서 임의의 한 관심지점이 관측된 카메라 프레임의 ID의 리스트가 저장되어 있기 때문에, 임의의 두 관심지점의 카메라 프레임 ID 리스트로부터 같은 ID를 갖는 카메라 프레임들의 ID를 검출할 수 있다. 즉, 임의의 두 관심지점의 카메라 프레임 ID 리스트에서 같은 카메라 프레임의 ID의 수가 하나 이상이라면 공가시성 여부가 존재한다고 판단될 수 있다. 그래프생성부가 공가시성 여부 판단 결과에 따라 그래프 정점에 간선을 연결한다(S405). 그래프생성부는 임의의 두 관심지점의 정점에서 공가시성 여부가 존재할 경우 간선이 연결되며 간선의 가중치로는 함께 관찰된 카메라 프레임의 수가 될 수 있다.
그래프생성부가 그래프 정점에 연결된 간선을 필터링한다(S407). 그래프생성부는 생성된 그래프에서 공가시율이 일정 문턱치값 이하여서 충분한 공가시 정보를 제공하지 않거나, 불필요한 간선 연결을 임의로 제거하기 위해 간선정보는 필터링 될 수 있다.
도 5는 본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 장치의 구성도이다.
도 5를 참조하면, 관심지점 지도 생성 장치(100)는 카메라부(110), 자세정보획득부(120), 관심지점추출부(130), 위치정보생성부(140), 그래프생성부(150), 제어부(160), 통신부(170), 저장부(180)로 구성된다.
카메라부(110)는 관심지점이 촬영된 적어도 2개의 이미지를 획득한다.
자세정보획득부(120)는 획득한 카메라 프레임의 6자유도 자세정보를 획득한다. 자세정보획득부(120)는 SfM(Structure from Motion) 또는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 활용하여 3차원 공간상에 카메라 프레임들의 6자유도 자세정보를 획득할 수 있다. 이때 카메라 센서뿐만 아니라 LiDAR 센서, 깊이 센서, IMU 센서 등 다른 센서들과 융합하여 카메라 프레임들의 6자유도 자세정보를 획득할 수 있다.
관심지점검출부(130)는 각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득한다. 관심지점검출부(130)는 입력받은 이미지에서 관심지점을 검출하고, 관심지점의 매칭정보를 획득하기 위해 관심지점 태그정보를 검색 및 기술할 수 있다. 이때 관심지점 태그정보는 관심지점 고유번호, 이름, 지번, 특징기술자 중 적어도 하나일 수 있다. 관심지점 태그정보 할당은 사용자의 상호작용으로 이루어질 수 있고, 상기 특징기술자는 특징 기술 검출 알고리즘을 활용할 수 있다.
관심지점검출부(130)는 관심지점의 2차원 이미지 좌표를 검출하고, 검출된 관심지점의 태그 정보를 기술한다. 관심지점검출부(130)는 관심지점의 태그정보를 저장부에서 검색하여 태그정보가 이미 존재하는 태그인지 판단하고, 이미 존재하는 태그이면 관심지점의 매칭정보를 저장부에 추가하여 갱신하고, 존재하지 않는 태그이면 새로운 관심지점의 태그정보와 매칭정보를 저장부에 저장한다. 즉, 관심지점검출부(130)는 저장부에 이미 존재하는 중복된 태그 정보의 경우 새롭게 추가하지 않고, 관심지점 매칭 테이블 정보에 관찰된 카메라 프레임 ID 및 그 이미지에서 검출된 관심지점의 2차원 이미지 좌표 정보가 대응하여 추가로 저장된다. 관심지점 태그정보와 매칭정보는 각 테이블에서 관심지점 ID로 연동되어 있으며, 이는 하나의 예시로서 다른 방식으로 관리할 수 있다.
관심지점검출부(130)는 관심지점 태그정보 테이블 예시와 같이 저장부에 등록되는 관심지점은 ID가 할당되며, 이름, 위치, 업종, 특징기술자 중 적어도 하나의 태그가 할당된다.
아래 표 1은 관심지점 태그정보 테이블 예시이다.
관심지점
ID/태그		 이름 위치 업종 특징기술자
1 업체A 서초동 카페 -
2 업체B 반포동 PC방 -
3 업체C 삼성동 식당 -
아래 표 2는 관심지점 매칭정보 테이블 예시이다.
관심지점
ID/태그		 관찰된 카메라
프레임 ID		 각 이미지에서 검출된 관심지점
이미지 좌표(u,v)
1 {1, 10, 50} {(100,500), (200,400), (350), 250)}
2 {10, 50, 75, 100} {(300,153), (320, 250), (420, 220), (200, 189)}
3 {100, 120, 150} {(60,122), (300,212), (326, 152)}
위치정보생성부(140)는 카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성한다.
그래프생성부(150)는 생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성한다.
제어부(160)는 관심지점 지도 생성 장치의 각 구성을 제어한다. 통신부(170)는 통신모듈을 탑재하여 외부기기와 유무선 통신을 할 수 있다. 저장부(180)는 관심지점의 태그정보와 매칭정보를 저장한다.
도 6에서 도 11은 본 발명의 실시예에 따른 공가시성 그래프 기반의 관심지점 지도 생성 방법을 설명하는 예시도이다.
도 6을 참조하면, 자세정보획득부의 수행 결과에 대한 예시도이다. 자세정보획득부로 획득한 i번째부터 i+4번째까지의 카메라 프레임들의 6자유도 자세정보 T를 3차원 공간 상에 위치시켜놓은 예시도이다. 이때,
Figure pat00010
이며
Figure pat00011
은 회전행렬,
Figure pat00012
은 이동행렬을 의미한다. 도 6은 6자유도 자세 정보를 획득한 pinhole카메라로 촬영된 카메라 프레임을 예로 들었으나 이에 대해 한정하는 것은 아니고 다른 이미지 모델 적용이 가능하다.
도 7을 참조하면, 관심지점검출부의 수행 결과에 대한 예시도이다. 각 카메라 프레임에 대하여 카메라 프레임이 촬영한 이미지에서 관심지점의 2차원 이미지 좌표를 검출하고, 검출된 관심지점에 대하여 태그정보가 할당이 되어 있으며, 매칭정보를 통해 1, 2, 3과 같은 관심지점 번호가 예를 위해 출력되어 있는 모습을 도시한다.
도 8을 참조하면, 위치정보생성부로부터 관심지점의 3차원 재구성에 대한 예시도이다. 재구성된 관심지점의 3차원 위치는 자신이 관찰되는 각 카메라 프레임의 이미지로 재투영되었을 때 대응하는 관심지점의 2차원 이미지 좌표 위치가 되도록 계산된다.
도 9는 그래프생성부의 간선 필터링 방법을 도시하며, 도 10은 동시에 임의의 관심지점을 관찰하는 프레임의 수가 1개 이하일 경우 공가시성 정보에 의하여 정점 2와 4를 연결하는 간선과 3과 4를 연결하는 간선이 제거되는 것을 도시한다. 도 11은 본 발명에 의해 생성된 공가시성 그래프 기반의 관심지점 지도를 건물 이미지에 증강한 모습으로 복잡한 업체의 정보도 그래프 구조로 용이하게 관리되고 출력될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 관심지점 지도 생성 장치 110; 카메라부
120; 자세정보획득부 130; 관심지점추출부
140; 위치정보생성부 150; 그래프생성부
160; 제어부 170; 통신부
180; 저장부

Claims (5)

  1. 공가시성 그래프 기반의 관심지점 지도 생성 방법에 있어서,
    (a) 카메라부가 관심지점이 촬영된 적어도 2개의 이미지를 획득하는 단계;
    (b) 자세정보획득부가 상기 이미지를 촬영한 카메라 프레임의 6자유도 자세정보를 획득하는 단계;
    (c) 관심지점검출부가 각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득하는 단계;
    (d) 위치정보생성부가 카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성하는 단계; 및
    (e) 그래프생성부가 생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성하는 단계를 포함하는 공가시성 그래프 기반의 관심지점 지도 생성 방법.
  2. 제1항에 있어서,
    상기 (c) 단계에 있어서,
    (c-1) 관심지점검출부가 관심지점의 2차원 이미지 좌표를 검출하는 단계;
    (c-2) 관심지점검출부가 검출된 관심지점의 태그정보를 기술하는 단계;
    (c-3) 관심지점검출부가 관심지점의 2차원 이미지 좌표 및 관심지점이 관측된 카메라 프레임 ID를 기초로 하여 매칭정보를 기술하는 단계;
    (c-4) 관심지점검출부가 관심지점의 태그정보를 저장부에서 검색하는 단계; 및
    (c-5) 관심지점검출부가 태그정보가 이미 존재하는 태그이면 관심지점의 매칭정보를 저장부에 추가하여 갱신하고, 존재하지 않는 태그이면 새로운 관심지점의 태그정보와 매칭정보를 저장부에 저장하는 단계를 포함하는 공가시성 그래프 기반의 관심지점 지도 생성 방법.
  3. 제1항에 있어서,
    상기 (d) 단계에 있어서,
    (d-1) 위치정보생성부가 카메라 프레임 ID와 관심지점의 2차원 이미지 좌표정보의 데이터를 취합하는 단계;
    (d-2) 위치정보생성부가 카메라 프레임 ID 및 카메라 프레임의 6자유도 자세 정보 데이터를 취합하는 단계; 및
    (d-3) 위치정보생성부가 취합한 데이터에 기초하여 삼각측량법을 통해 관심지점의 3차원 위치정보를 획득하는 단계를 포함하는 공가시성 그래프 기반의 관심지점 지도 생성 방법.
  4. 제1항에 있어서,
    상기 (e) 단계에 있어서,
    (e-1) 그래프생성부가 관심지점의 3차원 위치정보와 태그정보에 기초하여 그래프 정점을 생성하는 단계;
    (e-2) 그래프생성부가 생성된 그래프 정점들간의 공가시성 여부를 판단하는 단계;
    (e-3) 그래프생성부가 공가시성 여부 판단 결과에 따라 그래프 정점에 간선을 연결하는 단계; 및
    (e-4) 그래프생성부가 그래프 정점에 연결된 간선을 필터링하는 단계를 포함하는 공가시성 그래프 기반의 관심지점 지도 생성 방법.
  5. 그래프 구조로 연결된 관심지점에 대한 공가시성 지도 생성 장치에 있어서,
    관심지점이 촬영된 적어도 2개의 이미지를 획득하는 카메라부;
    상기 이미지를 촬영한 카메라 프레임의 6자유도 자세정보를 획득하는 자세정보획득부;
    각각의 이미지들로부터 동일한 관심지점을 검출하고 매칭정보를 획득하는 관심지점검출부;
    카메라 프레임의 6자유도 자세정보와 관심지점의 매칭정보에 기초하여 관심지점의 3차원 위치정보를 생성하는 위치정보생성부; 및
    생성된 관심지점의 3차원 위치정보와 관심지점의 매칭정보에 기초하여 관심지점간의 공가시성 그래프를 생성하는 그래프생성부를 포함하는 공가시성 그래프 기반의 관심지점 지도 생성 장치.

KR1020210094845A 2021-07-20 2021-07-20 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치 KR20230013851A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210094845A KR20230013851A (ko) 2021-07-20 2021-07-20 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210094845A KR20230013851A (ko) 2021-07-20 2021-07-20 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230013851A true KR20230013851A (ko) 2023-01-27

Family

ID=85101631

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210094845A KR20230013851A (ko) 2021-07-20 2021-07-20 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230013851A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153802A1 (ko) 2022-02-14 2023-08-17 주식회사 엘지에너지솔루션 전극 연결용 필름 권취장치, 권취방법 및 전극 롤

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023153802A1 (ko) 2022-02-14 2023-08-17 주식회사 엘지에너지솔루션 전극 연결용 필름 권취장치, 권취방법 및 전극 롤

Similar Documents

Publication Publication Date Title
JP6144826B2 (ja) データベース作成のための対話型および自動的３ｄオブジェクト走査方法
KR102480362B1 (ko) 클라우드 기반 증강 현실
JP2023175052A (ja) ３次元空間内の姿勢推定
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
JP6406345B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
WO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2018526698A (ja) ローカライゼーション・エリア記述ファイルのプライバシ機密クエリ
JP5631086B2 (ja) 情報処理装置及びその制御方法、プログラム
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
JP2008304268A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN106570482B (zh) 人体动作识别方法及装置
JP2016110210A (ja) 変化検出装置、変化検出方法、および、変化検出プログラム
JP4761670B2 (ja) 動立体モデル生成装置及び方法
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
JP4283816B2 (ja) 三次元環境情報取得装置，三次元環境情報取得方法及びその方法を実現したプログラムを格納した記録媒体
KR20230013851A (ko) 공가시성 그래프 기반의 관심지점 지도 생성 방법 및 장치
CN111771227B (zh) 用于识别三维物体的方法、系统、电子装置和存储介质
KR101039298B1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
JP2001167276A (ja) 撮影装置
JP2005250692A (ja) 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
US11410398B2 (en) Augmenting live images of a scene for occlusion
JP2015005220A (ja) 情報表示装置及び情報表示方法
JP6840968B2 (ja) 形状推定方法、形状推定装置および形状推定プログラム
KR20190055632A (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
JP7029486B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application