KR20190114652A - Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 - Google Patents

Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 Download PDF

Info

Publication number
KR20190114652A
KR20190114652A KR1020180037686A KR20180037686A KR20190114652A KR 20190114652 A KR20190114652 A KR 20190114652A KR 1020180037686 A KR1020180037686 A KR 1020180037686A KR 20180037686 A KR20180037686 A KR 20180037686A KR 20190114652 A KR20190114652 A KR 20190114652A
Authority
KR
South Korea
Prior art keywords
information
grid
keyframe
slam
feature matching
Prior art date
Application number
KR1020180037686A
Other languages
English (en)
Other versions
KR102557049B1 (ko
Inventor
방준성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180037686A priority Critical patent/KR102557049B1/ko
Priority to US16/370,550 priority patent/US10970874B2/en
Publication of KR20190114652A publication Critical patent/KR20190114652A/ko
Application granted granted Critical
Publication of KR102557049B1 publication Critical patent/KR102557049B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 SLAM 기반 카메라 이미지 특징 매칭 방법 및 장치에 대한 것으로, 보다 상세하게는 GPS 정보 등이 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하고, 라벨된 키프레임에 기초하여 한정된 유망 키프레임들(Promising Keyframes)을 수신하며, 그리드 가중치를 적용하여 이미지 특징을 매칭하여 특징 매칭 성능 및 속도를 향상시키는 방법 및 장치에 관한 것이다.

Description

SLAM 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 {Image Feature Matching Method and System Using The Labeled Keyframes In SLAM-Based Camera Tracking}
본 발명은 SLAM 기반 카메라 추적에서 라벨된 키프레임을 생성하고 이를 이용한 이미지 특징 매칭 방법에 대한 것이다. 보다 상세하게는, 공간 맵 구축 과정의 이미지 키프레임들(Keyframes)과 카메라 영상 이미지의 특징을 비교하여 카메라 포즈(Camera Pose)를 계산하는 방법에 대한 것이다.
SLAM(Simultaneous Localization And Mapping) 기반 카메라 추적은 카메라로 입력되는 영상 이미지에 근거하여 카메라의 위치나 방향 정보를 포함하는 카메라 포즈(Camera Pose)를 계산하는 기술이다. 이를 Visual SLAM (vSLAM)이라고도 한다.
카메라 영상을 이용하는 SLAM 기술에서 예전에는 확장칼만필터 방식으로 3차원 포인트 클라우드(Point Cloud)의 공간 맵을 구축하면서 카메라 포즈를 계산하기도 하였으나, 이 방식은 많은 연산량을 필요로 하기 때문에 최근에는 공간 맵 구축 과정에서 생성한 키프레임들(Keyframes)을 이용하여 카메라 영상 이미지와 특징(예: 특징점(Keypoint), 특징선 등) 매칭(Feature Matching)을 통해 카메라 포즈를 계산한다. 특징점의 경우 ORB(Oriented FAST and Rotation BRIEF) 등의 특징기술자(Feature Descriptor)에 의해 선별되는데, 특징기술자에 따라 이미지 내의 특징점이 달라질 수 있다.
SLAM 기반 카메라 추적에서는 카메라 입력 영상 이미지들 중 일부를 키프레임(Keyframe)으로 저장하면서 공간 맵을 구축한다. 키프레임들을 갖는 공간 맵이 구축된 이후, 키프레임들 중에서 사용자 단말의 카메라 입력 영상 이미지와 특징 비교를 위한 키프레임을 선택하고 이 키프레임과 영상 이미지의 관계를 이용하여 카메라 위치와 방향을 포함하는 카메라 포즈를 계산한다.
SLAM(Simultaneous Localization And Mapping) 기반 카메라 추적 기술은 증강현실(AR: Augmented Reality) 어플리케이션 개발에 필수적이다. 3차원 가상 객체를 현실 공간 상에 적절히 배치하기 위해서는 스마트폰 등의 사용자 단말의 카메라 시점 또는 스마트글래스 등을 착용한 사용자의 시점을 실시간으로 추적하고 있어야 한다. 카메라 시점에 대한 추적 기술은 AR 콘텐츠 몰입에 직접적인 영향을 주므로 SLAM 기반 카메라 추적은 정확하고 안정적으로 동작해야 한다.
AR 어플리케이션 개발을 위한 기술이 초기 성장 단계에 있는 만큼, 현재에는 소규모 특정 지역을 중심으로 키프레임들을 갖는 3차원 포인트 클라우드 공간 맵을 구축하여 사용하나, 향후 AR은 대규모 공간이나 여러 지역의 다른 공간들을 대상으로 콘텐츠가 개발될 것이다. 대규모 또는 다중 공간에서의 공간 맵 구축 과정에서 키프레임들이 사용자 단말이나 하나 이상의 서버(혹은 클라우드 서버)에 저장된다고 할 때, 컴퓨터가 이미지 상의 차이를 쉽게 식별하기 어려운 매우 많은 수의 유사 키프레임들이 있을 수 있다. 그 다수의 유사 키프레임들로 인해 키프레임 선택(Keyframe Selection)을 위한 검색 시간 지연이 증가하거나 부적절한 키프레임을 선택하여 이미지 특징 매칭 오류율이 증가할 수 있다. 이는 카메라 추적 실패 빈도를 높이는 요인이 되어, AR 어플리케이션 실행 중지 및 콘텐츠 몰입감 저하에 직접적인 영향을 준다.
따라서 대규모 또는 다중 공간에 적용되는 카메라 포즈 계산을 위해 검색 시간을 줄이고 부적절한 키프레임 선택으로 인한 이미지 특징 매칭 오류를 감소시켜 카메라 추적이 원활하게 동작 하도록 하는 기술의 개발이 요구되는 실정이다.
본 발명은 SLAM 기반 카메라 추적에서 특징 매칭 오류율을 낮추는 방법을 제안한다.
본 발명은 키프레임과 카메라 영상 이미지의 특징 매칭에서 이미지 특징 매칭의 정확도 및 안정성을 높이는 방법을 제안한다.
본 발명은 일시적이거나 간헐적인 컴퓨팅 부하에도 어플리케이션의 실행 속도 보장을 할 수 있는 방법을 제안한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따라, SLAM 기반 카메라 이미지 특징 매칭 방법을 제공할 수 있다. 이 때, SLAM 기반 카메라 이미지 특징 매칭 방법은 입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하는 단계, 라벨된 키프레임을 AR 앱 서버에 송신하는 단계, AR 앱 서버로부터 라벨된 키프레임에 기초하여 한정된 유망 키프레임들(Promising Keyframes)을 수신하는 단계, 유망 키프레임들과 상기 입력 받은 영상의 이미지 특징을 매칭(Feature Matching)하는 단계를 통해 수행될 수 있다. 또한 제 1 정보에는 그리드 가중치(Weighted Grid) 정보가 포함되어 있으며, 그리드 가중치를 적용하여 이미지 특징을 매칭할 수 있다.
본 발명의 일 실시예에 따라, SLAM 기반 카메라 이미지 특징 매칭을 수행하는 단말을 제공할 수 있다. 이 때, SLAM 기반 카메라 이미지 특징 매칭을 수행하는 단말은 송수신부, 송수신부를 제어하는 프로세서를 포함할 수 있다. 프로세서는 입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하고, 라벨된 키프레임을 AR 앱 서버에 송신하고, AR 앱 서버로부터 라벨된 키프레임에 기초하여 한정된 유망 키프레임들(Promising Keyframes)을 수신하고, 유망 키프레임들과 입력 받은 영상의 이미지 특징을 매칭(Feature Matching)하되, 제 1 정보에는 그리드 가중치(Weighted Grid) 정보가 포함되어 있으며, 그리드 가중치를 적용하여 이미지 특징을 매칭하는 것을 수행할 수 있다.
또한, 다음의 실시 예들은 SLAM 기반 카메라 이미지 특징 매칭 방법 및 장치에 공통으로 적용될 수 있다.
본 발명의 일 실시예에 따라, 라벨된 키프레임에 포함된 제 1 정보에는 특징기술자(Feature Descriptor)가 포함되고, 제 1 정보에는 사용자 태그(UTag) 및 객체 태그(OTag) 정보 중 어느 하나 이상을 더 포함할 수 있다.
본 발명의 일 실시예에 따라, AR 앱 서버는 키프레임 필터링(Keyframe filtering)을 통해 유망 키프레임을 생성하고, GPS 정보, 제 1 정보에 포함된 사용자 태그(UTag) 및 제 1 정보에 포함된 객체 태그(OTag) 정보 중 어느 하나를 기준으로 유망 키프레임을 생성할 수 있다.
본 발명의 일 실시예에 따라, 단말에서 수신한 GPS 정보의 위도 및 경도와 상기 라벨된 키프레임의 상기 GPS 정보의 위도 및 경도의 차이를 계산하는 단계, 계산된 차이가 임계값보다 작은 라벨된 키프레임들만 선별하여 이미지 특징 매칭에 사용하는 단계를 더 포함하여 SLAM 기반 카메라 이미지 특징 매칭을 할 수 있다.
본 발명의 일 실시예에 따라, 라벨된 키프레임을 생성하는 단계에서 주변 서버 및 데이터베이스와 정보 교환 하여 GPS 정보를 파악하는 단계, 파악된 GPS 정보를 라벨된 키프레임에 추가하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따라, 그리드 가중치 적용을 위한 그리드 셀 크기는 영상 해상도 크기에 따를 수 있다.
본 발명의 일 실시예에 따라, 제 1 오브젝트에 그리드 가중치를 적용하되, 제 1 오브젝트는 영상 내 물체의 이동 정보 및 물체의 변화 정보들을 결합하여 선택될 수 있다.
본 발명의 일 실시예에 따라, 상기 입력 영상에 지정된 AR 마커(Marker)를 이용하여 그리드 가중치의 값을 조정할 수 있다.
본 발명의 일 실시예에 따라, 카메라 영상 입력 이미지에서의 키포인트들과 키프레임에서의 키포인트들 사이의 대응 관계에 그리드 가중치를 적용하여 대응된 점들 사이의 거리를 계산하는 단계, 계산된 거리가 임계값 보다 작은 경우 특징 매칭되었다고 판단하고 카메라 포즈를 계산하는 단계를 더 포함하여 SLAM 기반 카메라 이미지 특징 매칭할 수 있다.
본 발명의 일 실시예에 따라, 그리드 가중치를 적용한 1개 이상의 그리드 마스크를 사용할 수 있다.
본 발명의 일 실시예에 따라, 소프트 그리드 마스크(Soft Grid Mask)를 사용하여 고속으로 이미지 특징을 매칭할 수 있다.
또한 본 발명의 일 실시예에 따라, 소프트 그리드 마스크(Soft Grid Mask)를 적용하는 경우, 가중치 주변 구역에 대한 값을 0으로 설정하는 단계, 그리드 내의 가중치 값을 보정하여 이미지 특징 매칭하는 단계를 포함하여 SLAM 기반 카메라 이미지 특징 매칭을 할 수 있다.
본 발명의 일 실시예에 따라, 단말은 그리드 가중치를 적용한 1개 이상의 그리드 마스크를 사용하여 SLAM 기반 카메라 이미지 특징 매칭을 할 수 있다.
본 발명의 일 실시예에 따라, 단말은 소프트 그리드 마스크(Soft Grid Mask)를 사용하여 고속으로 이미지를 특징 매칭할 수 있다.
본 발명의 일 실시예에 따라, SLAM 기반 카메라 이미지 특징 매칭을 수행하는 시스템을 제공할 수 있다. SLAM 기반 카메라 이미지 특징 매칭 시스템은 입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하는 단말, AR 맵 및 키프레임의 정보가 저장된 AR 앱 서버 및 알고리즘을 이용하여 상기 사용자 정보를 유추하고 영상 이미지 내의 객체를 인식하는 컴퓨팅 서버로 구성될 수 있다.
또한 일 실시예로, 제 1 정보에는 그리드 가중치(Weighted Grid) 정보가 포함되어 있으며, 이미지 특징 매칭(Feature Matching)을 할 때 그리드 가중치를 적용할 수 있다.
본 발명의 일 실시예에 따라, AR 앱 서버는 키프레임 필터링(Keyframe filtering)을 통해 상기 키프레임을 생성하고, GPS 정보, 제 1 정보에 포함된 사용자 태그(UTag) 및 제 1 정보에 포함된 객체 태그(OTag) 정보 중 어느 하나를 기준으로 상기 유망 키프레임을 생성할 수 있다.
본 발명의 일 실시예에 따라, 컴퓨팅 서버는 주변 서버 및 데이터베이스와 정보 교환 하여 GPS 정보를 파악하고, 파악된 GPS 정보를 상기 라벨된 키프레임에 추가할 수 있다.
본 발명에 의하면 SLAM 기반 카메라 추적에서 특징 매칭 오류율을 낮추는 방법을 제공할 수 있다.
본 발명에 의하면 키프레임과 카메라 영상 이미지의 특징 매칭에서 이미지 특징 매칭의 정확도 및 안정성을 높이는 방법을 제공할 수 있다.
본 발명은 일시적이거나 간헐적인 컴퓨팅 부하에도 어플리케이션의 실행 속도 보장을 할 수 있는 방법을 제공할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 AR 서비스를 위한 네트워크 구조를 나타낸 도면이다.
도 2는 라벨된 키프레임을 사용한 AR 서비스를 위한 네트워크 구조를 나타낸 도면이다.
도 3은 라벨된 키프레임의 부가 정보 필드 형식을 나타낸다.
도 4는 라벨된 키프레임을 이용하여 카메라 포즈를 계산하는 과정을 도식화한 도면이다.
도 5는 OTag에 의해 키프레임 필터링 한 후의 이미지 특징 매칭 시험 결과에 대한 도면이다.
도 6는 OTag에 의해 키프레임 필터링한 후의 이미지 특징 매칭 실험 결과에 대한 도면이다.
도 7은 그리드를 이용하여 이미지 특징 매칭을 하는 방법에 대한 도면이다.
도 8는 가중치된 그리드(Weighted Grid) 정보를 이용하여 라벨된 키프레임과 영상 이미지 사이의 특징 매칭을 하는 방법에 대한 도면이다.
도 9는 가중치된 그리드(Weighted Grid) 정보를 이용하여 라벨된 키프레임과 영상 이미지 사이의 특징 매칭을 하는 방법에 대한 도면이다.
도 10은 AR 마커(Marker)를 이용하여 가중치가 조정된 그리드 마스크에 대한 도면이다.
도 11은 다중 계층으로 적용된 그리드 마스크에 대한 도면이다.
도 12은 소프트 그리드 마스크에 대한 도면이다.
도 13은 소프트 그리드 마스크의 적용 방식에 대한 도면이다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
본 발명은 대규모 혹은 다중 공간을 묘사하는 매우 많은 수의 키프레임들이 사용자 단말이나 하나 이상의 서버(혹은 클라우드 서버)에 저장되어 있을 때, 그 다수의 유사 키프레임들로 인해 발생하는 이미지 특징 매칭 오류와 키프레임 선택(Keyframe Selection)을 위한 검색 시간 지연을 줄이고자 GPS 정보, 객체 태그, 사용자 태그 등을 포함하는 라벨된 키프레임들(Labeled Keyframes)을 생성하고 이를 이용하여 한정된 수의 유망 키프레임들(Promising Keyframes)로 특징 매칭 성능을 높이고자 하는 방법과, 키프레임 또는 라벨된 키프레임과 카메라 영상 이미지의 특징(특징점, 특징선 등) 매칭에서 그리드(Grid)로 이미지의 구역에 가중치를 두어 환경 변화나 동적 객체에 의한 일시적 특징보다 불변하는 객체 중심으로 이미지 특징을 비교하여 매칭의 안정성을 높이고자 하는 방법과, 3D 그래픽 등에 의한 이미지 처리(Image Processing)에 의한 일시적 부하에도 안정적인 어플리케이션 실행 속도(예: FPS)를 보장하기 위해 이미지 특징을 비교할 때 중점적으로 비교해야 하는 대상을 구별하는 그리드 마스크(Grid Mask) 기반의 이미지 특징 매칭 방법 을 기술한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 1은 AR 서비스를 위한 네트워크 구조를 나타낸 도면이다.
도 1을 참조하면, AR 서비스를 위한 네트워크 활용을 위한 SLAM 기반 카메라 이미지 특징 매칭 시스템에는 단말(110), AR 앱 서버(120), 컴퓨팅 서버(130) 등이 있으며, Database(140) 및 AR Database(150) 등이 요구된다.
이 때 단말(110)은 카메라가 달린 기기와 AR 어플리케이션을 수행할 수 있는 기기 등이 해당될 수 있다. 단말(110)은 Map generation Engine으로부터 AR 맵과 키프레임을 생성할 수 있다. 단말(110)은 송수신부, 송수신부를 제어하는 프로세서를 포함한다. 프로세서는 입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하고, 라벨된 키프레임을 AR 앱 서버에 송신하며, 상기 AR 앱 서버로부터 상기 라벨된 키프레임에 기초하여 한정된 유망 키프레임들(Promising Keyframes)을 수신하고, 유망 키프레임들과 상기 입력 받은 영상의 이미지 특징을 매칭(Feature Matching)하는 등의 역할을 수행한다.
제 1 정보는 GPS외에 입력 받은 영상의 정보, 영상 처리와 관련된 정보 및 키프레임 필터링(Keyframe filtering)에 관련된 정보 등이 포함될 수 있다. 일 예로, 제 1 정보는 키프레임 해상도, 특징기술자(Feature Descriptor), 사용자 태그(서비스 정보 등), 객체 태그 정보 등이 해당될 수 있다. 다만, 제 1정보는 상술한 정보에 한정되지 않으며, 영상 처리 및 키프레임 필터링에 관련된 정보들이 포함될 수 있다.
AR 어플리케이션을 개발 및 실행함에 있어서, 3차원 가상 객체를 현실 공간의 적합한 위치에 실시간으로 배치하려면 카메라 포즈, 즉, 카메라의 위치 및 방향에 대한 정보가 필요하다. SLAM 기반의 카메라 추적 기술은 공간을 인식하여 카메라 포즈를 계산한다.
카메라가 장착된 기기(110)에 SLAM 기반으로 공간을 인식하기 위해 AR 맵 생성 엔진(AR Map Generation Engine)을 설치하여 카메라 영상으로부터 얻어진 특징으로 공간 맵을 구축할 수 있다. 기존에 알려진 SLAM 기반 카메라 추적 방법들은 영상 이미지 내의 특징점을 이용한다. 현실 공간에 대한 카메라 영상 이미지들로부터 3차원 포인트 클라우드(Point Cloud) 맵을 구축하며, 그 AR 맵이 구축되는 과정과 동시에 카메라 추적에서 현재 카메라 영상 이미지와의 비교 대상인 키프레임들(Keyframes)을 생성한다.
도 2는 라벨된 키프레임을 사용한 AR 서비스를 위한 네트워크 구조를 나타낸 도면이다.
이때, 라벨된 키프레임은 키프레임 형식에 부가적인 정보가 추가된 경우를 지칭할 수 있다. 또한, 본 발명에서는 키프레임 형식에 부가적인 정보를 추가하고 이를 이용하기 위한 방법을 개시하고 있는바, 라벨된 키프레임(Labeled Keyframe)이라 지칭한다. 또한, 동일한 의미를 가진 프레임에 대해서는 동일하게 적용될 수 있으며, 상술한 명칭에 제한되지 않는다. 다만, 하기에서는 설명의 편의를 위해 라벨된 키프레임으로 지칭한다.
이때, 라벨된 키프레임에 저장되는 부가적인 정보들은 GPS 정보 및 제 1 정보가 될 수 있다.
GPS 정보는 공간 맵 구축 과정에서 생성 되므로 1차적인 라벨로 라벨된 키프레임에 부가될 수 있다.
라벨된 키프레임들이 생성되는 과정에서, 기기(210)에서 GPS 정보를 수신하고 있다면 그 라벨된 키프레임에 정보를 추가한다. 수신하고 있지 않다면 해당 필드를 비워둔다.
이 때 개발자, 서비스 제공자 등은 그 라벨된 키프레임에 별도의 태그를 추가할 수 있다. 추가되는 태그는 서비스명 등과 같이 용도에 따라 구분될 수 있고 영상 이미지 내의 객체 정보에 따라 구분될 수 있다.
구축된 AR 맵과 라벨된 키프레임들을 네트워크를 통해 AR 앱 서버(230) 또는 클라우드 서버(220)로 전달한다. 본 발명 내에서 AR 앱 서버(230)는 어플리케이션 서버(230)와 같으며 또는 클라우드 서버(220)에 포함될 수 있다. AR 앱 서버(230)는 일반적으로 고성능 컴퓨팅 자원을 갖는다. 서버에 저장되어 있는 키프레임들의 경우, 이미지 내 객체 인식 알고리즘 등을 이용하여 객체 분류 태그를 자동적으로 키프레임에 포함시킬 수 있다.
AR 앱 서버(230)에서 GPS 정보가 포함되지 않은 키프레임들은 컴퓨팅 서버(240)로 전달될 수 있다. 이 컴퓨팅 서버(240)는 현재 공개된 영상 처리, 딥러닝 등의 알고리즘을 이용하여 GPS 정보를 유추하고 영상 이미지 내의 객체를 인식할 수도 있다. 이 과정에서 주변 서버나 데이터베이스와 자동적 또는 수동적으로 정보를 교환하고 갱신할 수 있다. 또는 AR 어플리케이션 사용자 단말(210)에서 카메라 추적이 이루어지는 과정에서 사용되는 GPS 정보가 라벨된 키프레임에 추가될 수 있다. 서버에서 자동 라벨링 될 경우, 라벨링 및 라벨된 키프레임 선택을 위해 필요한 부가적인 검색 시간이 줄어든다.
특히 GPS 정보는 최근 멀티미디어 서버에 기계학습, 딥러닝 기술을 이용하여 이미지들 간 유사도를 분석하여 유추할 수 있기 때문에, GPS 정보는 서버(240) 또는 클라우드 서버(220)에서 자동적으로 생성될 수 있다.
또한 제 1 정보 중 서비스 제공자, 개발자 등에 의해 추가된 태그로 특정 공간 상에서의 키프레임들이 우선적으로 이용될 수 있으며(예: 건물의 층, 호실 등에 따라 다른 태그), 이미지 상의 객체들에 대한 태그로 공통의 객체들이 있는 키프레임이 우선적으로 이용될 수 있다.
라벨된 키프레임에 GPS 정보가 추가된 경우, AR 어플리케이션이 사용자 단말(210)에서 실행되어 카메라 추적이 시도될 때 사용자의 위치 정보가 어플리케이션 서버(230)에 전송될 수 있다.
사용자 단말의 GPS 정보가 AR 앱 서버(230)에 전달된 경우, 유사한 키프레임들 중에서 GPS 정보를 이용하여 유망 키프레임들을 한정하여 공간 맵과 함께 사용자 단말(210)에 전송하거나 그 서버(230) 내에서 처리될 수 있도록 한다.
사용자 단말(210)에서 GPS 수신은 가능하지만 AR 앱 서버(230)에 전달되지 않은 경우, 공간 맵과 라벨된 키프레임들을 이용하여 카메라 추적을 하는 프로세스는 사용자 단말(210)에서 이루어지게 된다.
사용자 단말(210)에 GPS 정보가 없는 경우, 라벨된 키프레임 내의 다른 태그 정보를 이용하여 유망 키프레임들을 한정할 수 있다. 이는 뒷부분에 설명한다.
도 3은 라벨된 키프레임의 부가 정보 필드 형식을 나타낸다.
도 3과 같이 GPS 정보 및 제 1정보를 포함하여 라벨된 키프레임을 생성할 수 있다.
KFL-ID는 라벨된 키프레임(Keyframe)의 식별번호이다.
Res는 키프레임의 해상도이며, 고해상도 키프레임을 이용하여 저해상도 키프레임을 생성할 수 있다.
Des는 특징기술자(Feature Descriptor)로, 이미지 내의 특징, 즉, 특징점, 특징선 등을 추출하는데 사용되는 방식이다. 같은 영상 이미지라 하더라도 특징기술자에 따라 다른 특징으로 식별되기 때문에 키프레임 선택을 위해 특징기술자 정보가 고려되어야 한다. 사용자 단말에서의 카메라 영상 이미지에서 사용된 특징기술자와 키프레임의 특징기술자가 일치하지 않을 경우, AR 앱 서버에서는 사용자 단말에 일치하는 특징기술자로 구축된 공간 맵과 키포인트(특징점, Keypoint) 등을 포함하는 키프레임들을 전달해준다.
WGrid-N는 라벨된 키프레임 내의 중요 구역을 중심으로 이미지 특징 매칭을 하기 위한 가중치된 그리드(Weighted Grid)가 사용되었는지의 유무를 나타낸다. 4bits로 표현될 때, 0000은 가중치된 그리드가 사용되지 않았음을, 0001~1110은 가중치된 그리드에 사용되는 그리드 계층 개수를 나타낸다.
Grid-XY는 그리드의 행과 열 정보(예: 4x4, 8x6 등)이다. 사용자 단말에서 사용될 그리드와 키프레임 그리드가 일치하지 않을 경우, 별도의 변환 알고리즘을 이용하여 변환할 수 있다. 일 예로, 키프레임에서 선택된 그리드 영역을 모두 포함하는 영역으로 확장하여 변환하는 것이 안정적이다.
Grid-ID는 그리드의 식별번호이다.
Grid-V는 그리드 내의 가중치 값을 나타낸다. 예를 들어, 4x4 그리드에서 벡터로 1111 1122 1122 1111은 우측 중간에 2x2 영역이 상대적으로 1만큼 더 가중치가 적용되었음을 나타낸다.
GPS는 GPS의 위도와 경도 정보를 쌍으로 포함한다.
Rank는 사용자 단말들로부터 자주 참조된 키프레임을 표현하는데 사용한다. 0~9 또는 00~99와 같은 형식으로 표현될 수 있으며, 사용자들이 카메라 추적을 시작하는 일반적인 위치에서의 키프레임을 사용하기 위해 이 값에 따라 키프레임을 순서화시켜 이용할 수 있다.
bOD는 2bit을 이용하여 실내(Indoor)인 경우는 01, 실외(Outdoor)인 경우는 10로 표기한다. 00은 저장값 없음이며, 11은 별도의 목적으로 사용된다.
UTag_Byte와 UTag_Len은 사용자에 의해 추가된 라벨들의 개수와 바이트 길이이다. 라벨된 키프레임에는 다수의 태그 정보가 붙을 수 있어서 전체 길이를 표시하는 지시자(Indicator)가 필요하다.
UTag1에서 UTagM은 사용자에 의해 추가된 태그에 의한 라벨이다.
OTag_Byte와 OTag_Len은 이미지에서 인식된 객체들의 개수와 이를 라벨로 표현하기 위한 바이트 길이이다.
OTag1에서 OTagM은 객체 인식 알고리즘에 의해 추가된 태그에 의한 라벨이다.
OTag1_t, ..., OTagM_t는 각 OTag1에서 OTagM의 객체 태그의 만료 기한이다. 이 시간을 넘기면 해당 객체 태그는 유효하지 않으며, 처리과정에서 삭제될 수 있다.
KFL-TM은 끝을 나타내는 지시자이다.
도 4는 라벨된 키프레임을 이용하여 카메라 포즈를 계산하는 과정을 도식화한 도면이다.
AR 앱 서버(또는 클라우드 서버)(420)는 필요에 의해 사용될 수 있다.
즉, 사용자 단말(410)에 필요한 데이터가 있을 경우, 이를 이용하여 이미지 특징 매칭으로 카메라 포즈를 계산할 수 있다. 사용자 단말(410)에서 AR 앱 서버로 특징기술자, GPS 정보 및 대표 영상 이미지 등의 정보가 전달되면, AR 앱 서버(420)에서는 이를 이용하여 유망 키프레임들(Promising Keyframes)을 사용자 단말(410)로 전달한다.
앞서 설명한 것과 같이, 기본적으로 라벨된 키프레임의 GPS 정보를 이용할 수 있다. 사용자 단말(410)의 GPS 정보 또는 카메라 영상 이미지 내에 GPS 정보가 있을 경우, 사용자 단말(410)에서의 위도 GPSu,x와 경도 GPSu,y를 GPS 정보가 있는 라벨된 키프레임의 위도 GPSkf,x와 경도 GPSkf,y와 비교하여 떨어진 거리가 DGPS보다 작은 라벨된 키프레임들만 선별하여 사용한다. 조건은 (GPSu,x-GPSkf,x)2 + (GPSu,y-GPSkf,y)2 < DGPS 2로 표현될 수 있으며, 사용자 단말(410)에서 획득 가능한 영상 이미지들과 비교 가능한 키프레임들이다.
AR 앱 서버(420)에서 키프레임 필터링에 사용되는 UTag 는 서비스 제공자, 개발자 등에 의해 추가된 태그로, 서비스 등의 목적에 의해 설정될 수 있다. 예를 들어, OOO AR App에서 사용되는 키프레임, 건물 5층에서 사용되는 키프레임 등에 대한 식별을 위한 문자열 또는 임의의 문자와 숫자 등으로 조합된 태그를 사용할 수 있다.
OTag는 이미지 내에 포함된 객체를 인식하여 추가된 태그 이다. 서비스 제공자, 개발자 등에 의해 수동으로 추가될 수 있지만(Classification), 기계학습이나 딥러닝 등이 가능한 컴퓨팅 서버에서 객체 인식 알고리즘 등을 실행하여 자동적으로 식별되어 OTag가 추가될 수 있다.
AR 앱 서버(420)나 컴퓨팅 서버는 고성능의 자원을 가지고 있을 뿐 아니라, 유휴 시간을 활용하여 다수의 사용자에 의해 사용될 수 있는 자원(키프레임 등)을 관리하여 시스템 운영에 합리적이다. 단, 객체 태그는 만료 타임스탬프인 OTag_t까지만 유효하다.
도 5는 OTag에 의해 키프레임 필터링 한 후의 이미지 특징 매칭 시험 결과에 대한 도면이다.
해당 실험은 다양한 장소에서 획득한 50개의 키프레임들을 대상으로 수행되었다. 본 실험에서는 특징점 추출과 매칭을 위해 ORB 특징기술자를 사용하였다.
도 5에서 (a)는 모든 키프레임을 대상으로 하여 이미지 특징 매칭을 통한 키프레임을 선택한 결과이고, (b)는 '컵'이라는 OTag가 있는 라벨된 키프레임 중에서 이미지 특징 매칭을 통한 키프레임을 선택한 결과이다.
(a)와 (b)에서 왼쪽의 이미지는 오른쪽에 있는 사용자 단말의 카메라 입력 영상 이미지에 대해 특징점이 가장 많이 매칭된 결과로 선택된 키프레임이다.
키프레임 선택(Keyframe Selection)이 사용자 단말에서 이루어질 경우, 서버와 통신하여 다운로드한 키프레임들을 포함하여 사용자 단말에 저장된 키프레임 중에서 검색한다. 키프레임 선택이 서버에서 이루어질 경우, 사용자 단말의 대표 영상 이미지를 서버에 전송하고 서버에서 키프레임 검색을 통해 키프레임을 선택을 한 뒤, 그 키프레임과 관련이 있는 키프레임들을 사용자 단말로 전송하여 사용자 단말의 현재 카메라 영상 이미지와 이미지 특징 매칭을 하여 키프레임을 선택한다. 오른쪽 이미지 하단에는 참조 대상군에 있는 키프레임들 중에서 특징점 매칭을 통해 가장 많은 매칭이 일어난 순으로 키프레임을 정렬하여 표시하였다. 특징점 개수에 따라 매칭 정도가 노란 막대 형태로 나타난 것을 볼 수 있다.
(a)에서 보면 많은 수의 유사 키프레임들이 있는데, 그 중 자동차가 있는 실외 환경에서의 키프레임들도 포함되어 있는 것을 볼 수 있다. 유사 키프레임들이 많아 카메라 포즈 계산을 위한 키프레임이 적절하지 않음을 확인할 수 있다. 카메라 영상 이미지 상에 물체들에 의해 특징점의 분포가 결정되는데, 그 특징점의 분포에 따라 매칭 오류가 발생할 수 있게 되는 것이다. 카메라 해상도를 높이면 더 정교한 특징점 추출과 비교가 가능하나, 이 경우 계산복잡도가 증가하여 높은 컴퓨팅 자원을 필요로 한다. 4K급 모니터 기술이 있음에도 불구하고 AR 게임 어플리케이션이 800x600 해상도 이상에서 실행시키는 데에도 많은 노력이 필요한 이유가 그 높은 계산복잡도에 있다. (a)의 경우에 비해, (b)에서 보면 '컵'이라는 OTag로 라벨된 키프레임들 중 일부를 필터링하여 적은 수의 키프레임들 중에서 특징점 매칭 과정을 통해 키프레임을 선택하므로 그 정확도가 높은 것을 볼 수 있다.
도 6는 OTag에 의해 키프레임 필터링한 후의 이미지 특징 매칭 실험 결과에 대한 도면이다.
(a)는 모든 키프레임 중에서 키프레임 선택한 후 얻은 결과이고, (b)는 '모니터'를 가르키는 OTag가 있는 라벨된 키프레임 중에서 키프레임 선택하여 이미지 특징 매칭한 결과이다.
이 경우 모니터에 특징점이 많이 분포되지 않아 키프레임 선택이 매우 어려운데, 모니터에 대한 OTag가 없는 라벨된 키프레임들을 제거하고 나니, 특징 매칭을 통한 키프레임 선택에서 적합한 키프레임을 찾는데 유리해짐을 확인할 수 있다. 즉, 특징점이 특정 구역에 몰려서 분포되어 있어서 이미지 식별이 어려운 경우에도 이미지 내의 객체들에 대한 태그는 유용하게 사용될 수 있다.
도 7 은 그리드를 이용하여 이미지 특징 매칭을 하는 방법에 대한 도면이다.
키프레임 이미지는 제 1 정보에 포함된 GridXY 정보(예: 4x4, 6x6, 8x10 등)에 따라 키프레임 내 그리드 구역을 나눈다. 도 7에서는 8x8의 그리드가 사용되었다. 영상 해상도의 크기에 따라 그리드 한 셀의 크기는 달라질 수 있다.
도 8 및 도 9는 가중치된 그리드(Weighted Grid) 정보를 이용하여 라벨된 키프레임과 영상 이미지 사이의 특징 매칭을 하는 방법에 대한 도면이다.
라벨된 키프레임 내에 포함된 가중치된 그리드(Weighted Grid) 정보를 이용하여 키프레임 선택 정확도를 높이거나 AR 앱 실행 시간 보장을 하며 키프레임 선택을 하는 것이 가능하다.
가중치된 특징(예: 특징점, 특징선, 특징객체 등)에 그리드를 쓰는 이유는 다양한 해상도에 대해 간단한 비트맵 형식으로 표현이 쉽고, 특징들의 분포를 알 수 있으며(예: 특징점이 한 곳에 몰려 있으면 특징 비교가 어려움), 유사한 패턴의 경우 병렬 처리가 가능할 수 있기 때문이다.
키프레임 또는 라벨된 키프레임과 카메라 영상 이미지의 특징(특징점(Keypoint), 특징선, 특징객체 등) 매칭에서 그리드(Grid)로 이미지 구역에 가중치를 두어 부분적으로 특징 매칭을 할 경우, 제 1 오브젝트에 그리드 가중치가 부여된다.
제 1 오브젝트는 이미지 특징 매칭에 있어 중요한 요소로 판단되는 특징이 있는 그리드 구역 또는 물체가 될 수 있다. 이 때 제 1 오브젝트는 영상 내 물체의 이동 정보 및 물체의 변화 정보들을 결합하여 선택될 수 있다. 보다 상세하게는 제 1 오브젝트는 이미지 전체의 중요한 특징이 되거나 환경 변화나 동적 객체에 의한 일시적 변화에 의해 영향을 받지 않는 특징을 중점적으로 매칭을 하는 것으로 한다. 이를 통해 매칭 정확도 및 안정성 향상이 가능하게 된다. 도 8에서는 쉽게 변하기 어려운 건물에 가중치가 부여되었다.
그리드 가중치는 서비스 제공자나 개발자에 의해 수동적으로 추가될 수 있으며, 컴퓨터에 의해 다수의 키프레임들의 비교나 객체 인식 등을 통해 자동적으로 부여될 수 있다.
도 8에서는 1에 대한 상대적인 가중치로 2를 사용하였지만, 다른 숫자로 표현될 수 있다. 그리드의 이 값에 따라 그리드 구역 내에서 검출된 특징점(또는 특징선, 특징객체 등)의 중요도가 표현된다.
도 8의 (a)의 경우, 그리드의 각 값이 1과 같다. 즉, 그리드를 사용하지 않는 경우와 같은 결과를 낸다. 이 경우에서, 카메라 영상 입력 이미지에서의 키포인트들과 키프레임에서의 키포인트들 사이의 대응 관계는 1개 단위로 셈한다. 도 9와 같이 대응된 점들 사이의 거리가 임계값 di보다 작은 경우, 특징 매칭으로 본다. 그 영상 이미지의 전체 특징점들의 수가 N이고 매칭된 특징점들의 수가 Nm일 때, 이들 사이의 비율이 특정값 이상이면, 즉 Nm/N > M이면 매칭되었다고 판단하고 카메라 포즈를 계산한다. M = 0.8일 때, 전체 특징점이 1000개 중에서 850개가 매칭되었다면, Nm / N = 850 / 1000 = 0.85로 카메라 추적을 위한 카메라 포즈를 계산한다.
도 8의 (b)의 경우, 그리드의 일부분의 값이 2로 설정되어 있다.
가중치가 2로 설정된 그리드 구역 에서, 카메라 영상 입력 이미지에서의 키포인트들과 키프레임에서의 키포인트들 사이의 대응 관계는 2개 단위로 셈한다. 마찬가지로, 도 9와 같이 대응된 점들 사이의 거리가 임계값 di보다 작은 경우, 특징 매칭으로 보는데, 점의 개수에 대해서만 2배 가중치를 취한다. 전체 특징점의 개수가 1000개인데(N = 1000), 이 중에서 1의 가중치 구역에 600개, 2의 가중치 구역에 400개가 있다면, 가중치된 그리드에서의 전체 특징점들의 수 N* = 600 + 2Х400 = 1400이다. 특징점들 중에서 1의 가중치 구역에서 420개, 2의 가중치 구역에서 360개가 매칭되었다고 하면, 가중치된 그리드에서의 매칭된 특징점들의 수 N*m = 440 + 2Х380 = 1200이다. M = 0.8일 때, N*m / N* = 1200 / 1400 = 0.86으로 카메라 추적을 위한 카메라 포즈를 계산한다(Nm / N = 780 / 1000 = 0.78 < M = 0.8 ). 즉, 카메라 영상 이미지 내에 방해 요소가 되는 객체가 새로 배치되었거나 동적 객체가 있을 때, 카메라 영상 일부가 일시적으로 가려졌을 때, 매칭이 되는 특징점의 개수가 현저히 떨어지며 카메라 추적이 실패할 수 있게 되는데, 그림의 (b)에서는 780개로 (a)에서의 800개보다 적은 매칭이 있지만, 주요 객체에 대한 특징 매칭으로 정상적으로 카메라 추적에 성공하게 된다.
가중치 구역의 값은 2 이외의 다른 값일 수 있다.
어떤 측면에서는 AR 어플리케이션에서 3차원 가상 객체를 겹치기 위한 목표 대상 객체 중심으로 특징 매칭을 하는 것으로 볼 수도 있다. 이렇게 함으로써 자연환경의 변화, 움직이는 객체 등에 의해 발생한 이미지 특징 보다 고정적인 물체에 그 가중치를 더함으로써 키포인트 매칭 정확도를 높일 수 있게 된다.
본 방법은 그리드 영역 내에서의 특징선, 특징객체의 경우로도 확장할 수 있다.
가중치된 그리드를 적용함에 있어서, 가중치된 그리드와 가중치되지 않은 그리드를 함께 일정 시간 단위로 반복적으로 사용할 수 있다. 가중치되지 않은 그리드를 일시적으로 확인함으로써 키프레임과 현재 카메라 영상 이미지 사이에 어느 정도의 차이가 있는지 확인 가능하고, 이를 통해 가중치된 그리드에서의 가중치 값이 조정 되게 할 수 있다.
도 10은 AR 마커(Marker)를 이용하여 가중치가 조정된 그리드 마스크에 대한 도면이다.
SLAM 기반의 카메라 추적에서 카메라 입력 영상에 지정된 AR 마커(Marker) 가 있을 경우 자동적으로 가중치를 두어 인식되도록 할 수 있다. AR 마커로 이미지 텍스쳐 등을 사용하는 것을 포함한다. AR 마커는 사용자 단말 또는 서버에 저장되어 있을 수 있다. AR 마커에 대한 그리드 구역은 사용자에 의해 수동으로 지정될 수도 있다. 고정적이고 평면 형태의 AR 마커에 가중치가 추가될 경우, 인식이 안정적일 수 있다.
도 11은 다중 계층으로 적용된 그리드 마스크에 대한 도면이다.
그리드 마스크는 다중 계층으로 계산 될 수 있다. L0 계층은 기본 가중치 값이다. L1, ... , Lt는 사용자가 지정한 또는 자동으로 지정된 객체를 중심으로 가중치가 적용된 그리드의 계층이다. L0와 다른 계층 Li같은 그리드 위치 v x,y 값의 최대값이 계산되어, 최종적으로 적용될 Grid Mask의 v x,y 값이 결정된다.
v x,y = max(v 0,x,y , v 1,x,y , ...v h,x,y )
예를 들면, 2개 계층이 있는(h=2) 도 10에서 그리드 마스크의 한 그리드 구역 v 4,3의 값은 v 4,3 = max(v 0,4,3, v 1,4,3, v 2,4,3) = max(1, 0, 3) = 3, 또 다른 그리드 구역 v 4,5의 값은 v 4,5 = max(v 0,4,5, v 1,4,5, v 2,4,5) = max(1, 2, 3) = 3과 같이 결정된다.
각 그리드 계층의 각 가중치는 사용자에 의해 또는 자동적으로 검출된 객체 중심으로 설정될 수 있다. 이러한 방식을 이용할 경우, 서버와의 통신을 통해 자동적으로 그리드 가중치 결정이 저장될 수도 있다.
도 12는 소프트 그리드 마스크에 대한 도면이다.
상기 그리드 방식은 AR 어플리케이션 실행 속도 보장에도 사용될 수 있다. 게임 등의 어플리케이션에서 최소 20 FPS 정도의 성능이 보장되어야 할 때, 카메라 영상 이미지 내의 많은 수의 특징(특징점, 특징선 등)은 많은 연산량을 필요로 하여 20 FPS 성능을 보장하지 못할 수 있다.
이 경우, 키프레임 또는 라벨된 키프레임과 카메라 영상 이미지 내의 일부 구역을 중점적으로 이미지 특징 매칭하면 안정적인 어플리케이션 실행 속도(예: FPS)를 보장하는 것이 가능하다. 중점적 비교 구역을 표현하기 위해, 비트 형태로 표현 가능한 그리드 마스크(Grid Mask) 정보를 키프레임과 함께 저장하여 사용한다.
이 때, 일부 구역의 선택 기준은 그리드 영역에서 가중치가 높은 구역을 중심으로만 특징 매칭이 이루어지도록 하여 중요도가 떨어지는 특징들에 대한 처리를 미뤄 빠른 계산 이 이루어지게 할 수 있다.
이 때, 소프트 그리드 마스크(Soft Grid Mask)는 부분적인 그리드에 대해서만 연산하는 변형된 그리드 마스크를 지칭할 수 있다. 또한 본 발명에서는 앞서 설명한 그리드 가중치가 적용된 그리드 마스크가 있는바, 이와 구별하기 위해 그리드 가중치가 적용된 그리드를 판단하여, 고속 이미지 특징 매칭이 가능하도록 부분적으로 그리드 마스크를 사용하는 것을 소프트 그리드 마스크로 지칭할 수 있다. 일 실시예로 소프트 그리드 마스크는 가중치가 있는 그리드 구역 주변의 일정 범위에 대해서 계산하는 형태, 가중치가 있는 그리드 구역만 계산하는 형태, 높은 값의 가중치가 있는 그리드 구역만 계산하는 형태 등으로 구현할 수 있다.
도 12의 (a)는 가중치가 있는 그리드 구역 주변의 일정 범위에 대해서 계산하는 소프트 그리드 마스크, 도 12의 (b)는 가중치가 있는 그리드 구역만 계산하는 소프트 그리드 마스크, 도 12의 (c)는 높은 값의 가중치가 있는 그리드 구역만 계산하는 소프트 그리드 마스크를 표현한 것이다.
도 13은 소프트 그리드 마스크의 적용 방식에 대한 도면이다.
소프트 그리드 마스크를 적용하기 위해, 가중치 주변 구역에 대해 값을 0으로 셋팅한다. 그 이후, 그리드 내의 가중치 값을 보정하기 위해 다음을 계산한다.
Δv = argmin v i,x,y (v 1 ,x,y , ..., v h,x,y ) - 1
v' x,y = max(v x,y - Δv, 0)
위의 수식을 통해, 소프트 그리드 마스크의 새 가중치 값인 v' x,y 의 값을 계산한다. 소프트 그리드 마스크를 이용하여 라벨된 키프레임과 카메라 입력 영상 이미지 사이의 특징 매칭을 하여 키프레임을 선택하고 이를 이용하여 카메라 포즈를 계산한다.
도 13 (a)는 가중치가 있는 그리드 구역 주변의 일정 범위에 대해서 계산하는 소프트 그리드 마스크의 가중치 값을 보정한 것, 도 13의 (b)는 가중치가 있는 그리드 구역만 계산하는 소프트 그리드 마스크의 가중치 값을 보정한 것, 도 13의 (c)는 높은 값의 가중치가 있는 그리드 구역만 계산하는 소프트 그리드 마스크의 가중치 값을 보정한 것을 표현한 것이다. 특히 도 13 (b)와 (c)에서는 상대적인 가중치 값이 제거되었으므로, 그 값만큼 제거된 소프트 그리드 마스크를 쓸 수 있다.
-

Claims (18)

  1. SLAM 기반 카메라 이미지 특징 매칭 방법에 있어서,
    입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하는 단계;
    상기 라벨된 키프레임을 AR 앱 서버에 송신하는 단계;
    상기 AR 앱 서버로부터 상기 라벨된 키프레임에 기초하여 한정된 유망 키프레임들(Promising Keyframes)을 수신하는 단계; 및
    상기 유망 키프레임들과 상기 입력 받은 영상의 이미지 특징을 매칭(Feature Matching)하는 단계;
    를 포함하되 제 1 정보에는 그리드 가중치(Weighted Grid) 정보가 포함되어 있으며, 그리드 가중치를 적용하여 이미지 특징을 매칭하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  2. 제 1항에 있어서
    상기 라벨된 키프레임에 포함된 상기 제 1 정보에는
    특징기술자(Feature Descriptor)가 포함되고,
    상기 제 1 정보에는 사용자 태그(UTag) 및 객체 태그(OTag) 정보 중 어느 하나 이상을 더 포함하는 것
    을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  3. 제 1항에 있어서
    상기 AR 앱 서버는 키프레임 필터링(Keyframe filtering)을 통해 상기 유망 키프레임을 생성하고,
    상기 GPS 정보, 상기 제 1 정보에 포함된 사용자 태그(UTag) 및 상기 제 1 정보에 포함된 객체 태그(OTag) 정보 중 어느 하나를 기준으로 상기 유망 키프레임을 생성하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  4. 제 1항에 있어서
    단말에서 수신한 GPS 정보의 위도 및 경도와 상기 라벨된 키프레임의 상기 GPS 정보의 위도 및 경도의 차이를 계산하는 단계; 및
    상기 계산된 차이가 임계값보다 작은 라벨된 키프레임들만 선별하여 이미지 특징 매칭에 사용하는 단계;
    를 더 포함하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  5. 제 1항에 있어서
    상기 라벨된 키프레임을 생성하는 단계에서
    주변 서버 및 데이터베이스와 정보 교환 하여 상기 GPS 정보를 파악하는 단계; 및
    파악된 상기 GPS 정보를 상기 라벨된 키프레임에 추가하는 단계;
    를 더 포함하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  6. 제 1항에 있어서
    상기 그리드 가중치 적용을 위한 그리드 셀 크기는
    영상 해상도 크기에 따른 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  7. 제 1항에 있어서
    제 1 오브젝트에 상기 그리드 가중치를 적용하되,
    상기 제 1 오브젝트는 영상 내 물체의 이동 정보 및 물체의 변화 정보들을 결합하여 선택되는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  8. 제 1항에 있어서
    상기 입력 영상에 지정된 AR 마커(Marker)를 이용하여 그리드 가중치의 값을 조정하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  9. 제 1항에 있어서
    카메라 영상 입력 이미지에서의 키포인트들과 키프레임에서의 키포인트들 사이의 대응 관계에 상기 그리드 가중치를 적용하여 대응된 점들 사이의 거리를 계산하는 단계; 및
    상기 계산된 거리가 임계값 보다 작은 경우 특징 매칭되었다고 판단하고 카메라 포즈를 계산하는 단계;
    를 더 포함하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  10. 제 1항에 있어서
    상기 그리드 가중치를 적용한 1개 이상의 그리드 마스크를 사용하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  11. 제 1항에 있어서
    소프트 그리드 마스크(Soft Grid Mask)를 사용하여 고속으로 이미지 특징을 매칭 하는 단계를 더 포함하는 것
    을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  12. 제 11항에 있어서
    상기 소프트 그리드 마스크(Soft Grid Mask)를 적용하는 경우,
    가중치 주변 구역에 대한 값을 0으로 설정하는 단계; 및
    그리드 내의 가중치 값을 보정하여 이미지 특징 매칭하는 단계;
    를 더 포함하는 것을 특징으로 하는 하는 SLAM 기반 카메라 이미지 특징 매칭 방법.
  13. SLAM 기반 카메라 이미지 특징 매칭을 수행하는 단말에 있어서,
    송수신부; 및
    송수신부를 제어하는 프로세서;
    를 포함하되,
    상기 프로세서는
    입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하고,
    상기 라벨된 키프레임을 AR 앱 서버에 송신하고,
    상기 AR 앱 서버로부터 상기 라벨된 키프레임에 기초하여 한정된 유망 키프레임들(Promising Keyframes)을 수신하고,
    상기 유망 키프레임들과 상기 입력 받은 영상의 이미지 특징을 매칭(Feature Matching)하되,
    제 1 정보에는 그리드 가중치(Weighted Grid) 정보가 포함되어 있으며, 그리드 가중치를 적용하여 이미지 특징을 매칭하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭을 수행하는 단말.
  14. 제 13항에 있어서
    상기 단말은
    상기 그리드 가중치를 적용한 1개 이상의 그리드 마스크를 사용하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭을 수행하는 단말.
  15. 제 13항에 있어서
    상기 단말은
    소프트 그리드 마스크(Soft Grid Mask)를 사용하여 고속으로 이미지를 특징 매칭하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭을 수행하는 단말.
  16. SLAM 기반 카메라 이미지 특징 매칭 시스템에 있어서,
    입력 받은 영상으로부터 GPS 정보 및 제 1 정보가 포함된 라벨된 키프레임(Labeled Keyframe)을 생성하는 단말;
    AR 맵 및 키프레임의 정보가 저장된 AR 앱 서버; 및
    알고리즘을 이용하여 상기 사용자 정보를 유추하고 영상 이미지 내의 객체를 인식하는 컴퓨팅 서버;
    를 포함하되
    제 1 정보에는 그리드 가중치(Weighted Grid) 정보가 포함되어 있으며, 이미지 특징 매칭(Feature Matching)을 할 때 상기 그리드 가중치를 적용하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 시스템.
  17. 제 16항에 있어서
    상기 AR 앱 서버는
    키프레임 필터링(Keyframe filtering)을 통해 상기 유망 키프레임을 생성하고,
    상기 GPS 정보, 제 1 정보에 포함된 사용자 태그(UTag) 및 제 1 정보에 포함된 객체 태그(OTag) 정보 중 어느 하나를 기준으로 상기 유망 키프레임을 생성하는 것을 특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 시스템.
  18. 제 16항에 있어서
    상기 컴퓨팅 서버는
    주변 서버 및 데이터베이스와 정보 교환 하여 상기 GPS 정보를 파악하고,
    파악된 상기 GPS 정보를 상기 라벨된 키프레임에 추가하는 것을
    특징으로 하는 SLAM 기반 카메라 이미지 특징 매칭 시스템.
KR1020180037686A 2018-03-30 2018-03-30 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치 KR102557049B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180037686A KR102557049B1 (ko) 2018-03-30 2018-03-30 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
US16/370,550 US10970874B2 (en) 2018-03-30 2019-03-29 Method and apparatus for performing image feature matching using labeled keyframes in SLAM-based camera tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180037686A KR102557049B1 (ko) 2018-03-30 2018-03-30 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190114652A true KR20190114652A (ko) 2019-10-10
KR102557049B1 KR102557049B1 (ko) 2023-07-19

Family

ID=68054561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180037686A KR102557049B1 (ko) 2018-03-30 2018-03-30 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치

Country Status (2)

Country Link
US (1) US10970874B2 (ko)
KR (1) KR102557049B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075619A (ko) * 2019-12-13 2021-06-23 주식회사 케이티 자율주행 로봇, 자율주행 로봇의 위치 추정 서버 및 이를 이용한 자율주행 로봇의 위치 추정 방법
WO2021125578A1 (ko) * 2019-12-16 2021-06-24 네이버랩스 주식회사 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2022119057A1 (ko) * 2020-12-02 2022-06-09 서울대학교산학협력단 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
CN111239763A (zh) * 2020-03-06 2020-06-05 广州视源电子科技股份有限公司 对象的定位方法、装置、存储介质和处理器
CN112416278B (zh) * 2020-11-10 2021-12-03 北京五八信息技术有限公司 一种屏幕共享方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320593A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Monocular visual slam with general and panorama camera movements
KR20160003731A (ko) * 2013-04-30 2016-01-11 퀄컴 인코포레이티드 Slam 맵들로부터의 광역 위치인식
KR20160068815A (ko) * 2013-10-04 2016-06-15 퀄컴 인코포레이티드 동적으로 구축된 환경 맵 데이터에 기초한 오브젝트 추적
US20160179830A1 (en) * 2014-12-19 2016-06-23 Qualcomm Incorporated Scalable 3d mapping system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634336B2 (en) 2005-12-08 2009-12-15 Electronics And Telecommunications Research Institute Localization system and method of mobile robot based on camera and landmarks
KR100834577B1 (ko) 2006-12-07 2008-06-02 한국전자통신연구원 스테레오 비전 처리를 통해 목표물 검색 및 추종 방법, 및이를 적용한 가정용 지능형 서비스 로봇 장치
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
BR112016018024A2 (pt) 2014-02-07 2017-08-08 Qualcomm Technologies Inc Reconhecimento de cena ao vivo que permite modificação de imagem dependente de cena antes de gravação ou exibição de imagem
KR101422084B1 (ko) 2014-05-16 2014-08-14 (주)나인정보시스템 배경 모델링을 사용하여 검지된 물체 영역 내 파티클 필터를 이용한 시점간 연계 추적 시스템 및 방법
US11051000B2 (en) * 2014-07-14 2021-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating cameras with non-overlapping views
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
KR101836811B1 (ko) 2016-05-09 2018-03-09 오드컨셉 주식회사 이미지 상호간의 매칭을 판단하는 방법, 장치 및 컴퓨터 프로그램
KR101917354B1 (ko) 2016-07-18 2018-11-09 단국대학교 천안캠퍼스 산학협력단 모바일 환경 객체 신뢰도 평가와 학습을 통한 융합 객체 추적 시스템 및 방법
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
US10546387B2 (en) * 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
WO2019111702A1 (ja) * 2017-12-05 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20190200154A1 (en) * 2017-12-21 2019-06-27 Facebook, Inc. Systems and methods for audio-based augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140320593A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Monocular visual slam with general and panorama camera movements
KR20160003731A (ko) * 2013-04-30 2016-01-11 퀄컴 인코포레이티드 Slam 맵들로부터의 광역 위치인식
KR20160068815A (ko) * 2013-10-04 2016-06-15 퀄컴 인코포레이티드 동적으로 구축된 환경 맵 데이터에 기초한 오브젝트 추적
US20160179830A1 (en) * 2014-12-19 2016-06-23 Qualcomm Incorporated Scalable 3d mapping system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075619A (ko) * 2019-12-13 2021-06-23 주식회사 케이티 자율주행 로봇, 자율주행 로봇의 위치 추정 서버 및 이를 이용한 자율주행 로봇의 위치 추정 방법
WO2021125578A1 (ko) * 2019-12-16 2021-06-24 네이버랩스 주식회사 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2022119057A1 (ko) * 2020-12-02 2022-06-09 서울대학교산학협력단 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법

Also Published As

Publication number Publication date
KR102557049B1 (ko) 2023-07-19
US10970874B2 (en) 2021-04-06
US20190304133A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
KR102557049B1 (ko) Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
CN108280477B (zh) 用于聚类图像的方法和装置
CN102194367B (zh) 信息处理设备、地图更新方法以及信息处理系统
CN108304835A (zh) 文字检测方法和装置
JP5563494B2 (ja) 対応参照画像検索装置及び方法、コンテンツ重畳装置、システム、及び方法、並びにコンピュータプログラム
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
EP3274964B1 (en) Automatic connection of images using visual features
CN103530649A (zh) 一种适用于移动终端的视觉搜索方法
CN111666922A (zh) 视频匹配方法、装置、计算机设备和存储介质
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
KR20220004009A (ko) 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체
CN111160307A (zh) 一种人脸识别方法及人脸识别打卡系统
US20220386071A1 (en) Road side positioning method and apparatus, device, and storage medium
US20210192781A1 (en) Position estimation apparatus, tracker, position estimation method, and program
WO2023087758A1 (zh) 定位方法、定位装置、计算机可读存储介质和计算机程序产品
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN113255354A (zh) 搜索意图识别方法、装置、服务器及存储介质
CN113255719A (zh) 目标检测方法、装置、电子设备及计算机可读存储介质
Jiang et al. Indoor localization with a signal tree
CN113190444B (zh) 一种测试方法、装置及存储介质
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN116958267A (zh) 位姿处理方法、装置、电子设备及存储介质
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right