KR101551237B1 - 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템 - Google Patents

직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템 Download PDF

Info

Publication number
KR101551237B1
KR101551237B1 KR1020140001932A KR20140001932A KR101551237B1 KR 101551237 B1 KR101551237 B1 KR 101551237B1 KR 1020140001932 A KR1020140001932 A KR 1020140001932A KR 20140001932 A KR20140001932 A KR 20140001932A KR 101551237 B1 KR101551237 B1 KR 101551237B1
Authority
KR
South Korea
Prior art keywords
image
input image
candidate
straight line
linear
Prior art date
Application number
KR1020140001932A
Other languages
English (en)
Other versions
KR20150081929A (ko
Inventor
서일홍
이진한
장국현
이세형
임종우
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140001932A priority Critical patent/KR101551237B1/ko
Publication of KR20150081929A publication Critical patent/KR20150081929A/ko
Application granted granted Critical
Publication of KR101551237B1 publication Critical patent/KR101551237B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템에 관한 것으로, 보다 구체적으로는 영상입력부가 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 단계; 직선성분추출부가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출하는 단계; 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 단계; 및 분석부가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 단계;를 포함한다.
이러한 구성에 의해, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상에 대하여 실외 장소에서 발생되는 자연광, 조명광 등의 다양한 밝기 변화에 상관없이 영상을 통해 실외 장소를 정확하게 인식할 수 있는 효과가 있다.

Description

직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템{Method and system for recognizing outdoor place based on straight line and geometric relation}
본 발명은 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템에 관한 것으로, 특히 외부 환경의 변화가 심한 실외 장소를 신속하고 용이하게 인식할 수 있는 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템에 관한 것이다.
영상 관련 기술이 급격히 발달함에 따라, 위치를 알고자 하는 장소를 촬영하여 생성된 영상을 분석하여 해당 장소에 대한 정보를 보다 신속하게 획득하여 장소 인식이 이루어지고 있는 추세이다.
특히, 이러한 영상 관련 기술이 적용되는 자율주행 시스템 또는 무인 차량 등은 주로 실내에서 구현되므로, 사용자에 의해 조명 또는 장애물 등이 조절되어, 비교적 큰 환경 변화 없이 안정적인 조건에서 영상 분석을 수행한다.
하지만, 상대적으로 실내가 아닌 실외 장소에서는 급격한 자연광 또는 조명 변화에 의해 밝기 변화가 심해짐에 따라, 자연광, 조명 등의 밝기 변화에 따른 다양한 변수가 존재하며, 사용자가 예상하지 못한 장애물 또는 이벤트 등이 발생할 가능성이 높아 영상 분석에 대한 정확도가 감소하고, 계산량이 급격히 증가하는 등의 문제점이 발생했다.
KR 10-2008-0104574 (로봇의 위치 검출방법, 전자부품연구원) 2008.10.24.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 실외 장소를 촬영한 영상 내 직선 정보와 영상간 기하관계를 이용하여 영상 내 실외 장소를 용이하고 신속하게 인식할 수 있는 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 방법은 영상입력부가 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 단계; 직선성분추출부가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출하는 단계; 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 단계; 및 분석부가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 단계;를 포함한다.
보다 바람직하게는 상기 입력 영상 내 픽셀을 윤곽선 픽셀 또는 비윤곽선 픽셀로 구분한 후, 구분된 윤곽선 픽셀을 검출하는 과정; 검출한 상기 윤곽선 픽셀이 동일직선상에 존재하는지 여부를 판단하여 기설정된 길이만큼 상기 윤곽선 픽셀을 각각 연결하여 복수 개의 제1 직선성분을 추출하는 과정; 및 상기 복수 개의 제1 직선성분에 대하여 순차적으로 각각의 제1 직선성분들간 거리 및 각도를 비교한 후, 각각 병합하여 복수 개의 제2 직선성분을 추출하는 과정;을 포함하는 직선성분추출부가 입력 영상으로부터 직선성분을 추출하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 입력 영상 내 윤곽선 픽셀이 검출 시, 검출된 윤곽선 픽셀을 중심으로 8방향 검색하여 검출된 상기 윤곽선 픽셀과 인접한 위치에 또 다른 윤곽선 픽셀이 존재하는지 여부를 검색하는 과정;을 더 포함할 수 있다.
보다 바람직하게는 추출된 상기 직선성분에 대한 디스크립터 벡터(Vocabulary Vector)를 연산하는 과정; 상기 디스크립터 벡터에 대응하는 어휘 트리(Vocabulary Tree)의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정; 및 점수를 부여받은 DB 영상을 부여 받은 점수의 내림차순으로 정렬한 후, 기설정된 개수만큼의 상위 랭크에 해당하는 DB 영상을 상기 데이터베이스로부터 수신하는 과정;을 포함하는 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여 적어도 하나의 후보 DB 영상을 수신하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 직선성분에 대하여 인접한 이웃 윤곽선 픽셀의 밝기 변화가 가장 큰 수직방향을 설정하는 과정; 설정된 수직방향에서 90도 시계방향 또는 90도 반시계방향으로 회전하여 수평방향을 설정하는 과정; 상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 하위지역을 설정하는 과정; 상기 하위지역으로부터 4 방향으로 밝기 변화값을 연산하는 과정; 및 상기 밝기 변화값에 대한 평균값 및 표준편차값을 연산하여 상기 직선성분의 직선특징을 나타내는 디스크립터 벡터(descriptor vector)를 획득하는 과정;을 포함하는 직선성분에 대한 디스크립터 벡터를 연산하는 과정을 포함할 수 있다.
보다 바람직하게는 상기 입력 영상의 직선 특징을 나타내는 디스크립터 벡터를 어휘트리 구조 내 최하위 노드에 맵핑하는 과정; 맵핑된 상기 최하위 노드에 인덱스를 부여하는 과정; 및 상기 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정; 을 포함하는 디스크립터 벡터에 대응하는 어휘 트리의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정을 포함할 수 있다.
특히, 상기 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하는 분석부가 상기 실외 장소를 인식하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 입력 영상과 적어도 하나의 후보 DB 영상간에 각각 서로 대응하는 직선 성분간의 오버랩(Overlap) 길이를 측정하여 상대적 모션을 연산하는 과정; 상기 입력 영상에 대응하여 유효한 상대적 모션을 가장 많이 갖는 DB 영상을 최종 DB 영상으로 선택하는 과정; 및 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 과정;을 포함하는 분석부가 상기 실외 장소를 인식하는 단계를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템은 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 영상입력부; 입력받은 영상으로부터 내부에 존재하는 적어도 하나의 직선성분을 추출하는 직선성분추출부; 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하고, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 질의부; 및 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 주 하나의 최종 DB 영상을 선택하고, 선택한 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 분석부;를 포함한다.
특히, 상기 입력 영상과 적어도 하나의 후보 DB 영상간 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 분석부를 포함할 수 있다.
본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상에 대하여 실외 장소에서 발생되는 자연광, 조명광 등의 다양한 밝기 변화에 상관없이 영상을 통해 실외 장소를 정확하게 인식할 수 있는 효과가 있다.
또한 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상 내 수 백개 내지 수 천개의 특징점을 검출하여 이를 분석하는 것이 아니라, 영상 내 직선성분을 검출한 후 이를 통해 영상분석을 수행함으로써, 점 기반 계산량에 비하여 계산량을 크게 감소시킬 수 있는 효과가 있다.
더불어, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 영상 내 사람 또는 주변 환경으로부터 다수의 불필요한 특징점이 검출되지 않아 영상 분석에 포함되지 않으므로 실외 장소 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 방법의 블록도이다.
도 3은 입력 영상에 대한 디스크립터 벡터를 연산하는 과정을 나타낸 도면이다.
도 4는 입력 영상 내 직선성분의 기하관계를 나타낸 도면이다.
도 5는 입력 영상과 후보 DB 영상간 서로 대응하는 직선 성분의 오버랩 길이를 나타낸 도면이다.
도 6은 기하관계에 따른 직선 성분의 위치를 나타낸 도면이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
이하, 도 1을 참조하여 본 발명에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템에 대하여 자세히 살펴보도록 한다.
도 1은 본 발명의 일 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 시스템(100)은 영상입력부(110), 직선성분추출부(130), 질의부(150) 및 분석부(170)를 포함한다.
영상입력부(110)는 카메라로부터 장소를 인식하고자 하는 실외 장소를 촬영한 영상을 입력받는다.
직선성분추출부(130)는 입력받은 영상으로부터 내부에 존재하는 적어도 하나의 직선성분을 추출한다.
질의부(150)는 입력 영상과 동일한 영상이 데이터베이스(190) 내 존재하는지 여부를 상기 데이터베이스(190)로 질의(Query)하고, 상기 데이터베이스(190)로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신한다.
분석부(170)는 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택한 최종 DB 영상에 기초하여 상기 실외 장소를 인식한다. 이러한 분석부(170)는 상기 입력 영상과 적어도 하나의 후보 DB 영상간 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석할 수 있다.
이하, 도 2를 참조하여 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법에 대하여 자세히 살펴보도록 한다.
도 2는 본 발명의 다른 실시 예에 따른 직선 및 기하관계 기반 실외 장소 인식 방법의 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법은 영상입력부(110)가 카메라로부터 장소를 인식하고자 하는 실외 장소를 촬영한 영상을 입력받는다(S210). 이때, 상기 영상입력부(110)는 상기 카메라가 아닌 별도의 입력장치를 통해 실외 장소가 포함된 영상만을 입력받아 장소인식에 사용할 수 있다.
이후, 직선성분추출부(130)가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출한다(S220). 이하, 입력 영상 내 적어도 하나의 직선성분을 추출하는 과정에 대하여 자세히 살펴보도록 한다.
먼저, 상기 입력 영상 내 모든 픽셀에 대하여 윤곽선 픽셀(edge-pixel) 또는 비윤곽선 픽셀(non-edge pixel)로 구분하고, 구분된 윤곽선 픽셀을 검출한다. 이때, 상기 윤곽선 픽셀과 비윤곽선 픽셀은 케니 에지 검출기(Canny edge detector)를 통해, 영상 안에서의 영역의 경계를 나타내는 특징을 영상 밝기의 불연속점으로 윤곽선에 해당하는 픽셀을 윤곽선 픽셀로 검출하고, 영상 밝기의 불연속점으로 윤곽선에 해당하지 않는 픽셀을 비윤곽선 픽셀로 검출할 수 있다.
이어서, 검출된 상기 윤곽선 픽셀이 동일직선(co-linearity)상에 존재하는지 여부를 판단하여 기설정된 길이만큼 상기 윤곽선 픽셀을 각각 연결하여 복수 개의 제1 직선성분을 추출한다. 이때, 상기 제 1 직선성분의 기설정된 길이는 상황에 따라 사용자에 의해 임의로 설정되거나 변경될 수 있다.
이후, 상기 복수 개의 제1 직선성분에 대하여 순차적으로 각각의 제1 직선성분들간 거리 및 각도를 비교한 후, 각각 병합하여 복수 개의 제2 직선성분을 추출한다.
더불어, 상기 입력 영상 내 윤곽선 픽셀이 검출 시, 검출된 윤곽선 픽셀을 중심으로 8방향 검색하여 검출된 상기 윤곽선 픽셀과 인접한 위치에 또 다른 윤곽선 픽셀이 존재하는지 여부를 검색한다.
예를 들어, 상기 입력 영상 내 한 점을 기준으로 시작하여 일정방향으로 진행하며, 이에 따라 윤곽선 픽셀을 검색한다. 이후, 첫 번째 윤곽선 픽셀이 검색되면, 8방향 검색을 통해 상기 첫 번째 윤곽선 픽셀과 바로 인접한 두 번째 윤곽선 픽셀을 검색하고, 상기 첫 번째 윤곽선 픽셀과 상기 두 번째 윤곽선 픽셀을 상호 연결한다. 이어서, 상기 두 번째 윤곽선 픽셀에서 8방향 검색을 통해 인접한 세 번째 윤곽선 픽셀을 검색한다.
이때, 상기 세 번째 윤곽선 픽셀이 상기 연결된 첫 번째 윤곽선 픽셀과 두 번째 윤곽선 픽셀과의 동직선성(co-linearity)을 만족하면, 상기 첫 번째 윤곽선 픽셀, 상기 두 번째 윤곽선 픽셀, 및 상기 세 번째 윤곽선 픽셀에 대하여 직선 적합(line fitting)을 수행하여 상기 입력 영상 내 제 1 직선성분을 추출한다.
이때, 상기 동직선성이란, 기존의 복수 개의 점 및 기존의 직선이 새로운 점 및 새로운 직선과 동일직선상에 존재하는 경우의 정도를 나타낸다. 이때, 검색된 새로운 윤곽선 픽셀과 기존에 연결된 윤곽선 픽셀간의 거리를 연산하고, 그 연산결과가 기설정된 거리 내 포함되면, 상기 새로운 윤곽선 픽셀은 기존의 연결된 윤곽선 픽셀과 연결할 수 있다. 또한, 상기 직선 적합이란, 복수 개의 점이 존재하는 경우에, 상기 복수 개의 점을 가장 잘 표현할 수 있는 하나의 직선을 추출하는 방법을 나타낸다.
이와 같이, 직선성분추출부(130)가 입력 영상 내 직선성분을 추출함에 따라, 질의부(150)가 상기 입력 영상과 동일한 영상이 데이터베이스(190) 내 존재하는지 여부를 상기 데이터베이스(190)로 질의하여, 상기 데이터베이스(190)로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신한다(S230).
이에 따라, 상기 질의부(150)가 상기 과정 S220을 통해 입력 영상으로부터 추출된 직선성분에 대하여 디스크립터 벡터(descriptor Vector)를 연산한다.
이하, 도 3을 참조하여 직선성분에 대한 디스크립터 벡터 연산과정에 대하여 보다 자세히 살펴보도록 한다.
도 3은 입력 영상에 대한 디스크립터 벡터를 연산하는 과정을 나타낸 도면이다.
도 3에 도시된 바와 같이, 상기 입력 영상으로부터 추출된 직선성분에 대하여 인접한 이웃 윤곽선 픽셀의 밝기 변화가 가장 큰 수직방향을 설정한다.
이어서, 설정된 수직방향에서 90도 시계방향 또는 90도 반시계방향으로 회전하여 수평방향을 설정한다.
이후, 상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 하위지역을 설정한다. 예를 들어, 상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 각각 r × r 크기의 하위지역 (sub-region)을 M(이때, 상기 M은 자연수이다.)개 설정한다. 따라서, 하나의 직선성분이 N 개의 픽셀로 이루어져 있다고 가정하면, 하나의 직선성분에 대하여 총 N × M 개의 하위지역이 설정될 수 있다.
이어서, 설정된 상기 하위지역으로부터 4 방향으로 밝기 변화값(Gradient Histogram)을 연산한다.
이후, 상기 하위지역에서 수평방향으로 상기 밝기 변화값에 대한 4차원 평균값 및 4차원 표준편차값을 연산하여 상기 직선성분의 직선특징을 나타내는 디스크립터 벡터를 획득한다. 결과적으로, (4 ＋ 4) × M 차원의 디스크립터 벡터를 획득할 수 있는데, 이때, 상기 M을 9로 설정하면, 총 (4 ＋ 4) × 9 = 72 차원의 디스크립터 벡터를 획득할 수 있다.
즉, 상기 입력 영상 내 추출된 모든 직선성분을 대상으로 디스크립터 벡터를 연산하여 획득한다.
이와 같이, 질의부(150)가 입력 영상 내 추출된 모든 직선성분에 대하여 디스크립터 벡터를 연산하면, 상기 디스크립터 벡터에 대응하는 어휘 트리(Vocabulary Tree)의 최하위 노드에 저장된 DB 영상에 점수를 부여한다.
이하에서는 어휘 트리의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정을 자세히 살펴보도록 한다. 먼저, 상기 입력 영상의 직선 특징을 나타내는 디스크립터 벡터를 어휘트리 구조 내 최하위 노드에 맵핑하고, 맵핑된 상기 최하위 노드에 인덱스(index)를 부여한 후, 상기 최하위 노드에 저장된 DB 영상에 점수를 부여할 수 있다.
이때, 상기 어휘 트리는 입력 영상으로부터 획득한 800만개의 디스크립터 벡터에 계층적 케이민즈 클러스터링 (Hierarchical k-means clustering)을 이용하여 72차원의 디스크립터 벡터의 특징공간을 양자화(quantization)하여 생성된다. 예를 들어, 본 발명에서는 가지수
Figure 112014001613022-pat00001
, 계층수
Figure 112014001613022-pat00002
을 이용하여 총
Figure 112014001613022-pat00003
개의 노드를 갖는 어휘 트리를 생성하고, 이 중에서 125,000개의 최하위노드(leaf node)를 이용하여 입력 영상을 표현할 수 있다.
이후, 연산한 디스크립터 벡터에 대하여 어휘 트리 구조를 이용하여 125,000개의 최하위 노드 중 하나의 최하위 노드로 맵핑한다. 즉, 입력 영상 내 존재하는 모든 직선성분에 대하여 디스크립터 벡터를 연산하고, 모든 디스크립터 벡터에 어휘 트리 구조를 이용하여 대응되는 최하위 노드에 인덱스(index)를 부여하면, 상기 입력 영상은 최하위 노드에 부여된 인덱스들의 집합으로 표현될 수 있다.
특히, 데이터베이스를 구축할 때에는 입력 영상에서 추출한 디스크립터 벡터를 어휘 트리 구조를 이용하여 대응되는 최하위 노드를 검색하고, 검색된 최하위 노드에 저장된 영상에 부여된 식별번호(ID)와 해당 디스크립터 벡터의 가중치를 리스트업 (list-up) 하는 인버티드 파일즈 메커니즘 (inverted files mechanism)을 활용할 수 있다.
또한 입력 영상과 동일하다고 예상되는 DB 영상이 존재하는지 여부를 질의(query)하는 과정에서는 상기 입력 영상에서 추출한 디스크립터 벡터를 어휘 트리 구조를 이용하여 대응되는 최하위 노드를 검색하고, 검색된 최하위 노드에 리스트업되어 있는 DB 영상에 점수를 부여하여, 데이터베이스에 기저장된 DB 영상 중 현재 입력 영상과 동일하다고 예상되는 DB 영상을 검색할 수 있다.
예를 들어, 입력 영상으로부터 추출된 디스크립터 벡터를 어휘 트리를 통해 양자화하면,
Figure 112014001613022-pat00004
의 최하위노드 인덱스를 가지고, 양자화된 디스크립터 벡터가
Figure 112014001613022-pat00005
로 정의될 수 있다. 또한, 상기 양자화된 디스크립터 벡터와 대응되는 양자화된 데이터베이스 벡터는
Figure 112014001613022-pat00006
로 정의될 수 있다. 특히, 상기 데이터베이스 벡터는 최하위 노드에 리스트 업되는 디스크립터 벡터의 가중치를 나타낸다. 또한, 이때 상기 ni는
Figure 112014001613022-pat00007
를 나타내고, 상기 mi는
Figure 112014001613022-pat00008
를 나타내며, 상기 wi는
Figure 112014001613022-pat00009
를 나타낸다.
이어서, 입력 영상으로부터 추출된 모든 디스크립터 벡터에 대하여 데이터베이스에 기저장되어 있는 DB 영상 j에 할당하고자 하는 점수 sj를 하기의 수학식 1을 통해 연산하여 부여할 수 있다.
[수학식 1]
Figure 112014001613022-pat00010
이후, 점수를 부여받은 DB 영상을 부여받은 점수의 내림차순으로 정렬한 후, 기설정된 개수만큼의 상위 랭크에 해당하는 DB 영상을 후보 DB 영상으로 선정하여 선정된 적어도 하나의 후보 DB 영상을 상기 데이터베이스(190)로부터 수신한다.
이에 따라, 분석부(170)가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식한다(S240). 이러한 상기 분석부(170)가 상기 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석할 수 있다.
즉, 본 발명에서 이용하는 어휘 트리는 영상에서 얻은 특징들의 시각적 유사성(appearance similarity)만을 고려하므로, 영상간의 기하관계를 검증하여, 매우 높은 인식 정확도를 얻을 수 있다. 이러한 효과를 기대하기 위해, 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(relative motion)을 추정하고, 추정된 상대적 모션을 이용하여 입력 영상과 후보 DB 영상 간 특징에 대한 대응관계를 계산한다. 즉, 입력 영상과 후보 DB 영상이 동일한 장소를 촬영하였다면 각 영상 내 상기 장소의 특징이 동일하게 검출되므로, 각 영상 내 특징값이 기설정된 임계값 보다 높으므로, 상기 입력 영상과 후보 DB 영상은 동일한 영상으로 판단할 수 있다.
이러한 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하여 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 과정에 대하여 보다 자세히 살펴보도록 한다.
먼저, 분석부(170)가 상기 입력 영상과 후보 DB 영상간에 각각 서로 대응하는 직선성분간의 오버랩(Overlap) 길이를 측정하고, 측정된 오버랩 길이가 최대가 되도록 하는 최적화 기법(optimization)을 이용하여 상대적 모션을 연산한다.
도 4는 입력 영상 내 직선성분의 기하관계를 나타낸 도면이다.
입력 영상(a)과 후보 DB 영상(b)이 존재하고, 상기 입력 영상(a)과 후보 DB 영상(b)간 상대적 모션(relative motion)이 주어진다고 가정한다. 도 4에 도시된 바와 같이, 각 영상에서 대응되는 직선성분을 l, l'으로 설정하면, 상기 두 직선성분 l, l' 사이의 등극선 기하(epipolar geometry)를 확인할 수 있다.
이때, l'e, l's 는 상기 입력 영상(a)의 직선성분 l의 끝점인 e, s 가 상기 후보 DB 영상(b)에서 정의되는 등극선(epipolar line)을 나타내고, e", s" 는 상기 입력 영상(a)의 직선성분 l의 끝점인 e, s 에 대한 상기 후보 DB 영상(b) 내 좌표를 나타내며, l'e, l's, l' 이 이루는 교점으로 정의되어, 하기의 수학식 2를 통해 연산될 수 있다.
[수학식 2]
Figure 112014001613022-pat00011
이때, 상기
Figure 112014001613022-pat00012
는 영상좌표계의 한점인
Figure 112014001613022-pat00013
의 3차원 동차좌표 (homogeneous coordinate) 표현을 나타내고, 상기
Figure 112014001613022-pat00014
는 기본 행렬(essential matrix)을 나타내며, 상기
Figure 112014001613022-pat00015
는 입력 영상과 후보 DB 영상 사이의 3차원 병진 벡터(translation vector)를 나타낸다. 또한, 상기
Figure 112014001613022-pat00016
은 상기 입력 영상과 후보 DB 영상간에 회전 행렬(rotation matrix, 3 × 3)을 나타내고, 교점인 상기 e", s"의 3차원 동차좌표
Figure 112014001613022-pat00017
는 하기의 수학식 3을 통해 연산할 수 있다.
[수학식 3]
Figure 112014001613022-pat00018
본 발명의 모든 직선성분은 디스크립터 벡터를 추출하는 과정에서 이웃하는 픽셀의 밝기변화가 가장 큰 수직방향
Figure 112014001613022-pat00019
로 설정하고, 상기 수직방향
Figure 112014001613022-pat00020
에서 90도 반시계방향 또는 시계방향으로 회전하여 수평방향
Figure 112014001613022-pat00021
을 설정하여, 입력 영상과 후보 DB 영상간에 상대적 모션이 작다고 가정할 때, 두 영상간 대응되는 직선성분들은 동일한 방향을 가지게 된다.
이에 따라, 발생가능한 직선성분 대응관계의 조합은 도 5를 통해 확인할 수 있다.
도 5는 입력 영상과 후보 DB 영상간 서로 대응하는 직선 성분의 오버랩 길이를 나타낸 도면이다.
도 5에 도시된 바와 같이, 발생가능한 직선성분의 대응관계의 조합은 총 6가지의 경우로 나타낼 수 있고, 오버랩 길이(overlap length)는 진한 부분 (a) 내지 (d) 또는 점선부분 (e), (f)로 설정된다.
이에 따라,
Figure 112014001613022-pat00022
0 인 경우에 오버랩 길이(overlap length)
Figure 112014001613022-pat00023
은 하기의 수학식 4를 통해 연산할 수 있다.
[수학식 4]
Figure 112014001613022-pat00024
즉, 입력 영상과 후보 DB 영상간의 직선성분들의 대응관계
Figure 112014001613022-pat00025
가 주어지면, 오버랩 길이
Figure 112014001613022-pat00026
는 입력 영상에서 i번째 직선성분의 후보 DB 영상에서의 오버랩 길이를 설정한다. 따라서, 입력 영상과 후보 DB 영상간 상대적 모션의 연산 시, 후보 DB 영상으로부터 추출된 직선성분이 입력 영상에서의 오버랩 길이
Figure 112014001613022-pat00027
를 동일한 방식으로 연산하고, 오버랩 길이의 최적화를 위한 비용 함수(cost function)를 하기의 수학식 5를 통해 연산할 수 있다.
[수학식 5]
Figure 112014001613022-pat00028
이때, 상기 li, l'i 는 직선성분의 영상에서의 길이를 나타내는데, 오버랩 길이를 상기 li, l'i 로 나누어 줌으로써, 오버랩 길이를 정규화하여 길이의 영향을 받지 않도록 한다. 또한 함수
Figure 112014001613022-pat00029
는 로버스트 손실 함수(robust loss function)로서, 하기의 수학식 6을 통해 연산된다.
[수학식 6]
Figure 112014001613022-pat00030
)
이후, 앞서 정의한 비용 함수를 최소화하여 입력 영상과 후보 DB 영상간 상대적 모션을 연산할 수 있다. 이때, 상기 비용 함수를 최소화하기 위해, 르벤버그 마쿼트 알고리즘(Levenberg Marquardt Algorithm)을 이용할 수 있으며, 그 결과로서 상기 입력 영상과 후보 DB 영상간에
Figure 112014001613022-pat00031
를 반환한다.
도 6은 기하관계에 따른 직선 성분의 위치를 나타낸 도면이다.
도 6에 도시된 바와 같이, 입력 영상과 후보 DB 영상 간 상대적 모션이 주어지는 경우에 상기 입력 영상의 직선성분이 상기 후보 DB 영상에서 위치해야 하는 지역을 확인할 수 있다.
본 발명에서는 지금까지 상술한 바와 같이, 상대적 모션 추정기법을 이용하여 입력 영상과 각각의 후보 DB 영상 사이의 상대적 모션을 연산하고, 도 6에 도시된 직선성분의 제약조건을 적용하여 영상 내 각 특징간의 대응관계를 연산할 수 있다.
이에 따라, 분석부(170)가 상기 입력 영상에 대응하여 유효한 상대적 모션을 가장 많이 갖는 후보 DB 영상을 최종 DB 영상으로 선택한다.
이어서, 선택된 최종 DB 영상을 통해 입력 영상에 해당하는 실외 장소를 인식한다.
또한, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상에 대하여 실외 장소에서 발생되는 자연광, 조명광 등의 다양한 밝기 변화에 상관없이 영상을 통해 실외 장소를 정확하게 인식할 수 있는 효과가 있다.
또한 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 실외 장소를 촬영한 영상 내 수 백개 내지 수 천개의 특징점을 검출하여 이를 분석하는 것이 아니라, 영상 내 직선성분을 검출한 후 이를 통해 영상분석을 수행함으로써, 점 기반 계산량에 비하여 계산량을 크게 감소시킬 수 있는 효과가 있다.
더불어, 본 발명의 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템은 영상 내 사람 또는 주변 환경으로부터 다수의 불필요한 특징점이 검출되지 않아 영상 분석에 포함되지 않으므로 실외 장소 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
110: 영상입력부 130: 직선성분추출부
150: 질의부 170: 분석부

Claims (10)

  1. 영상입력부가 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 단계;
    직선성분추출부가 입력 영상으로부터 상기 입력 영상의 내부에 존재하는 적어도 하나의 직선성분을 추출하는 단계;
    질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 단계; 및
    분석부가 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 단계;
    를 포함하되,
    상기 분석부가 상기 실외 장소를 인식하는 단계는
    상기 입력 영상과 적어도 하나의 후보 DB 영상간에 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  2. 제1항에 있어서,
    상기 직선성분추출부가 입력 영상으로부터 직선성분을 추출하는 단계는
    상기 입력 영상 내 픽셀을 윤곽선 픽셀 또는 비윤곽선 픽셀로 구분한 후, 구분된 윤곽선 픽셀을 검출하는 과정;
    검출한 상기 윤곽선 픽셀이 동일직선상에 존재하는지 여부를 판단하여 기설정된 길이만큼 상기 윤곽선 픽셀을 각각 연결하여 복수 개의 제1 직선성분을 추출하는 과정; 및
    상기 복수 개의 제1 직선성분에 대하여 순차적으로 각각의 제1 직선성분들간 거리 및 각도를 비교한 후, 각각 병합하여 복수 개의 제2 직선성분을 추출하는 과정;
    을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  3. 제2항에 있어서,
    상기 입력 영상 내 윤곽선 픽셀이 검출 시, 검출된 윤곽선 픽셀을 중심으로 8방향 검색하여 검출된 상기 윤곽선 픽셀과 인접한 위치에 또 다른 윤곽선 픽셀이 존재하는지 여부를 검색하는 과정;
    을 더 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  4. 제1항에 있어서,
    상기 질의부가 상기 입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하여 적어도 하나의 후보 DB 영상을 수신하는 단계는
    추출된 상기 직선성분에 대한 디스크립터 벡터(descriptor Vector)를 연산하는 과정;
    상기 디스크립터 벡터에 대응하는 어휘 트리(Vocabulary Tree)의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정; 및
    점수를 부여받은 DB 영상을 부여 받은 점수의 내림차순으로 정렬한 후, 기설정된 개수만큼의 상위 랭크에 해당하는 DB 영상을 상기 데이터베이스로부터 수신하는 과정;
    을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  5. 제4항에 있어서,
    상기 직선성분에 대한 디스크립터 벡터를 연산하는 과정은
    상기 직선성분에 대하여 인접한 이웃 윤곽선 픽셀의 밝기 변화가 가장 큰 수직방향을 설정하는 과정;
    설정된 수직방향에서 90도 시계방향 또는 90도 반시계방향으로 회전하여 수평방향을 설정하는 과정;
    상기 직선성분과 인접한 이웃 윤곽선 픽셀에 대하여 수직방향으로 하위지역을 설정하는 과정;
    상기 하위지역으로부터 4 방향으로 밝기 변화값을 연산하는 과정; 및
    상기 밝기 변화값에 대한 평균값 및 표준편차값을 연산하여 상기 직선성분의 직선특징을 나타내는 디스크립터 벡터를 획득하는 과정;
    을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  6. 제5항에 있어서,
    상기 디스크립터 벡터에 대응하는 어휘 트리의 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정은
    상기 입력 영상의 직선 특징을 나타내는 디스크립터 벡터를 어휘트리 구조 내 최하위 노드에 맵핑하는 과정;
    맵핑된 상기 최하위 노드에 인덱스를 부여하는 과정; 및
    상기 최하위 노드에 저장된 DB 영상에 점수를 부여하는 과정;
    을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 분석부가 상기 실외 장소를 인식하는 단계는
    상기 입력 영상과 적어도 하나의 후보 DB 영상간에 각각 서로 대응하는 직선 성분간의 오버랩(Overlap) 길이를 측정하여 상대적 모션을 연산하는 과정;
    상기 입력 영상에 대응하여 유효한 상대적 모션을 가장 많이 갖는 DB 영상을 최종 DB 영상으로 선택하는 과정; 및
    선택된 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 과정;
    을 포함하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 방법.
  9. 카메라로부터 실외 장소를 촬영하여 획득한 영상을 입력받는 영상입력부;
    입력받은 영상으로부터 내부에 존재하는 적어도 하나의 직선성분을 추출하는 직선성분추출부;
    입력 영상과 동일한 영상이 데이터베이스 내 존재하는지 여부를 상기 데이터베이스로 질의하고, 상기 데이터베이스로부터 상기 입력 영상과 동일하다고 예상되는 적어도 하나의 후보 DB 영상을 수신하는 질의부; 및
    상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하여 상기 적어도 하나의 후보 DB 영상 중 하나의 최종 DB 영상을 선택하고, 선택한 최종 DB 영상에 기초하여 상기 실외 장소를 인식하는 분석부;
    를 포함하되,
    상기 분석부는
    상기 입력 영상과 적어도 하나의 후보 DB 영상간 상대적 모션(Relative Motion)을 추정하여 상기 입력 영상과 적어도 하나의 후보 DB 영상간 기하관계를 분석하는 것을 특징으로 하는 직선 및 기하관계 기반 실외 장소 인식 시스템.
  10. 삭제
KR1020140001932A 2014-01-07 2014-01-07 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템 KR101551237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140001932A KR101551237B1 (ko) 2014-01-07 2014-01-07 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140001932A KR101551237B1 (ko) 2014-01-07 2014-01-07 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20150081929A KR20150081929A (ko) 2015-07-15
KR101551237B1 true KR101551237B1 (ko) 2015-09-09

Family

ID=53793629

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140001932A KR101551237B1 (ko) 2014-01-07 2014-01-07 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101551237B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209487A1 (ko) * 2019-04-09 2020-10-15 연세대학교 산학협력단 인공 신경망 기반의 장소 인식 장치 및 이의 학습 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102048999B1 (ko) * 2018-02-13 2019-11-27 코가플렉스 주식회사 자율 주행 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352252A (ja) 2001-05-28 2002-12-06 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352252A (ja) 2001-05-28 2002-12-06 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문2:한국전자통신학회

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209487A1 (ko) * 2019-04-09 2020-10-15 연세대학교 산학협력단 인공 신경망 기반의 장소 인식 장치 및 이의 학습 장치

Also Published As

Publication number Publication date
KR20150081929A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
CN109360226B (zh) 一种基于时间序列多特征融合的多目标跟踪方法
CN106897666B (zh) 一种室内场景识别的闭环检测方法
CN108801268B (zh) 目标对象的定位方法、装置及机器人
CN111104867B (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN108229456B (zh) 目标跟踪方法和装置、电子设备、计算机存储介质
Ardeshir et al. GIS-assisted object detection and geospatial localization
Zhou et al. On detecting road regions in a single UAV image
Zhou et al. Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain
US20120301014A1 (en) Learning to rank local interest points
CN109559330B (zh) 运动目标的视觉跟踪方法、装置、电子设备及存储介质
Lee et al. Place recognition using straight lines for vision-based SLAM
US20190065913A1 (en) Search method and information processing apparatus
JP2013025799A (ja) 画像検索方法、システム、及びプログラム
JP5180922B2 (ja) 画像検索システム及び画像検索方法
CN109063549B (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
Korrapati et al. Vision-based sparse topological mapping
CN111709317A (zh) 一种基于显著性模型下多尺度特征的行人重识别方法
CN113536946B (zh) 一种基于摄像头关系的自监督行人重识别方法
KR101551237B1 (ko) 직선 및 기하관계 기반 실외 장소 인식 방법 및 시스템
CN111126436B (zh) 视觉匹配方法及装置
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
KR101489216B1 (ko) 직선을 기반으로 장소를 인식하는 방법 및 장치
CN115601687A (zh) 用于保险理赔过程的现场勘察数据智能处理方法
KR101572330B1 (ko) 동영상의 근복사 검출 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5