KR102167071B1 - 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법 - Google Patents

서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법 Download PDF

Info

Publication number
KR102167071B1
KR102167071B1 KR1020190156798A KR20190156798A KR102167071B1 KR 102167071 B1 KR102167071 B1 KR 102167071B1 KR 1020190156798 A KR1020190156798 A KR 1020190156798A KR 20190156798 A KR20190156798 A KR 20190156798A KR 102167071 B1 KR102167071 B1 KR 102167071B1
Authority
KR
South Korea
Prior art keywords
mesh
descriptor
image
matching pair
unit
Prior art date
Application number
KR1020190156798A
Other languages
English (en)
Inventor
김정윤
송기흔
박준기
Original Assignee
한길씨앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한길씨앤씨 주식회사 filed Critical 한길씨앤씨 주식회사
Priority to KR1020190156798A priority Critical patent/KR102167071B1/ko
Application granted granted Critical
Publication of KR102167071B1 publication Critical patent/KR102167071B1/ko

Links

Images

Classifications

    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법에 관한 것으로서, 특히 장면이미지 서술자와 대상 이미지의 서술자를 매칭시킨 후, 장면 이미지를 격자화하고, 메쉬 층을 올린 후 메쉬층 피라미드가 설정된 최고 높이가 되면 메쉬를 꿰매고, 메쉬를 쪼개고, 인식 대상 후보를 반환시킨 후 반환된 인식 대상 후보 정보를 기초로 인식 대상의 포즈를 추정하는, 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법에 관한 것이다.

Description

서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법{SYSTEM AND METHOD FOR RECOGNIZING IMAGE USING DESCRIPTOR MATCHING PAIR ANALYSIS TECHNOLOGY}
본 발명은 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법에 관한 것으로서, 특히 장면이미지 서술자와 대상 이미지의 서술자를 매칭시킨 후, 장면 이미지를 격자화하고, 메쉬 층을 올린 후 메쉬층 피라미드가 설정된 최고 높이가 되면 메쉬를 꿰매고, 메쉬를 쪼개고, 인식 대상 후보를 반환시킨 후 반환된 인식 대상 후보 정보를 기초로 인식 대상의 포즈를 추정하는, 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법에 관한 것이다.
일반적으로, 이미지 인식 장치에서는 랜색(Random Sample Consensus)을 활용한 호모그래피(Homography) 추정 알고리즘을 사용한다.
랜색을 활용한 호모그래피 추정 알고리즘은 서술자 매칭쌍 분석 방식으로서, 서술자 매칭이 잘된 매칭쌍이 많다고 해당 이미지가 인식되었다고 판단 할 수 없으므로 랜색을 활용한 호모그래피 탐색 과정이 필요하다.
그러나, 종래의 랜색을 활용한 호모그래피 추정 알고리즘은 호모그래피 추정 후 추가적으로 유효성 검증이 필요하며, 특징점이 적으면 호모그래피 추정의 오차가 심하며, 적절한 호모그래피 추정을 위한 랜색 허용 오차를 정하기 어려우며, 수행시간이 일관적이지 않고 실패케이스에서 수행 시간이 많이 소요된다는 문제점이 있었다.
국내 특허 등록 제1618996호 공보(발명의 명칭 : 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치)
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 이미지 인식 속도가 빠르며 이미지 인식 오류를 줄일 수 있는 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법을 제공하는 데에 있다.
상기의 목적을 달성하기 위해, 본 발명의 일 실시형태에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템은 카메라로 촬영한 장면 이미지를 입력받도록 구성된 장면 이미지 입력부; 상기 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하도록 구성된 특징점 추출부; 상기 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자를 추출하도록 구성된 서술자 추출부; 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받도록 구성된 대상 이미지 서술자 입력부; 상기 서술자 추출부로부터의 장면 이미지의 서술자와 상기 대상 이미지 서술자 입력부로부터의 대상 이미지의 서술자를 매칭시키도록 구성된 서술자 매칭부; 상기 장면 이미지를 격자화하고 메쉬 층을 올린 후 메쉬층 피라미드가 설정된 최고 높이가 되면 매쉬를 꿰매고 쪼개고, 인식 대상 후보를 반환시키도록 구성된 서술자 매칭쌍 분석 수단; 및 반환된 상기 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하도록 구성된 인식 대상 포즈 추정부;를 포함하는 것을 특징으로 한다.
상기 일 실시형태에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템에 있어서, 상기 서술자 매칭쌍 분석 수단은 상기 장면 이미지를 격자화하도록 구성된 장면 이미지 격자화부; 정점(격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍) 3개의 인덱스 집합으로 규정된 삼각형의 집합인 메쉬의 층을 피라미드 형태로 올리도록 구성된 메쉬층 올림부; 메쉬층 피라미드가 설정된 최고 높이가 되는 지의 여부를 결정하도록 구성된 피라미드 최고 높이 여부 결정부; 상기 메쉬층 피라미드가 설정된 최고 높이가 되면 메쉬 내에 존재하는 서로 붙어있는 삼각형들끼리 그룹화하고, 2개의 그룹에서 정점을 선택하여 삼각형을 구성하고 변 유효성 검사를 수행해서 합쳐질 수 있는 그룹을 선택하여 병합시키는 과정인 메쉬 꿰매기를 수행하도록 구성된 메쉬 꿰매기부; 상기 메쉬 꿰매기 수행 후에 조각난 메쉬들을 각각의 메쉬로 쪼개는 메쉬 쪼개기를 수행하도록 구성된 메쉬 쪼개기부; 상기 메쉬 쪼개기를 마친 메쉬가 설정된 개수의 삼각형을 가지면 인식 대상 후보로 결정하고 해당 인식 대상 후보를 반환시키도록 구성된 인식 대상 후보 반환부; 상기 메쉬층 피라미드가 설정된 최고 높이가 되지 않을 경우 메쉬의 층을 피라미드 형태로 올릴 수 있는 지의 여부를 결정하도록 구성된 층 올리기 가능여부 결정부; 및 상기 메쉬의 층을 피라미드 형태로 올릴 수 없을 경우 인식 실패 처리 과정을 수행하도록 구성된 인식 실패 처리부;를 포함할 수 있다.
상기의 목적을 달성하기 위해, 본 발명의 다른 실시형태에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 방법은 장면 이미지 입력부가 카메라로 촬영한 장면 이미지를 입력받는 단계(S10); 특징점 추출부에 의해 상기 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점이 추출되는 단계(S20); 서술자 추출부에 의해 상기 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자가 추출되는 단계(S30); 대상 이미지 서술자 입력부가 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받는 단계(S40); 서술자 매칭부에 의해 상기 서술자 추출부로부터의 장면 이미지의 서술자와 상기 대상 이미지 서술자 입력부로부터의 대상 이미지의 서술자가 매칭되는 단계(S50); 상기 서술자 매칭쌍 분석 수단에 의해 상기 장면 이미지가 격자화되는 단계(S60); 상기 서술자 매칭쌍 분석 수단이 정점(격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍) 3개의 인덱스 집합으로 규정된 삼각형의 집합인 메쉬의 층을 피라미드 형태로 올리는 단계; 상기 서술자 매칭쌍 분석 수단에 의해 메쉬층 피라미드가 설정된 최고 높이가 되는 지의 여부가 결정되는 단계(S80); 상기 메쉬층 피라미드가 설정된 최고 높이가 되면, 상기 서술자 매칭쌍 분석 수단이 메쉬 내에 존재하는 서로 붙어있는 삼각형들끼리 그룹화하고, 2개의 그룹에서 정점을 선택하여 삼각형을 구성하고 변 유효성 검사를 수행해서 합쳐질 수 있는 그룹을 선택하여 병합시키는 과정인 메쉬 꿰매기를 수행하는 단계(S90); 상기 서술자 매칭쌍 분석 수단이 상기 메쉬 꿰매기 수행 후에 조각난 메쉬들을 각각의 메쉬로 쪼개는 메쉬 쪼개기를 수행하는 단계(S100); 상기 서술자 매칭쌍 분석 수단이 상기 메쉬 쪼개기를 마친 메쉬가 설정된 개수의 삼각형을 가지면 인식 대상 후보로 결정하고 해당 인식 대상 후보를 반환시키는 단계(S110); 및 인식 대상 포즈 추정부가 반환된 상기 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하는 단계(S120);를 포함하는 것을 특징으로 한다.
상기 다른 실시형태에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 방법에 있어서, 상기 최고 높이 여부 결정 단계(S80)에서 메쉬층 피라미드가 설정된 최고 높이가 되지 않을 경우, 상기 서술자 매칭쌍 분석 수단이 메쉬의 층을 피라미드 형태로 올릴 수 있는 지의 여부를 결정하는 단계(S130); 및 상기 단계(S130)에서 메쉬의 층을 피라미드 형태로 올릴 수 없을 경우, 상기 서술자 매칭쌍 분석 수단이 인식 실패 처리 과정을 수행하는 단계(S140);를 더 포함할 수 있다.
본 발명의 실시형태들에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법에 의하면, 카메라로 촬영한 장면 이미지를 입력받고, 상기 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하며, 상기 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자를 추출하며, 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받으며, 상기 장면 이미지의 서술자와 상기 대상 이미지의 서술자를 매칭시키며, 상기 장면 이미지를 격자화하고 메쉬 층을 올린 후 메쉬층 피라미드가 설정된 최고 높이가 되면 매쉬를 꿰매고 쪼개고, 인식 대상 후보를 반환시키며, 반환된 상기 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하도록 구성됨으로써, 이미지 인식 속도가 빠르며 이미지 인식 오류를 줄일 수 있다는 뛰어난 효과가 있다.
도 1은 본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템의 블록 구성도이다.
도 2a 및 도 2b는 본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 방법을 설명하기 위한 플로우챠트이다.
도 3은 도 1의 메쉬층 올림부에서 생존 정점 검출을 위해 사용하는 표를 나타낸 도면이다.
본 발명의 실시예를 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예를 기술하기 위한 것이며, 결코 제한적으로 해석되어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하는 것으로 해석되어서는 안 된다.
도면에서 도시된 각 시스템에서, 몇몇 경우에서의 요소는 각각 동일한 참조 번호 또는 상이한 참조 번호를 가져서 표현된 요소가 상이하거나 유사할 수가 있음을 시사할 수 있다. 그러나 요소는 상이한 구현을 가지고 본 명세서에서 보여지거나 기술된 시스템 중 몇몇 또는 전부와 작동할 수 있다. 도면에서 도시된 다양한 요소는 동일하거나 상이할 수 있다. 어느 것이 제1 요소로 지칭되는지 및 어느 것이 제2 요소로 불리는지는 임의적이다.
본 명세서에서 어느 하나의 구성요소가 다른 구성요소로 자료 또는 신호를 '전송', '전달' 또는 '제공'한다 함은 어느 한 구성요소가 다른 구성요소로 직접 자료 또는 신호를 전송하는 것은 물론, 적어도 하나의 또 다른 구성요소를 통하여 자료 또는 신호를 다른 구성요소로 전송하는 것을 포함한다.
이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템의 블록 구성도이다.
본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템은, 도 1에 도시된 바와 같이, 장면 이미지 입력부(100), 특징점 추출부(200), 서술자 추출부(300), 서술자 입력부(400), 서술자 매칭부(500), 서술자 매칭쌍 분석 수단(600), 및 인식 대상 포즈 추정부(700)를 포함한다.
장면 이미지 입력부(100)는 카메라로 촬영한 장면 이미지를 입력받는 역할을 한다.
특징점 추출부(200)는 장면 이미지 입력부(100)를 통해 입력된 장면 이미지로부터 이미지의 특징을 표현할 수 있는 지점인 특징점을 추출하는 역할을 한다. 특징점은 대략 이미지의 코너 부분에 존재한다.
서술자 추출부(300)는 특징점 추출부(200)에서 추출된 장면 이미지의 특징점의 주변 정보를 표현하는, 장면 이미지의 서술자를 추출하는 역할을 한다.
서술자는 특징점의 주변 정보를 표현하는 데이터이며, 닮음 정도를 거리로 표현하고 있다. 특징점 간의 닮음 정도를 알기 위해서는 서술자가 필요하다.
대상 이미지 서술자 입력부(400)는 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받는 역할을 한다.
대상 이미지의 서술자는 데이터베이스 또는 파일시스템에 미리 저장되어 있는 상태에서, 대상 이미지 서술자 입력부(400)에 의해 판독되어 사용된다.
서술자 매칭부(500)는 서술자 추출부(300)로부터의 장면 이미지의 서술자와 대상 이미지 서술자 입력부(400)로부터의 대상 이미지의 서술자를 매칭시켜 서술자 매칭쌍을 획득하는 역할을 한다. 서술자 매칭쌍은 거리값과 매칭된 특징점의 인텍스를 가지고 있다.
서술자 매칭쌍 분석 수단(600)은 이미지 인식의 핵심부로서, 장면 이미지를 격자화하고 메쉬 층을 피라미드 형태로 올린 후 메쉬층 피라미드가 설정된 최고 높이가 되면 매쉬를 꿰매고 쪼개고, 인식 대상 후보를 반환시키는 역할을 한다.
서술자 매칭쌍 분석 수단(600)은 장면 이미지 격자화부(610), 메쉬층 올림부(620), 피라미드 최고 높이 여부 결정부(630), 메쉬 꿰매기부(640), 메쉬 쪼개기부(650), 인식 대상 후보 반환부(660), 층 올리기 가능여부 결정부(670), 및 인식 실패 처리부(680)를 포함한다.
장면 이미지 격자화부(610)는 장면 이미지를 격자화하는 역할을 한다.
장면 이미지 격자화 과정은 지정된 격자 크기로 장면 이미지의 지역을 나누고 같은 격자 칸에 있는 매칭쌍들을 그룹화하는 과정과, 매칭쌍 그룹 중에 가장 실제로 매칭이 잘 되었을 것 같은 매칭쌍을 선별하는 과정을 포함한다.
매칭쌍 선별 기준은 매칭 거리가 가장 작은 매칭쌍을 선별한다.
메쉬층 올림부(620)는 정점(격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍) 3개의 인덱스 집합으로 규정된 삼각형의 집합인 메쉬의 층을 피라미드 형태로 올리는(즉, 기존의 메쉬의 층에 새로운 메쉬의 층을 형성하는) 역할을 한다.
메쉬층 올리는 과정에 대해 살펴보면 다음과 같다.
1. 기존의 메쉬에서 생존 정점 검출 과정을 통해 정점들에 대한 생존 점수가 부여된 후 생존한 정점들(생존 점수가 3점 이상인 정점들)을 수집한다.
2. 생존한 정점들을 딜로니 삼각화를 통해 새로운 메쉬를 만든다.
3. 이때, 새로운 메쉬의 층 높이는 1 증가한 것이다.
4. 이후, 2.에 의해 만들어진 새로운 메쉬의 삼각형의 수가 일정 수 미만이면 그 메쉬는 새로운 층을 생성할 수 없는 메쉬이다(즉, 2.에 의해 새롭게 만들어진 메쉬의 삼각형의 수가 일정 수 이상일 때, 위의 1, 2, 3 과정에 의해 새로운 메쉬의 층을 생성할 수 있다).
생존 정점 검출에 대해 도 3을 참조하여 설명하기로 한다.
도 3에서 T는 참(True)을 의미하고, 이는 변이 유효하다는 것을 나타낸다. A, B, C 는 삼각형의 꼭지점을 나타내고, ab, bc 및 ca는 각각 삼각형의 변을 나타낸다.
- 변유효성 검사를 통해 나온 부울 값 결과가 각 변 ab, bc 및 ca에 대해서 제공되었다고 가정한다.
- 각각의 결과에 대한 정점들의 생존 점수 부여는 도 3의 내용과 같다.
- 생존 점수가 3점 이상이면 생존 정점으로 판정한다.
변유효성 검사에 대해 설명한다.
- 정점이 서술자 매칭쌍이기 때문에 삼각형을 장면 이미지와 대상 이미지에 2개를 그릴 수 있다.
- 각각의 삼각형의 법선 방향이 같지 않으면 변 유효성 검사를 모두 실패 처리한다.
- 각각의 삼각형에서 각각의 변의 비율을 계산하고 그 값을 각각 Q(장면), T(대상)라 하자
- 변의 비율 = (삼각형의 특정 변의 길이) / (삼각형의 모든 변의 길이)
- 검사 결과 = | (Q / T) - 1 | < 지정된 허용 오차
피라미드 최고 높이 여부 결정부(630)는 메쉬층 피라미드가 설정된 최고 높이가 되는 지의 여부를 결정하는 역할을 한다.
메쉬 꿰매기부(640)는 피라미드 최고 높이 여부 결정부(630)에서 메쉬층 피라미드가 설정된 최고 높이가 되면, 메쉬 꿰매기를 수행하는 역할을 한다.
메쉬 꿰매기는 실제로 인식되었지만 메쉬 쪼개기 과정 후에 삼각형 개수 부족으로 인식 실패 처리되는 것을 방지하기 위해 실시된다.
메쉬 꿰매기의 과정은 다음과 같다.
우선, 삼각형의 정점 인덱스가 2개가 중복이면 서로 붙어 있는 삼각형이라고 가정한다.
1. 메쉬 내에 존재하는 서로 붙어있는 삼각형들끼리 그룹화한다.
2. 2개의 그룹에서 정점을 임의로 선택하여 삼각형을 구성한다(단, 선택된 정점이 모두 같은 그룹이면 안된다).
3. 변 유효성 검사를 수행해서 하나라도 실패하면 서로 합쳐질 수 없는 그룹니다.
4. 2번, 3번 과정을 설정 수 반복해서 성공하면 그룹을 병합한다.
메쉬 쪼개기부(650)는 메쉬 꿰매기 수행 후에 조각난 메쉬들을 각각의 메쉬로 쪼개는 메쉬 쪼개기를 수행하는 역할을 한다.
메쉬 쪼개기에 대해 설명하면 다음과 같다.
1. 메쉬 꿰매기 과정에서 생긴 삼각형 그룹들을 각각의 메쉬로 내보내면 완료된다(메쉬 꿰매기 과정을 안거치는 경우 별도의 삼각형 그룹화 과정을 거쳐야 한다).
2. 일반적으로 장면 이미지 내에 동일한 대상 이미지의 개수만큼 메쉬가 쪼개지게 된다.
3. 이 과정은 메쉬를 쪼개는 목적도 있지만 과정의 결과물이 더 이상 쪼개지지 않는다는 것을 보장하려는 목적도 있다.
4. 이 과정으로 인해 별도의 오프젝트 디텍션(Object Detection) 알고리즘 없이 한 번에 여러 개의 동일 이미지를 인식할 수 있다.
인식 대상 후보 반환부(660)는 메쉬 쪼개기를 마친 메쉬가 설정된 개수의 삼각형을 가지면 인식 대상 후보로 결정하고 해당 인식 대상 후보를 반환시키는 역할을 한다.
층 올리기 가능여부 결정부(670)는 메쉬층 피라미드가 설정된 최고 높이가 되지 않을 경우, 메쉬의 층을 피라미드 형태로 올릴 수 있는 지의 여부를 결정하는 역할을 한다.
인식 실패 처리부(680)는 층 올리기 가능여부 결정부(670)에 의해 메쉬의 층을 피라미드 형태로 올릴 수 없다고 결정될 경우, 인식 실패 처리 과정을 수행하는 역할을 한다.
인식 대상 포즈 추정부(700)는 인식 대상 후보 반환부(600)에 의해 반환된 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하는 역할을 한다.
상기와 같이 구성된 본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템을 이용한 이미지 인식 방법에 대해 도면을 참조하여 설명하기로 한다.
도 2a 및 도 2b는 본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 방법을 설명하기 위한 플로우챠트로서, 여기서 S는 스텝(step)을 의미한다.
먼저, 장면 이미지 입력부(100)가 카메라로 촬영한 장면 이미지를 입력받으면(S10), 특징점 추출부(200)가 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출한다(S20).
이어서, 서술자 추출부(300)에 의해 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자가 추출된다(S30).
다음, 대상 이미지 서술자 입력부(400)가 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받는다(S40).
다음, 서술자 매칭부(500)에 의해 서술자 추출부(300)로부터의 장면 이미지의 서술자와 대상 이미지 서술자 입력부(400)로부터의 대상 이미지의 서술자가 매칭되어 서술자 매칭쌍이 획득된다(S50).
이어서, 서술자 매칭쌍 분석 수단(600)에 의해 장면 이미지가 격자화 되고(S60), 서술자 매칭쌍 분석 수단(600)이 정점(격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍) 3개의 인덱스 집합으로 규정된 삼각형의 집합인 메쉬의 층을 피라미드 형태로 올린다(S70).
다음, 서술자 매칭쌍 분석 수단(600)에 의해 메쉬층 피라미드가 설정된 최고 높이가 되는 지의 여부가 결정된다(S80).
스텝(S80)에서 메쉬층 피라미드가 설정된 최고 높이가 되면(YES), 서술자 매칭쌍 분석 수단(600)이 메쉬 내에 존재하는 서로 붙어있는 삼각형들끼리 그룹화하고, 2개의 그룹에서 정점을 선택하여 삼각형을 구성하고 변 유효성 검사를 수행해서 합쳐질 수 있는 그룹을 선택하여 병합시키는 과정인 메쉬 꿰매기를 수행한다(S90).
다음, 서술자 매칭쌍 분석 수단(600)이 메쉬 꿰매기 수행 후에 조각난 메쉬들을 각각의 메쉬로 쪼개는 메쉬 쪼개기를 수행하고(S100), 서술자 매칭쌍 분석 수단(600)이 메쉬 쪼개기를 마친 메쉬가 설정된 개수의 삼각형을 가지면 인식 대상 후보로 결정하고 해당 인식 대상 후보를 반환시킨다(S110).
이어서, 인식 대상 포즈 추정부(700)가 반환된 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정한다(S120).
한편, 상기 스텝(S80)에서 메쉬층 피라미드가 설정된 최고 높이가 되지 않을 경우(NO), 서술자 매칭쌍 분석 수단(600)이 메쉬의 층을 피라미드 형태로 올릴 수 있는 지의 여부를 결정한다(S130).
상기 스텝(S130)에서 메쉬의 층을 피라미드 형태로 올릴 수 없을 경우(NO), 서술자 매칭쌍 분석 수단(600)이 인식 실패 처리 과정을 수행한다(S140).
한편, 상기 스텝(S130)에서 메쉬의 층을 피라미드 형태로 올릴 수 있을 경우(YES), 상기 스텝(S70)으로 진행된다.
본 발명의 실시예에 의한 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법에 의하면, 카메라로 촬영한 장면 이미지를 입력받고, 상기 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하며, 상기 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자를 추출하며, 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받으며, 상기 장면 이미지의 서술자와 상기 대상 이미지의 서술자를 매칭시키며, 상기 장면 이미지를 격자화하고 메쉬 층을 올린 후 메쉬층 피라미드가 설정된 최고 높이가 되면 매쉬를 꿰매고 쪼개고, 인식 대상 후보를 반환시키며, 반환된 상기 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하도록 구성됨으로써, 이미지 인식 속도가 빠르며 이미지 인식 오류를 줄일 수 있다.
도면과 명세서에는 최적의 실시예가 개시되었으며, 특정한 용어들이 사용되었으나 이는 단지 본 발명의 실시형태를 설명하기 위한 목적으로 사용된 것이지 의미를 한정하거나 특허 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 장면 이미지 입력부
200: 특징점 추출부
300: 서술자 추출부
400: 대상 이미지 서술자 입력부
500: 서술자 매칭부
600: 서술자 매칭쌍 분석 수단
610: 장면 이미지 격자화부
620: 메쉬층 올림부
630: 피라미드 최고 높이 여부 결정부
640: 메쉬 꿰매기부
650: 메쉬 쪼개기부
660: 인식 대상 후보 반환부
670: 층 올리기 가능여부 결정부
680: 인식 실패 처리부
700: 인식 대상 포즈 추정부

Claims (4)

  1. 카메라로 촬영한 장면 이미지를 입력받도록 구성된 장면 이미지 입력부(100);
    상기 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하도록 구성된 특징점 추출부(200);
    상기 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자를 추출하도록 구성된 서술자 추출부(300);
    인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받도록 구성된 대상 이미지 서술자 입력부(400);
    상기 서술자 추출부로부터의 장면 이미지의 서술자와 상기 대상 이미지 서술자 입력부로부터의 대상 이미지의 서술자를 매칭시켜 서술자 매칭쌍을 획득하도록 구성된 서술자 매칭부(500);
    상기 장면 이미지를 격자화하고 상기 장면 이미지의 격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍을 정점으로 하고, 정점 3개의 인덱스 집합으로 규정된 삼각형인 집합인 메쉬 층을 피라미드 형태로 올린 후 메쉬 층이 피라미드 형태로 올라간 메쉬층 피라미드가 설정된 최고 높이가 되면 매쉬를 꿰매고 쪼개고, 인식 대상 후보를 반환시키도록 구성된 서술자 매칭쌍 분석 수단(600); 및
    반환된 상기 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하도록 구성된 인식 대상 포즈 추정부(700);를 포함하고,
    상기 메쉬층을 피라미드 형태로 올리는 과정은, 기존의 메쉬에서 생존 정점 검출 과정을 통해 정점들에 대한 생존 점수가 부여된 후 생존 점수가 3점 이상일 경우 생존한 정점이라 결정하는 단계, 생존한 정점 들을 딜로니 삼각화를 통해 새로운 메쉬를 만드는 단계(이때, 새로운 메쉬의 층 높이가 1 증가한 것임), 및 새롭게 만들어진 메쉬의 삼각형의 수가 일정 수 이상일 경우 상기 정점 결정 단계 및 메쉬 만드는 단계를 수행하는 단계를 포함하며,
    상기 서술자 매칭쌍 분석 수단(600)은
    상기 장면 이미지를 격자화하도록 구성된 장면 이미지 격자화부(610);
    상기 장면 이미지의 격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍을 정점으로 하고, 정점 3개의 인덱스 집합으로 규정된 삼각형의 집합인 메쉬의 층을 피라미드 형태로 올리도록 구성된 메쉬층 올림부(620);
    상기 메쉬층 피라미드가 설정된 최고 높이가 되는 지의 여부를 결정하도록 구성된 피라미드 최고 높이 여부 결정부(630);
    상기 메쉬층 피라미드가 설정된 최고 높이가 되면 메쉬 내에 존재하는 서로 붙어있는 삼각형들끼리 그룹화하고, 2개의 그룹에서 정점을 선택하여 삼각형을 구성하고 변 유효성 검사를 수행해서 합쳐질 수 있는 그룹을 선택하여 병합시키는 과정인 메쉬 꿰매기를 수행하도록 구성된 메쉬 꿰매기부(640);
    상기 메쉬 꿰매기 수행 후에 조각난 메쉬들을 각각의 메쉬로 쪼개는 메쉬 쪼개기를 수행하도록 구성된 메쉬 쪼개기부(650);
    상기 메쉬 쪼개기를 마친 메쉬가 설정된 개수의 삼각형을 가지면 인식 대상 후보로 결정하고 해당 인식 대상 후보를 반환시키도록 구성된 인식 대상 후보 반환부(660);
    상기 메쉬층 피라미드가 설정된 최고 높이가 되지 않을 경우 메쉬의 층을 피라미드 형태로 올릴 수 있는 지의 여부를 결정하도록 구성된 층 올리기 가능여부 결정부(670); 및
    상기 메쉬의 층을 피라미드 형태로 올릴 수 없을 경우 인식 실패 처리 과정을 수행하도록 구성된 인식 실패 처리부(680);를 포함하는 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템.
  2. 삭제
  3. 제 1 항에 기재된 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템을 이용한 이미지 인식 방법으로서,
    장면 이미지 입력부(100)가 카메라로 촬영한 장면 이미지를 입력받는 단계(S10);
    특징점 추출부(200)에 의해 상기 장면 이미지로부터 이미지의 특징을 표현할 수 있는 특징점이 추출되는 단계(S20);
    서술자 추출부(300)에 의해 상기 장면 이미지의 특징점의 주변 정보를 표현하는 장면 이미지의 서술자가 추출되는 단계(S30);
    대상 이미지 서술자 입력부(400)가 인식 대상의 이미지인 대상 이미지의 특징점의 주변 정보를 표현하는 대상 이미지의 서술자를 입력받는 단계(S40);
    서술자 매칭부(500)에 의해 상기 서술자 추출부로부터의 장면 이미지의 서술자와 상기 대상 이미지 서술자 입력부로부터의 대상 이미지의 서술자가 매칭되는 단계(S50);
    상기 서술자 매칭쌍 분석 수단(600)에 의해 상기 장면 이미지가 격자화되는 단계(S60);
    상기 서술자 매칭쌍 분석 수단(600)이 정점(격자 내에 있는 서술자 매칭쌍들 중에 가장 정확하게 매칭이 될 것으로 예측되는 매칭쌍) 3개의 인덱스 집합으로 규정된 삼각형의 집합인 메쉬의 층을 피라미드 형태로 올리는 단계(S70);
    상기 서술자 매칭쌍 분석 수단(600)에 의해 메쉬층 피라미드가 설정된 최고 높이가 되는 지의 여부가 결정되는 단계(S80);
    상기 메쉬층 피라미드가 설정된 최고 높이가 되면, 상기 서술자 매칭쌍 분석 수단(600)이 메쉬 내에 존재하는 서로 붙어있는 삼각형들끼리 그룹화하고, 2개의 그룹에서 정점을 선택하여 삼각형을 구성하고 변 유효성 검사를 수행해서 합쳐질 수 있는 그룹을 선택하여 병합시키는 과정인 메쉬 꿰매기를 수행하는 단계(S90);
    상기 서술자 매칭쌍 분석 수단(600)이 상기 메쉬 꿰매기 수행 후에 조각난 메쉬들을 각각의 메쉬로 쪼개는 메쉬 쪼개기를 수행하는 단계(S100);
    상기 서술자 매칭쌍 분석 수단(600)이 상기 메쉬 쪼개기를 마친 메쉬가 설정된 개수의 삼각형을 가지면 인식 대상 후보로 결정하고 해당 인식 대상 후보를 반환시키는 단계(S110); 및
    인식 대상 포즈 추정부(700)가 반환된 상기 인식 대상 후보의 정보를 기초로 인식 대상의 포즈를 추정하는 단계(S120);를 포함하는 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 방법.
  4. 제 3 항에 있어서,
    상기 최고 높이 여부 결정 단계(S80)에서 메쉬층 피라미드가 설정된 최고 높이가 되지 않을 경우,
    상기 서술자 매칭쌍 분석 수단(600)이 메쉬의 층을 피라미드 형태로 올릴 수 있는 지의 여부를 결정하는 단계(S130); 및
    상기 단계(S130)에서 메쉬의 층을 피라미드 형태로 올릴 수 없을 경우, 상기 서술자 매칭쌍 분석 수단(600)이 인식 실패 처리 과정을 수행하는 단계(S140);를 더 포함하는 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 방법.
KR1020190156798A 2019-11-29 2019-11-29 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법 KR102167071B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190156798A KR102167071B1 (ko) 2019-11-29 2019-11-29 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156798A KR102167071B1 (ko) 2019-11-29 2019-11-29 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102167071B1 true KR102167071B1 (ko) 2020-10-16

Family

ID=73035131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156798A KR102167071B1 (ko) 2019-11-29 2019-11-29 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102167071B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106567A (ko) * 2021-01-22 2022-07-29 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008514073A (ja) * 2004-09-15 2008-05-01 フランス テレコム 変形可能なメッシュを用いた動き推定のための方法
KR20150111641A (ko) * 2014-03-26 2015-10-06 포항공과대학교 산학협력단 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
KR101618996B1 (ko) 2014-12-31 2016-05-09 인하대학교 산학협력단 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008514073A (ja) * 2004-09-15 2008-05-01 フランス テレコム 変形可能なメッシュを用いた動き推定のための方法
KR20150111641A (ko) * 2014-03-26 2015-10-06 포항공과대학교 산학협력단 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치
KR101618996B1 (ko) 2014-12-31 2016-05-09 인하대학교 산학협력단 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106567A (ko) * 2021-01-22 2022-07-29 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법
KR102577663B1 (ko) 2021-01-22 2023-09-13 한길씨앤씨 주식회사 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Similar Documents

Publication Publication Date Title
US10599228B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
KR102455633B1 (ko) 라이브니스 검사 방법 및 장치
US20230045519A1 (en) Target Detection Method and Apparatus
JP3954484B2 (ja) 画像処理装置およびプログラム
CN110069994B (zh) 基于人脸多区域的人脸属性识别系统、方法
US9984280B2 (en) Object recognition system using left and right images and method
CN109784130B (zh) 行人重识别方法及其装置和设备
CN110516595B (zh) 基于卷积神经网络的手指多模态特征融合识别方法
CN106778614B (zh) 一种人体识别方法和装置
CA3152812A1 (en) Facial recognition method and apparatus
CN107615251B (zh) 信息处理装置、信息处理方法及存储介质
CN106156702A (zh) 身份认证方法及设备
KR20120069331A (ko) 영상의 전경과 배경을 분리하는 방법
US20230326256A1 (en) Identity recognition method, computer apparatus, non-transitory computer-readable storage medium
KR101967007B1 (ko) 홍채들을 비교하기 위해 파라미터화된 컨투어들을 검색하는 방법
JP2018142189A (ja) プログラム、測距方法、及び測距装置
CN104951440B (zh) 一种图像处理方法及电子设备
JP6448212B2 (ja) 認識装置及び認識方法
KR20190070179A (ko) 사용자 등록 장치 및 방법
KR102167071B1 (ko) 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법
CN105760844A (zh) 一种视频流数据的处理方法、设备和系统
WO2014201891A1 (zh) 多目标跟踪方法、系统及计算机存储介质
CN103733225B (zh) 特征点对等系统、特征点对等方法、以及记录介质
KR102577663B1 (ko) 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법
JP2017097578A (ja) 情報処理装置及び方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant