KR101288949B1 - 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치 - Google Patents

신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치 Download PDF

Info

Publication number
KR101288949B1
KR101288949B1 KR1020120066189A KR20120066189A KR101288949B1 KR 101288949 B1 KR101288949 B1 KR 101288949B1 KR 1020120066189 A KR1020120066189 A KR 1020120066189A KR 20120066189 A KR20120066189 A KR 20120066189A KR 101288949 B1 KR101288949 B1 KR 101288949B1
Authority
KR
South Korea
Prior art keywords
image
footprint
similarity
shoe
user
Prior art date
Application number
KR1020120066189A
Other languages
English (en)
Inventor
정진우
조영원
소병철
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020120066189A priority Critical patent/KR101288949B1/ko
Application granted granted Critical
Publication of KR101288949B1 publication Critical patent/KR101288949B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1174—Identification of persons based on the shapes or appearances of their bodies or parts thereof using footprinting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

본 발명은 신발 발자국 이미지를 이용한 사용자 인식방법에 관한 것으로서, 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성하는 단계, 상기 생성된 신발 발자국 이미지와 참조 이미지와의 유사도 또는 비유사도를 산출하는 단계, 및 상기 산출한 유사도 또는 비유사도를 이용하여 사용자를 인식하는 단계를 포함하고, 상기 유사도 또는 비유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 또는 비유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도 또는 비유사도이고, 상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도 또는 비유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출되는 것을 특징으로 하며 신발 발자국 이미지를 이용하여 사용자를 인식할 수 있다.

Description

신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치{Method for recognizing user by using shoe footprint image and Apparatus thereof}
본 발명은 신발 발자국 이미지를 이용한 사용자 인식방법에 관한 것으로서, 더욱 상세하게는 신발 발자국 압력 이미지로부터 신발 발자국 이미지를 생성하고, 상기 신발 발자국 이미지와 참조이미지와의 유사도 또는 비유사도를 이용하여 사용자를 인식하는 사용자 인식방법, 그 기록매체, 및 사용자 인식장치에 관한 것이다.
패턴인식 중에서도 특히 생체인식의 대표적인 분야에는 지문인식, 홍채인식, 얼굴인식, 손 모양 인식 등이 있다. 이들은 일반적으로 테스트를 위해 한 사용자의 데이터가 입력되면 미리 구축된 참조 데이터베이스에서 가장 일치하는 사용자를 식별해 낸다. 기존의 생체인식 방법은 신체적인 접촉이나 의도적인 인식 절차 등의 번거로운 처리방법이 필요하다. 이러한 절차는 사용자 불편 또는 사용자 거부감을 일으키는 문제점이 있다.
본 발명이 해결하고자 하는 첫 번째 과제는 신발 발자국 이미지를 이용한 사용자 인식방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 신발 발자국 이미지를 이용한 사용자 인식장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성하는 단계, 상기 생성된 신발 발자국 이미지와 참조 이미지와의 유사도 또는 비유사도를 산출하는 단계, 및 상기 산출한 유사도 또는 비유사도를 이용하여 사용자를 인식하는 단계를 포함하고, 상기 유사도 또는 비유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 또는 비유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도 또는 비유사도이고, 상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도 또는 비유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출되는 것을 특징으로 하는 사용자 인식방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 발자국 가중치는, 상기 임계 값보다 작은 값을 갖는 상기 맨발 발자국 참조 이미지의 픽셀에 대해 상기 픽셀 별 입력 값과 상기 임계 값을 이용한 가중치를 부여하는 것을 특징으로 하는 사용자 인식방법일 수 있고, 상기 사용자를 인식하는 단계는, 상기 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도와 맨발 발자국 참조 이미지와의 유사도를 합산한 결과를 이용하여 가장 유사도의 합이 큰 참조이미지의 사용자를 상기 입력받은 신발 발자국 압력 이미지의 사용자로 인식하는 것을 특징으로 하는 사용자 인식방법일 수 있다.
본 발명의 다른 실시예에 의하면, 상기 신발 발자국 이미지를 생성하는 단계는, 상기 입력받은 신발 발자국 압력 이미지의 중심점을 추적함으로써 왼발과 오른발을 구분하고 각 발의 이진이미지를 생성하는 단계, 및 상기 생성된 각 발의 이진이미지를 이용하여 상기 왼발 발자국 이미지와 상기 오른발 발자국 이미지를 생성하는 단계를 포함하는 사용자 인식방법일 수 있다.
본 발명의 또 다른 실시예에 의하면, 상기 참조 이미지와의 유사도를 산출하는 단계, 상기 신발 발자국 이미지를 소정의 거리만큼 상하좌우로 이동시키면서 상기 참조이미지와의 유사도를 산출하고, 상기 유사도가 최대가 되도록 상기 이미지를 이동시켜 중심점을 조정하는 단계, 및 상기 조정된 중심점을 중심으로 소정의 각도만큼 상기 신발 발자국 이미지를 회전시키면서 상기 참조이미지와의 유사도를 산출하고, 상기 유사도가 최대가 되도록 상기 이미지를 회전시켜 회전각도를 조정하는 단계를 포함하고, 상기 유사도가 최대가 될 때까지 상기 중심점을 조정하는 단계 및 상기 회전각도를 조정하는 단계를 반복하는 것을 특징으로 하는 사용자 인식방법일 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성하는 신발 발자국 이미지 생성부, 상기 생성된 신발 발자국 이미지를 이용하여 참조 이미지와의 유사도 또는 비유사도를 산출하여 사용자를 인식하는 사용자 인식부를 포함하고, 상기 유사도 또는 비유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 또는 비유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도 또는 비유사도이고, 상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도 또는 비유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출되는 것을 특징으로 하는 사용자 인식장치를 제공한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 발자국 이미지를 이용한 사용자 인식방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 신발 발자국 이미지를 이용하여 사용자를 인식할 수 있어 기존의 여러 생체인식 방법에서 제기되었던 신체적인 접촉이나 의도적인 인식 절차 등의 번거로운 처리방법과 사용자 거부감을 최대한 줄여, 특정 위치에 압력 센서를 배치하고 사용자가 자연스럽게 걷는 도중에 사용자 인식을 수행할 수 있다. 또한, 사용자가 신은 신발에 의해 신발 이미지가 달라지는 것에 대해, 상기 신발 이미지에 가중치를 두어 신발 발자국 참조이미지뿐만 아니라 맨발 발자국 참조이미지와의 유사도를 이용하여 사용자를 인식할 수 있는 정확도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식장치의 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식방법의 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 신발 발자국 이미지를 생성하는 단계의 흐름도이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식방법은 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성하는 단계, 상기 생성된 신발 발자국 이미지와 참조 이미지와의 유사도 또는 비유사도를 산출하는 단계, 및 상기 산출한 유사도 또는 비유사도를 이용하여 사용자를 인식하는 단계를 포함하고, 상기 유사도 또는 비유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 또는 비유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도 또는 비유사도이고, 상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도 또는 비유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출되는 것을 특징으로 한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다 (comprises)" 또는 "포함하는 (comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식장치의 블록도이다.
본 발명의 일 실시예에 따른 발자국 이미지를 이용한 사용자 인식장치는 신발 발자국 이미지 생성부(110) 및 사용자 인식부(120)를 포함한다.
신발 발자국 이미지 생성부(110)는 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성한다.
보다 구체적으로, 본 발명의 일 실시예에 따른 사용자 인식장치는 사용자의 신발 발자국 이미지를 이용하여 사용자를 인식하는 것으로, 사용자가 신발을 신은 채 압력 센서 위를 걸어감으로써 생성되는 신발 발자국 압력 이미지를 이용하여 상기 신발 발자국 이미지를 생성한다. 사용자가 압력센서 위를 걸어감으로써 생성되어 입력된 신발 발자국 압력 이미지는 시간에 따라 연속적이다. 신발 발자국 이미지 생성부(110)는 상기 연속적인 발자국 압력 값을 이용하여 참조이미지와의 비교가 가능한 각 발의 그레이 스케일 발자국 이미지를 생성한다. 상기 압력센서는 매트형 바닥 압력센서(Mat-type pressure sensor)에 의해 얻어질 수 있다.
상기 입력받은 신발 발자국 입력 이미지를 이용하여 인식함에 있어서, 정확도를 높이기 위하여 신발 발자국 이미지로 변환할 수 있다. 또는 상기 신발 발자국 압력이미지를 그대로 사용할 수도 있다.
신발 발자국 이미지 생성부(110)는 사용자의 신발 발자국 압력 값들에 대해 각 프레임 정보를 각 발의 그레이 스케일 신발 발자국 압력 이미지로 생성하고, 상기 각 발의 그레이 스케일 신발 발자국 압력 이미지를 이용하여 상기 신발 발자국 이미지를 생성할 수 있다. 또한, 상기 입력받은 신발 발자국 압력 이미지의 중심점을 추적함으로써 왼발과 오른발을 구분하고 그레이스케일 이미지를 생성하며, 상기 생성된 각 발의 그레이스케일 이미지를 이용하여 상기 왼발 발자국 이미지와 상기 오른발 발자국 이미지를 생성할 수 있다. 상기 발자국 압력 이미지는 발 전체의 형태가 아닌 발이 센서에 닿는 부위의 압력에 따라 발의 부분의 형태일 수 있다. 즉, 사용자가 압력센서 위를 걸어가면 시간에 따라 압력 센서에 접하는 부분은 신발 전체가 아니고 신발의 일부분이 되며, 압력 또한 계속적으로 변한다. 따라서, 신발 발자국 압력 이미지는 신발의 전체의 이미지를 포함하고 있지 않으므로 상기 연속적인 신발 발자국 이미지를 왼발과 오른발을 구분하고 상기 왼발 및 오른발 각각의 신발 발자국 이미지를 생성한다.
그레이스케일 신발 발자국 이미지를 이용할 수 있을 뿐만 아니라 그레이스케일 신발 발자국 압력 이미지를 이용하여 이진이미지를 생성하고, 상기 이진이미지를 이용하여 사용자를 인식할 수도 있다.
상기 그레이스케일 이미지 또는 이진이미지는 레이블이 부착된 신발 발자국 압력 이미지의 중심점을 탐색하고, 상기 중심점을 상기 신발 발자국 압력 이미지의 프레임을 따라 추적하여 첫 번째 발과 두 번째 발을 구분하고, 상기 구분한 첫 번째 발과 두 번째 발의 0이 아닌 픽셀 별 입력 값을 이용하여 상기 각 발의 시작시간과 종료시간을 산출하고, 걸음걸이의 방향을 이용하여 상기 구분한 각 발이 왼발 또는 오른발 중 어디에 해당하는 지를 판단하여, 상기 각 발의 시작시간과 종료시간 동안의 신발 발자국 압력 이미지를 이용하여 생성할 수 있다.
상기 언급한 바와 같이, 사용자가 걸어가면서 감지되어 입력받은 신발 발자국 압력 이미지는 발 전체의 이미지가 아니므로 상기 신발 발자국 압력 이미지들을 이용하여 발 전체의 신발 발자국 이미지를 생성하여야 한다. 이를 위하여 우선, 상기 연속된 신발 발자국 압력 이미지를 구별하기 위하여 레이블을 부착한다. Equivalence class 방법으로 각 신발 발자국 압력 이미지의 블럽(blob, binary large object)에 대한 레이블링을 수행할 수 있다.
상기 신발 발자국 압력 이미지에 레이블을 부착한 후, 레이블이 부착된 신발 발자국 이미지의 중심점(COA, Center of Area)를 탐색할 수 있다.
상기 중심점을 상기 신발 발자국 압력 이미지의 프레임을 따라 추적하여 첫 번째 발과 두 번째 발을 구분할 수 있다. 처음으로 입력받은 즉, 첫 번째 발을 내딛는 프레임(시간) tFIRST , START에서의 중심점으로부터 다음 프레임에서의 중심점을 계속 추적한다. 상기 추적과정에서 발의 최대 크기인 임계값 LMAX _ FOOT을 이용하여 상기 각 중심점들이 첫 번째 발의 중심점인지 두 번째 발의 중심점인지 구분할 수 있다. 또한, 상기 추적하는 중심점이 임계거리 이상 변화하는지 여부를 판단하여 구분할 수 있다. 발은 연결되어 있으므로 갑자기 중심점이 변할 수 없는 것을 이용하는 것이다.
상기 중심점에 대한 각 발의 구분이 완료되면, 상기 구분한 첫 번째 발과 두 번째 발의 0이 아닌 픽셀 별 입력 값을 이용하여 상기 각 발의 시작시간과 종료시간을 산출할 수 있다. 사람이 걸을 때 지면에서 떨어져 있던 발이 지면에 닿는 시간을 상기 시작시간이고, 상기 지면에 닿은 발이 다시 지면에서 떨어지는 시간을 상기 종료시간이다. 첫 번째 발과 두 번째 발의 시작시간인 tFIRST , START, tSECOND , START와 종료시간인 tFIRST,END, tSECOND , END를 산출한다. 상기 구분한 각 발의 영역에서 0이 아닌 픽셀값(nonzero 픽셀)을 측정하여 찾는다. 0이 아닌 픽셀 별 입력 값이 생기기 시작한 시간이 상기 시작시간이고 0이 아닌 픽셀 별 입력 값이 없어지는 시간이 상기 종료시간이 될 수 있다. 참고로 사용자가 뛰지 않는 경우, 상기 각 시간은 항상 다음 수학식 1의 관계를 만족한다.
Figure 112012049116312-pat00001
상기 각 발의 시작시간과 종료시간을 산출하고, 걸음걸이의 방향을 이용하여 상기 구분한 각 발이 왼발 또는 오른발 중 어디에 해당하는 지를 판단하여 상기 각 발의 시작시간과 종료시간 동안의 신발 발자국 압력 이미지를 이용하여 각 발의 그레이스케일 이미지 또는 이진이미지를 생성할 수 있다. 걸음걸이 방향을 중심으로 왼쪽에 중심점이 있는 발이 왼발이 되고, 오른쪽에 있는 발이 오른발이 되므로 이를 이용하여 상기 구분한 각 발을 왼발인지 오른발인지 판단한다. 상기 각 발의 이진이미지는 그레이 스케일의 신발 발자국 압력 이미지를 이용하여 픽셀 별 입력 값이 존재하고, 상기 픽셀 별 입력 값이 존재하는 포인트가 각 발의 영역 내에 존재하는 경우 1이고 나머지는 0으로 구분하여 이진이미지를 생성할 수 있다. 상기 이진이미지를 생성하는 방법은 다음 수학식 2와 같다.
Figure 112012049116312-pat00002
여기서 F(x,y,t)는 연속적인 시간 축, t 상의 그레이-스케일의 신발 발자국 압력 이미지이고, Bi(x,y,t)는 이진이미지이다. Bi(x,y,t)는 BLEFT(x,y,t)와 BRIGHT(x,y,t)가 있다.
신발 발자국 이미지 생성부(110)는 각 발의 그레이스케일 이미지 또는 이진이미지가 생성되면, 상기 생성된 이진이미지를 이용하여 상기 왼발 신발 발자국 이미지와 오른발 신발 발자국 이미지를 생성할 수 있다. 상기 각 발에 대해 생성한 이진이미지 Bi(x,y,t)는 t 시간 동안의 신발 발자국 압력 이미지이므로 상기 t 시간 동안의 신발 발자국 압력이미지의 평균을 산출하여 각 발의 신발 발자국 이미지를 생성할 수 있다. 상기 신발 발자국 이미지를 생성하는 식을 다음 수학식 3과 같다.
Figure 112012049116312-pat00003
여기서 FEIi는 각 발의 신발 발자국 에너지 이미지이다.(i는 LEFT 또는 RIGHT) 각 발의 시작시간부터 종료시간까지의 이진이미지를 합산하여 산출한 평균이 해당 발의 신발 발자국 에너지 이미지가 될 수 있다.
사용자의 인식을 위해 신발 발자국 압력 이미지로부터 상기 신발 발자국 에너지 이미지뿐만 아니라 걸음걸이 에너지 이미지(GEI, Gait Energy Image), 모션 실루엣 윤곽 이미지(MSCT, Motion Silhouette Contour Templates), 또는 모션 실루엣 이미지(MSI, Motion Silhouette Image)를 이용할 수 있다.
모션 실루엣 윤곽 이미지(MSCT, Motion Silhouette Contour Templates)는 상기 각 신발 발자국 압력 이미지의 프레임의 윤곽을 결합한 것이다. MSCT는 다음 수학식 4와 같다.
여기서 Ci(x,y,t)는 신발 발자국 압력 이미지의 윤곽의 형태를 나타내는 형태로 변형한 윤곽 이미지이다. αi는 감쇠 파라미터이다. 신발 발자국 인식에서 MSCT를 이용하기 위하여 αi는 상기 각 발이 지면과 접하는 시간인 Ni에 의해 정해진다. 나아가, αi가 i 번째 발에 대한 Ni인 경우, Ci(x,y,t)는 i 번째 발의 모든 윤곽을 나타낸다.
MSCT를 이용하는 경우에는 이진이미지를 생성한 후 각 윤곽 이미지 Ci(x,y,t)를 생성하는 단계를 더 포함할 수 있다. 윤곽을 찾기 위하여 이웃하는 픽셀의 현재 픽셀로부터의 체비쉐프(chebyshev) 거리가 3보다 작거나 같은 경우 현재 픽셀을 윤곽을 형성하는 픽셀로 결정함으로써 윤곽을 찾을 수 있다.
모션 실루엣 이미지(MSI, Motion Silhouette Image)는 상기 신발 발자국 압력 이미지의 윤곽을 결합한 것이다.MSI는 다음 수학식 5와 같다.
Figure 112012049116312-pat00005
여기서 Bi는 수학식 1의 Bi와 같고, αi는 수학식 5의 αi와 같다.
신발 발자국 이미지 생성부(110)는 상기 생성된 신발 발자국 이미지의 방향과 걸음걸이 방향이 일치되도록 상기 신발 발자국 이미지를 회전할 수 있다. 사람이 걸어갈 때 사람의 두 발은 평행하지 않고 약간 앞쪽이 벌어지는 형태로 걸어가게 된다. 상기 벌어지는 각도는 사람마다 상이하고 동일한 사람이더라도 상황에 따라 상이할 수 있다. 상기 신발 발자국 이미지와 참조이미지의 상기 각도가 상이한 경우, 비교가 어려울 수 있는바, 일괄적으로 걸음걸이의 방향과 일치하는 방향으로 상기 각 발의 신발 발자국 이미지를 회전시킬 수 있다. 신발 발자국은 장축과 단축이 있으며, 양발의 장축이 평행하도록 하도록 할 수 있다. 따라서, 신발 발자국 이미지의 장축을 산출하고, 상기 장축을 걸음걸이의 방향과 일치시킨다. 상기 장축을 판단하기 위하여, 공분산 행렬을 이용하여 상기 생성된 신발 발자국 이미지의 고유벡터와 고유값을 산출하고, 상기 고유벡터들 중 상기 고유값이 보다 큰 고유벡터를 장축으로 판단한다. 상기 고유벡터들 중 상기 고유값이 보다 작은 고유벡터는 단축이 된다. 상기 판단된 장축과 상기 걸음걸이 방향 간의 각도의 차이를 이용하여 상기 생성된 신발 발자국 이미지의 방향과 걸음걸이 방향이 일치하도록 상기 신발 발자국 이미지를 회전시킨다. 상기 공분산 행렬은 다음 수학식 6과 같다.
Figure 112012049116312-pat00006
여기서, HL은 공분산 행렬이고, L(x',y')은 (x',y') 위치에서의 영상 L의 픽셀 값이다.
신발 발자국 이미지 생성부(110)는 상기 회전된 신발 발자국 이미지들의 중심점을 동일한 위치로 조정할 수 있다. 신발 발자국 이미지를 동일한 방향으로 일치시킨 후, 비교를 더욱 효율적으로 하기 위하여 비교에 사용되는 중심점을 각 신발 발자국 이미지 모두 동일한 위치로 조정할 수 있다. 상기 중심점이 신발 발자국 이미지마다 동일한 위치에 있는 경우, 이미지의 비교가 빨라질 수 있어, 빠른 시간 내에 동일한 이미지를 탐색할 수 있다. 상기 중심점을 조정하는 위치는 상기 이미지의 중앙일 수 있다.
사용자 인식부(120)는 신발 발자국 이미지 생성부(110)에서 생성된 신발 발자국 이미지를 이용하여 참조 이미지와의 유사도 또는 비유사도를 산출하여 사용자를 인식한다. 상기 유사도뿐만 아니라 비유사도를 이용할 수도 있다. 즉, 유사도가 최대인 참조이미지 또는 비유사도가 최소인 참조이미지와 상기 발자국 에너지 이미지를 비교하여 상기 발자국 에너지 이미지의 사용자를 인식할 수 있다. 유사도와 비유사도는 서로 대응되는 개념으로 유사도를 이용하는 구성으로부터 비유사도를 이용하는 구성을 쉽게 알 수 있는바, 이하에서는 유사도를 이용하는 구성을 중심으로 설명하도록 한다.
보다 구체적으로, 상기 유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도이고, 상기 발자국 가중치는 신발 발자국 이미지 생성부(110)에서 생성된 신발 발자국 이미지와 유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출된다.
상기와 같이, 신발 발자국 이미지의 유사도는 신발 발자국 참조 이미지 및 맨발 발자국 참조 이미지와의 유사도 산출, 즉 두 번의 유사도 산출을 통해 얻어진다.
상기 참조 이미지는 사용자가 미리 등록하여 데이터베이스와 같은 저장매체에 저장되어 있을 수 있다. 상기 참조이미지는 등록하고자 하는 사용자가 압력 센서 위를 맨발로 걸으면서 얻어진 연속적인 맨발 발자국 압력 이미지와 신발을 신고 걸으면서 얻어진 연속적인 신발 발자국 압력 정보를 이용하여 발자국 이미지를 생성하고, 각각 해당 데이터베이스에 저장할 수 있다.
먼저 신발 발자국 이미지와의 유사도 산출은 상기 신발 발자국 이미지 생성부(110)가 생성한 왼발 신발 발자국 이미지와 왼발 참조이미지와의 유사도 및 오른발 신발 발자국 이미지와 오른발 참조이미지와의 유사도를 산출할 수 있다.
보다 구체적으로, 상기 생성된 신발 발자국 이미지를 이용하여 상기 신발 발자국 이미지가 어떤 사용자의 신발 발자국 이미지인지를 판단할 수 있다. 이를 위하여 상기 각 발의 신발 발자국 이미지를 각 발의 참조이미지와 비교한다. 상기 참조이미지는 미리 인식하고자 하는 사용자들의 신발 발자국 이미지를 생성하여 저장하고 있는 신발 발자국 이미지다. 상기 참조이미지는 신발 발자국 이미지 데이터 베이스에 저장되어 있을 수 있다. 상기 참조이미지는 왼발 참조이미지와 오른발 참조이미지가 있을 수 있다. 상기 왼발 신발 발자국 이미지는 왼발 참조이미지와 유사도를 산출하고, 상기 오른발 신발 발자국 이미지는 오른발 참조이미지와 유사도를 산출한다.
상기 유사도는 k-근접 이웃 알고리즘(kNN, k-Nearest Neighbor)을 이용하여 산출할 수 있다. 상기 k-근접 이웃 알고리즘을 이용함에 있어서, 우선 상기 생성된 신발 발자국 이미지 T와 참조이미지 R과의 거리 D(R,T)를 산출하고, 이 거리값에 대해 k-근접 이웃 알고리즘을 이용하여 인식률을 측정한다. 상기 D(R,T)를 산출하는 방법은 다음 수학식 7과 같다.
Figure 112012049116312-pat00007
여기서 H는 이미지의 높이이고, W는 이미지의 너비이다. 상기 각 발마다 k-근접 이웃 알고리즘(kNN, k-Nearest Neighbor)을 이용하여 유사도를 산출할 수 있다.
두 번째, 상기 신발 발자국 이미지와 맨발 발자국 참조 이미지와의 유사도 산출을 위해 발자국 가중치를 이용한다.
보다 구체적으로, 상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계값을 이용하여 산출되고, 상기 발자국 가중치는 수학식 8과 같다.
Figure 112012049116312-pat00008
여기서, 상기 x, y는 픽셀의 위치이고, Thlevel은 임계 값이며, 상기 임계 값은 맨발 발자국 참조 이미지의 모양과 값에 의해 정해진다.
Figure 112012049116312-pat00009
는 특정 사용자 Ui의 맨발 발자국 참조 이미지의 평균을 의미한다. 수학식 8과 같이
Figure 112012049116312-pat00010
가 Thlevel보다 작은 경우, 발자국 가중치는 1을 적용하고, 이
Figure 112012049116312-pat00011
가 Thlevel보다 큰 경우에는 상기 수학식 8과 같이 임계값을 이용하여 산출한 발자국 가중치를 적용한다. 상기 발자국 가중치를 적용함으로써, 맨발 발자국 이미지와 유사도를 산출하기 적합한 형태로 변형된 신발 발자국 이미지를 생성할 수 있다.
상기 신발 발자국 이미지에 상기 발자국 가중치를 적용하기 전에, 맨발 발자국 이미지와의 유사도 측정을 위해, 상기 신발 발자국 이미지가 기준점이 불확실한 저해상도 이미지인 경우, 상기 맨발 발자국 이미지와 중심점과 회전각도를 맞출 수 있다. 기준점인 특징점을 추출하기 쉬운 이미지인 경우, 상기 특징점을 이용하여 참조이미지와의 유사도를 쉽게 산출할 수 있으나, 기준점이 불확실한 저해상도 이미지의 경우, 다음과 같은 방법을 통해 참조이미지와의 유사도를 산출할 수 있다. 즉, 상기 중심점과 회전각도를 맞추기 위하여 상기 신발 발자국 이미지의 중심점과 회전각도를 조정할 수 있다.
보다 구체적으로, 저해상도 이미지는 상기 이미지가 촬영될 때의 위치나 촬영된 각도에 의해서 참조이미지와 바로 정확한 비교가 어려울 수 있다. 고해상도 이미지의 경우 이미지의 특징점의 활용이 가능하므로 상기 특징점을 이용하여 참조이미지와의 비교가 가능하나, 저해상도 이미지의 경우에는 저해상도의 특성상 특징점을 이용하여 참조이미지와 비교하기가 어렵다. 따라서, 상기 저해상도 이미지와 참조이미지의 비교를 위해선 비교를 위해 저해상도 이미지를 이동시키고 회전시켜 비교할 수 있는 상태로 만들어야 한다.
우선, 저해상도 이미지를 상하좌우로 이동시킴으로써 상기 이미지를 참조이미지와 비교할 수 있도록 중심점을 조정할 수 있다.
상기 신발 발자국 이미지를 이동시키는 거리, 즉 이동거리는 상기 신발 발자국 이미지와 맨발 발자국 참조이미지 간에 최소의 거리차이를 가질 수 있는 2차원 병진이동 변환 벡터를 이용한다. 상기 2차원 병진이동 변환벡터는 다음 수학식 9와 같다.
Figure 112012049116312-pat00012
상기 R은 참조이미지이고, 상기 T는 기준점이 불확실한 저해상도 이미지다. Xk(x)는 x로부터 체비쉐프(chebyshev distance) 값이 k 이하인 값들의 집합이다. 상기 수학식 9로부터 최적의 x*를 찾아 상기 이미지를 이동시키는 거리로 사용할 수 있다.
상기 저해상도 신발 발자국 이미지의 초기 중심점을 설정하고, 상기 신발 발자국 이미지의 현재위치에서의 유사도와 이동범위 내 다음위치에서의 유사도를 산출하고, 상기 다음위치에서의 유사도의 최대값이 상기 현재위치에서의 유사도보다 큰 경우 상기 유사도가 최대인 이미지를 상기 다음위치로 이동시키고, 상기 이미지의 이동거리와 방향에 따라 상기 설정된 중심점을 조정하며, 상기 현재위치에서의 유사도가 상기 다음위치에서의 유사도의 최대값보다 크거나 같을 때까지 중심점을 조정한다.
상기 초기 중심점은 맨발 발자국 참조이미지를 고려하지 않고 상기 저해상도 신발 발자국 이미지만의 중심점으로 설정한다. 상기 중심점은 COA(Center of Area)를 설정하는 방법을 이용한다. 상기 COA는 이미지의 무게중심을 산출하여 상기 무게중심을 상기 중심점으로 이용할 수 있다.
상기 초기 중심점을 설정한 후, 상기 신발 발자국 이미지의 중심점을 상기 참조이미지와 비교할 수 있는 중심점으로 조정하기 위하여 상기 유사도를 이용한다. 현재위치에서의 유사도와 이동범위 내 다음위치에서의 유사도를 산출한다.
이동을 시작하는 처음의 경우에 상기 다음위치는 현재위치에서 상기 이동거리만큼 상하좌우, 대각선 여덟 방향으로 체비셰프 거리 k만큼 이동이 가능하므로 (2k+1)2 - 1 = 4k2 + 4k 개의 다음위치가 있을 수 있다. 따라서 이동대상 위치를 선정할 경우에는 4k2 + 4k 위치에서의 유사도를 산출한 뒤 유사도가 최대인 방향으로 다음 이동위치를 결정하게 된다.
상기 산출한 현재위치에서의 유사도와 다음위치에서의 유사도를 비교하여 상기 다음위치에서의 유사도가 상기 현재위치에서의 유사도보다 큰 경우 상기 신발 발자국 이미지를 상기 유사도가 최대인 다음위치로 이동시킨다. 상기 다음위치에서의 유사도 상기 현재위치에서의 유사도보다 크다는 것은 현재 위치보다 다음위치에서의 신발 발자국 이미지와 맨발 발자국 참조이미지와의 비교가 정확하다는 것을 의미하므로 상기 신발 발자국 이미지를 상기 다음위치로 이동시킨다. 상기 현재위치에서의 유사도가 상기 다음위치에서의 유사도보다 크거나 같을 경우 현재위치에서의 신발 발자국 이미지와 상기 맨발 발자국 참조이미지와 비교가 정확한 것이므로 이동을 종료한다.
상기 신발 발자국 이미지를 다음위치로 이동시키는 경우, 상기 중심점 또한 이동시켜 상기 중심점을 조정한다. 상기 신발 발자국 이미지의 이동거리와 방향에 따라 상기 중심점을 이동시켜 중심점을 조정한다. 상기 현재위치에서의 유사도가 상기 다음위치에서의 유사도보다 크거나 같을 경우 중심점 조정을 종료한다.
상기 이미지를 이동하는 거리는 체비셰프 거리값의 설정에 따라 변화할 수도 있다. 이동 초기에는 작은 체비셰프 거리 값으로 상기 이미지를 이동시키면서 중심점을 조정하고, 상기 초기 이동거리에 따른 중심점의 조정이 종료되면 상기 체비셰프 거리값을 증가시켜 다시 상기 이미지를 이동시키면서 국소점 또는 지역 최소점에 도착해 더 이상의 이동이 제한되는 것을 회피할 수도 있다. 또는, 상기 이미지의 크기를 고려해 최종적으로 이동가능한 거리를 예상하고 이 값을 체비셰프 거리로 활용함으로써 처음부터 큰 체비셰프 거리를 이용할 수도 있다. 체비셰프 거리가 커지면 확인대상 영역 또한 커지지만 추후 반복회수가 줄어드는 효과가 있을 수 있다. 또한 체비셰프 거리가 작아지면 반복회수는 늘어나지만 불필요한 확인 과정을 줄일 수 있다.
상기 조정된 중심점을 중심으로 상기 유사도가 최대가 되도록 상기 신발 발자국 이미지를 회전시켜 회전각도를 조정한다.
보다 구체적으로, 신발 발자국 이미지를 회전하여 참조이미지와 비교할 수 있는 신발 발자국 이미지로 조정하기 위하여 상기 신발 발자국 이미지의 회전각도를 조정한다.
상기 신발 발자국 이미지를 회전시키는 회전각도는 최대의 유사도 값을 갖는 회전각도이고 2차원 그레이스케일 이미지의 선형 보간을 이용하여 상기 회전각도를 산출한다. 상기 회전각도는 다음 수학식 10와 같다.
Figure 112012049116312-pat00013
상기 Ibilinear는 2차원 그레이스케일 이미지의 선형 보간이다.
상기 신발 발자국 이미지의 현재회전각도에서의 유사도와 상기 중심점 조정부가 조정한 중심점을 중심으로 상기 신발 발자국 이미지의 회전범위 내 다음회전각도에서의 유사도를 산출하고, 상기 다음회전각도에서의 최대 유사도 값이 상기 현재회전각도에서의 유사도보다 큰 경우 상기 신발 발자국 이미지를 상기 유사도가 최대인 다음회전각도로 회전시켜 상기 이미지의 회전각도를 조정하며, 상기 현재회전각도에서의 유사도가 상기 다음회전각도에서의 최대 유사도 값보다 크거나 같을 때까지 상기 신발 발자국 이미지의 회전각도를 조정한다.
상기 산출한 현재회전각도에서의 유사도와 다음회전각도에서의 유사도를 비교하여, 상기 다음회전각도에서의 최대 유사도 값이 상기 현재회전각도에서의 유사도보다 큰 경우 상기 신발 발자국 이미지를 상기 다음 회전각도로 회전시켜 상기 이미지의 회전각도를 조정한다. 상기 다음회전각도에서의 최대 유사도 값이 상기 현재위치에서의 유사도보다 큰 경우, 상기 다음회전각도에서 상기 이미지와 상기 참조이미지와의 비교가 정확한 것이므로 상기 신발 발자국 이미지를 회전시켜 회전각도를 조정한다.
상기 현재회전각도에서의 유사도가 상기 다음회전각도에서의 최대 유사도 값보다 크거나 같은 경우, 상기 현재회전각도에서의 비교가 정확하므로 상기 신발 발자국 이미지의 회전을 종료한다.
상기 이미지를 이동하는 회전각도의 범위 및 또는 정밀도는 변화할 수도 있다. 특히 보다 더 정밀한 회전각도를 찾고자 할 경우 초기에는 1도 간격으로 -5도에서 5도 범위의 회전각도들에 대한 비유사도를 산출하고, 그 중 비유사도 값이 최소인 회전각도 θ 주변에서 다시 0.1도 간격으로 θ - 0.5도에서 θ + 0.5도에 대해 비유사도 값을 확인할 수도 있다.
상기 유사도가 최대가 될 때까지 상기 중심점의 조정과 상기 회전각도의 조정을 반복한다. 현재위치에서의 유사도가 최대로 판단된 경우에 상기 신발 발자국 이미지와 상기 맨발 발자국 참조이미지를 비교하기 가장 적합한 위치와 각도인 것이므로 중심점 조정 및 회전각도 조정을 종료하고, 발자국 가중치를 적용하여 유사도를 산출한다.
또한, 상기 발자국 가중치가 적용된 신발 발자국 이미지와 맨발 발자국 참조 이미지의 유사도를 산출한다. 유사도의 산출은 상기 신발 발자국 이미지와 신발 발자국 참조 이미지와의 유사도 산출과 동일한 방법에 의해 산출된다.
상기 유사도 산출이 수행된 후, 상기 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도와 맨발 발자국 참조 이미지와의 유사도를 합산한 결과를 이용하여 가장 유사도의 합이 큰 참조이미지의 사용자를 상기 입력받은 신발 발자국 압력 이미지의 사용자로 인식한다.
보다 구체적으로, 상기 신발 발자국 이미지와 상기 신발 발자국 참조 이미지와의 유사도 및 상기 신발 발자국 이미지와 상기 맨발 발자국 참조 이미지와의 유사도를 종합하여 사용자를 인식한다. 상기 두 유사도를 이용하기 위하여 사용자의 각 발, 즉 왼발과 오른발의 각 유사도를 사용자마다 합산할 수 있다. k-근접 이웃 알고리즘을 이용해 상기 유사도를 계산하는 방법은 다음 수학식 11과 같다.
Figure 112012049116312-pat00014
Figure 112012049116312-pat00015
Figure 112012049116312-pat00016
여기서, us(i,j)는 (i,j) 발자국 이미지에 대한 k-근접 이웃 알고리즘 적용시 참조이미지 s에 대한 득표수이고, VN(i,j)는 상기 참조이미지들의 득표수들의 조합된 결과이다. 상기 us(i,j)의 i는 신발 또는 맨발이고, j는 왼발 또는 오른발이다. 즉 us(i,j)는 i와 j 값에 의해 4개의 값이 나올 수 있다. 그리고 매번 k번의 투표가 이루어지므로, k는
Figure 112012049116312-pat00017
이다. 각 참조이미지에 대한 득표수는 0부터 k까지일 수 있다. 상기 득표수가 클수록 해당 발자국 이미지의 사용자일 확률이 높다. 예를 들어 설명하면, 2명의 사용자를 대상으로 사용자 인식을 수행할 때, 참조이미지의 수 N은 2, K도 2라고 가정하자. 상기 us(i,j)의 값이 [u0(shoe, left)=2, u1(shoe, left)=0, u0(shoe, right)=1, u1(shoe, right)=1, u0(bare, left)=2, u1(bare, left)=0, u0(bare, right)=1, u1(bare, right)=1]와 같은 결과가 나온 경우
Figure 112012049116312-pat00018
= [6, 2] 이고, 두 사용자 중 u0가 합산 득표수 값이 보다 크므로 상기 신발 발자국 이미지의 사용자는 참조이미지 u0의 사용자인 것으로 인식한다.
도 2는 본 발명의 다른 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식장치의 블록도이다.
사용자가 압력센서(210) 위를 신발을 신고 걸음으로써 입력되는 신발 발자국 압력 값을 이용하여 신발 발자국 이미지 생성부(220)는 신발 발자국 이미지를 생성한다. 사용자를 인식하기 위하여 상기 생성된 신발 발자국 이미지를 신발 발자국 참조이미지 및 맨발 발자국 참조이미지와 각각의 유사도를 산출한다. 상기 신발 발자국 이미지를 신발 발자국 데이터베이스에 저장된 신발 발자국 참조이미지와 kNN(k-근접 이웃 알고리즘)을 이용하여 유사도를 산출하고, 상기 신발 발자국 이미지를 맨발 발자국 데이터베이스에 저장된 맨발 발자국 참조이미지와 kNN(k-근접 이웃 알고리즘)을 이용하여 유사도를 산출한다. 상기 맨발 발자국 참조 이미지와의 유사도를 산출하기 위하여 우선 중심점 및 회전 각도를 조정(230)할 수 있다. 또한, 신발 발자국 이미지와 맨발 발자국 이미지의 유사도를 산출하기 위하여 발자국 가중치를 부여(240)한다. 상기 가중치가 부여된 신발 발자국 이미지와 상기 맨발 발자국 참조이미지와 유사도를 산출한다. 상기 산출된 신발 발자국 이미지와 신발 발자국 참조이미지의 유사도 및 상기 산출된 신발 발자국 이미지와 맨발 발자국 참조이미지의 유사도를 합산하여 사용자를 인식한다.
도 3은 본 발명의 일 실시예에 따른 신발 발자국 이미지를 이용한 사용자 인식방법의 흐름도이다.
310단계는 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성한다.
보다 구체적으로, 사용자가 신발을 신고 압력센서를 위를 걸어감으로써 생성되는 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성한다. 본 단계에 대한 상세한 설명은 도 1의 신발 발자국 이미지 생성부(110)에 대한 상세한 설명에 대응하는바, 도 1의 신발 발자국 이미지 생성부(110)에 대한 상세한 설명으로 대신한다.
320단계는 상기 생성된 신발 발자국 이미지와 참조 이미지와의 유사도를 산출하는 단계이다.
보다 구체적으로, 상기 유사도는 상기 310단계에서 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도이고, 상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출된다. 상기 유사도는 k-근접 이웃 알고리즘(kNN)을 이용하여 산출할 수 있다. 본 단계에 대한 상세한 설명은 도 1의 사용자 인식부(120)의 유사도 산출에 대한 상세한 설명에 대응하는바, 도 1의 사용자 인식부(120)에 대한 상세한 설명으로 대신한다.
330단계는 상기 산출한 유사도를 이용하여 사용자를 인식하는 단계이다.
보다 구체적으로, 상기 320단계에서 산출한 상기 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도와 맨발 발자국 참조 이미지와의 유사도를 합산한 결과를 이용하여 가장 유사도의 값이 가장 큰 참조이미지의 사용자를 상기 입력받은 신발 발자국 압력 이미지의 사용자로 인식한다. 본 단계에 대한 상세한 설명은 도 1의 사용자 인식부(120)의 사용자 인식에 대한 상세한 설명에 대응하는바, 도 1의 사용자 인식부(120)에 대한 상세한 설명으로 대신한다.
도 4는 본 발명의 다른 실시예에 따른 신발 발자국 이미지를 생성하는 단계의 흐름도이다.
410단계는 상기 입력받은 신발 발자국 압력 이미지의 중심점을 추적함으로써 왼발과 오른발을 구분하고 각 발의 이진이미지를 생성하는 단계이다.
보다 구체적으로, 상기 신발 발자국 압력 이미지로부터 사용자의 왼발과 오른발을 구분하고, 상기 이미지를 각 발의 이진이미지로 생성한다. 본 단계에 대한 상세한 설명은 도 1의 신발 발자국 이미지 생성부(110)의 이진이미지 생성에 대한 상세한 설명에 대응하는바, 도 1의 신발 발자국 이미지 생성부(110)에 대한 상세한 설명으로 대신한다.
420단계는 상기 생성된 각 발의 이진이미지를 이용하여 상기 왼발 발자국 이미지와 상기 오른발 발자국 이미지를 생성하는 단계이다.
보다 구체적으로, 상기 신발 발자국 압력 값들에 대해 각 프레임 정보를 각 발의 이진이미지로 생성하고, 상기 각 발의 이진이미지를 이용하여 상기 각 발의 신발 발자국 이미지를 생성한다. 본 단계에 대한 상세한 설명은 도 1의 신발 발자국 이미지 생성부(110)에 대한 상세한 설명에 대응하는바, 도 1의 신발 발자국 이미지 생성부(110)에 대한 상세한 설명으로 대신한다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 신발 발자국 이미지 생성부
120: 사용자 인식부
210: 압력 센서
270: 맨발 발자국 데이터베이스
280: 신발 발자국 데이터베이스

Claims (11)

  1. 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성하는 단계;
    상기 생성된 신발 발자국 이미지와 참조 이미지와의 유사도 또는 비유사도를 산출하는 단계; 및
    상기 산출한 유사도 또는 비유사도를 이용하여 사용자를 인식하는 단계를 포함하고,
    상기 유사도 또는 비유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 또는 비유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도 또는 비유사도이고,
    상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도 또는 비유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출되는 것을 특징으로 하는 사용자 인식방법.
  2. 제 1 항에 있어서,
    상기 발자국 가중치는,
    상기 임계 값보다 작은 값을 갖는 상기 맨발 발자국 참조 이미지들의 평균 이미지의 픽셀에 대해 상기 픽셀 별 입력 값과 상기 임계 값을 이용한 가중치를 부여하는 것을 특징으로 하는 사용자 인식방법.
  3. 제 1 항에 있어서,
    상기 사용자를 인식하는 단계는,
    상기 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도와 맨발 발자국 참조 이미지와의 유사도를 합산한 결과를 이용하여 가장 유사도의 합이 큰 참조이미지의 사용자를 상기 입력받은 신발 발자국 압력 이미지의 사용자로 인식하는 것을 특징으로 하는 사용자 인식방법.
  4. 제 1 항에 있어서,
    상기 신발 발자국 이미지를 생성하는 단계는,
    상기 입력받은 신발 발자국 압력 이미지의 중심점을 추적함으로써 왼발과 오른발을 구분하고 각 발의 이진이미지를 생성하는 단계; 및
    상기 생성된 각 발의 이진이미지를 이용하여 상기 왼발 발자국 이미지와 상기 오른발 발자국 이미지를 생성하는 단계를 포함하는 사용자 인식방법.
  5. 제 1 항에 있어서,
    상기 유사도를 산출하는 단계는,
    k-근접 이웃 알고리즘(kNN)을 이용하여 상기 유사도를 산출하는 것을 특징으로 하는 사용자 인식방법.
  6. 제 1 항 내지 제 5 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  7. 신발 발자국 압력 이미지를 입력받아 신발 발자국 이미지를 생성하는 신발 발자국 이미지 생성부;
    상기 생성된 신발 발자국 이미지를 이용하여 참조 이미지와의 유사도 또는 비유사도를 산출하여 사용자를 인식하는 사용자 인식부를 포함하고,
    상기 유사도 또는 비유사도는 상기 생성된 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도 또는 비유사도 및 발자국 가중치를 이용하여 산출된 신발 발자국 이미지의 맨발 발자국 참조 이미지와의 유사도 또는 비유사도이고,
    상기 발자국 가중치는 상기 생성된 신발 발자국 이미지와 유사도 또는 비유사도를 산출하고자 하는 사용자의 맨발 발자국 참조 이미지에 따른 임계 값을 이용하여 산출되는 것을 특징으로 하는 사용자 인식장치.
  8. 제 7 항에 있어서,
    상기 발자국 가중치는,
    상기 임계 값보다 작은 값을 갖는 상기 맨발 발자국 참조 이미지의 픽셀에 대해 상기 픽셀 별 입력 값과 상기 임계 값을 이용한 가중치를 부여하는 것을 특징으로 하는 사용자 인식장치.
  9. 제 7 항에 있어서,
    상기 사용자 인식부는,
    상기 신발 발자국 이미지의 신발 발자국 참조 이미지와의 유사도와 맨발 발자국 참조 이미지와의 유사도를 합산한 결과를 이용하여 가장 유사도의 합이 큰 참조이미지의 사용자를 상기 입력받은 신발 발자국 압력 이미지의 사용자로 인식하는 것을 특징으로 하는 사용자 인식장치.
  10. 제 7 항에 있어서,
    신발 발자국 이미지 생성부는,
    상기 입력받은 신발 발자국 압력 이미지의 중심점을 추적함으로써 왼발과 오른발을 구분하고 이진이미지를 생성하고, 상기 생성된 이진이미지를 이용하여 상기 왼발 발자국 이미지와 상기 오른발 발자국 이미지를 생성하는 것을 특징으로 하는 사용자 인식장치.
  11. 제 7 항에 있어서,
    상기 유사도는,
    k-근접 이웃 알고리즘(kNN)을 이용하여 산출하는 것을 특징으로 하는 사용자 인식장치.
KR1020120066189A 2012-06-20 2012-06-20 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치 KR101288949B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120066189A KR101288949B1 (ko) 2012-06-20 2012-06-20 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120066189A KR101288949B1 (ko) 2012-06-20 2012-06-20 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101288949B1 true KR101288949B1 (ko) 2013-07-24

Family

ID=48997899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120066189A KR101288949B1 (ko) 2012-06-20 2012-06-20 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101288949B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN112115909A (zh) * 2020-09-27 2020-12-22 大连海事大学 一种基于区域加权梯度分布的足迹表达方法
CN113139555A (zh) * 2021-04-19 2021-07-20 大连海事大学 一种基于多项式拟合与直角滤波相结合的脚印几何形状表征方法
CN113569872A (zh) * 2021-08-10 2021-10-29 大连海事大学 一种基于压力显著性的多分辨穿鞋足迹序列识别方法
KR20210136429A (ko) * 2020-05-07 2021-11-17 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 차원 줄임 알고리즘을 이용한 족적의 동일성 판단 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969021A (ja) * 1991-12-13 1997-03-11 At & T Corp 人物識別方法
JP2001061817A (ja) 1999-08-27 2001-03-13 Japan Science & Technology Corp 個人識別方法及び個人識別プログラムを記録した記録媒体
JP2011002907A (ja) 2009-06-16 2011-01-06 Kansai Electric Power Co Inc:The 個人認証システム
KR20110116564A (ko) * 2010-04-19 2011-10-26 목포대학교산학협력단 Ｋｎｎ／ｆｃｍ 혼합 알고리즘을 이용한 실내 측위 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0969021A (ja) * 1991-12-13 1997-03-11 At & T Corp 人物識別方法
JP2001061817A (ja) 1999-08-27 2001-03-13 Japan Science & Technology Corp 個人識別方法及び個人識別プログラムを記録した記録媒体
JP2011002907A (ja) 2009-06-16 2011-01-06 Kansai Electric Power Co Inc:The 個人認証システム
KR20110116564A (ko) * 2010-04-19 2011-10-26 목포대학교산학협력단 Ｋｎｎ／ｆｃｍ 혼합 알고리즘을 이용한 실내 측위 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN109583452B (zh) * 2017-09-29 2021-02-19 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
KR20210136429A (ko) * 2020-05-07 2021-11-17 대한민국(관리부서: 행정안전부 국립과학수사연구원장) 차원 줄임 알고리즘을 이용한 족적의 동일성 판단 방법 및 장치
KR102364040B1 (ko) 2020-05-07 2022-02-17 대한민국 차원 줄임 알고리즘을 이용한 족적의 동일성 판단 방법 및 장치
CN112115909A (zh) * 2020-09-27 2020-12-22 大连海事大学 一种基于区域加权梯度分布的足迹表达方法
CN112115909B (zh) * 2020-09-27 2024-01-09 大连海事大学 一种基于区域加权梯度分布的足迹表达方法
CN113139555A (zh) * 2021-04-19 2021-07-20 大连海事大学 一种基于多项式拟合与直角滤波相结合的脚印几何形状表征方法
CN113139555B (zh) * 2021-04-19 2024-03-19 大连海事大学 一种脚印几何形状表征方法
CN113569872A (zh) * 2021-08-10 2021-10-29 大连海事大学 一种基于压力显著性的多分辨穿鞋足迹序列识别方法
CN113569872B (zh) * 2021-08-10 2024-03-19 大连海事大学 一种基于压力显著性的多分辨穿鞋足迹序列识别方法

Similar Documents

Publication Publication Date Title
US8724906B2 (en) Computing pose and/or shape of modifiable entities
US8824781B2 (en) Learning-based pose estimation from depth maps
US9002099B2 (en) Learning-based estimation of hand and finger pose
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
KR101933921B1 (ko) 포즈 추정 방법 및 장치
KR101288949B1 (ko) 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치
Del Rincón et al. Tracking human position and lower body parts using Kalman and particle filters constrained by human biomechanics
Chen et al. Iris segmentation for non-cooperative recognition systems
KR100860640B1 (ko) 강력한 정보 융합을 사용함으로써 다중-모델 성분에 기초하여 대상을 추적하기 위한 방법 및 시스템
Kim et al. Gait recognition using active shape model and motion prediction
US20140226864A1 (en) Camera Aided Motion Direction and Speed Estimation
JP5892663B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体
KR100828411B1 (ko) 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
KR20130013122A (ko) 객체 자세 검색 장치 및 방법
JP2012098988A (ja) 画像処理装置および方法、並びにプログラム
CN111144165B (zh) 一种步态信息识别方法、系统及存储介质
CN101770566A (zh) 快速三维人耳识别方法
KR101436884B1 (ko) 발자국 에너지 이미지를 이용한 사용자 인식방법 및 그 장치
US20170061198A1 (en) System and method for detecting feature points of face
Liu et al. 3D Human motion tracking by exemplar-based conditional particle filter
KR20220004009A (ko) 키 포인트 검출 방법, 장치, 전자 기기 및 저장 매체
KR101350387B1 (ko) 깊이 정보를 이용한 손 검출 방법 및 그 장치
Keceli et al. Recognition of basic human actions using depth information
KR102227494B1 (ko) 오브젝트의 움직임을 이용하여 사용자 입력을 처리하는 장치 및 방법
CN116385538A (zh) 一种面向动态场景的视觉slam方法、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 5