KR20120019410A - 제스처 기반 바이오메트릭 시스템의 방법 및 장치 - Google Patents

제스처 기반 바이오메트릭 시스템의 방법 및 장치 Download PDF

Info

Publication number
KR20120019410A
KR20120019410A KR1020110084803A KR20110084803A KR20120019410A KR 20120019410 A KR20120019410 A KR 20120019410A KR 1020110084803 A KR1020110084803 A KR 1020110084803A KR 20110084803 A KR20110084803 A KR 20110084803A KR 20120019410 A KR20120019410 A KR 20120019410A
Authority
KR
South Korea
Prior art keywords
finger
image
equation
similarity
wrinkles
Prior art date
Application number
KR1020110084803A
Other languages
English (en)
Other versions
KR101857287B1 (ko
Inventor
아비섹 나가르
카우식 조시암
파룩 칸
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20120019410A publication Critical patent/KR20120019410A/ko
Application granted granted Critical
Publication of KR101857287B1 publication Critical patent/KR101857287B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 손가락을 검출하기 위한 장치 및 방법을 제공하는 것으로, 손가락의 이미지를 캡쳐하는 단계, 캡쳐된 이미지로부터 손가락의 유사성 이미지를 발생시키는 단계, 유사성 이미지 내에서 손가락의 위치를 파악하는 단계, 손가락의 경계를 결정하는 단계, 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하는 단계, 및 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하는 단계를 포함한다.

Description

제스처 기반 바이오메트릭 시스템의 방법 및 장치{METHOD AND APPARATUS OF A GESTURE BASED BIOMETRIC SYSTEM}
본 발명은 휴대 단말기용 바이오메트릭 입력을 제공하기 위한 장치 및 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 휴대용 단말기용 입력으로서 제스처를 인지하기 위한 방법 및 장치에 관한 것이다.
휴대 단말기는 그 이동성과 연계하여 제공하는 부가적이고 향상된 특성들을 기반으로 점차 더 인기를 얻고 있다. 휴대 단말기에 의해 제공되는 특성들에 관한 발전이 계속하여 이루어짐에 따라, 사용자 인터페이스 설계 추세는 직관적 인터페이스와 단순한 상호작용기술들이 점차 더 인기를 끌어감을 말해 주고 있다. 예를 들어, 어떤 경우에 있어서는, 터치 스크린상의 단순한 슬라이드 인터페이스가 폰의 잠금 상태를 해제하기 위한 전통적인 터치와 가압식 인터페이스를 대체하여 왔다. 직관적 인터페이스들의 발전의 일부로서, 현재의 사용자 인증과 사용자 상호작용 메커니즘들을 증대시키기 위해 바이오메트릭 인지가 빠르고 편리한 수단으로서 개발되고 있다. 바이오메트릭 인지 또는 바이오메트릭스는 지문, 얼굴, 손, 눈의 홍채 등과 같은 생물학적 및/또는 행동적 특성을 기반으로 개인의 인지를 허용하는 연구 분야이다.
휴대 단말기로 이루어지는 사용자 상호작용은 일반적으로 2개의 기본 모드들, 즉 사용자 인증 및 사용자 입력으로 구분될 수 있다. 사용자 인증은 2개의 기본적인 목적을 갖는다. 첫 번째는 사용자의 존재를 유효화하는 것이고, 두 번째는 사용자가 폰을 사용한 권한을 갖는다는 사실을 확인하는 것이다. 사용자의 존재를 유효화하는 첫 번째 목적은 환경과 휴대 단말기의 랜덤하고 부주의한 상호작용으로 인해 숫자의 다이얼링을 피하는 것과 같은 기능의 부주의한 실행을 피하는 것이다. 이러한 기본적 기능은 현재 폰의 잠금 상태를 해제하기 위해 사용자가 2개 또는 그 이상의 특정 키들을 누를 것을 요구하여 제공되고 있다. 두 번째 목적은 라이프 스타일 장치와 같이 휴대 단말기의 다양화로 점점 더 중요해지고 있으며, 장치의 안전을 보장한다. 인증받지 못한 사용자가 사용하지 못하도록, 휴대 단말기의 사용자에게는 폰의 잠금 상태를 해제하기 위해 패스워드를 입력할 것이 요구된다. 사용자 상호작용은 현재 키 누름과 터치 스크린의 마우스 포인터로 한정되어 있다. 그러나, 이러한 터치 스크린상에서는, 장치의 작은 크기로부터 발생하는 기본적인 제한이 있다. 또한, 이러한 인터페이스는 3차원(3D) 장면 내비게이션을 요구하는 애플리케이션들에서 용이하게 사용될 수 없다.
카메라의 사용은 사용자 인터페이스를 증대시키는 것을 목적으로 해 왔다. 예를 들어, 종래 기술은 사용자가 카메라를 가로질러 손가락을 움직이면, 움직이는 방향은 장치로의 응답 입력을 결정하는 사용자 인터페이스를 개시한다. 예로써, 커서는 손가락이 움직이는 방향으로 이동될 수 있다. 종래의 시스템은 2개의 실시예들을 갖고 있다. 제1 실시예에서는, 사용자가 손가락이 카메라에 접촉하면서 카메라상에 손가락을 움직여야 한다. 이러한 실행예의 한계는 사용자가 카메라를 위치시키기가 불편하고, 특히 카메라가 휴대폰의 후방에 있는 경우에는 더 그렇다. 제2 실시예에서는, 사용자가 동일한 효과를 얻기 위해 카메라의 전방에서 손가락을 움직일 수 있다. 그러나, 시스템은 특별히 손가락을 인지하지 못할 수 있으며, 특히 배경에 잘못된 반응을 일으킬 수 있는 중대한 움직임이 있는 경우에는 더욱 그러하다.
이 시스템은 바이오메트릭 인지 문헌에 유용한 기술을 이용하여 사용자의 손가락을 인지하는 것으로 자연스럽게 확대된다. 즉, 종래기술은 유용한 바이오메트릭 인지 기술들에 대한 소모적 검토를 제공한다. 그러나, 바이오메트릭 인지 기술의 한정은 바이오메트릭 특성들을 캡쳐하기 위해 사용되는 센서들이 고품질의 캡쳐를 얻기 위해 애플리케이션에 특정되고, 따라서 휴대 단말기에서 사용되는 본래의 구성요소와 비교해 매우 비싸다는 점이다. 즉, 사용자로부터 바이오메트릭 정보를 추출하는 공지의 방법은 특수한 센서를 사용할 것을 요한다. 그러나, 이러한 특별한 센서들의 가격이 매우 높기 때문에, 이들의 사용은 휴대 단말기에서 제한된다. 따라서, 합리적인 수준에서 비용을 유지하면서 바이오메트릭 인지를 제공하는 장치 및 방법이 필요하다. 휴대 단말기들의 카메라가 보편적이라고 가정할 때, 제안되는 바이오메트릭 센싱을 결합하는 것은 복잡함을 부가하지 않고 가치를 증대시킬 것이다.
본 발명의 측면들은 적어도 상술한 문제점들 및/또는 단점들 처리하기 위한 것으로서, 적어도 하기에 기술되는 이점들을 제공하는 것이다. 따라서, 본 발명의 일 측면은 휴대 단말기용의 바이오메트릭 입력을 제공하기 위한 장치 및 방법을 제공하는 것이다.
본 발명의 다른 측면은 휴대 단말기용의 입력으로서 제스처를 인지하기 위한 장치 및 방법을 제공하는 것이다.
본 발명의 다른 측면은 휴대 단말기의 현재 유통되는 이미징 센서들을 이용하여 제스처를 인지하기 위한 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 손가락을 검출하기 위한 휴대 단말기의 방법이 제공된다. 방법은, 손가락의 이미지를 캡쳐하는 단계; 캡쳐된 이미지로부터 손가락의 유사성 이미지를 생성하는 단계; 유사성 이미지 내에서 손가락의 위치를 파악하는 단계; 손가락의 경계를 결정하는 단계; 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하는 단계; 및 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 손가락을 검출하기 위한 장치가 제공된다. 장치는, 손가락의 이미지를 캡쳐하기 위한 이미징 센서; 및 캡쳐된 이미지로부터 손가락의 유사성 이미지를 생성하고, 유사성 이미지 내에서 손가락의 위치를 파악하고, 손가락의 경계를 결정하고, 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하고, 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하기 위한 컴퓨팅 시스템을 포함한다.
본 발명은 휴대 단말기용의 바이오메트릭 입력을 제공할 수 있으며, 제스처를 휴대 단말기용의 입력으로서 인지할 수 있다. 그리고 본 발명은 휴대 단말기의 현재 유통되는 이미징 센서들을 이용하여 제스처를 인지할 수 있게 한다.
도 1은 본 발명의 일 실시예에 따른 제스처 기반 바이오메트릭 시스템을 나타낸 도면,
도 2는 본 발명의 일 실시예에 따른 바이오메트릭 시스템을 동작시키는 기본 모드들을 나타낸 도면,
도 3은 본 발명의 일 실시예에 따른 시스템 파라미터 학습 모드를 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 손가락 등록 모드를 나타낸 도면,
도 5는 본 발명의 일 실시예에 따른 손가락 추적 모드를 나타낸 도면,
도 6은 본 발명의 일 실시예에 따른 바이오메트릭 시스템에 사용되기 위한 검출 알고리즘을 나타낸 도면,
도 7a 내지 도 7c는 본 발명의 일 실시예에 따른 대략적인 위치 파악 과정을 나타낸 도면,
도 8은 본 발명의 일 실시예에 따른 휴(Hough) 변환의 결과들을 나타낸 도면,
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 손가락 경계 결정 중에 얻어지는 이미지들을 나타낸 도면,
도 10은 본 발명의 일 실시예에 따른 추출된 손가락의 돌출 프로파일을 나타낸 도면.
본 발명의 바람직한 실시예들의 또는 기타 측면들, 특성들, 및 이점들은 첨부하는 도면들과 연관되어 이루어지는 하기의 설명으로부터 명확해질 것이다.
도면들을 통해, 유사한 참조부호는 동일 또는 유사한 구성요소들, 특성들, 및 구조들을 묘사하기 위해 사용된다.
첨부한 도면들을 참조한 하기의 설명은 청구항들과 그 균등물들에 의해 정의되는 본 발명의 바람직한 실시예들의 이해를 돕기 위해 이루어진다. 이는 이해를 돕는 다양한 특정 사항들을 포함하나, 단순히 예시적인 것으로 간주된다. 따라서, 본 분야의 당업자는 본 발명의 범위 및 사상을 이탈하지 않고, 본원에 기재된 실시예들에 다양한 변형과 변경이 이루어질 수 있음을 알 수 있을 것이다. 또한, 공지된 기능들과 구성들에 대한 설명은 명료와 간결성을 위해 생략된다.
하기의 설명 및 청구항들에서 사용되는 용어들과 단어들은 문헌학상의 의미들로 한정되지 않으며, 본 발명의 명료하고 일관된 이해를 돕기 위해 발명자에 의해 단순히 사용될 수 있다. 따라서, 본 발명의 바람직한 실시예들의 하기의 설명이 단순히 예시적인 목적을 위해 제공되며, 첨부된 청구항들과 그 균등물들에 의해 정의되는 바와 같이 본 발명을 한정하는 용도로 제공되지 않음은 본 분야의 당업자에게 자명하다.
단수형 "하나의(a)", "하나의(an)", 및 "상기(the)"는 문맥상 명확히 다르게 쓰여있지 않은 한 복수의 대상들을 지칭할 수 있음을 이해하여야 한다. 따라서, 예를 들어, "구성요소 표면"에 대한 참조는 하나 또는 그 이상의 표면들의 참조를 포함한다.
용어 "실질적으로"는 인용된 특징, 변수, 또는 수치가 정확히 달성되는 것이 아니고, 예를 들어, 공차들, 측정 오류, 측정 정확도 한정들 및 다른 당업자에게 알려진 인자들을 포함하는 일탈과 변형이 특징들이 제공하기를 의도했던 효과를 배제하지 않은 정도의 정도로 발생함을 의미한다.
본 발명의 바람직한 실시예들은 저비용 이미징 센서를 이용해 바이오메트릭 시스템을 실행하기 위한 장치 및 방법을 포함한다. 이러한 저비용 이미징 센서의 예는 현재 유통되는 휴대 단말기에 포함된 카메라이다. 예시적인 실행예에 있어서, 바이오메트릭 시스템의 특성은 사용자로부터의 제스처의 인지와 인지된 제스처를 기반으로 하는 다양한 기능들의 수행을 포함한다. 예시적인 실시예에서, 제스처는 이미징 센서에 의해 캡쳐되는 이미지의 넓은 영역을 차지하도록 지정된 포인트를 나타내는 손가락이다.
본 발명의 바람직한 실시예들에 의한 바이오메트릭 시스템은 수많은 용도를 가질 수 있다. 예를 들어, 바이오메트릭 시스템에 의해 캡쳐되는 이미지는 사용자를 인증하고, 원하는 애플리케이션을 실행하고, 실행 애플리케이션의 임무를 제어하는 등을 위한 입력으로서 사용될 수 있다. 다른 예에서, 바이오메트릭 시스템에 의해 캡쳐된 이미지는 제어 입력으로서 사용될 수 있으며, 이때 장치는 사용자에게 4 자유도(four degrees of freedom)를 갖는 운동 제어 메커니즘을 제공하기 위해 손가락의 위치, 크기, 및 방향을 정확히 검출하는데 사용될 수 있다. 일례에서, 이러한 운동 제어는 휴대 장치의 디스플레이 상에 렌더링되는 장면에서 물체를 이동시키기 위해 사용될 수 있다. 원하는 애플리케이션을 실행하는 수단으로서, 장치는 제공된 손가락을 식별하고, 식별된 손가락을 기반으로 상이한 애플리케이션들을 론칭할 수 있다. 예를 들어, 집게 손가락이 이메일 고객을 론칭하는 반면 약손가락은 게임 프로그램을 론칭할 수 있다. 즉, 상이한 손가락들이 상이한 애플리케이션들에 매핑될 수 있다. 또한, 장치는 데이터베이스에 등록된 다양한 손가락들 중에서 제공된 손가락을 식별하고, 시스템을 동작시키도록 인증된 사용자에 속하는 것으로 캡쳐된 이미지를 인증할 수 있다. 일단 사용자가 인증되면, 제공된 손가락은 프로그램을 론칭하고, 입력을 제어하는 등의 추가적인 기능들을 수행하기 위해 사용될 수 있다.
본 발명의 하기의 바람직한 실시예들은 "휴대 단말기"에 적용되는 것으로 설명된다. 그러나, 이는 단지 일반적인 용어이며 본 발명은 휴대폰, 소형 PC(퍼스널 컴퓨터), PCS(개인 통신 시스템), PDA(개인 디지털 보조 장치), HPC(포켓용 PC), 스마트폰, IMT-2000(international mobile telecommuncation 2000) 단말기, 무선 LAN(local area network) 단말기, 랩탑 컴퓨터, 넷북 등 중의 하나에 동일하게 적용가능하다. 따라서, "휴대 단말기"라는 용어의 사용은 본 발명적 개념의 적용을 소정 타입의 장치 또는 기기로 한정하기 위해 사용되어서는 아니 된다.
도 1은 본 발명의 바람직한 실시예에 따른 제스처 기반 바이오메트릭 시스템을 도시한다.
도 1을 참조하면, 휴대 단말기에 포함되는 바이오메트릭 시스템은 이미징 센서(110)와 컴퓨팅 시스템(120)을 포함한다. 이미징 센서(110)는 저비용의 저해상도 이미징 센서이다. 이러한 저비용의 이미징 센서의 예는 현재 유통중에 있고 일반적으로 휴대 단말기와 일체화된 카메라 또는 컴퓨터에 연결되는 웹 카메라이다. 저해상도는 작은 이미지 크기를 의미한다. 예시적인 실행예에 있어서, 시스템에 의해 지원되는 가장 작은 해상도는 240 X 320 픽셀이다. 이미징 센서(110)는 이미지를 캡쳐하기 위한 것으로, 캡쳐된 이미지에 해당하는 광 신호를 아날로그 전기 신호로 변환하기 위한 카메라 센서(미도시)를 포함할 수 있다. 이미징 센서(110)는 또한 아날로그 전기 신호를 디지털 신호로 변환하기 위한 신호 프로세서(미도시)를 포함할 수 있다. 이미징 센서(110)는 전하 결합 소자(Charge-Coupled Device:CCD) 센서이거나 상보성 금속 산화막 반도체(Complementary Metal-Oxide-Semiconductor:CMOS) 센서일 수 있으며, 신호 프로세서는 디지털 신호 프로세서(Digital Signal Processor:DSP)일 수 있다. 이미징 센서(110)와 신호 프로세서는 별개의 구성부, 또는 단일 구성부로 구현될 수 있다. 사용 중에, 이미징 센서(110)는 사용자의 손가락 이미지를 캡쳐하여, 손가락 이미지를 컴퓨팅 시스템(120)으로 제공한다.
컴퓨팅 시스템(120)은 로직부(121)과 실행부(123)를 구비한다. 로직부(121)는 이미징 센서(110)로부터 받은 캡쳐된 이미지를 추적하고, 식별하고, 인증하며, 캡쳐된 이미지에 기반하는 출력을 실행부(123)에 제공한다. 로직부(121)에 의해 제공되는 출력은 휴대 단말기의 잠금을 풀고, 다른 애플리케이션을 시작하는 등의 원하는 동작을 수행하기 위한 로직을 구비할 수 있다. 실행부(123)는 휴대 단말기 내에 위치하는 일반적인 또는 특정 제어부 수 있다. 실행부(123)는 로직부(121)로부터 로직 입력을 받아서 수신된 로직을 기반으로 기능을 실행한다.
하기의 설명에 있어서, 용어 "바이오메트릭 시스템"은 이미징 센서와 추적, 식별 및 인증을 위한 프로그래밍 로직의 조합을 지칭한다.
본 발명의 일 실시예에 따라서, 도 1의 바이오메트릭 시스템은 웹 카메라를 구비한 랩탑 컴퓨터에 결합될 수 있다. 즉, 랩탑 컴퓨터는 웹 카메라(즉, 이미징 센서(110))에 의해 캡쳐될 때, 주어진 제스처를 추적하고, 식별하며, 인증하기 위한 또한 관련된 기능을 실행하기 위한 실행부(123)로 로직 출력을 제공하기 위한 로직부(121)를 포함할 수 있다. 또한, 로직부(121)는 이면에서 동작하는 코드, 이 기능에 특정된 하드웨어 로직, 또는 디지털 신호 프로세서에서의 내장형 로직일 수 있다. 유사하게, 도 1의 바이오메트릭 시스템은 카메라를 구비한 스마트 폰에 결합될 수 있다. 즉, 스마트 폰은 스마트 폰의 카메라(즉, 이미징 센서(110))에 의해 캡쳐된 이미지에서 주어진 제스처를 추적, 식별, 인증하여, 관련된 기능을 실행하기 위한 로직 출력을 실행부(123)로 제공하는 로직부(121)를 구비할 수 있다. 또한, 로직부(121)는 이면에서 동작하는 코드, 이 기능에 특정된 하드웨어 로직, 또는 디지털 신호 프로세서에서의 내장형 로직일 수 있다. 물론, 이러한 것들은 본 발명의 잠재적 수행을 도시하는 2개의 예시일 뿐이며, 한정하는 것을 의도하지는 않는다. 상술한 바와 같이, 본 발명은 광범위한 장치들에 적용될 수 있다.
본 발명의 일 실시예에 따라, 바이오 메트릭스 시스템을 활성화하기 위한 버튼이 휴대 단말기 상에 포함될 수 있다. 바이오 메트릭스 시스템이 자동 실행된다면, 배터리 전력을 현저하게 소모할 수 있음을 유의해야 한다. 따라서, 바이오 메트릭스 시스템은 전원에 연결된 경우에만 자동 실행되도록 제어될 수도 있을 것이다. 더욱이, 바이오 메트릭스 시스템은 손가락을 제공하는 관점에서 다음 수초 동안 사용자로부터 응답이 기대될 때만 작동을 시작해야 할 것이다. 예를 들어, 휴대폰 벨이 울릴 때, 이미징 센서는 프레임들을 캡쳐하기 시작하고, 전화에 응답또는 콜을 무시하는 등을 위한 명령에 해당하는 제스처를 검출하기 위해 이미징 센서에 놓인 손가락을 검출하려고 할 것이다.
하기의 설명에서, 먼저 본 발명의 동작 모드들을 기술되고, 이어 이러한 모드들을 달성하기 위한 더욱 상세한 관련 수단들(즉, 알고리즘들, 구조들 등)이 기술될 것이다. 수단과 모드는 설명의 간결함을 위해 분리되어 제공된다. 즉, 어떤 수단이 다수의 모드들에 적용될 때, 간결함을 위해 각각 중의 단지 하나만이 제공될 것이다.
도 2는 본 발명의 일 실시예에 따른 바이오메트릭 시스템을 동작시키는 기본 모드들을 도시한다. 도 3은 본 발명의 일 실시예에 따른 시스템 파라미터 학습 모드를 도시한다. 도 4는 본 발명의 일 실시예에 따른 손가락 등록 모드를 도시한다. 도 5는 본 발명의 일 실시예에 따른 손가락 추적 모드를 도시한다.
도 2를 참조하면, 바이오메트릭 시스템의 기본 동작 모드들은 시스템 파라미터 학습 모드(210), 손가락 등록 모드(220), 손가락 인증 모드(230), 및 손가락 추적 모드(240)를 포함한다. 동작 모드들 각각은 사용자 입력을 요청하는 디스플레이화면과, 결과들을 디스플레이하는 디스플레이 화면 등을 포함하는 메뉴 구동 기능들로서 수행된다.
시스템 파라미터 학습 모드(210)는 바이오메트릭 시스템의 이미징 센서를 이용해 이미지를 캡쳐하는 것을 포함한다. 보다 구체적으로, 이미징 센서는 손가락 영역의 샘플을 캡쳐하고, 손가락 영역에 의해 나타내지는 색상을 결정한다. 도 3에 도시한 바와 같이, 예시적인 시스템 파라미터 학습 모드(210)는 휴대 단말기의 화면상에 디스플레이되어, 이미징 센서를 통해 스트리밍되는 프레임들을 디스플레이하는 사각형(301)에 의해 지원되는, 휴대 단말기의 메뉴 구동 과정과 같은 능동적 사용자 입력을 포함한다. 예를 들어, 사각형(301)은 50 X 50 픽셀들의 크기를 가지며 화면의 중심에 디스플레이된다. 능동적인 사용자 입력의 일부로서, 사용자에게는 사각형(301)이 도 3에 도시된 바와 같이 손가락에 의해 덮이도록 이미징 센서의 전방에 사용자의 손가락을 놓을 것이 요구된다. 사용자는 이후 사각형(301) 영역이 손가락에 의해 완전히 덮이는 것을 알리기 위해 휴대 단말기의 입력부 상의 키를 누를 수 있다. 이 과정은 다양한 피부 톤들을 캡쳐하기 위해 상이한 조명 조건 하에서 다수 회(예: 20-30회) 반복될 수 있다.
본 발명에 따른 실시예에서, 시스템 파라미터 학습 모드(210)는 신경망, 결정 트리 기반 분류기, 및 지원 벡터 머신 기반 분류기와 같은 머신 학습 기술을 포함하여, 이들 중 어느 것도 획득된 피부 견본들의 데이터베이스로부터 피부 색상을 결정하기 위해 사용될 수 있다. 피부 견본들은, 능동적 사용자 입력 없이, 디지털 사진들을 포함하는 상이한 소스들로부터 오프라인상에서 캡쳐될 수도 있다.
손가락 등록 모드(220)에서, 기준 손가락 이미지들의 데이터베이스는 바이오메트릭 시스템을 이용하여 생성된다. 즉, 손가락 등록 모드(220)에서는, 바이오메트릭 시스템의 권한을 가진 사용자의 손가락 이미지들이 데이터 베이스에 등록된다. 본 실시예에서, 상기 데이터베이스는 휴대 단말기에 포함된다. 그러나, 상기 데이터베이스는 원격지에서 또한 접근될 수 있다. 손가락 등록 모드(220)에서, 사용자는 이미징 센서의 전방에 손가락을 놓도록 요구된다. 도 4에 도시된 바와 같이, 시스템은 (아래에 설명될) 검출 알고리즘을 이용해 손가락을 위치시키고, 식별된 손가락 영역 주위에 사각형(401)을 디스플레이한다.
도 4에 또한 도시된 바와 같이, 손가락에 있는 주름들(creases)(403)은 손가락을 원하는 기준 프레임에 정렬하기 위해 검출되어 사용된다. 손가락이 제대로 캡쳐되고 손가락의 주요 주름들이 바이오메트릭 시스템에 의해 제대로 표시되면, 사용자는 제공된 특정 손가락이 지시하는 0에서 9까지의 숫자를 입력할 수 있다. 예를 들어, 숫자 1이 왼손의 약손가락을 지시하도록 입력될 수 있다. 물론, 10개의 손가락들 각각에 대한 이러한 넘버링 시스템은 예시에 불과하며, 본 발명은 많은 다른 예들을 구현할 수 있음을 이해해야 할 것이다. 예를 들어, 휴대 단말기는 캡쳐된 이미지와 매칭되어, 적절한 손가락을 사용자가 선택할 수 있는 모든 가능한 손가락들을 포함하는 메뉴 리스트를 출력할 수 있다. 캡쳐된 손가락은 각 손가락의 식별 라벨과 함께 로컬 데이터베이스에 저장된다.
다른 실시예에서, 바이오메트릭 시스템은 손가락 영역 주위에 사각형(401)을 디스플레이하는 것을 포함하는 (아래에 설명될) 검출 알고리즘을 이용하여 손가락을 위치시킨다. 예를 들어, 바이오메트릭 시스템은 또한 손가락 영역의 식별(즉, 약손가락, 왼손)을 제공한다. 이후 사용자에게 손가락이 알고리즘에 의해 제대로 식별(즉, 약손가락의 올바른 식별)되는지를 검증하도록 요구된다. 만약 올바른 손가락이 식별되었다면, 사용자에게 손가락을 식별하기 위해 사용되는 차별적 특성이 될 손가락에서의 주름들(403)을 수동으로 표시할 것이 요구된다. 캡쳐된 손가락은 로컬 데이터베이스에 있는 독특한 식별 라벨과 함께 저장된다. 또한, 바이오메트릭 시스템은 검출 알고리즘을 실행하지 않고 단순히 사용자에게 손가락을 식별할 것을 요구할 수 있다. 예를 들어, 바이오메트릭 시스템은 캡쳐된 이미지와 매칭되는 선택을 사용자가 하게 되는 모든 가능한 손가락 타입들의 리스트를 디스플레이할 수 있다. 사용자가 손가락 타입을 식별한 후에, 사용자는 식별된 손가락의 주름들(403)을 손으로 표시할 것이 요청된다. 손가락의 캡쳐된 이미지는 그 독특한 식별 라벨과 함께 데이터베이스에 저장된다.
손가락 인증 모드(230)에서는, 이미징 센서에 의해 캡쳐되는 손가락의 이미지와 데이터베이스에 등록된 이미지들을 비교하여 사용자들이 인증된다. 손가락 인증 모드(230)의 제1 단계에서는, 바이오메트릭 시스템이 (후술될) 검출 알고리즘을 이용해 이미징 센서에 의해 캡쳐되는 이미지에 존재하는 임의의 손가락의 식별을 시도한다. 식별된 손가락은 이후 로컬 데이터베이스에 저장된 손가락 이미지들과 비교되고, 매치 스코어가 (후술될) 스코어링 알고리즘을 이용해 계산된다. 계산된 스코어를 이용해, 바이오메트릭 시스템은 "손가락이 검출되지 않음" 신호 또는 “검출된 손가락이 식별됨”중의 하나일 수 있는 결정을 출력한다.
손가락 추적 모드(240)에서는, 바이오메트릭 시스템이 저장된 템플릿에 손가락을 정렬하는 절차를 따른다. 그러나, 정렬된 손가락 세그먼트를 저장된 것에 매칭시키는 것보다는, 정렬 파라미터들(즉, x-병진 이동, y-병진 이동, 회전 및 스케일링)이 시스템으로부터 추출될 수 있다. 이러한 수치들은 화면상에 디스플레이되는 사진과 같이 휴대 단말기 상에 디스플레이되는 물체를 병진 이동시키고, 회전시키고, 스케일을 조정하는데 사용될 수 있다. 이러한 수치들은 애플리케이션을 론칭시키거나 그렇지 않으면 제어하는데 사용될 수 있다. 도 5는 이미지에 제공된 손가락과, 손가락을 데이터베이스에서 이용 가능한 템플릿 주름 패턴에 정렬하여 추출되는 4 자유도, 즉, x-병진 이동, y-병진 이동, 회전, 및 스케일링을 도시한다.
상술한 바와 같이 바이오메트릭 시스템을 동작시키는 상이한 모드들은 검출 알고리즘의 하나 또는 그 이상의 성분들을 포함할 수 있으며, 그 바람직한 실시예들은 후술된다. 즉, 아래에 보다 구체적으로 설명되는 바와 같이, 검출 알고리즘은 여러 개의 성분들 또는 단계들을 포함하며, 그 중 일부는 바이오메트릭 시스템의 동작 모드들 중의 하나 또는 그 이상에서 사용되고, 그 일부는 특정 모드에 고유하게 사용된다.
도 6은 본 발명의 일 실시예에 따른 바이오메트릭 시스템에 사용되기 위한 검출 알고리즘의 단계들을 도시한다.
도 6A 및 도 6B를 참조하면, 검출 알고리즘은 이미지 캡쳐 단계(601), 유사성 이미지 생성 단계(603), 대략적인 위치 파악 단계(605), 정밀한 위치 파악 단계(607), 손가락 경계 기반 위치 파악 단계(609), 주름 추출 단계(611), 주름 정렬 단계(613), 및 매칭 단계(615)를 포함한다.
이미지 캡쳐 단계(601)는 사용자가 이미지를 캡쳐하는 휴대 단말기의 잘 알려진 기능을 포함한다. 이미지는 일반적으로 휴대 단말기의 이미지 캡쳐 기능을 선택함으로써 또한 이미지 캡쳐 버튼을 선택함으로써 캡쳐된다. 도 1을 참조하여 상술한 바와 같이, 휴대 단말기는 이미지를 캡쳐하기 위해 사용될 수 있는 이미징 센서(110)를 포함한다.
유사성 이미지 생성 단계(603)는 피부 영역을 검출하기 위해 색상 유사성 기반 접근방법을 이용한다. 예시적인 실행예에서, 유사성 이미지 생성 과정은 다음 단계들을 포함한다. 첫 번째, 이미징 센서에 의해 캡쳐되는 이미지의 각 픽셀의 피부 유사성이 계산된다. 이는 원하는 색상 공간에서 피부 색상의 확률 밀도 기능을 요구한다. 이를 위해, 색상의 색조 및 포화 성분들이 선택된다. 이 확률 밀도는 시스템 파라미터 학습 모드(210) 동안에 오직 한번 계산될 것이 요구되며, 능동적 사용자 입력을 이용해 온라인으로 또는 오프라인으로 이루어질 수 있다. 또한, 확률 밀도 기능은 상이한 조명 조건들 하에서 업데이트될 수 있다.
피부 색상의 확률 밀도를 계산하기 위해, 한 세트의 샘플 피부 패치들이 시스템 파라미터 학습 모드(210)에서 취집되고, 가능한 패치들로부터의 모든 픽셀들은 공유된다. 이 큰 풀(pool)의 픽셀들의 히스토그램(즉, 피부 색상 히스토그램)은 피부 색상의 확률 밀도의 추정치로서 사용된다. 픽셀 색상이 주어졌을 때, 그 피부 유사성은 수학식 1에서 정의된 바와 같이 픽셀 색상과 연관된 피부 색상 히스토그램에서의 빈(bin)의 수치에 비례한다.
Figure pat00001
여기서, x와 y는 각각 고려되는 픽셀의 수평 및 수직 좌표들이고, L은 유사성이고, C는 피부 색상 히스토그램이고, h와 s는 각각 캡쳐된 이미지의 색조와 포화 채널이다.
노이즈 픽셀들의 효과를 감소시키기 위해, 수학식 2에서 정의되는 바와 같이, 그 수치가 어떠한 임계치보다 작을 때, 유사성은 영으로 설정된다.
Figure pat00002
예를 들어, 상기 얻어진 유사성 이미지는 단계(605,607,609)를 참조하여 기술되는 바와 같이 3단계 접근 방법을 이용하여 손가락의 위치를 파악하기 위해 사용된다. 일단 피부 유사성 이미지가 얻어지면, 3단계 접근 방법이 수행되어 손가락 영역의 위치를 파악한다.
605단계에서, 제1단계는 이미지 모멘트들(image moments)을 이용하는 손가락 위치 파악을 포함한다. 이미지 모멘트들은 광범위하게 사용되어 왔으며 이미지에서 물체의 위치와 방향을 식별하는 방법으로서 문헌상에 기재되어 있다. 예를 들어, 이미지 모멘트들은 손가락 영역의 중심과 방향을 계산하기 위해 사용된다. 상기 중심은 수학식 3에 의해 주어진다.
Figure pat00003
여기서, L은 유사성 이미지이고,
Figure pat00004
상기 손가락의 방향은 수학식 5에서 정의된 바와 같이 상기 이미지 모멘트들을 이용해 대략적으로 추정될 수 있다.
Figure pat00005
여기서,
Figure pat00006
는 수학식 6에 의해 주어지는 이미지 공분산 매트릭스의 최대 아이겐 벡터이고,
Figure pat00007
여기서,
Figure pat00008
도 7a 내지 도 7c는 본 발명의 바람직한 실시예에 따른 대략적인 위치파악 절차를 도시한다.
도 7a 내지 도 7c를 참조하면,
Figure pat00009
에 중심을 두고
Figure pat00010
를 따라서 방향을 갖는 사각형 영역은 잘리고, 추가적인 처리를 위해 사용된다. 보다 구체적으로는, 도 7a는 이미징 센서에 의해 캡쳐된 손가락을 도시한다. 도 7b를 참조하면, 유사성 이미지(L)는 상술한 수학식들에 따라 생성된 후 도시되며, 도 7c는 이미지 모멘트 기반 접근 방법을 이용해 추출되는 손가락 영역을 도시한다.
607단계에서, 모멘트들을 이용해 이미지 위치 파악을 한 후, 휴(Hough) 변환 기반의 접근 방법이 세그먼트화를 더욱 정밀하게 하기 위해 사용된다. 가장 단순한 형태의 휴 변환은 직선 라인들을 검출하기 위한 선형 변환이다. 수학식 8에서 정의된 바와 같이, 라인은 2개의 변수들, 즉 원점(origin)으로부터 라인의 최소 거리(ρ)와 x-축에 대한 원점으로부터의 라인의 각(θ)에 의해 나타내진다.
Figure pat00011
수학식 8로부터 식별할 수 있는 바와 같이, x와 y를 고정으로써 (ρ,θ) 공간에서 사인 곡선이 제공된다. 동일한 라인에 다수의 포인트들이 있다면, 말하자면, (ρ1,θ1)이 있다면, 그 사인 곡선들은 (ρ,θ) 공간에서의 (ρ1,θ1)에서 이분될 것이다. 또한, 사인 곡선상의 각 포인트가 해당 (ρ,θ)-빈(bin)에 한 표를 던진다면, (ρ1,θ1)-빈이 그 이웃과 비교하여 상당히 많은 수의 표를 받을 것이며 쉽게 검출될 것이다. 기본 휴 변환은 이미지에서 모든 표면에 해당하는 이러한 사인 곡선들을 축적한다.
이미지의 각 표면 픽셀에 대해, (ρ,θ)에 해당하는 라인 상에서 픽셀이 놓이도록, (ρ,θ) 쌍들 각각에 대해 표가 던져질 것이다. 마지막으로, 가장 높은 표를 축적한 상위 k(ρ,θ) 쌍들은 검출된 라인들의 변수들로 간주된다. 단지 하나의 손가락이 회복되므로, 단지 축적기 매트릭스의 가장 높은 수에 해당하는 (ρ,θ) 쌍만이 고려된다.
다른 실시예에 있어서, 변형된 휴 변환이 사용된다. 본 실시예에서, 2개의 상이한 측면들이 수용된다. 첫째, 이진 이미지 대신에 실제 수치를 갖는 이미지의 사용이 허용된다. 둘째로, 1-픽셀 너비의 라인들 대신에 두꺼운 라인들이 검출된다. 실제 수치를 갖는 이미지를 수용하기 위해, 이미지의 모든 비영(non-zero) 수치들은 투표에 대해 고려되며, 이때 각 투표는 픽셀 수치에 따라 가중치가 정해진다. 두꺼운 라인들을 수용하기 위해, 픽셀이 주어져 있을 때, 그 라인들이 픽셀을 가로지르는 (ρ,θ) 쌍에 대한 투표에 부가하여, 어떤 특정 수치 k에 대해, i=-k,...,k인 (ρ-i,θ) 쌍들에 대해 투표들이 또한 고려된다. 효과에 있어서, (ρ,θ)에 대한 증거는 k보다 작거나 같은 거리에서 (ρ,θ)에 평행한 라인들에 놓인 픽셀들에 의해 또한 제공된다. 두꺼운 리본의 중심을 통과하는 라인은 에지 근처에 있는 라인보다 더 증거를 축적하는 경향이 있다.
도 8은 본 발명의 일 실시예에 따른 휴 변환의 결과들을 도시한다.
도 8을 참조하면, 휴 변환에 의해 제공되는 (ρ,θ) 수치가 주어졌을 때, 원래 이미지로부터 소정 두께를 갖는 라인 (ρ,θ)에 중심을 둔 이미지의 스트립을 추출하는 것이 가능하다. 보다 구체적으로, 도 8은 휴 변환 기반 접근 방법에 의해 검출되는 라인(801)과 마찬가지로, 이미지 모멘트들과, 손가락 위치 및 방향을 이용하여 추출되는 사각형을 도시한다.
단지 피부 유사성 이미지를 이용하는 것이 손가락 위치 파악에 고려될 수 있다. 그러나, 조명의 변화 때문에, 유사성이 실제 손가락 위치로부터 약간 변형을 일으키면서 손가락을 따라 균일하지 않게 분산될 수 있다. 609단계에서, 이는 손가락 위치에 해당하게 캡쳐된 실제 이미지를 고려해 손가락 경계를 검출하는 것과,정렬을 위해 검출된 손가락 경계를 이용하는 것에 의해 회피될 수 있다. 609단계에서, 캐니(Canny) 에지 검출기를 별도로 이용하여 이미지의 색조 및 강도 평면으로부터 상기 에지가 추출되고, 마지막 에지 이미지를 얻도록 중첩된다. 캐니 에지 검출기는 단지 예이며, 어떠한 에지 검출 알고리즘도 사용될 수 있음을 유의해야 한다. 휴 변환을 기반으로 하는 정렬 때문에, 손가락을 포함하는 추출된 이미지 스트립에서, 스트립을 2개의 균일한 절반들로 절단하는 손가락 방향에 따른 미드 라인이 손가락 영역 내에 있도록 기대될 수 있다. 이와 같은 가정으로써, 이 미드 라인 상의 각 포인트로부터, 에지 픽셀이 발견될 때까지 연속적인 픽셀들이 수직으로 상향 및 하향 방향으로 체크된다. 상향 및 하향 방향에서 검출되는 2개의 픽셀들은 손가락의 경계 픽셀들로서 고려된다. 미드 라인 상의 모든 픽셀들에 이 절차를 적용함으로써, 손가락의 상부 및 하부 경계가 얻어진다. 미드 라인 상의 각 포인트에 대한 2개의 경계 픽셀들의 미드 포인트가 얻어지며 손가락의 골격(skeleton)을 구성하는 것으로 간주된다. 원점이 손가락의 중심이라는 가정에서, 손가락 골격은 수학식 9에 의해 주어진다.
Figure pat00012
여기서, E(x,y)는 (x,y)가 에지 픽셀일 때 수치 1을 갖는다.
도 9a 내지 도 9c는 본 발명의 일 실시예에 따른 손가락 경계 결정 중에 얻어지는 이미지들을 도시한다.
도 9a 내지 도 9c를 참조하면, 추출된 스트립에서의 관련 없는 물체들의 영향을 제거하기 위해, 그 길이에 따른 각 사이드에서의 사각형 스트립의 일부들이 버려진다. 예를 들어, 버려진 길이는 총 길이의 20%이다. 이때, 중심에서 시작하여, 어떤 임계값보다 큰 불연속성이 있을 때까지 수평으로 양측에서 골격이 추적된다. 중심의 양측에서의 연속적인 영역들의 길이가 임계치보다 크면, 골격은 유효한 것으로 간주되고, 그렇지 않으면, 휴 변환에 의해 제공된 위치 파악을 실제적으로 저하시킬 수 있으므로, 에지 기반 위치 파악은 버려진다. 골격의 위치 및 방향은 최소한의 정사각형 측면에서 라인을 골격에 맞춤으로써 회복된다. 추출된 손가락 이미지는 맞춤된 라인을 따라서 다시 정렬된다. 도 9a 내지 도9c는 각각 휴 변환을 기반으로 하여 추출된 손가락 스트립, 손가락 스트립의 골격, 골격을 이용하여 정렬된 손가락을 도시한다. 상술한 알고리즘이 손가락 자체와 그 180도 회전된 버전을 구별하지 않기 때문에, 손가락 세그먼트와 그 180도 회전된 버전 양자는 저장된 템플릿과 매칭되기 위해 사용된다.
상술한 실시예들에 추가하여 몇몇 다른 실시예들이 있다. 예를 들어, 변형된 휴 변환 기반 기술은 이미지 모멘트 기반의 손가락 위치 파악을 고려하지 않고, 캡쳐된 이미지에 직접 사용될 수 있다. 그러나, 그 계산 비용은 높을 것이다. 다른 실시예에서, 에지 기반의 위치 파악이 이미지 모멘트 기반의 위치 파악 후에 직접 적용될 수 있다. 이러한 기술은 변형된 휴 변환이 적용된 경우보다 현저히 빠르나, 정확도의 저감이 야기될 수 있다. 다른 실시예에서, 휴 변환은 확률적 휴 변환에 의해 대체될 수 있다. 그러나, 대체는 계산 효율에서의 현저한 증대를 가져올 수 있는 반면에, 시스템의 정확도를 또한 저감시킬 수 있다.
다른 실시예에서, 에지 기반 정렬이 제거되고 변형된 휴 변형에 의해 제공되는 손가락 영역이 최종 손가락 세그먼트로서 직접 사용될 수 있다. 이러한 예는 사용자가 익숙하고 항상 이미징 센서로부터 소정 거리만큼 떨어져서 손가락을 제공하고, 변형된 휴 변환의 'k' 변수가 적절히 튜닝되면 활용 가능하다.
다른 실시예에서, 민 쉬프트(mean-shift) 또는 정규화된 컷과 같은 정밀한 이미지 세그먼트화 절차가 손가락 세그먼트와 따라서 손가락 에지를 얻기 위해 적용될 수 있다. 그러나, 이는 보다 나은 정확도를 제공하는 반면, 개발된 시스템은 고도의 계산상의 복잡성을 가질 것이다.
다른 실시예에서, 상기 경계들은 이미지 세그먼트와 기술을 이용하여 캡쳐된 이미지에서 검출되는 물체로부터 추출될 수 있다. 손가락 등록 모드에서, 시스템은 사용자에게 원래 이미지에 중첩되는 시간에 하나씩 각 세그먼트의 경계를 디스플레이하여, 세그먼트가 손가락에 해당하는지를 물을 수 있다. 사용자는 세그먼트가 손가락의 것임을 지시할 수 있으며, 또는 적절한 키를 누르지 않음으로써 가능하다. 세그먼트가 손가락에 속하도록 사용자에 의해 나타내지면, 그 경계는 세그먼트 내의 픽셀들에 해당하는 이미지 색상 수치들을 따라 시스템에 저장된다. 인증 중에, 세그먼트화 절차는 다양한 세그먼트들을 식별하기 위해 다시 사용되고, 이러한 세그먼트들 각각에 해당하는 경계들은 트리밍되고, 반복적인 최근접 포인트 매칭 기술을 이용하여 시스템에 저장된 손가락에 대응하는 것과 매칭될 수 있다. 이렇게 얻어진 정렬 변수들은 캡쳐된 이미지를 템플릿에 정렬하기 위해 사용된다. 각 손가락 세그먼트 내의 통상적인 직사각형 영역이 추출되고, 상술한 절차를 이용하여 매칭될 수 있다.
611단계 에서는, 손가락 주름들이 손가락을 저장된 템플릿과 정렬할 용도로 추출된다. 손가락들의 주름들은 손가락의 길이에 일반적으로 수직이고, 주위 영역보다 일반적으로 어둡다. 이러한 주름들을 추출하기 위해, 손가락의 돌출 프로파일(projection profile)이 수학식 10을 이용하여 먼저 얻어진다.
Figure pat00013
여기서, i는 상기 골격 기반 정렬을 이용하여 추출된 그레이스케일 이미지 스트립니다.
도 10은 본 발명의 일 실시예에 따른 추출된 손가락의 돌출 프로파일을 도시하고 있다.
도 10을 참조하면, 돌출 프로파일에서의 골들(troughs)은 손가락 주름들에 해당하는 것으로 관찰된다. 예시적인 실행예에 있어서, 이러한 골들은 다음과 같은 돌출 프로파일으로부터 얻어진다. 먼저, 각 포인트 'a'에 대해, x-축 상에서, 'a'에 중심을 둔 'b' 픽셀들과 같은 소정의 길이의 세그먼트가 고려된다. 세그먼트에서 소정 임계치 아래의 돌출 그래프의 영역은 수학식 11과 수학식 12에 의해 주어지는 포인트 'a'에서의 주름 인디케이터(Cind)로서 고려된다.
Figure pat00014
Figure pat00015
도 10은 돌출 프로파일과 돌출 프로파일로부터 계산된 주름 인디케이터 기능을 도시하고 있다.
다음으로, 포인트의 좌우측의 제1비균등 수치들이 그 수치 자체보다 작은지를 체크하는 단순한 절차를 이용해 주름 인디케이터 기능에서 피크들이 식별된다. 서로 충분히 근접한 2개의 피크들이 있을 때, 오직 그것들 중 하나만이 고려된다. 식별된 세트의 모든 피크들이 주어질 때, Cind에 대해 최고의 수치를 갖는 상위 7개의 피크들이 추가적인 처리를 위해 고려된다. 현저히, 손가락은 보통 4개의 주요한 주름들을 가지며, 주름들의 수의 선택은 높은 Cind 수치를 갖는 손가락에서 검출되는 가짜 주름들의 예상되는 양에 의해 결정된다.
613단계에서는, 캡쳐된 손가락에서의 각 쌍의 주름들이 저장된 템플릿의 각 쌍과 정렬된다. 손가락의 스케일링과 병진 이동과 관련된 이러한 각 정렬에 대해, 수학식 13은 정렬의 적합성 스코어를 계산하기 위해 사용된다.
Figure pat00016
여기서,
Figure pat00017
와
Figure pat00018
는 각각 상기 캡쳐되고 저장된 손가락에서의 주름 쌍 기반 정렬 후의 주름 위치들이고, 이들은 정렬된 한 쌍의 주름들에 속하지 않는다.
최대 적합성 스코어를 얻는 해당 쌍이 마지막 정렬에 대해 고려된다. 질의 손가락은 이때 스케일되고 병진 이동되어 상기 등록된 손가각과 정렬된다. 정렬 후 2개의 주름들 사이의 거리가 임계치보다 작으면, 캡쳐된 손가락으로부터의 주름은 등록된 손가락으로부터 주름에 해당된다고 말해진다.
615단계에서는, 등록된 손가락들이 주어질 때, 해당 주름들에 근접한 로컬 영역들이 매칭된다. 2개의 로컬 영역들들을 매칭하기 위해, 손가락 이미지 스트립의 RGB(Red, Green, Blue) 평면들이 그레이스케일로 변환되고, 정규화된다. 정규화된 손가락 이미지(Inorm)는 수학식 14를 이용해 결정될 수 있다.
Figure pat00019
매치 스코어를 결정하기 위해, S1과 S2는 매칭될 2개의 로컬 영역들인 것으로 가정된다. 이와 같은 가정으로, 상기 매치 스코어는 수학식 15를 이용하여 결정된다.
Figure pat00020
마지막 매치 스코어는 해당 주름들과 연관된 상이한 로컬 영역들의 개별적인 매치 스코어들의 평균으로서 계산된다.
다른 실시예에서, 이미지 정규화 절차는 히스토그램 균등화(histogram equalization)와 같은 다른 절차에 의해 대체될 수 있다. 또한, 이미지 세그먼트 매칭 절차는 상호 정보 또는 다른 머신 학습 기법들과 같은 정교한 매칭 기술에 의해 대체될 수 있다. 예를 들어, 수학식 15의 dot(R,S) 기능은 지원 벡터 머신들, 결정 트리 분류기 또는 신경망들과 같은 기법을 이용하여 매치 또는 비매치로서 분류하는(R-S) dotM(R-S)에 의해 대체될 수 있다.
상술한 바와 같이, 본 발명의 실시예들은 광범위한 애플리케이션들에 적용된다. 예를 들어, 상기 시스템은 이동 제어를 위해 사용될 수 있다. 이러한 예시적인 실행예에 있어서, 상기 시스템은 손가락을 저장된 템플릿에 정렬하기 위해 통상적인 절차를 따른다. 그러나, 단순히 정렬된 손가락 세그먼트를 저장된 템플릿에 매칭시키는 대신에, x-병진 이동, y-병진 이동, 회전, 스케일링의 관점에서 손가락 세그먼트의 정렬 변수들이 저장된 템플릿의 것과 비교되어, 마우스 포인터의 이동을 제어하도록 사용된다. 예시적인 실행예에 있어서, 마우스 포인터는 3D 장면 내비게이션의 경우에 3D 포인터일 수 있으며, 여기서 z-병진 운동은 스케일링 성분에 의해 제공된다.
바람직한 실행 예에서, 이미지 캡처 단계 동안, 이미징 센서와 동일한 폰 측 상에 존재하는 디스플레이 화면은 특정 색상으로 점등될 수 있다. 피부-유사성 히스토그램은 빛 별로 각기 계산되고, 동일한 색상은 디스플레이 상에서 인증 동안 점등된다.
본 발명의 다른 실시 예에서, 이미지의 평균 밝기가 먼저 계산되고, 그 수치가 소정 임계치보다 작으면, 시스템은 청각적 또는 시각적 신호를 이용하여 시스템은 현재 환경 조건 하에서는 올바로 동작할 수 없음을 사용자에게 알릴 것이며, 그래서 휴대폰과의 상호작용의 전통적 모드들이 사용되어야만 한다. 대안으로서, 평균 밝기를 계산하는 것 대신, 이 정보는 이용 가능한 장치들 사이에서의 블루투스 또는 다른 소스의 통신을 통해 근처에 존재하는 동일한 능력을 가진 다른 장치들로부터 접속될 수 있다.
본 발명의 다른 실시 예에서, 손가락 식별이 큰 신뢰성을 가지고 성공적으로 수행되면, 색상 이미지의 작은 세그먼트들이 매칭된 주름들 주위에서 추출되고, 피부 색상 히스토그램을 업데이트하는데 사용된다. 히스토그램을 업데이트하기 위해, 새로운 히스토그램이 작은 세그먼트들을 사용하여 생성되고, 이전과 현재의 히스토그램의 가중합이 새로운 히스토그램으로서 지금 사용된다. 가중치는 다양한 경험적 기술들은 사용하여 계산될 수 있다.
본 발명의 다른 실시 예에서, 손가락의 다른 면은 인증을 위해 사용된다. 이는 너클(kunckle) 검출 및 손톱 형상 인지를 포함할 수 있다. 그러나, 이러한 특징들을 매칭하는 것은 매우 다른 세트의 특징들을 요구할 수 있다.
상기 제안된 시스템의 유리한 점은 상기 시스템을 사용하는 편리함이 크게 추가하는 사용자의 주의를 느슨하게 하는 요구조건이다. 예를 들어, 운전 중에 전화를 받는 사용자는 특정 손가락을 휴대폰에 보여 전화기에 특별하게 주의하기 않고도 전화를 무시하거나 응답할 수 있다. 이는 운전 사고의 중요한 부분이 휴대폰으로 인한 주의 분산과 연결될 수 있을 때 특히 중요하다. 또한, 이러한 애플리케이션은 시력이 좋지 않은 사람들에게 또한 유용하다. 이 경우, 사용자는 기능을 동작시키기 위해 휴대 단말기 상의 특정 버튼들을 찾아 누를 필요가 없다. 일반적으로, 휴대 단말기는 덜 소리에 거슬리고 보다 편리하다.
본 발명이 그 실시예를 참조하여 도시되고 설명되었으나, 본 분야의 당업자는 첨부된 청구항과 그 균등물에 의해 정의되는 본 발명의 사상과 범위를 이탈하지 않고도 형태와 상세사항에 있어서 다양한 변경들이 이루어질 수 있음을 이해할 것이다.

Claims (34)

  1. 휴대 단말기가 이미지로부터 손가락을 검출하는 방법에 있어서,
    손가락의 이미지를 캡쳐하는 단계;
    상기 캡쳐된 이미지로부터 상기 손가락의 유사성 이미지를 생성하는 단계;
    상기 유사성 이미지 내에서 상기 손가락의 위치를 파악하는 단계;
    상기 손가락의 경계를 결정하는 단계;
    상기 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하는 단계; 및
    상기 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하는 단계를 포함하는 것을 특징으로 하는 손가락 검출 방법.
  2. 제 1 항에 있어서, 상기 캡쳐된 이미지로부터 상기 손가락의 유사성 이미지를 생성하는 단계는, 상기 손가락의 피부 영역을 검출하기 위해 색상 유사성 알고리즘을 이용하는 단계를 포함하는 것을 특징으로 하는 손가락 검출 방법.
  3. 제 2 항에 있어서, 색상 유사성 알고리즘을 이용하는 단계는 하기의 수학식1을 이용하고, 여기서 x와 y는 상기 캡쳐된 이미지의 픽셀의 좌표들이고, L은 유사성이고, C는 피부 색상 히스토그램이고, h(.,.)는 상기 캡쳐된 이미지의 색조이고, s(.,.)는 상기 캡쳐된 이미지의 포화 채널임을 특징으로 하는 손가락 검출 방법.
    [수학식1]
    Figure pat00021

  4. 제 3 항에 있어서, 상기 수학식1을 이용하여 계산된 수치가 임계치보다 작으면, 상기 유사성 수치는 영(zero)으로 설정되는 것을 특징으로 하는 손가락 검출 방법.
  5. 제 3 항에 있어서, 상기 손가락의 위치를 파악하는 단계는:
    이미지 모멘트들을 이용하여 대략적인 위치 파악을 수행하는 단계; 및
    휴(Hough) 변환을 이용하여 정밀한 위치 파악을 수행하는 단계를 포함하는 것을 특징으로 하는 손가락 검출 방법.
  6. 제 5 항에 있어서, 상기 대략적인 위치 파악을 수행하는 단계는, 하기의 수학식2와 수학식 3을 이용하여 상기 손가락의 중심과 방향을 결정하고, 여기서 L은 상기 유사성 이미지이고,
    Figure pat00022
    이고,
    Figure pat00023
    는
    Figure pat00024
    에 의해 주어진 이미지 공분산 매트릭스의 최대 아이겐 벡터이고,
    Figure pat00025
    인 것을 특징으로 하는 손가락 검출 방법.
    [수학식2]
    Figure pat00026

    [수학식3]
    Figure pat00027
  7. 제 6 항에 있어서, 상기 손가락의 경계를 결정하는 단계는, 하기의 수학식4를 이용해 상기 손가락의 골격을 결정하는 단계를 포함하고, 여기서 E는 에지 이미지인 것을 특징으로 하는 손가락 검출 방법.
    [수학식4]
    Figure pat00028
  8. 제 7 항에 있어서, 상기 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하는 단계는, 하기의 수학식5를 이용하여 상기 손가락의 돌출 프로파일을 결정하는 단계를 포함하고, 여기서 I는 상기 골격을 이용하여 추출된 그레이스케일 이미지 스트립인 것을 특징으로 하는 손가락 검출 방법.
    [수학식 5]
    Figure pat00029
  9. 제 8 항에 있어서, 상기 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하는 단계는, 하기의 수학식6, 수학식7, 수학식8을 이용해 상기 돌출 프로파일에서 골들을 결정하는 단계를 더 포함하며, 여기서, a는 상기 돌출 프로파일의 x-축에 따른 포인트이고, b는 a에 중심을 둔 소정의 길이의 픽셀들로 이루어진 세그먼트의 크기이고, thproj는 상기 세그먼트의 임계치임을 특징으로 하는 손가락 검출 방법.
    [수학식6]
    Figure pat00030

    [수학식7]
    Figure pat00031

    [수학식8]
    Figure pat00032

  10. 제 9 항에 있어서, 상기 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하는 단계는, 하기의 수학식9를 이용해 정렬 적합성을 결정하는 단계이며, 여기서,
    Figure pat00033
    와
    Figure pat00034
    는 각각 상기 캡쳐되고 저장된 손가락에서의 주름 쌍 기반 정렬 후의 주름 위치들이고, 이들은 정렬된 한 쌍의 주름들에 속하지 않음을 특징으로 하는 손가락 검출 방법.
    [수학식9]
    Figure pat00035

    .
  11. 제 5 항에 있어서, 상기 정밀한 위치 파악을 수행하는 단계는, 하기의 수학식10을 이용해 하나의 픽셀의 폭을 갖는 라인을 검출하기 위해 이진 이미지로 이루어진 비영(non-zero) 픽셀들을 평가하는 단계를 포함하고, 여기서 (ρ)은 원점(origin)으로부터 상기 라인의 최소 거리이고, θ는 x-축에 대한 원점으로부터의 상기 라인의 각이고, ρ와 θ의 쌍들의 수치들은 각 픽셀에 대해 결정되고, ρ와 θ의 쌍들의 상기 결정된 수치들은 축적되고, ρ와 θ의 쌍들의 상기 최고 축적 수치들은 상기 라인으로 간주되는 것을 특징으로 하는 손가락 검출 방법.
    [수학식10]
    Figure pat00036
  12. 제 5 항에 있어서, 상기 정밀한 위치 파악을 수행하는 단계는, 하기의 수학식11을 이용해 2k+1개의 픽셀의 폭을 갖는 라인을 검출하기 위해 이진 이미지로 이루어진 비영(non-zero) 픽셀들을 평가하는 단계를 포함하고, 여기서 (ρ)은 원점(origin)으로부터 상기 라인의 최소 거리이고, θ는 x-축에 대한 원점으로부터의 상기 라인의 각이고, ρ와 θ의 쌍들의 수치들은 각 픽셀에 대해 결정되고, ρ-i와 θ의 쌍들의 수치들은 i=-k...k인 각 픽셀에 대해 결정되고, ρ와 θ 및 ρ-i와 θ의 쌍들의 상기 결정된 수치들은 축적되고, ρ와 θ 및 ρ-i와 θ의 쌍들의 상기 수치들은 픽셀 수치에 따라 가중치가 정해지고, ρ와 θ 및 ρ-i와 θ의 쌍들의 상기 최고 축적 수치들은 상기 라인으로 간주되는 것을 특징으로 하는 손가락 검출 방법.
    [수학식 11]
    Figure pat00037
  13. 제 1 항에 있어서, 상기 캡쳐된 이미지의 정렬 변수를 결정하는 단계;
    상기 캡쳐된 이미지의 상기 정렬 변수와 상기 저장된 손가락 이미지의 정렬 변수를 비교하는 단계; 및
    상기 캡쳐된 이미지의 정렬 변수와 상기 저장된 손가락 이미지의 상기 정렬 변수와의 차이를 기반으로 상기 휴대 단말기의 기능을 제어하는 단계를 더 포함하는 것을 특징으로 하는 손가락 검출 방법.
  14. 제 13 항에 있어서, 상기 캡쳐된 이미지의 상기 정렬 변수는 x-병진 이동, y-병진 이동, 회전, 스케일링 중의 적어도 하나를 포함하는 것을 특징으로 하는 손가락 검출 방법.
  15. 제 1 항에 있어서, 상기 손가락의 이미지를 캡쳐하는 단계는:
    이미징 센서를 이용해 상기 손가락의 상기 이미지를 캡쳐하는 단계; 및
    상기 휴대 단말기의 상기 이미징 센서와 동일한 측에 있는 디스플레이 유닛 상에 다수의 특정 색상을 가지고 순차적으로 점등되는 화면을 디스플레이하는 단계를 포함하고,
    상기 유사성 이미지를 생성하는 단계는 상기 디스플레이 유닛 상에 순차적으로 점등되는 상기 다수의 특정 색상들 각각에 대한 별도의 유사성 이미지들을 생성하는 단계를 포함하는 것을 특징으로 하는 손가락 검출 방법.
  16. 제 1 항에 있어서, 상기 손가락의 상기 이미지의 평균 밝기를 결정하는 단계;
    상기 평균 밝기가 임계치보다 낮은지를 결정하는 단계;
    및 상기 결정된 평균 밝기가 상기 임계치보다 낮으면, 상기 손가락 제스쳐 검출이 불가능하다는 통보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 손가락 검출 방법.
  17. 제 1 항에 있어서, 상기 캡쳐된 손가락의 상기 하나 또는 그 이상의 주름들의 상기 결정된 위치와 데이터베이스에 저장된 상기 손가락 이미지의 상기 주름 위치들의 상기 비교를 기반으로 상기 휴대 단말기의 기능을 제어하는 단계를 더 포함하는 것을 특징으로 하는 손가락 검출 방법.
  18. 이미지에서 손가락을 검출하기 위한 장치에 있어서,
    손가락의 이미지를 캡쳐하기 위한 이미징 센서; 및
    상기 캡쳐된 이미지로부터 상기 손가락의 유사성 이미지를 생성하고, 상기 유사성 이미지 내에서 상기 손가락의 위치를 파악하고, 상기 손가락의 경계를 결정하고, 상기 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하고, 상기 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하기 위한 컴퓨팅 시스템을 포함하는 것을 특징으로 하는 손가락 검출 장치.
  19. 제 18 항에 있어서, 상기 컴퓨팅 시스템은, 상기 손가락의 피부 영역을 검출하기 위해 색상 유사성 알고리즘을 이용하여, 상기 캡쳐된 이미지로부터 상기 손가락의 유사성 이미지를 생성하는 것을 특징으로 하는 손가락 검출 장치.
  20. 제 19 항에 있어서, 색상 유사성 알고리즘의 이용에서는 하기의 수학식12를 이용하고, 여기서 x와 y는 상기 캡쳐된 이미지의 픽셀의 좌표들이고, L은 유사성이고, C는 피부 색상 히스토그램이고, h(.,.)는 상기 캡쳐된 이미지의 색조이고, s(.,.)는 상기 캡쳐된 이미지의 포화 채널인 것을 특징으로 하는 손가락 검출 장치.
    [수학식12]
    Figure pat00038
  21. 제 20 항에 있어서, 상기 수학식12를 이용하여 계산된 수치가 임계치보다 작으면, 상기 유사성 수치는 영(zero)으로 설정되는 것을 특징으로 하는 손가락 검출 장치.
  22. 제 20 항에 있어서, 상기 컴퓨팅 시스템은, 이미지 모멘트들을 이용하여 대략적인 위치 파악을 수행하고, 휴(Hough) 변환을 이용하여 정밀한 위치 파악을 수행하여, 상기 손가락의 위치를 파악하는 것을 특징으로 하는 손가락 검출 장치.
  23. 제 22 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식13과 수학식14를 이용해 상기 손가락의 중심과 방향을 결정하여 상기 대략적인 위치 파악의 수행하고, 여기서 L은 상기 유사성 이미지이고,
    Figure pat00039
    이고,
    Figure pat00040
    는
    Figure pat00041
    에 의해 주어진 이미지 공분산 매트릭스의 최대 아이겐 벡터이고,
    Figure pat00042
    인 것을 특징으로 하는 손가락 검출 장치.
    [수학식13]
    Figure pat00043

    [수학식14]
    Figure pat00044
  24. 제 23 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식15를 이용해 상기 손가락의 골격을 결정하여 상기 손가락의 경계를 결정하고, 여기서 E는 에지 이미지인 것을 특징으로 하는 손가락 검출 장치.
    [수학식15]
    Figure pat00045
  25. 제 24 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식16을 이용하여 상기 손가락의 돌출 프로파일을 결정하여, 상기 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하고, 여기서 I는 상기 골격을 이용하여 추출된 그레이스케일 이미지 스트립인 것을 특징으로 하는 손가락 검출 장치.
    [수학식16]
    Figure pat00046
  26. 제 25 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식17, 수학식18, 수학식19를 이용해 상기 돌출 프로파일에서 골들을 결정하여, 상기 손가락의 하나 또는 그 이상의 주름들의 위치를 결정하고,
    a는 상기 돌출 프로파일의 x-축에 따른 포인트이고, b는 a에 중심을 둔 소정의 길이의 픽셀들로 이루어진 세그먼트의 크기이고, thproj는 상기 세그먼트의 임계치인 것을 특징으로 하는 손가락 검출 장치.
    [수학식17]
    Figure pat00047

    [수학식18]
    Figure pat00048

    [수학식19]
    Figure pat00049
  27. 제 26 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식20을 이용해 정렬 적합성을 결정하여 상기 하나 또는 그 이상의 주름들의 결정된 위치와 데이터베이스에 저장된 손가락 이미지의 주름 위치들을 비교하고, 여기서
    Figure pat00050
    와
    Figure pat00051
    는 각각 상기 캡쳐되고 저장된 손가락에서의 주름 쌍 기반 정렬 후의 주름 위치들이고, 이들은 정렬된 한 쌍의 주름들에 속하지 않는 것을 특징으로 하는 손가락 검출 장치.
    [수학식20]
    Figure pat00052
  28. 제 22 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식21을 이용해 하나의 픽셀의 폭을 갖는 라인을 검출하기 위해 이진 이미지로 이루어진 비영(non-zero) 픽셀들을 평가하여, 상기 정밀한 위치 파악의 수행하고, 여기서 (ρ)은 원점(origin)으로부터 상기 라인의 최소 거리이고, θ는 x-축에 대한 원점으로부터의 상기 라인의 각이고, ρ와 θ의 쌍들의 수치들은 각 픽셀에 대해 결정되고, ρ와 θ의 쌍들의 상기 결정된 수치들은 축적되고, ρ와 θ의 쌍들의 상기 최고 축적 수치들은 상기 라인으로 간주되는 것을 특징으로 하는 손가락 검출 장치.
    [수학식21]
    Figure pat00053
  29. 제 22 항에 있어서, 상기 컴퓨팅 시스템은, 하기의 수학식22를 이용해 2k+1개의 픽셀의 폭을 갖는 라인을 검출하기 위해 이진 이미지로 이루어진 비영(non-zero) 픽셀들을 평가하여, 상기 정밀한 위치 파악을 수행하고, 여기서 (ρ)은 원점(origin)으로부터 상기 라인의 최소 거리이고, θ는 x-축에 대한 원점으로부터의 상기 라인의 각이고, ρ와 θ의 쌍들의 수치들은 각 픽셀에 대해 결정되고, ρ-i와 θ의 쌍들의 수치들은 i=-k...k인 각 픽셀에 대해 결정되고, ρ와 θ 및 ρ-i와 θ의 쌍들의 상기 결정된 수치들은 축적되고, ρ와 θ 및 ρ-i와 θ의 쌍들의 상기 수치들은 픽셀 수치에 따라 가중치가 정해지고, ρ와 θ 및 ρ-i와 θ의 쌍들의 상기 최고 축적 수치들은 상기 라인으로 간주되는 것을 특징으로 하는 손가락 검출 장치.
    [수학식22]
    Figure pat00054
  30. 제 18 항에 있어서, 상기 컴퓨팅 시스템은, 상기 캡쳐된 이미지의 정렬 변수를 결정하고, 상기 캡쳐된 이미지의 상기 정렬 변수와 상기 저장된 손가락 이미지의 정렬 변수를 비교하고, 상기 캡쳐된 이미지의 정렬 변수와 상기 저장된 손가락 이미지의 상기 정렬 변수와의 차이를 기반으로 상기 휴대 단말기의 기능을 제어하는 것을 특징으로 하는 손가락 검출 장치.
  31. 제 30 항에 있어서, 상기 캡쳐된 이미지의 상기 정렬 변수는 x-병진 이동, y-병진 이동, 회전, 스케일링 중의 적어도 하나를 포함하는 것을 특징으로 하는 손가락 검출 장치.
  32. 제 18 항에 있어서, 상기 휴대 단말기의 상기 이미징 센서와 동일한 측에 있는 디스플레이 유닛 상에 다수의 특정 색상을 가지고 순차적으로 점등되는 화면을 디스플레이하기 위한 디스플레이 유닛을 더 포함하고, 상기 컴퓨팅 시스템은, 상기 디스플레이 유닛 상에 순차적으로 점등되는 상기 다수의 특정 색상들 각각에 대한 별도의 유사성 이미지들을 생성하여 상기 유사성 이미지를 생성하는 것을 특징으로 하는 손가락 검출 장치.
  33. 제 18 항에 있어서, 상기 컴퓨팅 시스템은, 상기 손가락의 상기 이미지의 평균 밝기를 결정하고, 상기 평균 밝기가 임계치보다 낮은지를 결정하고, 상기 결정된 평균 밝기가 상기 임계치보다 낮으면, 상기 손가락 제스쳐 검출이 불가능하다는 통보를 제공하는 것을 특징으로 하는 손가락 검출 장치.
  34. 제 18 항에 있어서, 상기 컴퓨팅 시스템은, 상기 캡쳐된 손가락의 상기 하나 또는 그 이상의 주름들의 상기 결정된 위치와 데이터베이스에 저장된 상기 손가락 이미지의 상기 주름 위치들의 상기 비교를 기반으로 상기 휴대 단말기의 기능을 제어하는 것을 특징으로 하는 손가락 검출 장치.
KR1020110084803A 2010-08-24 2011-08-24 제스처 기반 바이오메트릭 시스템의 방법 및 장치 KR101857287B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US37656310P 2010-08-24 2010-08-24
US61/376,563 2010-08-24
US13/213,951 US8649575B2 (en) 2010-08-24 2011-08-19 Method and apparatus of a gesture based biometric system
US13/213,951 2011-08-19

Publications (2)

Publication Number Publication Date
KR20120019410A true KR20120019410A (ko) 2012-03-06
KR101857287B1 KR101857287B1 (ko) 2018-05-11

Family

ID=45697331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110084803A KR101857287B1 (ko) 2010-08-24 2011-08-24 제스처 기반 바이오메트릭 시스템의 방법 및 장치

Country Status (2)

Country Link
US (1) US8649575B2 (ko)
KR (1) KR101857287B1 (ko)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076473A (ko) 2014-12-22 2016-06-30 장석준 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템
KR20160129000A (ko) * 2014-01-05 2016-11-08 마노모션 에이비 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
KR20170134356A (ko) * 2015-02-06 2017-12-06 베리디움 아이피 리미티드 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
KR20190014560A (ko) 2019-01-25 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190014241A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014247A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014244A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 점군을 이용한 신체 측정 시스템
KR20190014246A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014248A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 3차원 의류 데이터 생성 시스템
KR20190014561A (ko) 2019-01-25 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190014257A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190014243A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 점군 데이터로 이루어진 가상신체 구현 시스템
KR20190014245A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014253A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190028826A (ko) 2017-07-31 2019-03-20 주식회사 자이언소프트 가상 피팅 시스템
KR20190028827A (ko) 2017-07-31 2019-03-20 주식회사 자이언소프트 가상 피팅 시스템
KR20190029799A (ko) 2017-07-31 2019-03-21 주식회사 자이언소프트 가상 피팅 시스템
KR20190030202A (ko) 2019-02-14 2019-03-21 주식회사 자이언소프트 가상 피팅 시스템
KR20190030239A (ko) 2017-07-31 2019-03-22 주식회사 자이언소프트 가상 피팅 시스템
KR20190030788A (ko) 2017-07-31 2019-03-25 주식회사 자이언소프트 3차원 의류 데이터 생성 시스템
KR20190082685A (ko) 2019-05-22 2019-07-10 주식회사 자이언소프트 가상 피팅 시스템
KR20190123255A (ko) 2019-10-24 2019-10-31 주식회사 자이언소프트 가상 피팅 시스템
KR20200008983A (ko) 2019-12-23 2020-01-29 주식회사 자이언소프트 가상 피팅 시스템
KR20200015925A (ko) 2020-01-28 2020-02-13 주식회사 자이언소프트 가상 피팅 시스템
KR20200039631A (ko) 2020-03-30 2020-04-16 주식회사 자이언소프트 가상 피팅 시스템

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5651494B2 (ja) 2011-02-09 2015-01-14 日立マクセル株式会社 情報処理装置
US8909200B2 (en) * 2011-02-28 2014-12-09 Cisco Technology, Inc. Using face tracking for handling phone events
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
KR20130109817A (ko) * 2012-03-28 2013-10-08 삼성전자주식회사 손가락 패턴을 이용한 손 모양 인식 장치 및 방법
US9348987B2 (en) * 2012-04-19 2016-05-24 Apple Inc. Electronic device including finger-operated input device based biometric matching and related methods
US20130279768A1 (en) * 2012-04-19 2013-10-24 Authentec, Inc. Electronic device including finger-operated input device based biometric enrollment and related methods
US9652043B2 (en) 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US8891841B2 (en) * 2012-06-04 2014-11-18 Verizon Patent And Licensing Inc. Mobile dermatology collection and analysis system
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
WO2014031983A2 (en) * 2012-08-24 2014-02-27 Nova Southeastern University Biometric authentication
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
TWI456430B (zh) * 2012-12-07 2014-10-11 Pixart Imaging Inc 手勢判斷裝置、其操作方法與手勢判斷方法
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US20140354540A1 (en) * 2013-06-03 2014-12-04 Khaled Barazi Systems and methods for gesture recognition
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
US20150052430A1 (en) * 2013-08-13 2015-02-19 Dropbox, Inc. Gestures for selecting a subset of content items
CN104573615B (zh) * 2013-10-24 2018-03-16 华为技术有限公司 掌纹采集方法及装置
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9891794B2 (en) 2014-04-25 2018-02-13 Dropbox, Inc. Browsing and selecting content items based on user gestures
US10089346B2 (en) 2014-04-25 2018-10-02 Dropbox, Inc. Techniques for collapsing views of content items in a graphical user interface
US10235507B1 (en) * 2015-04-20 2019-03-19 Intensity Analytics Corporation Authentication via typing cadence, gestures, and QR codes
KR102359754B1 (ko) * 2015-08-12 2022-02-08 삼성전자 주식회사 데이터 제공 방법 및 이를 지원하는 전자 장치
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10755431B2 (en) 2018-07-19 2020-08-25 Radius Technologies, LLC Systems and methods for sizing objects via a computing device
US11055868B2 (en) 2018-07-19 2021-07-06 Radius Technologies, LLC Systems and methods for sizing objects via a computing device
US11580002B2 (en) 2018-08-17 2023-02-14 Intensity Analytics Corporation User effort detection
CN110287775B (zh) * 2019-05-15 2023-09-22 平安科技（深圳）有限公司 手掌图像裁剪方法、装置、计算机设备及存储介质
WO2023114435A1 (en) * 2021-12-15 2023-06-22 Entrupy, Inc. Macroscopic fingerprinting
US11721120B1 (en) * 2022-05-16 2023-08-08 Rahul Parthe Contactless fingerprint capture using artificial intelligence and image processing on integrated camera systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004040712A (ja) * 2002-07-08 2004-02-05 Minolta Co Ltd 撮像装置
US20090169070A1 (en) * 2007-12-28 2009-07-02 Apple Inc. Control of electronic device by using a person's fingerprints
WO2009131539A1 (en) * 2008-04-22 2009-10-29 Agency For Science, Technology And Research A method and system for detecting and tracking hands in an image

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160129000A (ko) * 2014-01-05 2016-11-08 마노모션 에이비 모바일 디바이스를 위한 실시간 3d 제스처 인식 및 트랙킹 시스템
KR20160076473A (ko) 2014-12-22 2016-06-30 장석준 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템
KR20170134356A (ko) * 2015-02-06 2017-12-06 베리디움 아이피 리미티드 모바일 장치를 사용하여 촬영된 이미지를 이용한 지문-기반 사용자 인증 수행 시스템 및 방법
KR20190014245A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190030788A (ko) 2017-07-31 2019-03-25 주식회사 자이언소프트 3차원 의류 데이터 생성 시스템
KR20190014247A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014244A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 점군을 이용한 신체 측정 시스템
KR20190014246A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014248A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 3차원 의류 데이터 생성 시스템
KR20190014241A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상신체 구현 시스템
KR20190014257A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190014243A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 점군 데이터로 이루어진 가상신체 구현 시스템
KR20190030239A (ko) 2017-07-31 2019-03-22 주식회사 자이언소프트 가상 피팅 시스템
KR20190014253A (ko) 2017-07-31 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190028826A (ko) 2017-07-31 2019-03-20 주식회사 자이언소프트 가상 피팅 시스템
KR20190028827A (ko) 2017-07-31 2019-03-20 주식회사 자이언소프트 가상 피팅 시스템
KR20190029799A (ko) 2017-07-31 2019-03-21 주식회사 자이언소프트 가상 피팅 시스템
KR20190014560A (ko) 2019-01-25 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190014561A (ko) 2019-01-25 2019-02-12 주식회사 자이언소프트 가상 피팅 시스템
KR20190030202A (ko) 2019-02-14 2019-03-21 주식회사 자이언소프트 가상 피팅 시스템
KR20190082685A (ko) 2019-05-22 2019-07-10 주식회사 자이언소프트 가상 피팅 시스템
KR20190123255A (ko) 2019-10-24 2019-10-31 주식회사 자이언소프트 가상 피팅 시스템
KR20200008983A (ko) 2019-12-23 2020-01-29 주식회사 자이언소프트 가상 피팅 시스템
KR20200015925A (ko) 2020-01-28 2020-02-13 주식회사 자이언소프트 가상 피팅 시스템
KR20200039631A (ko) 2020-03-30 2020-04-16 주식회사 자이언소프트 가상 피팅 시스템

Also Published As

Publication number Publication date
KR101857287B1 (ko) 2018-05-11
US8649575B2 (en) 2014-02-11
US20120051605A1 (en) 2012-03-01

Similar Documents

Publication Publication Date Title
KR101857287B1 (ko) 제스처 기반 바이오메트릭 시스템의 방법 및 장치
CN107438854B (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法
WO2020108225A1 (zh) 指纹采集方法及相关装置
WO2017082100A1 (ja) 生体情報を用いた認証装置及び認証方法
JP6005750B2 (ja) 認証装置、及び認証方法
US20170124719A1 (en) Method, device and computer-readable medium for region recognition
CN108196714B (zh) 一种电子设备
JP2020501264A (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
KR20090119107A (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
US20120320181A1 (en) Apparatus and method for security using authentication of face
KR101626837B1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
US20160274670A1 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
WO2013145280A1 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
EP3098692A1 (en) Gesture device, operation method for same, and vehicle comprising same
US20170091521A1 (en) Secure visual feedback for fingerprint sensing
CN105894042A (zh) 检测证件图像遮挡的方法和装置
GB2598016A (en) Biometric authentication apparatus and biometric authentication method
US11354934B2 (en) Location matched small segment fingerprint reader
CN111209553A (zh) 电子设备及其控制方法、计算机可读存储介质
US20220172505A1 (en) Biometrics authentication device and biometrics authentication method for authenticating a person with reduced computational complexity
CN112115748B (zh) 证件图像识别方法、装置、终端及存储介质
KR102333453B1 (ko) 지문 및 얼굴 영상을 이용한 스마트폰 기반 신원확인 방법
CN110555471B (zh) 一种移动终端及目标物的搜寻方法
US20230074386A1 (en) Method and apparatus for performing identity recognition on to-be-recognized object, device and medium
WO2019097690A1 (ja) 画像処理装置、制御方法及び制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant