KR20100087013A - 생체측정적 행동 맥락을 기반으로 하는 인간 인식을 위한 시스템 및 방법 - Google Patents

생체측정적 행동 맥락을 기반으로 하는 인간 인식을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20100087013A
KR20100087013A KR1020107010973A KR20107010973A KR20100087013A KR 20100087013 A KR20100087013 A KR 20100087013A KR 1020107010973 A KR1020107010973 A KR 1020107010973A KR 20107010973 A KR20107010973 A KR 20107010973A KR 20100087013 A KR20100087013 A KR 20100087013A
Authority
KR
South Korea
Prior art keywords
behavioral
person
biological
features
images
Prior art date
Application number
KR1020107010973A
Other languages
English (en)
Inventor
아르트욤 엘. 유킨
Original Assignee
아르텍 그룹, 아이엔씨.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아르텍 그룹, 아이엔씨. filed Critical 아르텍 그룹, 아이엔씨.
Publication of KR20100087013A publication Critical patent/KR20100087013A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

인식 성능을 향상시키기 위해, 그리고 위조된 특색을 바탕으로 하는 잘못된 식별에 대한 보호를 제공하기 위해, 생물학적 특색(biological trait)과 행동학적 특색(behavioristic trait)의 조합을 기초로 하여 이뤄지는 인간의 생체측정적 인식(biometric recognition)을 위한 시스템 및 방법이 제공된다. 사람의 신체의 일부분이나 전체에 대한 순차적인 복수의 5D 이미지가 캡처된다. 5D 이미지 내 시간 가변 성분을, 각각의 개인의 행동학적 특색과 연계된 저장되어 있는 값과 비교함으로써, 상기 5D 이미지가 행동학적 특색을 바탕으로 상기 사람을 인식하기 위해 사용되며, 5D 이미지 내 시간 불변 성분을 각각의 사람의 생물학적 특색과 연계된 저장되어 있는 값과 비교함으로써, 상기 사람은 자신의 생물학적 특색을 바탕으로 추가로 인식될 수 있다.

Description

생체측정적 행동 맥락을 기반으로 하는 인간 인식을 위한 시스템 및 방법{SYSTEM AND METHOD FOR BIOMETRIC BEHAVIOR CONTEXT-BASED HUMAN RECOGNITION}
본 발명은 생물학적 및 행동학적 특색을 기반으로 하는 인간의 인식에 관한 것이다.
일반적으로 인식(recognition)이라고 일컬어지는, 생체측정적 특색(biometric trait)을 이용하여 인간을 식별하고 검증하기 위한 알려진 방법 및 장치가 있다. 이러한 생체측정적 특색은 2개의 특색 카테고리(즉, 생물학적 특색 카테고리와 행동학적 특색 카테고리)로 나뉠 수 있다. 생물학적 특색은 선천적인 생체측정적 특색을 포함하며, 이러한 선천적인 생체측정적 특색은 일반적으로 시간의 흐름에 따라 안정적이고, 인간 활동에 독립적이며, 예로는, 지문과 장문(palm print), 홍채, 얼굴의 가시적 또는 적외선 사진 이미지, 손 윤곽, 3차원 얼굴 이미지, DNA 구조, 두개골 구조 등이 있다. 행동학적 특색은 인간이 일생 동안 체득하는 행동과 관련된 생체측정적 특색을 포함하며, 이러한 행동과 관련된 생체측정적 특색은 한 명의 개인에 대해 식별되기에 충분히 길고 안정적이고, 예로는, 손글씨체(운동 특이사항(motor specific)을 포함한 경우와 포함하지 않는 경우 모두), 음성, 음성적 표현(articulation), 제스처, 모방(mimic) 등이 있다.
개인의 인식을 수행하기 위해, 생물학적 특색을 이용하는 비접촉식 생물학적 인식 방법은 알려져 있다. 이들 비접촉식 인식 방법은, 접근 제어 시스템, 다수의 사람들과 관련된 사회 및 상태 프로그램(가령, 이민 및 출입국 수속 관리, 면허증), 방문자 등록 시스템 등에서 이용된다. 이러한 비접촉식 인식 방법의 예로는 홍채 이미징과 2차원 및 3차원 얼굴 이미징을 기반으로 하는 인간 인식법이 있다. 홍채 이미징은 정확한 인식법이라고 여겨지지만, 홍채를 이미징하기 위해 개인에게 요구되는 협력 수준에 의해, 그리고 이러한 방법과 연계된 비용에 의해, 홍채 이미징의 실제 적용은 제한된다. 2차원 얼굴 이미징에 의한 인식은 일반적으로 보다 저렴하지만, 동시에, 덜 정확하며 운영 시간(operating term) 범위에 의해 대부분 제한된다. 3차원 이미지 인식법은 높은 수준의 정교함(최근, 홍채 인식법과 동일한 수준의 정교함에 도달하였다)을 갖고, 인식 대상인 사람에 의한 협력을 홍채 인식법보다는 덜 필요로 하며, 광범위한 동작 시간을 가지며, 2차원 이미지 인식법과 홍채 인식법의 중간 수준의 비용이 든다.
앞서 나열된 모든 생물학적 인식법과 연계된 일반적인 단점 중 하나는, 이러한 인식법에서 사용되는 생체측정적 특색은 간혹 쉽게 위조될 수 있기 때문에, 속임수에 대한 내성이 낮다는 것이다. 이러한 생물학적 인식법에 의해, 검증받는 사람의 실제 생물학적 특색 또는 위조된 생물학적 특색을 판단하는 것은 어렵거나 불가능하다.
앞서 나열된 생물학적 인식법과 연계된 또 다른 일반적인 단점으로는, 각각의 인식법이 특정 비율의 인구와 호환되지 않는다는 것이 있다. 앞서 나열된 모든 생물학적 인식법과 연계된 또 다른 단점은, 인식 대상인 사람으로부터 상당한 협력이 필요하다는 것이다.
본 발명의 하나 이상의 실시예에 따라, 인식 성능을 향상시키기 위해, 그리고 위조된 특색을 바탕으로 하는 잘못된 식별에 대한 보호를 제공하기 위해, 생물학적 특색(biological trait)과 행동학적 특색(behavioristic trait)의 조합을 기초로 하여 이뤄지는 인간의 생체측정적 인식(biometric recognition)을 위한 시스템 및 방법이 제공된다.
하나 이상의 실시예에 따라, 사람의 신체의 일부분이나 전체에 대한 순차적인 복수의 5D 이미지가 캡처된다. 5D 이미지 내 시간 가변 성분을, 각각의 개인의 행동학적 특색과 연계된 저장되어 있는 값과 비교함으로써, 상기 5D 이미지가 행동학적 특색을 바탕으로 상기 사람을 인식하기 위해 사용되며, 5D 이미지 내 시간 불변 성분을 각각의 사람의 생물학적 특색과 연계된 저장되어 있는 값과 비교함으로써, 상기 사람은 자신의 생물학적 특색을 바탕으로 추가로 인식될 수 있다.
도 1은 본 발명의 하나 이상의 실시예에 따라 생물학적 특색과 행동학적 특색의 조합을 바탕으로 이뤄지는 인간에 대한 생체측정적 인식을 위한 시스템의 투시도인 블록도이다.
도 2는 본 발명의 하나 이상의 실시예에 따라, 생물학적 특색과 행동학적 특색의 조합을 바탕으로 이뤄지는 인간의 생체측정적 인식을 위한 방법의 동작 흐름도이다.
도 3은 본 발명의 하나 이상의 실시예에 따라, 개인의 행동학적 특색을 결정할 때 사용되기 위한, 사람에 대한 순차적인 5D 이미지를 도시한다.
일반적으로 본 발명은, 본원의 하나 이상의 실시예에 따라, 생물학적 특색(biological trait)과 행동학적 특색(behavioristic trait)의 조합을 기반으로 하는 인간의 생체측정적 인식(biometric recognition)을 위한 시스템 및 방법을 포함한다. 앞서 언급된 도면을 참조하여, 지금부터, 본원의 특정 실시예가 설명될 것이다. 상기 도면에서, 유사한 도면부호는 유사한 구성요소를 일컫는다.
하나 이상의 실시예에서, 생물학적 특색에 추가로 행동학적 특색을 사용하여 인식 성능을 향상시키고, 위조된 특색을 바탕으로 이뤄진 잘못된 인식에 대해 보호하는 인간의 생체측정적 인식을 위한 시스템 및 방법이 제공된다. 행동학적 특색은 인간이 자신의 일생 동안 체득한 행동에 관련된 생체측정적 특색을 포함하며, 이러한 행동 관련 생체측정적 특색은 개인과 연계될 수 있다.
하나 이상의 실시예에서, 사람의 이미지에서 획득되는 그 사람의 행동학적 특색과 생물학적 특색을 모두 이용하여 인간 인식이 이뤄질 수 있다. 하나 이상의 실시예에서, 생물학적 특색에 의해 사람을 인식하기 위해 사람의 신체에 대한 최소한 하나의 5D 이미지가 사용되는 반면에, 행동학적 특색에 의해 사람을 인식하기 위해서는 사람의 신체에 대한 복수의 순차적 5D 이미지가 사용될 수 있다. 본원에서 5D 이미지가 언급될 때, 이러한 언급은 3차원(3D) 이미지와 2차원(2D) 이미지로부터의 성분의 조합 및/또는 3D 이미지와 2D 이미지의 임의의 조합을 일컬을 것이다. 조합된 3D 이미지와 2D 이미지가 대상의 표면의 동일하거나 상이한 부분을 추가로 캡처할 수 있을 경우, 상기 조합된 3D 이미지와 2D 이미지는 동일하거나 상이한 시점에서 캡처될 수 있다.
또한 사람의 신체의 이미지를 언급할 때, 이러한 언급은 사람의 신체의 표면의 임의의 부분(제한받지 않는 예를 들자면, 사람의 신체, 손, 손바닥, 다리, 머리 및/또는 얼굴), 또는 사람의 신체의 표면의 임의의 부분들의 임의의 조합의 이미지를 일컫는 것으로 이해된다. 생물학적 특색에 의해 사람을 인식할 때, 이미지에서 추출된 측정된 생체측정적 특색 값과, 식별될 한 명 이상의 사람에 관련된 등록된(또는 저장된) 값의 비교와 관련된 인식 절차가 구현될 수 있다. 하나 이상의 실시예에서, 5D 이미지 인식을 이용할 때, 본 시스템 및 방법은, ⅰ) 5D 이미지에서의 불변 성분과 관련된 정보를 이용하여 생물학적 특색을 분석하고, ⅱ) 5D 이미지에서의 가변 성분과 관련된 정보를 이용하여 생체측정적 특색을 분석할 것이다. 5D 이미지를 이용하여 사람의 행동학적 특색을 판단하기 위해, 행동학적 특색을 등록할 때, 1명의 사람에 대한 복수의 5D 이미지가 연속적으로 얻어진다. 인식을 수행할 때, 상기 시스템은 1명의 사람에 대한 복수의 5D 이미지를 캡처하고, 상기 복수의 5D 이미지를 분석하여 생체측정적 및 행동학적 특색을 추출하고, 추출된 특색을, 이전에 등록된 특정 인간과 연계된 특색과 비교한다.
하나 이상의 실시예에서, 사람의 신체에 대한 가변 성분을 판단하기 위해 사람의 신체에 대한 순차적인 5D 이미지(이들 중 일부는 행동학적 특색으로 여겨질 수 있음)가 사용되며, 이는 추가로, 사람의 신체에 대한 단 하나의 5D 이미지만을 이용하여 획득될 수 있는 것보다 더 나은 품질을 갖고, 사람의 신체에 대한 불변 성분을 결정하는 것을 가능하게 할 것이다. 이러한 분석은, 생물학적 특색과 행동학적 특색의 분석의 융합뿐 아니라, 더 나은 품질을 갖는 생물학적 특색의 획득에 의해, 인간 인식 시스템의 성능을 증가시킨다.
도 1을 참조하면, 하나 이사의 실시예에 따라, 생물학적 특색과 행동학적 특색의 조합을 기초로 이뤄지는 인간의 인식을 위한 생체측정적 인식 시스템의 블록 다이어그램이 도시된다.
하나 이상의 실시예에서, 상기 시스템(100)은 대상 캡처 장치(object capturing device, 102)와 컴퓨팅 장치(104)를 포함한다. 상기 대상 캡처 장치는 하나 이상의 투사 장치(projection device, 106)와 하나 이상의 검출 장치(108)를 포함한다. 하나 이상의 실시예에서, 상기 투사 장치(106)는, 광원(126)과, 상기 광원(126)으로부터 발산되는 광을 변조하기 위한 광변조 장치(122)를 포함하는 슬라이드 투사기(slide projector)이다. 상기 광변조 장치(122)는 슬라이드를 포함하는 슬라이드형 장치이거나, 액정 스크린을 포함하는 액정 디스플레이(LCD)형 장치이거나, 구조광(structured light, 113)을 생성하기 위한 그 밖의 다른 장치일 수 있다. 하나 이상의 실시예에서, 투사 장치(106)는, 투사 영역(114) 주위로, 사람(111)의 표면(110)으로 슬라이드 이미지를 구조광(113)으로서 투사하기 위한 정점(vertex, 124)을 갖는 렌즈(181)를 포함할 수 있다. 이 실시예 및 그 밖의 다른 실시예에 따라, 그 밖의 다른 방법(가령, 간섭 광 생성법, 모아레 광 생성법 및 회절 광 생성법)을 이용하여 구조광(113)은 생성될 수 있다.
하나 이상의 실시예에서, 투사 장치(106)는 광학 파장, 가시 파장 및 적외선 파장 중 하나로부터 선택된 파장으로 구조광(113)을 투사한다.
하나 이상의 실시예에서, 검출 장치(108)는 정점(130)을 갖는 사진 렌즈(photographic lens, 180)와, 매트릭스 복사선 수신기(128)와, 드라이버(132)를 포함할 수 있다. 상기 사진 렌즈(180)는 매트릭스 복사선 수신기(128)의 표면 상에 이미지를 형성한다. 상기 드라이버(132)는 전자 신호 관리 및 처리 유닛으로서 기능하며, 매트릭스 복사선 수신기(128)의 동작을 제어하고, 상기 매트릭스 복사선 수신기(128)에 의해 캡처된 이미지가 컴퓨팅 장치(104)로 전송되기 전에, 상기 캡처된 이미지를, 원하는 대로, 또는 필요에 따라, 다른 포맷(가령, VGA, bmp, peg 등)으로 변환시킬 수 있다. 검출 장치(108)는 사람(111)의 표면(110)의 일부분을 둘러싸는 시계(field of view, 118)를 포함할 수 있다. 상기 투사 장치(106)는 투사기 축(projector axis, 112)을 포함할 수 있으며, 검출 장치(108)는 검출기 축(116)을 포함할 수 있으며, 이때, 삼각측량 각(triangulation angle, 120)이 투사기 축(112)과 검출기 축(116) 사이에 위치한다.
컴퓨팅 장치(104)는 검출 장치(108)로부터 출력을 수신하고, 상기 검출 장치(108)의 출력에서 수신된 캡처된 이미지를 분석하여, 원하는 계산(제한받지 않는 예를 들자면, 사람(111)의 표면(110)의 3D 형태, 행동학적 특색을 기반으로 이뤄지는 인간 인식과 관련된 계산, 생물학적 특색과 행동학적 특색 모두를 기반으로 이뤄지는 인간 인식과 관련된 계산, 사람(111)의 표면(110)의 2D 형상, 사람(111)까지의 거리, 캡처되는 표면(110)의 배향)을 수행할 수 있다. 또한 컴퓨팅 장치(104)는 투사 장치(106), 검출 장치(108) 및 이들에 포함된 다양한 구성요소를 제어할 수 있다.
도 2의 동작 순서도는, 하나 이상의 실시예에 따라, 생물학적 및/또는 행동학적 특색을 기반으로 이뤄지는 인간 인식을 위한 시스템(100)에 의해 사용되는 프로세스를 도시한 것이다. 먼저, 단계(200)에서, 최소한 1명의 인간의 생체측정적 특색이 시스템(100)에 등록되고, 특정 인간의 개성과 연계된다. 우선 최소한 1명의 사람의 이미지를 캡처함으로써, 생체측정적 특색이 등록될 수 있으며, 이때, 생물학적 특색에 대해 최소한 하나의 이미지가 요구되고, 행동학적 특색을 등록하기 위해, 복수의 순차 이미지가 요구된다. 캡처된 이미지가 분석되어 상기 이미지와 연계된 특정 생체측정적(생물학적 및/또는 행동학적) 특색을 추출할 수 있으며, 생성된 생체측정적 특색이 특정 사람과 연계된 개성으로서 저장 또는 등록된다. 하나 이상의 실시예에서, 최소한 1명의 사람에 대한 이전에 획득된 생체측정적 특색을 불러옴(retrieve)으로써, 생체측정적 특색도 시스템(100)에 등록될 수 있으며, 이때, 상기 이전에 획득된 생체측정적 특색은 시스템(100)의 메모리나 다른 구성요소에 저장되거나, 입력받거나, 시스템(100)의 외부에 위치하는 다른 데이터 공급원으로부터 획득될 수 있다.
단계(202)에서, 시스템(100)은, 대상 캡처 시스템(102)의 정면에 위치하는 사람의 생체측정적 특색을 측정하는데, 이는 상기 사람에 대한 하나 이상의 이미지를 캡처하고 분석함으로써 이뤄진다. 하나 이상의 실시예에서, 복수의 순차 이미지가 캡처되어, 사람의 행동학적 특색을 측정할 수 있으며, 사람의 생물학적 특색을 측정하기 위해서는 단 하나의 이미지만 필요할 수 있다. 단계(204)에서, 캡처된 이미지로부터 추출된 측정된 생체측정적 특색이 등록된 생체측정적 특색과 비교되어(가령, 사람에 대한 이전에 등록된 이미지, 또는 연계된 데이터), 측정된 생체측정적 특색과 등록된 생체측정적 특색들 중 임의의 것 간에 일치가 존재하는가의 여부를 판단함으로써, 상기 사람이 인식되는지의 여부가 판단될 수 있다. 이러한 비교로부터, 인식 시스템(100)은 사람의 생체측정적 특색을 기초로 개성 인식이 이뤄졌는지의 여부를 판단할 수 있다. 시스템(100)은 행동학적 특색만 이용하거나 행동학적 특색과 생물학적 특색의 조합을 이용하여, 인식을 수행할 수 있다. 상기 시스템(100)은 단계(206)에서 2차 정보를 분석함으로써 사람에 대한 추가적인 검증을 더 수행할 수 있으며, 상기 2차 정보의 제한받지 않는 예를 들자면, 사람의 생체측정적 특색, 또는 사람에 관련된 수신된 식별 정보(가령, 사람의 상태, 입력된 PIN 코드, 질문에 대한 응답, 접촉식/비접촉식 카드로부터 획득된 정보, 하루 중의 시간 대 등)가 있다. 상기 시스템(100)은 사람이 이러한 식별 정보를 입력할 수 있기 위한 입력 장치를 포함할 수 있다.
도 3을 참조하면, 하나 이상의 실시예에서, 사람의 신체에 대한 복수의 5D 이미지를 캡처함으로써, 시스템(100)에 의해 사람에 대한 행동학적 특색의 인식이 수행될 수 있으며, 이때, 도 3에서 나타나는 이미지(300a, 300b, ..., 300n)는 n개의 일련의 시점에서 캡처된 순차 3D 이미지이다. 본원에서 제시되는 방법에서 제공되는 행동학적 특색을 분석함으로써, 이들 이미지가 특정 사람의 개성을 인식하기 위해 사용될 수 있다. 캡처된 이미지로부터, 캡처된 표면(110)의 시간 가변 성분(가령, 상기 사람의 행동학적 특색)에 추가로, 캡처된 표면(100)의 시간 불변 성분(가령, 상기 사람의 생물학적 특색)이 측정될 수 있다. 식별 및 등록 동안 등록된 불변 표면 성분을, 최소한 하나의 캡처된 이미지에서 측정된 불변 표면 성분에 비교함으로써, 사람의 신원이 얻어질 수 있다. 그러나 이미지의 시간 가변 표면 성분이, 등록된 가변 표면 성분에 비교되어, 상기 사람이 행동학적 특색을 이용한 자신의 인식의 정확도를 검증할 때까지, 인식은 완료되지 않는다.
이러한 방식으로, 위조하거나 복제하기가 매우 어려운 행동학적 생체측정적 특색(가령, 인간 신체의 표면의 시간 가변 변화)을 사용함으로써, 인간 인식을 수행할 때 향상된 정확도가 제공되고, 또한 인식 대상인 사람의 생체측정적 데이터의 위조에 대한 보호가 제공된다.
하나 이상의 실시예에서, 특정 맥락에서, 행동학적 특색이 규칙(rule)으로서 등록될 수 있다. 예를 들어, 손글씨체가 단어나 문장으로 링크될 수 있으며, 음성 및 음성적 표현(articulation)은 구문이나 코드 단어(code word)로 링크될 수 있다. 맥락-링크된(context-linked) 행동학적 특색을 등록함으로써, 인간을 식별하는 작업이 단순화되고, 인식 시스템에 대한 개선된 신뢰성이 제공된다. 하나 이상의 실시예에서, 성공적인 인식을 위해, 인간은 시스템에 생체측정적 특색을 제공할 뿐 아니라, 맥락(코드 단어, 구문 등)까지 제공할 것이다. 이러한 맥락 없이는 인식이 성공적이지 않을 것이다. 이러한 맥락-기반 인식에서, 인식 목적으로 위해, 등록되고 측정되며 비교된 행동학적 특색은 특정 맥락과 연계되어, 인식의 정확도를 더 향상시킬 수 있다. 예를 들어, 등록 및 식별 동안, 사람은 특정 단어나 구문을 말하도록 요청받을 수 있으며, 그 후, 이러한 특정 단어나 구문이 행동학적 특색에 대한 맥락으로서 기능할 것이다. 개성에 대한 판정이 추가되도록 동일한 맥락에 대하여 행동학적 특색이 분석되도록, 인식 절차 동안, 사람은 동일한 구문을 말하도록 요청받을 것이다. 사람의 신체의 특정 부분들은 고유의 식별 가능한 방식으로 움직일 수 있으며, 이러한 고유의 식별 가능한 방식은 관심 맥락에 따르는 행동학적 특색으로 기능할 수 있다.
하나 이상의 실시예에서, 복수의 맥락의 행동학적 특색을 이용하여 인식이 수행될 수 있다. 이러한 실시예에서, 각각의 사람에 대해 여러 번, 다양한 맥락으로 등록이 수행될 수 있으며, 맥락의 개수와 내용은 여러 다른 사람에 대해 각각 상이할 수 있다. 인식 절차 동안, 각각의 행동학적 특색을 측정하기 위해, 시스템(100)은 동일한 맥락을 필요로 할 수 있다. 또는, 상기 시스템(100)은 초기에는 사용될 특정 맥락이 어느 것인지를 모를 수 있으며, 측정된 생물학적 특색에 따라, 인간의 어느 행동학적 특색이 분석될 것인지에 대한 결정이 추정된다. 덧붙이자면, 맥락의 내용은 특히, 뒤 따를 시스템 반응(system reaction)을 결정하기 위해 사용될 수 있다. 예를 들어, 시스템(100)은 ATM 기계와 함께 사용될 수 있다. 사람이 ATM 기계의 서비스를 자발적으로 이용하고 있는지, 또는 압력 하에서 이용하고 있는지를, 상기 사람이 선택한 맥락이, ATM 기계에게 알려줄 수 있다. 자발적인 이용의 경우, 상기 시스템(100)은 상기 사람을 인식하고 거래를 승인할 수 있으며, 반면에 상기 사람이 압력 하에 있다고 판단되는 경우, 시스템은 상기 사람이 인식되지 않았다고 거절할 수 있거나, 그 밖의 다른 지정된 동작을 수행할 수 있다(가령, 보안 서비스 업체나 경찰에게 사람이 압력 하에 있다고 알리고 도움을 요청할 수 있다).
하나 이상의 실시예에서, 시스템(100)은 사람의 행동학적 특색만을 이용하여 인식을 수행한다.
하나 이상의 실시예에서, 상기 시스템(100)은 본원에서 그 밖의 다른 생체측정적 특색 인식 절차와 결합되어 사용되는 추가적인 정확도 측정으로서 기재된 행동학적 특색 인식 절차를 이용한다. 예를 들어, 행동학적 특색 인식 절차를 보충하기 위해, 생물학적 특색 인식 절차가 사용될 수 있다. 예를 들어, 행동학적 특색 인식 절차를 보충하기 위해, 생물학적 특색 인식 절차(예를 들어, 사람의 얼굴 및/또는 홍채의 2차원 이미지의 분석)가 사용될 수 있다.
하나 이상의 실시예에서, 정합 공식(matching formula)을 이용하여, 측정된 특색을 저장된 특색에 비교함으로써, 시스템(100)이 인식을 수행한다. 상기 공식은, 특색이 비교되어야 하는 방법과 순서를 정의하고, 최종 결론이 생성되는 방법을 정의한다. 하나의 예를 들자면, 정합 공식은 최소한 하나의 측정된 특색이 각각의 저장된 특색과 정합되어야 한다는 것을 가정할 수 있다. 또 다른 예를 들자면, 정합 공식은 모든 측정된 특색이 각각의 저장된 특색과 정합되어야 한다고 가정할 수 있다. 또 다른 예에서, 상기 정합 공식은, 각각의 측정된 특색이 특정 수준의 유사도(similarity)를 갖고, 각각의 저장된 특색과 정합되어야 하는 경우, 측정된 특색이 특정 순서로 각각의 저장된 특색에 비교되어야 한다고 가정할 수 있다. 언급된 정합 공식은 적합한 정합 공식의 몇 개의 예에 불과하고, 모든 가능성을 제시하는 것도 아니고, 본 발명의 용도나 기능의 범위를 제한하는 것도 아니다.
하나 이상의 실시예에서, 컴퓨팅 시스템(104)은 이미지 캡처 시스템(102)의 동작을 제어하고, 사람의 생체측정적 특색 인식을 위한 필요한 계산을 수행할 수 있다. 상기 컴퓨팅 시스템(104)은, 본 발명에 따르는 생물학적 및 행동학적 특색의 조합을 기반으로 하여 이뤄지는 인간의 생체측정적 인식을 위한 방법을 구현하기에 적합한 범용 컴퓨터 시스템을 포함할 수 있다. 상기 컴퓨팅 시스템(104)은 적합한 컴퓨팅 환경의 단지 하나의 예에 불과하지, 본 발명의 용도 또는 기능의 범위를 제한하기 위한 것이 아니다. 다양한 실시예에서, 생물학적 및 행동학적 특색의 조합을 바탕으로 이뤄지는 인간의 생체측정적 인식을 위한 본 발명의 시스템 및 방법은 그 밖의 다른 다양한 범용 또는 특수 컴퓨팅 시스템 환경 또는 구성을 이용해 동작한다. 본 발명과 함께 사용되기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템, 환경 및/또는 구성의 예로는, 개인용 컴퓨터, 서버 컴퓨터, 핸드-헬드(또는 랩톱) 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 시스템, 프로그램 가능한 소비자 전자 기기, 네트워크-연결된 PC, 미니컴퓨터, 메인프레임 컴퓨터, 또는 앞서 언급된 시스템이나 장치 등 중 임의의 것을 포함하는 분산 컴퓨팅 환경이 있다(그러나 이에 제한되지 않음).
다양한 실시예에서, 생물학적 및 행동학적 특색의 조합을 기반으로 이뤄지는 인간의 생체측정적 인식을 위한 방법에서 사용되는 알고리즘은, 컴퓨터에 의해 실행 가능한 인스트럭션(가령, 컴퓨터에 의해 실행되는 프로그램 모듈)의 일반적인 맥락으로 기재될 수 있다. 일반적으로, 프로그램 모듈은 특정 작업을 수행하거나 특정 추상 데이터형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 또한 이들 알고리즘 및 방법은, 통신 네트워크를 통해 링크된 원격 프로세싱 장치에 의해 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬과 원격 컴퓨터 저장 매체(가령, 메모리 저장 장치) 모두에 위치할 수 있다. 하나의 실시예에서, 컴퓨팅 시스템은, 하나 이상의 컴퓨터 프로그램을 실행함으로써, 물리적 대상의 형태에 대한 멀티프레임 표면 측정을 구현한다. 상기 컴퓨터 프로그램 및 데이터는 메모리 매체나 저장 매체(가령, 메모리 및/또는 ROM)에 저장되거나, 네트워크 연결이나 그 밖의 다른 I/O 연결을 통해 CPU로 제공될 수 있다.
본원에서 기재된 실시예에 따라 형성된 시스템 및 방법은, 생물학적 및 행동학적 생체측정적 특색에 의해, 인간을 식별하고 인식하며 검증하기 위한 비접촉식 방법을 제공한다. 본원에서 기재된 시스템 및 방법에 의해, 사람으로부터의 협력은 거의 요구하지 않으면서, 사람에 대한 자율적인 높은 정확도의 실시간 검증이 제공된다. 상기 시스템 및 방법은, 인간의 개성을 인식하기 위해 생물학적 특색과 행동학적 특색의 조합을 이용하고, 이로 인해서, 인식 정확도가 증가되고, 생체측정적 특색이 위조되거나 복제될 수 있는 확률이 감소될 수 있다.

Claims (20)

  1. 인간 인식(human recognition) 방법에 있어서, 상기 방법은
    사람에 대한 하나 이상의 행동학적 특색(behavioristic trait)을 측정하는 단계와,
    상기 사람에 대한 하나 이상의 생물학적 특색(biological trait)을 측정하는 단계와,
    측정된 행동학적 특색 중 하나 이상을 저장되어 있는 하나 이상의 행동학적 특색과 비교하는 단계로서, 이때, 각각의 저장된 생물학적 특색은 개개인의 사람과 연계되어 있는 것을 특징으로 하는 단계와,
    지정된 정합 특성에 따라, 측정된 행동학적 및 생물학적 특색이, 저장되어 있는 행동학적 및 생물학적 특색과 정합될 때, 측정되는 사람을 저장되어 있는 행동학적 및 생물학적 특색과 연계된 사람이라고 인식하는 단계
    를 포함하는 것을 특징으로 하는 인간 인식 방법.
  2. 제 1 항에 있어서, 행동학적 특색과 생물학적 특색 중 하나 이상의 특색은 사람의 신체의 일부분이나 전체에 대한 하나 이상의 5D 이미지로부터 추출되는 것을 특징으로 하는 인간 인식 방법.
  3. 제 2 항에 있어서, 상기 지정된 정합 특성은, 측정된 행동학적 특색과 생물학적 특색 중 하나 이상의 특색은 저장되어 있는 행동학적 특색과 생물학적 특색 중 하나 이상의 특색에 정합되어야 한다고 가정하는 정합 공식(matching formula)으로부터 판단되는 것을 특징으로 하는 인간 인식 방법.
  4. 제 3 항에 있어서, 상기 정합 공식은 측정된 모든 행동학적 특색과 생물학적 특색이 각각의 저장되어 있는 행동학적 특색과 생물학적 특색에 정합되어야 한다고 가정하는 것을 특징으로 하는 인간 인식 방법.
  5. 제 2 항에 있어서,
    인식되는 사람에 관하여 수신된 추가 식별 정보를 이용하여, 상기 인식되는 사람을 검증하는 단계
    를 더 포함하는 것을 특징으로 하는 인간 인식 방법.
  6. 제 2 항에 있어서, 사람의 신체의 일부분 또는 전체에 대한 순차적인 캡처된 5D 이미지들 사이에서 시간 가변 성분(time variable component)을 측정함으로써, 상기 순차적인 캡처된 5D 이미지로부터 행동학적 특색 중 하나 이상이 추출되는 것을 특징으로 하는 인간 인식 방법.
  7. 제 6 항에 있어서, 사람의 신체의 일부분 또는 전체에 대한 순차적인 캡처된 5D 이미지들 사이에서 시간 불변 성분(time stable component)을 측정함으로써, 상기 순차적인 캡처된 5D 이미지로부터 생물학적 특색 중 하나 이상이 추출되는 것을 특징으로 하는 인간 인식 방법.
  8. 제 7 항에 있어서,
    행동학적 특색 중 하나 이상을 하나 이상의 맥락(context)과 링크시키는 단계
    를 더 포함하는 것을 특징으로 하는 인간 인식 방법.
  9. 제 8 항에 있어서, 상기 생물학적 특색 중 하나 이상의 사람의 얼굴이며, 행동학적 특색 중 하나 이상은 사람의 음성적 표현 모방이고, 상기 맥락 중 하나 이상은 코드 구문(code phrase)인 것을 특징으로 하는 인간 인식 방법.
  10. 제 8 항에 있어서,
    복수의 가능한 지정된 동작 중, 인식되는 사람에 의해 사용되는 특정 맥락에 따라 선택된 하나의 동작을 실행하는 단계
    를 더 포함하는 것을 특징으로 하는 인간 인식 방법.
  11. 인간 인식 시스템에 있어서, 상기 시스템은
    사람의 신체의 일부분이나 전체에 대한 하나 이상의 이미지를 캡처하기 위한 이미지 캡처 장치와,
    각각의 사람과 연계되는 하나 이상의 저장되어 있는 행동학적 특색(behavioristic trait)과,
    각각의 사람과 연계되어 있는 상기 하나 이상의 저장되어 있는 생물학적 특색(biological trait)과,
    컴퓨팅 장치
    를 포함하며, 상기 컴퓨팅 장치는,
    하나 이상의 캡처된 이미지로부터 사람의 하나 이상의 행동학적 특색을 측정하고,
    하나 이상의 캡처된 이미지로부터 사람의 하나 이상의 생물학적 특색을 측정하며,
    각각의 저장되어 있는 행동학적 특색이 각각의 사람과 연계되는 경우, 측정된 행동학적 특색 중 하나 이상을 하나 이상의 저장되어 있는 행동학적 특색에 비교하고,
    각각의 저장되어 있는 생물학적 특색이 각각의 사람과 연계되는 경우, 측정된 생물학적 특색 중 하나 이상을 하나 이상의 저장되어 있는 생물학적 특색에 비교하며,
    지정된 정합 특성에 따라, 상기 측정된 행동학적 및 생물학적 특색이 각각, 상기 저장되어 있는 행동학적 및 생물학적 특색과 정합될 때, 저장되어 있는 정합된 행동학적 및 생물학적 특색과 연계되는 사람이라고, 측정되는 사람을 인식하기 위한 것을 특징으로 하는 인간 인식 시스템.
  12. 제 11 항에 있어서, 상기 이미지 캡처 장치는 사람의 신체의 일부분이나 전체에 대한 하나 이상의 5D 이미지를 캡처하고, 상기 컴퓨팅 장치는 상기 하나 이상의 5D 이미지로부터 행동학적 특색 및 생물학적 특색 중 하나 이상의 특색을 추출하는 것을 특징으로 하는 인간 인식 시스템.
  13. 제 12 항에 있어서, 상기 컴퓨팅 장치는, 측정된 행동학적 특색 및 생물학적 특색 중 하나 이상의 특색이, 저장되어 있는 행동학적 특색 및 생물학적 특색과 정합되어야 한다고 가정하는 정합 공식(matching formula)으로부터, 상기 지정된 정합 특성을 결정하는 것을 특징으로 하는 인간 인식 시스템.
  14. 제 13 항에 있어서, 상기 정합 공식은 모든 측정된 행동학적 특색 및 생물학적 특색은 각각의 저장되어 있는 행동학적 특색 및 생물학적 특색과 정합되어야 한다고 가정하는 것을 특징으로 하는 인간 인식 시스템.
  15. 제 12 항에 있어서, 상기 인간 인식 시스템은
    측정되는 사람에 관한 추가적인 식별 정보를 수신하기 위한 입력 장치
    를 더 포함하며, 이때, 상기 컴퓨터 장치는 상기 측정되는 사람에 관한 수신된 추가적인 식별 정보를 이용하여 인식되는 사람을 검증하는 것을 특징으로 하는 인간 인식 시스템.
  16. 제 12 항에 있어서, 상기 이미지 캡처 장치가 사람의 신체의 일부분이나 전체에 대한 순차적인 복수의 5D 이미지를 캡처하며, 상기 컴퓨팅 장치는 상기 캡처되는 5D 이미지들 사이에서의 시간 가변 성분(time variable component)을 측정함으로써, 상기 순차적인 캡처된 5D 이미지로부터 행동학적 특색 중 하나 이상을 추출하는 것을 특징으로 하는 인간 인식 시스템.
  17. 제 16 항에 있어서, 상기 컴퓨팅 장치는, 사람의 신체의 일부분이나 전체에 대한 순차적으로 캡처된 5D 이미지들 사이에서 시간 불변 성분(time stable component)을 측정함으로써, 상기 캡처된 5D 이미지로부터 생물학적 특색 중 하나 이상을 추출하는 것을 특징으로 하는 인간 인식 시스템.
  18. 제 17 항에 있어서, 상기 행동학적 특색 중 하나 이상은 하나 이상의 맥락(context)과 링크(link)되는 것을 특징으로 하는 인간 인식 시스템.
  19. 제 18 항에 있어서, 상기 생물학적 특색 중 하나 이상은 사람의 얼굴이고, 상기 행동학적 특색 중 하나 이상은 사람의 음성적 표현 모방이며, 상기 맥락 중 하나 이상의 코드 구문(code phrase)인 것을 특징으로 하는 인간 인식 시스템.
  20. 제 18 항에 있어서, 상기 컴퓨팅 장치는, 복수의 가능한 지정된 동작들 중에서, 인식되는 사람에 의해 사용되는 특정 맥락에 따라 선택되는 하나의 동작을 실행하는 것을 특징으로 하는 인간 인식 시스템.
KR1020107010973A 2007-10-19 2008-10-02 생체측정적 행동 맥락을 기반으로 하는 인간 인식을 위한 시스템 및 방법 KR20100087013A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/875,709 US20090103783A1 (en) 2007-10-19 2007-10-19 System and Method for Biometric Behavior Context-Based Human Recognition
US11/875,709 2007-10-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167035396A Division KR101968810B1 (ko) 2007-10-19 2008-10-02 생체측정적 행동 콘텍스트를 기반으로 하는 인간 인식을 위한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20100087013A true KR20100087013A (ko) 2010-08-02

Family

ID=40563533

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167035396A KR101968810B1 (ko) 2007-10-19 2008-10-02 생체측정적 행동 콘텍스트를 기반으로 하는 인간 인식을 위한 시스템 및 방법
KR1020107010973A KR20100087013A (ko) 2007-10-19 2008-10-02 생체측정적 행동 맥락을 기반으로 하는 인간 인식을 위한 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020167035396A KR101968810B1 (ko) 2007-10-19 2008-10-02 생체측정적 행동 콘텍스트를 기반으로 하는 인간 인식을 위한 시스템 및 방법

Country Status (9)

Country Link
US (1) US20090103783A1 (ko)
EP (1) EP2212829A4 (ko)
JP (1) JP2011502296A (ko)
KR (2) KR101968810B1 (ko)
CN (1) CN101965580B (ko)
AU (1) AU2008317141A1 (ko)
MX (1) MX2010004273A (ko)
RU (2) RU2010119949A (ko)
WO (1) WO2009055228A2 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
TR201811449T4 (tr) * 2012-11-07 2018-09-21 Artec Europe S A R L Üç boyutlu nesnelerin doğrusal boyutlarını gözetlemek için yöntem.
CN104408416A (zh) * 2014-11-25 2015-03-11 苏州福丰科技有限公司 一种用于金店或者珠宝行的三维人脸识别监控系统
LU100021B1 (en) 2017-01-13 2018-07-30 Adapttech Ltd Socket fitting system
US20220255923A1 (en) * 2021-02-05 2022-08-11 Cisco Technology, Inc. Collaboration application integration for user-identity verification

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761329A (en) * 1995-12-15 1998-06-02 Chen; Tsuhan Method and apparatus employing audio and video data from an individual for authentication purposes
US6219639B1 (en) * 1998-04-28 2001-04-17 International Business Machines Corporation Method and apparatus for recognizing identity of individuals employing synchronized biometrics
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
US6219439B1 (en) * 1998-07-09 2001-04-17 Paul M. Burger Biometric authentication system
JP2001338295A (ja) * 2000-05-26 2001-12-07 Wens Network Kk 生態情報による本人認証システム
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US6947578B2 (en) * 2000-11-02 2005-09-20 Seung Yop Lee Integrated identification data capture system
JP2002251380A (ja) * 2001-02-22 2002-09-06 Omron Corp 利用者照合システム
RU2245580C2 (ru) * 2001-08-10 2005-01-27 Свириденко Андрей Владимирович Способ представления человека
US20030044050A1 (en) * 2001-08-28 2003-03-06 International Business Machines Corporation System and method for biometric identification and response
US7440590B1 (en) * 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US7616784B2 (en) * 2002-07-29 2009-11-10 Robert William Kocher Method and apparatus for contactless hand recognition
EP1544831A1 (en) * 2002-09-27 2005-06-22 Ginganet Corporation Remote education system, course attendance check method, and course attendance check program
JP2004318731A (ja) * 2003-04-18 2004-11-11 Chugoku Electric Power Co Inc:The 音声認識による指令のセキュリティ方法及びこの方法を用いた各種取引方法
US20050084139A1 (en) * 2003-05-13 2005-04-21 Biocom, Llc Identity verification system with interoperable and interchangeable input devices
US7278028B1 (en) * 2003-11-05 2007-10-02 Evercom Systems, Inc. Systems and methods for cross-hatching biometrics with other identifying data
CN100418106C (zh) * 2003-12-29 2008-09-10 佳能株式会社 用于检测人脸的方法和设备
JP2008505383A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人ジェスチャ署名
KR100698380B1 (ko) * 2004-09-17 2007-03-23 전자부품연구원 능동적 다중 카메라를 통한 다중 생체정보 및 환경정보 처리 시스템 및 방법
US20060104484A1 (en) * 2004-11-16 2006-05-18 Bolle Rudolf M Fingerprint biometric machine representations based on triangles
US20060120571A1 (en) * 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
EP2436566B1 (en) * 2005-07-11 2013-04-03 Volvo Technology Corporation Methods and arrangement for performing driver identity verification
JP4539494B2 (ja) * 2005-08-23 2010-09-08 コニカミノルタホールディングス株式会社 認証装置、認証方法及びプログラム
KR100734837B1 (ko) * 2005-09-16 2007-07-03 한국전자통신연구원 다중 생체 인식 시스템 및 그 방법
RU2306603C1 (ru) * 2006-02-01 2007-09-20 Федеральное государственное унитарное предприятие "Научно-исследовательский институт "Восход" Автоматизированная система идентификации личности граждан по данным паспортно-визовых документов
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight

Also Published As

Publication number Publication date
JP2011502296A (ja) 2011-01-20
WO2009055228A3 (en) 2009-07-16
RU2608001C2 (ru) 2017-01-11
US20090103783A1 (en) 2009-04-23
WO2009055228A2 (en) 2009-04-30
AU2008317141A1 (en) 2009-04-30
CN101965580A (zh) 2011-02-02
CN101965580B (zh) 2016-06-08
KR101968810B1 (ko) 2019-04-12
EP2212829A4 (en) 2014-05-07
RU2010119949A (ru) 2011-11-27
RU2013150863A (ru) 2015-05-20
EP2212829A2 (en) 2010-08-04
KR20170000389A (ko) 2017-01-02
MX2010004273A (es) 2010-08-04

Similar Documents

Publication Publication Date Title
CN100361131C (zh) 信息处理设备、信息处理方法
Vacca Biometric technologies and verification systems
CN100382093C (zh) 生物测量认证系统的登记方法、生物测量认证系统
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
JP2018508888A (ja) モバイル・デバイスを用いてキャプチャしたイメージを使用する指紋ベースのユーザ認証を実行するためのシステムおよび方法
Zhang et al. 3D Biometrics
KR20210062381A (ko) 라이브니스 검사 방법 및 장치, 생체 인증 방법 및 장치
RU2608001C2 (ru) Система и способ для распознавания человека на основе биометрического поведенческого контекста
JP6792986B2 (ja) 生体認証装置
US11682236B2 (en) Iris authentication device, iris authentication method and recording medium
Dospinescu et al. Face detection and face recognition in android mobile applications
US10885364B2 (en) System for characterization of biometric station metrics
KR20200137450A (ko) 인공지문 감지 시스템 및 이를 이용한 인공지문 감지 방법
KR20230017454A (ko) 비대면 평가에서의 부정행위 방지 방법, 장치 및 프로그램
AU2016225791B2 (en) System and method for biometric behavior context-based human recognition
Hong et al. A review of performance evaluation for biometrics systems
Haytom et al. Identity Verification and Fraud Detection During Online Exams with a Privacy Compliant Biometric System.
El-Bakry et al. Personal identification through biometric technology
AU2014201785A1 (en) System and method for biometric behavior context-based human recognition
JP7335651B1 (ja) 顔認証決済システムおよび顔認証決済方法
Zaghetto Contributions to non-conventional biometric systems: improvements on the fingerprint, facial and handwriting recognition approach
OLUSEGUN BIOMETRICS IDENTIFICATION SYSTEM FOR STAKEHOLDERS (A CASE STUDY OF MOUNTAIN TOP UNIVERSITY)
TWI576717B (zh) Dimensional biometric identification system and method
Anusuya et al. Survey on multimodel biometrics on human identification using real time filtering algorithm
Kopecz et al. ZN-Face: A system for access control using automated face recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E601 Decision to refuse application
J201 Request for trial against refusal decision
A107 Divisional application of patent
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101006477; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20161116

Effective date: 20181019