KR20060052839A - 지문 이미지의 포착을 위한 방법 - Google Patents

지문 이미지의 포착을 위한 방법 Download PDF

Info

Publication number
KR20060052839A
KR20060052839A KR1020067001242A KR20067001242A KR20060052839A KR 20060052839 A KR20060052839 A KR 20060052839A KR 1020067001242 A KR1020067001242 A KR 1020067001242A KR 20067001242 A KR20067001242 A KR 20067001242A KR 20060052839 A KR20060052839 A KR 20060052839A
Authority
KR
South Korea
Prior art keywords
image
correlation
displacement
finger
sensor
Prior art date
Application number
KR1020067001242A
Other languages
English (en)
Inventor
쟝-프랑수와 메니앙
Original Assignee
아뜨멜 그르노블 소시에떼 아노님
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아뜨멜 그르노블 소시에떼 아노님 filed Critical 아뜨멜 그르노블 소시에떼 아노님
Publication of KR20060052839A publication Critical patent/KR20060052839A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1335Combining adjacent partial images (e.g. slices) to create a composite input or reference pattern; Tracking a sweeping finger movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 디지털 지문의 인식에 관한 것으로, 더 상세하게는, 연장 바의 연방 방향에 대해 본질적으로 평행한 방식으로 센서의 전방에서 상대적 방식으로 손가락이 통과하는 경우에 지문의 융기 및 골을 검출할 수 있는 센서의 연장 바에 의한 인식에 관한 것이다. 본 발명의 방법은 다음의 동작, 즉, 연속적인 부분 오버랩 이미지가 프로세서의 제어에 따라 포착되는 동작, 2 개의 이미지들 간의 더 양호한 상관관계를 제공하기 위해 제 2 이미지에 대한 제 1 이미지의 변위가 조사되는 동작, 상기 변위 컴포넌트가 연장 센서에 대해 수직 방향으로 픽셀의 관점에서 결정되는 동작, 변위 컴포넌트가 적어도 하나의 임계값과 비교되는 동작, 비교 결과에 따라, 다음 이미지의 포착 이전에 프로세서에 의해 부과되는 딜레이 T 가 유지되거나, 시간 증분 dT 만큼 증가 또는 감소하는 동작을 포함한다. 그 결과, 상관관계 탐색은, 공지되지 않은, 손가락의 변위의 속도에 따라 적응된다.
지문 포착 시스템, 디지털 지문 인식

Description

지문 이미지의 포착을 위한 방법{METHOD FOR THE ACQUISITION OF AN IMAGE OF A FINGER PRINT}
본 발명은 지문의 인식에 관한 것으로, 더 상세하게는, 바 (bar) 의 연장 방향에 실질적으로 수직인 센서에 대한 손가락의 상대적인 이동 동안에 지문의 융기 및 골을 검출할 수 있는 센서의 연장 바를 기초로 한 인식에 관한 것이다.
수집되는 손가락의 이미지보다 더 작고, 따라서 상대적인 이동에 의하는 것 외에는 이러한 이미지를 수집할 수 없는 연장 형태의 이러한 센서들은 이미 개시되어 있다. 이들 센서는 주로 광학 또는 용량성 또는 열적 또는 압전 검출에 의해 동작할 수 있다.
이들 센서는, 손가락이 고정된 채로 두는 비이동성 센서와 비교할 경우, 센서가 이용하는 실리콘의 작은 면적 때문에 비용을 감소시킨다는 이점을 가진다. 그러나, 이러한 이미지는 한 라인씩 또는 한번에 수개의 라인을 포착하기 때문에, 손가락의 전체 이미지의 재구성이 필요하다.
이에 따라, 이미지가 점진적으로 포착되면, 원칙적으로, 센서에 대한 손가락의 상대적인 이동 속도의 기준을 갖거나 고정된 이동 속도를 부과하는 것이 필요하다. 따라서, 이는 추가적인 특정 수단을 필요로 한다.
프린트의 부분 이미지들을 연속적으로 포착하기 위한 수개의 라인을 포함하는 연장 센서에 의한 검출 원리를 설명한 프랑스 특허 공개공보 제 FR 2 749 955 호에서는, 이들 이미지를 상호 오버랩 (overlap) 하여, 2 개의 연속적인 이미지 간의 상관관계를 탐색함으로써, 센서에 대한 손가락의 이동 속도를 추가적인 수단을 통해 확인할 필요 없이, 손가락의 이동과 연계하여 시프트된 연속적인 이미지를 중첩시키고 프린트의 전체 이미지를 점진적으로 재구성하는 것이 가능하다.
이러한 타입의 재구성은 양호하게 동작하지만, 동작을 계속 가능하게 하는 이동 속도의 범위를 증가시키기 위한 설비가 요구된다. 또한, 우수한 정확도를 유지시키면서 이미지를 재구성하기 위해 수행되는 계산의 수를 최소화하기 위한 설비가 요구된다.
본 발명은 이러한 재구성에 필요한 계산을 과도하게 증가시키지 않고 이미지를 재구성하는 가능성을 향상시키는데 목적이 있다.
본 발명에 의하면, 이미지의 연장 센서 전방에서 손가락을 이동시킴으로써 지문 이미지를 포착하는 방법을 제안하며, 다음의 동작을 포함한다.
- 프로세서의 제어에 따라, 연속하는 상호 오버랩 부분 이미지를 포착하는 동작,
-제 2 이미지에 대하여, 2 개의 이미지들 간의 가장 양호한 상관관계를 제공하는 제 1 이미지의 변위를 탐색하고, 다수의 이미지 픽셀로서, 연장 센서에 수직인 방향의 이 변위의 컴포넌트를 결정하는 동작,
-이 변위의 컴포넌트를 적어도 하나의 임계값과 비교하는 동작,
-비교 결과의 함수로서, 다음 이미지의 포착 이전에 프로세서에 의해 부과되는 딜레이 T 를 유지하거나, 시간 증분 dT 만큼 증가 또는 감소시키는 동작.
따라서, 부분 이미지의 포착 레이트는 이동 예상 방향의 센서에 대한 손가락 변위의 속도의 함수에 따라 변한다.
그 후, 이미지는 이동 방향 또는 이동의 수직 방향의 변위의 함수에 따라 재구성되며, 2 개의 연속적인 오버랩 이미지 간에 고려되는 변위는 이미지들 간의 가장 양호한 상관관계를 제공하는 변위이다. 상관 값은 2 개의 이미지들 간의 더 크거나 또는 더 작은 유사성 (resemblance) 을 나타내는 수학적인 양이고, 2 개의 이미지들 (시프트된 제 1 이미지, 및 제 2 이미지) 이 일치하는 경우에 최대값 또는 (바람직하게는) 최소값을 나타내는 함수를 상관량으로서 선택하는 것이 가능하다. 각각의 새로운 이미지에서, 가장 양호한 상관관계를 제공하는 변위가, 고려되는 임계값 근처에서 거의 일정하도록 하는 방향으로 포착 딜레이가 재조절된다.
바람직하게는, 고 임계값과 저 임계값이 존재하는데, 고 임계값의 오버슈팅 (overshooting) 은 딜레이 T의 dT 만큼의 감소를 야기하고, 저 임계값의 언더슈팅 (undershooting) 은 딜레이 T의 dT 만큼의 증가를 야기한다. 바람직하게는, 임계값은 수개의 픽셀이다. 바람직하게는, 고 임계값과 저 임계값 간의 차는 일 픽셀이다. 바람직하게는, 임계값은 각각 2 개 및 3 개의 픽셀이다. 이는, 2 개의 연속적인 포착 간의 이미지 변위가 약 2 개 내지 3 개의 픽셀이 되도록, 2 개의 연속적인 포착 간에 정렬되는 딜레이가 영구 조절된다는 것을 의미한다.
계산 시간에 관한 허용가능한 타협을 위해, 센서에 의해 제공되는 이미지의 제한 부분에 대해 상관이 수행된다. 예를 들어, 부분 이미지의 라인의 하나 이상의 세그먼트를 구성하는 이미지 부분에 대한 상관이 수행된다 (즉, 탐색은, 제 1 이미지에서와 동일한 메이크업 (makeup) 을 갖는 세그먼트에 대해 제 2 이미지의 라인에서 수행되지만, 제 1 이미지의 포착과 제 2 이미지의 포착 간에 발생하는 상대적인 변위 때문에 이미지의 상이한 위치에 위치한다). 바람직하게는, 라인 세그먼트에 대한 상관관계의 이러한 탐색을 위해, 센서는 세그먼트의 이미지가 이동 방향으로 전체적으로 수개의 픽셀의 변위 이후에 발견될 수도 있는 작은 직사각형 존 (zone) 을 포함한다.
특정한 실시형태에서, 상관이 센서의 중앙 존에서만 수행되도록 시각화하는 것이 가능하며, 연장 센서는 중앙에 오직 작은 직사각형 영역 (상관관계 및 재구성에 관한 변위를 검출할 수 있는 수개의 라인) 및 중앙 영역의 외부의 단일 라인 (또는 정확하게 수개의 라인이지만 중앙 영역보다 더 적은 수의 라인) 을 실제로 포함하는 이미지 검출 존을 가진다. 이러한 형상의 검출 존은 직사각형 실리콘 칩 상에 더 많은 여유를 남겨서, 이미지의 상관관계 및 재구성용, 또는 프린트 재인식용으로도 이용되는 신호 프로세싱 회로를 위치시킨다.
최적의 상관관계를 계산하기 위한 동작을 단순화하기 위해, 반대 방향이 아닌 센서에 대한 손가락의 이동 예상 방향에 대응하는 방향으로 시프트되는 이미지에 의해서만 상관관계의 탐색이 수행된다. 예를 들어, 수개의 방향으로 또한 수개의 가능한 진폭으로, 및 이동의 이론상 예상 방향과의 각이 45°미만의 값인 방향을 따라서만, 제 2의 이미지의 연속적인 변위를 수행함으로써, 상관관계 탐색의 필드를 제한한다.
재구성에 관한 상관관계 계산 동안에, 픽셀 스페이싱 (spacing) 의 정수인 변위에 대한 최적의 상관 값을 제공하는 상관관계 계산을 수행하는 것이 가능하지만, 변위가 느린 경우, 픽셀 스페이싱 내에서의 상관관계가 충분히 정확하지 않을 수도 있다. 이 경우에, (픽셀 이내의) 위치 부근에서 획득되는 가장 양호한 상관관계가 관측되고, 발견되는 가장 양호한 상관관계 근처의 2 개 (이상) 의 상관관계에 기초하여 보간이 수행되어, 더 양호한 이론상 상관관계에 대응하여야 하는 중간 변위의 값이 계산되고, 그 후, 이 변위의 값은 픽셀 스페이싱의 비정수 값인데, 이 비정수 값이 재구성에 이용된다. 바람직하게는, 이것은 이동 방향 및 이동 방향의 수직 방향 모두에서 수행된다.
본 발명의 다른 특성 및 이점은 첨부 도면을 참조하여 제공되는 다음의 상세한 설명을 읽으면 명백해질 것이다.
도 1은 일반적인 프린트 포착 시스템을 나타낸 것이다.
도 2는 이미지 센서의 액티브 영역의 바람직한 형상을 나타낸 것이다.
도 3은 이미지 포착의 일반적 단계의 예시적인 흐름도를 나타낸 것이다.
도 4는 가변 레이트에서의 포착의 예시적인 흐름도를 나타낸 것이다.
도 5는 일 픽셀보다 더 양호한 픽셀 이내의 최적의 상관관계를 결정하기 위 한 보간 계산 방식을 나타낸다.
지문 포착 시스템은 연장 바 (하나 이상의 로우 (row) 의 픽셀) 를 포함하는 이미지 센서를 포함하며, 손가락은 연장 바의 전방에서 변위된다. 센서에 대한 손가락의 상대적 이동만이 전체 프린트 이미지를 재구성하게 하는 것이 가능하도록, 이 바는 손가락의 이미지보다 더 작다.
도 1은 센서에 의해 연속하여 검출되는 부분 이미지를 기초로 전체 이미지의 재구성에 소용하는 전자 프로세싱 회로 (12) 및 이 센서 (10) 를 이용하는 포착의 원리를 나타낸다.
센서는 모두 동일한 수의 픽셀을 가지는 로우를 갖는 종래 의미의 바 또는 매트릭스일 필요는 없으며, 본질적으로, 연속적인 부분 이미지의 계산에 더 상세하게 소용하는 중앙 매트릭스를 형성하는 수개의 로우 및 수개의 컬럼 (column) 의 어레이 및 전체 손가락의 전체 이미지의 검출에 실제로 소용하는 N 개의 픽셀의 하나 이상의 메인 로우 (main row) 에 관한 것이다.
센서 (10) 의 액티브 영역의 형상, 즉, 작은 직사각형 중앙 영역 (20), 및 화살표 (30) 에 의해 나타나는 이동 방향에 수직하는 2 개의 연장 윙 (elogate wing; 22 및 24) 은 도 2에 나타나는데, 연장 윙은 중앙 영역의 양측에서 각각 연장하고, 중앙 영역보다 일직선이고 더 좁다. 일직선의 윙 및 이를 접합함으로써 연장시키는 중앙 영역 부분은 검출하길 원하는 이미지 폭에 대응하는 길이를 갖는 이미지 검출 바를 구성하는데, 예를 들어, 로우의 길이는 손가락의 폭 (예를 들 어, 대략 1 내지 2 ㎝) 에 대응하고, 바람직하게는, 이미지 검출 바는 단일의 로우의 픽셀로 구성되지만, 재구성을 최적화하기 원하면, 수개의 로우의 픽셀을 포함하는 바가 제공될 수도 있다. 검출 바는 전체 이미지의 재구성에 소용하는 부분 이미지를 제공한다.
중앙 영역은 상관관계 계산을 하고, 따라서, 부분 오버래핑 이미지를 레코딩할 것이다 (중앙 영역이 몇 개의 부분 오버래핑 이미지를 제공하면, 검출 바가 이를 제공할 필요는 없다). 중앙 영역의 픽셀의 수는, 상관관계 계산의 정확도를 감소시키지 않고 상관관계 계산 시간이 용인가능할 정도로 충분히 적게 선택된다. 원칙적으로, 중앙 영역 (20) 의 로우의 수는 윙 (22 및 24) 의 로우의 수보다 더 많다.
이동 동안에 손가락의 부분 이미지의 다양한 캡처의 레이트를 결정하고 전체 지문 이미지를 얻기 위해 부분 이미지가 재구성되는 방식을 결정하는 프로세서의 제어하에, 이미지 센서가 동작한다. 프로세서는 2 개의 부분 (2 개의 프로세서) 를 포함할 수도 있는데, 그 중 하나는 부분 이미지를 후속 계산에 관한 메모리에 위치시키고, 다른 하나는 상관관계 계산을 수행하지만, 원칙적으로 단일의 프로세서가 2 개의 업무를 실행하는데 충분하다.
바람직하게는, 프로세서는 이미지 센서로서 동일한 칩 상에 위치하지만, 필수적인 것은 아니다. 도 1에서, 프로세서는 이미지 센서를 구성하는 칩 외부에 전자 회로 (12) 의 일부를 형성한다.
부분 이미지의 포착은 부분 이미지 간의 충분한 오버랩을 가질 정도로 신속 하여야 하며, 재구성이 실제로 가능하지 않으면 실패한다. 손가락의 이동 속도는, 예를 들어, 1 cm/s 내지 20 cm/s 일 수도 있고, 통상적으로 약 7 cm/s이다.
이미지의 픽셀의 사이즈는 통상적으로 약 50 마이크로미터이고, 이 범위의 속도에 대해, 센서의 정확한 속도로 초당 200 내지 4000 픽셀, 즉 밀리초당 0.2 내지 4 픽셀에 대응한다.
이미지 센서가 상관관계에 이용되어서 연속적인 이미지의 일정 오버랩이 반드시 있어야만 하는 영역에서 오직 8 개의 로우만 포함하면, 손가락이 최대 20 cm/s의 최대 속도로 변위되는 경우에도 이미지의 오버랩을 획득하기 위해서는, 대략 초당 부분 이미지의 700 개 내지 1000 개의 연속적인 포착이 필요하다. 그 후, 2 개 또는 3 개 라인이 오버랩되는데, 즉, 제 2 이미지의 최초 2 또는 3 라인은 원칙적으로 제 1 이미지의 최종 2 개 또는 3 개 라인과 일치한다. 따라서, 제 2 이미지는 제 1 이미지에 대해서 2 개 또는 3 개의 공통 라인 및 6 개 또는 5 개의 새로운 라인을 가진다.
연속적인 이미지의 포착의 레이트가 제공되어야 하는 크기에 관한 것이다. 물론, 중앙 영역 (20) 의 센서의 로우 수를 증가시킴으로써 부분 오버랩을 개선시키는 것이 가능하다. 예를 들어, 로우 수는 8 로우보다는 20 또는 30 로우일 수도 있지만, 이는 물론 실리콘의 면적에 관해서 비용의 손실을 가져온다.
지시의 방식으로, 손가락의 전체 이미지는 재구성 이후에 대략 300×400 픽셀에 대응할 수도 있다.
이미지를 포착하기 위한 시퀀스는 도 3에 의해 연상되며, 다음과 같다.
- 대기 페이즈 (stanby phase): 수개 (예를 들어, 3) 의 이미지의 포착, 및 손가락의 존재 계산에 의한 검출. 존재가 검출되면, 다음 페이즈로 통과하고, 그렇지 않으면, 새로운 수개의 이미지의 포착 및 새로운 존재 검출 이전에 약 10 밀리초 동안 대기하며, 10 밀리초의 래그 (lag) 는 20 cm/s의 최대 속도의 경우에도, 손가락이 2 개의 검출 시도 사이에서 이동하기 시작하면, 수 밀리미터의 이미지만이 상실된다.
- 제 1 의 포착 페이즈: 부분 이미지는 예를 들어, ¾ 초 동안 임의적으로 포착되고, 이 지속시간이 꽤 낮은 속도 (2 cm의 길이의 이미지에 대해 2.6 cm/s) 의 이동에 대응하기 때문에, 대부분의 경우에 이 지속시간은 손가락의 이미지의 완전 포착에 충분하고, 이 시간 이후에 최종 수개의 부분 이미지에서 손가락의 존재가 계산되며, 손가락이 여전히 존재하면, 다음 페이즈로 넘어가고, 그렇지 않으면, 이미지 포착은 종료되고 다음 페이즈로 넘어갈 수 있다.
- 손가락의 이동이 특히 느린 경우의 제 2 의 포착 페이즈: 손가락이 존재하면, 부분 이미지의 포착은 계속되지만 ¼ 초 동안만이고, 최종 수개의 슬라이스의 손가락의 존재가 테스트되며, 손가락이 존재하면, ¼ 초의 새로운 기간 동안 포착이 재개되고, 그렇지 않으면, 포착은 종료되고 재구성으로 넘어간다.
따라서, 획득되는 부분 이미지는 후속 프로세싱에 따라 저장되고, 그 밖에, 포착 기간 동안에 재구성이 점진적으로 개시될 수도 있다. 제 1 경우는 더 감소된 계산 수단을 갖춘 중요한 메모리를 필요로 하고, 제 2 경우는 더 감소된 메모리를 갖춘 중요한 계산 수단을 필요로 한다.
손가락의 검출은 이미지 중앙부의 픽셀의 신호 레벨 간의 표준 편차의 모니터링에 의해 달성된다. 손가락이 존재하지 않는 경우, 표준 편차는 작고, 노이즈에만 대응한다. 손가락이 존재하는 경우, 표준 편차는 크게 증가하고, 단순한 노이즈의 포착을 트리거하지 않는 것을 가능하게 하면서, 꽤 높은 검출 임계값을 선택하는데 충분하다.
손가락이 센서를 완전히 떠났는지 (그것도 불안정을 회피하기 위해 이전 임계값보다 더 저 임계값으로) 를 확실히 하기 위해, 충분한 지속기간 (예를 들어, 20 ms) 에 걸쳐 포착의 정지가 동일한 원리로 수행된다.
부분 이미지에 기초하여 전체 이미지 재구성을 수행하기 위해, 하나의 이미지로부터 다음 이미지로 손가락의 변위를 계산하는 것이 필요하다.
이를 위해, 바람직하게는, 2 개의 연속적인 이미지의 상관관계가 짧은 시간이 걸리도록, 오직 작은 계산력만이 필요한 계산 방법이 채택된다 (크기: 2 개의 이미지들 간의 가장 양호한 상관관계를 발견하기 위해 1 밀리초).
단순하고 효과적인 상관관계 계산은, 2 개의 연속적인 부분 이미지에서 동일한 실제 이미지 포인트의 2 개의 가능한 위치에 대응하는 픽셀 Pi 및 Pj의 2 개의 값 간의 차를 계산하고, 상관관계 존의 모든 픽셀 Pi 에 대한 편차의 절대값 (또는 대안적으로 편차의 제곱) 을 전부 합산하는데 있다. 즉, Pi 가 제 1 이미지의 픽셀 i 의 결정된 위치의 신호 값이면, Pj가 제 2 이미지에서 측정되는 픽셀 j의 또다른 위치 값이고, 픽셀 i 및 j는 가로축에 따라 거리 x 및 세로축에 따라 거리 y에 의해 분리된다. 가로축은 연장 바의 길이 방향으로 카운트되고, 세로축 은 그 수직 방향 (즉, 본질적으로 손가락의 이동 방향) 으로 카운트된다.
테스트되는 상관 값은 상관관계 존의 모든 픽셀에 대한 편차의 총합의 절대값을 기초로 계산되고, 상관관계 존은 상관이 수행되는 중앙 영역 (20) 보다 더 작은 제 1 이미지의 직사각형이다. 변위 (x,y) 에 대한 상관 값 COR (x,y) 는 가능한 이미지 변위 x, y에 관한 것이고, 물론, 변위 x, y에 대한 상관 값의 계산의 주제를 형성하는 모든 픽셀 i (상관관계 존에서 n 개의 픽셀이 존재하면, i는 1 내지 n) 는 동일한 값 x, y에 의해 변위된다. 상관 값이 더 작을수록, 제 2 이미지가 이전 포착 동안 제 1 이미지에 의해 보이는 손가락의 동일한 부분의 실제 이미지일 가능성이 더 커진다. 이미지가 더 양호하게 상관되는 경우에 편차 Pi-Pj의 총합이 항상 더 작고, 그 결과, 가장 양호한 상관 값은 상관량의 최소값에 대응하지만, 다른 상관량이 선택될 수 있으며, 이는 가장 양호한 가능한 상관관계에 대한 최대값의 탐색에 대응한다. 여기서 주장된 해결책 (편차의 총합의 최소값을 탐색함으로써 최적화되는 상관관계) 은 계산을 단순화하는 것을 가능하게 한다.
x, y의 다양한 값에 대해 수개의 상관 값이 계산되고, 가장 작은 값을 제공하는 변위 x, y를 탐색한다.
원칙적으로, x 및 y는 픽셀의 정수로서 표현되지만, 픽셀의 소수에 대한 최대 상관관계의 탐색을 세밀히 하는 것이 가능하다.
바람직하게는, 상관이 수행되는 픽셀의 수는 제한된다. 예를 들어, 상관관계는 액티브 존의 중앙 영역 (20) 에서 취해지는 라인 세그먼트에 걸쳐 수행된다. 바람직하게는, 이미지 변위가 약간 경사질 수도 있다는 사실을 고려하도 록, 이 세그먼트는 이 중앙 존의 폭 보다 더 짧은 길이를 가진다. 바람직하게는, 세그먼트는 센서의 중앙 영역의 전방부, 즉, 손가락 이미지의 새로운 부분을 먼저 보는 부분에 위치한다. 상세하게는, 손가락의 이동 방향을 고려하면, 제 1 이미지의 전방부에서 초기에 나타나는 손가락 이미지 부분은 시각화되는 방향으로 손가락의 이동과 연계하여 후방부 측으로 점진적으로 시프트되고, 제 1 이미지의 전방부에 위치하는 이미지 라인의 부분과 더 후방에 위치하는 이미지 라인의 부분 간의 상관관계를 탐색하는 것이 가능하다. 이는 손가락의 이동 방향이 부과된다는 것을 내포하며, 반대의 경우에, 후속 이미지에서의 상관관계가 구해지는 라인의 부분은 영역 (20) 의 중앙부에 있어야 한다.
센서의 액티브 존의 형상이 단순히 직사각형이면, 그 존이 십자가 형상인 도 2에 나타난 경우와 대비하는 경우, 상관관계는 상이하게, 예를 들어, 액티브 존에서 취해지는 수개의 라인 세그먼트에 걸쳐 수행될 수 있으며, 각 세그먼트의 상대 변위가 구해질 것이다.
상관관계 계산이 픽셀의 고정된 수, 예를 들어 64 개, 즉 상관관계 계산에 대한 분할을 단순화하는 단순한 2 진법 수에 걸쳐 수행되는 것이 바람직하다.
예를 들어, 상관관계 계산은, 픽셀의 수로, 수평 및 수직 모두로 표현되는 다음의 이미지 변위 값, 즉 (0,1), (0,2), (0,3), (0,4) (이동 방향의 변위), (1,1), (1,2), (1,3), (1,4) (우측으로 약간 경사진 변위) (-1, 1) (-1, 2), (-1, 3), (-1, 4) (좌측으로 약간 경사진 변위) 으로부터 수행되고, 변위 검출 및 명목상의 이동 방향에서 심하게 벗어나는 방향으로의 재구성의 가능성을 확대시키기 원 하면, 다른 좀더 경사진 변위 값으로부터 수행된다.
본 발명에 따라서, 상기에서 나타난 진폭보다 더 큰 진폭의 변위 (이동 방향에 수직으로 4 픽셀) 에 대한 상관관계를 탐색하는 것이 일반적으로 필요하다. 전체적으로, 16 개의 가능한 변위 값 중에서 최적 상관관계의 탐색은 본 발명의 원리에 의해 충분하여야 한다.
상세하게는, 작은 변위에 대해 후속 상관관계가 최적인 방식으로 상관관계의 결과의 함수로서 부분 이미지의 캡처의 레이트를 적응하도록 선택한다. 이미지 포착의 레이트를 상관관계 계산 및 재구성에 도움이 되는 방향으로 손가락의 변위 속도에 적응시킨다.
기본 전제는 오직 작은 가속도 또는 가속도를 전혀 경험하지 않는 동안 손가락이 변위된다는 것이고, 따라서, 이미지 포착의 순간에 속도가 소정의 값을 가지면, 다음의 포착 동안 실제로 동일한 값을 갖는다고 가정하는 것이 가능하다.
한편, (속도를 적절하게 결정하게 하는 수개의 시도 이후에) 1 또는 2 개의 픽셀 이내로, 다음 이미지의 위치를 예상하는 것이 실제로 가능하다. 그러나, 무엇보다도, (특히, 상관관계 존에서 8 개의 로우를 갖는 센서의 경우에) 2 개의 포착 간의 변위가 평균적으로 2 개 또는 3 개의 픽셀과 동일하게 유지되도록 2 개의 포착 간의 변위 간의 시간 간격을 적응시키는 것이 가능하다.
이러한 2 개 또는 3 개의 픽셀의 값은 센서가 상관관계 존에서 3 개 이상의 로우를 가지면 증가할 수 있지만, 상관관계를 최소화하기 위해, 상관관계 존의 사이즈를 지나치게 증가시키지 않는 것이 유익하다.
따라서, 포착의 레이트는 손가락의 최대 속도에 대해 2 내지 3 개의 픽셀의 변위 (바람직한 값) 를 초과하지 않도록 충분할 수 있고, 반대로, 이 레이트는 손가락의 느린 속도의 경우에 유지되지 않는데, 특히 상관관계가 오직 일 픽셀 이내의 변위를 결정하는 것을 가능하게 하면, 이를 유지하는 것이 2 개의 포착 간의 지나치게 작은 이미지 변위가 피크에 달하고, 2 개의 연속적인 이미지 간의 상관관계의 탐색이 오직 작은 의미만 가질 수 있기 때문이다.
따라서, 손가락이 2 개 또는 3 개의 픽셀 만큼 변위되는 경우에만 새로운 이미지를 포착하도록, 느린 변위의 경우에 레이트는 느려진다. 그 타입의 센서가 이용가능한 신호를 제공하는데 꽤 긴 집적 시간이 필요한 경우에, 이 시간은 센서에 의해 검출되는 신호가 더 오랜 시간 동안 집적되는데에 적절하게 이용된다는 것은 흥미롭다 (즉, 이는 열적 효과 (지문의 융기와 골 간의 온도 또는 열전도의 분산) 에 대해 동작하는 센서의 경우이다).
도 4 에 다이어그램으로 도시된 포착 레이트 적응 알고리즘은 다음과 같은데, 다음 이미지의 판독 이전에 시간 t1 및 시간 간격 또는 "대기 시간" 동안 지속되는 이미지의 판독을 T 라고 하면, 다음과 같이 진행된다.
- a) 초기에, 2 개의 포착 사이의 대기 시간 T 는 0 으로 설정되고, 이는 포착 레이트가 최대인 것을 나타내며, 이는 손가락의 변위가 특히 고속으로 달성되는 경우를 준비하는 것을 사전에 가능하게 한다.
- b) 2 개의 포착 사이의 0 대기 시간으로 제 2 포착에 후속하여 이미지의 제 1 포착이 수행된다.
- c) 최대 상관관계의 탐색은 제 2 이미지와, x, y 만큼 시프트된 제 1 이미지 간의 상관 값을 계산함으로써 수행되고, 이는 제 1 이미지의 다양한 변위 x,y 에 대해 수행되고, 가장 양호한 상관 값을 제공하는 값 X,Y가 결정되며, 이 값은 2 개의 포착 간의 손가락 이미지의 변위 벡터를 나타낸다.
- d) (본질적으로 손가락의 예상 이동 y 방향의) 변위가 저 임계값보다 더 작으면, 바람직하게는, 2 개의 픽셀이면, 대기 시간 T 는 일정 값 dT (통상적으로 50 마이크로초) 만큼 증가하고, 반대로, 변위가 고 임계값보다 더 크면, 바람직하게는, 3 개의 픽셀이면, 대기 시간 T는 이미 0 이 아닌 경우에 동일한 양만큼 감소하며, 변위가 2 개 또는 3 개의 픽셀과 동일하면, 대기 시간은 변경되지 않는다.
손가락의 속도에 적응된 대기 시간 T 에 대한 컨버전스 (convergence) 이후, 손가락은 의미 있는 가속도를 경험하지 않기 때문에, 변경은 느리고, 대기 시간은 T-dT 와 T+dT 사이에서 진동한다.
적절한 대기 시간에 대한 이런 컨버전스의 탐색에서, 대기 시간은 더이상 증가하지 않는 시간 (통상적으로 약 10 밀리초) 이내로 일정 값 Tmax 으로 제한되고, 이 최대값은 손가락의 변위에 대해 요구되는 최소 속도, 통상적으로는 1 cm/s 에 좌우된다. 더 낮은 값에서, T 는 명백하게 0 으로 제한된다.
변위의 하위 및 상위 임계값의 선택은 2 개 및 3 개의 픽셀과 상이할 수도 있다. 임계값은 동일할 수 있지만, 이를 상이하게 함으로써 대기 시간의 무관한 진동을 회피한다. 이들은 1 개 및 2 개의 픽셀로 감소될 수 있지만, 그 후, 이미지 재구성은 덜 정확하고, 이들은 증가할 수 있지만, 그 후, 센서가 더 중요한 변위를 고려하도록 상관관계 존에서 충분한 로우를 갖도록 확실시하는 것이 필요하고, 게다가, 상관관계의 탐색은, 원칙적으로 더 넓은 범위의 가능한 변위 x,y 에 걸쳐 더 큰 수의 상관 값을 계산하는 것이 필요하기 때문에 더 많은 시간이 걸린다.
도 4는 이 프로세싱의 일부의 흐름도를 연상시킨다. 물론, 새로운 딜레이 T 의 계산을 발생시키는 각 이미지 포착 이후에, 획득되는 제 2 이미지는 포착 시퀀스 및 다음의 상관관계 탐색에 대한 제 1 이미지가 된다.
손가락의 변위 속도의 함수로서 점진적으로 시프트되는 손가락의 다양한 부분 이미지의 포착 이후에, 손가락의 전체 이미지가 재구성된다. 부분 이미지를 저장하는데 이용가능한 계산력 및 메모리가 다소 큼에 따라, 모든 포착 종료 이후 또는 포착과 연계하여 재구성이 수행된다.
양자의 경우에, 2 개의 포착 간의 이미지 변위가 일정 (평균적으로 2 개 또는 3 개의 픽셀) 한 방식으로 포착의 레이트가 안정화되는 순간부터는, 이러한 레이트의 값을 고려하는 것이 실제로 필요하지 않다. 손가락의 전체 이미지를 재구성하기 위해, 가장 양호한 상관관계를 주고, 이동 방향 (수직) 으로 평균적으로 2 개 또는 3 개의 픽셀이고 손가락이 이동 방향으로 실제로 변위되면 수직 방향 (수평) 으로 0 에 가까운 변위 값만큼 각 시간마다 시프트되는 연속적인 이미지를 병치하는데 충분하다.
그러나, 이미지 재구성을 세밀히 하기 위해, 수직 및 수평적으로 일 픽셀보다 더 양호한 픽셀 이내의 최대 상관관계를 탐색하는 것이 바람직하다. 상세하 게는, 2 개 또는 3 개의 픽셀과 같이 작은 변위에 걸쳐, 정수의 픽셀과 동일한 이미지 변위에 대응할 작은 가능성을 가지는 상관 값이 구해진다.
따라서, 수개의 상관 값이 정수의 픽셀로서 표현되는 다양한 변위에 대해 구해지고, 2 개의 상관 값 COR (x, y-1) 및 COR (x, y+1) 이 가장 높은 상관 값 COR (x,y) 을 플랭크 (flank) 하면, 명백하게 일 픽셀 이내의 가장 양호한 상관관계를 제공하는 변위 x, y 보다 더 양호하게 상관 피크에 대응하는 이동 방향의 소수의 픽셀로서 표현되는 변위 x, y' 를 3 개의 값으로부터 연역하는 것이 가능하다.
도 5 는 일 픽셀 이내로 수행되는 계산에 기초하여 일 픽셀보다 더 양호한 픽셀 이내의 가장 양호한 상관관계를 제공하는 이러한 변위의 근사값을 계산하는 방식을 도시한 것이다. 알고리즘은 다음과 같고, 실제 뿐만 아니라, 그래프를 기초로 설명되며, 물론, 알고리즘은 그래프 상의 구성을 나타내는 수학식을 기초로 소프트웨어에 의해 실행되며, 3 개의 값 COR(x,y), COR(x,y-1), COR(x,y+1) 은 그래프 (가로좌표를 따라 변위 y, 세로좌표를 따라 상관 값) 상에 차트되고, 이들 중, 최소 상관 값 COR(x, y) 을 갖는 가장 양호한 상관관계의 점, 최대 상관 값 (다른 2 개의 점 중 하나) 을 갖는 점, 및 중간 상관 값 (그 2 개의 점 중 다른 하나) 을 갖는 점이 있으며, 최대 상관관계의 점과 최소 상관관계의 점을 접속하는 세그먼트가 구성되고, 세로좌표에 대해 중간 상관 값을 갖는 이 세그먼트의 점의 가로좌표 y'' 가 결정되고, 가로좌표 값 y' 과 중간 상관관계 (y+1 or y-1) 의 점의 가로좌표 사이의 중간점인 가로좌표 값 y' 이 계산된다.
따라서, 예를 들어, 중간 상관 값을 가지는 점이 가로좌표 x, y+1 와 세로좌 표 COR(x, y+1) 의 점이면, 일 픽셀보다 더 양호한 픽셀 이내로 근사되는 최적의 상관관계의 점은 가로좌표
y' = (y'' + y + 1)/2
의 점이다.
반대의 경우에, 중간 상관관계의 점이 COR(x,y-1) 이면, 일 픽셀보다 더 양호한 픽셀 이내의 최대 상관관계의 점은 가로좌표
y' = (y'' + y - 1)/2
의 점이다.
값 y' 는 이동 방향으로 제 2 이미지와 제 1 이미지 간의 변위 값 Y 를 구성한다.
가장 양호한 상관관계 COR(x,y) 의 값을 플랭크하는 2 개의 상관 값 COR(x-1, y) 및 COR(x+1,y) 을 기초로, 이동 방향에 수직인 방향으로 일 픽셀보다 더 양호한 픽셀 이내의 변위 X 를 결정하기 위해 동일한 보간이 수행될 수도 있다.
이미지 재구성 동안에, 각 이미지는 이전 이미지에 대하여 계산되는 변위 X, Y 와 관련되고, 따라서, 점진적으로 시프트되는 이미지는 병치되어 전체 이미지를 재구성한다. 변위 X,Y 가 일 픽셀보다 더 양호한 픽셀 이내로 구해지면, 이러한 병치는 센서의 일 픽셀보다 더 큰 해상도의 매트릭스에서 수행될 수도 있다. 그러나, 해상도 1 픽셀의 매트릭스에 병치하는 것이 가능하고 또한 바람직하지만, 이는 재구성 방법의 적응을 전제로 하고, 이 적응은 다음과 같은데, 전체 이미지에서의 부분 이미지의 중첩을 위해, 이전 이미지에 대해서는 취해지지 않고 (그 후, 일 픽셀보다 더 양호한 픽셀 이내의 변위를 계산하여, 그 후 이를 일 픽셀 이내로 정의된 이미지로 전송하는 것은 무의미하다) 포착되는 전체 제 1 이미지에 대해서 취해지는 변위 값이 정의되며, 전체 제 1 이미지에 대한 이미지의 변위는, 각각 일 픽셀보다 더 양호한 픽셀로 계산되는 모든 연속적인 변위의 적분이고, 이러한 적분은 하나의 픽셀 이내의 변위를 전체 이미지 재구성 매트릭스로 전송한다. 따라서, 부분 이미지는, 제 1 이미지와 고려되는 부분 이미지 간에 포착되는 부분 이미지의 연속적인 변위를 합함으로써, 포착되는 제 1 이미지에 대하여 카운트되는 변위 값만큼 시프트된다.

Claims (10)

  1. 이미지의 연장 센서 전방에서 손가락을 이동함으로써 지문 이미지를 포착하는 방법으로서,
    - 프로세서의 제어에 따라, 연속하는 상호 오버랩 부분 이미지를 포착하는 단계,
    - 제 2 이미지에 대하여, 2 개의 이미지들 간의 가장 양호한 상관관계를 제공하는 제 1 이미지의 변위를 탐색하고, 상기 연장 센서에 수직인 방향의 상기 변위의 컴포넌트를, 다수의 이미지 픽셀로서 결정하는 단계,
    - 상기 변위의 컴포넌트를 적어도 하나의 임계값과 비교하는 단계,
    - 상기 비교의 결과의 함수로서, 그 다음 이미지의 포착 이전에 상기 프로세서에 의해 부과되는 딜레이 T를 유지하거나, 시간 증분 dT 만큼 증가 또는 감소시키는 단계를 포함하는 것을 특징으로 하는 지문 포착 방법.
  2. 제 1 항에 있어서,
    상기 이미지 센서의 길이 방향 및 폭 방향 모두의 변위에 기초하여, 가장 양호한 상관관계가 구해지고, 연속적인 이미지 간의 가장 양호한 상관관계를 제공하는 시프트된 이미지를 중첩시킴으로써 상기 손가락의 전체 이미지가 재구성되는 것을 특징으로 하는 지문 포착 방법.
  3. 제 1 또는 제 2 항에 있어서,
    각각의 새로운 이미지에서, 가장 양호한 상관관계를 제공하는 상기 변위를 하나의 포착으로부터 그 다음 포착까지 고려되는 임계값 근처에서 거의 일정하게 유지하려는 방향으로 포착 딜레이가 재조절되는 것을 특징으로 하는 지문 포착 방법.
  4. 제 3 항에 있어서,
    고 임계값 및 저 임계값 모두에 대하여, 딜레이 T의 dT 만큼의 감소를 야기하는 고 임계값의 오버슈팅 및 딜레이 T의 dT 만큼의 증가를 야기하는 저 임계값의 언더슈팅을 제공하는 것을 특징으로 하는 지문 포착 방법.
  5. 제 4 항에 있어서,
    상기 고 임계값과 상기 저 임계값 간의 차는 일 픽셀인 것을 특징으로 하는 지문 포착 방법.
  6. 제 5 항에 있어서,
    상기 임계값들은 각각 2 개 및 3 개의 픽셀인 것을 특징으로 하는 지문 포착 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 센서에 의해 제공되는 상기 이미지의 제한된 부분에 대하여 상관이 수행되는 것을 특징으로 하는 지문 포착 방법.
  8. 제 7 항에 있어서,
    상기 센서의 중앙 존에만 상기 상관이 달성되며,
    중앙 상관관계 존을 구성하도록, 상기 센서는 그 중앙부에 전체 폭에 걸쳐 적은 수의 로우 및 더 짧은 길이의 추가적인 로우를 갖는 것을 특징으로 하는 지문 포착 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 픽셀 스페이싱의 정수인 변위에 대해 상관관계 계산이 수행되고,
    더 양호한 이론상 상관관계에 대응해야 하는 일 픽셀보다 더 양호한 픽셀 이내의 중간 변위 값을 구하도록 계산되는, 가장 양호한 상관관계 근처의 2 개 (이상) 의 상관관계에 기초하여 보간 계산이 수행되며,
    상기 중간 변위 값은, 시프트된 부분 이미지의 병치 (juxtaposition) 에 의해 전체 이미지의 재구성 동안에 이용되는 것을 특징으로 하는 지문 포착 방법.
  10. 제 9 항에 있어서,
    전체 이미지의 상기 재구성을 위해, 고려되는 부분 이미지와 상기 제 1 이미지 사이에서 포착되는 상기 부분 이미지의 연속적인 변위를 합함으로써, 포착되는 제 1 이미지에 대하여 카운트되는 변위 값만큼 상기 부분 이미지가 시프트되는 것을 특징으로 하는 지문 포착 방법.
KR1020067001242A 2003-07-18 2004-07-16 지문 이미지의 포착을 위한 방법 KR20060052839A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0308822 2003-07-18
FR0308822A FR2857768B1 (fr) 2003-07-18 2003-07-18 Procede d'acquisition d'image d'empreinte digitale

Publications (1)

Publication Number Publication Date
KR20060052839A true KR20060052839A (ko) 2006-05-19

Family

ID=33548264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067001242A KR20060052839A (ko) 2003-07-18 2004-07-16 지문 이미지의 포착을 위한 방법

Country Status (8)

Country Link
EP (1) EP1646965B1 (ko)
JP (1) JP2009514058A (ko)
KR (1) KR20060052839A (ko)
CN (1) CN1826605A (ko)
CA (1) CA2532082A1 (ko)
DE (1) DE602004013326T2 (ko)
FR (1) FR2857768B1 (ko)
WO (1) WO2005015481A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007014075A2 (en) 2005-07-21 2007-02-01 Alnylam Pharmaceuticals, Inc. Rnai modulation of the rho-a gene in research models
EP2202239A1 (en) 2005-11-01 2010-06-30 Alnylam Pharmaceuticals Inc. RNAI inhibition of influenza virus replication
US7846908B2 (en) 2006-03-16 2010-12-07 Alnylam Pharmaceuticals, Inc. RNAi modulation of TGF-beta and therapeutic uses thereof
CN101005353B (zh) * 2006-12-29 2010-06-23 北京飞天诚信科技有限公司 一种实现定位和导航功能的智能密钥设备
EP1993061B1 (en) 2007-05-16 2011-05-04 Precise Biometrics AB Sequential image alignment
CN101807125B (zh) * 2010-03-25 2012-09-05 埃派克森微电子(上海)股份有限公司 光学指示装置点击判断方法
CN106127129A (zh) 2016-06-17 2016-11-16 北京小米移动软件有限公司 指纹录入提示方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW303441B (ko) * 1995-03-29 1997-04-21 Trw Inc
US5729008A (en) * 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
FR2749955B1 (fr) * 1996-06-14 1998-09-11 Thomson Csf Systeme de lecture d'empreintes digitales
US7289649B1 (en) * 2000-08-10 2007-10-30 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Fingerprint imager
US20030123714A1 (en) * 2001-11-06 2003-07-03 O'gorman Lawrence Method and system for capturing fingerprints from multiple swipe images

Also Published As

Publication number Publication date
FR2857768A1 (fr) 2005-01-21
DE602004013326T2 (de) 2009-07-09
WO2005015481A1 (fr) 2005-02-17
EP1646965A1 (fr) 2006-04-19
EP1646965B1 (fr) 2008-04-23
FR2857768B1 (fr) 2006-01-06
JP2009514058A (ja) 2009-04-02
CA2532082A1 (fr) 2005-02-17
CN1826605A (zh) 2006-08-30
DE602004013326D1 (de) 2008-06-05

Similar Documents

Publication Publication Date Title
US7734074B2 (en) Finger sensor apparatus using image resampling and associated methods
US8588512B2 (en) Localization method for a moving robot
US7599548B2 (en) Image processing apparatus and image processing method
EP3265896B1 (en) Method and system for estimating finger movement
US7079116B2 (en) Method of processing data of optical mouse
JP2003076486A (ja) ポインティングデバイス
KR20120086677A (ko) 이중 라인 스캐너를 이용한 사용자 입력 장치 및 방법
KR20060052839A (ko) 지문 이미지의 포착을 위한 방법
Pan et al. Using accelerometer for counting and identifying swimming strokes
US11918328B2 (en) Baseline correction and extraction of heartbeat profiles
JPS63246136A (ja) 脈拍数決定方法および装置
US20060204061A1 (en) Method for the acquisition of an image of a finger print
US20210082109A1 (en) Heart rate measurement for fitness exercises using video
KR0147218B1 (ko) 에이치디티브이의 고속 움직임 추정방법
JP5034253B2 (ja) オブジェクト高さ算出装置およびそれを用いたオブジェクト検索装置ならびにオブジェクト高さ算出方法
WO2001094892A2 (en) Velocity measurement - center of gravity
US5471544A (en) Condition number-based smoothins of optical flow fields
JP3541889B2 (ja) 目標追尾装置
KR100789607B1 (ko) 지문 인식 장치 및 방법
KR102344494B1 (ko) 웨이블릿 변환된 신호들에서의 피크 주변의 복잡도 값을 이용하여 유효 피크를 검출하는 생체 신호 측정 장치, 방법, 및 상기 방법들을 실행하기 위한 컴퓨터 프로그램
TW202025963A (zh) 自主式全光譜生物測定監測
JPH05176314A (ja) 画像の動き検出装置
JP4372172B2 (ja) 指紋入力装置、方法及びプログラム
KR20240035017A (ko) 심박수 측정 장치 및 방법
KR20220155238A (ko) 저전력 맞춤형 지문 추출 식별 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid