KR20060072268A - 디지털 카메라를 이용한 선바이저 자동조절장치 및 방법 - Google Patents

디지털 카메라를 이용한 선바이저 자동조절장치 및 방법 Download PDF

Info

Publication number
KR20060072268A
KR20060072268A KR1020040110822A KR20040110822A KR20060072268A KR 20060072268 A KR20060072268 A KR 20060072268A KR 1020040110822 A KR1020040110822 A KR 1020040110822A KR 20040110822 A KR20040110822 A KR 20040110822A KR 20060072268 A KR20060072268 A KR 20060072268A
Authority
KR
South Korea
Prior art keywords
image
sun visor
eye
driver
mirror
Prior art date
Application number
KR1020040110822A
Other languages
English (en)
Inventor
허동필
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020040110822A priority Critical patent/KR20060072268A/ko
Publication of KR20060072268A publication Critical patent/KR20060072268A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60JWINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/02Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in position
    • B60J3/0204Sun visors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00Responses or measures related to driver conditions
    • B60Y2302/03Actuating a signal or alarm device

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

본 발명의 선바이저 자동조절장치는 운전자의 형상을 인식하여 영상입력신호를 출력하도록 룸미러(12)등에 설치되는 디지털 카메라(50)와, 상기 카메라(50)의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치와 눈부분의 영상이미지를 구하기 위한 신호처리부(60)와, 운전자에 입사된 광을 감지하는 광감지수단(20)과, 상기 신호처리부(60)의 눈의 위치 및 눈부분의 영상이미지와, 상기 광감지수단(20)으로부터 입사되는 광량에 따라 미러위치 설정용 및 선바이저 슬라이딩용 모터구동 제어신호를 출력하는 ECU(70)와, 상기 ECU(70)로부터 출력된 미러위치설정용 및 선바이저 슬라이딩위치 설정용 구동제어신호에 따라 룸미러(12) 및 좌/우 사이드 미러(14,16)의 좌/우 및 상/하 각도 및 선사이저 조정장치(40)의 선바이저(10)의 슬라이딩 하강량을 조정하기 위한 각각의 모터(52,54,56,8)들과를 포함한다.
본 발명에 의하면, 디지털 카메라를 이용한 차량의 미러제어장치를 이용하여 운전자의 눈부분의 영상이미지의 변화와 운전자의 눈에 입사되는 광량에 따라 선바이저를 자동으로 조절할 수 있으므로, 선바이저 슬라이딩 기준의 입사량과 다르더라도 운전자에게는 정면으로 광이 입사하는 경우에도 적절하게 대응할 수 있고, 더구나 미러의 자동제어와 연관되어 차량의 고급화를 도모하는 효과를 가진다.

Description

디지털 카메라를 이용한 선바이저 자동조절장치 및 방법{Apparatus for automatically controlling a sun visor using a digital camera and method thereof}
도 1은 종래의 전동식 슬라이딩 선바이저의 구성을 나타내는 개략도이고,
도 2는 일반적인 미러제어장치의 구성을 나타내는 개략도이고,
도 3은 본 발명의 바람직한 실시예에 따른 선바이저 자동조절장치의 구성을 나타내는 블록도이고,
도 4는 도 3 장치의 작동 순서도이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 선바이저 8 : 선바이저 구동모터
12 : 룸미러 14, 16 : 사이드 미러
20 : 광감지수단 50 : 디지털 카메라
52 : 룸미러 구동모터 54, 56 : 사이드미러 구동모터
60 : 화상처리부 70 : ECU
90 : 부저
본 발명은 선바이저 자동조절장치에 관한 것으로, 보다 상세하게는 디지털 카메라를 이용한 차량의 미러제어장치를 이용하여 운전자의 눈 방향과 눈에 반사되는 빛 영상으로 선바이저를 자동으로 조절할 수 있는 선바이저 자동조절장치에 관한 것이다.
일반적으로 차량에는 광감지수단을 이용하여 전방에서 입사하는 입사광의 각도에 상응하게 선바이저의 높낮이를 자동으로 조절할 수 있도록 구성된 다양한 종류의 선바이저 자동조절장치가 개발되어 있다.
도 1에 광감지수단을 이용하는 대표적인 선바이저 작동장치를 도시한다. 도시된 바와 같이, 선바이저 작동장치(40)는 구동모터(8)와, 윈드 실드그래스(6)나 룸미러의 배면에 장착되어 빛을 감지하는 광감지수단(20)과, 광감지수단(20)에 의한 감지신호에 따라 모터(8)를 정역 회전하도록 제어하는 모터 제어부(30)와, 상기 모터(8)의 정역회전에 의해 가이드 레일(도시하지 않음)을 따라 상하로 슬라이딩되도록 차체의 내외판넬(2)과 톱셀링(Top Celling)내에 장착된 선바이저(10)로 구성된다.
또한, 차량에는 운전자가 차선을 변경하거나 좌/우 회전을 위해 룸미러 및 좌/우 사이드 미러에 투영되는 상을 통하여 후방시계를 확보하고 있으며, 이러한 룸미러 및 좌/우 사이드 미러를 운전자는 수동 및 파워식 조절장치를 사용하여 자신의 시선에 맞게 조절하고 있다.
하지만, 종래에 개발된 선바이저 자동조절장치들은 차량이 평탄한 도로를 주 행하는 것을 기준으로 통상 윈드 실드 그래스나 룸미러의 배면에 부착된 광감지수단만을 이용하여 획일적으로 운전자의 정면으로 입사하는 광의 입사량에 따라 선바이저의 높낮이를 조절하였으나, 차량의 주행도로가 오르막이거나 내리막인 경우, 평탄한 도로를 기준으로 부착된 광감지수단에서 측정되는 광의 입사량이 달라질 수 있고, 일출이나 일몰등 광감지수단의 측정량이 선바이저 구동기준 입사량과는 다르지만 운전자에게는 정면으로 광이 입사하는 경우에는 이에 적절하게 대응하지 못하는 문제점이 있으므로, 이를 해소하고자 선글래스를 착용하는 경우가 있게 된다. 하나, 석양등의 경우에는 짧은 시간이 지나 곧 어두워지는 상황에서는 선글래스 착용으로 더 큰 사고의 위험을 초래할 수도 있게 된다. 더구나, 차량이 선회함에 따라, 빛이 측면에서 입사되는 경우에는 운전자의 시야를 일시적으로 먹통으로 하게 되므로, 선바이저가 전혀 도움이 안되는 경우도 발생한다.
또한, 종래의 수동 및 파워식 조절장치는 다수의 운전자가 공동으로 차량을 사용하는 경우에는 각 운전자의 시선에 맞도록 룸미러 및 좌/우 사이드 미러를 재설정해야 하는 번거로움이 있고, 또한 졸음운전시 경고음을 발생시켜 운전자에게 경각심을 일깨워 안전사고를 예방하고자, 도 2에 도시된 바와 같이, 운전자의 형상을 인식하여 영상입력신호를 출력하는 디지털 카메라(50)와, 상기 카메라(50)의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치를 구하기 위한 신호처리부(60)와, 눈의 위치에 따라 미러위치 설정용 모터구동제어신호 및 경보신호를 출력하는 제어수단으로서의 자동차의 ECU(70)와, 상기 ECU(70)을 기동시켜 운전자에 대한 미러각도설정을 개시시키기 위한 작동스위치(80)와, 상기 ECU(70)로부터 출력된 미러위치설정용 구동제어신호에 따라 룸미러(12) 및 좌/우 사이드 미러(14,16)의 좌/우 및 상/하 각도를 조정하기 위한 각각의 모터(52,54,56)들과, 상기 ECU(70)로부터 출력된 경보신호에 따라 경보음을 발생시키는 경보수단(90)으로 구성된 차량용 미러제어장치가 이미 개발되어 있지만, 선바이저의 자동제어와 연관된 것은 아직 없었다.
본 발명은 이에 따라 안출된 것으로, 그 목적은 디지털 카메라를 이용한 미러제어장치를 이용하여 운전자의 눈부분의 영상이미지의 변화와 눈에 입사되는 광량에 따라 선바이저를 자동으로 조절할 수 있는 선바이저 자동조절장치 및 방법을 제공하는 것이다.
이와 같은 목적을 실현하기 위한 본 발명의 일실시 태양으로서 선바이저 자동조절장치는 운전자의 형상을 인식하여 영상입력신호를 출력하도록 설치되는 디지털 카메라와, 상기 카메라의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치와 눈부분의 영상이미지를 구하기 위한 신호처리부와, 운전자에 입사된 광을 감지하는 광감지수단과, 상기 신호처리부의 눈의 위치 및 눈부분의 영상이미지와, 상기 광감지수단으로부터 에 입사되는 광량에 따라 미러위치 설정용 및 선바이저 슬라이딩용 모터구동제어신호 및 경보신호를 출력하는 ECU)와, 상기 ECU로부터 출력된 미러위치설정용 및 선바이저 슬라이딩위치 설정용 구동제어신호에 따라 룸미러 및 좌/우 사이드 미러의 좌/우 및 상/하 각도 및 선사이저 조정장치의 선바이저의 슬라이딩 하강량을 조정하기 위한 각각의 모터들을 포함한다.
본 발명의 다른 실시 태양으로서 선바이저 자동조절방법은 시동을 켜서 ECU 및 카메라를 기동하는 단계(S100)와, 상기 카메라의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치와 눈부분의 영상이미지를 구하는 단계(S200)와, 상기 신호처리부의 눈의 위치 및 눈부분의 영상이미지에 따라 상기 ECU가 미러위치 설정용 구동제어신호를 출력하는 단계(S300)와, 상기 미러위치 설정용 구동제어신호에 따라 미러작동용 모터의 각각이 구동되어 룸미러 및 좌/우 사이드 미러가 조정되는 단계(S400)와, S200 단계후, 상기 ECU가 눈의 위치 및 눈부분의 영상이미지의 변화를 판단하는 단계(S500)와, 판단결과, 눈부분의 영상이미지가 밝아지고, 상기 광감지수단수단으로부터 감지된 신호가 소정의 광량이상이면 선바이저를 슬라이딩 하강작동하는 단계(S600)를 포함한다.
본 발명에 의하면, 디지털 카메라를 이용한 차량의 미러제어장치를 이용하여 운전자의 눈부분의 영상이미지의 변화와 운전자의 눈에 입사되는 광량에 따라 선바이저를 자동으로 조절할 수 있으므로, 선바이저 슬라이딩 기준의 입사량과 다르더라도 운전자에게는 정면으로 광이 입사하는 경우에도 적절하게 대응할 수 있고, 더구나 미러의 자동제어와 연관되어 차량의 고급화를 도모하는 효과를 가진다.
이하, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 본 발명의 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 더욱 상세히 설명하기로 한다.
도 3은 본 발명의 바람직한 실시예에 따른 선바이저 자동조절장치를 도시한 다. 도시된 바와 같이, 본 발명의 선바이저 자동조절장치는 운전자의 형상을 인식하여 영상입력신호를 출력하도록 룸미러(12)등에 설치되는 디지털 카메라(50)와, 상기 카메라(50)의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치와 눈부분의 영상이미지를 구하기 위한 신호처리부(60)와, 운전자에 입사된 광을 감지하는 광감지수단(20)과, 상기 신호처리부(60)의 눈의 위치 및 눈부분의 영상이미지와, 상기 광감지수단(20)으로부터 입사되는 광량에 따라 미러위치 설정용 및 선바이저 슬라이딩용 모터구동 제어신호를 출력하는 ECU(70)와, 상기 ECU(70)로부터 출력된 미러위치설정용 및 선바이저 슬라이딩위치 설정용 구동제어신호에 따라 룸미러(12) 및 좌/우 사이드 미러(14,16)의 좌/우 및 상/하 각도 및 선사이저 조정장치(40)의 선바이저(10)의 슬라이딩 하강량을 조정하기 위한 각각의 모터(52,54,56,8)들과를 포함한다.
한편, 본 발명의 선바이저 자동조절장치는 카메라(50)로부터 입력되는 눈의 위치가 달라지면, 이를 경보하는 경고신호를 ECU(70)가 부저와 같은 경고수단(90)에 출력함으로서 운전자의 졸음등을 방지하는 것이 바람직하다.
이와 같이 구성된 본 발명의 선바이저 자동조절장치의 작동을 도 4를 참고하여 설명하면 다음과 같다.
먼저, 운전자가 차량의 시동을 켜면, ECU(70) 및 카메라(50)를 기동한다(S100). 이어서, 카메라(50)의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 신호처리부(60)는 눈의 위치와 눈부분의 영상이미지를 구한다(S200).
그러면, ECU(70)는 신호처리부(60)의 눈의 위치 및 눈부분의 영상이미지에 따라 미러위치 설정용 구동제어신호를 출력하고(S300), 이 출력신호에 따라 모터(52,54,56)가 구동되어 룸미러(12) 및 좌/우 사이드 미러(14,16)의 좌/우 및 상/하 각도를 조정한다(S400). 또한, ECU(70)는 신호처리부(60)의 눈의 위치 및 눈부분의 영상이미지의 변화를 판단하여, 눈부분의 영상이미지가 밝아지고, 광감지수단(20)으로부터 감지된 신호가 소정의 광량이상이면 선바이저 슬라이딩용 모터구동 제어신호를 출력하고(500), 이 출력신호에 따라 모터(10)가 구동되어 선바이저 조정장치(40)의 선바이저(10)를 운전자의 시야가 방해되지 않는 미리 설정한 옵셋위치까지 슬라이딩 하강한다(S600). 만약 눈부분의 영상이미지가 어두어지거나 소정의 광량이 광감지수단(20)으로부터 감지되지 않으면, 선바이저는 원위치된다(S700). 더구나, ECU(70)가 운전자의 눈의 위치가 변한 것을 감지하면(S800), ECU(70)는 경보신호를 출력하여(S900), 경보수단(90)이 경고음을 발한다.
이상 설명한 바와 같이, 본 발명의 선바이저 자동조정장치는 디지털 카메라를 이용한 차량의 미러제어장치를 이용하여 운전자의 눈부분의 영상이미지의 변화와 운전자의 눈에 입사되는 광량에 따라 선바이저를 자동으로 조절할 수 있으므로, 선바이저 슬라이딩 기준의 입사량과 다르더라도 운전자에게는 정면으로 광이 입사하는 경우에도 적절하게 대응할 수 있고, 더구나 미러의 자동제어와 연관되어 차량의 고급화를 도모하는 효과를 가진다.
이상에서 설명한 바와 같은 본 발명은 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
















Claims (4)

  1. 선바이저 자동조절장치에 있어서,
    운전자의 형상을 인식하여 영상입력신호를 출력하도록 설치되는 디지털 카메라와,
    상기 카메라의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치와 눈부분의 영상이미지를 구하기 위한 신호처리부와,
    운전자에 입사된 광을 감지하는 광감지수단과,
    상기 신호처리부의 눈의 위치 및 눈부분의 영상이미지와, 상기 광감지수단으로부터 에 입사되는 광량에 따라 미러위치 설정용 및 선바이저 슬라이딩용 모터구동제어신호 및 경보신호를 출력하는 ECU와,
    상기 ECU부터 출력된 미러위치설정용 및 선바이저 슬라이딩위치 설정용 구동제어신호에 따라 룸미러 및 좌/우 사이드 미러의 좌/우 및 상/하 각도 및 선사이저 조정장치의 선바이저의 슬라이딩 하강량을 조정하기 위한 각각의 모터들을 포함하는 선바이저 자동조절장치.
  2. 제 1 항에 있어서,
    상기 ECU로부터 출력된 경보신호에 따라 경보음을 발생시키는 경보수단을 더 포함하는 것을 특징으로 하는 선바이저 자동 조절장치.
  3. 선바이저 자동조절방법에 있어서,
    시정을 켜서 ECU 및 카메라를 기동하는 단계(S100)와,
    상기 카메라의 영상입력신호에 따라 입력된 운전자의 얼굴윤곽 이미지로부터 눈의 위치와 눈부분의 영상이미지를 구하는 단계(S200)와,
    상기 신호처리부의 눈의 위치 및 눈부분의 영상이미지에 따라 상기 ECU가 미러위치 설정용 구동제어신호를 출력하는 단계(S300)와,
    상기 미러위치 설정용 구동제어신호에 따라 미러작동용 모터의 각각이 구동되어 룸미러 및 좌/우 사이드 미러가 조정되는 단계(S400)와,
    S200 단계후, 상기 ECU가 눈의 위치 및 눈부분의 영상이미지의 변화를 판단하는 단계(S500)와,
    판단결과, 눈부분의 영상이미지가 밝아지고, 상기 광감지수단으로부터 감지된 신호가 소정의 광량이상이면 선바이저를 슬라이딩 하강작동하는 단계(S600)를 포함하는 선바이저 자동조절방법.
  4. 제 3 항에 있어서,
    상기 S200단계후, 운전자의 눈의 위치가 변화된 경우, 상기 ECU는 경보신호를 출력하여 경보음을 발하는 단계를 더 포함하는 것을 특징으로 하는 선바이저 자동조절방법.
KR1020040110822A 2004-12-23 2004-12-23 디지털 카메라를 이용한 선바이저 자동조절장치 및 방법 KR20060072268A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040110822A KR20060072268A (ko) 2004-12-23 2004-12-23 디지털 카메라를 이용한 선바이저 자동조절장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040110822A KR20060072268A (ko) 2004-12-23 2004-12-23 디지털 카메라를 이용한 선바이저 자동조절장치 및 방법

Publications (1)

Publication Number Publication Date
KR20060072268A true KR20060072268A (ko) 2006-06-28

Family

ID=37165476

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040110822A KR20060072268A (ko) 2004-12-23 2004-12-23 디지털 카메라를 이용한 선바이저 자동조절장치 및 방법

Country Status (1)

Country Link
KR (1) KR20060072268A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9108492B2 (en) 2011-12-07 2015-08-18 Hyundai Motor Company Apparatus and method for blocking incident rays from entering an interior cabin of vehicle
WO2017065502A1 (ko) * 2015-10-15 2017-04-20 도이진 전동 슬라이드식 선바이저 장치
WO2017187224A1 (en) * 2016-04-26 2017-11-02 Continental Automotive Gmbh Human-machine interface apparatus for a vehicle
CN112572110A (zh) * 2019-09-30 2021-03-30 北京车和家信息技术有限公司 遮阳板控制方法、装置及车辆
CN112977013A (zh) * 2021-02-24 2021-06-18 东风商用车有限公司 一种商用车自动感应遮阳方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9108492B2 (en) 2011-12-07 2015-08-18 Hyundai Motor Company Apparatus and method for blocking incident rays from entering an interior cabin of vehicle
WO2017065502A1 (ko) * 2015-10-15 2017-04-20 도이진 전동 슬라이드식 선바이저 장치
WO2017187224A1 (en) * 2016-04-26 2017-11-02 Continental Automotive Gmbh Human-machine interface apparatus for a vehicle
CN112572110A (zh) * 2019-09-30 2021-03-30 北京车和家信息技术有限公司 遮阳板控制方法、装置及车辆
CN112977013A (zh) * 2021-02-24 2021-06-18 东风商用车有限公司 一种商用车自动感应遮阳方法及系统

Similar Documents

Publication Publication Date Title
US11022795B2 (en) Vehicle display control device
EP1683668B1 (en) Variable transmissivity window system
US6920234B1 (en) Method and device for monitoring the interior and surrounding area of a vehicle
JP2003260933A (ja) 自動眩しさ調節装置
JP2004058828A (ja) 車両前方表示システム
JP3228086B2 (ja) 運転操作補助装置
KR20160091293A (ko) 차량용 사이드 미러 카메라 시스템
JP4687573B2 (ja) 車両用運転支援装置
KR101739519B1 (ko) Hud 정보가 최적의 위치에 표시되도록 하는 장치
CN108045311A (zh) 一种汽车后视镜角度调节系统及调节方法
US6900739B2 (en) Device and method for adjusting view range of vehicular monitoring device
JP4337130B2 (ja) 運転装置の制御装置
JP2007091186A (ja) 車両周囲状況の撮影表示方法および撮影表示システム
JP4337131B2 (ja) 移動体制御装置
KR20190022034A (ko) 백미러가 카메라 모니터 역할하고 네비게이션과 연동하는 장치 및 방법
JP3688637B2 (ja) 自動車用サンバイザ装置
KR20060072268A (ko) 디지털 카메라를 이용한 선바이저 자동조절장치 및 방법
CN107672525B (zh) 一种逆光行车时预见前方路况的日间辅助驾驶装置及其方法
JP2006219008A (ja) 車両用サンバイザー装置
JP2003159942A5 (ko)
WO2017088963A1 (en) Method and device for reducing a brightness of an object perceivable by a passenger of a vehicle
CN110775001A (zh) 基于双摄像头的车辆预警装置以及车辆预警系统
JP6658483B2 (ja) 車両用表示制御装置及び車両用表示システム
JPH08253078A (ja) サイドミラー装置及びサイドミラーのミラー角制御方法
CN211308473U (zh) 基于双摄像头的车辆预警装置以及车辆预警系统

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid