KR20190071561A - 차량 내 얼굴 방향 측정 시스템 및 방법 - Google Patents
차량 내 얼굴 방향 측정 시스템 및 방법 Download PDFInfo
- Publication number
- KR20190071561A KR20190071561A KR1020180066799A KR20180066799A KR20190071561A KR 20190071561 A KR20190071561 A KR 20190071561A KR 1020180066799 A KR1020180066799 A KR 1020180066799A KR 20180066799 A KR20180066799 A KR 20180066799A KR 20190071561 A KR20190071561 A KR 20190071561A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- face
- sensor
- distance
- headrest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000005259 measurement Methods 0.000 claims description 34
- 239000000470 constituent Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/80—Head-rests
- B60N2/879—Head-rests with additional features not related to head-rest positioning, e.g. heating or cooling devices or loudspeakers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/80—Head-rests
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
- B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
- B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
- B60N2210/10—Field detection presence sensors
- B60N2210/16—Electromagnetic waves
- B60N2210/18—Infrared
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/62—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Seats For Vehicles (AREA)
Abstract
본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 시스템은 차량 내 헤드레스트와 운전자의 얼굴의 거리를 측정하는 센서부, 상기 측정된 거리를 소정시간 동안 수집하고, 수집된 거리를 이용하여 상기 헤드레스트와 운전자의 얼굴 간의 평균 거리를 산출하며, 상기 산출된 평균 거리와 상기 헤드레스트와 운전자의 얼굴 간의 현재의 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단하는 제어부를 포함한다.
Description
본 발명은 차량 내 얼굴 방향 측정 시스템 및 방법에 관한 것으로, 보다 상세하게는 차량 내 운전자의 얼굴의 방향을 측정하여 알림 서비스를 제공하는 기술에 관한 것이다.
종래부터, 헤드레스트의 전후위치를 차량의 탑승자에게 불쾌감을 주지 않고 적절한 위치로 조정하는 것으로서, 헤드레스트의 머리부 접촉면에 배치한 검지전극에 의해 탑승자의 머리부 위치를 비접촉으로 검지하는 정전용량식 센서를 구비하고, 정전용량식 센서의 출력(검지결과)에 기초해서 헤드레스트의 전후위치를 조정하는 헤드레스트 조정장치가 알려져 있다.
이러한 헤드레스트 위치조정장치는 헤드레스트와 머리부 사이의 거리를 검지하는 정전용량식 센서와, 머리부에 대하여 헤드레스트를 접근 또는 이간하는 방향으로 구동하는 헤드레스트 구동 모터와, 정전용량식 센서의 출력에 기초해서 헤드레스트 구동 모터의 구동을 제어하는 제어부를 구비하고, 헤드레스트와 머리부 사이의 거리가 일정해지도록 헤드레스트를 적절한 위치로 조정한다.
또한 헤드레스트의 상하위치를 차량의 탑승자(착석자)의 머리부 위치에 정확하게 합치시키는 것으로서, 헤드레스트의 머리부 접촉면에 배치한 검지전극에 의해 탑승자의 머리부 위치를 비접촉으로 검지하는 정전용량식 센서를 구비하고, 정전용량식 센서의 출력(검지결과)에 기초해서 헤드레스트의 상하위치를 조정하는 헤드레스트 조정장치가 알려져 있다.
[특허문헌]한국공개특허 2011-0123284호.
본 발명의 목적은, 차량 내 운전자의 얼굴 방향을 측정하고, 측정된 운전자의 얼굴 방향에 따른 운전자의 주시 방향에 일치하는 지점에 운전 경고 문구를 표시를 할 수 있고, 운전자의 얼굴 방향에 따른 불필요한 메시지를 선별적으로 표시하지 않거나, 불필요한 알람을 선별적으로 제공하지 않을 수 있는 차량 내 얼굴 방향 측정 시스템 및 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 시스템은 차량 내 헤드레스트와 운전자의 얼굴의 거리를 측정하는 센서부, 상기 측정된 거리를 소정시간 동안 수집하고, 수집된 거리를 이용하여 상기 헤드레스트와 운전자의 얼굴 간의 평균 거리를 산출하며, 상기 산출된 평균 거리와 상기 헤드레스트와 운전자의 얼굴 간의 현재의 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단하는 제어부를 포함한다.
일 실시예에서, 상기 센서부는, 적외선 또는 레이저를 포함하는 복수 개의 거리 측정 센서가 구비될 수 있다.
일 실시예에서, 상기 센서부는, 상기 헤드레스트의 좌측 상단에 구비된 제 1 센서, 우측 상단에 구비된 제 2 센서, 좌측 하단에 구비된 제 3 센서 및 우측 하단에 구비된 제 4 센서를 포함할 수 있다.
일 실시예에서, 상기 제어부는, 상기 운전자의 얼굴 방향을 판단하여 상기 운전자의 주시 방향에 일치하는 지점에 운전 경고 문구를 표시하거나, 긴급 메시지를 표시할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
일 실시예에서, 상기 제어부는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단할 수 있다.
본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법은 차량 내 헤드레스트와 운전자의 얼굴의 거리를 측정하는 단계, 상기 측정된 거리를 소정시간 동안 수집하는 단계, 수집된 상기 거리를 이용하여 상기 헤드레스트와 운전자의 얼굴 간의 평균 거리를 산출하는 단계 및 상기 산출된 평균 거리와 상기 헤드레스트와 운전자의 얼굴 간의 현재의 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단하는 단계를 포함한다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는, 상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계 및 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 시스템 및 방법에 따르면, 차량 내 얼굴 방향 측정 시스템은 차량에 구비된 헤드레스트와 운전자의 얼굴 간의 거리를 측정하고, 그 거리에 대응하는 운전자의 얼굴 방향을 판단할 수 있다.
본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 시스템 및 방법에 따르면, 차량 내 얼굴 방향 측정 시스템은 운전자의 얼굴 방향에 따른 운전자의 주시 방향에 일치하는 지점에 운전 경고 문구를 표시하거나, 긴급 메시지를 표시 할 수 있고, 불필요한 메시지 또는 불필요한 알람 등을 선별적으로 제공하지 않을 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 시스템을 설명하는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 운전자가 좌측 또는 우측으로 얼굴 방향 변경 시 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 운전자가 상측 및 하측으로 얼굴 방향 변경 시 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 운전자가 좌측 또는 우측으로 얼굴 방향 변경 시 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 운전자가 상측 및 하측으로 얼굴 방향 변경 시 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 시스템을 설명하는 구성도이다.
도 1을 참조하면, 차량 내 얼굴 방향 측정 시스템(11)은 헤드레스트(10)를 포함하고, 헤드레스트(10)는 센서부(100) 및 제어부(200)를 포함한다.
센서부(100)는 복수 개의 거리 측정 센서가 구비되며, 헤드레스트(10) 내 좌측 상단에 구비된 제 1 센서(1), 우측 상단에 제 2 센서(2), 좌측 하단에 제 3 센서(3) 및 우측 하단에 제 4 센서(4)가 구비될 수 있으며, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.
예를 들어, 센서부(100)는 헤드레스트(10)와 운전자의 얼굴(20) 사이의 거리를 측정하기 위하여 헤드레스트(10) 내 좌측 및 우측에 각각 1개씩 2개가 구비될 수 있고, 헤드레스트(10) 내 상측 및 하측에 각각 1개씩 2개가 구비될 수 있다.
센서부(100)는 적외선(infrared ray) 또는 레이저(raser) 등이 구비된 복수 개의 거리 측정 센서를 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리를 측정한다.
예를 들어, 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)의 제 1 센서(1)의 측정 지점(좌측의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 1 센서(1)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d1)를 측정할 수 있고, 헤드레스트(10)의 제 2 센서(2)의 측정 지점(우측의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 2 센서(2)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d2)를 측정할 수 있다.
예를 들어, 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)의 제 1 센서(1)의 측정 지점(좌측 상단의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 1 센서(1)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d1)를 측정할 수 있고, 헤드레스트(10)의 제 3 센서(3)의 측정 지점(좌측 하단의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 3 센서(3)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d3)를 측정할 수 있다.
예를 들어, 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)의 제 3 센서(3)의 측정 지점(좌측의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 3 센서(1)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d3)를 측정할 수 있고, 헤드레스트(10)의 제 4 센서(4)의 측정 지점(우측의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 4 센서(4)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d4)를 측정할 수 있다.
예를 들어, 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)의 제 2 센서(2)의 측정 지점(우측 상단의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 2 센서(2)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d2)를 측정할 수 있고, 헤드레스트(10)의 제 4 센서(4)의 측정 지점(우측 하단의 측정 지점)과 운전자의 얼굴(20)의 측정 지점(제 4 센서(4)로부터 운전자의 얼굴(20)까지의 직선 거리를 포함하는 지점) 간의 거리(d4)를 측정할 수 있다.
제어부(200)는 헤드레스트(10)와 운전자의 얼굴(20) 간의 측정된 거리를 소정시간(일정시간) 동안 수집하고, 수집된 거리를 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 평균 거리(운전자 자세의 평균값)를 산출한다.
예를 들어, 제어부(200)는 설정된 시간(예를 들어, 5분)동안 헤드레스트(10)와 운전자의 얼굴(20) 간의 측정된 거리를 수집한 후, 수집된 거리를 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 평균 거리(운전자 자세의 평균값)를 산출할 수 있다.
예를 들어, 제어부(200)는 헤드레스트(10)와 운전자의 얼굴(20) 간의 평균 거리(운전자 자세의 평균값)를 산출하기 위하여 헤드레스트(10) 내 제 1 센서(1), 제 2 센서(2), 제 3 센서(3) 및 제 4 센서(4) 각각으로부터 운전자의 얼굴(20)과의 직선 거리를 측정하여 각각의 평균 거리를 산출할 수 있다.
제어부(200)는 차량 내 시트에서 운전자의 앉은 키 또는 착좌 자세에 대응하는 소정시간(일정시간) 동안의 산출된 평균 거리를 저장한다. 예를 들어, 제어부(200)는 운전자 또는 다른 운전자가 차량을 운전하는 경우에 운전자 또는 다른 운전자들은 서로 다른 앉은 키 또는 착좌 자세를 갖기 때문에 이러한 다양한 앉은 키 또는 착좌 자세에 대응하는 소정시간 동안의 평균 거리를 산출할 수 있다.
제어부(200)는 현재의 헤드레스트(10)와 운전자의 얼굴(20) 간의 측정된 거리와 산출된 평균 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단할 수 있다. 여기서, 제어부(200)가 현재의 헤드레스트(10)와 운전자의 얼굴(20) 간의 측정된 거리와 산출된 평균 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단하는 방법은 도 5에서 자세하게 설명한다.
제어부(200)는 차량 내 얼굴 방향을 판단한 후, 판단된 운전자의 얼굴 방향에 따른 운전자의 주시 방향에 일치하는 지점에 운전 경고 문구를 표시하거나, 긴급 메시지를 표시 할 수 있고, 불필요한 메시지 또는 불필요한 알람 등을 선별적으로 제공하지 않을 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 설명하는 도면으로써, 도 2의 (a)는 정면도이고, 도 2의 (b)는 측면도이다.
도 2의 (a) 및 (b)를 참조하면, 차량 내 얼굴 방향 측정 시스템(11)의 센서부(100)는 적외선 또는 레이저를 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리를 측정할 수 있다.
센서부(100)는 헤드레스트(10) 내 좌측 상단에 제 1 센서(1), 우측 상단에 제 2 센서(2), 좌측 하단에 제 3 센서(3) 및 우측 하단에 제 4 센서(4)가 구비될 수 있다.
제어부(200)는 헤드레스트(10) 내 제 1 센서(1)와 제 3 센서(3)(또는 제 2 센서(2)와 제 4 센서(4))와 운전자의 얼굴(20) 사이에 각각 측정된 거리 또는 제 1 센서(1)와 제 2 센서(2)(또는 제 3 센서(3)와 제 4 센서(4))를 헤드레스트(10)와 운전자의 얼굴(20) 간의 평균 거리와 비교하여 운전자가 정면, 좌측, 우측, 상측 또는 하측을 응시하고 있는지 여부를 판단할 수 있다.
도 3은 본 발명의 일 실시예에 따른 운전자가 좌측 또는 우측으로 얼굴 방향 변경 시 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 3의 (a), (b) 및 (c)를 참조하면, 차량 내 얼굴 방향 측정 시스템(11)은 운전자의 좌측 방향 또는 우측 방향으로 얼굴 방향 변경 시, 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리(헤드레스트(10)와 운전자의 얼굴(20)간의 평균 거리)와 운전자가 좌측 방향 또는 우측 방향을 응시하는 경우의 얼굴(20)과 헤드레스트(10)의 거리를 비교하여 차량 내 얼굴 방향을 측정한다.
도 3의 (a)를 참조하면, 운전자가 정면을 응시하는 경우에, 헤드레스트(10)와 운전자의 얼굴(20) 간의 좌측 거리(d1) 및 우측 거리(d2)는 동일하다. 예를 들어, 운전자의 얼굴(20)과 헤드레스트(10)의 제 1 센서(1) 간의 직선 거리를 좌측 거리라고 정의하고, 운전자의 얼굴(20)과 헤드레스트(10)의 제 2 센서(2) 간의 직선 거리를 우측 거리라고 정의할 수 있다.
도 3의 (b)를 참조하면, 운전자가 좌측을 응시하는 경우에, 타원형인 운전자의 머리가 도 3을 기준으로 머리의 하단 지점을 축으로 하여 반시계 방향으로 회전하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 좌측 거리(d1)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 좌측 거리(d1) 보다 짧게 변경될 수 있다.
도 3의 (b)를 참조하면, 운전자가 좌측을 응시하는 경우에, 타원형인 운전자의 머리가 도 3을 기준으로 머리의 하단 지점을 축으로 하여 반시계 방향으로 회전하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 우측 거리(d2)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 우측 거리(d2)보다 길게 변경될 수 있다.
도 3의 (c)를 참조하면, 운전자가 우측을 응시하는 경우에, 타원형인 운전자의 머리가 도 3을 기준으로 머리의 하단 지점을 축으로 하여 시계 방향으로 회전하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 좌측 거리(d1)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 좌측 거리(d1) 보다 짧게 변경될 수 있다.
도 3의 (c)를 참조하면, 운전자가 우측을 응시하는 경우에, 타원형인 운전자의 머리가 도 3을 기준으로 머리의 하단 지점을 축으로 하여 시계 방향으로 회전하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 우측 거리(d2)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 우측 거리(d2)보다 길게 변경될 수 있다.
도 4는 본 발명의 일 실시예에 따른 운전자가 상측 및 하측으로 얼굴 방향 변경 시 차량 내 얼굴 방향 측정 방법을 설명하는 도면이다.
도 4의 (a), (b) 및 (c)를 참조하면, 차량 내 얼굴 방향 측정 시스템(11)은 운전자의 상측 방향 또는 하측 방향으로 얼굴 방향 변경 시, 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리와 운전자가 상측 방향 또는 하측 방향을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리를 비교하여 차량 내 얼굴 방향을 측정한다.
도 4의 (a)를 참조하면, 운전자가 정면을 응시하는 경우에, 헤드레스트(10)와 운전자의 얼굴(20) 간의 상측 거리(d1) 및 하측 거리(d3)는 동일하다. 예를 들어, 운전자의 얼굴(20)과 헤드레스트(10)의 제 1 센서(1) 간의 직선 거리를 상측 거리라고 정의하고, 운전자의 얼굴(20)과 헤드레스트(10)의 제 3 센서(3) 간의 직선 거리를 하측 거리라고 정의할 수 있다.
도 4의 (b)를 참조하면, 운전자가 하측을 응시하는 경우에, 운전자의 머리가 운전자의 목이 전방으로 구부러짐으로 인해 이동하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 상측 거리(d1)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 상측 거리(d1)보다 길게 변경될 수 있다.
도 4의 (b)를 참조하면, 운전자가 하측을 응시하는 경우에, 운전자의 머리가 운전자의 목이 전방으로 구부러짐으로 인해 이동하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 하측 거리(d3)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 하측 거리(d3)보다 길게 변경될 수 있다.
도 4의 (c)를 참조하면, 운전자가 상측을 응시하는 경우에, 운전자의 머리가 운전자의 목이 후방으로 구부러짐으로 인해 이동하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 상측 거리(d1)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 상측 거리(d1)보다 짧게 변경될 수 있다.
도 4의 (c)를 참조하면, 운전자가 상측을 응시하는 경우에, 운전자의 머리가 운전자의 목이 후방으로 구부러짐으로 인해 이동하므로, 헤드레스트(10)와 운전자의 얼굴(20) 간의 하측 거리(d3)는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 하측 거리(d3)보다 짧게 변경될 수 있다.
도 5는 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 설명하는 순서도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법은 상술한 S11 단계 내지 S24 단계가 도 1을 참조하여 구체적으로 설명된다.
S11 및 S12 단계에서, 차량의 시동이 온이 되는 경우에, 차량 내 얼굴 방향 측정 시스템(11)의 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리를 측정한다.
예를 들어, 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)의 제 1 센서(1)와 운전자의 얼굴(20)의 거리(또는 제 3 센서(3)와 운전자의 얼굴(20)의 거리) 및 제 2 센서(2)와 운전자의 얼굴(20)의 거리(또는 제 4 센서(4)와 운전자의 얼굴(20)의 거리)를 측정할 수 있다.
예를 들어, 센서부(100)는 복수 개의 거리 측정 센서의 적외선 또는 레이저 등을 이용하여 헤드레스트(10)의 제 1 센서(1)와 운전자의 얼굴(20)의 거리(또는 제 2 센서(2)와 운전자의 얼굴(20)의 거리) 및 제 3 센서(3)와 운전자의 얼굴(20)의 거리(또는 제 4 센서(4)와 운전자의 얼굴(20)의 거리)를 측정할 수 있다.
S13 단계에서, 제어부(200)는 헤드레스트(10)의 각각의 센서들이 측정한 거리를 소정시간(일정시간) 동안 수집하고, 수집된 거리를 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 평균 거리(운전자 자세의 평균값)를 산출한다.
예를 들어, 제어부(200)는 5분 동안 헤드레스트(10)의 각각의 센서들이 측정한 거리를 소정시간(일정시간) 동안 수집한 후, 수집된 거리를 이용하여 헤드레스트(10)와 운전자의 얼굴(20) 간의 평균 거리(운전자 자세의 평균값)를 산출할 수 있다.
S14 단계에서, 제어부(200)는 차량 내 시트에서 운전자의 앉은 키 또는 착좌 자세에 대응하는 소정시간(일정시간) 동안의 산출된 평균 거리를 저장한다.
S15 단계에서, 제어부(200)는 산출된 평균 거리(또는 운전자가 정면을 응시하는 경우의 헤드레스트(10)와 운전자의 얼굴(20) 간의 거리)와 헤드레스트(10)와 운전자의 얼굴(20) 간의 산출된 현재의 거리를 비교한다. 즉, 헤드레스트(10)와 운전자의 얼굴(20) 간의 산출된 현재의 거리는 변동되는 거리값일 수 있다.
S16 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 1 센서(1) 또는 제 3 센서(3)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단한다.
S17 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 2 센서(2) 또는 제 4 센서(4)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단한다.
S18 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 3 센서(3) 또는 제 4 센서(4)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리와 같은 경우에 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단한다.
S19 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 1 센서(1) 또는 제 3 센서(3)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단한다.
S20 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 2 센서(2) 또는 제 4 센서(4)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단한다.
S21 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 3 센서(3) 또는 제 4 센서(4)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리와 같은 경우에 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단한다.
S22 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리와 같은 경우에 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 1 센서(1) 또는 제 3 센서(3)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단한다.
S23 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리와 같은 경우에 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 2 센서(2) 또는 제 4 센서(4)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단한다.
S24 단계에서, 제어부(200)는 헤드레스트(10) 내 제 1 센서(1) 또는 제 2 센서(2)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리와 같은 경우에 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 헤드레스트(10) 내 제 3 센서(3) 또는 제 4 센서(4)와 운전자의 얼굴(20) 간의 현재의 거리가 산출된 평균 거리와 같은 경우에 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단한다.
이후, 차량 내 얼굴 방향 측정 시스템(11)의 제어부(200)는 차량 내 운전자의 얼굴 방향을 판단한 후, 판단된 운전자의 얼굴 방향에 따른 운전자의 주시 방향에 일치하는 지점에 운전 경고 문구를 표시하거나, 긴급 메시지를 표시 할 수 있고, 불필요한 메시지 또는 불필요한 알람 등을 선별적으로 제공하지 않을 수 있다.
도 6은 본 발명의 일 실시예에 따른 차량 내 얼굴 방향 측정 방법을 실행하는 컴퓨팅 시스템을 보여주는 도면이다.
도 6을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: 제 1 센서
2: 제 2 센서
3: 제 3 센서
4: 제 4 센서
10: 헤드레스트
11: 차량 내 얼굴 방향 측정 시스템
20: 얼굴
100: 센서부
200: 제어부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스
2: 제 2 센서
3: 제 3 센서
4: 제 4 센서
10: 헤드레스트
11: 차량 내 얼굴 방향 측정 시스템
20: 얼굴
100: 센서부
200: 제어부
1000: 컴퓨팅 시스템
1100: 프로세서
1200: 시스템 버스
1300: 메모리
1310: ROM
1320: RAM
1400: 사용자 인터페이스 입력장치
1500: 사용자 인터페이스 출력장치
1600: 스토리지
1700: 네트워크 인터페이스
Claims (20)
- 차량 내 헤드레스트와 운전자의 얼굴의 거리를 측정하는 센서부;
상기 측정된 거리를 소정시간 동안 수집하고, 수집된 거리를 이용하여 상기 헤드레스트와 운전자의 얼굴 간의 평균 거리를 산출하며, 상기 산출된 평균 거리와 상기 헤드레스트와 운전자의 얼굴 간의 현재의 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단하는 제어부
를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 센서부는,
적외선 또는 레이저를 포함하는 복수 개의 거리 측정 센서가 구비된 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 센서부는,
상기 헤드레스트의 좌측 상단에 구비된 제 1 센서, 우측 상단에 구비된 제 2 센서, 좌측 하단에 구비된 제 3 센서 및 우측 하단에 구비된 제 4 센서를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 운전자의 얼굴 방향을 판단하여 상기 운전자의 주시 방향에 일치하는 지점에 운전 경고 문구를 표시하거나, 긴급 메시지를 표시하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 청구항 1에 있어서,
상기 제어부는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하고, 상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 시스템. - 차량 내 헤드레스트와 운전자의 얼굴의 거리를 측정하는 단계;
상기 측정된 거리를 소정시간 동안 수집하는 단계;
수집된 상기 거리를 이용하여 상기 헤드레스트와 운전자의 얼굴 간의 평균 거리를 산출하는 단계; 및
상기 산출된 평균 거리와 상기 헤드레스트와 운전자의 얼굴 간의 현재의 거리를 비교하여 차량 내 운전자의 얼굴 방향을 판단하는 단계
를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법. - 청구항 14에 있어서,
상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하는 단계; 및
상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법. - 청구항 14에 있어서,
상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하는 단계; 및
상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법. - 청구항 14에 있어서,
상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 상측으로 얼굴 방향을 향하고 있다고 판단하는 단계; 및
상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법. - 청구항 14에 있어서,
상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하는 단계; 및
상기 헤드레스트 내 제 1 센서 또는 제 3 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 좌측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법. - 청구항 14에 있어서,
상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하는 단계; 및
상기 헤드레스트 내 제 2 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 짧은 경우에, 상기 운전자가 우측으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법. - 청구항 14에 있어서,
상기 차량 내 운전자의 얼굴 방향을 판단하는 단계는,
상기 헤드레스트 내 제 1 센서 또는 제 2 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리보다 긴 경우에, 상기 운전자가 하측으로 얼굴 방향을 향하고 있다고 판단하는 단계; 및
상기 헤드레스트 내 제 3 센서 또는 제 4 센서와 운전자의 얼굴 간의 현재의 거리가 산출된 평균 거리와 같은 경우에, 상기 운전자가 정면으로 얼굴 방향을 향하고 있다고 판단하는 단계를 포함하는 것을 특징으로 하는 차량 내 얼굴 방향 측정 방법.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/009,870 US10458787B2 (en) | 2017-12-14 | 2018-06-15 | System and method for measuring direction of face of driver in vehicle |
CN201810721345.4A CN109955740B (zh) | 2017-12-14 | 2018-07-03 | 用于测量车辆中的驾驶员的面部的方向的系统和方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170172181 | 2017-12-14 | ||
KR20170172181 | 2017-12-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190071561A true KR20190071561A (ko) | 2019-06-24 |
Family
ID=67056227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180066799A KR20190071561A (ko) | 2017-12-14 | 2018-06-11 | 차량 내 얼굴 방향 측정 시스템 및 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190071561A (ko) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110123284A (ko) | 2009-03-10 | 2011-11-14 | 가부시키가이샤후지쿠라 | 헤드레스트 위치조정장치 및 헤드레스트 위치조정방법 |
-
2018
- 2018-06-11 KR KR1020180066799A patent/KR20190071561A/ko not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110123284A (ko) | 2009-03-10 | 2011-11-14 | 가부시키가이샤후지쿠라 | 헤드레스트 위치조정장치 및 헤드레스트 위치조정방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190337451A1 (en) | Remote vehicle spatial awareness notification system | |
JP5332356B2 (ja) | 車両用運転支援装置 | |
KR101950476B1 (ko) | 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량 | |
US10399492B1 (en) | Automatic reconfiguration and calibration of haptic seats | |
KR20180115986A (ko) | 자율주행 제어 장치 및 방법, 그리고 차량 시스템 | |
KR101519748B1 (ko) | 운전자 부주의 판단 방법 및 이를 위한 판단 장치 | |
KR102673306B1 (ko) | 운전자 모니터링 장치 및 방법 | |
CN109955740B (zh) | 用于测量车辆中的驾驶员的面部的方向的系统和方法 | |
US10029568B2 (en) | System for warning of drowsiness of driver and method thereof | |
US10773633B2 (en) | Distance information system and method for a motor vehicle | |
JP2011123653A (ja) | 運転者覚醒度検査装置 | |
JP2017220097A (ja) | 運転支援装置 | |
JP2018133007A (ja) | 警報装置 | |
KR20190071561A (ko) | 차량 내 얼굴 방향 측정 시스템 및 방법 | |
US20220319200A1 (en) | Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle | |
WO2018096913A1 (ja) | 運転者体調検知装置 | |
KR20220048533A (ko) | 운전자의 집중도 검출 장치 및 그 방법 | |
JP7504612B2 (ja) | 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム | |
JP2019133402A (ja) | 車両用警報装置 | |
US20210039705A1 (en) | Apparatus for controlling behavior of autonomous vehicle and method thereof | |
KR20190031800A (ko) | 탑승자 하차 경고 시스템 및 방법 | |
US10882533B2 (en) | Drowsy driving management device, system including the same, and method thereof | |
JP2006266706A (ja) | 荷重検出装置 | |
JP2005143895A (ja) | 運転者心理状態判定装置 | |
US20240046663A1 (en) | Method for operating a motor vehicle with at least one environment detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X601 | Decision of rejection after re-examination |