JP7226479B2 - 画像処理装置及び画像処理方法、並びに移動体 - Google Patents
画像処理装置及び画像処理方法、並びに移動体 Download PDFInfo
- Publication number
- JP7226479B2 JP7226479B2 JP2021109603A JP2021109603A JP7226479B2 JP 7226479 B2 JP7226479 B2 JP 7226479B2 JP 2021109603 A JP2021109603 A JP 2021109603A JP 2021109603 A JP2021109603 A JP 2021109603A JP 7226479 B2 JP7226479 B2 JP 7226479B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- vehicle
- driving
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 140
- 238000003672 processing method Methods 0.000 title claims description 8
- 230000033001 locomotion Effects 0.000 claims description 152
- 230000004434 saccadic eye movement Effects 0.000 claims description 75
- 210000001508 eye Anatomy 0.000 claims description 54
- 230000004424 eye movement Effects 0.000 claims description 45
- 230000004459 microsaccades Effects 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 143
- 210000003128 head Anatomy 0.000 description 81
- 230000000007 visual effect Effects 0.000 description 71
- 238000004458 analytical method Methods 0.000 description 59
- 238000000034 method Methods 0.000 description 52
- 238000005516 engineering process Methods 0.000 description 32
- 230000004044 response Effects 0.000 description 30
- 230000006399 behavior Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 24
- 230000037007 arousal Effects 0.000 description 21
- 230000007704 transition Effects 0.000 description 21
- 230000001149 cognitive effect Effects 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 230000007613 environmental effect Effects 0.000 description 18
- 210000004556 brain Anatomy 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 241000282414 Homo sapiens Species 0.000 description 15
- 239000004065 semiconductor Substances 0.000 description 14
- 239000000758 substrate Substances 0.000 description 14
- 238000009826 distribution Methods 0.000 description 13
- 230000004886 head movement Effects 0.000 description 11
- 230000005043 peripheral vision Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000019771 cognition Effects 0.000 description 10
- 230000013016 learning Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 206010044565 Tremor Diseases 0.000 description 7
- 230000009471 action Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 210000000857 visual cortex Anatomy 0.000 description 6
- 230000003340 mental effect Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 208000032365 Electromagnetic interference Diseases 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 230000006996 mental state Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000004418 eye rotation Effects 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001447 compensatory effect Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 210000000977 primary visual cortex Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000035985 Body Odor Diseases 0.000 description 1
- 206010052804 Drug tolerance Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- 206010040030 Sensory loss Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 206010040904 Skin odour abnormal Diseases 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 206010047531 Visual acuity reduced Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 210000003792 cranial nerve Anatomy 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000026781 habituation Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 210000003370 receptor cell Anatomy 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Vascular Medicine (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Instrument Panels (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Description
車両の運転者の画像を第1のフレームレートで取得する第1の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第1のフレームレートよりも高い第2のフレームレートで取得する第2の画像取得部と、
を具備する画像処理装置である。
車両の運転者の画像を第1のフレームレートで取得する第1の画像取得ステップと、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定ステップと、
前記領域の画像を前記第1のフレームレートよりも高い第2のフレームレートで取得する第2の画像取得ステップと、
を有する画像処理方法である。
運転者を撮像する撮像部と、
前記運転者を撮像する画像を第1のフレームレートで取得する第1の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第1のフレームレートよりも高い第2のフレームレートで取得する第2の画像取得部と、
前記第2のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部と、
前記処理部により認識又は判別された前記運転者の意識レベルに応じて、運転モードの切り替えを制御する制御部と、
を具備する移動体である。本明細書で開示する技術の第18の側面によれば、前記撮像部は、第1半導体基板、第2半導体基板、第3半導体基板からなる3枚の半導体基板を積層して構成されている。そして、前記第1半導体基板には、画素が形成され、前記第2半導体基板には、前記画像を記憶する記憶部が形成され、前記第3半導体基板には、前記第1の画像取得部、前記第2の画像取得部、前記領域決定部、前記処理部、前記制御部のうち少なくとも1つが形成されている。
(1)車両の運転者の画像を第1のフレームレートで取得する第1の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第1のフレームレートよりも高い第2のフレームレートで取得する第2の画像取得部と、
を具備する画像処理装置。
(1-1)前記第1の画像取得部は、前記車両に搭載されたカメラで前記運転者の頭部アイリプスを含む広範囲を撮像した画像を取得する、
上記(1)に記載の画像処理装置。
(2)前記第2のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部をさらに備える、
上記(1)に記載の画像処理装置。
(3)前記処理部により認識又は判別された前記運転者の意識レベルに応じて、前記車両の運転モードの切り替えを制御する制御部をさらに備える、
上記(2)に記載の画像処理装置。
(4)前記制御部は、前記運転者の意識レベルが所定以下であれば、前記車両の自動運転から手動運転への切り替えを制限又は禁止する、
上記(3)に記載の画像処理装置。
(5)前記運転者の意識レベルが所定以下のときに警告を行なう警告部をさらに備える、
上記(2)に記載の画像処理装置。
(6)前記領域決定部は、前記運転者の頭部又は上半身の回転又は移動に応じて前記領域の位置を補正する、
上記(1)に記載の画像処理装置。
(7)前記処理部は、前記領域内の画像に基づいて、前記運転者の眼球運動をトラッキングした結果に基づいて、前記運転者の意識レベルを認識又は判別する、
上記(2)に記載の画像処理装置。
(8)前記処理部は、前記運転者の眼球のサッケード、ドリフト、マイクロサッケード、又はトレモアのうち少なくとも1つの動作をトラッキングする、
上記(2)に記載の画像処理装置。
(9)前記処理部は、前記運転者の眼球運動とサリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する、
上記(7)又は(8)のいずれかに記載の画像処理装置。
(10)前記運転者の状態又は前記車両の走行状況に応じたサリエンシーマップを生成するサリエンシーマップ生成部をさらに備え、
前記処理部は、前記サリエンシーマップ生成部が生成した前記サリエンシーマップを用いて前記運転者の意識レベルを認識又は判別する、
上記(9)に記載の画像処理装置。
(11)前記サリエンシーマップ生成部は、前記車両の周辺で検出される障害物の情報に基づいて前記サリエンシーマップを生成する、
上記(10)に記載の画像処理装置。
(12)仮想的な障害物を擬似的にヘッド・アップ・ディスプレイに表示する表示部をさらに備え、
前記サリエンシーマップ生成部は、前記表示部が表示する仮想的な障害物の情報をさらに加えて前記サリエンシーマップを生成する、
上記(11)に記載の画像処理装置。
(13)前記運転者の眼球運動の個人特性を学習する学習部をさらに備える、
上記(7)に記載の画像処理装置。
(14)前記処理部は、前記個人特性を適用して、前記運転者の意識レベルを認識又は判別する、
上記(13)に記載の画像処理装置。
(15)前記処理部は、前記運転者の利き目を判定して、前記領域に含まれる少なくとも利き目の画像に基づいて、前記運転者の意識レベルを認識又は判別する、
上記(7)に記載の画像処理装置。
(16)車両の運転者の画像を第1のフレームレートで取得する第1の画像取得ステップと、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定ステップと、
前記領域の画像を前記第1のフレームレートよりも高い第2のフレームレートで取得する第2の画像取得ステップと、
を有する画像処理方法。
(17)運転者を撮像する撮像部と、
前記運転者を撮像する画像を第1のフレームレートで取得する第1の画像取得部と、
前記画像のうち前記運転者の眼を含む領域を決定する領域決定部と、
前記領域の画像を前記第1のフレームレートよりも高い第2のフレームレートで取得する第2の画像取得部と、
前記第2のフレームレートで取得する前記領域を画像処理して、前記運転者の意識レベルを認識又は判別する処理部と、
前記処理部により認識又は判別された前記運転者の意識レベルに応じて、運転モードの切り替えを制御する制御部と、
を具備する移動体。
(18)前記撮像部は、第1半導体基板、第2半導体基板、第3半導体基板からなる3枚の半導体基板を積層して構成され、
前記第1半導体基板には、画素が形成され、
前記第2半導体基板には、前記画像を記憶する記憶部が形成され、
前記第3半導体基板には、前記第1の画像取得部、前記第2の画像取得部、前記領域決定部、前記処理部、前記制御部のうち少なくとも1つが形成されている、上記(17)に記載の移動体。
201…撮像素子、202…画像認識処理IC
203…インターフェース配線
400…積層イメージ・センサー、410…画素領域
420…信号処理回路領域、421…カメラ信号処理部
422…顔位置トラッキング部、423…眼領域検出部
424…高速読み出し部
500…メモリー搭載積層イメージ・センサー、510…画素領域
520…信号処理回路領域、530…メモリー領域
521…カメラ信号処理部、522…顔位置トラッキング部
523…顔画像書き込み部
524…選択高速読み出し部
700…画像処理装置、701…状態検出部
702…エリア選択指定部、703…眼球サッケード解析処理部
704…単一眼球動作解析部、705…方角推定部
706…障害物情報取得部、707…擬似ターゲット投影部
708…サリエンシーマップ生成部、709…覚醒度判定部
701…全領域、712…選択高速読み出しエリア
Claims (10)
- 車両の運転者の第1の画像を取得する第1の画像取得部と、
前記第1の画像のうち前記運転者の眼を含む領域の第2の画像を取得する第2の画像取得部と、
前記車両周辺の障害物の情報からの運転者視線を向け得るサリエンシーマップを生成するとともに前記第2の画像に基づいて前記運転者の眼球運動を解析して、前記運転者の眼球運動と前記サリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する処理部と、
を具備する画像処理装置。 - 前記第2の画像取得部が取得する眼球運動はサッケード動作又はマイクロサッケード動作である、
請求項1に記載の画像処理装置。 - 前記運転者の意識レベルの判定が所定以下の場合は、前記車両の自動運転から手動運転への切り替えを制限又は禁止する、
請求項1に記載の画像処理装置。 - 前記運転者の意識レベルが所定以下の場合は、警告を行なう、
請求項1に記載の画像処理装置。 - 前記運転者の意識レベルが所定以下の場合は、前記車両を減速、徐行、又は停車させる、
請求項1に記載の画像処理装置。 - 前記第2の画像取得部は、前記第2の画像の領域を移動予測して可変移動させる、
請求項1に記載の画像処理装置。 - 前記運転者の眼球位置が移動する場合には、隣接するカメラ・システム間で運転者のトラッキングを引き継ぐ、
請求項3に記載の画像処理装置。 - 積層からなるイメージ・センサーを用いて画像を取得する、
請求項1に記載の画像処理装置。 - 画像処理装置が備える第1の画像取得部が、車両の運転者の第1の画像を取得する第1の画像取得ステップと、
前記画像処理装置が備える第2の画像取得部が、前記第1の画像のうち前記運転者の眼を含む領域の第2の画像を取得する第2の画像取得ステップと、
前記画像処理装置が備える処理部が、前記車両周辺の障害物の情報からの運転者視線を向け得るサリエンシーマップを生成するとともに前記第2の画像に基づいて前記運転者の眼球運動を解析して、前記運転者の眼球運動と前記サリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する処理ステップと、
を有する画像処理方法。 - 車両の運転者を撮像する撮像部と、
前記運転者を撮像する第1の画像を取得する第1の画像取得部と、
前記第1の画像のうち前記運転者の眼を含む領域の第2の画像を取得する第2の画像取得部と、
前記車両周辺の障害物の情報からの運転者視線を向け得るサリエンシーマップを生成するとともに前記第2の画像に基づいて前記運転者の眼球運動を解析して、前記運転者の眼球運動と前記サリエンシーマップとの比較結果に基づいて前記運転者の意識レベルを認識又は判別する処理部と、
前記処理部により認識又は判別された前記運転者の意識レベルに応じて、運転モードの切り替えを制御する制御部と、
を具備する移動体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016095674 | 2016-05-11 | ||
JP2016095674 | 2016-05-11 | ||
JP2018516341A JP6911841B2 (ja) | 2016-05-11 | 2017-01-31 | 画像処理装置及び画像処理方法、並びに移動体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018516341A Division JP6911841B2 (ja) | 2016-05-11 | 2017-01-31 | 画像処理装置及び画像処理方法、並びに移動体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168167A JP2021168167A (ja) | 2021-10-21 |
JP7226479B2 true JP7226479B2 (ja) | 2023-02-21 |
Family
ID=60267548
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018516341A Active JP6911841B2 (ja) | 2016-05-11 | 2017-01-31 | 画像処理装置及び画像処理方法、並びに移動体 |
JP2021109603A Active JP7226479B2 (ja) | 2016-05-11 | 2021-06-30 | 画像処理装置及び画像処理方法、並びに移動体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018516341A Active JP6911841B2 (ja) | 2016-05-11 | 2017-01-31 | 画像処理装置及び画像処理方法、並びに移動体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190143989A1 (ja) |
EP (1) | EP3438948B1 (ja) |
JP (2) | JP6911841B2 (ja) |
CN (2) | CN114666499A (ja) |
WO (1) | WO2017195405A1 (ja) |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015218964A1 (de) * | 2015-09-30 | 2017-03-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und System zum Ermitteln von Verkehrsteilnehmern mit Interaktionspotential |
JP6911841B2 (ja) * | 2016-05-11 | 2021-07-28 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
JP6686869B2 (ja) * | 2016-12-22 | 2020-04-22 | 株式会社デンソー | 運転交代制御装置、及び運転交代制御方法 |
US10607399B2 (en) * | 2017-05-22 | 2020-03-31 | Htc Corporation | Head-mounted display system, method for adaptively adjusting hidden area mask, and computer readable medium |
US11430230B2 (en) * | 2017-12-27 | 2022-08-30 | Pioneer Corporation | Storage device and excitement suppression device |
JP6685481B2 (ja) * | 2018-02-02 | 2020-04-22 | 三菱電機株式会社 | 落下物検知装置、車載システム、車両および落下物検知プログラム |
CN111656423A (zh) * | 2018-02-05 | 2020-09-11 | 索尼公司 | 信息处理装置、移动装置、方法以及程序 |
CN112135762A (zh) * | 2018-03-28 | 2020-12-25 | 阿达姆齿轮科技有限公司 | 基于认知状态的无缝激励 |
EP3779921A4 (en) * | 2018-03-30 | 2021-04-28 | Sony Semiconductor Solutions Corporation | INFORMATION PROCESSING DEVICE, MOBILE DEVICE, PROCESS AND PROGRAM |
JP7210929B2 (ja) * | 2018-08-07 | 2023-01-24 | トヨタ自動車株式会社 | 運転意識推定装置 |
JP7162664B2 (ja) * | 2018-08-23 | 2022-10-28 | 三菱電機株式会社 | 運転者選定装置および運転者選定方法 |
JP7204421B2 (ja) * | 2018-10-25 | 2023-01-16 | キヤノン株式会社 | 検知装置およびその制御方法 |
CN109435962A (zh) * | 2018-10-25 | 2019-03-08 | 北京海纳川汽车部件股份有限公司 | 自动驾驶车辆的控制方法、装置及具有其的自动驾驶车辆 |
JP7222216B2 (ja) * | 2018-10-29 | 2023-02-15 | 株式会社アイシン | 運転支援装置 |
JP7263734B2 (ja) * | 2018-10-29 | 2023-04-25 | 株式会社アイシン | 視認対象判定装置 |
US11200438B2 (en) | 2018-12-07 | 2021-12-14 | Dus Operating Inc. | Sequential training method for heterogeneous convolutional neural network |
CN109445443A (zh) * | 2018-12-24 | 2019-03-08 | 江苏集萃微纳自动化系统与装备技术研究所有限公司 | 一种辅助自动驾驶的座椅及其自动驾驶方法 |
US11505181B2 (en) * | 2019-01-04 | 2022-11-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | System, method, and computer-readable storage medium for vehicle collision avoidance on the highway |
US11068069B2 (en) * | 2019-02-04 | 2021-07-20 | Dus Operating Inc. | Vehicle control with facial and gesture recognition using a convolutional neural network |
CN109875583B (zh) * | 2019-02-19 | 2021-01-29 | 京东方科技集团股份有限公司 | 一种基于ar技术的疲劳驾驶检测系统及方法 |
GB2582292B (en) | 2019-03-13 | 2022-05-25 | Jaguar Land Rover Ltd | Vehicle control system |
JP2020149507A (ja) * | 2019-03-14 | 2020-09-17 | 本田技研工業株式会社 | 乗員観察装置 |
CN110263641A (zh) * | 2019-05-17 | 2019-09-20 | 成都旷视金智科技有限公司 | 疲劳检测方法、装置及可读存储介质 |
CN110261131B (zh) * | 2019-06-21 | 2021-06-29 | 北京迈格威科技有限公司 | 汽车模拟驾驶舱图像数据处理方法及装置 |
WO2021005783A1 (ja) * | 2019-07-11 | 2021-01-14 | 三菱電機株式会社 | 制御装置および制御方法 |
JP7285155B2 (ja) * | 2019-07-16 | 2023-06-01 | 株式会社Subaru | 車両の乗員保護システム |
US11904866B2 (en) | 2019-07-31 | 2024-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for brain-machine interfaces and EEG-based driver identification |
JP7342635B2 (ja) * | 2019-11-11 | 2023-09-12 | マツダ株式会社 | 運転者状態推定装置および運転者状態推定方法 |
JP7342637B2 (ja) * | 2019-11-11 | 2023-09-12 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP7415460B2 (ja) * | 2019-11-11 | 2024-01-17 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
JP7415459B2 (ja) * | 2019-11-11 | 2024-01-17 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
JP7276083B2 (ja) * | 2019-11-11 | 2023-05-18 | マツダ株式会社 | 運転者状態推定装置 |
JP7342636B2 (ja) * | 2019-11-11 | 2023-09-12 | マツダ株式会社 | 車両制御装置および運転者状態判定方法 |
JP7405570B2 (ja) | 2019-11-13 | 2023-12-26 | パイオニア株式会社 | 視認負荷量推定装置 |
KR20210073135A (ko) | 2019-12-10 | 2021-06-18 | 삼성전자주식회사 | 눈 복원 기반의 눈 추적 방법 및 장치 |
WO2021145131A1 (ja) * | 2020-01-17 | 2021-07-22 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
JP7409184B2 (ja) * | 2020-03-19 | 2024-01-09 | マツダ株式会社 | 状態推定装置 |
CN113696897B (zh) * | 2020-05-07 | 2023-06-23 | 沃尔沃汽车公司 | 驾驶员分神预警方法和驾驶员分神预警系统 |
JP7160867B2 (ja) * | 2020-07-17 | 2022-10-25 | 京セラ株式会社 | 電子機器、情報処理装置、推定方法、および推定プログラム |
JP7465738B2 (ja) | 2020-07-17 | 2024-04-11 | 京セラ株式会社 | 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム |
JP7433155B2 (ja) | 2020-07-17 | 2024-02-19 | 京セラ株式会社 | 電子機器、情報処理装置、推定方法、および推定プログラム |
CN111898210A (zh) * | 2020-08-03 | 2020-11-06 | 吉林大学 | 一种驾驶员眼椭圆建立方法 |
CN112380935B (zh) * | 2020-11-03 | 2023-05-26 | 深圳技术大学 | 面向自动驾驶的人机协同感知方法及系统 |
CN112508848B (zh) * | 2020-11-06 | 2024-03-26 | 上海亨临光电科技有限公司 | 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法 |
JP7332644B2 (ja) * | 2021-03-12 | 2023-08-23 | 本田技研工業株式会社 | 注意喚起システム、及び注意喚起方法 |
CN113173168A (zh) * | 2021-04-30 | 2021-07-27 | 重庆工程职业技术学院 | 车辆智能驾驶控制系统及方法 |
CN113238652B (zh) * | 2021-05-11 | 2023-07-14 | 北京字跳网络技术有限公司 | 视线估计方法、装置、设备及存储介质 |
US11861916B2 (en) * | 2021-10-05 | 2024-01-02 | Yazaki Corporation | Driver alertness monitoring system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006310901A (ja) | 2005-04-26 | 2006-11-09 | Victor Co Of Japan Ltd | 監視システム及び監視方法 |
JP2014179892A (ja) | 2013-03-15 | 2014-09-25 | Nikon Corp | 撮像装置 |
JP2015116376A (ja) | 2013-12-19 | 2015-06-25 | 株式会社デンソー | 状態推定装置、および状態推定プログラム |
JP6301782B2 (ja) | 2014-08-27 | 2018-03-28 | ファナック株式会社 | 物品を種類毎に供給する物品供給装置 |
JP6911841B2 (ja) | 2016-05-11 | 2021-07-28 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06301782A (ja) * | 1993-04-16 | 1994-10-28 | N T T Data Tsushin Kk | 監視装置 |
JP4898026B2 (ja) * | 2001-06-29 | 2012-03-14 | 本田技研工業株式会社 | ステレオカメラを使用した顔・視線認識装置 |
WO2005098777A1 (en) * | 2004-03-22 | 2005-10-20 | Volvo Technology Corporation | Method and system for perceptual suitability test of a driver |
JP4380412B2 (ja) * | 2004-05-10 | 2009-12-09 | 株式会社デンソー | 撮像制御装置及びプログラム |
JP2006043429A (ja) * | 2004-06-28 | 2006-02-16 | Nissan Motor Co Ltd | 視認負荷判断装置 |
JP2006293909A (ja) * | 2005-04-14 | 2006-10-26 | Denso Corp | 運転者の視線方向検出装置 |
JP2006327527A (ja) * | 2005-05-30 | 2006-12-07 | Honda Motor Co Ltd | 車両の走行安全装置 |
JP5036814B2 (ja) * | 2006-06-11 | 2012-09-26 | ボルボ テクノロジー コーポレイション | 視覚的関心場所の決定および分析のための方法および装置 |
JP4826506B2 (ja) * | 2007-02-27 | 2011-11-30 | 日産自動車株式会社 | 視線推定装置 |
JP4888838B2 (ja) * | 2008-05-12 | 2012-02-29 | トヨタ自動車株式会社 | 運転者撮像装置および運転者撮像方法 |
JP4992891B2 (ja) * | 2008-12-18 | 2012-08-08 | トヨタ自動車株式会社 | 覚醒度判定装置 |
US8396249B1 (en) * | 2008-12-23 | 2013-03-12 | Hrl Laboratories, Llc | Robot control based on saliency and invariant spatial representations using hierarchical spatial working memory |
JP5177011B2 (ja) * | 2009-02-25 | 2013-04-03 | 株式会社デンソー | 開眼度特定装置 |
US9460601B2 (en) * | 2009-09-20 | 2016-10-04 | Tibet MIMAR | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance |
CN101877051A (zh) * | 2009-10-30 | 2010-11-03 | 江苏大学 | 驾驶人注意力状态监测方法和装置 |
BR112012017199A2 (pt) * | 2009-12-25 | 2018-07-31 | Ricoh Co Ltd | aparelho para identificação de objetos, aparelho para controle de corpos em movimento e aparelho para fornecer informações |
JP5630518B2 (ja) * | 2012-03-14 | 2014-11-26 | 株式会社デンソー | 運転支援装置 |
JP6047318B2 (ja) * | 2012-07-06 | 2016-12-21 | 矢崎総業株式会社 | ドライバ状態検出装置及びドライバ状態報知装置 |
EP2696259B1 (en) * | 2012-08-09 | 2021-10-13 | Tobii AB | Fast wake-up in a gaze tracking system |
US9405982B2 (en) * | 2013-01-18 | 2016-08-02 | GM Global Technology Operations LLC | Driver gaze detection system |
JP2015011579A (ja) * | 2013-06-28 | 2015-01-19 | 株式会社東芝 | 視線検出装置、及び視線検出方法 |
CN104724157A (zh) * | 2013-12-20 | 2015-06-24 | 青岛盛嘉信息科技有限公司 | 一种对人眼位置准确定位的方法 |
CN103956027A (zh) * | 2014-04-04 | 2014-07-30 | 驻马店市金格尔电气设备有限公司 | 一种驾驶员人眼疲劳检测装置及检测方法 |
WO2015174963A1 (en) * | 2014-05-13 | 2015-11-19 | American Vehicular Sciences, LLC | Driver health and fatigue monitoring system and method |
KR101659027B1 (ko) * | 2014-05-15 | 2016-09-23 | 엘지전자 주식회사 | 이동 단말기 및 차량 제어 장치 |
US20150339589A1 (en) * | 2014-05-21 | 2015-11-26 | Brain Corporation | Apparatus and methods for training robots utilizing gaze-based saliency maps |
JP6620395B2 (ja) * | 2014-08-28 | 2019-12-18 | 株式会社ニコン | 撮像装置 |
JP6201927B2 (ja) * | 2014-08-01 | 2017-09-27 | トヨタ自動車株式会社 | 車両制御装置 |
JP6149824B2 (ja) * | 2014-08-22 | 2017-06-21 | トヨタ自動車株式会社 | 車載装置、車載装置の制御方法及び車載装置の制御プログラム |
JP6468755B2 (ja) * | 2014-08-22 | 2019-02-13 | 国立大学法人静岡大学 | 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム |
US9747812B2 (en) * | 2014-10-22 | 2017-08-29 | Honda Motor Co., Ltd. | Saliency based awareness modeling |
JP6323318B2 (ja) * | 2014-12-12 | 2018-05-16 | ソニー株式会社 | 車両制御装置および車両制御方法、並びにプログラム |
CN107207013B (zh) * | 2014-12-12 | 2020-01-21 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
JP6578784B2 (ja) * | 2015-07-24 | 2019-09-25 | 株式会社デンソー | 状態推定装置および状態推定プログラム |
US9786192B2 (en) * | 2015-10-14 | 2017-10-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | Assessing driver readiness for transition between operational modes of an autonomous vehicle |
-
2017
- 2017-01-31 JP JP2018516341A patent/JP6911841B2/ja active Active
- 2017-01-31 CN CN202210260680.5A patent/CN114666499A/zh active Pending
- 2017-01-31 CN CN201780027367.4A patent/CN109074748B/zh active Active
- 2017-01-31 WO PCT/JP2017/003315 patent/WO2017195405A1/ja active Application Filing
- 2017-01-31 US US16/098,454 patent/US20190143989A1/en not_active Abandoned
- 2017-01-31 EP EP17795766.9A patent/EP3438948B1/en active Active
-
2021
- 2021-06-30 JP JP2021109603A patent/JP7226479B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006310901A (ja) | 2005-04-26 | 2006-11-09 | Victor Co Of Japan Ltd | 監視システム及び監視方法 |
JP2014179892A (ja) | 2013-03-15 | 2014-09-25 | Nikon Corp | 撮像装置 |
JP2015116376A (ja) | 2013-12-19 | 2015-06-25 | 株式会社デンソー | 状態推定装置、および状態推定プログラム |
JP6301782B2 (ja) | 2014-08-27 | 2018-03-28 | ファナック株式会社 | 物品を種類毎に供給する物品供給装置 |
JP6911841B2 (ja) | 2016-05-11 | 2021-07-28 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法、並びに移動体 |
Also Published As
Publication number | Publication date |
---|---|
JP6911841B2 (ja) | 2021-07-28 |
JPWO2017195405A1 (ja) | 2019-03-07 |
EP3438948B1 (en) | 2023-08-30 |
EP3438948A4 (en) | 2019-05-01 |
CN109074748B (zh) | 2022-04-08 |
EP3438948A1 (en) | 2019-02-06 |
US20190143989A1 (en) | 2019-05-16 |
WO2017195405A1 (ja) | 2017-11-16 |
JP2021168167A (ja) | 2021-10-21 |
CN114666499A (zh) | 2022-06-24 |
CN109074748A (zh) | 2018-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7226479B2 (ja) | 画像処理装置及び画像処理方法、並びに移動体 | |
JP7204739B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7155122B2 (ja) | 車両制御装置及び車両制御方法 | |
JP7080598B2 (ja) | 車両制御装置および車両制御方法 | |
US11572085B2 (en) | Information processing device, mobile device, information processing system, and method | |
WO2021145131A1 (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
KR20200113202A (ko) | 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램 | |
JP7357006B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
JP7342637B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7331728B2 (ja) | 運転者状態推定装置 | |
JP7331729B2 (ja) | 運転者状態推定装置 | |
JP7342636B2 (ja) | 車両制御装置および運転者状態判定方法 | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 | |
WO2022172724A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7226479 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |