JP7427463B2 - 車両制御装置、車両制御方法、及び車両制御用プログラム - Google Patents

車両制御装置、車両制御方法、及び車両制御用プログラム Download PDF

Info

Publication number
JP7427463B2
JP7427463B2 JP2020021257A JP2020021257A JP7427463B2 JP 7427463 B2 JP7427463 B2 JP 7427463B2 JP 2020021257 A JP2020021257 A JP 2020021257A JP 2020021257 A JP2020021257 A JP 2020021257A JP 7427463 B2 JP7427463 B2 JP 7427463B2
Authority
JP
Japan
Prior art keywords
user
resolution
vehicle
image
determination threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021257A
Other languages
English (en)
Other versions
JP2021127574A (ja
Inventor
海嵩 劉
亮 茂呂澤
聖勲 李
克靖 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020021257A priority Critical patent/JP7427463B2/ja
Priority to US17/166,027 priority patent/US11645847B2/en
Priority to CN202110177867.4A priority patent/CN113246910B/zh
Publication of JP2021127574A publication Critical patent/JP2021127574A/ja
Application granted granted Critical
Publication of JP7427463B2 publication Critical patent/JP7427463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/25Means to switch the anti-theft system on or off using biometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20Means to switch the anti-theft system on or off
    • B60R25/24Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B60R25/245Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user where the antenna reception area plays a role
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305Detection related to theft or to other events relevant to anti-theft systems using a camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明は、車両制御装置、車両制御方法、及び車両制御用プログラムに関する。
従来、画像認証を用いた車両のスマートエントリーシステムが提案されている(例えば、特許文献1参照)。上記スマートエントリーシステムにおいては、電波、超音波、赤外線、或いは車両の周辺画像から、車両に接近した人を検出する周辺監視手段を備え、車両に接近した人が検出された場合に、人の虹彩の画像を撮影して虹彩による本人確認を行うようにしている。
特開2003-138817号公報
上記従来のスマートエントリーシステムでは、周辺監視手段により、車両の利用者以外の人が検出された場合にも、カメラによる虹彩の撮影が実行される。そのため、特に、人通りが多い場所に車両が駐車している場合に、カメラによる撮影が頻繁に行われて、カメラの消費電力が多くなるという不都合がある。
本発明はかかる背景に鑑みてなされたものであり、画像認識を用いた車両のスマートエントリーを実行する際に、利用者の認証精度を維持してカメラの消費電力を低減することができる車両制御装置、車両制御方法、及び車両制御用プログラムを提供することを目的とする。
上記目的を達成するための第1態様として、車両のスマートエントリーの制御を実行する車両制御装置であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、前記車両が駐車している地点を認識する駐車地点認識部と、を備え、前記判定閾値設定部は、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識部により前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識部により前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する車両制御装置が挙げられる。
ここで、スマートエントリーは、機械的な鍵の操作を行うことなく、車両へのエントリーを可能にする車両の機能である。
上記目的を達成するための第2態様として、車両のスマートエントリーの制御を実行する車両制御装置であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、を備え、前記利用者候補判定部は、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、前記判定閾値設定部は、前記閾値設定条件として、前記利用者候補判定部により、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する車両制御装置が挙げられる
上記目的を達成するための第3態様として、車両のスマートエントリーの制御を実行する車両制御装置であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、前記車両が駐車している地点の天候を認識する天候認識部、を備え、前記判定閾値設定部は、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識部により前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識部により前記車両が駐車している地点が悪天候であると認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する車両制御装置が挙げられる。
上記目的を達成するための第態様として、車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定ステップと、前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定ステップと、前記車両が駐車している地点を認識する駐車地点認識ステップと、を含み、前記判定閾値設定ステップは、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識ステップにより前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識ステップにより前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する車両制御方法が挙げられる。
上記目的を達成するための第5態様として、車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定ステップと、前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定ステップと、を含み、前記利用者候補判定ステップは、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、前記判定閾値設定ステップは、前記閾値設定条件として、前記利用者候補判定ステップにより、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定ステップにより、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定ステップにより、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する車両制御方法が挙げられる。
上記目的を達成するための第6態様として、車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定ステップと、前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定ステップと、前記車両が駐車している地点の天候を認識する天候認識ステップと、を含み、前記判定閾値設定ステップは、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識ステップにより前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識ステップにより前記車両が駐車している地点が悪天候であると認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する車両制御方法が挙げられる。
上記目的を達成するための第態様として、車両のスマートエントリーの制御を実行するために、コンピュータを、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、前記車両が駐車している地点を認識する駐車地点認識部と、して機能させ、前記判定閾値設定部は、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識部により前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識部により前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する車両制御用プログラムが挙げられる。
上記目的を達成するための第8態様として、車両のスマートエントリーの制御を実行するために、コンピュータを、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、して機能させ、前記利用者候補判定部は、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、前記判定閾値設定部は、前記閾値設定条件として、前記利用者候補判定部により、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する車両制御用プログラムが挙げられる。
上記目的を達成するための第9態様として、車両のスマートエントリーの制御を実行するために、コンピュータを、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、前記車両が駐車している地点の天候を認識する天候認識部と、して機能させ、前記判定閾値設定部は、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識部により前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識部により前記車両が駐車している地点が悪天候であると認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する車両制御用プログラムが挙げられる。
上記車両制御装置によれば、利用者候補判定部によって、第1解像度で撮影された第1周囲画像に利用者の顔画像の候補が含まれていると判定されたときに、利用者判定部によって、第1解像度よりも解像度が高く消費電力が多い第2解像度により撮影された第2周囲画像に、利用者の顔画像が含まれているか否かが判定される。これにより、常時第2解像度で車両の周囲を撮影して、車両に接近した利用者を判定する場合よりも、解像度切替カメラの消費電力を低減することができる。また、最終的には第2解像度により撮影された第2周辺画像により利用者の顔画像を判定するため、利用者の認証精度を維持することができる。
図1は、車両制御装置が、車両の利用者を認証して車両へのエントリーを許可する態様の説明図である。 図2は、車両制御装置が搭載された車両の構成図である。 図3は、利用者の顔画像により、利用者であるか否かを判定する処理の説明図である。 図4は、利用者の顔画像の候補を判定するための判定閾値を設定する処理のフローチャートである。 図5は、判定閾値の設定マップの説明図である。 図6は、車両の周囲を撮影するポーリング間隔を設定する処理のフローチャートである。 図7は、ポーリング間隔の設定マップの説明図である。 図8は、車両のスマートエントリー制御の第1のフローチャートである。 図9は、車両のスマートエントリー制御の第2のフローチャートである。
[1.車両制御装置による車両の利用者の認証]
図1を参照して、車両1に備えられた車両制御装置10が、車両1に近づく車両1の利用者Uを認証して、車両1への利用者Uのエントリーを許可する態様について説明する。車両制御装置10は、詳細は後述するが、CPU(Central Processing Unit、本発明のコンピュータに相当する)、メモリ、インターフェース回路等により構成されて、車両1の作動を制御するECU(Electronic Control Unit)である。
車両1には、車両1の右側方を撮影するための右サイドカメラ50、車両の左側方を撮影するための左サイドカメラ51、及び車両1の後方を撮影するためのリアカメラ52が備えられている。右サイドカメラ50、左サイドカメラ51、及びリアカメラ52は、本発明の解像度切替カメラに相当する。
右サイドカメラ50は、右サイド第1カメラ50aと右サイド第2カメラ50bとにより構成され、右サイド第2カメラ50bの解像度(第2解像度)が右サイド第1カメラ50aの解像度(第1解像度)よりも高く設定されている。右サイドカメラ50は、右サイド第1カメラ50aによる第1解像度での撮影と、右サイド第2カメラ50bによる第2解像度での撮影とを、切り替えて行う。また、右サイド第2カメラ50bによる第2解像度での撮影時の消費電力は、右サイド第1カメラ50aによる第1解像度での撮影時の消費電力よりも多くなる。
例えば、右サイド第1カメラ50aの解像度は75kpixelで、消費電流は2~3mA程度である。また、右サイド第2カメラ50bの解像度は2Mpixelで、消費電流は40mA程度である。ここで、右サイド第1カメラ50aと右サイド第2カメラ50bは、解像度が異なる2台のカメラを組み合わせて構成してもよく、1台のカメラに解像度が異なる2個の撮像素子を組み込んで構成してもよい。
同様に、左サイドカメラ51は、左サイド第1カメラ51aと左サイド第2カメラ51bとにより構成され、左サイド第2カメラ51bの解像度(第2解像度)が左サイド第1カメラ51aの解像度(第1解像度)よりも高く設定されている。また、消費電力については、左サイド第2カメラ51bの方が左サイド第1カメラ51aよりも多くなっている。
同様に、リアカメラ52は、リア第1カメラ52aとリア第2カメラ52bとにより構成され、リア第2カメラ52bの解像度(第2解像度)がリア第1カメラ52aの解像度(第1解像度)よりも高く設定されている。また、消費電力については、リア第2カメラ52bの方がリア第1カメラ52aよりも多くなっている。
車両制御装置10は、右サイドカメラ50、左サイドカメラ51、及びリアカメラ52により車両1の周囲を撮影し、撮影画像に車両1の利用者Uの顔画像が含まれることを認識したときに、利用者Uを認証して利用者Uの車両1へのエントリーを許可する。図1では、車両制御装置10が、車両1の右側から車両1に接近する利用者Uを認証する状況を例示し、右サイド第1カメラ50aの撮影範囲をAr1で示し、右サイド第2カメラ50bの撮影範囲をAr2で示している。なお、右サイド第1カメラ50aの撮影範囲Ar1と右サイド第2カメラ50bの撮影範囲Ar2は、同一であってもよい。
車両制御装置10は、右サイド第1カメラ50aにより、所定のポーリング間隔で車両1の右側方を繰り返し撮影し、右サイド第1カメラ50aによる撮影画像に、利用者Uの顔画像の候補が含まれているか否かを判定する。図1の例では、利用者Uが、右サイド第1カメラ50aの撮影範囲Ar1の外側のC1の位置から、右サイド第1カメラ50aの撮影範囲Ar1内のC2の位置に進んだときに、車両制御装置10により、右サイド第1カメラ50aの撮影画像から利用者Uの顔画像の候補が認識される。
車両制御装置10は、詳細は後述するが、予め用意された利用者Uの顔の登録画像の特徴量との一致率が判定閾値以上である画像部分を、利用者Uの顔画像の候補として認識する。車両制御装置10は、右サイド第1カメラ50aの撮影画像から、利用者Uの顔画像の候補を認識したC3のタイミングで、車両1の右側を撮影するカメラを、右サイド第1カメラ50aから右サイド第2カメラ50bに切り替える。
そして、車両制御装置10は、右サイド第2カメラ50bによる撮影画像に、利用者Uの顔画像が含まれているか否かを判定し、利用者Uの顔画像が含まれているときに、利用者Uを認証して車両1のドアを解錠し、利用者Uの車両1へのエントリーを許可する。車両制御装置10は、詳細は後述するが、利用者Uの顔の登録画像の特徴量との一致率が認証閾値以上である画像部分を、利用者Uの顔画像であると判定する。
以上説明したように、車両制御装置10は、車両1の右側から車両1に接近する利用者Uの認証を、解像度が低く消費電力が少ない右サイド第1カメラ50aと、解像度が高く消費電力が多い第2カメラ50bとを切り替えて行う。そして、車両制御装置10は、車両1への利用者Uの接近を、右サイド第1カメラ50aによる撮影画像を用いて認識し、最終的な利用者Uの認証のみを右サイド第2カメラ50bによる撮影画像を用いて行う。これにより、利用者Uの認証精度を維持しつつ、利用者Uを認証する際の右サイド第1カメラ50aと右サイド第2カメラ50bのトータルの消費電力を抑制することができる。
車両制御装置10は、車両1の左側方についても同様に、左サイド第1カメラ51aと左サイド第2カメラ51bを切り替えて、車両1に接近する利用者Uを認証する。また、車両制御装置10は、車両1の後方についても同様に、リア第1カメラ52aとリア第2カメラ52bを切り替えて、車両1に接近する利用者Uを認証する。
[2.車両制御装置の構成]
図2を参照して、車両1に搭載された車両制御装置10の構成について説明する。車両1には、上述した右サイドカメラ50、左サイドカメラ51、及びリアカメラ52の他に、車室カメラ53、通信ユニット60、ナビゲーション装置61、雨滴センサ62、ドアロック機構63、及びバッテリ70が備えられている。
車室カメラ53は、車両1の車室に設けられて、車室内を撮影する。通信ユニット60は、車両1の外部の通信システム(図示しない)及び利用者Uにより使用される携帯端末(図示しない)等との間で通信を行う。ナビゲーション装置61は、GPS(Global Positioning System)センサ(図示しない)を有し、GPSセンサにより検出される車両1の現在位置と地図データに基づいて、目的地までのルート案内を行う。雨滴センサ62は、車両1のフロントウィンドウ等に装着されて雨滴を検出する。
ドアロック機構63は、車両1のドアの施錠と解錠を行い、また、ドアが施錠状態であるか解錠状態であるかをドアセンサ(図示しない)により検出する。バッテリ70は、車両制御装置10、右サイドカメラ50、左サイドカメラ51、リアカメラ52等に、電源電力を供給する。
車両制御装置10には、右サイドカメラ50による撮影画像、左サイドカメラ51による撮影画像、リアカメラ52による撮影画像、ナビゲーション装置61により検出される車両1の現在位置の情報、雨滴センサ62による雨滴の検出信号、ドアロック機構63のドアセンサによるドアの開閉状態の検出信号等が入力される。
車両制御装置10は、CPU20、メモリ40等を備えている。メモリ40には、右サイド第1カメラ50a、左サイド第1カメラ51a、及びリア第1カメラ52aによる撮影画像である第1周囲画像41と、右サイド第2カメラ50b、左サイド第2カメラ51b、及びリア第2カメラ52bによる撮影画像である第2周囲画像42とが保存される。さらに、メモリ40には、車両1の利用者Uの顔の登録画像の特徴量が記録された顔特徴量DB(Data Base)43と、車両制御装置10の制御用プログラム45(本発明の車両制御用プログラムを含む)とが保存されている。
CPU20は、メモリ40に保存された制御用プログラム45を読み込んで実行することにより、利用者登録部21、利用者候補判定部22、利用者判定部23、エントリー許可部24、駐車地点認識部25、天候認識部26、施解錠時刻認識部27、スケジュール認識部28、判定閾値設定部29、及びポーリング間隔設定部30として機能する。
利用者候補判定部22により実行される処理は、本発明の車両制御方法における利用者候補判定ステップに相当し、利用者判定部23により実行される処理は、本発明の車両制御方法における利用者判定ステップに相当する。また、エントリー許可部24により実行される処理は、本発明の車両制御方法におけるエントリー許可ステップに相当する。
利用者登録部21は、図3に符号100で示したように、M11の処理で撮影された利用者Uの顔の静止画(利用者Uの登録画像)に対して、M12の処理で顔の一般的な特徴量(輪郭の形状、輪郭に対する目鼻の位置等)を有する領域を、顔領域(顔の画像部分)として抽出する。そして、利用者登録部21は、M13の処理で、顔領域の特徴点の特徴量Frを検出し、検出した特徴量Frを顔特徴量DB43に保存する。ここで、利用者Uの登録画像の撮影は、車室カメラ53により行ってもよく、利用者Uが所持する携帯端末(スマートフォン、携帯電話、タブレット端末等)に備えられたカメラにより行ってもよい。利用者Uの登録画像の撮影を携帯端末のカメラにより行った場合は、携帯端末から車両制御装置10に、利用者Uの登録画像が転送される。
利用者候補判定部22は、右サイド第1カメラ50a、左サイド第1カメラ51a、又はリア第1カメラ52aによる撮影画像に、利用者Uの顔画像の候補が含まれているか否かを判定する。利用者候補判定部22は、図3に符号110で示したように、M21の処理で車両1の周囲の動画撮影を行い、M22の処理で動画の各フレームの撮影画像から顔領域を抽出する。そして、利用者候補判定部22は、M23の処理で顔領域の特徴点の特徴量Fsを検出する。さらに、利用者候補判定部22は、登録画像の特徴量Frと、車両1の周囲の撮影画像から抽出した顔の画像部分の特徴量Fsとの一致率(マッチングスコア)を算出し、一致率が判定閾値以上であるときに、撮影画像に利用者Uの顔画像の候補が含まれていると判定する。
利用者判定部23は、右サイド第2カメラ50b、左サイド第2カメラ51b、又はリア第2カメラ52aによる撮影画像に、利用者Uの顔画像が含まれているか否かを判定する。利用者判定部23は、上述した利用者候補判定部22による処理と同様にして、顔領域の画像部分の特徴量を検出し、顔領域の画像部分の特徴量と登録画像の特徴量Frとの一致率を算出する。そして、利用者判定部23は、算出した一致率が認証閾値以上であるときに、撮影画像に利用者Uの顔画像が含まれていると認証する。
ここで、本実施形態では、利用者候補判定部22と利用者判定部23が用いる利用者Uの顔の登録画像の特徴量Frは、右サイド第2カメラ50b、左サイド第2カメラ51b、及びリア第2カメラ52bの解像度と同等の解像度で撮影された利用者Uの顔画像について算出されて、顔特徴量DB43に保存される。
別の実施形態として、利用者候補判定部22が用いる利用者Uの登録画像と、利用者判定部23が用いる利用者Uの登録画像を別に用意してもよい。例えば、利用者候補判定部22が用いる登録画像として、右サイド第1カメラ50a、左サイド第1カメラ51a、及びリア第1カメラ52aの解像度と同等の解像度で撮影された利用者Uの顔画像を用いてもよい。また、利用者判定部23が用いる登録画像として、右サイド第2カメラ50b、左サイド第2カメラ51b、及びリア第2カメラ52bの解像度と同等の解像度で撮影された利用者Uの顔画像を用いてもよい。
エントリー許可部24は、利用者判定部23により、右サイド第2カメラ50b、左サイド第2カメラ51b、又はリアカメラ52による撮影画像に、利用者Uの顔画像が含まれていると判定されたときに、車両1への利用者Uのエントリーを許可する。駐車地点認識部25は、ナビゲーション装置61により検出される車両1の現在位置の情報から、車両1の駐車地点を認識する。天候認識部26は、雨滴センサ62による雨滴の検出状況に基づいて、車両1の駐車地点が悪天候(雨、雪等)であることを認識する。なお、天候認識部26が、天候情報を提供する天候情報サーバー(図示しない)にアクセスして、車両1の駐車地点が属する地域の天候情報を取得することにより、車両1の駐車地点の情報を認識するようにしてもよい。
施解錠時刻認識部27は、ドアロック機構63のドアセンサによる検出状況に基づいて、車両1ドアが解錠された時刻及び施錠された時刻を認識して、施錠時刻と解錠時刻の情報をメモリ40に保存する。なお、施解錠時刻認識部27が、施錠時刻のみ、或いは開錠時刻のみを認識して施錠時刻の情報又は解錠時刻の情報をメモリ40に保存する構成としてもよい。
スケジュール認識部28は、利用者Uによる車両1の使用予定を含む利用者Uのスケジュールを認識する。スケジュール認識部28は、利用者Uの携帯端末で使用されているスケジュールアプリ(アプリケーションプログラム)から、利用者Uのスケジュール情報を取得して、利用者Uのスケジュールを認識する。また、利用者Uのスケジュール情報がスケジュールサーバーに保存されている場合には、スケジュール認識部28は、スケジュールサーバーにアクセスして、利用者Uのスケジュール情報を取得して、利用者Uのスケジュールを認識する。
[3.判定閾値の設定]
判定閾値設定部29は、上述した利用者の顔画像の候補を判定するための判定閾値を、図4に示したフローチャートによる処理によって設定する。判定閾値設定部29は、図4のステップS1で、駐車地点認識部25により車両1の駐車地点を認識し、ステップS2で、天候認識部26により車両1が駐車している地点の天候を認識する。
続くステップS3で、判定閾値設定部29は、利用者候補判定部22により第1所定時間内に抽出された顔領域(顔の特徴を有する画像部分)の数が、所定数以上であるか否かを判定する。ここで、判定閾値設定部29は、例えば、現在時刻の直前の第1所定時間内に、利用者候補判定部22により抽出された顔領域の数が、所定数以上であるか否かを判定する。
次のステップS4で、判定閾値設定部29は、車両1の駐車地点、車両1の駐車地点の天候、及び所定時間内に抽出された顔領域の数が所定数以上であるか否かの判定結果を、図5に示した判定閾値設定マップに適用して、対応する条件No.の判定閾値JThを、利用者候補判定部22により使用される判定閾値JThとして設定する。
図5に示した判定閾値設定マップは、以下の設定条件A1~A3に従って、設定条件A1~A3を組み合わせた条件No.1~No.8の判定閾値JTh1~JTh8を設定する仕様となっている。設定条件A1~A3には、優先順位が適宜設定され、この優先順位に応じて判定閾値JTh1~JTh8が設定される。
設定条件A1…車両1が利用者Uの自宅以外に駐車している場合の判定閾値JTh(本発明の第2判定閾値に相当する)を、車両1が利用者Uの自宅に駐車している場合の判定閾値JTh(本発明の第1判定閾値に相当する)より低く設定する。
これにより、車両1が利用者Uの外出先の駐車場(コンビニ、ショッピングモールの駐車場等)に駐車している場合に、利用者Uの顔画像の候補が判定され易くして、利用者Uが認証されるタイミングを早めることができる。
設定条件A2…利用者候補判定部22により第1所定時間内に抽出された顔領域の数が所定数未満である場合の判定閾値JTh(本発明の第4判定閾値に相当する)を、利用者候補判定部22により第1所定時間に抽出された顔領域の数が所定数以上である場合の判定閾値JTh(本発明の第3判定閾値に相当する)よりも低く設定する。
これにより、車両1の周囲を通行する歩行者が少ない場合に、利用者Uの顔画像の候補が判定され易くして、利用者Uが認証されるタイミングを早めることができる。
設定条件A3…車両1の駐車地点の天候が悪天候(雨、雪等)である場合の判定閾値JTh(本発明の第6判定閾値に相当する)を、車両1の駐車地点の天候が悪天候でない場合の判定閾値JTh(本発明の第5判定閾値に相当する)よりも低く設定する。
これにより、悪天候である場合に、利用者Uの顔画像の候補が抽出され易くして、利用者Uの認証が終了するタイミングを早めることができ、車両1への利用者Uのエントリーを速やかに許可することができる。
判定閾値設定マップにおいて、例えば、駐車地点以外の条件が同じである条件No.1と条件No.5については、条件No.5の駐車地点が自宅以外である場合の判定閾値JTh5が、条件No.1の駐車地点が自宅である場合の判定閾値JTh1よりも低く設定される。また、天候以外の条件が同じである条件No.1と条件No.3について、条件No.3の悪天候である場合の判定閾値JTh3が、条件No.1の駐車地点が悪天候でない場合の判定閾値JTh1よりも低く設定される。
また、利用者候補判定部22により第1所定時間内に抽出された顔領域の数が所定数以上であるか否かの判定結果以外の条件が同じである条件No.1と条件No.2については、条件No.1の第1所定時間内に抽出された顔領域の数が所定数未満である場合の判定閾値JTh1が、条件No.2の所定時間内に抽出された顔領域の数が所定数以上である場合の判定閾値JTh2よりも低く設定される。
[4.ポーリング間隔の設定]
ポーリング間隔設定部30は、利用者候補判定部22が、右サイド第1カメラ50a、左サイド第1カメラ51a、及びリア第1カメラ52aにより、車両1の周囲を繰り返し撮影する間隔であるポーリング間隔Pwを、図6に示したフローチャートによる処理によって設定する。
ポーリング間隔設定部30は、図6のステップS10で、駐車地点認識部25により車両1の駐車位置を認識し、ステップS12で、天候認識部26により車両1が駐車している地点の天候を認識する。続くステップS12で、ポーリング間隔設定部30は、利用者判定部23により第2所定時間内に利用者Uが認証されたか否かを判定する。ここで、ポーリング間隔設定部30は、例えば、現在時刻の直前の第2所定時間内に、利用者判定部23により利用者Uが認証されたか否かを判定する。
次のステップS13で、施解錠時刻認識部27によりメモリに保存された車両1のドアの施錠時刻及び解錠時刻と、スケジュール認識部28により認識された利用者Uの行動予定とに基づいて、利用者Uが車両1を使用する可能性が高いと推定される時間帯である車両使用推定時間帯を設定する。次のステップS14で、ポーリング間隔設定部30は、現在時刻が車両使用推定時間帯内であるか否かを判定する。

そして、続くステップS15で、ポーリング間隔設定部30は、車両1の駐車地点、車両1の駐車地点の天候、利用者判定部23により直前の所定時間内に利用者Uが認証されたか否かの判定結果、及び現在時刻が車両使用推定時間帯内であるか否かの判定結果を、図7に示したポーリング間隔設定マップに適用して、対応する条件No.のポーリング間隔Pwを、利用者候補判定部22により使用されるポーリング間隔Pwとして設定する。
図7に示したポーリング間隔設定マップは、以下の設定条件B1~B4に従って、設定条件B1~B4を組み合わせた条件No.1~No.16のポーリング間隔Pw1~Pw16を設定する仕様となっている。設定条件B1~B4には、優先順位が適宜設定され、この優先順位に応じてポーリング間隔Pw1~Pw16が設定される。
設定条件B1…車両1が利用者Uの自宅以外に駐車している場合のポーリング間隔Pwを、車両1が利用者Uの自宅に駐車している場合のポーリング間隔Pwよりも短く設定する。
これにより、車両1が利用者Uの外出先の駐車場(コンビニ、ショッピングモールの駐車場等)に駐車していて、利用者Uが帰宅するために直近に車両1を使用する可能性が高い場合に、利用者候補判定部22により利用者Uの顔画像の候補が速やかに判定されるようにして、車両1へのエントリーが許可されるタイミングを早めることができる。また、車両1が利用者Uの自宅に駐車していて、利用者Uが直近に車両1を使用する可能性が低い場合に、ポーリング間隔Pwを長くすることにより、右サイド第1カメラ50a、左サイド第1カメラ51a、及びリア第1カメラ52aの消費電力を低減することができる。
設定条件B2…車両1の駐車地点が悪天候(雨、雪等)である場合のポーリング間隔Pwを、車両1の駐車地点が悪天候でない場合のポーリング間隔Pwよりも長く設定する。
これにより、悪天候であるために利用者Uが車両1を使用する可能性が低くなっていると推定される場合に、ポーリング間隔Pwを長く設定することによって、右サイド第1カメラ50a、左サイド第1カメラ51a、及びリア第1カメラ52aの消費電力を低減することができる。
設定条件B3…利用者判定部23により、第2所定時間内に利用者Uが認証された場合のポーリング間隔Pwを、第2所定時間内に利用者Uが認証されなかった場合のポーリング間隔Pwよりも短く設定する。これにより、利用者Uによる車両1の使用頻度に応じて、ポーリング間隔Pwを設定することができる。
設定条件B4…現在時刻が車両使用推定時間帯内である場合のポーリング間隔Pwを、現在時刻が車両使用推定時間帯内でない場合のポーリング間隔Pwよりも短く設定する。これにより、利用者Uによる車両1の使用履歴に応じて、ポーリング間隔Pwを設定することができる。
例えば、駐車地点以外の条件が同じである条件No.1と条件No.9については、条件No.9の駐車地点が自宅以外である場合のポーリング間隔Pw9が、条件No.1の駐車地点が自宅である場合のポーリング間隔Pw1よりも短く設定される。また、天候以外の条件が同じである条件No.1と条件No.5については、条件No.5の悪天候である場合のポーリング間隔Pw5が、条件No.1の悪天候でない場合のポーリング間隔Pw1よりも短く設定される。
また、第2所定時間内に利用者が認証されたか否かの判定結果以外の条件が同じである条件No.1と条件No.3については、条件No.3の第2所定時間内に利用者が認証された場合のポーリング間隔Pw3が、条件No.1の第2所定時間内に利用者が認証されなかった場合のポーリング間隔Pw1よりも短く設定される。また、現在時刻が車両使用推定時間帯内であるか否かの判定結果以外の条件が同じである条件No.1と条件No.2については、条件No.2の現在時刻が車両推定時間帯内である場合のポーリング間隔Pw2が、条件No.1の現在時刻が車両推定時間帯内でない場合のポーリング間隔Pw1よりも短く設定される。
[5.車両のスマートエントリー制御]
図8~図9に示したフローチャートに従って、利用者候補判定部22、利用者判定部23、及びエントリー許可部24により実行される車両1のスマートエントリー制御の処理について説明する。ここでは、図1に示したように、車両1の右側から車両1に近づく利用者Uを認証して、車両1へのエントリーを許可する場合について説明するが、車両1の左側から車両1に利用者Uが近づく場合、及び車両1の後方から利用者Uが車両1に近づく場合も同様である。
利用者候補判定部22は、図8のフローチャートによる処理を繰り返し実行して、車両1に近づく利用者Uの候補を認識する。図8のステップS20で、利用者候補判定部22は、右サイド第1カメラ50aにより車両1の右側方の動画撮影を行う。続くステップS21で、利用者候補判定部22は、撮影した動画の各フレームの撮影画像について、一般的な顔の特徴を有する顔領域を探索する。
次のステップS22で、利用者候補判定部22は、撮影画像から顔領域が抽出されたときはステップS23に処理を進める。一方、撮影画像から顔領域が抽出されなかったときには、利用者候補判定部22は、ステップS40に処理を進め、ポーリング間隔Pwが経過するのを待ってステップS20に処理を進める。これにより、ポーリング間隔Pwが経過する毎に、ステップS20で右サイド第1カメラ50aによる動画撮影が行われて、ステップS21で各フレームの撮影画像について顔領域が探索される。
ステップS23で、利用者候補判定部22は、抽出された顔領域の特徴点の特徴量を算出し、続くステップS24で、利用者候補判定部22は、顔領域と利用者Uの登録画像の特徴量との一致率Cr1を算出する。次のステップS25で、利用者候補判定部22は、一致率Cr1が判定閾値JTh以上であるか否かを判断する。
そして、利用者候補判定部22は、一致率Cr1が判定閾値JTh以上であるときは図9のステップS26に処理を進め、一致率Cr1が判定閾値JTh未満であるときにはステップS40に処理を進める。
図9のステップS26~S31は、利用者判定部23による処理である。図9のステップS26で、利用者判定部23は、右サイド第2カメラ50bにより車両1の右側方の動画撮影を行う。続くステップS27で、利用者判定部23は、撮影した動画の各フレームの撮影画像について、一般的な顔の特徴を有する顔領域を探索する。
なお、上述した利用者候補判定部22による処理により、顔領域と登録画像との一致率Cr1が判定閾値JTh以上であると判断された利用者Uの候補の位置を認識し、認識した位置に相当する各フレームの撮影画像の領域を含む探索領域を対象として、顔領域を探索するようにしてもよい。
次のステップS28で、利用者判定部23は、撮影画像から顔領域が抽出されたときはステップS29に処理を進める。一方、撮影画像から顔領域が抽出されなかったときには、利用者判定部23は、ステップS33に処理を進め、この場合は、利用者Uの車両1へのエントリーは許可されない。
ステップS29で、利用者判定部23は、抽出された顔領域の特徴点の特徴量を算出し、続くステップS30で、利用者判定部23は、顔領域と利用者Uの登録画像の特徴量の一致率Cr2を算出する。次のステップS31で、利用者判定部23は、一致率Cr2が認証閾値RTh以上であるか否かを判断する。認証閾値RThは判定閾値JThよりも高い値に設定される。
そして、利用者判定部23は、一致率Cr2が認証閾値RTh以上であるときはステップS31に処理を進め、一致率Cr2が認証閾値RTh未満であるときにはステップS33に処理を進める。ステップS32で、エントリー許可部24は、利用者Uによる車両1へのエントリーを許可し、ドアロック機構63を作動させて車両1のドアを解錠する。これにより、利用者Uは、ドアの解錠操作を行うことなく車両1に乗車することができる。
[6.他の実施形態]
上記実施形態では、車両制御装置10は、判定閾値設定部29を備えて判定閾値JThを設定すると共に、ポーリング間隔設定部30を備えてポーリング間隔Pwを設定した。他の実施形態として、判定閾値設定部29とポーリング間隔設定部30を省略して、判定閾値JThとポーリング間隔Pwを一定値としてもよい。或いは、判定閾値設定部29とポーリング間隔設定部30とのうち、いずれか一方のみを備える構成としてもよい。
上記実施形態において、判定閾値設定部29は、上記設定条件A1~A3に応じた判定閾値設定マップにより判定閾値JThを設定した。他の実施形態として、上記設定条件A1~A3の全てではなく、少なくとも1つを用いて判定閾値JThを設定してもよく、他の設定条件を用いて判定閾値JThを設定してもよい。
上記実施形態において、ポーリング間隔設定部30は、上記設定条件B1~B4に応じたポーリング間隔設定マップによりポーリング間隔Pwを設定した。他の実施形態として、上記設定条件B1~B4の全てではなく、少なくとも1つを用いてポーリング間隔Pwを設定してもよく、他の設定条件を用いてポーリング間隔Pwを設定してもよい。
上記実施形態において、施解錠時刻認識部27は、車両1のドアが解錠された時刻(解錠時刻)と車両1のドアが施錠された時刻(施錠時刻)とを認識し、ポーリング間隔設定部30は、施錠時刻と解錠時刻とに応じて車両使用推定時間帯を設定した。他の実施形態として、施解錠時刻認識部27が、施錠時刻と解錠時刻のいずれか一方のみを認識し、ポーリング間隔設定部30が、施錠時刻と解錠時刻のいずれか一方のみに応じて車両使用推定時間帯を設定するようにしてもよい。
なお、図2は、本願発明の理解を容易にするために、車両制御装置10の構成を、主な処理内容により区分して示した概略図であり、車両制御装置10を他の区分によって構成してもよい。また、各構成要素の処理は、1つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図4、図6、図8、図9に示した各構成要素による処理は、1つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
上記実施形態では、本発明の車両制御装置を、車両1に備えられた車両制御装置10のCPU20により車両制御用プログラムを実行することによって構成し、CPU20により車両制御方法を実行した。他の実施形態として、車両制御装置を、車両1との間で通信を行うサーバーに備えられたコンピュータにより車両制御用プログラムを実行することによってサーバー上で構成し、コンピュータにより車両制御方法を実行するようにしてもよい。この場合は、車両1からサーバーに送信される車両1の周囲の撮影画像に基づいて、車両1に接近する利用者Uが認証されて、車両1への利用者Uのエントリーが許可される。
[7.上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成の具体例である。
(第1項)車両のスマートエントリーの制御を実行する車両制御装置であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、を備える車両制御装置。
第1項の車両制御装置によれば、利用者候補判定部によって、第1解像度で撮影された第1周囲画像に利用者の顔画像の候補が含まれていると判定されたときに、利用者判定部によって、第1解像度よりも解像度が高く消費電力が多い第2解像度により撮影された第2周囲画像に、利用者の顔画像が含まれているか否かが判定される。これにより、常時第2解像度で車両の周囲を撮影して、車両に接近した利用者を判定する場合よりも、車両の周囲を撮影する際の消費電力を低減することができる。また、最終的には第2解像度により撮影された第2周辺画像により利用者の顔画像を判定するため、利用者の認証精度を維持することができる。
(第2項)前記利用者候補判定部は、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定し、所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部を備える第1項に記載の車両制御装置。
第2項の車両制御装置によれば、閾値設定条件に応じて判定閾値を設定することにより、第1カメラによる撮影を行う利用者候補判定部の処理から、第2カメラによる撮影を行う利用者判定部の処理への切り替えのタイミングを、より適切に設定することができる。
(第3項)前記車両が駐車している地点を認識する駐車地点認識部を備え、前記判定閾値設定部は、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識部により前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識部により前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する第2項に記載の車両制御装置。
第3項の車両制御装置によれば、車両が自宅外に駐車していて、利用者が帰宅等のために車両を直近に使用する可能性が高いと想定される場合の第2判定閾値を、車両が自宅に駐車していて、利用者が直近に車両を使用する可能性が低いと想定される場合の第1判定閾値よりも低く設定される。これにより、車両が自宅外に駐車している状態で、利用者が車両に近づいたときに、利用者候補判定部による処理から利用者判定部による処理に切り替わるタイミングを早めて、車両への速やかなエントリーを実現することができる。また、車両が自宅に駐車しているときに、利用者候補判定部による処理から利用者判定部による処理に頻繁に切替わって、第2カメラによる消費電力が増加することを抑制することができる。
(第4項)前記利用者候補判定部は、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、前記判定閾値設定部は、前記閾値設定条件として、前記利用者候補判定部により、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する第2項又は第3項に記載の車両制御装置。
第4項の車両制御装置によれば、車両の周囲に多数の歩行者が存在し、利用者の顔の候補画像の誤認識が生じ易い状況である場合に、判定閾値を高く設定してかかる誤認識が生じることを抑制することができる。また、利用者の顔の候補画像の誤認識により、利用者候補判定部による処理から利用者判定部による処理への切り替えが頻繁に行われて、第2カメラによる消費電力が増加することを抑制することができる。
(第5項)前記車両が駐車している地点の天候を認識する天候認識部を備え、前記判定閾値設定部は、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識部により前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識部により前記車両が駐車している地点が悪天候である認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する第2項から第4項のうちいずれか1項に記載の車両制御装置。
第5項の車両制御装置によれば、悪天候である場合に、利用者候補判定部による処理から利用者判定部による処理に切り替わるタイミングを早めて、利用者に対する車両へのエントリーを速やかに許可することができる。
(第6項)車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定する利用者候補判定ステップと、前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、を含む車両制御方法。
第6項の車両制御方法をコンピュータで実行することにより、上記第1項の車両制御装置により実行される処理と同様の効果を得ることができる。
(第7項)車両のスマートエントリーの制御を実行するために、コンピュータを、第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定する利用者候補判定部と、前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、して機能させる車両制御用プログラム。
第7項の車両制御用プログラムを、コンピュータにより実行することによって、上記第1項の車両制御装置の構成を実現することができる。
1…車両、10…車両制御装置、20…CPU、21…利用者登録部、22…利用者候補判定部、23…利用者判定部、24…エントリー許可部、25…駐車地点認識部、26…天候認識部、27…施解錠時刻認識部、28…スケジュール認識部、29…判定閾値設定部、30…ポーリング間隔設定部、40…メモリ、41…第1周囲画像、42…第2周囲画像、43…顔特徴量DB、45…制御用プログラム、50…右サイドカメラ、50a…右サイド第1カメラ、50b…右サイド第2カメラ、51…左サイドカメラ、51a…左サイド第1カメラ、51b…左サイド第2カメラ、52…リアカメラ、52a…リア第1カメラ、52b…リア第2カメラ、53…車室カメラ、60…通信ユニット、61…ナビゲーション装置、62…雨滴センサ、63…ドアロック機構、70…バッテリ、U…利用者。

Claims (9)

  1. 車両のスマートエントリーの制御を実行する車両制御装置であって、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、
    前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、
    前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、
    前記車両が駐車している地点を認識する駐車地点認識部と、を備え、
    前記判定閾値設定部は、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識部により前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識部により前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する
    車両制御装置。
  2. 車両のスマートエントリーの制御を実行する車両制御装置であって、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、
    前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、
    前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、を備え、
    前記利用者候補判定部は、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、
    前記判定閾値設定部は、前記閾値設定条件として、前記利用者候補判定部により、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する
    車両制御装置。
  3. 車両のスマートエントリーの制御を実行する車両制御装置であって、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、
    前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、
    前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、
    前記車両が駐車している地点の天候を認識する天候認識部と、を備え、
    前記判定閾値設定部は、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識部により前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識部により前記車両が駐車している地点が悪天候であると認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する
    車両制御装置。
  4. 車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定ステップと、
    前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、
    前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定ステップと、
    前記車両が駐車している地点を認識する駐車地点認識ステップと、を含み、
    前記判定閾値設定ステップは、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識ステップにより前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識ステップにより前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する
    車両制御方法。
  5. 車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定ステップと、
    前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、
    前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定ステップと、を含み、
    前記利用者候補判定ステップは、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、
    前記判定閾値設定ステップは、前記閾値設定条件として、前記利用者候補判定ステップにより、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定ステップにより、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定ステップにより、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する
    車両制御方法。
  6. 車両のスマートエントリーを実行するために、コンピュータにより実行される車両制御方法であって、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定ステップと、
    前記利用者候補判定ステップにより、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定ステップと、
    前記利用者判定ステップにより、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可ステップと、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定ステップと、
    前記車両が駐車している地点の天候を認識する天候認識ステップと、を含み、
    前記判定閾値設定ステップは、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識ステップにより前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識ステップにより前記車両が駐車している地点が悪天候であると認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する
    車両制御方法。
  7. 車両のスマートエントリーの制御を実行するために、コンピュータを、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、
    前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、
    前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、
    前記車両が駐車している地点を認識する駐車地点認識部と、して機能させ、
    前記判定閾値設定部は、前記閾値設定条件として前記車両が前記利用者の自宅に駐車しているか否かを使用し、前記駐車地点認識部により前記車両が前記利用者の自宅に駐車していると認識されているときは、前記判定閾値を第1判定閾値に設定し、前記駐車地点認識部により前記車両が前記利用者の自宅以外に駐車していると認識されているときには、前記判定閾値を前記第1判定閾値よりも低い第2判定閾値に設定する
    車両制御用プログラム。
  8. 車両のスマートエントリーの制御を実行するために、コンピュータを、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、
    前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、
    前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、して機能させ、
    前記利用者候補判定部は、前記第1周囲画像から顔の特徴を有する前記画像部分を抽出して、前記画像部分と前記登録画像との一致率を算出し、
    前記判定閾値設定部は、前記閾値設定条件として、前記利用者候補判定部により、所定時間内に前記第1周囲画像から抽出された前記画像部分の数が、所定数以上であるか否かを使用し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数以上であるときは、前記判定閾値を第3判定閾値に設定し、前記利用者候補判定部により、前記所定時間内に前記第1周囲画像から抽出された前記画像部分の数が前記所定数未満であるときには、前記判定閾値を前記第3判定閾値よりも低い第4判定閾値に設定する
    車両制御用プログラム。
  9. 車両のスマートエントリーの制御を実行するために、コンピュータを、
    第1解像度での撮影と、前記第1解像度よりも高い第2解像度での撮影との切り替えが可能であって、前記第2解像度での撮影時の消費電力が前記第1解像度での撮影時の消費電力よりも多い解像度切替カメラにより、前記第1解像度で前記車両の周囲を撮影して、前記第1解像度で撮影された第1周囲画像に、前記車両の利用者の顔画像の候補が含まれているか否かを判定し、前記利用者の顔の登録画像と前記第1周囲画像に含まれる画像部分との一致率が、所定の判定閾値以上であるときに、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定する利用者候補判定部と、
    前記利用者候補判定部により、前記第1周囲画像に前記利用者の顔画像の候補が含まれていると判定された場合に、前記解像度切替カメラにより前記第2解像度で前記車両の周囲を撮影して、前記第2解像度で撮影された第2周囲画像に、前記利用者の顔画像が含まれているか否かを判定する利用者判定部と、
    前記利用者判定部により、前記第2周囲画像に前記利用者の顔画像が含まれていると認識されたときに、前記車両への前記利用者のエントリーを許可するエントリー許可部と、
    所定の閾値設定条件に応じて、前記判定閾値を設定する判定閾値設定部と、
    前記車両が駐車している地点の天候を認識する天候認識部と、して機能させ、
    前記判定閾値設定部は、前記閾値設定条件として、前記車両が駐車している地点が悪天候であるか否かを使用し、前記天候認識部により前記車両が駐車している地点が悪天候でないと認識されているときは、前記判定閾値を第5判定閾値に設定し、前記天候認識部により前記車両が駐車している地点が悪天候であると認識されているときには、前記判定閾値を前記第5判定閾値よりも低い第6判定閾値に設定する
    車両制御用プログラム。
JP2020021257A 2020-02-12 2020-02-12 車両制御装置、車両制御方法、及び車両制御用プログラム Active JP7427463B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020021257A JP7427463B2 (ja) 2020-02-12 2020-02-12 車両制御装置、車両制御方法、及び車両制御用プログラム
US17/166,027 US11645847B2 (en) 2020-02-12 2021-02-03 Vehicle control system, vehicle control method, and recording medium in which vehicle control program is recorded
CN202110177867.4A CN113246910B (zh) 2020-02-12 2021-02-09 车辆控制装置、方法以及记录有车辆控制用程序的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021257A JP7427463B2 (ja) 2020-02-12 2020-02-12 車両制御装置、車両制御方法、及び車両制御用プログラム

Publications (2)

Publication Number Publication Date
JP2021127574A JP2021127574A (ja) 2021-09-02
JP7427463B2 true JP7427463B2 (ja) 2024-02-05

Family

ID=77178395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021257A Active JP7427463B2 (ja) 2020-02-12 2020-02-12 車両制御装置、車両制御方法、及び車両制御用プログラム

Country Status (3)

Country Link
US (1) US11645847B2 (ja)
JP (1) JP7427463B2 (ja)
CN (1) CN113246910B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006306191A (ja) 2005-04-27 2006-11-09 Denso Corp 車両用個人認証システム
JP2011227654A (ja) 2010-04-19 2011-11-10 Panasonic Corp 照合装置
JP2018160799A (ja) 2017-03-23 2018-10-11 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御方法、プログラム、及び、電子機器システム
WO2019003826A1 (ja) 2017-06-27 2019-01-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、車両利用システム、および車両監視システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003138817A (ja) 2001-10-31 2003-05-14 Denso Corp 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム
CN102332086B (zh) 2011-06-15 2013-04-03 湖南领创智能科技有限公司 一种基于双阈值局部二进制模式的人脸识别方法
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
US11113938B2 (en) 2016-12-09 2021-09-07 Amazon Technologies, Inc. Audio/video recording and communication devices with multiple cameras
CN110088761B (zh) 2016-12-20 2023-11-14 三菱电机株式会社 图像认证装置、图像认证方法及汽车
US20190227539A1 (en) * 2018-01-25 2019-07-25 Ford Global Technologies, Llc Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning
TWI641516B (zh) 2018-03-06 2018-11-21 國立交通大學 車道線偵測方法
KR102540920B1 (ko) * 2018-05-04 2023-06-07 현대자동차주식회사 차량 단말 및 그의 얼굴 인증 방법
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
CN108646924A (zh) 2018-06-04 2018-10-12 丽水市莲都区君正模具厂 一种手机游戏用防滑型手指套
CN110001578A (zh) 2019-03-04 2019-07-12 浙江吉利控股集团有限公司 基于人脸识别的车辆监控方法、装置及控制器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006306191A (ja) 2005-04-27 2006-11-09 Denso Corp 車両用個人認証システム
JP2011227654A (ja) 2010-04-19 2011-11-10 Panasonic Corp 照合装置
JP2018160799A (ja) 2017-03-23 2018-10-11 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御方法、プログラム、及び、電子機器システム
WO2019003826A1 (ja) 2017-06-27 2019-01-03 ソニーセミコンダクタソリューションズ株式会社 撮像装置、車両利用システム、および車両監視システム

Also Published As

Publication number Publication date
US11645847B2 (en) 2023-05-09
US20210248389A1 (en) 2021-08-12
CN113246910B (zh) 2023-11-07
CN113246910A (zh) 2021-08-13
JP2021127574A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US11383676B2 (en) Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
JP7145887B2 (ja) 車両及び車両用ドアの解錠制御方法、装置並びに車両用ドアの解錠システム
EP3280621B1 (en) Door access system for a vehicle
US9576189B2 (en) Method and apparatus for controlling vehicle using motion recognition with face recognition
CN110297536B (zh) 一种控制方法及电子设备
CN106394491A (zh) 用于无钥匙进入启动的系统及轮询方法
JP2017001615A (ja) 認証装置、認証システムおよび認証方法
US20200193005A1 (en) Authentication system for vehicle
EP3023943B1 (en) Controller, control method, and computer-readable recording medium
JP2006161545A (ja) スマートエントリシステム用車載装置
CN113516034B (zh) 一种车辆无钥匙进入系统及方法
JP7358263B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7427463B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
KR101947040B1 (ko) 테일 게이트 작동 시스템 및 그 방법
JP7181331B2 (ja) 車両制御装置、車両制御方法、及びプログラム
JP7314738B2 (ja) 電子キー、制御装置、電子キーシステム、認証方法、及びプログラム
JP2010003010A (ja) 顔認証装置および顔認証方法
US11713021B2 (en) Vehicle control device and vehicle control method
WO2022224332A1 (ja) 情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体
US11390249B2 (en) Vehicle vision system
JP7445207B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20120046582A (ko) 차량 내 스마트키 인증 시스템 및 그 방법
JP4887996B2 (ja) 車両盗難防止システム
KR20230121399A (ko) 차량 및 차량의 제어방법
JP2022133769A (ja) 車両制御装置、及び車両制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240124

R150 Certificate of patent or registration of utility model

Ref document number: 7427463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150