JP7410796B2 - 車両制御システム、及び車両制御方法 - Google Patents

車両制御システム、及び車両制御方法 Download PDF

Info

Publication number
JP7410796B2
JP7410796B2 JP2020092174A JP2020092174A JP7410796B2 JP 7410796 B2 JP7410796 B2 JP 7410796B2 JP 2020092174 A JP2020092174 A JP 2020092174A JP 2020092174 A JP2020092174 A JP 2020092174A JP 7410796 B2 JP7410796 B2 JP 7410796B2
Authority
JP
Japan
Prior art keywords
vehicle
person
door
outside
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020092174A
Other languages
English (en)
Other versions
JP2021188295A (ja
Inventor
亮 茂呂澤
海嵩 劉
章 中島
顕至 大熊
弘明 丸山
祥和 松尾
嵩士 東
文彰 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020092174A priority Critical patent/JP7410796B2/ja
Priority to CN202110533317.1A priority patent/CN113799730A/zh
Priority to US17/329,495 priority patent/US11414052B2/en
Publication of JP2021188295A publication Critical patent/JP2021188295A/ja
Application granted granted Critical
Publication of JP7410796B2 publication Critical patent/JP7410796B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1001—Alarm systems associated with another car fitting or mechanism, e.g. door lock or knob, pedals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2054—Means to switch the anti-theft system on or off by foot gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/24—Means to switch the anti-theft system on or off using electronic identifiers containing a code not memorised by the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R2025/1013—Alarm systems characterised by the type of warning signal, e.g. visual, audible
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras

Description

本発明は、車載装備の動作制御に関し、特に車両ドアの開閉に係る動作を制御する車両制御システムおよび車両制御方法に関する。
従来、画像認証を用いた車両のエントリーシステムが提案されている（例えば、特許文献１参照）。上記エントリーシステムは、電波、超音波、赤外線、或いは車両の周辺画像から、車両に接近した人を検出する周辺監視手段を備え、車両に接近した人が検出された場合に、人を撮影して虹彩による本人確認を実行する。そして、上記エントリーシステムは、本人であることが確認された場合にドアを解錠するようにしている。
上記従来のエントリーシステムによれば、虹彩画像を予め登録しておいた利用者は、車両に近づくだけでドアを解錠することができるので、車両に乗車する際の利用者の負担を軽減することができる。一方、ドア解錠等のドア開閉動作に係る自動動作が望まれるシーンとしては、登録した利用者本人の乗車のみならず、例えば当該利用者がその車両を用いて他の人物を迎えに行くような場面において、当該他の人物が乗車する場合が考えられる。
この場合、上記他の人物の接近に伴って車両ドアが自動解錠されるようにする手法として、車両に接近した人物が出迎え対象である人物であるか否かを判断するための情報を、予め車両に登録しておくことが考えられる。しかしながら、車両利用に伴って乗車の可能性のある人物をいちいち登録するのでは、利用に伴う準備作業が煩雑となり不便である。
特開２００３－１３８８１７号公報
本発明の目的は、車両のドア開閉に係る動作を制御する車両制御において、車両のセキュリティを確保しつつ、登録された車両利用者以外の人物に対してもスムーズな乗車を行えるようにすることである。
本発明の一の態様は、車両の外部環境の画像である車外画像を取得する車外画像取得部と、前記車両の車室内の画像である車内画像を取得する車内画像取得部と、前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物の動作をそれぞれ認識する人物認識部と、前記車両のドアの状態を制御するドア制御部と、を備え、前記ドア制御部は、前記人物認識部における認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記接近する車外人物に対し予め定められた所定の動作を行っていると判断されるときに、前記ドアの開動作を実行する、車両制御システムである。
本発明の他の態様によると、前記ドア制御部は、前記車内人物と前記接近する車外人物とが、それぞれ、予め定められた所定の動作のいずれかを、互いを対象人物として行っている場合に、前記ドアの開動作を実行する。
本発明の他の態様によると、前記所定の動作は、顔または視線を対象人物に対して所定時間以上継続して向けていることである。
本発明の他の態様によると、前記所定の動作は、対象人物に向けて、所定の表情が顔に形成されること又は所定のジェスチャーが行われることである。
本発明の他の態様によると、前記車内人物が前記車両の利用者として予め登録された登録ユーザであるか否かを判断するユーザ特定部を備え、前記ドア制御部は、前記接近する車外人物を対象人物として前記所定の動作を行っている前記車内人物が前記登録ユーザでないときは、前記車両の前記登録ユーザに、前記ドアの開動作を実行して良いか否かを問い合わせる所定の通知を行い、当該登録ユーザが前記所定の通知に対し肯定的な指示を返したときに、前記ドアの開動作を実行する。
本発明の他の態様によると、前記車内人物が前記車両の利用者として予め登録された登録ユーザであるか否かを判断するユーザ特定部を備え、前記ドア制御部は、前記人物認識部が複数の前記接近する車外人物を認識したときは、前記登録ユーザに対し、前記認識された複数の前記接近する車外人物の顔画像を含む通知を行い、当該登録ユーザが当該通知に対し肯定的な指示を返したときに、前記ドアの開動作を実行する。
本発明の他の態様によると、前記ドア制御部は、前記認識された複数の前記接近する車外人物のうち、前記車内人物の前記所定の動作の対象人物については、当該対象人物の顔画像を前記通知に含めない。
本発明の他の態様によると、前記開動作は、前記ドアを開ける自動動作、又は前記ドアを前記車両の外部から開けられる状態に設定する動作である。
本発明の他の態様は、車両の制御を行うコンピュータが実行する車両制御方法であって、前記車両の外部環境の画像である車外画像を取得するステップと、前記車両の車室内の画像である車内画像を取得するステップと、前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物の動作をそれぞれ認識するステップと、前記車両のドアの状態を制御するステップと、を備え、前記制御するステップでは、前記認識するステップにおける認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記接近する車外人物に対し予め定められた所定の動作を行っていると判断されるときに、前記ドアの開動作を実行する、車両制御方法である。
本発明によれば、車両のドア開閉に係る動作を制御する車両制御において、車両のセキュリティを確保しつつ、登録された車両利用者以外の人物に対してもスムーズな乗車を行えるようにすることができる。
本発明の一実施形態に係る車両制御システムを備える車両が利用されるシーンの一例を示す図である。 本発明の一実施形態に係る車両制御システムの構成を示す図である。 図２に示す車両制御システムの動作の手順の一例を示すフロー図である。
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の一実施形態に係る車両制御システムが利用されるシーンの一例を示す図である。本実施形態に係る車両制御システム１００は、例えば、車両１０２に搭載された複数の電子制御装置（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成され、車両１０２の座席ドアの開動作を制御する。
車両制御システム１００は、通信ネットワーク１０４を介して、例えば車両１０２の外部に設けられた利用管理サーバ１０６と通信可能に接続されている。通信ネットワーク１０４は、例えばインターネット等のオープンネットワーク、又はプライベートネットワークであるものとすることができる。利用管理サーバ１０６は、車両１０２についての予め登録された利用者（登録ユーザ）の情報を保持する。
車両１０２は、車室内を撮影する車内カメラである前席カメラ１１０及び後席カメラ１１２を備える。前席カメラ１１０は、例えばルームミラーに設けられ、車室内のうち車両１０２の前半分のエリアを撮影する。後席カメラ１１２は、例えば車室内のルーフ内面に設けられ、車室内のうち後ろ半分のエリアを撮影する。
また、車両１０２は、車外の周囲環境を撮影する車外カメラであるフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０を備える。フロントカメラ１１４は、例えばフロントバンパーに設けられ、周囲環境のうち車両１０２の前方エリアを撮影する。右サイドカメラ１１６および左サイドカメラ１１８は、例えば車両１０２の右側ピラーおよび左側ピラーに設けられ、それぞれ、周囲環境のうちの車両１０２の右側エリアおよび左側エリアを撮影する。また、リアカメラ１２０は、例えばリアバンパーまたはテールゲート上部に設けられ、周囲環境のうち車両１０２の後方エリアを撮影する。
車両１０２は、例えば、当該車両１０２の利用者として利用管理サーバ１０６に予め登録された複数の登録ユーザのそれぞれにより利用され得る。車両１０２は、例えば自家用車やシェアカー等であり得る。
車両１０２は、図１に示す例では、前部座席ドアである運転席ドア１２２及び助手席ドア１２４と、後部座席ドアである後部右ドア１２６および後部左ドア１２８と、の４つのドアを備える。車両１０２の車両制御システム１００は、車両１０２の車室内にいる人物（車内人物）の行動と、車両１０２の外部にいる人物（車外人物）の行動と、に基づいて、車両１０２の上記４つのドアの開動作を制御する。
ここで、ドアの開動作とは、車外人物が車両１０２に乗り込めるようにドアの状態を設定する動作をいい、単なるドアロックの解錠のほか、ドアに設けられたアクチュエータにより当該ドアを自動で開ける動作が含まれ得る。また、例えばドア開閉のための取っ手（ドアハンドル又はドアノブ）がドアボディ内に収納されるタイプのドアでは、上記ドアロックの解錠には、アクチュエータにより上記ドアハンドルをドアボディから出して、車外人物によるドアの開操作を可能にすることが含まれ得る。
図１に示すシーンでは、例えば、車両１０２の現在の利用者（現在ユーザ）であって登録ユーザである人物１３０が、非登録ユーザである人物１３２と共に車両１０２に乗車して、駅１０８に到着する知人を出迎えに来ている。非登録ユーザである人物１３２は、例えば、登録ユーザである人物１３０の子供もしくは家族の一員、または友人もしくは知人等であり得る。車両１０２の外部には、駅１０８から出てきた人物１４０、１４２、１４４、１４６、１４８、１５０が、それぞれ所望の方向に移動している。
車外の人物１４６、１５０は、車両１０２の人物１３０、１３２の出迎えの対象者であり、人物１３０、１３２の車両１０２を見つけて当該車両１０２へ向かって移動している。
上記シーンにおいて、車両制御システム１００は、車外カメラであるフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０により、車両１０２の外部環境の画像である車外画像を取得する。また、車両制御システム１００は、車内カメラである前席カメラ１１０及び後席カメラ１１２により、車両１０２の車室内の画像である車内画像を取得する。ここで、車外画像および車内画像は、動画（映像）として取得されるものとしてもよいし、所定の時間間隔で繰り返し取得される静止画でもよい。
車両制御システム１００は、上記取得した車外画像および車内画像に基づいて、車外人物および車内人物の動作をそれぞれ認識する。そして、車両制御システム１００は、車両１０２に接近する車外人物（接近人物）が認識（または検知）された場合において、車内人物が上記接近する車外人物に対し予め定められた所定の動作を行っていると判断されるときに、車両１０２のドアの開動作を実行する。
ここで、上記所定の動作は、人を探す場合の対象人物や出会った知人等（以下、単に知人等ともいう）に対して、人が行う特徴的な動作（例えば、喜びや嬉しさを表す動作、あるいは自身の存在をアピールする動作）であり得る。そのような所定の動作は、例えば、対象とする人物に対する注視、すなわち、対象人物に対して所定時間以上継続して視線及び又は顔を向ける動作であり得る。あるいは、所定の動作は、対象人物に向けて顔に所定の表情が形成されること、及び又は、対象人物に向けて所定のジェスチャーが行われることであり得る。上記所定の表情は、笑顔、微笑、気づきの表情（例えば、“あっ！”と思ったときに少し口を開ける表情）、ウィンク、短く連続する瞬きなど、知っている人を見たときに人が行う一般的な又は登録ユーザ個々人に固有の、任意の表情とすることができる。
また、上記ジェスチャーは、片手又は両手を上げること、片手又は両手を振ること、会釈すること、開いた手をかざすこと、ドアの窓をコツコツ叩くことなど、人への挨拶や人の気を引くためなどの任意の身振り又は手ぶりであり得る。さらに、上記所定の動作には、知人等を発見したときに人が発する音声、例えば「おーい」、「＊＊さーん」（＊＊は、人の名前）、「あ、居た、居た。」等の音声の発出を含むことができる。なお、上記所定の動作の対象人物の特定は、当該所定の動作を行っている人物が視線又は顔を向けている方向に存在する人物を検知することで行われ得る。
図１に示すシーンでは、車両１０２の運転席に座った人物１３０が車両１０２に接近する車外の人物１５０を対象人物として視線（図示点線矢印）を向けていることから、車両制御システム１００は、これを検知して、例えば、人物１５０に最も近い後部右ドア１２６の開動作を行う。
一般に、車両に乗車中の人物は、車両外に知っている人を発見した場合には、笑顔になる、手を振る、会釈する等の所定の行動を行う傾向にある。車両制御システム１００は、上記のように、車両１０２に接近する車外人物を検知した際には、車両１０２の車内人物が上記接近する車外人物に対して所定の動作を行うこと条件としてドアを開動作させるので、車室内にいる人物の知人等である可能性の高い車外人物のスムーズな乗車をサポートすることができる。また、上記ドアの開動作は、車内人物が存在する場合に行われるので、車内人物の知人等でない車外人物に対してドア開動作が行われた場合には、車内人物の存在又は車内人物による修正操作（例えば上記ドア開動作の無効化のための操作）により、当該知人でない人物の乗車を阻止することができるので、車両についてのセキュリティも確保され得る。
上記ドア開動作が、より確実に、車室内にいる人物の知人等である車外人物に対して行われるように、車両制御システム１００は、車両１０２に接近する車外人物と車両１０２の車内人物とが、それぞれ、上述したような予め定められた所定の動作のいずれかを、互いを対象人物として行っている場合に、ドアの開動作を実行するものとしてもよい。
また、上記ドアの開動作が、車室内にいる登録ユーザである人物の管理の下に行われるように、車両制御システム１００は、車両１０２に接近する車外の人物に対し上記所定の動作を行っている車内の人物が登録ユーザでないときは、車両１０２の登録ユーザである人物に所定の通知を行い、当該登録ユーザである人物が上記通知に対し肯定的な指示を返したときに、ドアの開動作を実行するものとすることができる。上記通知は、例えば、登録ユーザでない車内の人物が所定の動作を行った対象である上記車外の人物の顔画像を含むことができる。
図１に示すシーンでは、車両１０２の助手席に座った非登録ユーザである人物１３２が車両１０２に接近する車外の人物１４６を対象人物として視線（図示破線矢印）を向けていることから、車両制御システム１００は、これを検知する。そして、車両制御システム１００は、人物１３２が非登録ユーザであることから、登録ユーザである人物１３０に対し、所定の通知を行う。そして、人物１３０が上記通知に対して肯定的な指示を返したときは、車両制御システム１００は、例えば、人物１４６に最も近い後部左ドア１２８の開動作を行う。ここで、上記通知は、人物１４６の顔画像を含むものとすることができる。
また、上記通知は、登録ユーザである人物１３０が車両１０２に乗車しているときは車両１０２が備える表示装置（図１には不図示）により行うものとすることができる。あるいは、上記通知は、図１に一点鎖線矢印で示すように登録ユーザである人物１３０が車両１０２から離れているときは、当該登録ユーザである人物１３０の携帯端末１６０により行うものとすることができる。
また、車両制御システム１００は、車両１０２に接近する複数の車外人物を検知したときは、登録ユーザである車内人物に対し、上記複数の車外人物の顔画像を含む通知を行う。例えば、図１に示すシーンでは、人物１４６に加えて人物１４８も車両１０２へ接近しているときは、車両制御システム１００は、これらの接近する人物を検知し、人物１４６、１４８の顔画像を含む所定の通知を、車内の登録ユーザである人物１３０に対して行う。
そして、車両制御システム１００は、登録ユーザである車内の人物１３０が、上記通知に対し肯定的な指示を返したときに、ドアの開動作を実行する。当該通知は、上記と同様に、車載の表示装置又は人物１３０の携帯端末１６０により行うものとすることができる。これにより、登録ユーザである人物１３０は、接近する複数の人物が知っている人物であるか否かの判断を確実に行ってドア開動作を許可することができ、車両１０２のセキュリティが向上する。
さらに、車両制御システム１００は、上記複数の人物１４６、１４８が接近する場合において、これらの人物の顔画像を含む上記通知を行うときは、例えば車内人物である人物１３２が上記所定の動作を行った対象人物である車外の人物１４６の顔画像は、当該通知に含めないものとすることができる。これにより、上記通知に含まれる顔画像の数が限定されるので、登録ユーザである人物１３０は、ドア開動作の実行許否をより迅速かつ的確に判断することができる。
次に、図２を参照して、車両制御システム１００の構成について説明する。車両制御システム１００は、本実施形態では、車載の電子制御装置（ＥＣＵ、Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である車両制御装置２０２と、画像取得装置２０４と、ユーザ管理装置２０６と、で構成されている。
車両制御装置２０２と、画像取得装置２０４と、ユーザ管理装置２０６と、は車載ネットワークバス２００を介して通信可能に接続されている。車載ネットワークバス２００には、さらに、ＢＣＭ（ボディコントロールモジュール）２０８と、ＴＣＵ（テレマティクスコントロールユニット）２１０と、ＵＩ（ユーザインタフェース）制御装置２１２が接続されている。
ＢＣＭ２０８は、ＣＰＵ等の処理装置（不図示）を備え、車両１０２の運転席ドア１２２、助手席ドア１２４、後部右ドア１２６、後部左ドア１２８に設けられたアクチュエータを制御して、これらのドアの開動作を制御する。
ＴＣＵ２１０は、近距離通信装置２１４と、遠距離通信装置２１６と、これらの通信装置の動作を制御する処理装置２１８と、を備える。処理装置２１８は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。近距離通信装置２１４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信規格に従って携帯端末１６０等と通信する無線通信装置である。また、遠距離通信装置２１６は、通信ネットワーク１０４を介して、例えば利用管理サーバ１０６や携帯端末１６０等と通信するための無線通信装置である。
ＵＩ制御装置２１２は、ＣＰＵ等の処理装置（不図示）を備え、車両１０２が備える車両制御装置２０２等の他の装置の指示により、車両１０２の車室内に設けられた表示装置２２０に画像を表示し、およびスピーカ２２４から音声を出力する。また、ＵＩ制御装置２１２は、マイク２２６から車室内の音声を取得すると共に、当該音声についての音声認識処理を行って、上記音声及び又は音声認識処理の結果を他の装置へ出力する。また、ＵＩ制御装置２１２は、表示装置２２０の表示スクリーン上に設けられたタッチパネル２２２を介して車両１０２の乗員から入力される指示及び又はデータを取得し、取得した指示及び又はデータを他の装置へ出力する。
車両制御システム１００を構成する画像取得装置２０４は、ＣＰＵ等のプロセッサを備えたコンピュータである処理装置２３０を備え、機能要素又は機能ユニットとして、車外画像取得部２３２と、車内画像取得部２３４と、を備える。これらの機能要素は、例えば、コンピュータである処理装置２３０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２３０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
車外画像取得部２３２は、フロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０を制御し、これらの車外カメラから、車両１０２の外部環境の画像である車外画像を取得する。また、車内画像取得部２３４は、前席カメラ１１０および後席カメラ１１２を制御し、これらの車内カメラから、車両１０２の車室内の画像である車内画像を取得する。車外画像および車内画像は、それぞれ所定の時間間隔で繰り返し撮像される静止画像または所定のフレームレートの動画像であるものとすることができる。画像取得装置２０４は、上記取得した車外画像および車内画像を、車載ネットワークバス２００を介して他の装置へ出力する。
車両制御システム１００を構成するユーザ管理装置２０６は、車内人物が車両１０２の利用者として予め登録された登録ユーザであるか否かを判断する。
具体的には、ユーザ管理装置２０６は、処理装置２４０と記憶装置２４２とを備える。記憶装置２４２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置２４０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置２４０は、機能要素又は機能ユニットとして、ユーザ特定部２４４と、ユーザ情報取得部２４６と、を備える。
処理装置２４０が備えるこれらの機能要素は、例えば、コンピュータである処理装置２４０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２４０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
ユーザ特定部２４４は、画像取得装置２０４から車内画像を受信し、当該受信した車内画像に基づき、車両１０２の中にいる車内人物のそれぞれについての顔画像認証を行って、車内人物が登録ユーザであるか否かを特定する。具体的には、ユーザ特定部２４４は、利用管理サーバ１０６に既に登録されている各登録ユーザの顔画像を利用管理サーバ１０６から取得して上記車内画像中の車内人物の顔画像と比較することにより、車内人物のそれぞれが登録ユーザであるか否かを判断する。
ユーザ特定部２４４は、例えば、車内人物のそれぞれの顔画像と、それぞれの車内人物が登録ユーザであるか非登録ユーザであるかを示す識別情報と、で構成される車内人物情報２４８を、記憶装置２４２に記憶する。上記識別情報には、例えば、それぞれの登録ユーザに予め付与されている識別ＩＤなどが含まれ得る。これにより、車両１０２の車内人物のうち、車内人物情報２４８において上記顔画像に対応付けて上記識別ＩＤを含む識別情報が記憶されている車内人物は、登録ユーザであるものと判断され得る。
ユーザ特定部２４４は、また、車両１０２の利用開始時において運転席に乗車している車内人物を、車両１０２の現在の利用者（現在ユーザ）として特定し、車内人物情報２４８において、現在ユーザの顔画像に対応付けられた上記識別情報に、当該顔画像の人物が現在ユーザであることを示す情報を付加する。
本実施形態では、ユーザ特定部２４４は、車両１０２の運転席に乗車した人物１３０を登録ユーザ且つ現在ユーザとして特定し、人物１３２を非登録ユーザとして特定する。そして、ユーザ特定部２４４は、人物１３０及び１３２についての車内人物情報２４８を記憶装置２４２に記憶する。
ユーザ情報取得部２４６は、ユーザ特定部２４４が記憶した車内人物情報２４８を参照し、車内人物のうち現在ユーザである登録ユーザの情報を利用管理サーバ１０６から取得して、ユーザ情報２４９として記憶装置２４２に記憶する。ユーザ情報２４９には、例えばその登録ユーザの携帯端末と通信するための通信アドレスが含まれ得る。本実施形態では、ユーザ情報取得部２４６は、登録ユーザ且つ現在ユーザである人物１３０の携帯端末１６０の通信アドレスを含むユーザ情報２４９を、記憶装置２４２に記憶する。
車両制御システム１００を構成する車両制御装置２０２は、画像取得装置２０４から受信する車外画像及び車内画像に基づき、ＢＣＭ２０８に指示して車両ドアの開動作を制御する。
具体的には、車両制御装置２０２は、処理装置２５０と記憶装置２５２とを備える。記憶装置２５２は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置２５０は、例えばＣＰＵ等のプロセッサを備えるコンピュータである。処理装置２５０は、機能要素又は機能ユニットとして、人物認識部２５４と、ドア制御部２５６と、を備える。
処理装置２５０が備えるこれらの機能要素は、例えば、コンピュータである処理装置２５０がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置２５０が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
人物認識部２５４は、画像取得装置２０４から受信される車外画像および車内画像に基づいて、車外人物および車内人物の動作をそれぞれ認識する。具体的には、人物認識部２５４は、車両１０２に接近する車外人物（以下、接近人物ともいう）を認識する。また、人物認識部２５４は、車内人物が、上記接近する車外人物に対し予め定められた所定の動作を行っているか否かを判断する。ここで、上記所定の動作は、上述したように、対象とする人物に対する注視、対象人物に対する所定の顔の表情、及び又は、対象人物に対する所定のジェスチャー等であり得る。また、人物認識部２５４は、車両１０２に接近する車外人物と、車内人物とが、それぞれ、上述した予め定められた所定の動作のいずれかを、互いを対象人物として行っているか否かを判断する。
ドア制御部２５６は、人物認識部２５４における認識結果に基づき、車両１０２に接近する車外人物が認識された場合において、車両１０２の車内人物が当該接近する車外人物に対し上述した予め定められた所定の動作を行っていると判断されるときに、車両１０２のドアの開動作を実行する。
例えば図１に示すシーンでは、人物認識部２５４は、車両１０２に接近する車外人物として人物１５０を検出すると共に、車内人物である人物１３０が車外の人物１５０を注視していることを認識する。そして、ドア制御部２５６は、人物認識部２５４における上記認識結果に基づき、ＢＣＭ２０８に指示して、例えば車内の人物１３０が注視する車外の人物１５０に最も近い空席のドア、すなわち後部右ドア１２６の、開動作を実行する。
あるいは、ドア制御部２５６は、車両１０２に接近する車外人物と車両１０２の車内人物とが、それぞれ、上述した所定の動作のいずれかを互いを対象人物として行っている場合に、車両１０２のドアの開動作を実行する。
また、ドア制御部２５６は、ユーザ管理装置２０６から車内人物情報２４８を参照し、車両１０２に接近する車外人物に対し上記所定の動作を行っている車内人物が登録ユーザでないときは、登録ユーザである人物（例えば現在ユーザ）に対し、車両１０２のドアを開動作させてよいか否かを問い合わせるための所定の通知を行う。そして、ドア制御部２５６は、当該登録ユーザである人物が上記所定の通知に対し肯定的な指示を返したときに、車両１０２のドアの開動作を実行する。上記所定の通知には、例えば、車内人物が行った上記所定の動作の対象人物である車外人物の顔画像を含ませるものとすることができる。
上記所定の通知は、上記登録ユーザである人物が車両１０２の中に居るときは表示装置２２０により行うものとすることができる。ドア制御部２５６は、ＵＩ制御装置２１２を介して、表示装置２２０により上記所定の通知を行い、上記登録ユーザである人物がタッチパネル２２２に入力する上記指示を取得するものとすることができる。あるいは、上記登録ユーザである人物が車両１０２の中にいないときは、上記所定の通知は、当該登録ユーザの携帯端末を介して行うものとすることができる。
例えば図１のシーンでは、人物認識部２５４は、車両１０２に接近する車外人物として人物１４６を検出すると共に、車内人物である人物１３２が車外の人物１４６を注視していることを認識する。また、ドア制御部２５６は、車内人物情報２４８に基づき、車外の人物１４６に所定の行動としての注視を行っている車内の人物１３２が非登録ユーザであるものと認識する。
また、ドア制御部２５６は、画像取得装置２０４から受信する車内画像と車内人物情報２４８から、登録ユーザである人物１３０が車内に居ることを検知し、ＵＩ制御装置２１２に指示して、登録ユーザである車内の人物１３０に対し、人物１４６の顔画像を含む上記所定の通知を表示装置２２０に表示する。そして、ドア制御部２５６は、人物１３０が上記通知に対しタッチパネル２２２に肯定的な指示を入力すると、ＢＣＭ２０８に指示して、例えば後部左ドア１２８を開動作させ得る。
あるいは、図１のシーンにおいて破線矢印で示すように、登録ユーザである人物１３０が車両１０２から外へ出ている場合には、ドア制御部２５６は、画像取得装置２０４から受信する車内画像と車内人物情報２４８から、登録ユーザである人物１３０が車内にいないことを検知する。そして、ドア制御部２５６は、ユーザ管理装置２０６からユーザ情報２４９を更に取得し、当該ユーザ情報に含まれる人物１３０の携帯端末１６０の情報を取得する。
これにより、ドア制御部２５６は、携帯端末１６０を介して、人物１３０に対し、車内の非登録ユーザである人物１３２が注視した車外の人物１４６の顔画像を含む上記所定の通知を行うことができる。そして、人物１３０が上記通知に対し携帯端末１６０を介して肯定的な指示を返信すると、ドア制御部２５６は、当該指示を受信し、ＢＣＭ２０８に指示して、例えば後部左ドア１２８を開動作させ得る。
ドア制御部２５６は、また、人物認識部２５４が車両１０２に接近する複数の車外人物を認識したときは、登録ユーザである人物（例えば現在ユーザ）に対し、上記認識された複数の車外人物の顔画像を含む通知を行う。そして、上記登録ユーザである人物が上記通知に対し肯定的な指示を返したときに、車両１０２のドアの開動作を実行する。上記通知及び指示は、上記登録ユーザである人物が車両１０２内にいるときは、表示装置２２０およびタッチパネル２２２を介して行われるものとすることができる。あるいは、上記通知及び指示は、上記登録ユーザである人物が車両１０２の中にいないときは、当該登録ユーザである人物の携帯端末を介して行われるものとすることができる。
例えば図１のシーンでは、人物１４６に加えて人物１４８も車両１０２の方向へ移動しているときは、人物認識部２５４は、車両１０２に接近する車外人物として人物１４６、１４８を認識する。これにより、ドア制御部２５６は、登録ユーザである車内の人物１３０に対し、表示装置２２０または携帯端末１６０を介して、上記認識された複数の車外の人物１４６、１４８の顔画像を含む通知を行う。そして、登録ユーザである人物１３０が、タッチパネル２２２又は携帯端末１６０を介して、上記通知に対し肯定的な指示を返したときに、車両１０２のドアの開動作を実行する。
ここで、人物認識部２５４が、上記のように車両１０２に接近する複数の車外人物を認識した場合において、当該認識した複数の接近する車外人物の一部に向けて車内人物が所定の動作を行っていることを認識したときは、ドア制御部２５６は、上記複数の接近する車外人物のうち、車内人物が行っている上記所定の動作の対象人物については、当該対象人物の顔画像を上記通知に含めないものとすることができる。例えば、図１に示すシーンでは、ドア制御部２５６は、車内の人物１３２が注視する車外の人物１４６の顔画像については、上記通知に含めないものとすることができる。
上記の構成を有する車両制御システム１００は、車両１０２に接近する車外の人物を検知し、当該車外の人物に対して車両１０２の車内の人物が視線や笑顔を向けるといった所定の動作を行っていることを検知したときに、車両１０２のドアの開動作を実行する。これにより、車両制御システム１００では、上記接近する車外人物が登録ユーザでない場合にも、車両１０２のセキュリティを確保しつつ、当該車外人物がスムーズな乗車を行えるようにすることができる。
次に、車両制御システム１００の動作について説明する。図３は、車両制御システム１００の処理の手順を示すフロー図である。この処理は、車両１０２が停車又は駐車されたとき、例えば車速が所定速度（例えば５ｋｍ／ｈ）未満となったときに開始する。車両制御システム１００を構成する各装置は、例えば、車速センサ（不図示）が接続されたＢＣＭ２０８を介して車両１０２の車速についての情報を得るものとすることができる。
なお、図３に示す処理と並行して、画像取得装置２０４は、それぞれ所定の時間間隔で、前席カメラ１１０および後席カメラ１１２により車内画像を取得し、並びにフロントカメラ１１４、右サイドカメラ１１６、左サイドカメラ１１８、及びリアカメラ１２０により車外画像を取得するものとする。また、図３に示す処理と並行して、ユーザ管理装置２０６は、例えば、車両１０２に対し利用の開始を示す所定の操作が行われたときから、車両１０２に対し利用の終了を示す所定の操作が行われるまでの期間において、車両１０２を乗り降りする人物を認識して、車内人物情報２４８およびユーザ情報２４９を記憶装置２４２に記憶するものとする。
ここで、上記利用の開始を示す所定の操作及び利用の終了を示す所定の操作は、それぞれ、例えば現在ユーザが行う車両１０２のイグニションキーのオン操作およびオフ操作であるものとすることができる。ユーザ管理装置２０６は、イグニションキーのオン操作およびオフ操作があったことを、例えばイグニションキーセンサ（不図示）が接続されたＢＣＭ２０８から取得するものとすることができる。
図３に示す処理を開始すると、車両制御システム１００を構成する車両制御装置２０２の人物認識部２５４は、画像取得装置２０４から取得される車外画像及び車内画像に基づき車外人物および車内人物の認識処理を開始し、車両１０２に接近する車外の人物（接近人物）を検知したか否かを判断する（Ｓ１００）。そして、接近人物を検知していないときは（Ｓ１００、ＮＯ）、人物認識部２５４は、ステップＳ１００に戻って接近人物を検知するのを待機する。
一方、接近人物を検知したときは（Ｓ１００、ＹＥＳ）、人物認識部２５４は、上記検知した接近人物に対する車両１０２の車内人物の行動を認識する（Ｓ１０２）。この行動の認識には、車内人物が上記検知した接近人物のいずれかに対して予め定められた所定の動作を行っているか否かの認識が含まれる。これに加え、人物認識部２５４は、上記接近人物に対し車内人物が所定の動作を行ったときは、当該接近人物も当該車内人物に対して予め定められた所定動作を行ったか否かの認識を行うものとすることができる。そして、人物認識部２５４は、上記接近する車外人物の検知結果と、上記車内人物の行動についての情報とを、車外人物及び車内人物についての認識結果としてドア制御部２５６へ送信する。
次に、ドア制御部２５６は、上記認識結果に基づき、上記検知された接近人物が一人であるか否かを判断する（Ｓ１０４）。接近する車外人物が一人である場合（Ｓ１０４，ＹＥＳ）、ドア制御部２５６は、上記認識結果に基づき、上記接近人物に対し車内人物が所定の動作（例えば、その接近人物に対し視線や笑顔を送る動作）を行ったか否かを判断する（Ｓ１０６）。そして、接近人物に対し車内人物が所定の動作を行ったときは（Ｓ１０６、ＹＥＳ）、ドア制御部２５６は、ユーザ管理装置２０６から車内人物情報２４８を取得して参照し、当該所定の動作を行った車内人物が登録ユーザであるか否かを判断する（Ｓ１０８）。
そして、上記所定の動作を行った車内人物が登録ユーザでないときは（Ｓ１０８、ＮＯ）、ドア制御部２５６は、車内人物情報２４８を参照し、車両１０２を利用している登録ユーザ（例えば上述の現在ユーザ）に対し、上記車内人物が所定の動作を行った接近人物の顔画像を含む所定の通知を行う（Ｓ１１０）。この通知は、車両１０２のドアの開動作を行って良いか否かを上記登録ユーザに問い合わせる通知であるものとすることができる。また、この通知は、車両１０２を利用している上記登録ユーザが車両１０２の中にいるときは表示装置２２０により、当該登録ユーザが車両１０２の中にいないときは、当該登録ユーザの携帯端末を介して、行うものとすることができる。
そして、ドア制御部２５６は、上記所定の通知を受け取った登録ユーザから当該通知に対する応答を受信し（Ｓ１１２）、当該応答が、上記通知に対する肯定的な指示（例えば、ドアの開動作を許容する旨の指示）であるか否かを判断する（Ｓ１１４）。ドア制御部２５６は、上記応答が上記通知に対して肯定的な指示を与えるものでないときは（Ｓ１１４、ＮＯ）、ステップＳ１２６に処理を戻す。
一方、上記応答が上記通知に対して肯定的な指示を与えるものであるときは（Ｓ１１４、ＹＥＳ）、ドア制御部２５６は、ＢＣＭ２０８に指示して車両１０２のいずれかのドアの開動作を実行する（Ｓ１１６）。この場合において、ドア制御部２５６は、上記認識結果に基づき、上記接近する車外人物も、上記所定の動作を行った車内人物に対して所定動作を行っているかを判断し、行っているときに、ドアの開動作を実行するものとすることができる。
ここで、開動作を実行するドアは、例えば、助手席ドア１２４、後部右ドア１２６、および後部左ドア１２８のうち、空席である座席のドアであって上記接近する車外人物に最も近いドアであるものとすることができる。次に、ドア制御部２５６は、車内画像に基づき、上記接近する車外人物が車両１０２に乗車してドアが閉じられたか否かを判断し（Ｓ１１８）、閉じられていないときは（Ｓ１１８、ＮＯ）、ステップＳ１１８に戻ってドアが閉じられるまで待機する。
一方、ドアが閉じられたときは（Ｓ１１８、ＹＥＳ）、ドア制御部２５６は、車両１０２が停車又は駐車を終えて発進したか否かを判断する（Ｓ１２６）。ドア制御部２５６は、例えば、車両１０２の車速が所定の速度（例えば、５ｋｍ／ｈ）以上となったときに、車両１０２が発進したものと判断することができる。上述したように、ドア制御部２５６は、例えばＢＣＭ２０８を介して車両１０２の車速についての情報を得るものとすることができる。そして、車両１０２が発進していないときは（Ｓ１２６、ＮＯ）、ドア制御部２５６は、ステップＳ１００に処理を戻す。一方、車両１０２が発進したときは（Ｓ１２６、ＹＥＳ）、ドア制御部２５６は、本処理を終了する。
また一方、ステップＳ１０８において、接近人物に対して所定の動作を行った車内人物が登録ユーザであるときは（Ｓ１０８、ＹＥＳ）、ドア制御部２５６は、ステップＳ１１６に処理を移して、車両１０２のドアの開動作を実行する。
また一方、ステップＳ１０６において、車内人物が接近人物に対し所定の動作を行っていないときは（Ｓ１０６、ＮＯ）、ドア制御部２５６は、ステップＳ１２６に処理を移す。
また一方、ステップＳ１０４において、検出された接近人物が複数であるときは（Ｓ１０４、ＮＯ）、ドア制御部２５６は、ステップＳ１０６と同様に、人物認識部２５４の認識結果に基づき、上記接近人物のいずれかを対象として車内人物が所定の動作を行ったか否かを判断する（Ｓ１２０）。
そして、接近人物のいずれかを対象人物として車内人物が所定の動作を行ったときは（Ｓ１２０、ＹＥＳ）、ドア制御部２５６は、車内人物情報２４８を参照し、車両１０２を利用している登録ユーザ（例えば上述の現在ユーザ）に対して、上記対象人物を除く他の接近人物の顔画像を含む所定の通知を行う（Ｓ１２２）。そして、ドア制御部２５６は、ステップＳ１１２へ処理を移す。
一方、接近人物のいずれかを対象人物として車内人物が所定の動作を行っていないときは（Ｓ１２０、ＮＯ）、ドア制御部２５６は、車内人物情報２４８を参照し、車両１０２を利用している登録ユーザ（例えば上述の現在ユーザ）に対して、全ての接近人物の顔画像を含む所定の通知を行う（Ｓ１２４）。そして、ドア制御部２５６は、ステップＳ１１２へ処理を移す。
なお、ステップＳ１２２およびＳ１２４における上記所定の通知は、ステップＳ１１０における所定の通知と同様に、車両１０２のドアの開動作を行って良いか否かの問い合わせであるものとすることができる。また、これらの通知は、車両１０２を利用している登録ユーザが車両１０２の中にいるときは表示装置２２０により、当該登録ユーザが車両１０２の中にいないときは、当該登録ユーザの携帯端末を介して行うものとすることができる。
なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、本実施形態では、一例として、車両１０２には現在ユーザである一人の登録ユーザ（人物１３０）と一人の非登録ユーザ（人物１３２）が乗車しているものとしたが、車両１０２の乗員構成は、これには限られない。車両１０２には、非登録ユーザが乗車していなくもて良いし、複数の非登録ユーザが乗車していてもよい。また、車両１０２には、現在ユーザである登録ユーザに加えて他の任意の数の登録ユーザが乗車していてもよい。
また、本実施形態では、車両制御装置２０２のドア制御部２５６は、図３のステップＳ１０６において、接近人物に対し車内人物が所定の動作を行ったか否かを判断するが、当該判断の態様は、これには限られない。ドア制御部２５６は、接近人物に対し車内人物が、あらかじめ定められた所定時間以上、所定の動作を継続し続けたか否かを判断するものとしてもよい。これにより、車内人物が接近人物を見間違えて短い時間（０．１秒～２秒程度）所定の動作を行ってしまってもドアが開放しないようにできるので、セキュリティ性を向上させることができる。
また、図３のステップＳ１０６においては、ドア制御部２５６は、人物認識部２５４における認識結果に基づき、接近人物と車内人物とが、それぞれ、上述したような予め定められた所定の動作のいずれかを、互いを対象人物として行っているか否かを判断するものとしてもよい。そして、ドア制御部２５６は、接近人物と車内人物とが所定の動作のいずれかを互いを対象人物として行っている場合に、ステップＳ１０８以降の処理を行うものとすることができる。
また、本実施形態では、車両制御装置２０２のドア制御部２５６は、図３のステップＳ１１０、Ｓ１２２、及び又はＳ１２４において、所定の通知を、現在ユーザである登録ユーザに対して行うものとしたが、所定の通知の対象は、現在ユーザである登録ユーザには限られない。上記のように車両１０２に複数の登録ユーザが乗車している場合には、ドア制御部２５６は、現在ユーザである登録ユーザ及び又は他の登録ユーザに対して所定の通知を行うものとすることができる。
この場合において、所定の通知は、複数の登録ユーザに対して行われてもよいし、車両１０２に乗車する登録ユーザに割り振られた優先順位に従って、そのとき車両１０２内にいる最も優先順位の高い一人の登録ユーザに対して行われるものとしてもよい。上記優先順位は、例えば現在ユーザである登録ユーザにより予め定められて記憶装置２５２に記憶されているものとしてもよいし、ユーザ管理装置２０６のユーザ特定部２４４が、予め定められた所定の基準（例えば、ユーザ情報２４９が示す登録ユーザの年齢の順）に従って定めてドア制御部２５６に指示するものとしてもよい。
また、車両１０２は、本実施形態では、４ドアの車両であるものとしたが、これには限られない。車両１０２は、２つ以上の任意の数のドアを有する車両であるものとすることができる。
また、本実施形態では、フロントカメラ１１４が設けられる位置は、例えば車両１０２のフロントバンパーであるものとしたが、これには限られない。フロントカメラ１１４は、前席カメラ１１０と一体に構成されて車両１０２のルームミラーに設けられてもよい。
また、本実施形態では、前席カメラ１１０が設けられる位置は、例えば車両１０２のルームミラーであるものとしたが、これには限られない。前席カメラ１１０は、例えば、車両１０２のダッシュボード等に取り付けられても良い。
また、本実施形態では、車両１０２の外において当該車両１０２に接近する人物は二人（人物１４６、１５０）または三人（人物１４６、１４８、１５０）としたが、接近人物の数は、任意の数であり得る。
また、本実施形態では、ドア制御部２５６は、車内人物が接近人物に対して行う所定の動作が検知されたときに、ドアの開動作を行うものとしたが、所定の動作に加えて所定の条件が満たされたときにドアの開動作を行うものとしてもよい。例えば、本実施形態では、車内人物が接近人物に対して行う所定の動作の一つとして、接近人物に対する注視（視線）や顔を向ける動作を示したが、これらの動作は、車両１０２に接近する怪しい人物の動向に注意する際にも検知される場合があり得る。
したがって、ドア制御部２５６は、例えば、接近人物に対して注視や顔を向ける等の所定の動作が検知された場合には、例えば当該所定の動作を行った車内人物の表情に緊張（嫌悪の表情、驚愕の表情など）の特徴が表れていないことを条件として、ドアの開動作を行うものとすることができる。この場合において、車内人物に緊張の表情特徴が表れているか否かは、従来技術に従い、車両制御装置２０２の人物認識部２５４が認識するものとすることができる。
また、ドア制御部２５６は、車外の状況に応じてドア開動作の動作態様を変更するものとしてもよい。例えば、ドア制御部２５６は、車外の接近人物が一人である場合には、ドア開動作としてドアの自動オープン動作を行い、接近人物が複数存在する場合にはドア開動作として単にドアロックの解錠やドアノブの提供動作（ドアボディからの押し出し）を行うものとすることができる。これにより、接近人物が複数存在する場合に、上記所定の動作の対象人物でない接近人物が勝手に乗車してくる可能性を低減することができる。
また、車両制御システム１００は、本実施形態では複数の装置（車両制御装置２０２、画像取得装置２０４、及びユーザ管理装置２０６）により構成されるものとしたが、車両制御システム１００の構成はこれには限られない。車両制御システム１００は、より少ない又はより多くの複数の装置で構成されていてもよい。そのような装置の一つ又は複数は、車両１０２の外に設けられて車載装置と通信可能に接続される利用管理サーバ１０６及び又は他のサーバに設けられているものとすることができる。また、あるいは、車両制御システム１００は、一つの装置として車両１０２において構成されるものとすることもできる。
以上説明したように、本実施形態の車両制御システム１００は、車両１０２の外部環境の画像である車外画像を取得する車外画像取得部２３２と、車両１０２の車室内の画像である車内画像を取得する車内画像取得部２３４と、を備える。また、車両制御システム１００は、上記車外画像および車内画像に基づいて車外人物および車室内に居る車内人物の動作をそれぞれ認識する人物認識部２５４と、車両１０２のドアの状態を制御するドア制御部２５６と、を備える。そして、ドア制御部２５６は、人物認識部２５４における認識結果に基づき、車両１０２に接近する車外人物（接近人物）が認識された場合において、車内人物が接近人物に対し予め定められた所定の動作を行っていると判断されるときに、車両１０２のドアの開動作を実行する。
この構成によれば、車両のセキュリティを確保しつつ、登録された車両利用者（登録ユーザ）以外の人物に対しても、スムーズな乗車を行えるようにすることができる。
また、車両制御システム１００では、ドア制御部２５６は、車内人物と接近人物とが、それぞれ、予め定められた所定の動作のいずれかを、互いを対象人物として行っている場合に、ドアの開動作を実行する。この構成によれば、車内人物と接近人物との対応付けが行われるので、ドア開動作のセキュリティを更に向上することができる。
また、車両制御システム１００では、上記所定の動作は、顔または視線を対象人物に対して所定時間以上継続して向けていることである。この構成によれば、簡易な処理により、登録された車両利用者（登録ユーザ）以外の人物に対しても、スムーズな乗車を行えるようにすることができる。
また、車両制御システム１００では、上記所定の動作は、対象人物に向けて所定の表情が顔に形成されること又は所定のジェスチャーが行われること、である。この構成によれば、人が知人等を発見した際に行う様々な動作を検知して、ドアの開動作が実行されるので、車両１０２の利便性を更に向上することができる。
また、車両制御システム１００は、車内人物が車両１０２の利用者として予め登録された登録ユーザであるか否かを判断するユーザ特定部２４４を備える。そして、ドア制御部２５６は、接近人物を対象人物として所定の動作を行っている車内人物が登録ユーザでないときは、車両１０２の登録ユーザに所定の通知を行い、当該登録ユーザが当該所定の通知に対し肯定的な指示を返したときに、ドアの開動作を実行する。
この構成によれば、例えば非登録ユーザである子供が見ず知らずの接近人物に手を振ったような場合に、当該手を振る動作を検知してドアの開動作が行われてしまうのを未然に防止して、セキュリティを更に向上することができる。
また、車両制御システム１００では、ドア制御部２５６は、人物認識部２５４が複数の接近人物を認識したときは、登録ユーザに対し当該複数の接近人物の顔画像を含む通知を行い、当該登録ユーザが当該通知に対し肯定的な指示を返したときに、ドアの開動作を実行する。
この構成によれば、車外に複数の接近人物が存在していて、車内人物の所定の動作の対象人物がどの接近人物であるかを認識しにくいような場面や、ドアの開動作により対象人物以外の接近人物が乗り込んできてしまう可能性がある場面において、不用意にドアの開動作が行われるのを未然に防止して、セキュリティを更に向上することができる。
また、車両制御システム１００では、ドア制御部２５６は、上記認識された複数の接近人物のうち、車内人物の上記所定の動作の対象人物については、当該対象人物の顔画像を上記通知に含めない。この構成によれば、通知に含まれる対象人物の顔画像の数が低減されるので、登録ユーザはドア開動作の実行可否を迅速に判断することができる。
また、車両制御システム１００では、上記ドアの開動作は、ドアを開ける自動動作、又はドアを車両１０２の外部から開けられる状態に設定する動作、である。この構成によれば、ドア制御部２５６は、自動的にドアを開ける動作に限らず、ドア解錠や、ドア内に収納されていたドアノブをドアから出して動作可能な状態にする等の、様々な動作により、車外の接近人物のスムーズな乗車を支援することができる。
また、車両制御システム１００は、車両制御を行うコンピュータにより、以下の処理を行う車両制御方法を実行する。この車両制御方法は、車両１０２の外部環境の画像である車外画像を取得するステップと、車両１０２の車室内の画像である車内画像を取得するステップと、車外画像および車内画像に基づいて、車外人物および車室内に居る車内人物の動作をそれぞれ認識するステップと、車両１０２のドアの状態を制御するステップと、を備える。そして、上記制御するステップでは、上記認識するステップにおける認識結果に基づき、車両１０２に接近する車外人物（接近人物）が認識された場合において、車内人物が上記接近人物に対し予め定められた所定の動作を行っていると判断されるときに、車両１０２のドアの開動作を実行する。
この構成によれば、車両のセキュリティを確保しつつ、登録された車両利用者（登録ユーザ）以外の人物に対しても、スムーズな乗車を行えるようにすることができる。
１００…車両制御システム、１０２…車両、１０４…通信ネットワーク、１０６…利用管理サーバ、１０８…駅、１１０…前席カメラ、１１２…後席カメラ、１１４…フロントカメラ、１１６…右サイドカメラ、１１８…左サイドカメラ、１２０…リアカメラ、１２２…運転席ドア、１２４…助手席ドア、１２６…後部右ドア、１２８…後部左ドア、１３０、１３２、１４０、１４２、１４４、１４６、１４８、１５０…人物、１６０…携帯端末、２００…車載ネットワークバス、２０２…車両制御装置、２０４…画像取得装置、２０６…ユーザ管理装置、２０８…ＢＣＭ、２１０…ＴＣＵ、２１２…ＵＩ制御装置、２１４…近距離通信装置、２１６…遠距離通信装置、２１８…処理装置、２２０…表示装置、２２２…タッチパネル、２２４…スピーカ、２２６…マイク、２３０、２４０、２５０…処理装置、２３２…車外画像取得部、２３４…車内画像取得部、２４２、２５２…記憶装置、２４４…ユーザ特定部、２４６…ユーザ情報取得部、２４８…車内人物情報、２４９…ユーザ情報、２５４…人物認識部、２５６…ドア制御部。

Claims (9)

  1. 車両の外部環境の画像である車外画像を取得する車外画像取得部と、
    前記車両の車室内の画像である車内画像を取得する車内画像取得部と、
    前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物の動作をそれぞれ認識する人物認識部と、
    前記車両のドアの状態を制御するドア制御部と、
    を備え、
    前記ドア制御部は、
    前記人物認識部における認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記接近する車外人物に対し予め定められた所定の動作を行っていると判断されるときに、前記ドアの開動作を実行する、
    車両制御システム。
  2. 前記ドア制御部は、
    前記車内人物と前記接近する車外人物とが、それぞれ、予め定められた所定の動作のいずれかを、互いを対象人物として行っている場合に、前記ドアの開動作を実行する、
    請求項１に記載の車両制御システム。
  3. 前記所定の動作は、顔または視線を対象人物に対して所定時間以上継続して向けていることである、請求項２に記載の車両制御システム。
  4. 前記所定の動作は、対象人物に向けて、所定の表情が顔に形成されること又は所定のジェスチャーが行われること、である請求項２または３に記載の車両制御システム。
  5. 前記車内人物が前記車両の利用者として予め登録された登録ユーザであるか否かを判断するユーザ特定部を備え、
    前記ドア制御部は、
    前記接近する車外人物を対象人物として前記所定の動作を行っている前記車内人物が前記登録ユーザでないときは、前記車両の前記登録ユーザに、前記ドアの開動作を実行して良いか否かを問い合わせる所定の通知を行い、
    当該登録ユーザが前記所定の通知に対し肯定的な指示を返したときに、前記ドアの開動作を実行する、
    請求項１ないし４のいずれか一項に記載の車両制御システム。
  6. 前記車内人物が前記車両の利用者として予め登録された登録ユーザであるか否かを判断するユーザ特定部を備え、
    前記ドア制御部は、前記人物認識部が複数の前記接近する車外人物を認識したときは、
    前記登録ユーザに対し、前記認識された複数の前記接近する車外人物の顔画像を含む通知を行い、
    当該登録ユーザが当該通知に対し肯定的な指示を返したときに、前記ドアの開動作を実行する、
    請求項１ないし５のいずれか一項に記載の車両制御システム。
  7. 前記ドア制御部は、
    前記認識された複数の前記接近する車外人物のうち、前記車内人物の前記所定の動作の対象人物については、当該対象人物の顔画像を前記通知に含めない、
    請求項６に記載の車両制御システム。
  8. 前記開動作は、前記ドアを開ける自動動作、又は前記ドアを前記車両の外部から開けられる状態に設定する動作、である、
    請求項１ないし７のいずれか一項に記載の車両制御システム。
  9. 車両の制御を行うコンピュータが実行する車両制御方法であって、
    前記車両の外部環境の画像である車外画像を取得するステップと、
    前記車両の車室内の画像である車内画像を取得するステップと、
    前記車外画像および前記車内画像に基づいて、前記車両の車外人物および車内人物の動作をそれぞれ認識するステップと、
    前記車両のドアの状態を制御するステップと、
    を備え、
    前記制御するステップでは、
    前記認識するステップにおける認識結果に基づき、前記車両に接近する車外人物が認識された場合において、前記車内人物が前記接近する車外人物に対し予め定められた所定の動作を行っていると判断されるときに、前記ドアの開動作を実行する、
    車両制御方法。
JP2020092174A 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法 Active JP7410796B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020092174A JP7410796B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法
CN202110533317.1A CN113799730A (zh) 2020-05-27 2021-05-17 车辆控制系统及车辆控制方法
US17/329,495 US11414052B2 (en) 2020-05-27 2021-05-25 Vehicle control system and vehicle control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092174A JP7410796B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法

Publications (2)

Publication Number Publication Date
JP2021188295A JP2021188295A (ja) 2021-12-13
JP7410796B2 true JP7410796B2 (ja) 2024-01-10

Family

ID=78704596

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092174A Active JP7410796B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法

Country Status (3)

Country Link
US (1) US11414052B2 (ja)
JP (1) JP7410796B2 (ja)
CN (1) CN113799730A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022081043A (ja) * 2020-11-19 2022-05-31 トヨタ自動車株式会社 降車支援装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015151862A (ja) 2014-02-10 2015-08-24 フルタ電機株式会社 羽根車及び送風機
JP2015191264A (ja) 2014-03-27 2015-11-02 株式会社ニコン 自律走行車両

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130275008A1 (en) * 1997-03-17 2013-10-17 American Vehicular Sciences Llc Vehicular Door Control Systems
JP2003138817A (ja) 2001-10-31 2003-05-14 Denso Corp 車両のキーレスエントリーシステム、個人識別方法及び個人識別システム
JP2006127307A (ja) * 2004-10-29 2006-05-18 Nippon Dempa Kogyo Co Ltd 車両状態の通知システム及びその構成装置、通知方法
JP2006233499A (ja) * 2005-02-23 2006-09-07 Toyota Motor Corp 車両用遠隔操作装置
DE102010055795A1 (de) * 2010-12-23 2012-06-28 Continental Automotive Gmbh Verfahren zur Ausgabe von Informationen
JP2013036251A (ja) * 2011-08-09 2013-02-21 Aisin Seiki Co Ltd 車載カメラと携帯情報端末機による車両開閉体操作装置及びシステム並びにその制御方法
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
WO2015151862A1 (ja) * 2014-04-01 2015-10-08 みこらった株式会社 自動車及び自動車用プログラム
KR101586228B1 (ko) * 2014-08-27 2016-01-18 주식회사 켐트로닉스 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
JP2016071577A (ja) * 2014-09-30 2016-05-09 マツダ株式会社 運転者状態検出方法および検出装置
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
WO2017066286A1 (en) * 2015-10-13 2017-04-20 Faraday&Future Inc. Seamless vehicle access system
JP2018030499A (ja) * 2016-08-25 2018-03-01 株式会社デンソーテン 車外情報提供装置および車外情報提供方法
JP6399064B2 (ja) * 2016-09-07 2018-10-03 トヨタ自動車株式会社 ユーザ特定システム
JP6458792B2 (ja) * 2016-11-04 2019-01-30 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN108248549A (zh) * 2018-01-30 2018-07-06 北京汽车股份有限公司 车载乘车人员识别系统、车辆和车载乘车人员识别方法
WO2019183163A1 (en) * 2018-03-20 2019-09-26 Antenum Llc Orientation independent antennas with direction finding for remote keyless entry
US11455835B2 (en) * 2018-08-30 2022-09-27 Panasonic Intellectual Property Corporation Of America Information processing apparatus and information processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015151862A (ja) 2014-02-10 2015-08-24 フルタ電機株式会社 羽根車及び送風機
JP2015191264A (ja) 2014-03-27 2015-11-02 株式会社ニコン 自律走行車両

Also Published As

Publication number Publication date
US11414052B2 (en) 2022-08-16
JP2021188295A (ja) 2021-12-13
US20210370878A1 (en) 2021-12-02
CN113799730A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
JP7354056B2 (ja) 車両制御システム、及び車両制御方法
US10970952B2 (en) User identification system
JP5630318B2 (ja) スマートエントリシステム
CN112037380B (zh) 车辆控制方法及装置、电子设备、存储介质和车辆
WO2022135495A1 (zh) 车门控制系统和方法、车辆
JP7147259B2 (ja) 車載装置、車載装置の制御方法、及び予備動作推定システム
JP7410796B2 (ja) 車両制御システム、及び車両制御方法
US20210370867A1 (en) Vehicle control system, server, and vehicle control method
US11373447B2 (en) Systems including image detection to inhibit vehicle operation
JP4591189B2 (ja) 遠隔操作装置
JP2021189620A (ja) 車両制御システム、及び車両制御方法
JP2021147856A (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
JP4428146B2 (ja) 遠隔制御装置及び遠隔制御システム
JP7410764B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
US11823537B2 (en) Information processing apparatus and information processing method
JP2001097070A (ja) 乗物用人物認識装置
JP7358297B2 (ja) エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
US20230311812A1 (en) Control system and control method of control system
US20220312191A1 (en) Setting apparatus
JP7399762B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
WO2022224332A1 (ja) 情報処理装置、車両制御システム、情報処理方法、及び非一時的なコンピュータ可読媒体
CN114809833A (zh) 开启车门的控制方法、车门控制装置及车门控制系统
CN117072015A (zh) 应用于车辆的开门控制方法和装置
JP2021189611A (ja) 車両制御システム、車両制御方法、及び車両制御プログラム
CN115288558A (zh) 一种车门控制方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231222

R150 Certificate of patent or registration of utility model

Ref document number: 7410796

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150