JP6848533B2 - Vehicle driving control system - Google Patents

Vehicle driving control system Download PDF

Info

Publication number
JP6848533B2
JP6848533B2 JP2017039447A JP2017039447A JP6848533B2 JP 6848533 B2 JP6848533 B2 JP 6848533B2 JP 2017039447 A JP2017039447 A JP 2017039447A JP 2017039447 A JP2017039447 A JP 2017039447A JP 6848533 B2 JP6848533 B2 JP 6848533B2
Authority
JP
Japan
Prior art keywords
vehicle
passenger
travel control
unit
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017039447A
Other languages
Japanese (ja)
Other versions
JP2018144544A (en
Inventor
宇野 慶一
慶一 宇野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017039447A priority Critical patent/JP6848533B2/en
Publication of JP2018144544A publication Critical patent/JP2018144544A/en
Application granted granted Critical
Publication of JP6848533B2 publication Critical patent/JP6848533B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本開示は、車両の走行を制御する技術に関する。 The present disclosure relates to a technique for controlling the running of a vehicle.

近年、高齢者の増加に伴い、都市の基幹バスの停留所や電車の駅などから周囲の住宅地内まで、無人で運行するバスのような運輸システムの導入が検討されている。無人の運輸システムを導入する場合、有人の運輸システムでは運転者が行っている乗客の乗車状況に合わせた運行制御を、無人で実現することが求められる。 In recent years, with the increase in the number of elderly people, the introduction of a transportation system such as a bus that operates unmanned from the main bus stop or train station in the city to the surrounding residential area is being considered. When introducing an unmanned transportation system, the manned transportation system is required to realize unmanned operation control according to the passenger's riding situation performed by the driver.

乗客の乗車状況に合わせた運行制御を実施している無人の運輸システムとして、特許文献1に記載のエレベータ制御システムがある。上記エレベータ制御システムは、乗りかご内に設けたカメラにより、人数、年齢、性別という乗客の特性を判別している。そして、上記エレベータ制御システムは、判別した乗客の特性に応じて予め用意されている複数の制御の中から最適な制御を選択し、選択した制御を実施している。 The elevator control system described in Patent Document 1 is an unmanned transportation system that controls operation according to the passenger's riding condition. In the elevator control system, the characteristics of passengers such as the number of passengers, age, and gender are discriminated by a camera provided in the car. Then, the elevator control system selects the optimum control from a plurality of controls prepared in advance according to the discriminated characteristics of the passenger, and executes the selected control.

特開2013−159451号公報Japanese Unexamined Patent Publication No. 2013-159451

エレベータは、垂直方向にのみ動き水平方向には動かない。そのため、上記エレベータ制御システムでは、水平方向の動きを考慮して、高齢者が転倒しないように配慮した制御などは用意されていない。一方、車両は水平方向に動くため、水平方向の加減速を考慮しないと、高齢者がよろめいたり転倒したりするおそれがある。よって、上記エレベータ制御システムを車両の走行制御システムに適用しても、乗客の乗車状況に応じて、最適な走行制御を行うことはできない。 The elevator moves only vertically and not horizontally. Therefore, in the above-mentioned elevator control system, there is no control or the like in consideration of the movement in the horizontal direction so that the elderly person does not fall. On the other hand, since the vehicle moves in the horizontal direction, the elderly may stagger or fall if the acceleration / deceleration in the horizontal direction is not taken into consideration. Therefore, even if the elevator control system is applied to the vehicle travel control system, optimum travel control cannot be performed according to the passenger's riding condition.

本開示は、上記実情に鑑みてなされたものであり、乗客の乗車状況に応じて、最適な走行制御を行う車両の走行制御システムを提供する。 The present disclosure has been made in view of the above circumstances, and provides a vehicle travel control system that performs optimal travel control according to a passenger's riding condition.

本開示は、センサ(10A,10B)と、認識部(22,S20)と、測定部(23,S60)と、目標生成部(25,S80,S90)と、を備える、車両の走行制御システムである。センサは、車両(100)の車室内の乗客を検出する。認識部は、センサによる検出結果から乗客の姿勢を認識する。測定部は、車両が運動した際に、認識部により認識された姿勢の移動を測定する。目標生成部は、乗客の重心位置を床面に射影した位置を射影位置とし、測定部により検出された姿勢の移動に基づいて、射影位置が予め設定された所定範囲に収まること、及び重心位置の移動量が予め設定された移動閾値未満となること、の2つの条件のうちの少なくとも一方を満たすように、車両の走行制御目標を生成する。 The present disclosure is a vehicle travel control system including sensors (10A, 10B), recognition units (22, S20), measurement units (23, S60), and target generation units (25, S80, S90). Is. The sensor detects passengers in the passenger compartment of the vehicle (100). The recognition unit recognizes the posture of the passenger from the detection result by the sensor. The measuring unit measures the movement of the posture recognized by the recognition unit when the vehicle moves. The target generation unit sets the position where the center of gravity of the passenger is projected onto the floor surface as the projection position, and the projection position falls within a predetermined range set in advance based on the movement of the posture detected by the measurement unit, and the position of the center of gravity. The travel control target of the vehicle is generated so as to satisfy at least one of the two conditions that the movement amount of the vehicle is less than the preset movement threshold value.

本開示によれば、センサにより乗客が検出され、検出された乗客の姿勢が認識される。そして、車両が運動した際の姿勢の移動が測定される。このとき、高齢者などの筋力が衰えている人は、比較的大きな姿勢の移動が測定され、筋力の強い人は、比較的小さな姿勢の移動が測定される。つまり、姿勢の移動は、乗客の状態と相関のあるパラメータとなっている。また、乗客の重心位置の射影位置が所定範囲から外れると、乗客が揺れを不快に感じる可能性が高くなる。さらに、乗客の重心位置の移動量が大きいと転倒するリスクが高くなる。よって、測定された姿勢の移動に基づいて、射影位置が所定範囲に収まること及び重心移動量が移動閾値未満となること、の少なくとも一方を満たすように、車両の走行制御目標が生成される。したがって、乗客の乗車状況に応じて、最適な走行制御を行うことができる。 According to the present disclosure, a passenger is detected by a sensor, and the detected posture of the passenger is recognized. Then, the movement of the posture when the vehicle moves is measured. At this time, a relatively large posture movement is measured for a person with weak muscle strength such as an elderly person, and a relatively small posture movement is measured for a person with strong muscle strength. That is, the movement of the posture is a parameter that correlates with the state of the passenger. Further, if the projection position of the center of gravity of the passenger deviates from the predetermined range, the passenger is more likely to feel uncomfortable with the shaking. Furthermore, if the amount of movement of the center of gravity of the passenger is large, the risk of falling increases. Therefore, based on the measured movement of the posture, the traveling control target of the vehicle is generated so as to satisfy at least one of the projection position being within the predetermined range and the amount of movement of the center of gravity being less than the movement threshold value. Therefore, optimum traveling control can be performed according to the passenger's riding condition.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。 In addition, the reference numerals in parentheses described in this column and the scope of claims indicate the correspondence with the specific means described in the embodiment described later as one embodiment, and the technical scope of the present invention is defined. It is not limited.

車両の構成を示す図である。It is a figure which shows the structure of a vehicle. 車室内を上から見た場合における、レーザレーダの取り付け位置及び走査範囲を示す図である。It is a figure which shows the mounting position and the scanning range of a laser radar when the vehicle interior is seen from the top. 車室内を側面から見た場合における、レーザレーダの取り付け位置及び操作範囲を示す図である。It is a figure which shows the mounting position and the operation range of the laser radar when the vehicle interior is seen from the side. 走行制御システムの構成を示すブロック図である。It is a block diagram which shows the structure of the travel control system. 走行制御目標を生成する処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure which generates the driving control target. 独立した立位のx方向の物理モデルを示す図である。It is a figure which shows the physical model in the x direction of an independent standing position. 独立した立位のy方向の物理モデルを示す図である。It is a figure which shows the physical model of the independent standing position in the y direction. 支持部を把持している立位のx方向の物理モデルを示す図である。It is a figure which shows the physical model of the standing position which holds the support part in the x direction. 走行制御目標の生成する際の条件を説明する図である。It is a figure explaining the condition at the time of generating a travel control target. 着地面を示す図である。It is a figure which shows the landing.

以下、図面を参照しながら、発明を実施するための形態を説明する。
<1.構成>
本実施形態に係る車両の走行制御システムは、自動走行車両に適用することを想定している。まず、本実施形態に係る車両の走行制御システムを適用する車両100について、図1を参照して説明する。車両100は、モータ90の駆動力で走行する電気自動車である。車両100は、車両100の外側に、レーザレーダ61と、ミリ波レーダ62と、超音波センサ63と、通信アンテナ64と、を備える。レーザレーダ61及びミリ波レーダ62は、車両100の外側の前面と左側面との角、前面と右側面との角、左側面と後面との角、及び図示しない後面と右側面との角の4つの角の上部に、それぞれ搭載されている。超音波センサ63は、車両100の前面及び左側面と、図示しない後面及び右側面の下部に、3個ずつ搭載されている。レーザレーダ61、ミリ波レーダ62、及び超音波センサ63は、車両100の周辺の他車両及び歩行者を含む障害物や、ランドマークなどを検出する。通信アンテナ64は、管制センタと無線通信を行うためのアンテナや、GPS衛星からGPS信号を受信するためのアンテナを含んでいる。
Hereinafter, modes for carrying out the invention will be described with reference to the drawings.
<1. Configuration>
The vehicle travel control system according to the present embodiment is assumed to be applied to an automatic traveling vehicle. First, the vehicle 100 to which the vehicle travel control system according to the present embodiment is applied will be described with reference to FIG. The vehicle 100 is an electric vehicle that travels with the driving force of the motor 90. The vehicle 100 includes a laser radar 61, a millimeter wave radar 62, an ultrasonic sensor 63, and a communication antenna 64 on the outside of the vehicle 100. The laser radar 61 and the millimeter wave radar 62 include an outer front surface and a left side surface of the vehicle 100, a front surface and a right side surface, a left side surface and a rear surface angle, and a rear surface and a right side surface (not shown). It is mounted on the top of each of the four corners. Three ultrasonic sensors 63 are mounted on the front surface and the left side surface of the vehicle 100, and on the lower surface of the rear surface and the right side surface (not shown). The laser radar 61, the millimeter wave radar 62, and the ultrasonic sensor 63 detect obstacles including other vehicles and pedestrians around the vehicle 100, landmarks, and the like. The communication antenna 64 includes an antenna for wirelessly communicating with the control center and an antenna for receiving GPS signals from GPS satellites.

車両100は、左側面に設けられた開閉ドア52から、乗客が乗り降りできるようになっている。車両100は、車室内に、駆動バッテリ80と、ポール70と、シート40と、レーザレーダ10A,10Bと、ECU20と、を備える。駆動バッテリ80は、モータ90に電力を供給する電源である。ポール70は、立っている乗客が体を支えるために把持する棒である。シート40は、車室内の前方と後方に設置されている。前方のシート40の下には、駆動バッテリ80が設置されており、後方のシート40の下には、ECU20が設置されている。本実施形態では、ポール70が支持部に相当する。 Passengers can get on and off the vehicle 100 through the opening / closing door 52 provided on the left side surface. The vehicle 100 includes a drive battery 80, a pole 70, a seat 40, laser radars 10A and 10B, and an ECU 20 in the vehicle interior. The drive battery 80 is a power source that supplies electric power to the motor 90. The pole 70 is a rod held by a standing passenger to support his / her body. The seat 40 is installed in the front and rear of the vehicle interior. The drive battery 80 is installed under the front seat 40, and the ECU 20 is installed under the rear seat 40. In this embodiment, the pole 70 corresponds to the support portion.

レーザレーダ10A,10Bは、車室内を走査して乗客を検出するセンサである。レーザレーダ10A,10Bは、車室内の4つの側面のうちの2つの面に、1つずつ取り付けられている。具体的には、レーザレーダ10Aは、車室内の前面の上部に取り付けられている。一方、レーザレーダ10Bは、車室内の前面と対向する後面の上部に取り付けられている。つまり、レーザレーダ10A,10Bは、互いに向き合った状態で車室内の側面に取り付けられている。 The laser radars 10A and 10B are sensors that scan the vehicle interior to detect passengers. The laser radars 10A and 10B are attached to two of the four sides of the vehicle interior, one by one. Specifically, the laser radar 10A is attached to the upper part of the front surface of the vehicle interior. On the other hand, the laser radar 10B is attached to the upper part of the rear surface facing the front surface of the vehicle interior. That is, the laser radars 10A and 10B are attached to the side surfaces of the vehicle interior in a state of facing each other.

図2及び図3は、鎖線でレーザレーダ10Aの走査範囲を示し、実線でレーザレーダ10Bの走査範囲を示している。図2及び図3に示すように、レーザレーダ10Aとレーザレーダ10Bとが向き合っているため、乗客の前側の形状と後側の面の形状のどちらも検出できる。その結果、乗客の断面形状だけでなく、体の厚みも認識することができる。以下では、レーザレーダ10A,10Bをレーザレーダ10と総称する。なお、乗客を検出するセンサとして、レーザレーダ10A,10Bの代わりに、2台の複眼カメラを用いてもよい。2台の複眼カメラを用いる場合も、互いに向き合った状態で車室内の側面に取り付ければよい。 2 and 3 show the scanning range of the laser radar 10A with a chain line and the scanning range of the laser radar 10B with a solid line. As shown in FIGS. 2 and 3, since the laser radar 10A and the laser radar 10B face each other, both the shape of the front side and the shape of the rear surface of the passenger can be detected. As a result, not only the cross-sectional shape of the passenger but also the thickness of the body can be recognized. Hereinafter, the laser radars 10A and 10B are collectively referred to as the laser radar 10. As the sensor for detecting passengers, two compound eye cameras may be used instead of the laser radars 10A and 10B. Even when two compound-eye cameras are used, they may be mounted on the side surfaces of the vehicle interior while facing each other.

ECU20は、CPU、ROM、RAM、半導体メモリ、及びI/O等を備えた周知のマイクロコンピュータを主体として構成されており、乗客の乗車状況に合わせて、車両100の走行制御を行う。図4に示すように、ECU20は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより、認識部22、測定部23、モデル作成部24、目標生成部25、転倒判定部26、位置推定部27、ルート設定部28、行動計画部29、車両制御部30、及び制御量算出部31の各機能を実現する。 The ECU 20 is mainly composed of a well-known microcomputer equipped with a CPU, ROM, RAM, semiconductor memory, I / O, etc., and controls the traveling of the vehicle 100 according to the passenger's riding condition. As shown in FIG. 4, in the ECU 20, the CPU executes a program stored in a non-transitional substantive recording medium, so that the recognition unit 22, the measurement unit 23, the model creation unit 24, the target generation unit 25, and the fall determination are determined. Each function of the unit 26, the position estimation unit 27, the route setting unit 28, the action planning unit 29, the vehicle control unit 30, and the control amount calculation unit 31 is realized.

認識部22は、レーザレーダ10による検出結果から、車室内の乗客の姿勢を認識する。測定部23は、車両100が運動した際に、認識部22により認識された乗客の姿勢の移動を測定する。モデル作成部24は、認識部22により認識された乗客の姿勢、及び測定部23により測定された乗客の姿勢の移動から、乗客の物理モデルを生成して同定し、乗客の物理モデルを作成する。 The recognition unit 22 recognizes the posture of a passenger in the vehicle interior from the detection result of the laser radar 10. The measuring unit 23 measures the movement of the passenger's posture recognized by the recognition unit 22 when the vehicle 100 moves. The model creation unit 24 generates and identifies a passenger physical model from the movement of the passenger posture recognized by the recognition unit 22 and the passenger posture measured by the measurement unit 23, and creates a passenger physical model. ..

目標生成部25は、モデル作成部24により作成された物理モデルから、車両の運動に応じた乗客の姿勢の変化を予想する。そして、目標生成部25は、予想した姿勢の変化を用いて、乗客の重心位置Gcが所定の条件を満たすように、車両100の走行制御目標を生成する。走行制御目標は、車両100の加減速値の範囲及びヨーレートの範囲である。なお、認識部22、測定部23、モデル作成部24、及び目標生成部25の機能が実行する処理の詳細は後述する。 The target generation unit 25 predicts a change in the posture of the passenger according to the movement of the vehicle from the physical model created by the model creation unit 24. Then, the target generation unit 25 uses the predicted change in posture to generate a travel control target for the vehicle 100 so that the passenger's center of gravity position Gc satisfies a predetermined condition. The travel control target is a range of acceleration / deceleration values and a range of yaw rate of the vehicle 100. The details of the processes executed by the functions of the recognition unit 22, the measurement unit 23, the model creation unit 24, and the target generation unit 25 will be described later.

転倒判定部26は、目標生成部25により調整された走行制御目標に基づいて車両100が走行した場合に、乗客が転倒する危険度である転倒危険度を判定する。例えば、乗客がポール70につかまっている場合やシート40に着座している場合は、車両100がカーブ走行をしても、カーブの外側方向へ重心位置Gcが大きく移動することはない。よって、転倒判定部26は、乗客が支持部につかまっている場合や着座している場合は、転倒危険度を比較的低く判定する。 The fall determination unit 26 determines the fall risk, which is the risk of the passengers falling when the vehicle 100 travels based on the travel control target adjusted by the target generation unit 25. For example, when the passenger is held by the pole 70 or is seated on the seat 40, the center of gravity position Gc does not move significantly toward the outside of the curve even if the vehicle 100 travels on a curve. Therefore, the fall determination unit 26 determines that the risk of falling is relatively low when the passenger is held by the support unit or is seated.

また、乗客の重心位置Gcが左側に偏っている場合に、車両100が左方向へカーブ走行しても、乗客の重心位置Gcが右側に大きく偏って、乗客の姿勢が大きく傾くことはない。よって、転倒判定部26は、乗客の重心位置Gcが偏っている側の方向へカーブ走行する場合は、転倒危険度を比較的低く判定する。一方、乗客の重心位置Gcが左側に偏っている場合に、車両100が右方向へカーブ走行すると、乗客の重心位置Gcは左側に大きく偏って、乗客の姿勢が大きく傾くことになる。よって、転倒判定部26は、乗客の重心位置Gcが偏っている側と反対方向へカーブ走行する場合には、転倒危険度を比較的大きく判定する。 Further, when the passenger's center of gravity position Gc is biased to the left, even if the vehicle 100 curves to the left, the passenger's center of gravity position Gc is greatly biased to the right and the passenger's posture is not significantly tilted. Therefore, the fall determination unit 26 determines that the fall risk is relatively low when the passenger travels in a curve in the direction in which the center of gravity position Gc of the passenger is biased. On the other hand, when the passenger's center of gravity position Gc is biased to the left and the vehicle 100 curves to the right, the passenger's center of gravity position Gc is greatly biased to the left and the passenger's posture is greatly tilted. Therefore, the fall determination unit 26 determines the degree of fall risk to be relatively large when the passenger travels in a curve in the direction opposite to the side where the center of gravity position Gc of the passenger is biased.

転倒判定部26は、各乗客の転倒危険度をそれぞれ判定し、最も高い転倒危険度を、乗客の転倒危険度とする。また、転倒判定部26は、乗客の数が予め設定されている人数閾値Nth以上で乗客の密度が高い場合には、各乗客の転倒危険度をそれぞれ判定することは難しいので、レーザレーダ10に最も近い乗客の転倒危険度を判定する。 The fall determination unit 26 determines each passenger's fall risk, and sets the highest fall risk as the passenger's fall risk. Further, when the number of passengers is equal to or higher than the preset number threshold value Nth and the density of passengers is high, it is difficult for the fall determination unit 26 to determine the fall risk of each passenger. Determine the fall risk of the closest passenger.

位置推定部27は、レーザレーダ61、ミリ波レーダ62、超音波センサ63で検出したランドマークや、通信アンテナ64で受信したGPS信号を用いて、地図上の車両100の位置を推定する。ルート設定部28は、位置推定部27により推定された地図上の位置から目的地までの走行ルートを設定する。行動計画部29は、ルート設定部28により設定された走行ルート上の公道での交通ルールを参照し、交通ルールに従った走行計画を立てる。 The position estimation unit 27 estimates the position of the vehicle 100 on the map by using the landmarks detected by the laser radar 61, the millimeter wave radar 62, and the ultrasonic sensor 63, and the GPS signal received by the communication antenna 64. The route setting unit 28 sets a traveling route from the position on the map estimated by the position estimation unit 27 to the destination. The action planning unit 29 refers to the traffic rules on the public road on the travel route set by the route setting unit 28, and makes a travel plan according to the traffic rules.

車両制御部30は、車両100が行動計画部29により立てられた走行計画に沿って走行した際に、転倒判定部26により判定された転倒危険度が、危険閾値Dthを超える場合には、加減速度を低減させるように、目標生成部25により生成された走行制御目標を変更する。さらに、車両制御部30は、車両100が走行計画に沿って走行した際に、転倒危険度が危険閾値Dthを超える場合には、「安全のために着座してください」や「安全のためにおつかまりください」などのアナウンスを、スピーカ15から出力してもよい。 The vehicle control unit 30 adjusts when the vehicle 100 travels according to the travel plan established by the action planning unit 29 and the fall risk determined by the fall determination unit 26 exceeds the danger threshold Dth. The travel control target generated by the target generation unit 25 is changed so as to reduce the speed. Further, when the vehicle 100 travels according to the travel plan and the fall risk exceeds the danger threshold Dth, the vehicle control unit 30 may say "Please sit down for safety" or "For safety." An announcement such as "Please grab" may be output from the speaker 15.

また、車両制御部30は、車両100が行動計画部29により立てられた走行計画に沿って走行した際に、転倒判定部26により判定された転倒危険度が、安全閾値Sth未満となる場合には、加減速度を増加させるように、目標生成部25により生成された走行制御目標を変更する。安全閾値Sthは、危険閾値Dthよりも小さい値である。本実施形態では、車両制御部30が、変更部及び出力部に相当する。 Further, when the vehicle 100 travels according to the travel plan set by the action planning unit 29, the vehicle control unit 30 determines that the fall risk determined by the fall determination unit 26 is less than the safety threshold value Sth. Changes the travel control target generated by the target generation unit 25 so as to increase the acceleration / deceleration. The safety threshold Sth is a value smaller than the danger threshold Dth. In the present embodiment, the vehicle control unit 30 corresponds to the change unit and the output unit.

制御量算出部31は、車両100が走行制御目標量及び走行計画に沿って走行するように、車両100の各種制御量を算出し、算出した各種制御量を各種ECU300へ出力する。詳しくは、制御量算出部31は、車両100の駆動量、制動量、及び操舵角を算出し、モータECU、ブレーキECU、操舵ECUなどへ出力する。なお、本実施形態では、車両の走行制御システムは、ECU20と、レーザレーダ10A,10B、とを含んで構成されている。 The control amount calculation unit 31 calculates various control amounts of the vehicle 100 so that the vehicle 100 travels according to the travel control target amount and the travel plan, and outputs the calculated various control amounts to the various ECUs 300. Specifically, the control amount calculation unit 31 calculates the drive amount, the braking amount, and the steering angle of the vehicle 100 and outputs them to the motor ECU, the brake ECU, the steering ECU, and the like. In the present embodiment, the vehicle travel control system includes the ECU 20 and the laser radars 10A and 10B.

<2.処理>
次に、走行制御目標を生成する処理手順について、図5のフローチャートを参照して説明する。本処理手順は、レーザレーダ10、認識部22、測定部23、モデル作成部24、及び目標生成部25が、所定の周期で実行する。
<2. Processing>
Next, the processing procedure for generating the travel control target will be described with reference to the flowchart of FIG. This processing procedure is executed by the laser radar 10, the recognition unit 22, the measurement unit 23, the model creation unit 24, and the target generation unit 25 at a predetermined cycle.

まず、ステップS10では、レーザレーダ10により、乗客の頭から足先までの断面形状を検出する。ここでは、各乗客の断面形状を検出する。
続いて、ステップS20では、ステップS10で検出した乗客の断面形状から断面積を算出し、算出した断面積に着衣を考慮した人体の密度を乗じて、乗客の質量Mを算出するとともに、乗客の体の重心位置Gc(Lx,Ly,H)を算出する。人体の密度は、着衣を考慮した人体の平均的な密度である。また、Lxはx方向での乗客の重心と足とのオフセット、Lyはy方向での乗客の重心と足とオフセット、Hは乗客の重心高である。
First, in step S10, the laser radar 10 detects the cross-sectional shape of the passenger from the head to the toes. Here, the cross-sectional shape of each passenger is detected.
Subsequently, in step S20, the cross-sectional area is calculated from the cross-sectional shape of the passenger detected in step S10, and the calculated cross-sectional area is multiplied by the density of the human body in consideration of clothing to calculate the mass M of the passenger and the passenger's mass M. The position of the center of gravity of the body Gc (Lx, Ly, H) is calculated. The density of the human body is the average density of the human body considering clothing. Lx is the offset between the passenger's center of gravity and the foot in the x direction, Ly is the passenger's center of gravity and the foot and the offset in the y direction, and H is the height of the passenger's center of gravity.

続いて、ステップS30では、検出した乗客の断面形状及び算出した重心位置Gc(H,L)から、乗客が立っているか、座っているかを判定する。また、乗客が立っている場合には、ポール70を把持しないで独立して立っているか、ポール70を把持して体を支えているかを判定する。ステップS30において、乗客が立っていると判定した場合は、ステップS40へ進む。一方、ステップS30において、乗客が座っていると判定した場合は、ステップS50へ進む。 Subsequently, in step S30, it is determined whether the passenger is standing or sitting from the detected cross-sectional shape of the passenger and the calculated center of gravity position Gc (H, L). When the passenger is standing, it is determined whether the passenger is standing independently without gripping the pole 70 or holding the pole 70 to support the body. If it is determined in step S30 that the passenger is standing, the process proceeds to step S40. On the other hand, if it is determined in step S30 that the passenger is sitting, the process proceeds to step S50.

ステップS40では、乗客が独立して立っている場合と、乗客がポール70を把持している場合とで分けて、立位の物理モデルを生成する。まず、乗客が独立して立っている場合の物理モデルについて図6及び図7を参照して説明する。ここでは、車両100の進行方向をx方向、進行方向に直交する方向をy方向とする。図6はx方向の物理モデルを示し、図7はy方向の物理モデルを示す。 In step S40, a standing physical model is generated separately for the case where the passenger is standing independently and the case where the passenger is holding the pole 70. First, a physical model when passengers are standing independently will be described with reference to FIGS. 6 and 7. Here, the traveling direction of the vehicle 100 is the x direction, and the direction orthogonal to the traveling direction is the y direction. FIG. 6 shows a physical model in the x direction, and FIG. 7 shows a physical model in the y direction.

図6に示すように、車両100が直進方向に運動した場合、x方向の床との接点周りの運動方程式は式(1),(2)のように表される。αvx[m/s2]は、車両100のx方向の加速度、αmx[m/s2]は重心位置Gcのx方向の重心加速度、Rxはxz平面上の重心位置Gcから足元までの距離、θxはxz平面上の重心位置Gcと足元の角度、Tmx[Nm]はxz平面上の転倒抗トルクである。 As shown in FIG. 6, when the vehicle 100 moves in the straight direction, the equation of motion around the contact point with the floor in the x direction is expressed as equations (1) and (2). αvx [m / s 2 ] is the acceleration of the vehicle 100 in the x direction, αmx [m / s 2 ] is the acceleration of the center of gravity in the x direction of the center of gravity position Gc, and Rx is the distance from the center of gravity position Gc on the xz plane to the feet. θx is the position of the center of gravity Gc on the xz plane and the angle of the feet, and Tmx [Nm] is the overturning resistance torque on the xz plane.

Figure 0006848533
Figure 0006848533

Figure 0006848533
Figure 0006848533

そして、式(1),(2)から、式(3)に示す物理モデルが生成される。この物理モデルは、車両100のx方向の運動に応じて、重心位置Gcが移動することを表している。式(3)に含まれる変数のうち、M、H、Lxは、ステップS20で算出されている。 Then, from the equations (1) and (2), the physical model shown in the equation (3) is generated. This physical model shows that the position of the center of gravity Gc moves according to the movement of the vehicle 100 in the x direction. Of the variables included in the equation (3), M, H, and Lx are calculated in step S20.

Figure 0006848533
Figure 0006848533

また、車両100が旋回し横方向にも運動した場合、y方向の床との接点周りの運動方程式は式(1),(2)と同様に表され、物理モデルは式(4)で表される。この物理モデルは、車両100のy方向の運動に応じて、重心位置Gcが移動することを表している。αvy[m/s2]は、車両100のy方向の加速度、αmy[m/s2]は重心位置Gcのy方向の加速度、Ryはyz平面上の重心位置Gcから足元までの距離、θyはyx平面上の重心位置Gcと足元の角度、Tmy[Nm]はyz平面上の転倒抗トルクである。 Further, when the vehicle 100 turns and moves in the lateral direction, the equation of motion around the contact point with the floor in the y direction is expressed in the same manner as in equations (1) and (2), and the physical model is expressed in equation (4). Will be done. This physical model shows that the position of the center of gravity Gc moves according to the movement of the vehicle 100 in the y direction. αvy [m / s 2 ] is the acceleration of the vehicle 100 in the y direction, αmy [m / s 2 ] is the acceleration of the center of gravity position Gc in the y direction, Ry is the distance from the center of gravity position Gc on the yz plane to the feet, θy. Is the position of the center of gravity Gc on the yx plane and the angle of the feet, and Tmy [Nm] is the overturning resistance torque on the yz plane.

Figure 0006848533
Figure 0006848533

次に、乗客がポール70を把持している場合の物理モデルについて図8を参照して説明する。図8はx方向の物理モデルを示す。乗客を剛体として取り扱うと、乗客が独立して立っている場合は、乗客の自由度は回転のみの1であるが、乗客がポール70を把持している場合は、乗客の自由度は0となる。よって、乗客がポール70を把持している場合のx方向の物理モデルは、車両100のx方向の運動に応じて重心位置Gcが移動しないモデルとなる。同様に、乗客がポール70を把持している場合のy方向の物理モデルも、車両100のy方向の運動に応じて重心位置Gcが移動しないモデルとなる。なお、乗客がポール70を把持している場合は、レーザレーダ10によりその乗客を継続して検出し、その乗客がポール70を離した場合に、乗客が独立して立っている場合の物理モデルを生成する。 Next, a physical model when the passenger is holding the pole 70 will be described with reference to FIG. FIG. 8 shows a physical model in the x direction. When the passenger is treated as a rigid body, when the passenger stands independently, the degree of freedom of the passenger is only 1 for rotation, but when the passenger is holding the pole 70, the degree of freedom of the passenger is 0. Become. Therefore, the physical model in the x direction when the passenger is holding the pole 70 is a model in which the center of gravity position Gc does not move in response to the movement of the vehicle 100 in the x direction. Similarly, the physical model in the y direction when the passenger is holding the pole 70 is also a model in which the center of gravity position Gc does not move in response to the movement of the vehicle 100 in the y direction. When the passenger is holding the pole 70, the laser radar 10 continuously detects the passenger, and when the passenger releases the pole 70, the physical model when the passenger stands independently. To generate.

また、ステップS50では、乗客の座位の物理モデルを生成する。乗客が座っている場合も、乗客がポール70を把持している場合と同様に、乗客の自由度は0となる。よって、乗客が座っている場合のx方向及びy方向の物理モデルも、車両100のx方向及びy方向の運動に応じて重心位置Gcが移動しないモデルとなる。 Further, in step S50, a physical model of the passenger's sitting position is generated. Even when the passenger is sitting, the degree of freedom of the passenger is 0 as in the case where the passenger is holding the pole 70. Therefore, the physical model in the x-direction and the y-direction when the passenger is sitting is also a model in which the center of gravity position Gc does not move according to the movement of the vehicle 100 in the x-direction and the y-direction.

続いて、ステップS60では、車両100が運動した際の乗客の応答を測定する。すなわち、車両100の運動に応じた乗客の姿勢の移動を測定する。詳しくは、車両100が加減速度αvx,αvyで発進した際に、乗客の重心位置Gcの移動を測定する。そして、測定した重心位置Gcの移動から、重心加速度αmx,αmyを算出する。 Subsequently, in step S60, the response of the passenger when the vehicle 100 moves is measured. That is, the movement of the passenger's posture according to the movement of the vehicle 100 is measured. Specifically, when the vehicle 100 starts at acceleration / deceleration αvx and αvy, the movement of the center of gravity position Gc of the passenger is measured. Then, the center of gravity accelerations αmx and αmy are calculated from the movement of the measured center of gravity position Gc.

続いて、ステップS70では、ステップS60で測定した乗客の応答を用いて、式(3)及び(4)に示す物理モデルを同定する。このとき、車両100の乗客の数が人数閾値Nth未満の場合、いわゆる「すし詰め」状態でない場合は、ステップS60で測定した姿勢の移動が最も大きい乗客、つまり、重心位置Gcの移動量が最も大きい乗客を観察対象とする。また、車両100の乗客の数が人数閾値Nth以上の場合、いわゆる「すし詰め」状態の場合は、レーザレーダ10に最も近く検出しやすい乗客を観察対象とする。乗客の数は、開閉ドア52を出入りする人数や、車両100のトルクに対する加速力などから、見積もることができる。車両100のトルクに対する加速力は、乗客の数が多いほど小さくなる。 Subsequently, in step S70, the physical model represented by the equations (3) and (4) is identified using the passenger response measured in step S60. At this time, if the number of passengers in the vehicle 100 is less than the number threshold value Nth, or if it is not in the so-called “squeezed” state, the passenger with the largest movement of the posture measured in step S60, that is, the movement amount of the center of gravity position Gc is the largest. Observe passengers. Further, when the number of passengers in the vehicle 100 is equal to or greater than the number threshold value Nth, or in the so-called "squeezed" state, the passenger closest to the laser radar 10 and easily detected is targeted for observation. The number of passengers can be estimated from the number of passengers entering and exiting the opening / closing door 52, the accelerating force with respect to the torque of the vehicle 100, and the like. The acceleration force with respect to the torque of the vehicle 100 decreases as the number of passengers increases.

そして、観察対象の物理モデルを同定する。詳しくは、式(3)及び(4)に、質量M、重心位置Gc(Lx,Ly,H)、ステップS60での加速度αvx,αvy、及び、ステップS60で算出した重心加速度αmx,αmyを代入し、転倒抗トルクTmx,Tmyを算出する。これにより、式(3)及び(4)の物理モデルに含まれる変数のうち、M、H、Lx、Ly、Tmx、Tmyが決まる。よって、式(3)及び(4)の物理モデルは、それぞれ、車両100の加速度αvx,αvyと、観察対象の重心位置Gcの重心加速度αmx,αmxとの相関を表す式となる。そして、重心加速度αmx,αmyをそれぞれ時間で2重積分すると、重心位置Gcのx方向の移動量ΔGx及びy方向の移動量ΔGyとなる。したがって、式(3)及び(4)の物理モデルは、加速度αvx,αvyに対する、重心位置Gcの移動量ΔGx,ΔGyを表す式となる。 Then, the physical model to be observed is identified. Specifically, the mass M, the center of gravity position Gc (Lx, Ly, H), the acceleration αvx, αvy in step S60, and the center of gravity acceleration αmx, αmy calculated in step S60 are substituted into the equations (3) and (4). Then, the fall resistance torques Tmx and Tmy are calculated. As a result, among the variables included in the physical models of the equations (3) and (4), M, H, Lx, Ly, Tmx, and Tmy are determined. Therefore, the physical models of the equations (3) and (4) are equations expressing the correlation between the accelerations αvx and αvy of the vehicle 100 and the center of gravity accelerations αmx and αmx of the center of gravity position Gc of the observation target, respectively. Then, when the center of gravity accelerations αmx and αmy are double-integrated with respect to time, the movement amount ΔGx in the x direction and the movement amount ΔGy in the y direction of the center of gravity position Gc are obtained. Therefore, the physical models of the equations (3) and (4) are equations expressing the amount of movement ΔGx, ΔGy of the center of gravity position Gc with respect to the acceleration αvx, αvy.

なお、観測対象がポール70を把持している場合、及び観測対象が座っている場合は、x方向及びy方向の物理モデルは、車両100の加速度αvx,αvyに関わらず、移動量ΔGx,ΔGy=0となる。 When the observation target holds the pole 70 and the observation target is sitting, the physical models in the x and y directions move in the movement amounts ΔGx and ΔGy regardless of the acceleration αvx and αvy of the vehicle 100. = 0.

続いて、ステップS80では、ステップS70で同定した物理モデルから、車両100の運動に応じた観測対象の重心位置Gcの変化を予想する。そして、予想した重心位置Gcの変化が、所定の条件を満たすように、車両100の加速度αvx,αvyの最大値を算出して、車両100の最大ヨーレート及び最大加減速値を算出する。 Subsequently, in step S80, the change in the position of the center of gravity Gc of the observation target according to the movement of the vehicle 100 is predicted from the physical model identified in step S70. Then, the maximum values of the accelerations αvx and αvy of the vehicle 100 are calculated so that the predicted change in the center of gravity position Gc satisfies a predetermined condition, and the maximum yaw rate and the maximum acceleration / deceleration value of the vehicle 100 are calculated.

ここで、所定の条件は、観測対象が体の揺れを不快に感じる可能性が低いこと、及び、観測対象の転倒リスクが低いことの少なくとも一方である。図9に示すように、観測対象の重心位置Gcを床面55に射影した位置である射影位置(Lx,Ly)が、予め設定された所定範囲に収まる場合に、観測対象が体の揺れを不快に感じる可能性が低くなる。所定範囲は、観測対象の左右の足裏が接触している床面55の接触面Pfを含み、左右の足裏の輪郭に外接した方形状の面である着地面Rfである。例えば、図10に示すように、着地面Rfは、観測対象の足裏の長さFtxと、左右の足を開いた幅Ftyとを2辺の長さとする方形の面である。この場合、|Lx|<Ftxかつ|Ly|<Ftyであれば、転倒リスクが低くなる。 Here, the predetermined conditions are at least one of the fact that the observation target is unlikely to feel uncomfortable with the shaking of the body and that the observation target has a low risk of falling. As shown in FIG. 9, when the projection position (Lx, Ly), which is the position where the center of gravity position Gc of the observation target is projected on the floor surface 55, falls within a predetermined range set in advance, the observation target shakes the body. You are less likely to feel uncomfortable. The predetermined range includes the contact surface Pf of the floor surface 55 in which the left and right soles of the observation target are in contact with each other, and is a landing Rf which is a rectangular surface circumscribing the contours of the left and right soles. For example, as shown in FIG. 10, the landing Rf is a square surface having two sides, the length Ftx of the sole of the foot to be observed and the width Fty with the left and right feet open. In this case, if | Lx | <Ftx and | Ly | <Fty, the risk of falling is low.

また、観測対象の重心位置Gcの移動量ΔGc=(ΔGx2+ΔGy21/2が、予め設定された移動閾値ΔGth未満となる場合に、観測対象の転倒リスクが低くなる。よって、(A)射影位置(Lx,Ly)が着地面Rf内に収まること、及び、(B)移動量ΔGcが移動閾値ΔGth未満となること、の2つの条件のうちの少なくとも一方を満たすように、車両100の最大ヨーレート及び最大加減速値を算出する。ただし、ステップS10において、レーザレーダ10により乗客が検出されていない場合は、乗客がいる場合の最大加減速値よりも最大加減速値を大きな値に生成する。 Further, when the movement amount ΔGc = (ΔGx 2 + ΔGy 2 ) 1/2 of the center of gravity position Gc of the observation target is less than the preset movement threshold value ΔGth, the risk of the observation target falling is reduced. Therefore, at least one of the two conditions (A) that the projection position (Lx, Ly) is within the landing Rf and (B) that the movement amount ΔGc is less than the movement threshold value ΔGth is satisfied. In addition, the maximum yaw rate and the maximum acceleration / deceleration value of the vehicle 100 are calculated. However, if no passengers are detected by the laser radar 10 in step S10, the maximum acceleration / deceleration value is generated to a value larger than the maximum acceleration / deceleration value when there are passengers.

続いて、ステップS90では、ステップS80で算出した最大ヨーレート及び最大加減速値を走行制御目標へ反映させて、走行制御目標を生成する。すなわち、ヨーレートの目標を最大ヨーレート以下にし、加減速値の目標を最大加減速値以下にする。以上で本処理を終了する。 Subsequently, in step S90, the maximum yaw rate and the maximum acceleration / deceleration value calculated in step S80 are reflected in the travel control target to generate the travel control target. That is, the yaw rate target is set to the maximum yaw rate or less, and the acceleration / deceleration value target is set to the maximum acceleration / deceleration value or less. This is the end of this process.

本実施形態では、ステップS20の処理が認識部22の機能が実行する処理に相当し、ステップS30〜S50及びS70の処理がモデル作成部24の機能が実行する処理に相当する。また、ステップS60の処理が測定部23の機能が実行する処理に相当し、ステップS80及びS90の処理が目標生成部25の機能が実行する処理に相当する。 In the present embodiment, the process of step S20 corresponds to the process executed by the function of the recognition unit 22, and the processes of steps S30 to S50 and S70 correspond to the process executed by the function of the model creation unit 24. Further, the process of step S60 corresponds to the process executed by the function of the measuring unit 23, and the processes of steps S80 and S90 correspond to the process executed by the function of the target generation unit 25.

<3.効果>
以上説明した本実施形態によれば、以下の効果が得られる。
(1)測定された重心位置Gcの移動に基づいて、2つの条件(A),(B)のうちの少なくとも一方を満たすように、車両の走行制御目標が生成される。これにより、乗客の乗車状況に応じて、最適な走行制御を行うことができる。
<3. Effect>
According to the present embodiment described above, the following effects can be obtained.
(1) Based on the measured movement of the center of gravity position Gc, a travel control target of the vehicle is generated so as to satisfy at least one of the two conditions (A) and (B). As a result, optimum traveling control can be performed according to the passenger's riding condition.

(2)着地面Rfを乗客の左右の足裏の輪郭に外接した方形状の面とし、射影位置Pfを着地面Rf内に収めることで、乗客の姿勢の揺れを不快に感じない範囲に抑制することができる。 (2) By making the landing Rf a square surface circumscribing the contours of the left and right soles of the passenger and keeping the projection position Pf within the landing Rf, the fluctuation of the passenger's posture is suppressed within a range that does not feel unpleasant. can do.

(3)乗客の姿勢及び重心位置Gcの移動から、車両100の運動に対してどの程度、重心位置Gcが移動するかを予想する乗客の物理モデルが作成される。そして、作成された物理モデルから、車両100の運動に応じた重心位置Gcの変化が予想される。さらに、予想された重心位置Gcの変化を用いて、2つの条件(A),(B)のうちの少なくとも一方を満たすように走行制御目標が生成される。よって、車両が走行した場合の乗客の姿勢の揺れを事前に予想できるため、乗客の姿勢の揺れを抑制した、快適な走行制御を行うことができる。 (3) From the posture of the passenger and the movement of the position of the center of gravity Gc, a physical model of the passenger is created to predict how much the position of the center of gravity Gc will move with respect to the movement of the vehicle 100. Then, from the created physical model, it is expected that the position of the center of gravity Gc will change according to the movement of the vehicle 100. Further, the travel control target is generated so as to satisfy at least one of the two conditions (A) and (B) by using the predicted change in the center of gravity position Gc. Therefore, since it is possible to predict in advance the fluctuation of the passenger's posture when the vehicle travels, it is possible to perform comfortable traveling control while suppressing the fluctuation of the passenger's posture.

(4)乗客がポール70を把持している場合は、車両100が運動しても、乗客の体が固定されており、重心位置Gcが移動しないと見なすことができる。よって、ポール70を把持している乗客の物理モデルは、独立して立っている乗客の物理モデルとは別に作成することにより、乗客の姿勢の揺れを精度良く予想することができる。 (4) When the passenger is holding the pole 70, it can be considered that the passenger's body is fixed and the center of gravity position Gc does not move even if the vehicle 100 moves. Therefore, by creating the physical model of the passenger holding the pole 70 separately from the physical model of the passenger standing independently, it is possible to accurately predict the fluctuation of the posture of the passenger.

(5)車室内の乗客の数が人数閾値Nth未満の場合には、重心位置Gcの移動が最も大きい乗客を観察対象とすることで、車両100の運動に対する抗力が最も小さい乗客でも姿勢の揺れが小さくなるように、車両100の走行制御を行うことができる。ひいては、車両100の乗客全員の姿勢の揺れが小さくなるように、車両100の走行制御を行うことができる。 (5) When the number of passengers in the passenger compartment is less than the number threshold Nth, the passenger with the largest movement of the center of gravity position Gc is targeted for observation, so that even the passenger with the smallest resistance to the movement of the vehicle 100 shakes his / her posture. The traveling control of the vehicle 100 can be performed so that As a result, the traveling control of the vehicle 100 can be performed so that the posture fluctuation of all the passengers of the vehicle 100 is reduced.

(6)車室内の乗客の数が人数閾値Nth以上の場合は、乗客同士が密着しているため、重心位置Gcの移動が最も大きい乗客を見つけるのは難しい。しかしながら、乗客同士が密着しているため、車両100の運動に対する抗力の小さい乗客がいても、他の乗客が支えになって姿勢が揺れにくい。よって、この場合は、レーザレーダ10に最も近く観測しやすい乗客を観測対象とすることで、十分に快適な車両100の走行制御を行うことができる。 (6) When the number of passengers in the passenger compartment is equal to or greater than the number threshold value Nth, it is difficult to find the passenger with the largest movement of the center of gravity position Gc because the passengers are in close contact with each other. However, since the passengers are in close contact with each other, even if there is a passenger who has a small drag against the movement of the vehicle 100, the other passengers support the passenger and the posture is less likely to shake. Therefore, in this case, by targeting the passenger who is closest to the laser radar 10 and is easy to observe, the traveling control of the vehicle 100 can be sufficiently comfortable.

(7)乗客の転倒危険度が危険閾値Dthよりも高い場合には、生成された走行制御目標の最大加減速値が低減される。これにより、乗客が転倒しないような車両100の走行を実現することができる。 (7) When the passenger's fall risk is higher than the danger threshold Dth, the maximum acceleration / deceleration value of the generated driving control target is reduced. As a result, it is possible to realize the traveling of the vehicle 100 so that the passenger does not fall.

(8)乗客の転倒危険度が安全閾値Sthよりも低い場合には、生成された走行制御目標の最大加減速値が増加される。これにより、円滑な車両100の走行を実現することができる。 (8) When the passenger's fall risk is lower than the safety threshold Sth, the maximum acceleration / deceleration value of the generated driving control target is increased. As a result, smooth running of the vehicle 100 can be realized.

(9)車室内に乗客が検出されなかった場合には、車室内に乗客が検出された場合よりも、最大加減速値が大きな値に生成される。これにより、円滑な車両100の運行を実現することができる。 (9) When no passengers are detected in the passenger compartment, the maximum acceleration / deceleration value is generated to a larger value than when passengers are detected in the passenger compartment. As a result, smooth operation of the vehicle 100 can be realized.

(10)乗客の転倒危険度が危険閾値Dth以上の場合には、シート40への着座やポール70の把持を促すアナウンスを出力することにより、乗客に自主的に転倒を抑制してもらうことができる。 (10) When the passenger's fall risk is equal to or higher than the risk threshold Dth, the passenger can voluntarily suppress the fall by outputting an announcement prompting the passenger to sit on the seat 40 or hold the pole 70. it can.

(11)レーザレーダ10又は複眼カメラを用いることで、乗客の断面形状を計測することができる。
(12)複数のレーザレーダ10又は複眼カメラを、車室内の異なる側面に取り付けることにより、乗客の断面形状を計測しやすい。
(11) By using the laser radar 10 or the compound eye camera, the cross-sectional shape of the passenger can be measured.
(12) By attaching a plurality of laser radars 10 or compound eye cameras to different side surfaces in the vehicle interior, it is easy to measure the cross-sectional shape of a passenger.

(13)複数のレーザレーダ10又は複眼カメラを、車室内の対向する2つの側面に取り付けることにより、乗客の断面形状を精度良く計測することができる。ひいては、乗客の物理モデルを精度良く作成することができる。 (13) By attaching a plurality of laser radars 10 or compound eye cameras to two opposing side surfaces in the vehicle interior, the cross-sectional shape of a passenger can be measured with high accuracy. As a result, the physical model of the passenger can be created with high accuracy.

(他の実施形態)
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。
(Other embodiments)
Although the embodiment for carrying out the present invention has been described above, the present invention is not limited to the above-described embodiment and can be implemented in various modifications.

(a)上記実施形態では、測定した観測対象の姿勢の移動に基づいて、観測対象の物理モデルを作成し、作成した物理モデルを用いて、走行制御目標を作成したが、これに限定されるものではない。測定した観測対象の姿勢の移動に基づいて、上記(A)及び(B)の2つの条件のうちの少なくとも一方を満たすように、走行制御目標のフィードバック制御を行ってもよい。フィードバック制御の実行をするにつれて、乗客の姿勢の揺れを抑制した、快適な走行制御を行うことができる。走行制御目標のフィードバック制御を実行する場合も、乗客の転倒危険度に応じて、生成された走行制御目標を変更するようにしてもよい。 (A) In the above embodiment, a physical model of the observation target is created based on the movement of the measured posture of the observation target, and a traveling control target is created using the created physical model, but the present invention is limited to this. It's not a thing. Based on the measured movement of the posture of the observation target, feedback control of the travel control target may be performed so as to satisfy at least one of the above two conditions (A) and (B). As the feedback control is executed, it is possible to perform comfortable driving control that suppresses the fluctuation of the passenger's posture. When the feedback control of the travel control target is also executed, the generated travel control target may be changed according to the fall risk of the passenger.

(b)乗客の姿勢の移動として、重心位置Gc以外の部分の移動を測定してもよい。特に、走行制御目標のフィードバック制御を行う場合は、乗客の姿勢の移動として、乗客の体の解放端部の移動を測定するとよい。解放端部は、乗客の頭の先端や肩など、体の中で揺れが大きい部分である。体の比較的揺れの強い部分である解放端部の移動を測定することで、フィードバック制御を精度良く実行することができる。 (B) As the movement of the passenger's posture, the movement of a portion other than the center of gravity position Gc may be measured. In particular, when feedback control of a travel control target is performed, it is preferable to measure the movement of the open end of the passenger's body as the movement of the passenger's posture. The open end is the part of the body that sways significantly, such as the tip of the passenger's head or shoulders. Feedback control can be performed with high accuracy by measuring the movement of the open end, which is a relatively strong part of the body.

(c)レーザレーダ又は複眼カメラを、車室内の4つの側面のうちの3つ以上の側面に、それぞれ取り付けてもよい。また、レーザレーダと複眼カメラを併用してもよい。あるいは、レーザレーダと単眼カメラを併用してもよいし、複眼カメラと単眼カメラを併用してもよい。 (C) A laser radar or a compound eye camera may be attached to three or more of the four sides of the vehicle interior. Moreover, you may use a laser radar and a compound eye camera together. Alternatively, the laser radar and the monocular camera may be used together, or the compound eye camera and the monocular camera may be used together.

(d)車両100は、電自動車に限らず、エンジン自動車でもよいし、ハイブリッド自動車でもよい。
(e)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(D) The vehicle 100 is not limited to an electric vehicle, but may be an engine vehicle or a hybrid vehicle.
(E) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. In addition, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified only by the wording described in the claims are embodiments of the present invention.

(f)上述した車両の走行制御システムの他、当該車両の走行制御システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、車両の走行制御方法など、種々の形態で本発明を実現することもできる。また、本開示は、自動運転ではない手動運転車両にも適応し、運転者に対して転倒危険性に対して、警報や注意を与える運転支援システムとして使用することもできる。 (F) In addition to the vehicle travel control system described above, a program for operating a computer as a vehicle travel control system, a non-transitional actual recording medium such as a semiconductor memory in which this program is recorded, and a vehicle travel control method. The present invention can also be realized in various forms such as. The present disclosure is also applicable to a manually driven vehicle that is not autonomously driven, and can also be used as a driving support system that gives an alarm or caution to the driver regarding the risk of falling.

10A,10B…レーザレーダ、20…ECU、100…車両。 10A, 10B ... laser radar, 20 ... ECU, 100 ... vehicle.

Claims (16)

車両(100)の車室内の乗客を検出するように構成されたセンサ(10A,10B)と、
前記センサによる検出結果から前記乗客の姿勢を認識するように構成された認識部(22,S20)と、
前記車両が運動した際に、前記認識部により認識された前記姿勢の移動を測定する測定部(23,S60)と、
前記乗客の重心位置を床面に射影した位置を射影位置とし、前記測定部により検出された前記姿勢の移動に基づいて、前記射影位置が予め設定された所定範囲に収まること、及び前記重心位置の移動量が予め設定された移動閾値未満となること、の2つの条件のうちの少なくとも一方を満たすように、前記車両の走行制御目標を生成するように構成された目標生成部(25,S80,S90)と、を備え、
前記目標生成は、前記車室内の乗客の数が、予め設定されている人数閾値未満の場合には、前記乗客のうち、前記姿勢の移動が最も大きい乗客を観察対象とし、前記観察対象が前記2つの条件のうちの少なくとも一方を満たすように、前記走行制御目標を生成するように構成されている、車両の走行制御システム。
Sensors (10A, 10B) configured to detect passengers in the passenger compartment of the vehicle (100), and
A recognition unit (22, S20) configured to recognize the posture of the passenger from the detection result by the sensor, and
A measuring unit (23, S60) that measures the movement of the posture recognized by the recognition unit when the vehicle moves, and a measuring unit (23, S60).
The position where the center of gravity of the passenger is projected onto the floor surface is defined as the projection position, and the projection position falls within a preset predetermined range based on the movement of the posture detected by the measurement unit, and the center of gravity position. The target generation unit (25, S80) configured to generate the travel control target of the vehicle so as to satisfy at least one of the two conditions that the movement amount of the vehicle is less than the preset movement threshold value. , S90), and
When the number of passengers in the passenger compartment is less than the preset number threshold value, the target generation unit targets the passenger with the largest movement of the posture among the passengers, and the observation target is the observation target. A vehicle travel control system configured to generate the travel control target so as to satisfy at least one of the two conditions.
前記目標生成部は、前記車室内の乗客の数が、前記人数閾値以上の場合には、前記センサに最も近い前記乗客を観察対象とし、前記観察対象が前記2つの条件のうちの少なくとも一方を満たすように、前記走行制御目標を生成するように構成されている、請求項1に記載の車両の走行制御システム。 The target generator, the number of the vehicle interior of the passenger, in the case of more than the number threshold, the observation object closest the occupant to the sensor, the observation target is at least one of the two conditions The vehicle travel control system according to claim 1, wherein the travel control target is configured to satisfy the requirements. 車両(100)の車室内の乗客を検出するように構成されたセンサ(10A,10B)と、
前記センサによる検出結果から前記乗客の姿勢を認識するように構成された認識部(22,S20)と、
前記車両が運動した際に、前記認識部により認識された前記姿勢の移動を測定する測定部(23,S60)と、
前記乗客の重心位置を床面に射影した位置を射影位置とし、前記測定部により検出された前記姿勢の移動に基づいて、前記射影位置が予め設定された所定範囲に収まること、及び前記重心位置の移動量が予め設定された移動閾値未満となること、の2つの条件のうちの少なくとも一方を満たすように、前記車両の走行制御目標を生成するように構成された目標生成部(25,S80,S90)と、を備え
前記目標生成部は、前記車室内の乗客の数が、予め設定されている人数閾値以上の場合には、前記センサに最も近い前記乗客を観察対象とし、前記観察対象が前記2つの条件のうちの少なくとも一方を満たすように、前記走行制御目標を生成するように構成されている、車両の走行制御システム。
Sensors (10A, 10B) configured to detect passengers in the passenger compartment of the vehicle (100), and
A recognition unit (22, S20) configured to recognize the posture of the passenger from the detection result by the sensor, and
A measuring unit (23, S60) that measures the movement of the posture recognized by the recognition unit when the vehicle moves, and a measuring unit (23, S60).
The position where the center of gravity of the passenger is projected onto the floor surface is defined as the projection position, and the projection position falls within a preset predetermined range based on the movement of the posture detected by the measurement unit, and the center of gravity position. The target generation unit (25, S80) configured to generate the travel control target of the vehicle so as to satisfy at least one of the two conditions that the movement amount of the vehicle is less than the preset movement threshold value. , and S90), equipped with a,
When the number of passengers in the vehicle interior is equal to or greater than a preset number threshold value, the target generation unit sets the passenger closest to the sensor as an observation target, and the observation target is one of the two conditions. A vehicle travel control system configured to generate said travel control targets to satisfy at least one of the above.
前記認識部により認識された前記乗客の姿勢、及び前記測定部により測定された前記姿勢の移動から、前記乗客の物理モデルを作成するように構成されたモデル作成部(24,S30〜S50,S70)を備え、
前記目標生成部は、前記モデル作成部によりされた前記物理モデルから、前記車両の運動に応じた前記乗客の重心位置の変化を予想し、予想結果を用いて、前記2つの条件のうちの少なくとも一方を満たすように、前記走行制御目標を生成するように構成されている、請求項1請求項3のいずれか1項に記載の車両の走行制御システム。
Modeling units (24, S30 to S50, S70) configured to create a physical model of the passenger from the posture of the passenger recognized by the recognition unit and the movement of the posture measured by the measuring unit. )
The target generation unit predicts a change in the position of the center of gravity of the passenger according to the movement of the vehicle from the physical model created by the model creation unit, and uses the prediction result to at least one of the two conditions. so as to satisfy one, the travel control target is configured to generate, according to claim 1 a vehicle running control system according to any one of claims 3.
車両(100)の車室内の乗客を検出するように構成されたセンサ(10A,10B)と、
前記センサによる検出結果から前記乗客の姿勢を認識するように構成された認識部(22,S20)と、
前記車両が運動した際に、前記認識部により認識された前記姿勢の移動を測定する測定部(23,S60)と、
前記乗客の重心位置を床面に射影した位置を射影位置とし、前記測定部により検出された前記姿勢の移動に基づいて、前記射影位置が予め設定された所定範囲に収まること、及び前記重心位置の移動量が予め設定された移動閾値未満となること、の2つの条件のうちの少なくとも一方を満たすように、前記車両の走行制御目標を生成するように構成された目標生成部(25,S80,S90)と、
前記認識部により認識された前記乗客の姿勢、及び前記測定部により測定された前記姿勢の移動から、前記乗客の物理モデルを作成するように構成されたモデル作成部(24,S30〜S50,S70)と、を備え、
前記目標生成部は、前記モデル作成部によりされた前記物理モデルから、前記車両の運動に応じた前記乗客の重心位置の変化を予想し、予想結果を用いて、前記2つの条件のうちの少なくとも一方を満たすように、前記走行制御目標を生成するように構成されている、車両の走行制御システム。
Sensors (10A, 10B) configured to detect passengers in the passenger compartment of the vehicle (100), and
A recognition unit (22, S20) configured to recognize the posture of the passenger from the detection result by the sensor, and
A measuring unit (23, S60) that measures the movement of the posture recognized by the recognition unit when the vehicle moves, and a measuring unit (23, S60).
The position where the center of gravity of the passenger is projected onto the floor surface is defined as the projection position, and the projection position falls within a preset predetermined range based on the movement of the posture detected by the measurement unit, and the center of gravity position. The target generation unit (25, S80) configured to generate the travel control target of the vehicle so as to satisfy at least one of the two conditions that the movement amount of the vehicle is less than the preset movement threshold value. , S90) and
Modeling units (24, S30 to S50, S70) configured to create a physical model of the passenger from the posture of the passenger recognized by the recognition unit and the movement of the posture measured by the measuring unit. ) And,
The target generation unit predicts a change in the position of the center of gravity of the passenger in response to the movement of the vehicle from the physical model created by the model creation unit, and uses the prediction result to at least one of the two conditions. A vehicle travel control system that is configured to generate said travel control targets to meet one or the other.
前記モデル作成部は、前記乗客が前記車室内に固定された支持部を把持している場合には、前記支持部を把持していない場合と異なる前記物理モデルを作成するように構成されている、請求項4又は請求項5に記載の車両の走行制御システム。 When the passenger holds the support portion fixed in the vehicle interior, the model creation unit is configured to create the physical model different from the case where the support portion is not held. , The vehicle travel control system according to claim 4 or 5. 前記目標生成部は、前記測定部により測定された前記姿勢の移動に基づいて、前記2つの条件のうちの少なくとも一方を満たすように、前記走行制御目標のフィードバック制御を行うように構成されている、請求項1請求項3のいずれか1項に記載の車両の走行制御システム。 The target generation unit is configured to perform feedback control of the travel control target so as to satisfy at least one of the two conditions based on the movement of the posture measured by the measurement unit. the vehicle travel control system according to any one of claims 1 to 3. 前記測定部は、前記姿勢の移動として、前記乗客の体の解放端部の移動を測定するように構成されている、請求項に記載の車両の走行制御システム。 The vehicle travel control system according to claim 7 , wherein the measuring unit is configured to measure the movement of the open end of the passenger's body as the movement of the posture. 前記所定範囲は、前記乗客の左右の足裏が接触している前記床面の接触面を含み、前記足裏の輪郭に外接した方形状の面である、請求項1〜請求項8のいずれか1項に記載の車両の走行制御システム。 Any of claims 1 to 8, wherein the predetermined range includes a contact surface of the floor surface in which the left and right soles of the passenger are in contact with each other, and is a rectangular surface circumscribing the contour of the sole. The vehicle travel control system according to item 1. 前記目標生成部により生成された前記走行制御目標に基づいて前記車両が走行した場合に、前記乗客が転倒する危険度である転倒危険度を判定する転倒判定部(26)と、
前記転倒判定部により判定された前記転倒危険度が予め設定されている危険閾値よりも高い場合に、加減速度を低減させるように前記走行制御目標を変更するように構成されて
いる変更部(30)と、を備える、請求項1〜のいずれか1項に記載の車両の走行制御システム。
When the vehicle travels based on the travel control target generated by the target generation unit, the fall determination unit (26) determines the fall risk, which is the risk of the passenger falling.
A change unit (30) configured to change the travel control target so as to reduce the acceleration / deceleration when the fall risk determined by the fall determination unit is higher than a preset risk threshold value. ), The vehicle travel control system according to any one of claims 1 to 9.
前記目標生成部により生成された前記走行制御目標に基づいて前記車両が走行した場合に、前記乗客が転倒する危険度である転倒危険度を判定する転倒判定部(26)と、
前記転倒判定部により判定された前記転倒危険度が予め設定されている安全閾値よりも低い場合に、加減速度を増加させるように前記走行制御目標を変更するように構成されている変更部(30)と、を備える、請求項1〜10のいずれか1項に記載の車両の走行制御システム。
When the vehicle travels based on the travel control target generated by the target generation unit, the fall determination unit (26) determines the fall risk, which is the risk of the passenger falling.
A change unit (30) configured to change the travel control target so as to increase the acceleration / deceleration when the fall risk determined by the fall determination unit is lower than a preset safety threshold value. ), The vehicle travel control system according to any one of claims 1 to 10.
前記目標生成部は、前記センサにより前記車室内に乗客が検出されなかった場合に、前記車室内に乗客が検出された場合よりも、加減速度が増加するように前記走行制御目標を生成するように構成されている、請求項1〜11のいずれか1項に記載の車両の走行制御システム。 The target generation unit generates the travel control target so that when the sensor does not detect a passenger in the vehicle interior, the acceleration / deceleration increases as compared with the case where a passenger is detected in the vehicle interior. The vehicle traveling control system according to any one of claims 1 to 11 , which is configured in the above. 前記目標生成部により生成された前記走行制御目標に基づいて前記車両が走行した場合に、前記乗客が転倒する危険度である転倒危険度を判定する転倒判定部(26)と、
前記転倒判定部により判定された前記転倒危険度が予め設定されている危険閾値よりも高い場合に、着座又は前記車室内に固定された支持部の把持を促すアナウンスを出力する出力部(30)と、を備える請求項1〜12のいずれか1項に記載の車両の走行制御システム。
When the vehicle travels based on the travel control target generated by the target generation unit, the fall determination unit (26) determines the fall risk, which is the risk of the passenger falling.
An output unit (30) that outputs an announcement prompting seating or gripping a support unit fixed in the vehicle interior when the fall risk determined by the fall determination unit is higher than a preset risk threshold value. The vehicle travel control system according to any one of claims 1 to 12, further comprising.
前記センサは、複眼カメラ及びレーザレーダの少なくとも一方を含む、請求項1〜13のいずれか1項に記載の車両の走行制御システム。 The vehicle travel control system according to any one of claims 1 to 13 , wherein the sensor includes at least one of a compound eye camera and a laser radar. 前記センサは、複数のセンサから構成されており、
前記複数のセンサは、前記車室内の4つの側面のうち、少なくとも2つの面に取り付けられている、請求項1〜14のいずれか1項に記載の車両の走行制御システム。
The sensor is composed of a plurality of sensors.
The vehicle travel control system according to any one of claims 1 to 14 , wherein the plurality of sensors are attached to at least two of the four sides of the vehicle interior.
前記2つの面は、前記車室内の4つの側面のうちの対向する面である、請求項15に記載の車両の走行制御システム。 The vehicle travel control system according to claim 15 , wherein the two surfaces are facing surfaces of the four side surfaces in the vehicle interior.
JP2017039447A 2017-03-02 2017-03-02 Vehicle driving control system Active JP6848533B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017039447A JP6848533B2 (en) 2017-03-02 2017-03-02 Vehicle driving control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017039447A JP6848533B2 (en) 2017-03-02 2017-03-02 Vehicle driving control system

Publications (2)

Publication Number Publication Date
JP2018144544A JP2018144544A (en) 2018-09-20
JP6848533B2 true JP6848533B2 (en) 2021-03-24

Family

ID=63589410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017039447A Active JP6848533B2 (en) 2017-03-02 2017-03-02 Vehicle driving control system

Country Status (1)

Country Link
JP (1) JP6848533B2 (en)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7157671B2 (en) * 2019-01-24 2022-10-20 本田技研工業株式会社 Vehicle control device and vehicle
JP7225895B2 (en) * 2019-02-20 2023-02-21 トヨタ自動車株式会社 car body structure
CN113557174A (en) * 2019-03-20 2021-10-26 索尼集团公司 Information processing apparatus, information processing method, movement control apparatus, and movement control method
US11383719B2 (en) 2019-05-09 2022-07-12 Lg Electronics Inc. Autonomous vehicle control method
JP7418268B2 (en) 2019-05-10 2024-01-19 株式会社アイシン In-vehicle fall prevention device and fall prevention information provision device
JP2021002272A (en) * 2019-06-24 2021-01-07 株式会社デンソー Vehicle control device and program
JP7461756B2 (en) 2020-02-25 2024-04-04 日野自動車株式会社 Vehicle control device and vehicle control method
JP7306303B2 (en) * 2020-03-23 2023-07-11 いすゞ自動車株式会社 judgment device
WO2021192526A1 (en) * 2020-03-27 2021-09-30 パイオニア株式会社 Information processing device, information processing method, information processing program, and storage medium
JP7450436B2 (en) 2020-03-31 2024-03-15 本田技研工業株式会社 Vehicle control device, vehicle control method, and program
JP7371588B2 (en) * 2020-08-24 2023-10-31 トヨタ自動車株式会社 vehicle safety equipment
JP7302554B2 (en) * 2020-09-03 2023-07-04 トヨタ自動車株式会社 stand-up vehicle
JP7276290B2 (en) * 2020-09-03 2023-05-18 トヨタ自動車株式会社 Vehicles and vehicle control systems
WO2023095196A1 (en) * 2021-11-24 2023-06-01 日本電気株式会社 Passenger monitoring device, passenger monitoring method, and non-transitory computer-readable medium
CN115610317A (en) * 2022-09-15 2023-01-17 浙江中车电车有限公司 Passenger flow guiding method and system for multi-compartment passenger carrying system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061205A (en) * 1999-08-20 2001-03-06 Mitsubishi Electric Corp Automatic train operating method
EP1527734A4 (en) * 2002-08-09 2009-04-15 Panasonic Corp Balance state analysis device
JP2010149767A (en) * 2008-12-25 2010-07-08 Mitsubishi Fuso Truck & Bus Corp Passenger monitor of vehicle
JP5997463B2 (en) * 2012-03-07 2016-09-28 綜合警備保障株式会社 Fall detection device and fall detection method
JP2016062414A (en) * 2014-09-19 2016-04-25 クラリオン株式会社 In-vehicle monitoring device and in-vehicle monitoring system

Also Published As

Publication number Publication date
JP2018144544A (en) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6848533B2 (en) Vehicle driving control system
JP6421714B2 (en) Vehicle control device
JP6668510B2 (en) Vehicle control system, vehicle control method, and vehicle control program
US10949656B2 (en) Information processing apparatus and information processing method
JP6888587B2 (en) Seat control device
JP4937656B2 (en) Vehicle collision control device
CN110023168B (en) Vehicle control system, vehicle control method, and vehicle control program
US11541781B2 (en) Methods and devices for vehicle safety mechanisms
JP6983127B2 (en) Driving force control device
KR101604805B1 (en) Weight measuring device for vehicle based on a camera and method thereof
JPWO2015011866A1 (en) Vehicle driving support apparatus and vehicle driving support method
JP7100998B2 (en) Vehicle controls, vehicle control methods, and programs
JP2016034810A (en) Vehicle control device
JP6959891B2 (en) Collision mitigation device
JP6747141B2 (en) Speed control device
CN115635890A (en) Method and system for a vehicle and non-transitory storage medium
JP2021068015A (en) Vehicle control device, vehicle control method, and program
CN112996692A (en) Occupant posture control method and occupant posture control device
JP2020032786A (en) Vehicle stop support apparatus
JP2019119342A (en) Vehicle control device
JP2014026332A (en) Emergency evacuation support device
JP2023101066A (en) vehicle control system
JP7096147B2 (en) Attention device
CN114771513A (en) Braking method, system and storage medium for automatic driving vehicle
WO2019244445A1 (en) Vehicle control system and vehicle control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190409

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210215

R151 Written notification of patent or utility model registration

Ref document number: 6848533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250