JP7204612B2 - 位置姿勢推定装置、位置姿勢推定方法及びプログラム - Google Patents

位置姿勢推定装置、位置姿勢推定方法及びプログラム Download PDF

Info

Publication number
JP7204612B2
JP7204612B2 JP2019144616A JP2019144616A JP7204612B2 JP 7204612 B2 JP7204612 B2 JP 7204612B2 JP 2019144616 A JP2019144616 A JP 2019144616A JP 2019144616 A JP2019144616 A JP 2019144616A JP 7204612 B2 JP7204612 B2 JP 7204612B2
Authority
JP
Japan
Prior art keywords
sensor
sub
sensors
amount
output value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019144616A
Other languages
English (en)
Other versions
JP2021025902A (ja
Inventor
学 西山
豊 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Original Assignee
Toshiba Corp
Toshiba Electronic Devices and Storage Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Electronic Devices and Storage Corp filed Critical Toshiba Corp
Priority to JP2019144616A priority Critical patent/JP7204612B2/ja
Priority to CN202010040631.1A priority patent/CN112345798B/zh
Priority to US16/811,084 priority patent/US11579612B2/en
Publication of JP2021025902A publication Critical patent/JP2021025902A/ja
Application granted granted Critical
Publication of JP7204612B2 publication Critical patent/JP7204612B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00Testing or calibrating of apparatus or devices covered by the preceding groups
    • G01P21/02Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Description

本発明の実施形態は、位置姿勢推定装置に関する。
車両の自動運転を行うためには、車両自体の位置姿勢推定が非常に重要である。車両周辺に搭載されたカメラを用いたVisual SLAM(Simultaneous Localization And Mapping)による自己位置推定技術が広く研究されている。1台のカメラによるVisual SLAMでは、実スケールがわからないため、速度センサの情報を取得してスケールを算出することがある。しかしながら、車両が低速度、例えば、時速1kmといった速度である場合には、速度センサの精度が低下し、位置姿勢推定の精度が低下してしまうといった問題がある。また、画像を用いる場合に限らず、スケールの推定が必要となる他の手法による位置姿勢推定においても同様の問題が挙げられる。
特開2014-115247号公報
本発明の実施形態は、精度の高い推定を実現する位置姿勢推定装置を提供する。
一実施形態によれば、位置姿勢推定装置は、副センサ入力部と、速度センサ状態判定部と、スケール推定部と、位置姿勢情報補正部と、を備える。副センサ入力部は、速度センサの出力値以外の情報に基づいて移動量に関する情報を取得する、副センサの出力を受け付ける。速度センサ状態判定部は、前記速度センサの出力値が信頼できるかを判定する。スケール推定部は、前記速度センサの出力値及び前記副センサの出力値のうち、少なくとも1つに基づいて移動量の大きさを推定する。位置姿勢情報補正部は、前記スケール推定部の推定した移動量の大きさに基づいて、位置姿勢情報を補正する。
一実施形態に係る位置姿勢推定装置の機能を示すブロック図。 一実施形態に係る位置姿勢推定装置の処理を示すフローチャート。 一実施形態に係る副センサの例を示す図。 一実施形態に係る副センサの例を示す図。 一実施形態に係る位置姿勢推定装置のハードウェア構成の一例を示す図。
図面を参照して、実施形態について説明する。
図1は、本実施形態に係る位置姿勢推定装置の機能を示すブロック図である。位置姿勢推定装置1は、速度センサ入力部10と、副センサ入力部12と、速度センサ状態判定部14と、副センサ選択部16と、スケール推定部18と、位置姿勢情報推定部20と、位置姿勢情報補正部22と、を備える。さらに、画像入力部24を備えていてもよい。位置姿勢推定装置1は、例えば、搭載されている車両の位置と姿勢とを推定する。以下の説明において、位置姿勢推定装置1は、自動車に搭載されているものとするが、これには限られず、車両の他、ロボット等に搭載されていてもよい。
速度センサ入力部10は、自動車の速度センサから速度情報を受け付ける。速度センサは、一般的なセンサであり、例えば、発光デバイスと受光デバイスとの間に車輪の動きに同期させたスリットを備えるものであってもよい。このような速度センサは検知可能な最小回転角度が決まっているため、低速、例えば、速度が毎時1km以下等になると正確な速度の取得が困難となる。このため、別のセンサから速度を推定し、より正確なスケール推定結果を用いて位置及び姿勢の推定を行う。
副センサ入力部12は、速度センサ以外のセンサである副センサの入力を受け付ける。ここで、副センサとは、速度を計測するために使用できる情報、例えば、画像情報等を取得可能なセンサを意味する。副センサは、例えば、超音波ソナー、車輪の回転量及びヨーレートを取得するセンサ、又は、車両に搭載されているカメラ等のセンサであり、車両の移動量に関する情報を取得する。
移動量に関する情報とは、当該情報から車両の移動量を取得できる情報を意味する。車両の移動とは、車両の前後方の移動はもちろん、左右方向の移動をも含む概念である。例えば、車輪の回転量とヨーレートが取得できると、タイヤの大きさ等の情報を用いて車両の移動量を算出できる。障害物等に対して適切なタイミングにおいて超音波又はパルス光等のToF(Time of Flight)を取得することにより、車両がどれだけ障害物等に対して移動したかを算出できる。このように、車両の移動量に関する情報とは、その情報を取得することにより、直接的又は間接的に車両の移動量を算出できる量のことを言う。
また、副センサ自体が取得した移動量に基づいて速度を求めてもよいし、速度情報そのものを取得してもよいし、又は、副センサ入力部12が副センサの出力値(例えば、移動量)に基づいて速度を求めてもよい。
副センサ入力部12は、例えば、副センサの種類ごとに1つ備えられてもよいし、副センサごとに1つ備えられてもよい。また、1つの副センサ入力部12が複数の副センサに対する入力を受け付けてもよい。図1に図示されるように、例えば、複数の副センサ入力部12が位置姿勢推定装置1に備えられる。
速度センサ状態判定部14は、速度センサが出力する速度値が所定の値(例えば、毎時1km)以下となっていないかを判定する。速度センサの出力値の精度が落ちる値を所定の値として、速度センサ状態判定部14は、速度センサが出力する値がこの所定の値以下となっている場合に、速度センサからの出力の信頼度が低いと判定する。
速度センサ状態判定部14は、上記のように、速度の値が所定値以下となった場合に基づいて信頼度の判定をしたが、これには限られない。例えば、速度とともに、他のパラメータを用いて判定してもよい。この判定は、ルールベースにより決定されてもよいし、機械学習により訓練されたニューラルネットワークモデルなどを用いてもよい。このモデルの訓練は、例えば、様々な条件下において各パラメータの値を記憶しておき、記憶したパラメータの値を入力すると、信頼度を出力するように実行される。この訓練は、教師あり学習によって実行されてもよいし、教師なし学習によって実行されてもよい。
副センサ選択部16は、速度センサの出力の信頼度が低いと判定される場合に、車両に搭載されているいずれかの副センサからの出力値を選択する。すなわち、副センサ入力部12のうち少なくとも1つを選択し、当該副センサ入力部12に接続されている副センサから、速度の値を取得して、これを速度値として出力する。
スケール推定部18は、各種センサから取得した情報に基づいて得られた速度の情報から、スケールを推定する。ここで、スケールとは、例えば、画像を用いて位置姿勢推定を行う場合に、画像内における距離と実際の距離とを紐付けるためのパラメータ(倍率)を示す。スケール推定部18は、例えば、速度センサ入力部10等から入力された速度の値に基づいてスケールを算出する。速度情報からのスケールの算出は、一般的に行われている手法を用いてもよい。
速度センサ状態判定部14が速度センサの値が信頼できないと判定した場合には、スケール推定部18は、副センサ選択部16が選択した副センサの出力に基づいて、スケールを推定する。スケール推定部18は、速度センサの値が信頼できず、かつ、副センサが複数備えられる場合には、複数の副センサのうち少なくとも1つの副センサの出力に基づいてスケールを推定する。副センサの出力を用いる場合も、それぞれの副センサの出力に対して一般的に利用されるアルゴリズム等を用いてスケールを推定する。
副センサ選択部16及びスケール推定部18の説明にあるように、速度センサの信頼度が低い場合には、副センサのうち少なくとも1つを選択してスケールを推定する。すなわち、副センサが複数備えられる場合には、2以上の副センサからの出力に基づいてスケールを推定してもよい。
位置姿勢情報推定部20は、例えば、位置姿勢情報を推定するために取得された画像の情報から、位置姿勢情報を推定する。位置姿勢情報とは、例えば、車両の位置の情報及び車両の姿勢の情報を含む情報である。本実施形態においては、車両の位置とは、あるタイミングにおける位置に対する相対位置、道路上・走行面・駐車面に対する位置、又は、地図上における位置等をも含む概念である。車両の姿勢とは、一般的な車両の姿勢(路面との傾き等)に加え、あるタイミングにおける車両の方向に対する相対的な車両の方向等をも含む概念である。
位置姿勢情報の推定は、副センサ以外のセンサにより取得されるものである。例えば、カメラにより取得された画像情報からVisual SLAMにより取得されたり、GPS(Global Positioning System)、IMU(Inertial Measurement Unit)等から取得されたりする情報から、車両の位置及び姿勢情報を推定する。これらの推定は、上記に限られず、その他の一般的に用いられている手法により行われてもよい。
位置姿勢情報補正部22は、位置姿勢情報推定部20が推定した車両の位置、姿勢の情報を、スケール推定部18が推定したスケールの値に基づいて補正する。より詳しくは、位置姿勢情報補正部22は、スケール推定部18が推定した速度センサよりも精度の高いスケールの値に基づいて、車両の位置情報と姿勢情報とを補正する。
画像入力部24は、実装の一例として示したものであり、位置姿勢情報を推定する際に用いられる情報を取得するセンサの入力を受け付ける。例えば、Visual SLAMを位置姿勢情報の推定に用いる場合には、画像入力部24は、画像センサが取得した画像情報の入力を受け付ける。この入力値に基づいて、位置姿勢情報推定部20が車両の位置、姿勢を推定する。速度センサの出力の信頼度が高い場合には、速度センサの出力値を用いることにより、車両の位置等を推定できる情報であってもよい。
なお、上記の説明及び図面は、一例として示したものであり、必ずしもこの構成に限られるものではない。例えば、速度センサ状態判定部14は、スケール推定部18に直接信頼度を出力する必要は無く、速度センサ入力部10又は副センサ選択部16を介してスケール選択を行うセンサを決定してもよい。例えば、速度センサの信頼度が低い場合には、速度センサ入力部10がスケール推定部18に速度値を出力しないようにしてもよい。また、同様の場合に、副センサ選択部16が速度センサの信頼度が低い旨をスケール推定部18に、選択された副センサの出力値と併せて通知してもよい。
また、副センサ選択部16が、副センサ入力部12からの出力値をスケール推定部18に出力することには限られない。すなわち、副センサ選択部16は、スイッチの役割をし、スケール推定部18と、選択された副センサ入力部12とを接続する手段であってもよい。言い換えると、スケール推定部18が直接的に副センサ入力部12からその出力値を入力されてもよい。
図2は、本実施形態に係る位置姿勢推定装置1における副センサを用いたスケール推定の処理の流れを示すフローチャートである。本フローチャートを用いて、スケール推定の処理について説明する。
まず、速度センサ入力部10を介して、速度センサの出力する速度値を取得する(S100)。この速度値は、速度センサ状態判定部14へと出力される。
速度値を受信した速度センサ状態判定部14は、速度センサの信頼度を判定する(S102)。信頼度は、例えば、速度センサの出力値が所定の速度以下となった場合に、低いと判定される。また、上述したように、機械学習により訓練されたニューラルネットワークに、他のパラメータを含めた数値等を入力して、信頼度が出力されてもよい。信頼度の判定は、例えば、副センサ選択部16に出力される。この他、速度センサ入力部10にフィードバックしてもよいし、副センサ選択部16と併せてスケール推定部18に出力されてもよい。信頼度は、低い、高い、の2値であってもよいし、中間値を含む、例えば、比較的低い、普通、比較的高い等の多値、あるいは一定の範囲の実数値であってもよい。
次に、信頼度が低いか高いかにより処理を分岐する(S104)。信頼度が低い場合(S104:YES)には、副センサ選択部16がどの副センサ入力部12から入力された値を用いてスケール推定を実行するかを選択する(S106)。副センサ選択部16は、例えば、選択した副センサ入力部12からの入力をスケール推定部18へと送信する。副センサ選択部16はまた、CAN(Controller Area Network)等を介して受信した操舵角等の種々のパラメータに基づいて、副センサ入力部12の選択を実行してもよい。別の例として、副センサ選択部16は、信頼度が多値を取る場合には、当該信頼度に基づいて副センサのうちスケール推定に用いるセンサを選択してもよい。
次に、スケール推定部18は、選択された副センサからの出力値に基づいてスケールを推定する(S108)。このスケールの推定については、各副センサの特性に基づいて実行される。副センサの種類及び当該副センサに対応するスケールの推定については、後述する。
一方で、信頼度が高い場合(S104:NO)、スケール推定部18は、速度センサ入力部10に入力された速度センサの出力値を用いてスケールを推定する(S110)。例えば、取得した画像と速度に基づいて、移動量等を算出し、スケールを取得する。
次に、位置姿勢情報補正部22は、取得されている位置姿勢情報の推定値に対して、スケール推定部18が各センサの出力値に基づいて推定したスケールを用いて位置姿勢情報を補正する(S112)。
以上のように、本実施形態によれば、速度センサの出力する速度値の信頼度が低い、例えば、所定の速度よりも遅い速度である場合に、速度センサの出力する速度ではなくより信頼度の高いセンサからの出力に基づいてスケールを推定することにより、信頼度及び精度の高い位置姿勢情報の補正をすることが可能となる。これにより、例えば、単眼カメラによるSLAMの位置推定をする場合であっても、徐行運転中、駐車するタイミング等においても精度の高い車両の位置、姿勢の情報を取得することが可能となる。
次に、副センサについて説明する。副センサは、所謂速度センサ以外のセンサであり、例えば、超音波センサ、4つの車輪それぞれの回転角を取得する回転角センサ、車両に搭載されているカメラ等のイメージセンサなどである。副センサ入力部12は、これらのセンサのうち少なくとも1つのセンサからの入力を受け付ける。
まず、超音波センサを選択する場合について説明する。図3は、車両における超音波センサの設置例を示す図である。車両2は、例えば、車両の外側に向けて超音波を発振し、発振した超音波の反射を受信する、超音波センサ200、202、204、206、208、210、212、214を備える。各超音波センサは、例えば、点線で示される範囲に超音波を発振し、当該範囲に物体が存在する場合には、その物体からの反射波を感知し、発振してから感知までの時間に基づいてセンサから物体までの距離を測定する。
超音波センサ200、202、204、206は、車両2の前方に向けて超音波が発振されるように設置され、超音波センサ208、210、212、214は、車両2の後方に向けて超音波が発振されるように設置される。また、超音波センサ202、204、210、212は、車両2の短手側の中央よりに設置され、車両の正面、後面に対する障害物等を検知するように設置され、超音波センサ200、206、208、214は、上記のセンサよりも外側である車両2の側面に近い箇所に設置される。
これらの超音波センサは、副センサ入力部12を介して車両を制御するコンピュータへとその感知情報を入力する。全ての超音波センサが同一の副センサ入力部12を介して通信してもよいし、別々の副センサ入力部12を介して通信してもよい。
超音波センサは、超音波を反射する物体までの距離を計測することができる。すなわち、物体が道路に対して動いていない場合、この物体までの距離の変化を車両が動いた距離として速度の代わりに用い、スケール推定を行うことが可能となる。
複数ある超音波センサのうち、いずれのセンサを用いるかの選択は、例えば、車両の動いている方向に基づいて決定される。以下に、車両の動きと使用するセンサについて一例を記載する。
車両2が前方正面に移動している場合には、超音波センサ202、204の少なくとも1つを選択する。車両2が後方正面に移動している場合には、超音波センサ210、212の少なくとも1つを選択する。車両2が前方に左折している場合には、超音波センサ200を選択する。車両2が前方に右折している場合には、超音波センサ206を選択する。車両2が後方に左折している場合には、超音波センサ208を選択する。車両2が後方に右折している場合には、超音波センサ212を選択する。
このように、超音波センサが選択される場合には、車両2の進行方向に近い向きに超音波を発する超音波センサを選択する。車両2が移動している方向に近いセンサを選択することにより、物体から反射された超音波を精度よく受信することが可能であるので、車両2の移動距離をより精度よく取得することが可能となる。前方、後方、右折、左折は、例えば、ギアの状態、ステアリングの回転角度、アクセルの踏み込み具合等を、CAN等を介して取得することにより判断することが可能である。
次に、車輪の回転量等を選択する場合について説明する。自動車には、それぞれのタイヤの車軸に対する回転量、車両の旋回量を表すヨーレートを取得するセンサが搭載されていることがある。回転量センサは、例えば、車輪において、エンコーダを用いて回転量を測定している。この回転量センサとヨーレートセンサの出力値を選択してスケールの推定をすることもできる。
車輪の回転量及び車両2の旋回角をこれらのセンサから取得することにより、車両2の速度を推定することが可能となる。この速度から、車両2の移動量を取得し、スケール推定を実行する。4輪に対してこれらのセンサが搭載されている場合には、例えば、4つのセンサの組み合わせのうち、値の大きい回転量を出力しているセンサからを選択する。すなわち、例えば、車輪の回転量が他の車輪の回転量よりも多い車輪に取り付けられているセンサを選択する。
回転量が多く計測されているエンコーダ程量子化誤差が小さくなるため、このように回転量の値が大きいセンサを選択することにより、精度よく速度及び移動量を取得することが可能となる。
次に、カメラを選択する場合について説明する。図4は、車両におけるカメラの設置例を示す図である。車両2は、例えば、カメラ220、222、224、226を備える。カメラ220は車両前方、カメラ222は車両後方、カメラ224は車両左側、カメラ226は車両右側を撮影するように搭載される。なお、本図では、一方向につき1つのカメラが搭載されているが、これには限られず、一方向に複数のカメラが備えられていてもよい。また、斜め方向の状況を取得するカメラが設置されていてもよい。
各カメラは、図に示すように、斜線で示す範囲を延伸した領域についての画像を取得する。カメラが選択された場合には、選択されたカメラにより取得された画像に基づいてスケールの推定を実行する。例えば、異なるタイミングにより取得された画像からオプティカルフローを取得して移動量を算出する。
具体的には、速度が速く、十分に信頼度の確保できる状態におけるオプティカルフローを各カメラにおいて取得しておき、オプティカルフローの大きさとそのときの車両の移動量とを図示しない記憶部に格納しておく。そして、カメラが副センサとして選択された場合に、この格納されたオプティカルフローと現在のオプティカルフローの大きさの比、および格納された車両の移動量に基づいて、車両速度の信頼度が低いときの移動量を推定する。
カメラは、例えば、移動している方向に対して垂直方向に近い向きを撮影するように設置されているカメラが選択される。前方又は後方に車両2が移動している場合には、カメラ224、226の少なくとも一方が選択される。車両2が旋回している場合には、カメラ220、222の少なくとも一方、又は、旋回向きとは逆の側面に備えられているカメラが選択されてもよい。また、記憶部には、それぞれの状況、例えば、直進、旋回等の状況に合わせて各カメラにおけるオプティカルフローと移動量との関係を格納してもよい。
このように、カメラが選択される場合には、車両2の進行方向に対して大きなオプティカルフローが取得できるカメラを選択することにより、より精度が高い移動量の推定を実行することが可能である。なお、例えば、側方にカメラが搭載されていない場合には、前進しているタイミングにおいては後方のカメラ222、後進しているタイミングにおいては前方のカメラ220を選択してもよい。このように、進行方向と逆方向を撮影するカメラを用いることにより、より多くのオプティカルフローを利用することが可能となる。
なお、上述においてセンサを選択するとは、選択されたセンサを起動させて情報を感知すること、選択されたセンサと同種のセンサを起動させておいてその中から選択されたセンサの感知情報を使用すること、及び、起動している任意のセンサのうち選択されたセンサの感知情報を使用すること、のいずれかの状態であってもよい。すなわち、選択状態と、他のセンサの起動状態とは、依存性がなく、少なくとも選択されたセンサが起動して、その感知情報を取得できる状態であればよい。
副センサ選択部16は、上記の副センサのうちスケール推定に用いる副センサを選択する。複数の種類の副センサが備えられる場合には、例えば、上記の状況に基づいて、1種類のセンサのうち、どの位置に備えられているセンサを用いるかを選択する。また、複数種類のセンサを用いて、上記の状況に基づいて、複数の種類のセンサそれぞれのうち、所定の位置に備えられているセンサを選択してもよい。具体的には、超音波センサとカメラが搭載されており、前進している場合には、車両中央前方付近の超音波センサと、車両側方のカメラを選択して、スケールの推定をしてもよい。
このように、副センサ選択部16は、スケール推定を行うタイミングにおける状況に基づいて、副センサの種類、及び、各種類の副センサにおいてどの位置にあるセンサを使用するか、を選択する。副センサの種類については、例えば、上述したように、信頼度に基づいて決定してもよいし、利用できるセンサ全てを選択してもよいし、所定のセンサから優先的に選択してもよい。また、ステアリング、アクセル、ギア等の状態に基づいて、副センサの種類及び位置を選択してもよい。
前述においては、副センサを利用する場合について説明したが、これには限られない。例えば、副センサを利用せずに、速度センサの出力値の信頼度が低い場合には、速度を所定の値として移動量の大きさを推定してもよい。このように処理することにより、計算量を少なくし、かつ、例えば、移動速度を本来よりも高い所定の低速値にするため、より安全に運転をすることができる状況においてスケールの推定を実行することが可能となる。
図5は、各実施形態における位置姿勢推定装置1のハードウェア実装の例を示すブロック図である。位置姿勢推定装置1は、プロセッサ71と、主記憶装置72と、補助記憶装置73と、ネットワークインタフェース74と、デバイスインタフェース75と、を備え、これらがバス76を介して接続されたデバイス7として実現できる。デバイス7は、それ自体が独立して起動できるコンピュータ装置であってもよいし、独立して起動するコンピュータ装置に組み込まれ、又は、接続されたアクセラレータであってもよい。
なお、図5のデバイス7は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、1台のデバイス7が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。
プロセッサ71は、デバイスの制御装置および演算装置を含む処理回路として動作する電子回路である。プロセッサ71は、デバイス7の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ71は、デバイス7のOS(Operating System)や、アプリケーションなどを実行することにより、デバイス7を構成する各構成要素を制御する。プロセッサ71は、上記の処理を行うことができれば特に限られるものではない。位置姿勢推定装置1及びその各構成要素は、プロセッサ71により実現されてもよい。
主記憶装置72は、プロセッサ71が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置72に記憶された情報がプロセッサ71により直接読み出される。補助記憶装置73は、主記憶装置72以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。位置姿勢推定装置1内において各種データを保存するためのメモリは、主記憶装置72または補助記憶装置73により実現されてもよい。例えば、記憶部は、この主記憶装置72又は補助記憶装置73に実装されていてもよい。別の例として、アクセラレータがデバイス7においてさらに備えられている場合には、記憶部は、当該アクセラレータに備えられているメモリ内に実装されていてもよい。
ネットワークインタフェース74は、無線または有線により、通信ネットワーク8に接続するためのインタフェースである。ネットワークインタフェース74は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース74により、通信ネットワーク8を介して通信接続された外部装置9Aと情報のやり取りが行われてもよい。
外部装置9Aは、例えば、ステレオカメラ、モーションキャプチャ、出力先デバイス、外部のセンサ、入力元デバイスなどが含まれる。また、外部装置9Aは、位置姿勢推定装置1の構成要素の一部の機能を有する装置でもよい。そして、デバイス7は、位置姿勢推定装置1の処理結果の一部を、クラウドサービスのように通信ネットワーク8を介して送受信してもよい。
デバイスインタフェース75は、外部装置9Bと直接接続するUSB(Universal Serial Bus)などのインタフェースである。外部装置9Bは、外部記憶媒体でもよいし、ストレージ装置でもよい。記憶部は、外部装置9Bにより実現されてもよい。
外部装置9Bは出力装置でもよい。出力装置は、例えば、画像を表示するための表示装置でもよいし、音声などを出力する装置などでもよい。例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、PDP(Plasma Display Panel)、スピーカなどがあるが、これらに限られるものではない。また、CANを介して制御される自動車の構成要素であってもよい。
なお、外部装置9Bは入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をデバイス7に与える。入力装置からの信号はプロセッサ71に出力される。
このように、上記の全ての記載において、位置姿勢推定装置1の少なくとも一部はハードウェアで構成されていてもよいし、ソフトウェアで構成され、ソフトウェアの情報処理によりCPU等が実施をしてもよい。ソフトウェアで構成される場合には、位置姿勢推定装置1及びその少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD-ROM等の記憶媒体に収納し、コンピュータに読み込ませて実行させるものであってもよい。記憶媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記憶媒体であってもよい。すなわち、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実装されるものであってもよい。さらに、ソフトウェアによる処理は、FPGA等の回路に実装され、ハードウェアが実行するものであってもよい。
例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、明細書中の記載において、以下、以上、より小さい、より大きい等の記載は、それぞれ、より小さい、より大きい、以下、以上等と書き換えてもよい。
1:位置姿勢推定装置、
10:速度センサ入力部、12:副センサ入力部、14:速度センサ状態判定部、16:副センサ選択部、18:スケール推定部、20:位置姿勢情報推定部、22:位置姿勢情報補正部、24:画像入力部

Claims (7)

  1. 速度センサの出力値以外の情報に基づいて移動量に関する情報を取得する、1種類以上かつ複数の副センサからの出力を受け付ける、副センサ入力部と、
    前記速度センサの出力値が信頼できるかを判定する、速度センサ状態判定部と、
    前記速度センサの出力値が信頼できない場合に、車両の前進、後進、右折又は左折を含む現在の走行状態を取得し、前記走行状態及び前記複数の副センサの取り付け方向に基づいて、移動量を推定するための1以上の前記副センサを選択する、副センサ選択部と、
    前記速度センサの出力値及び前記副センサの出力値のうち、少なくとも1つに基づいて移動量の大きさを推定する、スケール推定部と、
    前記スケール推定部の推定した移動量の大きさに基づいて、位置姿勢情報を補正する、位置姿勢情報補正部と、
    を備える位置姿勢推定装置。
  2. 前記副センサ入力部は、超音波センサからの出力、車輪の回転量センサとヨーレートセンサからの出力、及び、カメラからの出力、のうち少なくとも1つを受け付ける、
    請求項1に記載の位置姿勢推定装置。
  3. 前記副センサ選択部は、前記副センサ入力部が前記超音波センサからの出力を受け付ける場合に、複数の前記超音波センサのうち、取得した前記走行状態における進行方向に近い向きに超音波を発する前記超音波センサからの出力を選択する、
    請求項2に記載の位置姿勢推定装置。
  4. 前記副センサ選択部は、前記副センサ入力部が前記車輪の回転量センサとヨーレートセンサからの出力を受け付ける場合に、複数の前記車輪の前記回転量センサとヨーレートセンサのうち、前記車輪の回転量が他の前記車輪の回転量よりも多い前記車輪についてのセンサからの出力を選択する、
    請求項2又は請求項3に記載の位置姿勢推定装置。
  5. 前記副センサ選択部は、前記副センサ入力部が前記カメラからの出力を受け付ける場合に、複数の前記カメラのうち、取得した前記走行状態における進行方向と垂直に近い向きの画像を取得する前記カメラからの出力を選択する、
    請求項2から請求項4のいずれかに記載の位置姿勢推定装置。
  6. 副センサ入力部が、速度センサの出力値以外の情報に基づいて、移動量を推定する1種類以上かつ複数の副センサの出力を受け付け、
    副センサ選択部が、車両の前進、後進、右折又は左折を含む現在の走行状態を取得し、前記走行状態及び前記複数の副センサの取り付け方向に基づいて、移動量を推定するための1以上の前記副センサを選択し、
    速度センサ状態判定部が、前記速度センサの出力値が信頼できるかを判定し、
    スケール推定部が、前記速度センサの出力値及び前記副センサの出力値のうち、少なくとも1つに基づいて移動量の大きさを推定し、
    位置姿勢情報補正部が、前記スケール推定部の推定した移動量の大きさに基づいて、位置姿勢情報を補正する、
    位置姿勢推定方法。
  7. コンピュータを、
    速度センサの出力値以外の情報に基づいて、移動量を推定する1種類以上かつ複数の副センサの出力を受け付ける手段、
    車両の前進、後進、右折又は左折を含む現在の走行状態を取得する手段、
    前記走行状態及び前記複数の副センサの取り付け方向に基づいて、移動量を推定するための1以上の前記副センサを選択する手段、
    前記速度センサの出力値が信頼できるかを判定する手段、
    前記速度センサの出力値及び前記副センサの出力値のうち、少なくとも1つに基づいて移動量の大きさを推定する手段、
    推定した移動量の大きさに基づいて、位置姿勢情報を補正する手段、
    として機能させるプログラム。
JP2019144616A 2019-08-06 2019-08-06 位置姿勢推定装置、位置姿勢推定方法及びプログラム Active JP7204612B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019144616A JP7204612B2 (ja) 2019-08-06 2019-08-06 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN202010040631.1A CN112345798B (zh) 2019-08-06 2020-01-15 位置姿势推定装置以及位置姿势推定方法
US16/811,084 US11579612B2 (en) 2019-08-06 2020-03-06 Position and attitude estimation apparatus and position and attitude estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019144616A JP7204612B2 (ja) 2019-08-06 2019-08-06 位置姿勢推定装置、位置姿勢推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021025902A JP2021025902A (ja) 2021-02-22
JP7204612B2 true JP7204612B2 (ja) 2023-01-16

Family

ID=74357158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019144616A Active JP7204612B2 (ja) 2019-08-06 2019-08-06 位置姿勢推定装置、位置姿勢推定方法及びプログラム

Country Status (3)

Country Link
US (1) US11579612B2 (ja)
JP (1) JP7204612B2 (ja)
CN (1) CN112345798B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11343956B2 (en) * 2019-02-18 2022-05-31 Cnh Industrial Canada, Ltd. System and method for monitoring soil conditions within a field
US20210262804A1 (en) * 2020-02-21 2021-08-26 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114020A (ja) 2005-10-19 2007-05-10 Aisin Aw Co Ltd 車両の移動距離検出方法、車両の移動距離検出装置、車両の現在位置検出方法及び車両の現在位置検出装置
JP2016173723A (ja) 2015-03-17 2016-09-29 トヨタ自動車株式会社 画像処理装置及び画像処理方法
JP2019074532A (ja) 2017-10-17 2019-05-16 有限会社ネットライズ Slamデータに実寸法を付与する方法とそれを用いた位置測定

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4013301A (en) * 1973-09-25 1977-03-22 Ransomes Sims & Jefferies Limited Vehicle steering mechanisms
CA1283965C (en) * 1985-12-23 1991-05-07 Hideki Yasue System for integrally controlling automatic transmission and engine
JP2583468Y2 (ja) * 1991-09-13 1998-10-22 光洋精工株式会社 パワーステアリング装置
JPH11301383A (ja) * 1998-04-20 1999-11-02 Matsushita Electric Works Ltd 車載用障害物検知システム
DE10110548A1 (de) * 2001-03-05 2002-09-19 Knorr Bremse Systeme ABS-bzw. Gleitschutzanlage mit Fehlertoleranz wegen Ausfall eines Geschwindigkeitssensors
DE10331212A1 (de) * 2003-07-10 2005-02-03 Robert Bosch Gmbh Sicherheitsvorrichtung mit Aufprallerkennung unter Berücksichtigung von Umwelteinflüssen
JP2006317287A (ja) 2005-05-12 2006-11-24 Denso Corp 車両用現在位置決定装置
JP4760272B2 (ja) * 2005-09-30 2011-08-31 アイシン精機株式会社 車両周辺監視装置及びセンサユニット
CN101274636A (zh) * 2007-03-26 2008-10-01 林贵生 车载式轨道交通车辆运行状态智能监控和预警装置
JPWO2009060663A1 (ja) * 2007-11-08 2011-03-17 ボッシュ株式会社 駐車支援装置
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
WO2010125492A1 (en) * 2009-04-29 2010-11-04 Koninklijke Philips Electronics N.V. A laser diode based multiple-beam laser spot imaging system for characterization of vehicle dynamics
DE102010028829A1 (de) * 2010-05-11 2011-11-17 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung der Position eines Objektes relativ zu einem Fahrzeug, insbesondere einem Kraftfahrzeug, zur Verwendung in einem Fahrerassistenzsystem des Fahrzeuges
US20120095659A1 (en) * 2010-10-18 2012-04-19 Ford Global Technologies, Llc Automatic Control of Driveline States
JP2012127896A (ja) 2010-12-17 2012-07-05 Kumamoto Univ 移動体位置測定装置
JP5804185B2 (ja) * 2012-03-06 2015-11-04 日産自動車株式会社 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP2014115247A (ja) 2012-12-12 2014-06-26 Honda Motor Co Ltd 車両位置推定装置およびセンサ情報統合装置
KR20140104611A (ko) * 2013-02-20 2014-08-29 한국전자통신연구원 차량의 자동 주차 장치 및 이를 이용한 방법
DE102013223240B3 (de) * 2013-11-14 2014-10-30 Volkswagen Aktiengesellschaft Kraftfahrzeug mit Verdeckungserkennung für Ultraschallsensoren
JP6183257B2 (ja) * 2014-03-19 2017-08-23 トヨタ自動車株式会社 車両運動状態決定装置及び車両運動制御装置
JP6298772B2 (ja) 2015-01-14 2018-03-20 日立オートモティブシステムズ株式会社 車載用制御装置、自車位置姿勢特定装置、車載用表示装置
DE102016214865A1 (de) * 2016-08-10 2018-02-15 Continental Automotive Gmbh Elektronische Radeinheit für ein Fahrzeugrad, sowie Verfahren zum Betreiben einer derartigen elektronischen Radeinheit
US10599150B2 (en) * 2016-09-29 2020-03-24 The Charles Stark Kraper Laboratory, Inc. Autonomous vehicle: object-level fusion
EP3315998B1 (en) * 2016-10-25 2021-12-08 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Apparatus and method for determining a speed of a vehicle
JP6753383B2 (ja) * 2017-10-23 2020-09-09 株式会社Soken 物体検知装置
US20190180532A1 (en) * 2017-12-08 2019-06-13 Ford Global Technologies, Llc Systems And Methods For Calculating Reaction Time
CN111587194B (zh) * 2017-12-29 2023-07-07 Zf主动安全美国股份公司 低摩擦系数斜坡上的静止管理横摆减轻
JPWO2019181284A1 (ja) * 2018-03-23 2021-03-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム
US20190347808A1 (en) * 2018-05-09 2019-11-14 Ford Global Technologies, Llc Monocular Visual Odometry: Speed And Yaw Rate Of Vehicle From Rear-View Camera
US11105921B2 (en) * 2019-02-19 2021-08-31 Honeywell International Inc. Systems and methods for vehicle navigation
US10694148B1 (en) * 2019-05-13 2020-06-23 The Boeing Company Image-based navigation using quality-assured line-of-sight measurements

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007114020A (ja) 2005-10-19 2007-05-10 Aisin Aw Co Ltd 車両の移動距離検出方法、車両の移動距離検出装置、車両の現在位置検出方法及び車両の現在位置検出装置
JP2016173723A (ja) 2015-03-17 2016-09-29 トヨタ自動車株式会社 画像処理装置及び画像処理方法
JP2019074532A (ja) 2017-10-17 2019-05-16 有限会社ネットライズ Slamデータに実寸法を付与する方法とそれを用いた位置測定

Also Published As

Publication number Publication date
JP2021025902A (ja) 2021-02-22
CN112345798A (zh) 2021-02-09
US11579612B2 (en) 2023-02-14
CN112345798B (zh) 2023-05-02
US20210041875A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
US11454525B2 (en) Vehicle sensor field calibration utilizing other vehicles
US20200311442A1 (en) Orientation detection device and non-transitory computer readable medium
KR102086270B1 (ko) 주행 제어 장치의 제어 방법 및 주행 제어 장치
US10508912B2 (en) Road surface shape measuring device, measuring method, and non-transitory computer-readable medium
US11527013B2 (en) Camera parameter estimating device, camera parameter estimating method, and camera parameter estimating program
JP7155284B2 (ja) 計測精度算出装置、自己位置推定装置、制御方法、プログラム及び記憶媒体
JP7113134B2 (ja) 車両制御装置
US11731649B2 (en) High precision position estimation method through road shape classification-based map matching and autonomous vehicle thereof
JP7204612B2 (ja) 位置姿勢推定装置、位置姿勢推定方法及びプログラム
US11577736B2 (en) Method and device for ascertaining a highly accurate estimated value of a yaw rate for controlling a vehicle
CN110637209B (zh) 估计机动车的姿势的方法、设备和具有指令的计算机可读存储介质
JP7253065B2 (ja) 車両制御装置、車両制御方法、車両運動制御システム、及びレーン推定装置
JP6539129B2 (ja) 自車位置推定装置、及びそれを用いた操舵制御装置、並びに自車位置推定方法
JP7069624B2 (ja) 位置演算方法、車両制御方法及び位置演算装置
JP4782816B2 (ja) センサユニット
KR102038482B1 (ko) 관성 센서 향상
CN113474678B (zh) 用于补偿车辆部件的运动的系统和方法
JP2019207181A (ja) 方位角較正システムおよび方位角較正方法
JP6503477B2 (ja) 距離推定装置、距離推定方法及びプログラム
CN114604235A (zh) 自动驾驶辅助系统
JP7409037B2 (ja) 推定装置、推定方法、推定プログラム
JP7378591B2 (ja) 走行経路生成装置
CN112406861B (zh) 利用地图数据进行卡尔曼滤波器参数选择的方法和装置
KR20190079470A (ko) 객체 측위 방법 및 장치
US11461928B2 (en) Location estimation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210820

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221228

R150 Certificate of patent or registration of utility model

Ref document number: 7204612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150