JP6998530B2 - 車体傾斜測定装置 - Google Patents

車体傾斜測定装置 Download PDF

Info

Publication number
JP6998530B2
JP6998530B2 JP2018020252A JP2018020252A JP6998530B2 JP 6998530 B2 JP6998530 B2 JP 6998530B2 JP 2018020252 A JP2018020252 A JP 2018020252A JP 2018020252 A JP2018020252 A JP 2018020252A JP 6998530 B2 JP6998530 B2 JP 6998530B2
Authority
JP
Japan
Prior art keywords
vehicle
vehicle body
camera
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018020252A
Other languages
English (en)
Other versions
JP2019138699A (ja
Inventor
裕浩 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018020252A priority Critical patent/JP6998530B2/ja
Publication of JP2019138699A publication Critical patent/JP2019138699A/ja
Application granted granted Critical
Publication of JP6998530B2 publication Critical patent/JP6998530B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、自動車など車両の車体傾斜を測定する車体傾斜測定装置に関する。
従来、自動車などの車両の車体傾斜の測定にジャイロセンサや車高センサが用いられている。ジャイロセンサを用いて車体傾斜を測定する装置として、例えば特許文献1や特許文献2に記載されたものがある。一方、車高センサを用いて車体傾斜を測定する装置として、例えば非特許文献1に記載されたものがある。非特許文献1に記載された装置では、車高センサを車両の各車輪に取り付けてそれぞれの車輪と車体の差を求め、求めた車高差から傾きの測定を行う。
以下、ジャイロセンサや車高センサを用いて車両の車体傾斜を測定する従来の装置について説明する。
まずジャイロセンサを用いて車両の車体傾斜を測定する従来装置について説明する。
図10は、ジャイロセンサを用いた従来の車体傾斜測定装置100の概略構成を示すブロック図である。同図に示す車体傾斜測定装置100は、車両情報入力部1と、ジャイロセンサ10と、車体姿勢出力部5とを備える。車両情報入力部1は、車両情報として車速情報と走行距離情報を入力する。ジャイロセンサ10は、車体(図示略)に取り付けられ、車体の傾きを検出する。ジャイロセンサ10は、車体の傾きを検出する際に車両情報入力部1で入力された車両情報を用いる。例えば、車速が上がるとそれに応じてセンサ出力を上げるために速度情報を用いる。車体姿勢出力部5は、ジャイロセンサ10で検出された車体の傾き(即ち、車体姿勢)を車体姿勢情報として出力する。なお、車体傾斜測定装置100が車体姿勢補正部20を備える場合、車体姿勢補正部20は、車体姿勢出力部5から出力された車体姿勢情報から車体や該車体に取り付けられた機能部品に対して姿勢補正を行うもしくは車体姿勢情報をディスプレイに表示もしくは表示の為に加工する。
図11は、上記構成の車体傾斜測定装置100の動作を説明するためのフローチャートである。同図において、車両情報入力部1は、車両情報として車速情報と走行距離情を入力し、ジャイロセンサ10に出力する(ステップS100)。ジャイロセンサ10は、車体の傾きを検出し、車体姿勢出力部5に出力する(ステップS101)。この際、例えば速度情報を用いてセンサ出力を変化させる。車体姿勢出力部5は、ジャイロセンサ10で検出された車体の傾きを車体姿勢情報として出力する(ステップS102)。
図12は、車体傾斜測定装置100を搭載した車両CARの道路上で状態を示す図であり、車両CARを車両進行方向後方より見た状態を示している。図12の[AY0]は、道路が水平で車両CARも路面に対して傾きが無い状態を示している。車両CARの車体中央部にはジャイロセンサ10が取り付けられており、また車両CARの両側面には、CMS(カメラモニタリングシステム)のサイドカメラなどに代表されるようなカメラCL,CRが取り付けられている。図12に示す左側のカメラがカメラCL、右側のカメラがカメラCRである。
図12の[AY5]は、道路が水平に対して左にθ度傾いていて車両CARが路面に対して傾きが無い状態を示している。また、図12の[AYB5]は、道路が水平で車両CARが路面に対して左にθ度傾いている状態を示している。図12の[AY0]の状態即ち道路が水平で車両CARも路面に対して傾きが無い状態では道路と車両CARの傾きは無いので、ジャイロセンサ10で傾きが検出されず、車体姿勢出力部5から0度の車体姿勢情報が出力される。図12の[AY5]の状態即ち道路が水平に対して左にθ度傾いていて、車両CARが路面に対して傾いていない状態では道路と車両CARの傾きがθ度としてジャイロセンサ10で検出され、車体姿勢出力部5からθ度の車体姿勢情報が出力される。図12の[AYB5]の状態即ち道路が水平で車両CARが路面に対して左にθ度傾いている状態では道路と車両CARの傾きがθ度としてジャイロセンサ10で検出され、車体姿勢出力部5からθ度の車体姿勢情報が出力される。
次に、車高センサを用いて車両の車体傾斜を測定する従来装置について説明する。
図13は、車高センサを用いた従来の車体傾斜測定装置200の概略構成を示すブロック図である。なお、同図において、前述した図10に示す車体傾斜測定装置100と共通する部分には同一の符号を付けている。同図において、車体傾斜測定装置200は、車両情報入力部1と、右前輪車高センサ201と、左前輪車高センサ202と、右後輪車高センサ203と、左後輪車高センサ204と、車体姿勢出力部205と、を有する。
車両情報入力部1は、車両情報として車速情報と走行距離情を入力する。車高センサ201は、車両の右前輪に取り付けられ、右前輪と車体との差を検出する。車高センサ202は、左前輪に取り付けられ、左前輪と車体との差を検出する。車高センサ203は、右後輪に取り付けられ、右後輪と車体との差を検出する。車高センサ204は、左後輪に取り付けられ、左後輪と車体との差を検出する。車体姿勢出力部205は、車高センサ201~204それぞれで検出された車輪と車体との差と、車両情報入力部1で入力された車両情報とを基に車体姿勢を検出し、車体姿勢情報として出力する。なお、車体傾斜測定装置200が車体姿勢補正部20を備える場合、車体姿勢補正部20は、車体姿勢出力部205から出力された車体姿勢情報から車体や該車体に取り付けられた機能部品に対して姿勢補正を行うもしくは車体姿勢情報をディスプレイに表示もしくは表示の為に加工する。
図14は、上記構成の車体傾斜測定装置200の動作を説明するためのフローチャートである。同図において、車両情報入力部1は、車両情報として車速情報と走行距離情報を入力し、車体姿勢出力部205に出力する(ステップS110)。車高センサ201~204は、各車輪と車体との差を検出し、検出結果を車体姿勢出力部205に出力する(ステップS111)。車体姿勢出力部205は、車高センサ201~204それぞれの検出結果と車両情報入力部1で入力された車両情報とを基に車体姿勢を検出し(ステップS112)、車体姿勢情報として出力する(ステップS113)。
図15は、車体傾斜測定装置200を搭載した車両CARの道路上での状態を示す図であり、車両CARを車両進行方向後方より見た状態を示している。図15の[AY0]は、道路が水平で車両CARも路面に対して傾きが無い状態を示している。車高センサ204(202)は、車両CARの車体左側と車輪との間に取り付けられている。図15の[AY0]では、車体左側の前輪と後輪の高さは同じBHL0である。この場合、車体と車輪の差が左前輪と左後輪で同じあるとする。車高センサ203(201)は、車両CARの車体右側と車輪との間に取り付けられている。図15の[AY0]では、車体右側の前輪と後輪の高さは同じBHR0である。この場合、車体と車輪の差が右前輪と右後輪で同じであるとする。車両CARに上述したCMSなどサイドカメラが搭載されている場合、左側にカメラCL、右側にカメラCRがある。図15の[AY0]の状態即ち道路が水平で車両CARも路面に対して傾きが無い状態では、車体左側の前輪と後輪の高さは同じBHL0、車体右側の前輪と後輪の高さは同じBHR0であり、更にBHL0=BHR0となるので、道路と車両CARの傾きは無い。これにより、車体姿勢出力部5からは0度の車体姿勢情報が出力される。
一方、図15の[AYB5]は、道路が水平で車両CARは路面に対して左にθ度傾いている状態を示している。この状態では、車体左側の前輪と後輪の高さが同じBHL5となり、また車体右側の前輪と後輪の高さが同じBHR5となる。図15の[AYB5]の状態即ち道路が水平で車両CARは路面に対して左にθ度傾いている状態では、車体左側の前輪と後輪の高さは同じBHL5、車体右側の前輪と後輪の高さは同じBHR5(BHL5≠BHR5)となって、道路が水平で車両CARは路面に対して左にθ=arctan(BdH/BW)=arctan((BHR5-BHL5)/BW)度傾いている。これにより、車体姿勢出力部5からはθ=arctan(BdH/BW)=arctan((BHR5-BHL5)/BW)度の車体姿勢情報が出力される。なお、BWは車両CARの車幅である。
特開昭63-166672号公報 特開2006-275969号公報
アイシン精機ホームページ(ニュース)2017年10月23日、「LEXUS新型LSに新開発の2製品搭載」、インターネット<URL:http://www.aisin.co.jp/news/2017/011256.html>
しかしながら、上述した車両の車体傾斜を測定する従来の装置においては、高価なジャイロセンサや車高センサを用いるので、その分コスト高になるという課題がある。
本発明は、上記事情に鑑みてなされたものであり、高価なジャイロセンサや車高センサを用いることなく安価に車両の車体傾斜を測定することができる車体傾斜測定装置を提供することを目的とする。
本発明の車体傾斜測定装置は、車速情報及び走行距離情報を含む車両情報を入力する車両情報入力部と、撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる第1のカメラと、撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる第2のカメラと、前記第1のカメラ及び前記第2のカメラそれぞれで撮像された画像に対して設定した横軸上の任意箇所における前記横軸と直交する縦軸方向の画像情報の変化点を検出し、前記第1のカメラで撮像された画像で得られる前記変化点と前記第2のカメラで撮像された画像で得られる前記変化点との差から車体の傾きを検出する画像処理部と、を備える。
上記構成によれば、第1のカメラで撮像された画像に対して指定した横軸上の縦軸方向における画像情報の変化点と、第2のカメラで撮像された画像に対して指定した横軸上の縦軸方向における画像情報の変化点との差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。
本発明の車体傾斜測定装置は、車速情報及び走行距離情報を含む車両情報を入力する車両情報入力部と、撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる第1のカメラと、撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる第2のカメラと、前記第1のカメラ及び前記第2のカメラそれぞれで撮像された画像に対して設定した横軸上の任意の複数箇所それぞれにおける前記横軸と直交する縦軸方向の画像情報の変化点を検出し、前記第1のカメラで撮像された画像で得られる複数の前記縦軸方向の画像情報の変化点と前記第2のカメラで撮像された画像で得られる複数の前記縦軸方向の画像情報の変化点との差から車体の傾きを検出する前記画像処理部と、を備える。
上記構成によれば、第1のカメラで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点と、第2のカメラで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点との差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。
本発明の車体傾斜測定装置は、車速情報及び走行距離情報を含む車両情報を入力する車両情報入力部と、撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる第1のカメラと、撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる第2のカメラと、パターンマッチングデータベースに登録された画像と前記第1のカメラ及び前記第2のカメラそれぞれで撮像された画像の中から特徴となるパターンを検出するパターンマッチング処理部と、前記パターンマッチング処理部のパターン検出結果の差から車体の傾きを検出する画像処理部と、を備える。
上記構成によれば、第1,第2のカメラで撮像された画像とパターンマッチングデータベースに登録された画像の中から特徴となるパターンを検出し、パターン検出結果の差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。
本発明によれば、車両の両側に車両後方を撮像するカメラを設けて、両側のカメラで撮像された画像の差から車体傾斜を測定するので、高価なジャイロセンサや車高センサを用いた装置より安価な車体傾斜測定装置を実現できる。
本発明の第1実施形態に係る車体傾斜測定装置の概略構成を示すブロック図 図1の車体傾斜測定装置の画像処理部の処理を説明するための図 図1の車体傾斜測定装置の画像処理部の処理を説明するための図 図1の車体傾斜測定装置の動作を説明するためのフローチャート 本発明の第2実施形態に係る車体傾斜測定装置の画像処理部の処理を説明するための図 本発明の第4実施形態に係る車体傾斜測定装置の概略構成を示すブロック図 図6の車体傾斜測定装置の画像処理部の処理を説明するための図 図6の車体傾斜測定装置の画像処理部の処理を説明するための図 図6の車体傾斜測定装置の動作を説明するためのフローチャート ジャイロセンサを用いた従来の車体傾斜測定装置の概略構成を示すブロック図 図10の車体傾斜測定装置の動作を説明するためのフローチャート 図10の車体傾斜測定装置を搭載した車両の道路上での状態を示す図 車高センサを用いた従来の車体傾斜測定装置の概略構成を示すブロック図 図13の車体傾斜測定装置の動作を説明するためのフローチャート 図13の車体傾斜測定装置を搭載した車両の道路上での状態を示す図
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る車体傾斜測定装置の概略構成を示すブロック図である。なお、同図において前述した図10と共通する部分には同一の符号を付けている。同図において、第1実施形態に係る車体傾斜測定装置50は、車両情報入力部1と、カメラCL(第1のカメラ),CR(第2のカメラ)と、画像処理部53と、車体姿勢出力部5と、を備える。車両情報入力部1は、車両情報として車速情報や走行距離情報を入力する。カメラCLは、車両の進行方向左側の後方を撮像するものであり、撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる。カメラCRは、車両の進行方向右側の後方を撮像するものであり、撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる。画像処理部53は、車両情報入力部1で入力された車速情報や走行距離情報と、カメラCL及びカメラCRそれぞれで撮像された画像とを基に画像処理を行って車体の傾きを検出し、検出した車体の傾きを車体姿勢出力部5に出力する。車体姿勢出力部5は、画像処理部53で検出された車体の傾きを車体姿勢情報として出力する。なお、車体傾斜測定装置50が車体姿勢補正部20を備えている場合、車体姿勢補正部20は、車体姿勢出力部5から出力された車体姿勢情報から車体や該車体に取り付けられた機能部品に対して姿勢補正を行うもしくは姿勢情報をディスプレイに表示もしくは表示の為に加工する。
また、第1実施形態に係る車体傾斜測定装置50は、カメラCL,CRを備えているが、上述したCMSが搭載された車両に適用する場合は、該CMSのサイドカメラをカメラCL,CRとして利用することができる。本明細書では、車体傾斜測定装置50をCMSが搭載されていない車両に用いたものとして説明する。
次に、画像処理部53が行う処理を詳細に説明する。
図2及び図3は、第1実施形態に係る車体傾斜測定装置50の画像処理部53の処理を説明するための図である。図2は自動車など車両CARの走行状態を示している。図2の[AX0]は、路面がX0~X2の区間で水平となった道路R0を車両CARが左から速度VXで走行している様子を示す図である。図2の[AX5]は、X2~X4の区間で路面に対して左側にθ度傾いた道路R5を車両CARが左から速度VXで走行している様子を示す図である。図2に示す場合、車両CARの進行方向は左なので、車両CARの右側にはカメラCRが見えている。
図2の[AX0]において、時刻T1は、車両CARのカメラCRのX1での時刻である。図2の[AX5]において、時刻T3は、車両CARのカメラCRのX3での時刻である。また、図2の[AX5]において、距離DXは、X1~X3の距離である。
図3の[AY0]は、図2におけるX1での車両CARを進行方向後方から見た状態を示す図である。車両CARの左側にカメラCLがあり、右側にカメラCRがある。図3の[AY0]において、カメラCLで撮像された画像が[AY0DL]であり、カメラCRで撮像された画像が[AY0DR]である。
カメラCLで撮像された画像[AY0DL]では、道路R0の路面GLL0~GLR0が下方に映っている。画像中で任意に指定された横軸MHLL0~MHLR0の場所において縦軸MVLU~MVLDとの交点がPAL0である。この交点PAL0は、縦軸MVLU~MVLD方向の輝度変化の大きい点である。横軸MHLL0~MHLR0を路面GLL0~GLR0に合わせた状態にすると、画面右端に車両CARの一部CARRが映る。
カメラCRで撮像された画像[AY0DR]では、道路R0の路面GRL0~GRR0が下方に映っている。画像中で任意に指定された横軸MHRL0~MHRR0の場所において縦軸MVRU~MVRDとの交点がPAR0である。この交点PAR0は、縦軸MVRU~MVRD方向の輝度変化の大きい点である。横軸MHRL0~MHRR0を路面GRL0~GRR0に合わせた状態にすると、画面左端に車両CARの一部CARLが映る。
一方、図3の[AY5]は、図2におけるX3での車両CARを進行方向後方から見た状態を示す図である。車両CARの左側にカメラCLがあり、右側にカメラCRがある。図3の[AY5]において、カメラCLで撮像された画像が[AY5DL]であり、カメラCRで撮像された画像が[AY5DR]である。
カメラCLで撮像された画像[AY5DL]では、道路R5の路面GLL5~GLR5が下方に映っている。路面GLL5~GLR5と縦軸MVLU~MVLDの交点がPAL5である。この交点PAL5は、縦軸MVLU~MVLD方向の輝度変化の大きい点である。なお、画面右端には車両CARの一部CARRが映る。
カメラCRで撮像された画像[AY5DR]では、道路R5の路面GRL5~GRR5が下方に映っている。路面GRL5~GRR5と縦軸MVRU~MVRDの交点がPAR5である。この交点PAR5は、縦軸MVRU~MVRD方向の輝度変化の大きい点である。なお、画面左端には車両CARの一部CARLが映る。
ここで、画像中での路面GLL0~GLR0、GRL0~GRR0、GLL5~GLR5、GRL5~GRR5の抽出は、画像の縦方向で輝度や濃度の変化の大きい場所もしくは分布の変化が大きい場所にて行うことができる。例えば画像の各縦軸中の加算平均で輝度や濃度変化の大きい場所にて行うことができる。
また、画像中で縦軸の変化点を指定する横軸の値は固定値でも良いが、車両情報入力部1で車速情報や走行距離情報を入力しているので、速度や走行距離など車両の状況変化に応じて動的に変化させることは勿論可能である。
水平で車体の傾きが0度の場合、PAL0とPAR0の縦軸の高さは等しくなるが、車の走行面に対して左側に車体がθ度傾いた場合、PAL5はPAL0に対して縦軸での位置が高くなり、PAR5はPAR0に対して縦軸での位置が低くなる。PAL0とPAL5及びPAR0とPAR5の縦軸の差を検出することで車体の傾き具合がわかる。つまり、カメラCL及びカメラCRそれぞれで撮像された画像に対して指定した横軸における縦軸の変化点の差から車体の傾きを検出することが可能となる。なお、例えばPAL0に対してPAL5の縦軸の画素が5画素高く、PAR0とPAR5の縦軸の画素が5画素低い場合にθが5度である場合、車体姿勢補正部20でPAL5をPAL0に、PAR5をPAR0の値になるように車体姿勢を補正すれば容易に水平状態への補正が可能になる。
図4は、第1実施形態に係る車体傾斜測定装置50の動作を説明するためのフローチャートである。同図において、車両情報入力部1は、車両情報として車速情報と走行距離情を入力し、画像処理部53に出力する(ステップS10)。カメラCL及びカメラCRは、それぞれ車両の進行方向後方を撮像し、撮像した画像を画像処理部53に出力する(ステップS11)。画像処理部53は、車両情報入力部1からの車速情報及び走行距離情と、カメラCL及びカメラCRそれぞれで撮像された画像とを基に画像処理を行って車体の傾き(車体姿勢)を検出し(ステップS12)、検出した車体の傾きを車体姿勢出力部5に出力する。特に、画像処理部53は、カメラCL及びカメラCRそれぞれで撮像された画像に対して設定した横軸上の任意箇所における横軸と直交する縦軸方向の輝度や濃度を含む画像情報の変化点を検出し、カメラCLで撮像された画像で得られる変化点とカメラCRで撮像された画像で得られる変化点との差から車体の傾きを検出する。即ち、画像情報の変化の大きい箇所におけるカメラCL及びカメラCRそれぞれで撮像された画像の画素差を車両が水平状態のときの値と比較することで傾きを検出する。
車体姿勢出力部5は、画像処理部53で検出された車体の傾きを車体姿勢情報として出力する(ステップS13)。
以上のように第1実施形態に係る車体傾斜測定装置50によれば、カメラCLで撮像された画像に対して指定した横軸上の縦軸方向における画像情報の変化点と、カメラCRで撮像された画像に対して指定した横軸上の縦軸方向における画像情報の変化点との差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。特に、車両にCMSにおけるサイドカメラなどに代表されるようなカメラが車両の両サイドに付いている車両に適用する場合は、新たにカメラを用意することがないため、更なるコスト削減が可能となる。
(第2実施形態)
本発明の第2実施形態に係る車体傾斜測定装置60は、カメラCLで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点と、カメラCRで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点との差から車体の傾きを検出するようにしたものである。なお、車体傾斜測定装置60は、画像処理内容に一部違いがある以外、前述した第1実施形態に係る車体傾斜測定装置50と同様であるので、図1を援用する。
図5は、第2実施形態に係る車体傾斜測定装置60の画像処理部63の処理を説明するための図である。図5の[AY0]は、図2におけるX1での車両CARを車両進行方向後方から見た状態を示す図である。車両CARの左側にカメラCLがあり、右側にカメラCRがある。[AY0]において、カメラCLで撮像された画像が[AY0DL]であり、カメラCRで撮像された画像が[AY0DR]である。
カメラCLで撮像された画像[AY0DL]では、路面GLL0~GLR0が下方に映る。画像[AY0DL]の画像中で指定した横軸MHLL0~MHLR0と第1の縦軸MVLU~MVLDの交点がPAL0で、第2の縦軸MVLUB~MVLDBの交点がPAL1である。カメラCLで撮像された画像[AY0DL]の画像中で指定した横軸MHLL0~MHLR0を路面GLL0~GLR0に合わせた状態にすると、画面右端に車両CARの一部CARRが映る。
カメラCRで撮像された画像[AY0DR]では、路面GRL0~GRR0が下方に映る。画像[AY0DR]の画像中で指定した画像の横軸MHRL0~MHRR0と第1の縦軸MVRU~MVRDの交点がPAR0で、第2の縦軸MVRUB~MVRDBの交点がPAR1である。カメラCRで撮像された画像[AY0DR]の画像中で指定した横軸MHRL0~MHRR0を路面GRL0~GRR0に合わせた状態にすると、画面左端に車両CARの一部CARLが映る。
図5の[AY5]は、図2におけるX3での車両CARを進行方向後方から見た状態を示す図である。車両CARの左側にカメラCLがあり、右側にカメラCRがある。[AY5]において、カメラCLで撮像された画像が[AY5DL]であり、カメラCRで撮像された画像が[AY5DR]である。
カメラCLで撮像された画像[AY5DL]では、路面GLL5~GLR5が下方に映る。路面GLL5~GLR5と第1の縦軸MVLU~MVLDの交点がPAL5で、第2の縦軸MVLUB~MVLDBの交点がPALBである。画面右端に車両CARの一部CARRが映る。
カメラCRで撮像された画像[AY5DR]では、路面GRL5~GRR5が下方に映る。路面GRL5~GRR5と第1の縦軸MVRU~MVRDの交点がPAR5で、第2の縦軸MVRUB~MVRDBの交点がPARBである。画面左端に車両CARの一部CARLが映る。
水平にあり車体の傾きが0度の場合はPAL0、PAL1とPAR0、PAR1の縦軸の高さは等しく、車両CARの走行面に対して左側に車体がθ度傾いた場合のPAL5はPAL0、PALBはPAL1に対して縦軸での位置が高く、PAR5はPAR0、PARBはPAR1に対して縦軸での位置が低い。PAL0とPAL5、PAL1とPALB及びPAR0とPAR5、PAR1とPARBの縦軸の差により車体の傾き具合がわかる。つまり、カメラCL及びカメラCRそれぞれで撮像された画像に対して指定した横軸上における縦軸方向の輝度や濃度を含む画像情報の変化点の差から車体の傾き検出が可能となる。例えばPAL0に対してPAL5の縦軸方向の画素が5画素高く、PAL1に対してPALBの縦軸方向の画素が1画素高く、PAR0とPAR5の縦軸方向の画素が5画素低く、PAR1とPARBの縦軸方向の画素が1画素低い場合にθが5度である場合、車体姿勢補正部20でPAL5をPAL0に、PALBをPAL1に、PAR5をPAR0に、PARBをPAR1の値になるように車体姿勢を補正すれば容易に水平状態への補正が可能になる。
なお、カメラCL及びカメラCRそれぞれで撮像された画像に対して横軸を複数指定することで縦軸方向に画像情報のばらつきがある場合でも、その中から信頼性の高い値だけを選択して使用することができる。
また、画像中のGLL0~GLR0、GRL0~GRR0、GLL5~GLR5、GRL5~GRR5の抽出は画像中の縦軸方向で輝度や濃度の変化の大きい場所もしくは分布の変化が大きい場所としても良い。例えば画像の各縦軸中の加算平均で輝度や濃度変化の大きい場所としても良い。また、画像中で縦軸の変化点を指定する横軸の値は固定値でも良く、速度など車両の状況変化に応じて動的に変化させても良い。
以上のように第2実施形態に係る車体傾斜測定装置60によれば、カメラCLで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点と、カメラCRで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点との差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。特に、車両にCMSにおけるサイドカメラなどに代表されるようなカメラが車両の両サイドに付いている車両に適用する場合は、新たにカメラを用意することがないため、更なるコスト削減が可能となる。
(第3実施形態)
本発明の第3実施形態に係る車体傾斜測定装置70は、カメラCLで撮像された画像に対して車体が画像に入り込む場所を含めて指定した横軸上の複数の縦軸方向における画像情報の変化点と、カメラCRで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点との差から車体の傾きを検出するようにしたものである。なお、車体傾斜測定装置70は、画像処理内容に一部違いがある以外、前述した第1実施形態に係る車体傾斜測定装置50と同様であるので、図1を援用する。また、車体傾斜測定装置70における画像処理部64による画像処理は、第2実施形態に係る車体傾斜測定装置60における画像処理と略同様であるので、画像処理の説明においては図2及び図5を援用する。
図5の[AY0]は、図2におけるX1での車両CARを進行方向後方から見た状態を示す図である。車両CARの左側にカメラCLがあり、右側にカメラCRがある。[AY0]において、カメラCLで撮像された画像が[AY0DL]であり、カメラCRで撮像された画像が[AY0DR]である。
カメラCLで撮像された画像[AY0DL]の画像中で指定した横軸MHLL0~MHLR0と第1の縦軸MVLU~MVLDの交点がPAL0、車体が画像に映り込む場所にある第2の縦軸MVLUB~MVLDBの交点がPAL1である。カメラCRで撮像された画像[AY0DR]の画像中で指定した横軸MHRL0~MHRR0と第1の縦軸MVRU~MVRDの交点がPAR0、車体が画像に映り込む場所にある第2の縦軸MVRUB~MVRDBの交点がPAR1である。
図5の[AY5]は、図2におけるX3での車両CARを進行方向後方から見た状態を示す図である。[AY5]のカメラCLで撮像された画像が[AY5DL]、カメラCRの画像が[AY5DR]である。カメラCLで撮像された画像[AY5DL]の画像中のGLL5~GLR5の交点と第1の縦軸MVLU~MVLDの交点がPAL5、車体が画像に映り込む場所にある第2の縦軸MVLUB~MVLDBの交点がPALBである。
カメラCRで撮像された画像[AY5DR]の画像中のGRL5~GRR5と第1の縦軸MVRU~MVRDの交点がPAR5、車体が画像に映り込む場所にある第2の縦軸MVRUB~MVRDBの交点がPARBである。第1の縦軸に対して第2の縦軸の値を比較して差を第1の縦軸の値に反映することで第1の縦軸の値の信頼性が高まる。
水平にあり車体の傾きが0度の場合はPAL0、PAL1とPAR0、PAR1の縦軸の高さは等しく、車両CARの走行面に対して左側に車体がθ度傾いた場合のPAL5はPAL0、PALBはPAL1に対して縦軸での位置が高く、PAR5はPAR0、PARBはPAR1に対して縦軸での位置が低い。PAL0とPAL5、PAL1とPALB及びPAR0とPAR5、PAR1とPARBの縦軸の差により車体の傾き具合がわかる。つまり、カメラCL及びカメラCRそれぞれで撮像された画像に対して指定した横軸における縦軸方向の変化点の差から車体の傾き検出が可能になる。例えばPAL0に対してPAL5の縦軸方向の画素が5画素高く、PAR0とPAR5の縦軸方向の画素が5画素低い場合にθが5度である場合、車体姿勢補正部20でPAL5をPAL0に、PAR5をPAR0の値になるように車体姿勢を補正すれば容易に水平状態への補正が可能になる。
カメラCLとカメラCRに対して車体が画像に映り込まない場所と車体が画像に映り撮影画像が安定している場所、それぞれの縦軸方向の輝度や濃度等の画像情報の差を比較しながら車体が画像に映り込まない場所での縦軸方向の画像情報を使用すること車体が画像に映り込まない場所だけでは縦軸方向の画像情報にばらつきがある場合でも、その中から信頼性の高い値だけを選択して使用することができる。
なお、画像中のGLL0~GLR0、GRL0~GRR0、GLL5~GLR5、GRL5~GRR5の抽出は画像中の縦軸方向の輝度や濃度等の画像情報の変化の大きい場所もしくは分布の変化が大きい場所としても良い。例えば画像の各縦軸中の加算平均で輝度や濃度変化の大きい場所としても良い。また、画像中で縦軸方向の画像情報の変化点を指定する横軸の値は固定値でも良く、速度など車両の状況変化に応じて動的に変化させることも勿論可能である。
以上のように第3実施形態に係る車体傾斜測定装置70によれば、カメラCLで撮像された画像に対して車体が画像に入り込む場所を含めて指定した横軸上の複数の縦軸方向における画像情報の変化点と、カメラCRで撮像された画像に対して指定した横軸上の複数の縦軸方向における画像情報の変化点との差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。特に、車両にCMSにおけるサイドカメラなどに代表されるようなカメラが車両の両サイドに付いている車両に適用する場合は、新たにカメラを用意することがないため、更なるコスト削減が可能となる。
(第4実施形態)
図6は、本発明の第4実施形態に係る車体傾斜測定装置80の概略構成を示すブロック図である。なお、同図において前述した図10と共通する部分には同一の符号を付けている。同図において、第4実施形態に係る車体傾斜測定装置80は、車両情報入力部1と、カメラCLと、カメラCRと、パターンマッチング処理部81と、パターンマッチングデータベース82と、画像処理部83と、車体姿勢出力部5と、を備える。
車両情報入力部1は、車両情報として車速情報や走行距離情報を入力する。カメラCLは、車両の進行方向左側の後方を撮像するものであり、撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる。カメラCRは、車両の進行方向右側の後方を撮像するものであり、撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる。
パターンマッチング処理部81は、カメラCL及びカメラCRそれぞれで撮像された画像とパターンマッチングデータベース82に登録された画像の中から特徴となるパターンを検出する。画像処理部83は、車両情報入力部1で入力された車速情報や走行距離情報と、パターンマッチング処理部81のパターン検出結果の差を基に車体の傾きを検出し、検出した車体の傾きを車体姿勢出力部5に出力する。車体姿勢出力部5は、画像処理部83で検出された車体の傾きを車体姿勢情報として出力する。なお、車体傾斜測定装置80が車体姿勢補正部20を備えている場合、車体姿勢補正部20は、車体姿勢出力部5から出力された車体姿勢情報から車体や該車体に取り付けられた機能部品に対して姿勢補正を行うもしくは姿勢情報をディスプレイに表示もしくは表示の為に加工する。
次に、画像処理部83が行う処理を詳細に説明する。
図7及び図8は、第4実施形態に係る車体傾斜測定装置80の画像処理部83の処理を説明するための図である。図7は自動車など車両CARの走行状態を示している。図7の[SX0]は、路面がX0~X2の区間で水平な道路R0、X2~X4の区間で車の走行面に対して左側にθ度傾いた道路R5に対して、道路R0を車両CARが左から速度VXで走行している図であり、図7の[SX5]は、道路R5を車両CARが左から速度VXで走行している図である。車両CARの進行方向は左なので車両CARの右側にカメラCRを図示している。
道路R0には車両CARの進行方向に対して左側に信号機SIGLの信号面が車の進行方向を向いてあり、右側に信号機SIGRの信号面が車の進行方向と逆向きにある。[SX0]で車両CARのカメラCRのX1での時刻T1、[SX5]で車両CARのカメラCRのX3での時刻T3、X1~X3の距離はDXである状態を示す。X1でのカメラCLで撮像された画像の中で信号機SIGL裏側の信号面右下の場所はPL0、カメラCRで撮像された画像の中で信号機SIGRの信号面左下の場所はPR0、X3でのカメラCLで撮像された画像の中で信号機SIGL裏側の信号面右下の場所はPL5、カメラCRで撮像された画像の中で信号機SIGRの信号面左下の場所はPR5である。
図8において、X1での車両CARを進行方向後方から見た状態を[SY0]に示す。車両CARの左側にカメラCL、右側にカメラCRがある。[SY0]のカメラCLで撮像された画像が[SY0DL]、カメラCRで撮像された画像が[SY0DR]である。カメラCLで撮像された画像[SY0DL]では信号機SIGLの裏側が映っている。図7の信号機SIGL裏側の信号面右下のPL0に相当する画像位置はPSL0で、画像の横軸MHLL0~MHLR0と縦軸MVLU~MVLDの交点である。画面右端に車両CARの一部CARRが映っている。カメラCRで撮像された画像[SY0DR]では信号機SIGRの信号面が映っている。図7の信号機SIGRの信号面左下のPR0に相当する画像位置はPSR0で、画像の横軸MHRL0~MHRR0と縦軸MVRU~MVRDの交点である。画面左端に車両CARの一部CARLが映っている。
図8におけるX3での車両CARを進行方向後方から見た状態を[SY5]に示す。車両CARの左側にカメラCL、右側にカメラCRがある。[SY5]のカメラCLで撮像された画像が[SY5DL]、カメラCRで撮像された画像が[SY5DR]である。カメラCLの画像[SY5DL]では信号機SIGLの裏側が映っている。図7の信号機SIGL裏側の信号面右下のPL5に相当する画像位置はPSL5で、画像の横軸MHLL0~MHLR0と縦軸MVLU5~MVLD5の交点である。画面右端に車両CARの一部CARRが映っている。カメラCRで撮像された画像[SY5DR]では信号機SIGRの信号面が映っている。図7の信号機SIGRの信号面左下のPR5に相当する画像位置はPSR5で、画像の横軸MHRL0~MHRR0と縦軸MVRU5~MVRD5の交点である。画面左端に車両CARの一部CARLが映っている。
水平にあり車体の傾きが0度の場合はPSL0とPSR0の縦軸の高さは等しく、車両CARの走行面に対して左側に車体がθ度傾いた場合のPSL5はPSL0に対して縦軸での位置が高く、PSR5はPSR0に対して縦軸での位置が低い。PSL0とPSL5及びPSR0とPSR5の縦軸の差により車体の傾き具合がわかる。つまり、カメラCLとカメラCRそれぞれで撮像された画像に対して指定した横軸における縦軸方向の変化点の差から車体の傾き検出が可能になる。例えばPSL0に対してPSL5の縦軸の画素が5画素高く、PSR0とPSR5の縦軸の画素が5画素低い場合にθが5度である場合、車体姿勢補正部20でPSL5をPSL0に、PSR5をPSR0の値になるように車体姿勢を補正すれば容易に水平状態への補正が可能になる。
なお、画像中で縦軸方向の輝度や濃度を含む画像情報の変化点を指定する横軸の値は固定値でも良く、速度や走行距離など車両の状況変化に応じて動的に変化させることも勿論可能である。また、縦軸方向の輝度や濃度を含む画像情報の変化の差についても速度や走行距離など車両の状況変化に応じて動的に変化させても良い。また、パターンマッチングは信号機に限らず道路標識などパターン認識できる全ての物が利用可能である。
図9は、第4実施形態に係る車体傾斜測定装置80の動作を説明するためのフローチャートである。同図において、車両情報入力部1は、車両情報として車速情報と走行距離情報を入力し、画像処理部83に出力する(ステップS20)。カメラCL及びカメラCRは、それぞれ車両の進行方向後方を撮像し、撮像した画像を画像処理部83に出力する(ステップS21)。パターンマッチング処理部81は、パターンマッチングデータベース82の画像の中から特徴となるパターンを検出する(ステップS22)。画像処理部83は、車両情報入力部1から入力された車速情報及び走行距離情報と、カメラCL及びカメラCRそれぞれで撮像された画像と、パターンマッチングデータベース82の画像の中から検出された特徴となるパターンとを基に画像処理を行って車体の傾き(車体姿勢)を検出し、車体姿勢出力部5に出力する(ステップS23)。車体姿勢出力部5は、画像処理部83で検出された車体の傾きを車体姿勢情報として出力する(ステップS24)。
以上のように第4実施形態に係る車体傾斜測定装置80によれば、カメラCL,CRそれぞれで撮像された画像とパターンマッチングデータベース82に登録された画像の中から特徴となるパターンを検出し、パターン検出結果の差から車体の傾きを検出するので、車体にジャイロセンサを取り付けて傾きの測定を行うためのジャイロセンサ、もしくは各車輪に車高センサを取り付けてそれぞれの車輪と車体の差から求めた車高差から傾きの測定を行うための車高センサを用いることなく車両の車体傾斜を測定することができ、大幅なコスト削減が可能となる優れた車体傾斜測定装置を実現できる。
なお、上記第4実施形態に係る車体傾斜測定装置80では、定期的に同期を行って測定を行う場合を想定しているが、非同期と同期を組み合わせて測定を行っても良い。例えばパターンマッチング対象が見つかった場合に測定を開始して非同期と同期を組み合わせて測定を行っても良い。
なお、上記第4実施形態に係る車体傾斜測定装置80では、パターンマッチングにより車体の傾きを検出しているが、深層学習(deep learning)により車体の傾きを検出するようにしても良い。
また、上記第1~第4実施形態に係る車体傾斜測定装置50~80では、水平状態での基準を元に記載しているが、工場出荷時の状態を基準にしてもよい。
また、上記第1~第4実施形態に係る車体傾斜測定装置50~80では、カメラが車両CARの前側(左右側面)に付いているものと想定しているが、カメラが車両の前側(左右側面)と後側(左右側面)の両方(前側と後側)に、左右のいずれの同じ側の側面もしくはその両方に付いている場合は、車体の前後の傾きを検出するようにしてもよい。
本発明は、高価なジャイロセンサや車高センサを用いることなく安価に車両の車体傾斜を測定することができるといった効果を有し、自動車等における車体姿勢制御に有用である。
1 車両情報入力部
5 車体姿勢出力部
20 車体姿勢補正部
CL,CR カメラ
53,63,64,83 画像処理部
81 パターンマッチング処理部
82 パターンマッチングデータベース
50,60,70,80 車体傾斜測定装置
CAR 車両
CARL,CARR 車両CARの一部

Claims (3)

  1. 車速情報及び走行距離情報を含む車両情報を入力する車両情報入力部と、
    撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる第1のカメラと、
    撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる第2のカメラと、
    前記第1のカメラ及び前記第2のカメラそれぞれで撮像された画像に対して設定した横軸上の任意箇所における前記横軸と直交する縦軸方向の画像情報の変化点を検出し、前記第1のカメラで撮像された画像で得られる前記変化点と前記第2のカメラで撮像された画像で得られる前記変化点との差から車体の傾きを検出する画像処理部と、
    を備える車体傾斜測定装置。
  2. 車速情報及び走行距離情報を含む車両情報を入力する車両情報入力部と、
    撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる第1のカメラと、
    撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる第2のカメラと、
    前記第1のカメラ及び前記第2のカメラそれぞれで撮像された画像に対して設定した横軸上の任意の複数箇所それぞれにおける前記横軸と直交する縦軸方向の画像情報の変化点を検出し、前記第1のカメラで撮像された画像で得られる複数の前記縦軸方向の画像情報の変化点と前記第2のカメラで撮像された画像で得られる複数の前記縦軸方向の画像情報の変化点との差から車体の傾きを検出する画像処理部と、
    を備える車体傾斜測定装置。
  3. 車速情報及び走行距離情報を含む車両情報を入力する車両情報入力部と、
    撮像方向が車両の進行方向後方となるように車体の左側面に取り付けられる第1のカメラと、
    撮像方向が車両の進行方向後方となるように車体の右側面に取り付けられる第2のカメラと、
    パターンマッチングデータベースに登録された画像と前記第1のカメラ及び前記第2のカメラそれぞれで撮像された画像の中から特徴となるパターンを検出するパターンマッチング処理部と、
    前記パターンマッチング処理部のパターン検出結果の差から車体の傾きを検出する画像
    処理部と、
    を備える車体傾斜測定装置。
JP2018020252A 2018-02-07 2018-02-07 車体傾斜測定装置 Active JP6998530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018020252A JP6998530B2 (ja) 2018-02-07 2018-02-07 車体傾斜測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018020252A JP6998530B2 (ja) 2018-02-07 2018-02-07 車体傾斜測定装置

Publications (2)

Publication Number Publication Date
JP2019138699A JP2019138699A (ja) 2019-08-22
JP6998530B2 true JP6998530B2 (ja) 2022-01-18

Family

ID=67695236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018020252A Active JP6998530B2 (ja) 2018-02-07 2018-02-07 車体傾斜測定装置

Country Status (1)

Country Link
JP (1) JP6998530B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275969A (ja) 2005-03-30 2006-10-12 Clarion Co Ltd 傾斜角算出装置及びナビゲーション装置
JP2015058915A (ja) 2013-09-20 2015-03-30 本田技研工業株式会社 車両のロール角推定装置
WO2016121406A1 (ja) 2015-01-28 2016-08-04 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275969A (ja) 2005-03-30 2006-10-12 Clarion Co Ltd 傾斜角算出装置及びナビゲーション装置
JP2015058915A (ja) 2013-09-20 2015-03-30 本田技研工業株式会社 車両のロール角推定装置
WO2016121406A1 (ja) 2015-01-28 2016-08-04 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法

Also Published As

Publication number Publication date
JP2019138699A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP5234894B2 (ja) ステレオ画像処理装置
JP4539415B2 (ja) 画像処理装置
JP4130435B2 (ja) 撮像装置の異常検知装置
JP5949861B2 (ja) 車両の接近物体検出装置及び車両の接近物体検出方法
JP2009060499A (ja) 運転支援システム及び連結車両
JP2002366937A (ja) 車外監視装置
JP5612915B2 (ja) 移動体検出装置及び移動体検出方法
JP5054612B2 (ja) 接近物検出装置および接近物検出方法
JP2006157739A (ja) 撮像装置の異常検知装置
JP2007037011A (ja) 画像処理装置
WO2016063545A1 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP6693314B2 (ja) 車両の接近物体検出装置
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
JP6998530B2 (ja) 車体傾斜測定装置
US8384779B2 (en) Display device for vehicle
KR100591916B1 (ko) 차량 주행상태 판정장치
WO2020110435A1 (ja) 外界認識装置
JP4026641B2 (ja) 物体検出装置、および物体検出方法
JP2005301892A (ja) 複数のカメラによるレーン認識装置
JP6489645B2 (ja) 画像処理装置
JP2015011665A (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2010018223A (ja) 車両用走行路面検出装置
JP2004038760A (ja) 車両用走行路認識装置
JP4598011B2 (ja) 車両用表示装置
JP2635232B2 (ja) 車間距離検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R150 Certificate of patent or registration of utility model

Ref document number: 6998530

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03