JP7183800B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP7183800B2
JP7183800B2 JP2019002593A JP2019002593A JP7183800B2 JP 7183800 B2 JP7183800 B2 JP 7183800B2 JP 2019002593 A JP2019002593 A JP 2019002593A JP 2019002593 A JP2019002593 A JP 2019002593A JP 7183800 B2 JP7183800 B2 JP 7183800B2
Authority
JP
Japan
Prior art keywords
image
vehicle
mirror
area
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019002593A
Other languages
English (en)
Other versions
JP2020113866A (ja
Inventor
正明 天野
明宏 貴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019002593A priority Critical patent/JP7183800B2/ja
Publication of JP2020113866A publication Critical patent/JP2020113866A/ja
Application granted granted Critical
Publication of JP7183800B2 publication Critical patent/JP7183800B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両の進行方向に沿って所定の長さ以上の長さを有する構造物に沿って車両が幅寄せを行う場合、幅寄せ用の車両の周辺の領域の画像を表示する運転支援装置に関する。
従来から、車両が幅寄せを行う場合に幅寄せ用の画像を表示する運転支援装置(以下、「従来装置」と称呼する。)が知られている(例えば、特許文献1を参照。)。従来装置は、例えば、車両の左側に縁石が存在している状況で車両がその縁石側に幅寄せを行う場合、左前輪近傍の画像及び左後輪近傍の画像を表示する。
特開2003-159994号公報
車両が「縁石等の高さが比較的低い構造物」に幅寄せを行う場合、タイヤがその構造物に最初に接触するので、運転者はタイヤ近傍の領域を視認する必要がある。しかし、車両が「壁等の高さが比較的高い構造物」に幅寄せを行う場合、タイヤがその構造物に最初に接触する可能性は低いため、運転者はタイヤ近傍の領域を視認する必要性は低い。例えばサイドミラー等がその構造物に最初に接触する可能性が高いため、運転者は、車両とその構造物との位置関係の把握を要求する傾向がある。
従来装置は、構造物の高さにかかわらず、車両が構造物に幅寄せを行う場合には、幅寄せ方向のタイヤ近傍の領域を表示する。このため、従来装置は、高さが比較的高い構造物に車両が幅寄せを行う場合、視認する必要性が低いタイヤ近傍の画像を表示するので、運転者の要求に応えられない。
本発明は前述した課題に対処するためになされたものである。即ち、本発明の目的の一つは、車両が構造物に幅寄せを行う場合、構造物の高さに応じた適切な領域の画像を表示し、構造物と車両とが接触する可能性を低減させる運転支援装置を提供することにある。
本発明の運転支援装置(以下、「本発明装置」とも呼称する。)は、
車両の全周囲の周辺領域の画像を表す周辺画像を取得する周辺画像取得部(13FR、13BC、13RS、13LS、10)と、
前記車両の右後方の領域の画像を表す右画像を取得する右画像取得部(11R、10)と、
前記車両の左後方の領域の画像を表す左画像を取得する左画像取得部(11L、10)と、
前記右画像の領域のうち前記車両の運転者が前記右後方を確認するために必要な所定領域の画像を右表示部(12R)に表示し、前記左画像の領域のうち前記運転者が前記左後方を確認するために必要な所定領域の画像を左表示部(12L)に表示する制御部(10)と、を備える。
前記制御部は、
前記車両の進行方向に所定長さ以上の長さを有する構造物に沿って前記車両が走行しながら前記車両と前記構造物との間の前記車両の車幅方向における距離を短くしていく幅寄せを前記車両が行う場合、前記構造物の高さが閾値高さ以上であるか否かを判定し(ステップ925)、
前記構造物の高さが前記閾値高さ以上である場合(ステップ925「Yes」)、前記周辺画像に基いて前記周辺領域を前記車両の上から視たときの前記構造物と前記車両との関係を表す画像(60)を生成し、前記生成した画像を前記右表示部及び前記左表示部のうち前記構造物が存在する方の表示部に表示し(ステップ965)、
前記構造物の高さが前記閾値高さ未満である場合(ステップ925「No」)、前記右画像及び前記左画像のうち前記構造物が存在する方の画像において前記所定領域よりも下方であって且つ前記車両の右後輪及び左後輪のうち前記構造物が存在する方の後輪近傍の領域の画像(70)を前記右表示部及び前記左表示部のうち前記構造物が存在する方の表示部に表示する(ステップ930)、
ように構成されている。
これによって、構造物の方向に車両が幅寄せを行う場合、その構造物の高さが閾値高さ以上であれば、周辺領域を前記車両の上から視たときの画像が表示されるので、運転者は、車両と構造物との位置関係を把握することができる。一方、その構造物の高さが閾値高さ未満であれば、左後輪及び右後輪のうち前記構造物が存在する方の後輪近傍の領域の画像が表示されるので、運転者は、構造物に最初に接触する可能性が高い領域を視認することができる。従って、構造物の高さに応じた適切な領域の画像を表示でき、構造物と車両とが接触する可能性を低減できる。
なお、上記説明においては、発明の理解を助けるために、後述する実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び/又は符号を括弧書きで添えている。しかしながら、発明の各構成要素は、前記名称及び/又は符号によって規定される実施形態に限定されるものではない。本発明の他の目的、他の特徴及び付随する利点は、以下の図面を参照しつつ記述される本発明の実施形態についての説明から容易に理解されるであろう。
図1は、本発明の実施形態に係る運転支援装置(本支援装置)の概略システム構成図である。 図2は、図1に示した複数のカメラ及び複数のクリアランスソナーの車両への配置位置を説明するための車両の上面図である。 図3は、図1に示した右電子アウターミラーカメラの上下方向の撮像範囲を説明するための車両の右側面図である。 図4は、図1に示した右電子アウターミラーカメラ及び右電子アウターミラーディスプレイの配置位置の説明図である。 図5は、車両が壁に幅寄せを行う場合の処理の説明図である。 図6は、閾値高さとサイドミラーの高さとの関係を説明するための図である。 図7は、車両が縁石に幅寄せを行う場合の処理の説明図である。 図8は、図1に示した運転支援ECU(DSECU)のCPUが実行するルーチンを示したフローチャートである。 図9は、図1に示したDSECUのCPUが実行する他のルーチンを示したフローチャートである。
本実施形態に係る運転支援装置(以下、「本支援装置」と称呼する。)は車両VA(図2を参照。)に搭載される。
図1に示すように、本支援装置は、運転支援ECU(以下、「DSECU」と称呼する。)10及びステアリングECU20を備える。これらのECUは、図示しないCAN(Controller Area Network)を介してデータ交換可能(通信可能)に互いに接続されている。
ECUは、エレクトロニックコントロールユニットの略称であり、CPU、ROM、RAM及びインターフェース等を含むマイクロコンピュータを主要構成部品として有する電子制御回路である。CPUは、メモリ(ROM)に格納されたインストラクション(ルーチン)を実行することにより各種機能を実現する。これらのECUは、一つのECUに統合されてもよい。
更に、本支援装置は、右電子アウターミラーカメラ(以下、「右ミラーカメラ」と称呼する。)11R、左電子アウターミラーカメラ(以下、「左ミラーカメラ」と称呼する。)11L、右電子アウターミラーディスプレイ(以下、「右ミラーディスプレイ」)12R、左電子アウターミラーディスプレイ(以下、「左ミラーディスプレイ」)12L、フロントカメラ13FR、バックカメラ13BC、右サイドカメラ13RS、左サイドカメラ13LS、センターディスプレイ14、複数のクリアランスソナー15Fa乃至15Rd、複数の車輪速センサ16、右支援スイッチ18R及び左支援スイッチ18Lを有する。
本支援装置は、ミラー画像表示制御と、PVM(Panoramic View Monitor)画像表示制御と、幅寄せ支援制御と、を行う。
ミラー画像表示制御においては、本支援装置は、左ミラーカメラ11Lが取得した画像に基いて生成した画像を左ミラーディスプレイ12Lに表示するとともに、右ミラーカメラ11Rが取得した画像に基いて生成した画像を右ミラーディスプレイ12Rに表示する。
PVM画像表示制御においては、本支援装置は、フロントカメラ13FR、バックカメラ13BC、左サイドカメラ13LS及び右サイドカメラ13RSがそれぞれ取得した画像に基いて車両VAの真上の視点から周辺領域を視た俯瞰画像であるPVM画像60(図5を参照。)を生成し、このPVM画像をセンターディスプレイ14に表示する。
幅寄せ支援制御においては、本支援装置は、車両VAが走行している道路に沿って所定長さ以上の長さを有する構造物に対して車両VAが幅寄せを行うように車両VAの操舵角θを制御する。幅寄せとは、車両VAが構造物に沿って走行しながら車両VAと構造物との間の車幅方向における距離を短くしていく態様での車両VAの走行を意味する。
図2乃至図4に示したように、右ミラーカメラ11Rは右サイドミラーRSMに設けられる。右ミラーカメラ11Rは車両VAの右後方の領域の画像を取得する。右ミラーカメラ11Rの左右方向(車両VAの車幅方向)の画角は図2に示したように略180度であり、右ミラーカメラ11Rは、図2に点線で示した右領域線RLよりも後方側の領域の画像を取得する。更に、図3に示したように、右ミラーカメラ11Rの上下方向(車両VAの高さ方向)の画角は「θp」(略90度)であり、右ミラーカメラ11Rは、図3に点線で示した上限線ULから下限線DLまでの上下方向の領域の画像を取得する。
図2に示したように、左ミラーカメラ11Lは左サイドミラーLSMに設けられる。左ミラーカメラ11Lは車両VAの左後方の領域の画像を取得する。左ミラーカメラ11Lの左右方向(車幅方向)の画角は図2に示したように略180度であり、左ミラーカメラ11Lは、図2に点線で示した左領域線LLよりも後方側の領域の画像を取得する。図示は省略するが、左ミラーカメラ11Lの上下方向の画角は、右ミラーカメラ11Rと同じ「θp」である。
図4に示したように、右ミラーディスプレイ12Rは、車室内のインストルメントパネルIP上の右サイドミラーRSM付近の箇所に設けられ、右ミラーカメラ11Rが取得した画像を表示する。同様に、左ミラーディスプレイ12Lは、インストルメントパネルIP上の左サイドミラーLSM付近の箇所に設けられ、左ミラーカメラ11Lが取得した画像を表示する。
フロントカメラ13FRは、図2に示したように、車両VAの車室内のルーフの前端部の中央付近に設けられ、車両VAの前方の領域の画像を取得する。フロントカメラ13FRはステレオカメラであり、フロントカメラ13FRから物標までの距離及び方位を取得することができる。バックカメラ13BCは、図2に示したように、車両VAのトランクTRの後端部の中央付近に設けられ、車両VAの後方の領域の画像を取得する。右サイドカメラ13RSは、図2に示したように、右サイドミラーRSMに設けられ、車両VAの右側方の領域の画像を取得する。より詳細には、右サイドカメラ13RSは、図2に一点鎖線で示した右サイドカメラ線RSL1から右サイドカメラ線RSL2までの領域の画像を取得する。左サイドカメラ13LSは、図2に示したように、左サイドミラーLSMに設けられ、車両VAの左側方の領域の画像を取得する。より詳細には、左サイドカメラ13LSは、図2に一点鎖線で示した左サイドカメラ線LSL1から左サイドカメラ線LSL2までの領域の画像を取得する。
DSECU10は、これらのカメラ13FR、13BC、13RS及び13FSが取得した画像に基いて、車両VAの周辺領域の立体曲面状の画像(以下、「立体画像」と称呼する。)を生成する。より詳細には、DSECU10は、各カメラ13FR、13BC、13RS及び13FSが取得した画像の各画素値を、半球面状の立体曲面に含まれる画素に投影する。この立体曲面の底面は車両VAを中心とする。画像の画素とこれに対応する立体曲面の画素とは予め対応付けられている。本支援装置は、生成した立体画像を利用して車両VAの真上から視たときの周辺領域の画像を表すPVM画像60を生成する。
なお、このような立体画像の生成処理自体は周知の技術である(例えば、特開2012-217000号公報を参照。)。
センターディスプレイ14は、インストルメントパネルIPの車幅方向の中央付近に設けられ(図示省略)、ナビゲーション情報等を表示する。更に、所定の条件(例えば、車速Vsが閾値速度以下となった等の条件を含む。)が成立した場合に上述したPVM画像60がセンターディスプレイ15に表示される。
図2に示すように、8個のクリアランスソナー15Fa乃至15Fd及び15Ra乃至15Rdが車両VAに取り付けられている。4個のクリアランスソナー15Fa乃至15Fdは、車両VAのフロントバンパーFBに設けられている。フロントバンパーFBの左端部にはクリアランスソナー15Faが設けられ、フロントバンパーFBの中央左側にはクリアランスソナー15Fbが設けられ、フロントバンパーFBの中央右側にはクリアランスソナー15Fcが設けられ、フロントバンパーFBの右端部にはクリアランスソナー15Fdが設けられる。
4個のクリアランスソナー15Ra乃至15Rdは、車両VAのリアバンパーRBに設けられている。リアバンパーRBの左端部にはクリアランスソナー15Raが設けられ、リアバンパーRBの中央左側にはクリアランスソナー15Rbが設けられ、リアバンパーRBの中央右側にはクリアランスソナー15Rcが設けられ、リアバンパーRBの右端部にはクリアランスソナー15Rdが設けられる。
クリアランスソナー15Fa乃至15Rdは、それぞれ図2に示した検出範囲DFa乃至DRdの物標を検出する。更に、これらのクリアランスソナー15Fa乃至15Rdは、図3に示したように、高さDH1以上高さDH2未満の高さ領域で物標を検出する。
クリアランスソナー15Fa乃至15Rdは、超音波を送信してから物標に反射された超音波を受信するまでの時間に基いて物標までの距離を取得することができる。
車輪速センサ16は車両VAの車輪毎に設けられる。各車輪速センサ16は、対応する車輪が所定角度回転する毎に一つのパルス信号(車輪パルス信号)を発生させる。DSECU10は、各車輪速センサ16から送信されてくる車輪パルス信号の単位時間におけるパルス数を計測し、その計測したパルス数に基いて各車輪の回転速度(車輪速度)を取得する。DSECU10は、各車輪の車輪速度に基いて車両VAの速度を示す車速Vsを取得する。一例として、DSECU10は、四つの車輪の車輪速度の平均値を車速Vsとして取得する。
右支援スイッチ18R及び左支援スイッチ18Lは、車両VAのステアリングホイールSW(図4を参照。)付近に設けられ、運転者が後述する幅寄せ支援制御の開始を要求する場合に操作されるスイッチである。運転者が右支援スイッチ18Rを操作した場合、右支援スイッチ18Rは「運転者が右方向への幅寄せ支援制御の開始を要求していること」を表す右支援制御開始信号をDSECU10に送信する。運転者が左支援スイッチ18Lを操作した場合、左支援スイッチ18Lは「運転者が左方向への幅寄せ支援制御の開始を要求していること」を表す左支援制御開始信号をDSECU10に送信する。
ステアリングECU20は、周知の電動パワーステアリングシステムの制御装置であって、操舵角センサ22及び操舵用モータ26に接続されている。操舵用モータ26は、車両VAの「ステアリングホイールSW、ステアリングホイールSWに連結された図示しないステアリングシャフト及び操舵用ギア機構等を含む図示しないステアリング機構」に組み込まれている。
操舵角センサ22は、車両VAの操舵角(舵角又は転舵角とも称呼される)θを検出する。ステアリングホイールSWが中立位置に位置する場合に操舵角θは「0」を示す。ステアリングホイールSWが中立位置から左方向に回転すると操舵角θは負の値を示し、ステアリングホイールSWが中立位置から右方向に回転すると操舵角θは正の値を示す。中立位置から回転した角度が大きくなるほど、操舵角θの大きさは大きくなる。
操舵用モータ26は、ステアリングECU20によって向き及び大きさ等が制御される電力に応じてトルクを発生し、このトルクによって操舵アシストトルクを加えたり、左右の操舵輪を操舵したりする。即ち、操舵用モータ26は、車両VAの操舵角を変更することができる。なお、上記電力は車両VAに搭載された図示しないバッテリから供給される。
本支援装置は、右サイドミラーアクチュエータ30及び左サイドミラーアクチュエータ32を備える。DSECU10は、これらに接続されている。右サイドミラーアクチュエータ30は、右サイドミラーRSMに接続され、右サイドミラーRSMを開状態(図2乃至図4を参照。)及び閉状態の何れかに制御する。左サイドミラーアクチュエータ32は、左サイドミラーLSMに接続され、左サイドミラーLSMを開状態(図2を参照。)及び閉状態(図5を参照。)の何れかに制御する。
開状態であるサイドミラー(以下、右サイドミラーRSM及び左サイドミラーLSMを総称する場合、「サイドミラー」と称呼する。)の車両VAの側面からの突出量は閉状態であるときのサイドミラーの突出量よりも大きくなる。サイドミラーが閉状態であれば、ミラーカメラは車両VAの後方の領域の画像を取得できない。
(作動の概要)
図5を参照しながら、車両VAが壁Wに対して幅寄せを行う場合のDSECU10の処理を説明する。
DSECU10は、所定時間が経過する毎に、カメラ13FR、13BC、13RS及び13LSが取得した画像に基いて、「車両VAの進行方向に沿って(車両VAが走行している道路に沿って)所定長さLth以上の長さLを有する構造物」が車両VAの車幅方向に存在するか否かを判定している。このような構造物を認識する処理は周知の方式であり、例えば、特開2018-149901号公報及び特開2018-151816号公報等に記載されている。このような構造物が存在すると判定されている状況下で、運転者によって「右支援スイッチ18R及び左支援スイッチ18Lのうち構造物が存在する方向の支援スイッチ」が操作された場合、DSECU10は、幅寄せ支援制御を開始する。
<時点t1>
図5に示した時点t1では幅寄せ支援制御は未だ開始されていない。時点t1にて、DSECU10は、車幅方向の左側の壁Wを前述した構造物として認識している。更に、時点t1にて、右サイドミラーRSM及び左サイドミラーLSMはともに開状態であり、DSECU10は、右ミラーディスプレイ12Rに通常画像50を表示し、左ミラーディスプレイ12Lに通常画像50を表示する。
右ミラーディスプレイ12Rに表示される通常画像50は、右ミラーカメラ11Rが取得した画像に対応する領域のうち運転者が通常時に車両VAの右後方の領域を視認するために必要な領域(通常表示領域NDA)に対応する画像である。図3に示したように、通常表示領域NDAは、上下方向において、上切取線L1から下切取線L2までの領域である。上切取線L1は、車両VAの地上からの高さが最も高い頂部TPよりも所定高さPHだけ高い位置を通り且つ車両VAの長手方向と平行な直線である。下切取線L2は、右後輪Wrrの最上端を通り且つ車両VAの長手方向と平行な直線である。即ち、この通常表示領域NDAには、右後輪Wrrの最上端よりも下方の領域は含まれない。
図5に示したように、時点t1乃至t3においては、右ミラーディスプレイ12Rには通常画像50が表示され続ける。時点t1乃至時点t3における通常画像50には、車両VAの右後方を走行する他車両OV及び車両VAの右後方部RRが表示されている。
なお、時点t1にて左ミラーディスプレイ12Lに表示される通常画像50も、左ミラーカメラ11Lが取得した画像に対応する領域のうち運転者が通常時に車両VAの右後方の領域を視認するために必要な領域である通常表示領域NDAに対応する画像が表示される。
<時点t2>
時点t2にて、運転者が「構造物(壁W)が存在する方向の左支援スイッチ18L」を操作することによって幅寄せ支援制御が開始する。この幅寄せ支援制御は、車幅方向に存在する構造物に沿って車両VAが走行しながら構造物の方向(図5に示す例においては左方向)に車両VAを予め設定された所定距離d(図5を参照。)だけ移動するように車両VAの操舵角θを制御する制御である。
幅寄せ支援制御が開始すると、DSECU10は、フロントカメラ13FRが取得した画像に基いて構造物の高さHを取得し、取得した高さHが閾値高さHth以上であるか否かを判定する。
閾値高さHthは、図6に示したように、地面から「車両VAの図示しないサスペンションが最も縮んだ状態における右サイドミラーRSM及び左サイドミラーLSMの最下端MBE」までの高さに設定されている。
図6に示した例においては、構造物S1(壁W)の高さH1が閾値高さHth以上であり、構造物S2(縁石E)の高さH2が閾値高さHth未満である。
なお、図5に示す例においては、DSECU10は、構造物(壁W)の高さHは閾値高さHth以上であると判定する。
DSECU10は、図5に示した構造物(壁W)の高さHが閾値高さHth以上であると判定した後、クリアランスソナー15Fa乃至15Rdの検出結果に基いて車両VAと壁Wとの間の車幅方向における距離WDを取得し、取得した距離WDが閾値距離WDth以下であるか否かを判定する。なお、この閾値距離WDthは、クリアランスソナー15Fa乃至15Rdが物標を検出可能な距離よりも短い距離に設定されている。図5に示す時点t2においては、DSECU10は、距離WDが閾値距離WDth以下であると判定する。この場合、車両VAは壁Wと比較的接近しているので、DSECU10は、構造物(壁W)が存在する方向の左サイドミラーLSMが閉状態となるように、左サイドミラーアクチュエータ32を制御する。更に、DSECU10は、左ミラーディスプレイ12LにPVM画像60を表示する。このPVM画像60には、図5に示したように、車両VAを真上から視たときの画像である車両アイコン61及び壁Wを真上から視たときの画像62が表示される。
<時点t3>
時点t3にて、車両VAは、幅寄せ支援制御が開始した地点(時点t2の車両VAの地点)から構造物が存在する方向(左方向)に所定距離dだけ移動する。この時点t3にて幅寄せ支援制御が終了する。図5に示したように、時点t3においても、DSECU10は、左サイドミラーLSMを閉状態に維持し、且つ、左ミラーディスプレイ12LにPVM画像60を表示している。幅寄せ支援制御が終了した後、操舵角センサ22が検出した操舵角θの符号が「構造物が存在しない方向(右方向)」を示し且つ操舵角θの大きさが閾値角度θth以上となった場合、DSECU10は、左サイドミラーLSMを開状態にするように左サイドミラーアクチュエータ32を制御し、左ミラーディスプレイ12Lに通常画像50を表示する。
なお、時点t3にても、右サイドミラーRSMは開状態であり、且つ、右ミラーディスプレイ12Rには通常画像50が表示される。
以上説明したように、構造物の高さHが閾値高さHth以上である場合、構造物が存在する方向の左サイドミラーLSMが閉状態となるので、左サイドミラーLSMが構造物と接触する可能性を低減できる。更に、左ミラーディスプレイ12LにPVM画像60が表示されるので、運転者は構造物と車両VAとの位置関係を容易に把握することができる。
図7を参照しながら、車両VAが縁石Eに対して幅寄せを行う場合のDSECU10の処理を説明する。
<時点t1’>
図7に示した時点t1’では幅寄せ支援制御は未だ開始されていない。DSECU10は、車幅方向の左側の縁石Eを前述した構造物として認識している。時点t1’にて、右サイドミラーRSM及び左サイドミラーLSMはともに開状態であり、DSECU10は、右ミラーディスプレイ12Rに通常画像50を表示し、左ミラーディスプレイ12Lに通常画像50を表示する。
<時点t2’>
図7に示した時点2’にて、運転者が左支援スイッチ18Lを操作して幅寄せ支援制御が開始する。幅寄せ支援制御が開始すると、DSECU10は、フロントカメラ13FRが取得した画像に基いて構造物(縁石E)の高さHを取得する。DSECU10は、構造物(縁石E)の高さHが閾値高さHthであると判定する。この場合、DSECU10は、左ミラーディスプレイ12Lに下方画像70を表示する。
左ミラーディスプレイ12Lに表示される下方画像70には、運転者が縁石Eと接触する可能性が高い領域を視認するために必要な領域である左後輪Wlr近傍の領域(下方表示領域UDA)に対応する画像が表示される。図3に示したように、この下方表示領域UDAは下切取線L2よりも下方の領域である。図7に示した時点t2’にて、左ミラーディスプレイ12Lに表示される下方画像70には、左後輪Wlrの画像71が表示される。
<時点t3’>
図7に示した時点t3’にて、車両VAは構造物が存在する方向(左方向)に所定距離dだけ移動して幅寄せ支援制御が終了する。時点t3’においても、左ミラーディスプレイ12Lに下方画像70を表示している。左後輪Wlrが縁石Eに接近したので、この下方画像70には、画像71の左方向に縁石Eの画像72が表示されている。
なお、幅寄せ支援制御が終了した後、操舵角センサ22が検出した操舵角θの符号が「構造物が存在しない方向(右方向)」を示し且つ操舵角θの大きさが閾値角度θth以上となった場合、DSECU10は、左ミラーディスプレイ12Lに通常画像50を表示する。
更に、時点t2’及び時点t3’においては、右サイドミラーRSM及び左サイドミラーLSMはともに開状態であり、右ミラーディスプレイ12Rには通常画像50が表示される。
以上説明したように、構造物の高さHが閾値高さHth未満である場合、構造物が存在する方向の左ミラーディスプレイ12Lに下方画像70が表示されるので、運転者は、高さHが閾値高さ未満Hthである構造物に接触する可能性が高い後輪近傍の領域を視認することができる。
(具体的作動)
<幅寄せ支援制御ルーチン>
DSECU10のCPU(以下、「CPU」と表記した場合、特に断りがない限り、DSECU10のCPUを指す。)は、図8にフローチャートにより示したルーチン(幅寄せ支援制御ルーチン)を所定時間が経過する毎に実行する。
従って、所定のタイミングになると、CPUは、図8のステップ800から処理を開始してステップ805に進み、幅寄せ支援フラグXhbyが「0」であるか否かを判定する。幅寄せ支援フラグXhbyは、幅寄せ支援制御が実行されている期間「1」に設定され、幅寄せ支援制御が実行されていな期間「0」に設定される。なお、DSECU10は、車両VAの図示しないイグニッション・キー・スイッチがオフ位置からオン位置へと変更されたときに実行するイニシャルルーチンにおいて、幅寄せ支援フラグXhbyを「0」に設定する。
幅寄せ支援フラグXhbyが「0」である場合、CPUは、ステップ805にて「Yes」と判定してステップ810に進む。ステップ810にて、CPUは、右支援スイッチ18R及び左支援スイッチ18Lのうち何れかのスイッチが操作されたか否かを判定する。より詳細には、CPUは、右支援制御開始信号及び左支援制御開始信号の何れかの信号を受信した場合、何れかのスイッチが操作されたと判定する。
右支援スイッチ18R及び左支援スイッチ18Lの何れもが操作されていない場合、CPUは、ステップ810にて「No」と判定し、ステップ895に進んで本ルーチンを一旦終了する。
一方、CPUがステップ810に進んだ時点にて、右支援スイッチ18R及び左支援スイッチ18Lの何れかのスイッチが操作された場合、CPUは、そのステップ810にて「Yes」と判定し、ステップ815を実行してステップ820に進む。
ステップ815:CPUは、右支援スイッチ18R及び左支援スイッチ18Lのどちらが操作されたかを特定することによって運転者によって指定された幅寄せ方向を特定する。より詳細には、CPUは、右支援制御開始信号を受信した場合、右支援スイッチ18Rが操作され、幅寄せ方向は右方向であると特定し、左支援制御開始信号を受信した場合、左支援スイッチ18Lが操作され、幅寄せ方向は左方向であると特定する。
ステップ820:CPUは、ステップ815にて特定された幅寄せ方向に前述した構造物が存在するか否かを判定する。CPUは、図示しない構造物特定ルーチンを所定時間が経過する毎に実行することによって、カメラ13FR、13BC、13RS及び13LSが取得した画像に基いて前述した構造物を特定している。
幅寄せ方向に前述した構造物が存在しない場合、運転者が何れかの支援スイッチを操作したにもかかわらず、CPUは幅寄せ支援制御を開始しない。この場合、CPUは、ステップ820にて「No」と判定してステップ825に進む。ステップ825にて、CPUは、幅寄せ支援制御を開始しない旨のメッセージをセンターディスプレイ14に表示し、ステップ895に進んで本ルーチンを一旦終了する。
一方、CPUがステップ820に進んだ時点にて、幅寄せ方向に前述した構造物が存在する場合、CPUは、そのステップ820にて「Yes」と判定し、ステップ830乃至ステップ850をこの順に実行する。その後、CPUは、ステップ895に進んで本ルーチンを一旦終了する。
ステップ830:CPUは、幅寄せ支援フラグXhbyを「1」に設定する。
ステップ835:CPUは、ミラー制御フラグXmrcを「1」に設定する。ミラー制御フラグXmrcは、幅寄せ支援フラグXhbyが「1」に設定された場合(即ち、幅寄せ支援制御が開始した場合)に「1」に設定される。更に、ミラー制御フラグXmrcは、幅寄せ支援フラグXhbyが「1」から「0」に設定された後、ステアリングホイールSWが「構造物が存在しない方向」に閾値角度θth以上操作された場合、「0」に設定される。なお、前述したイニシャルルーチンにて、幅寄せ支援フラグXhbyは「0」に設定される。
ステップ840:CPUは、「車両VAが現在位置から幅寄せ方向に所定距離dだけ移動するための経路である目標経路PTtgt」を、周知の方式(例えば、特開2008-213516号公報を参照。)に従って取得する。
ステップ845:CPUは、車両VAが目標経路PTtgtを走行するための目標操舵角θtgtを取得する。
ステップ850:CPUは、ステップ845にて取得した目標操舵角θtgtをステアリングECU20に送信する。
ステアリングECU20は、目標操舵角θtgtを受信した場合、操舵角センサ22が検出する実際の操舵角(以下、「実操舵角」と称呼する。)θが目標操舵角θtgtと一致するように、操舵用モータ26を制御する。
一旦幅寄せ支援制御が開始した後に本ルーチンが実行され、CPUがステップ805に進むと、幅寄せ支援フラグXhbyが「1」に設定されているので、CPUは、そのステップ805にて「No」と判定してステップ855を実行し、ステップ860に進む。
ステップ855:CPUは、幅寄せ支援制御が開始した時点から現時点までの期間に取得されている実操舵角θ、車速Vs及びその期間の長さに基いて車両VAの現在位置を取得する。
ステップ860:CPUは、ステップ855にて取得した現在位置に基いて車両VAが目標経路PTtgtの終点に到達したか否かを判定する。
車両VAが目標経路PTtgtの終点に未だ到達していない場合、CPUは、ステップ860にて「No」と判定し、ステップ845以降の処理に進み、目標操舵角θtgtを取得し、その目標操舵角θtgtをステアリングECU20に送信する。
一方、CPUがステップ860に進んだ時点にて、車両VAが目標経路PTtgtの終点に到達した場合、CPUは、そのステップ860にて「Yes」と判定し、ステップ865及びステップ870をこの順に実行し、ステップ895に進んで本ルーチンを一旦終了する。
ステップ865:CPUは、車両VAが終点に到達して幅寄せ支援制御が終了する旨のメッセージをセンターディスプレイ14に表示する。
ステップ870:CPUは、幅寄せ支援フラグXhbyを「0」に設定する。
<ミラー制御ルーチン>
CPUは、図9にフローチャートにより示したルーチン(ミラー制御ルーチン)を所定時間が経過する毎に実行する。
従って、所定のタイミングになると、CPUは、図9のステップ900から処理を開始してステップ905に進み、ミラー制御フラグXmrcが「0」であるか否かを判定する。
ミラー制御フラグXmrcが「0」である場合、CPUは、ステップ905にて「Yes」と判定してステップ910に進む。ステップ910にて、CPUは、右ミラーディスプレイ12R及び左ミラーディスプレイ12Lのそれぞれに通常画像50を表示する。その後、CPUは、ステップ995に進み、本ルーチンを一旦終了する。
一方、CPUがステップ905に進んだ時点にて、ミラー制御フラグXmrcが「1」である場合、CPUは、そのステップ905にて「No」と判定してステップ915に進む。
ステップ915にて、CPUは、幅寄せ支援フラグXhbyが「1」であるか否かを判定する。幅寄せ支援フラグXhbyが「1」である場合(即ち、幅寄せ支援制御が実行されている場合)、CPUは、ステップ915にて「Yes」と判定し、ステップ920を実行してステップ925に進む。
ステップ920:CPUは、ステレオカメラであるフロントカメラ13FRが取得した画像に基いて幅寄せ方向に存在する構造物の高さHを取得する。ステレオカメラが取得した画像から物標の高さを取得する方式は周知であり、このような方式は、例えば、特開2017-068789号公報等に記載されている。
ステップ925:CPUは、ステップ920にて取得した高さHが閾値高さHth以上であるか否かを判定する。
高さHが閾値高さHth未満である場合、CPUは、ステップ925にて「No」と判定し、ステップ930に進み、右ミラーディスプレイ12R及び左ミラーディスプレイ12Lのうち幅寄せ方向(構造物が存在する方向)の一方のミラーディスプレイに下方画像70を表示し、他方のミラーディスプレイに通常画像50を表示する。その後、CPUは、ステップ995に進み、本ルーチンを一旦終了する。
一方、CPUがステップ915に進んだ時点にて幅寄せ支援フラグXhbyが「0」である場合(即ち、実行されていた幅寄せ支援制御が終了した場合)、CPUは、そのステップ915にて「No」と判定してステップ935に進む。
ステップ935にて、CPUは、実操舵角θの符号に基いて、ステアリングホイールSWの操舵方向が「構造物が存在する方向(幅寄せ方向)と反対方向」であるか否かを判定する。
操舵方向が構造物が存在する方向と反対方向でない場合、即ち、ステアリングホイールSWが中立位置に位置する場合及び操舵方向が構造物が存在する方向である場合の何れかである場合、CPUは、ステップ935にて「No」と判定してステップ920に進む。
一方、CPUがステップ935に進んだ時点にて、操舵方向が構造物が存在する方向と反対方向である場合、CPUは、ステップ935にて「Yes」と判定し、ステップ940に進む。
ステップ940にて、CPUは、実操舵角θの大きさが閾値角度θth以上であるか否かを判定する。実操舵角θの大きさが閾値角度θth未満である場合、CPUは、ステップ940にて「No」と判定してステップ920に進む。
一方、CPUがステップ940に進んだ時点にて、実操舵角θの大きさが閾値角度θth以上である場合、CPUは、そのステップ940にて「Yes」と判定し、ステップ945及びステップ950をこの順に実行し、ステップ910に進む。
ステップ945:CPUは、ミラー制御フラグXmrcを「0」に設定する。
ステップ950:CPUは、右サイドミラーアクチュエータ30及び左サイドミラーアクチュエータ32に開指令信号を送信する。
右サイドミラーアクチュエータ30は、開指令信号を受信すると、右サイドミラーRSMを開状態にする。左サイドミラーアクチュエータ32は、開指令信号を受信すると、左サイドミラーLSMを開状態にする。構造物の高さHが閾値高さHth未満であり、ステップ925にて「No」と判定されていた場合、右サイドミラーRSM及び左サイドミラーLSMは閉状態にされないが、この場合であっても、ステップ950は確認的に実行される。
その後、CPUは、ステップ910にて通常画像50を右ミラーディスプレイ12R及び左ミラーディスプレイ12Lのそれぞれに表示し、ステップ995に進み、本ルーチンを一旦終了する。
一方、CPUがステップ925に進んだ時点にて、構造物の高さHが閾値高さHth以上である場合、CPUは、ステップ925にて「Yes」と判定し、ステップ955を実行し、ステップ960に進む。
ステップ955:CPUは、構造物が存在する方向のクリアランスソナーの検出結果に基いて、構造物と車両VAとの間の車幅方向における距離WDを取得する。
ステップ960:CPUは、距離WDが閾値距離WDth以下であるか否かを判定する。
距離WDが閾値距離WDth以下である場合、CPUは、ステップ960にて「Yes」と判定し、ステップ965及びステップ970をこの順に実行し、ステップ995に進んで本ルーチンを一旦終了する。
ステップ965:CPUは、右ミラーディスプレイ12R及び左ミラーディスプレイ12Lのうち幅寄せ方向(構造物が存在する方向)の一方のミラーディスプレイにPVM画像60を表示し、他方のミラーディスプレイに通常画像50を表示する。
ステップ970:CPUは、右サイドミラーアクチュエータ30及び左サイドミラーアクチュエータ32のうち幅寄せ方向(構造物が存在する方向)の一方のサイドミラーアクチュエータに閉指令信号を送信する。
右サイドミラーアクチュエータ30は、閉指令信号を受信すると、右サイドミラーRSMを閉状態にする。左サイドミラーアクチュエータ32は、閉指令信号を受信すると、左サイドミラーLSMを閉状態にする。
一方、CPUがステップ960に進んだ時点にて、距離WDが閾値距離WDthよりも長い場合、CPUは、ステップ960にて「No」と判定してステップ910に進む。この結果、CPUは、右ミラーディスプレイ12R及び左ミラーディスプレイ12Lそれぞれに通常画像50を表示する。
以上説明したように、幅寄せ方向の構造物の高さHが閾値高さHth以上である場合、CPUは、幅寄せ方向のミラーディスプレイにPVM画像60を表示し、幅寄せ方向のサイドミラーを閉状態にする。これによって、閾値高さHth以上の構造物が存在する方向に幅寄せ支援制御を行う場合、運転者は、PVM画像60によって当該構造物と車両VAとの位置関係を把握し易くなり、且つ、サイドミラーが当該構造物と接触する可能性を低減することができる。
一方、幅寄せ方向の構造物の高さHが閾値高さHth未満である場合、CPUは、幅寄せ方向のミラーディスプレイに下方画像70を表示する。これによって、閾値高さHth未満の構造物が存在する方向に幅寄せ支援制御を行う場合、運転者は、当該構造物に接触する可能性が高い後輪近傍の領域を視認することができる。
本発明は前述した実施形態に限定されることはなく、本発明の種々の変形例を採用することができる。
閾値高さHthは、地面から「右サイドミラーRSM及び左サイドミラーLSMの最下端MBE」までの高さに設定されていると説明したがこれに限定されない。代替えとして閾値高さHthは、例えば、クリアランスソナー15Fa乃至15Rdが検出可能な物標の高さDH1に設定されていてもよい。
この場合、CPUは、構造物が存在する方向のクリアランスソナーの何れかが物標を検出していれば、その構造物の高さHが閾値高さHth以上であると判定し、構造物が存在する方向のクリアランスソナーの何れもが物標を検出していなければ、その構造物の高さHが閾値高さHth未満であると判定するように構成されてもよい。
更に、幅寄せ支援制御が開始するときの車両VAの位置から車両VAが幅寄せ支援制御の終点に到達したときの車両VAの位置までの車幅方向の距離を示す所定距離dは、予め設定された値でなくてもよい。この所定距離dは運転者によって設定されてもよい。例えば、幅寄せ支援制御毎に所定距離dが所望の値に設定されてもよい。より詳細には、運転者がセンターディスプレイ14を操作することによって所定距離dを所望の値に設定した上で右支援スイッチ18R及び左支援スイッチ18Lを操作した場合に、DSECU10は、幅寄せ支援制御を開始してもよい。
更に、CPUは、図9に示すステップ955にて、車両VAと構造物との間の車幅方向における距離WDを、ステレオカメラであるフロントカメラ13FRが取得した画像に基いて取得してもよい。更に、CPUは、図9に示すステップ955及びステップ960を省略してもよい。即ち、CPUは、構造物の高さHが閾値高さHth以上であれば、ステップ925にて「Yes」と判定し、ステップ965に直接進んでもよい。
更に、CPUは、車両VAが幅寄せ支援制御の終点に到達し、幅寄せ支援制御が終了した時点にて、PVM画像60又は下方画像70の表示を終了し且つサイドミラーを開状態にする処理を実行してもよい。この場合、CPUは、図9に示すルーチンのステップ935及びステップ940を実行しない。
更に、上述した実施形態では、右支援スイッチ18R及び左支援スイッチ18Lの何れが操作されたかを特定することによって幅寄せ方向を特定したが、幅寄せ方向を特定する方式はこれに限定されない。代替えとして、DSECU10は、ステアリングホイールSWの操舵方向によって幅寄せ方向を特定してもよい。より詳細には、DSECU10は、ステアリングホイールSWの操舵方向が右方向であれば、幅寄せ方向は右方向であると特定し、ステアリングホイールSWの操舵方向が左方向であれば、幅寄せ方向は左方向であると特定する。更に、DSECU10は、図示しないウィンカーレバーの操作方向によって幅寄せ方向を特定してもよい。より詳細には、DSECU10は、ウィンカーレバーが右側のウィンカーが作動する方向に操作されていれば、幅寄せ方向は右方向であると特定し、ウィンカーレバーが左側のウィンカーが作動する方向に操作されていれば、幅寄せ方向は左方向であると特定する。なお、このような方式においては、本支援装置は、二つの支援スイッチ18R及び18Lを備える必要はなく、一つの支援スイッチを備えればよい。
更に、上述した実施形態は、前述した幅寄せ支援制御を実行しない運転支援装置にも適用可能である。このような装置のDSECU10のCPUは、以下の開始条件(A1)乃至(A3)が成立したときに、運転者が幅寄せを行うと判定して幅寄せ支援フラグXhby及びミラー制御フラグXmrcをそれぞれ「1」に設定する。
(A1)前述した距離WDが所定の開始距離WDs以下である。
(A2)ステアリングホイールSWが構造物が存在する方向に操舵されている。
(A3)実操舵角θの大きさが所定の開始角度θsth以上である。
更に、このCPUは、以下の終了条件(B1)及び(B2)のいずれかが成立した場合、運転者による幅寄せが終了したと判定して幅寄せ支援フラグXhby及びミラー制御フラグXmrcをそれぞれ「0」に設定する。
(B1)前述した距離WDが開始距離WDsよりも長い。
(B2)実操舵角θの大きさが「0」である状態(ステアリングホイールSWが中立位置に位置した状態)が所定時間継続する。
クリアランスソナー15Fa乃至16Rdは、「無線媒体を放射し、反射された無線媒体を受信することによって物標を検出するセンサ」であればよい。
10…運転支援ECU(DSECU)、11R…右電子アウターミラーカメラ、11L…左電子アウターミラーカメラ、12R…右電子アウターミラーディスプレイ、12L…左電子アウターミラーディスプレイ、13FR…フロントカメラ、13BC…バックカメラ、13RS…右サイドカメラ、13LS…左サイドカメラ、14…センターディスプレイ、15Fa乃至15Rd…クリアランスソナー、16…車輪速センサ、18R…右支援スイッチ、18L…左支援スイッチ、20…ステアリングECU、22…操舵角センサ22、26…操舵用モータ、30…右サイドミラーアクチュエータ、32…左サイドミラーアクチュエータ、RSM…右サイドミラー、LSM…左サイドミラー。

Claims (1)

  1. 車両の全周囲の周辺領域の画像を表す周辺画像を取得する周辺画像取得部と、
    前記車両の右後方の領域の画像を表す右画像を取得する右画像取得部と、
    前記車両の左後方の領域の画像を表す左画像を取得する左画像取得部と、
    前記右画像の領域のうち前記車両の運転者が前記右後方を確認するために必要な所定領域の画像を右表示部に表示し、前記左画像の領域のうち前記運転者が前記左後方を確認するために必要な所定領域の画像を左表示部に表示する制御部と、を備え、
    前記制御部は、
    前記車両の進行方向に所定長さ以上の長さを有する構造物に沿って前記車両が走行しながら前記車両と前記構造物との間の前記車両の車幅方向における距離を短くしていく幅寄せを前記車両が行う場合、前記構造物の高さが閾値高さ以上であるか否かを判定し、
    前記構造物の高さが前記閾値高さ以上である場合、前記周辺画像に基いて前記周辺領域を前記車両の上から視たときの前記構造物と前記車両との関係を表す画像を生成し、前記生成した画像を前記右表示部及び前記左表示部のうち前記構造物が存在する方の表示部に表示し、
    前記構造物の高さが前記閾値高さ未満である場合、前記右画像及び前記左画像のうち前記構造物が存在する方の画像において前記所定領域よりも下方であって且つ前記車両の右後輪及び左後輪のうち前記構造物が存在する方の後輪近傍の領域の画像を前記右表示部及び前記左表示部のうち前記構造物が存在する方の表示部に表示する、
    ように構成された、運転支援装置。
JP2019002593A 2019-01-10 2019-01-10 運転支援装置 Active JP7183800B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019002593A JP7183800B2 (ja) 2019-01-10 2019-01-10 運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019002593A JP7183800B2 (ja) 2019-01-10 2019-01-10 運転支援装置

Publications (2)

Publication Number Publication Date
JP2020113866A JP2020113866A (ja) 2020-07-27
JP7183800B2 true JP7183800B2 (ja) 2022-12-06

Family

ID=71667363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019002593A Active JP7183800B2 (ja) 2019-01-10 2019-01-10 運転支援装置

Country Status (1)

Country Link
JP (1) JP7183800B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343309A (ja) 2005-05-09 2006-12-21 Nippon Soken Inc 障害物検出装置
JP2007267343A (ja) 2006-03-01 2007-10-11 Nissan Motor Co Ltd 車両周辺画像提供装置および方法
JP2012257106A (ja) 2011-06-09 2012-12-27 Aisin Seiki Co Ltd 画像生成装置
JP2016052867A (ja) 2014-09-04 2016-04-14 株式会社デンソー 運転支援装置
JP2018062222A (ja) 2016-10-12 2018-04-19 日産自動車株式会社 車両用周辺監視方法及び車両用周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343309A (ja) 2005-05-09 2006-12-21 Nippon Soken Inc 障害物検出装置
JP2007267343A (ja) 2006-03-01 2007-10-11 Nissan Motor Co Ltd 車両周辺画像提供装置および方法
JP2012257106A (ja) 2011-06-09 2012-12-27 Aisin Seiki Co Ltd 画像生成装置
JP2016052867A (ja) 2014-09-04 2016-04-14 株式会社デンソー 運転支援装置
JP2018062222A (ja) 2016-10-12 2018-04-19 日産自動車株式会社 車両用周辺監視方法及び車両用周辺監視装置

Also Published As

Publication number Publication date
JP2020113866A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
US10752238B2 (en) Parking assistance device
US10818180B2 (en) Parking support device
CN109204137B (zh) 车辆周边显示装置
US10580303B2 (en) Collision avoidance device
EP2902271B1 (en) Parking assistance device, and parking assistance method and program
EP1591315B1 (en) Parking assist apparatus for vehicle
CN110450717B (zh) 驻车辅助装置
JP6897340B2 (ja) 周辺監視装置
EP3290301B1 (en) Parking assist device
JP4432930B2 (ja) 駐車支援装置及び駐車支援方法
CN110462701B (zh) 车辆引导装置、方法及存储有车辆引导程序的存储介质
CN105539427A (zh) 停车辅助系统及停车辅助方法
WO2019093176A1 (ja) 周辺監視装置
JP6897294B2 (ja) 牽引支援装置
JP2018203121A (ja) 操舵支援装置
JP2017094922A (ja) 周辺監視装置
CN110546048A (zh) 停车辅助装置
CN110546047A (zh) 停车辅助装置
JP7183800B2 (ja) 運転支援装置
JP7135808B2 (ja) 衝突回避支援装置
JP6044429B2 (ja) 駐車支援装置、及び駐車支援方法
JP2020083048A (ja) 画像表示装置
JP7040286B2 (ja) 駐車支援装置
JP6953915B2 (ja) 周辺監視装置
JP7081105B2 (ja) 牽引支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221107

R151 Written notification of patent or utility model registration

Ref document number: 7183800

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151