JP7205731B2 - head-up display device - Google Patents

head-up display device Download PDF

Info

Publication number
JP7205731B2
JP7205731B2 JP2020507830A JP2020507830A JP7205731B2 JP 7205731 B2 JP7205731 B2 JP 7205731B2 JP 2020507830 A JP2020507830 A JP 2020507830A JP 2020507830 A JP2020507830 A JP 2020507830A JP 7205731 B2 JP7205731 B2 JP 7205731B2
Authority
JP
Japan
Prior art keywords
display
image
warping
display area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020507830A
Other languages
Japanese (ja)
Other versions
JPWO2019181926A1 (en
Inventor
真哉 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Publication of JPWO2019181926A1 publication Critical patent/JPWO2019181926A1/en
Application granted granted Critical
Publication of JP7205731B2 publication Critical patent/JP7205731B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、車両の風防ガラスによって生じる虚像の歪みを画像補正するヘッドアップディスプレイ装置に関する。 BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a head-up display device that corrects distortion of a virtual image caused by a windshield of a vehicle.

従来のヘッドアップディスプレイ装置として、特許文献１に開示されたものがある。このヘッドアップディスプレイ装置は、表示光が投射される風防ガラスの位置に合わせて表示器に表示される画像を予め変形させて、風防ガラスに表示される虚像の歪みを小さくしている。 2. Description of the Related Art As a conventional head-up display device, there is one disclosed in Patent Document 1. This head-up display apparatus previously deforms an image displayed on a display unit according to the position of the windshield onto which display light is projected, thereby reducing distortion of a virtual image displayed on the windshield.

特開２００３－１０７３９１号公報Japanese Patent Application Laid-Open No. 2003-107391

しかしながら、画像を変形可能な程度にあらかじめ表示領域の大きい表示器を選定しなければならない。 However, a display device with a large display area must be selected in advance to the extent that the image can be deformed.

本開示のヘッドアップディスプレイ装置は、
表示領域を有し前記表示領域に画像を表示する表示部と、
表示画像を表示部に表示させる表示制御部と、
前記表示画像上の四隅及び中心の点を含む格子状に分布したワープメッシュ点を基準に画像ワーピングを前記表示画像に実行してワーピング後画像を生成する表示画像変形部と、
前記表示部から発せられた表示光を車両の風防ガラスに反射させる反射部と、
前記反射部を回動させ前記風防ガラスにおける前記表示光が投射される位置を変更する投射位置変更部と、を備え、
前記表示制御部は、前記表示領域の中心点よりも下方に前記ワープメッシュ点の中心点が位置するように前記ワーピング後画像を前記表示領域内に表示させ、前記画像ワーピングの前記表示領域の上方側における変形許容量を前記表示領域の下方側における変形許容量よりも大きくした
ことを特徴とするヘッドアップディスプレイ装置。 The head-up display device of the present disclosure is
a display unit having a display area and displaying an image in the display area;
a display control unit for displaying a display image on a display unit;
a display image transforming unit that performs image warping on the display image based on the warp mesh points distributed in a lattice including four corners and center points on the display image to generate a post-warping image;
a reflecting unit that reflects the display light emitted from the display unit onto the windshield of the vehicle;
a projection position changing unit that rotates the reflecting unit to change a position on the windshield where the display light is projected;
The display control unit displays the post-warping image within the display area so that the center point of the warp mesh points is located below the center point of the display area, and the display area of the image warping is displayed. The allowable amount of deformation on the upper side is made larger than the allowable amount of deformation on the lower side of the display area.
A head-up display device characterized by:

本開示のヘッドアップディスプレイ装置によれば、小型なヘッドアップディスプレイ装置を提供できる。 According to the head-up display device of the present disclosure, it is possible to provide a compact head-up display device.

本開示のヘッドアップディスプレイ装置の構成概略図。1 is a schematic configuration diagram of a head-up display device of the present disclosure; FIG. 同ヘッドアップディスプレイ装置の電気的構成図。FIG. 2 is an electrical configuration diagram of the head-up display device; 同ヘッドアップディスプレイの画像ワーピングを示す図。The figure which shows the image warping of the same head-up display. 同ヘッドアップディスプレイの画像ワーピング後画像の表示位置を示す図。The figure which shows the display position of the image after image warping of the same head-up display.

ヘッドアップディスプレイ装置Ｈを添付図面を参照して説明する。 A head-up display device H will be described with reference to the accompanying drawings.

図１を参照する。ヘッドアップディスプレイ装置Ｈは、表示部１、反射部２、投射位置変更部３、制御部４、を有する。ヘッドアップディスプレイ装置Ｈは、表示部１から発せられた表示光Ｌを反射部２で反射した後、車両の風防ガラスＷＳに投射し、風防ガラスＷＳ前方に視認者Ｅに虚像Ｖを視認させる。ヘッドアップディスプレイ装置Ｈは、車両の走行速度やエンジン回転数、車両に関する各種警告情報や経路案内情報などの各種情報を虚像Ｖとして表示する。 Please refer to FIG. The head-up display device H has a display section 1 , a reflection section 2 , a projection position changing section 3 and a control section 4 . The head-up display device H reflects the display light L emitted from the display part 1 by the reflection part 2, projects it on the windshield WS of the vehicle, and makes the viewer E visually recognize the virtual image V in front of the windshield WS. The head-up display device H displays, as a virtual image V, various types of information such as the running speed of the vehicle, the number of revolutions of the engine, various types of warning information about the vehicle, route guidance information, and the like.

表示部１は、液晶ディスプレイや有機ＥＬディスプレイなどの表示領域１０に画像ＩＭＧを表示する表示器である。 The display unit 1 is a display that displays an image IMG on a display area 10 such as a liquid crystal display or an organic EL display.

反射部２は、表示部１から発せられた表示光Ｌを風防ガラスＷＳの所定の位置に反射する凹面鏡である。 The reflecting portion 2 is a concave mirror that reflects the display light L emitted from the display portion 1 to a predetermined position on the windshield WS.

投射位置変更部３は、例えばモータであり、制御部４に制御されて反射部２を回転させる。投射位置変更部３により反射部２が回転することにより、視認者Ｅ１～Ｅ３の目の高さに合わせて表示光Ｌが投射される風防ガラスＷＳの位置を調整できる。 The projection position changing unit 3 is, for example, a motor, and is controlled by the control unit 4 to rotate the reflecting unit 2 . By rotating the reflection part 2 by the projection position changing part 3, the position of the windshield WS on which the display light L is projected can be adjusted according to the eye height of the viewers E1 to E3.

制御部４は、表示部１及び投射位置変更部３を制御するための各種制御素子や回路を有する回路基板である。制御部４は、マイクロコントローラ４０と、ＲＯＭ４１、ＲＡＭ４２を有する。 The control unit 4 is a circuit board having various control elements and circuits for controlling the display unit 1 and the projection position changing unit 3 . The control unit 4 has a microcontroller 40, a ROM 41 and a RAM 42.

マイクロコントローラ４０は、コントローラエリアネットワークＣＡＮと接続されており、外部コントローラＥＣＵから車両の走行速度やエンジン回転数、車両に関する各種警告情報や経路案内情報などの各種情報を取得する機能を有する。マイクロコントローラ４０は、取得した各種情報を表す画像ＩＭＧとして表示部１に表示させる表示制御機能を有する。 The microcontroller 40 is connected to the controller area network CAN, and has a function of acquiring various information such as vehicle traveling speed, engine speed, various warning information and route guidance information regarding the vehicle from the external controller ECU. The microcontroller 40 has a display control function that causes the display unit 1 to display an image IMG representing various types of acquired information.

マイクロコントローラ４０は、車両のステアリングに設けられたスイッチＳＷの操作に応じて、投射位置変更部３を制御して反射部２を回転させて、視認者Ｅの目の高さに合わせた虚像Ｖの表示位置を調整する機能を有する。 The microcontroller 40 controls the projection position changing unit 3 and rotates the reflecting unit 2 in response to the operation of the switch SW provided on the steering wheel of the vehicle, so that the virtual image V is adjusted to the eye height of the viewer E. It has a function to adjust the display position of

マイクロコントローラ４０は、各種情報を表す画像ＩＭＧ１を四隅及び中心の点を含む格子状に分布したワープメッシュ点Ｗを基準に画像ワーピングにより変形させたワーピング後画像ＩＭＧ２を生成する表示画像変形機能を有する。マイクロコントローラ４０は、生成されたワーピング後画像ＩＭＧ２を表示部１に表示させることで、表示光Ｌが投射される風防ガラスＷＳの曲面に起因する歪みを相殺して虚像Ｖが歪みなく表示される。 The microcontroller 40 has a display image transformation function of generating a post-warping image IMG2 by transforming an image IMG1 representing various types of information by image warping based on the warp mesh points W distributed in a lattice including four corners and central points. . The microcontroller 40 causes the display unit 1 to display the generated post-warping image IMG2, thereby canceling the distortion caused by the curved surface of the windshield WS onto which the display light L is projected, thereby displaying the virtual image V without distortion. .

車両の風防ガラスに表示光Ｌを投射するヘッドアップディスプレイ装置においては、歪みを相殺するワーピング後画像ＩＭＧ２は、ワーピング前の画像ＩＭＧ１に対し左右のワープメッシュ点が上方向に大きく変形し、横の変化量（ＤＷ２－ＤＷ１）に対し縦の変化量（ＤＨ２－ＤＨ１）が大きい傾向にある。 In a head-up display device that projects display light L onto the windshield of a vehicle, the post-warping image IMG2 that cancels out the distortion has warped mesh points on the left and right sides that are significantly deformed upward relative to the pre-warping image IMG1. The vertical variation (DH2-DH1) tends to be larger than the variation (DW2-DW1).

図４を参照する。従来はマイクロコントローラ４０は、図４（ａ）に示すように、ワーピング後画像ＩＭＧ２のワープメッシュ点Ｗの中心ＷＣが表示部１の表示領域１０の中心１０Ｃに位置するように表示させる。しかしながら、横の変化量に対し縦の変化量が大きい傾向にあることから、表示領域１０に収まらないことがあった。そこで、本開示のマイクロコントローラ４０は、図４（ｂ）に示すように、ワーピング後画像ＩＭＧ２のワープメッシュ点Ｗの中心ＷＣが表示部１の表示領域１０の中心１０Ｃよりも下方に移動量ＤＣだけ平行移動させて表示領域１０内に表示させる。つまり、表示領域１０の上端とワープメッシュ点Ｗの最上端点ＷＵとの距離が、表示領域１０の下端とワープメッシュ点Ｗの最下端点ＷＬとの距離よりも長くなるため、表示領域１０の上方側の変形許容量が大きくとれる。このように構成することで、より小さな表示領域１０の表示部１でワーピング後画像ＩＭＧ２を表示可能に構成できる。 Please refer to FIG. Conventionally, the microcontroller 40 displays the post-warping image IMG2 so that the center WC of the warped mesh point W is positioned at the center 10C of the display area 10 of the display unit 1, as shown in FIG. 4(a). However, since the amount of change in the vertical direction tends to be larger than the amount of change in the horizontal direction, the display area 10 may not fit. Therefore, as shown in FIG. 4B, the microcontroller 40 of the present disclosure moves the center WC of the warped mesh point W of the post-warping image IMG2 downward from the center 10C of the display area 10 of the display unit 1 by a movement amount DC. , and displayed in the display area 10 . In other words, the distance between the upper end of the display area 10 and the uppermost point WU of the warp mesh points W is longer than the distance between the lower end of the display area 10 and the lowermost point WL of the warp mesh points W. Allowable amount of deformation on the side can be large. By configuring in this way, the post-warping image IMG2 can be displayed on the display unit 1 having a smaller display area 10 .

マイクロコントローラ４０は、ワーピング後画像ＩＭＧ２を下方に平行移動させる移動量ＤＣを、風防ガラス（あるいはコンバイナ）の仰俯角などの傾斜角度に基づいて算出することが好ましい。 It is preferable that the microcontroller 40 calculates the amount of movement DC by which the post-warping image IMG2 is translated downward based on the tilt angle such as the elevation/depression angle of the windshield (or combiner).

また、マイクロコントローラ４０は、ワーピング後画像ＩＭＧ２を下方に平行移動させる移動量ＤＣを、投射位置変更部３が移動させる反射部２の角度（あるいは、表示光Ｌが投射される風防ガラスの位置）に応じて定めるものとしてもよい。この場合、少なくとも２つの角度に対応した移動量をＲＯＭ４１に記憶し、線形補間やスプライン補間等の種々の補間法により反射部２の角度に合わせた移動量を算出することが好ましい。 In addition, the microcontroller 40 sets the movement amount DC for downward parallel movement of the post-warping image IMG2 to the angle of the reflection section 2 moved by the projection position changing section 3 (or the position of the windshield onto which the display light L is projected). It may be determined according to In this case, it is preferable to store movement amounts corresponding to at least two angles in the ROM 41 and calculate the movement amount according to the angle of the reflecting section 2 by various interpolation methods such as linear interpolation and spline interpolation.

Ｈ ヘッドアップディスプレイ装置
１ 表示部
１０ 表示領域
１０Ｃ 中心点
２ 反射部
２０ モータ（投射位置変更部）
３ 投射位置変更部
４ 回路基板
４０ 制御部（表示制御部，表示画像変形部）
４１ ＲＡＭ
４２ ＲＯＭ
ＷＳ 風防ガラス
ＩＭＧ１ 画像
ＩＭＧ２ ワーピング後画像
Ｗ ワープメッシュ点
ＷＵ 最上端点
ＷＣ 中心点
ＷＬ 最下端点H head-up display device 1 display unit 10 display area 10C center point 2 reflection unit 20 motor (projection position change unit)
3 projection position changing unit 4 circuit board 40 control unit (display control unit, display image deformation unit)
41 RAM
42 ROMs
WS Windshield IMG1 Image IMG2 Image after warping W Warp mesh point WU Top end point WC Center point WL Bottom end point

Claims (2)

表示領域を有し前記表示領域に画像を表示する表示部と、
表示画像を表示部に表示させる表示制御部と、
前記表示画像上の四隅及び中心の点を含む格子状に分布したワープメッシュ点を基準に画像ワーピングを前記表示画像に実行してワーピング後画像を生成する表示画像変形部と、
前記表示部から発せられた表示光を車両の風防ガラスに反射させる反射部と、
前記反射部を回動させ前記風防ガラスにおける前記表示光が投射される位置を変更する投射位置変更部と、を備え、
前記表示制御部は、前記表示領域の中心点よりも下方に前記ワープメッシュ点の中心点が位置するように前記ワーピング後画像を前記表示領域内に表示させ、前記画像ワーピングの前記表示領域の上方側における変形許容量を前記表示領域の下方側における変形許容量よりも大きくした
ことを特徴とするヘッドアップディスプレイ装置。 a display unit having a display area and displaying an image in the display area;
a display control unit for displaying a display image on a display unit;
a display image transforming unit that performs image warping on the display image based on the warp mesh points distributed in a lattice including four corners and center points on the display image to generate a post-warping image;
a reflecting unit that reflects the display light emitted from the display unit onto the windshield of the vehicle;
a projection position changing unit that rotates the reflecting unit and changes a position on the windshield where the display light is projected;
The display control unit displays the post-warping image within the display area so that the center point of the warp mesh point is located below the center point of the display area, and displays the post-warping image above the display area of the image warping. The deformation allowance on the side is made larger than the deformation allowance on the lower side of the display area
A head-up display device characterized by: 前記表示領域の中心点と前記ワーピング後画像のワープメッシュ点の中心点との距離は、前記反射部の回転角度に応じて定められ、
前記表示領域の中心点と前記ワーピング後画像のワープメッシュ点の中心点との距離が大きくなるほど、前記画像ワーピングの前記表示領域の上方側における変形許容量と前記表示領域の下方側における変形許容量との差が大きくなる、
ことを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
the distance between the center point of the display area and the center point of the warped mesh points of the post-warping image is determined according to the rotation angle of the reflection section ;
As the distance between the center point of the display area and the center point of the warped mesh points of the post-warping image increases, the deformation allowance for the image warping in the upper side of the display area and the deformation allowance in the lower side of the display area are increased. the greater the difference between
The head-up display device according to claim 1, characterized in that:
JP2020507830A 2018-03-20 2019-03-19 head-up display device Active JP7205731B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018052730 2018-03-20
JP2018052730 2018-03-20
PCT/JP2019/011411 WO2019181926A1 (en) 2018-03-20 2019-03-19 Head-up display device

Publications (2)

Publication Number Publication Date
JPWO2019181926A1 JPWO2019181926A1 (en) 2021-03-25
JP7205731B2 true JP7205731B2 (en) 2023-01-17

Family

ID=67987751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507830A Active JP7205731B2 (en) 2018-03-20 2019-03-19 head-up display device

Country Status (2)

Country Link
JP (1) JP7205731B2 (en)
WO (1) WO2019181926A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021086031A (en) * 2019-11-28 2021-06-03 株式会社デンソー Virtual image display device
WO2021200912A1 (en) * 2020-03-30 2021-10-07 日本精機株式会社 Head-up display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206612A (en) 2015-04-28 2016-12-08 株式会社リコー Image display device and object device
WO2017141896A1 (en) 2016-02-19 2017-08-24 日本精機株式会社 Head-up display device
WO2018042898A1 (en) 2016-08-29 2018-03-08 マクセル株式会社 Head-up display device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015087619A (en) * 2013-10-31 2015-05-07 日本精機株式会社 Vehicle information projection system and projection device
JP6278769B2 (en) * 2014-03-19 2018-02-14 矢崎総業株式会社 Vehicle display device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206612A (en) 2015-04-28 2016-12-08 株式会社リコー Image display device and object device
WO2017141896A1 (en) 2016-02-19 2017-08-24 日本精機株式会社 Head-up display device
WO2018042898A1 (en) 2016-08-29 2018-03-08 マクセル株式会社 Head-up display device

Also Published As

Publication number Publication date
WO2019181926A1 (en) 2019-09-26
JPWO2019181926A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP6458998B2 (en) Head-up display
JP6731644B2 (en) Display position correction device, display device including display position correction device, and moving body including display device
RU2018143278A (en) WINDSHIELD INDICATOR WITH VARIABLE FOCAL PLANE
WO2014174575A1 (en) Vehicular head-up display device
US9753289B2 (en) Head up display device
JP7205731B2 (en) head-up display device
JP6269262B2 (en) Virtual image display device
WO2016190135A1 (en) Vehicular display system
JP6899082B2 (en) Head-up display
JP2015087619A (en) Vehicle information projection system and projection device
JP5288037B2 (en) Vehicle display device
EP3387483A1 (en) An adjustable head-up display arrangement for a vehicle
JP6845988B2 (en) Head-up display
US20200201054A1 (en) Head-up display device
JP2018120135A (en) Head-up display
JP5146122B2 (en) Vehicle display device
WO2018105585A1 (en) Head-up display
CN110816407B (en) Display device, display control method, and storage medium
JP2019169828A (en) On-vehicle display control unit and on-vehicle display control method
JP2019161346A (en) Head-up display device and display image correction method
JP6978988B2 (en) Display devices, display control methods, and programs
WO2020009218A1 (en) Head-up display device
JP6943079B2 (en) Image processing unit and head-up display device equipped with it
WO2020089332A1 (en) Augmented reality head-up display and vehicle
JPWO2018199244A1 (en) Display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7205731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150