JP6865552B2 - Video projection system - Google Patents
Video projection system Download PDFInfo
- Publication number
- JP6865552B2 JP6865552B2 JP2016185741A JP2016185741A JP6865552B2 JP 6865552 B2 JP6865552 B2 JP 6865552B2 JP 2016185741 A JP2016185741 A JP 2016185741A JP 2016185741 A JP2016185741 A JP 2016185741A JP 6865552 B2 JP6865552 B2 JP 6865552B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image projection
- sub
- unit
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 230000007423 decrease Effects 0.000 claims description 4
- 239000004065 semiconductor Substances 0.000 description 18
- 230000000694 effects Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 5
- 239000011295 pitch Substances 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Mechanical Optical Scanning Systems (AREA)
- Projection Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
本発明は、複数台の映像投射装置で構成される前照灯に関する。 The present invention relates to a headlight composed of a plurality of image projection devices.
近年、複数台の映像投射装置を用いて1つの映像を形成するシステムが開発され、従来のマルチモニターディスプレイシステムの置き換えとして、あるいは、建物等の外壁をスクリーンとしたプロジェクションマッピングとして、様々な演出のために用いられている。複数台の映像投射装置を用いた投影方法としては、投射された複数の映像の重畳投影により部分的に映像の解像度を変更する方法が知られている。 In recent years, a system that forms one image using multiple image projection devices has been developed, and various effects can be produced as a replacement for the conventional multi-monitor display system or as projection mapping using the outer wall of a building as a screen. Is used for. As a projection method using a plurality of image projection devices, a method of partially changing the resolution of an image by superimposing and projecting a plurality of projected images is known.
例えば、下記の特許文献1は、全体投影用プロジェクタと局所投影用プロジェクタの2台を用いて映像の重畳部を作り、部分的に解像度を変更することができる投影方法を採用している(段落0005,図1)。複数のプロジェクタよって前方に映像を投射する技術は、車両用前照灯に適用されている。
For example,
近年は、車両の前方を監視するカメラを備えた自動車が登場している。その代表的なシステム例として、カメラの撮像画像から歩行者等を認識したときに警告音を出力すると共に、ダッシュボード付近に設けられたモニタの映像に警告マークを重ねて表示するものがある。 In recent years, automobiles equipped with a camera that monitors the front of the vehicle have appeared. As a typical example of the system, there is a system in which a warning sound is output when a pedestrian or the like is recognized from an image captured by a camera, and a warning mark is superimposed on an image of a monitor provided near the dashboard.
しかし、ドライバーが警告マークを確認するために、視線を車両前方からモニタに移動することは好ましくない。そこで、認識された歩行者に対してスポット光(マーキングランプ)を当てることにより、ドライバーの視線を車両前方に維持しつつ、ドライバーに歩行者の存在を認識させるようにしたシステムが提案されている。 However, it is not preferable for the driver to move his / her line of sight from the front of the vehicle to the monitor in order to confirm the warning mark. Therefore, a system has been proposed in which a spotlight (marking lamp) is applied to a recognized pedestrian to keep the driver's line of sight in front of the vehicle and to make the driver recognize the presence of the pedestrian. ..
しかしながら、車両用前照灯のように所定範囲を照射するシステムに、スポット光を照射する機能を追加するとシステム構成が複雑になり、コストも上昇するという問題があった。 However, if a function of irradiating a spot light is added to a system that irradiates a predetermined range such as a headlight for a vehicle, there is a problem that the system configuration becomes complicated and the cost increases.
本発明は、このような事情に鑑みてなされたものであり、簡易な構成により、投射範囲の所定領域に視認者の視線を誘導させることができる前照灯を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a headlight capable of guiding a viewer's line of sight to a predetermined area of a projection range by a simple configuration.
本発明の前照灯は、複数台のラスタースキャン方式の映像投射装置と、前記複数台の映像投射装置から投射される投射範囲が異なる複数のサブ映像を組み合せて、1つの合成映像を生成する合成映像生成部と、前記サブ映像の輝度を調整する輝度調整部と、前記合成映像に所定の注目領域を設定する注目領域設定部と、を備えた前照灯であって、前記合成映像は、前記注目領域設定部により前記複数のサブ映像のうち最大輝度が最も高いサブ映像の映像投射範囲外に前記注目領域が設定されていない通常時において前記合成映像を構成する前記複数のサブ映像の映像投射範囲のそれぞれにおいて、中央部の輝度が最も高く、外周部にいくにつれて徐々に輝度が低くなる輝度分布を有し、前記輝度調整部は、前記注目領域設定部により前記複数のサブ映像のうち最大輝度が最も高いサブ映像の領域外に前記注目領域が設定された場合に、複数の前記映像投射装置のうち少なくとも1つから投射される前記サブ映像について、前記通常時の前記合成映像を生成する映像分配処理から、前記サブ映像の映像投射範囲全体の輝度を所定レベルとした後、前記サブ映像の当該映像投射範囲の外周部から前記注目領域に向かって、時間の経過に伴い徐々に当該映像投射範囲を収束させる視線誘導処理へ切り替えることを特徴とする。 The headlight of the present invention combines a plurality of raster scan type image projection devices and a plurality of sub-images projected from the plurality of image projection devices having different projection ranges to generate one composite image. The headlight includes a composite image generation unit, a brightness adjustment unit that adjusts the brightness of the sub image, and an attention area setting unit that sets a predetermined area of interest in the composite image. The plurality of sub-images constituting the composite image in a normal time when the attention area is not set outside the image projection range of the sub-image having the highest maximum brightness among the plurality of sub-images by the attention area setting unit. In each of the image projection ranges, the luminance distribution in the central portion is the highest, and the luminance gradually decreases toward the outer peripheral portion. when the region of interest outside the region of the inner maximum luminance is the highest sub-picture is set for the sub-image projected from at least one of the plurality of the image projection apparatus, the combined image at the time of the normal From the generated video distribution process, the brightness of the entire image projection range of the sub image is set to a predetermined level, and then gradually from the outer peripheral portion of the image projection range of the sub image toward the area of interest with the passage of time. It is characterized by switching to the line-of-sight guidance process for converging the image projection range.
本発明の前照灯は、投射範囲が異なる複数台の映像投射装置で構成され、合成映像生成部が各映像投射装置からのサブ映像を組み合せて、1つの合成映像を生成する。 The headlight of the present invention is composed of a plurality of image projection devices having different projection ranges, and a composite image generation unit combines sub-images from each image projection device to generate one composite image.
また、注目領域設定部により注目領域が設定されるが、注目領域が複数のサブ映像のうち最大輝度が最も高いサブ映像の領域外に設定された場合には、注目領域の輝度を高くしても、元々輝度が高い部分との差が小さいため、視認者の注意を引き難い。 Further, the attention area is set by the attention area setting unit, but when the attention area is set outside the area of the sub image having the highest maximum brightness among the plurality of sub images, the brightness of the attention area is increased. However, since the difference from the originally high brightness part is small, it is difficult to attract the attention of the viewer.
そこで、輝度調整部は、まず、少なくとも1つの映像投射装置について、通常時の合成映像を生成する映像分配処理を行う。さらに、輝度調整部は、映像投射範囲全体の輝度を所定レベルまで引き上げた後、映像投射範囲の外周部から注目領域に向かって、時間の経過に伴って徐々に映像投射範囲が収束していく視線誘導処理を行う。一度、前方の合成映像が明るくなることで視認者の注意を引いて、さらに、合成映像の外周部から徐々に暗くなって最終的に明るい部分が注目領域に収束していくので、本前照灯は、視認者の視線を注目領域に誘導させることができる。 Therefore, the luminance adjusting unit first performs a video distribution process for generating a composite video at the normal time for at least one video projection device. Further, the brightness adjusting unit raises the brightness of the entire image projection range to a predetermined level, and then the image projection range gradually converges with the passage of time from the outer peripheral portion of the image projection range toward the region of interest. Performs line-of-sight guidance processing . Once to draw attention of the viewer by the front of the composite video image becomes brighter, further, since the gradual darkened finally bright portion from the outer peripheral portion of the combined image is gradually converged to the target area, the headlamps The light can guide the line of sight of the viewer to the region of interest.
本発明の前照灯において、前記映像投射装置は、光源と、該光源からの光を反射する回動式のミラー部と、該ミラー部の振れ角範囲を制御するミラー制御部と、を備え、前記輝度調整部は、前記ミラー制御部により前記振れ角範囲を時間の経過に伴い徐々に小さくする制御を行うことにより、前記サブ映像の外周部を前記通常時の初期状態から前記注目領域に向かって、徐々に前記映像投射範囲を収束させることが好ましい。 In the headlight of the present invention, the image projection device includes a light source, a rotary mirror unit that reflects light from the light source, and a mirror control unit that controls a swing angle range of the mirror unit. The brightness adjusting unit controls the mirror control unit to gradually reduce the swing angle range with the passage of time, so that the outer peripheral portion of the sub image is changed from the initial state in the normal state to the attention region. It is preferable to gradually converge the image projection range toward the end.
この構成によれば、輝度調整部は、各映像投射装置のミラー制御部を制御して輝度を調整することができる。具体的には、合成映像の外周部から注目領域に向かって徐々に映像投射範囲を収束させる場合に、ミラー部の振れ角範囲が時間の経過に伴い徐々に小さくなるように制御する。これにより、本前照灯は、明るい部分が徐々に注目領域に収束していく効果が得られる。 According to this configuration, the brightness adjusting unit can control the mirror control unit of each image projection device to adjust the brightness. Specifically, when the image projection range is gradually converged from the outer peripheral portion of the composite image toward the region of interest, the deflection angle range of the mirror portion is controlled to gradually decrease with the passage of time. As a result, the headlight has the effect that the bright part gradually converges on the region of interest.
また、本発明の前照灯において、前記複数のサブ映像の投射範囲に映像を投射する映像投射装置を、所定条件により切り替える担当投射範囲切替部をさらに備えることが好ましい。 Further, in the headlight of the present invention, it is preferable to further include a projection range switching unit in charge of switching the image projection device for projecting an image into the projection range of the plurality of sub-images according to a predetermined condition.
比較的広い投射範囲を担当する映像投射装置は、常にミラー部の振れ角が大きいため、装置にかかる負荷が大きくなる。この構成によれば、担当投射範囲切替部が各サブ映像の投射範囲に映像を投射する映像投射装置を所定条件により切り替えることで、各映像投射置の負荷が分散される。これにより、本前照灯は、製品寿命(使用可能期間)を延ばすことができる。 Since the image projection device that is in charge of a relatively wide projection range always has a large deflection angle of the mirror portion, the load on the device is large. According to this configuration, the load of each image projection position is distributed by the responsible projection range switching unit switching the image projection device that projects the image into the projection range of each sub image according to a predetermined condition. As a result, the product life (usable period) of this headlight can be extended.
以下、本実施形態の映像投射システム1が車両用前照灯、車載カメラ、その画像処理部等と共に搭載されている車両を例に説明する。
Hereinafter, a vehicle in which the
図1に示されるように、映像投射システム1は、第1〜第4映像投射装置10A〜10D(以下、映像投射装置10という場合がある。)と、入力映像を表す映像信号及び後述するMP信号が入力されて、映像投射範囲の輝度分布を表す個別映像信号及び後述するオフセット信号を、各映像投射装置10に出力する映像信号分配部20とを備える。以下では、本実施形態の映像投射システムを、4台の映像投射装置を備える映像投射システムを用いて説明するが、装置数は4台に限定されず、2台以上であればよい。
As shown in FIG. 1, the
初めに、本実施形態の映像信号分配部20(本発明の「合成映像生成部」、「輝度調整部」、「注目領域設定部」及び「担当投射範囲切替部」に相当する)は、CPU、ROM、RAM並びにI/O回路及びA/D回路等の電子回路等により構成され(図示省略)、映像ソースから得られた映像信号により表現される入力映像の輝度分布から各映像投射装置10に与える映像投射範囲の輝度分布を抽出する。そして、映像信号分配部20は、抽出された映像投射範囲の輝度分布を表す個別映像信号を各映像投射装置10に出力する。
First, the video
また、映像信号分配部20は、入力映像の輝度分布の最高輝度点の位置を特定し、各映像投射装置10の映像投射範囲の中心を最高輝度点の位置に設定可能なオフセット信号を、個別映像信号と共に各映像投射装置10に出力する。
Further, the video
オフセット信号とは、後述するMEMSミラー106の振れ角の制限に由来する映像投射可能な範囲を有する映像投射装置に対して、映像投射範囲を描画範囲のうちの所望の範囲にオフセットする(位置付ける)信号である。具体的には、オフセット信号は、映像が投射される画面全体の中心を基準位置として、基準位置から水平方向及び垂直方向に移動させる変位量を示す信号である。
The offset signal is used to offset (position) the image projection range to a desired range of the drawing range with respect to the image projection device having a range in which the image can be projected due to the limitation of the deflection angle of the
各映像投射装置10は、オフセット信号に応じて投射する映像を上下左右方向に移動できるようになっている。投射映像の上下左右方向への移動は、各映像投射装置10にステッピングモータ等を用いた移動機構を設けることにより実施される。
Each
また、映像信号分配部20は、映像投射範囲内の特定領域(マーキングポイント)の輝度を高くして、ドライバーの視線を特定領域に誘導するためのMP信号を受信して、個別映像信号を各映像投射装置10に出力する。
Further, the video
MP信号は、車載カメラ40の撮像画像を元に画像処理部50で処理された信号であり、マーキングポイントの映像投射範囲(最大範囲)における座標情報を含んでいる。
The MP signal is a signal processed by the
図2に示されるように、本実施形態の各映像投射装置10は、MEMSミラー106、半導体光源112、MEMSミラー106及び半導体光源112に信号を出力する制御部30とから構成され、後述するラスタースキャンを行う装置である。
As shown in FIG. 2, each
各映像投射装置10の制御部30は、パーソナルコンピュータ、カメラシステム等の映像ソースから出力された映像信号に基づいて生成された個別映像信号が入力される個別映像信号入力部102と、受信した個別映像信号を処理するために所定ビット毎に書き込み・読み出しが行われる個別映像信号蓄積部104と、MEMSミラー106に対して交流波の駆動信号を出力するMEMS駆動部108と、駆動信号に応じてMEMSミラー106が回動軸線周りを回動したとき、MEMSミラー106の振れ角に応じた電圧を出力するセンサからの信号が入力されるセンサ信号入力部110と、MEMESミラー106に光を照射するLEDや半導体レーザ等の半導体光源112に対して画素データを出力する光源駆動部114と、個別映像信号を処理して各映像投射装置10の制御を行う個別映像信号処理部116とから構成される。
The
ここでは、説明の便宜のため、MEMSミラー106を駆動する交流波の駆動信号として正弦波形状の駆動信号を用いて説明するが、正弦波形状の駆動信号に対して90°位相が遅れた余弦波形状の信号等を用いてもよい。
Here, for convenience of explanation, a sine wave-shaped drive signal will be used as the AC wave drive signal for driving the
個別映像信号入力部102は、映像信号を処理するために、入力された個別映像信号を個別映像信号処理部116に出力する。個別映像信号入力部102としては、VGA(アナログRGB)、DVI、HDMI(登録商標)、Display Port等の映像信号レシーバを用いることができる。
The individual video
個別映像信号蓄積部104では、個別映像信号入力部102から出力された個別映像信号を処理するために信号の書き込み、読み出しが行われる。個別映像信号蓄積部104としては、SDRAM等を用いることができる。本実施形態の映像投射システムでは、映像信号は高速信号として生成されるため、DDR2-SDRAM、DDR3-SDRAMが好適である。
The individual video
MEMS駆動部108(本発明の「ミラー制御部」に相当する)は、MEMSミラー106に対する駆動信号を出力するために、個別映像信号処理部116からのデジタル信号をアナログ信号に変換するD/Aコンバーターと、その出力信号をMEMSミラー106の駆動電圧レベルまで増幅するオペアンプから構成される。
The MEMS drive unit 108 (corresponding to the “mirror control unit” of the present invention) is a D / A that converts a digital signal from the individual video
センサ信号入力部110は、駆動信号に応じてMEMSミラー106が回動軸線周りに回動し、走査方向に回動したときのMEMSミラー106の振れ角に応じた電圧を出力するセンサからの信号が入力される信号入力部である。センサ信号入力部110は、受信したアナログ信号を個別映像信号処理部116に出力されるデジタル信号に変換するA/Dコンバーターと、A/Dコンバーターに対する適切な入力レベルを確保するオペアンプとから構成される。
The sensor
光源駆動部114は、個別映像信号処理部116から出力されたデジタル信号をアナログ信号に変換する高速D/Aコンバーターと、RGB各色の半導体光源112を駆動できるだけの電流容量を持つドライバトランジスタ等とから構成される。
The light
個別映像信号処理部116は、個別映像信号を処理して各映像投射装置10の制御を行う。個別映像信号処理部116は、例えば、FPGA(Field-Programmable Gate Array)、マイクロプロセッサ、又はこれらのハイブリッドデバイス(EPP(Extensible Processing Platform)やSoC(System on Chip))等を用いることができる。
The individual video
また、図3に示されるように、個別映像信号処理部116は、個別映像信号を個別映像信号入力部102から個別映像信号蓄積部104に出力するインターフェースとしての入力映像処理部120と、個別映像信号蓄積部104から出力された信号等に基づいて、MEMS駆動部108へ送出するMEMSミラー106の駆動信号及び光源駆動部114に送出する画素データ抽出の基礎となる信号等を生成する駆動信号生成部122と、センサ信号入力部110及び駆動信号生成部122から出力された信号に基づいて、共振周波数追従制御を行い、画素データ抽出部126に信号を送出する駆動信号演算処理部124と、駆動信号生成部122及び駆動信号演算処理部124から出力された信号に基づいて、光源駆動部114に送出する画素データを抽出する画素データ抽出部126と、これらの各信号処理の制御パラメータに対する制御を行うと共に、スイッチ、UART(Universal Asynchronous Receiver Transmitter)等の図示しない外部制御手段とのインターフェースとしての機能を果たす総合制御部128とから構成される。
Further, as shown in FIG. 3, the individual video
また、図4に示されるように、本実施形態のMEMSミラー106を備えるMEMS130は、反射面を有するMEMSミラー106を一対のトーションバー131A,131Bにより支持する第1支持部132と、MEMSミラー106を第1支持部132に対して一対のトーションバー131A,131B、すなわち、主走査方向(Y軸周り)に回動させる第1のアクチュエータ134,136と、第1支持部132を支持する第2支持部138と、第1支持部132を第2支持部138に対して副走査方向(X軸周り)に回動させる第2のアクチュエータ140,142とを備え、2次元走査が可能な2軸型光偏向器である。
Further, as shown in FIG. 4, the
MEMS130を備える各映像投射装置10は、後述する映像投射範囲のうち描画範囲のみが2次元走査に応じて光が投射されるように、半導体光源112が点灯されるので、光の利用効率の向上を図ることができる。
In each
MEMS130のアクチュエータとしては、圧電方式、静電方式、電磁形式のアクチュエータを用いることができる。本実施形態では、第1のアクチュエータ134,136として、圧電アクチュエータを採用している。また、第2のアクチュエータ140,142はそれぞれ、4つの圧電カンチレバーが連結されて構成されている。圧電カンチレバー140A〜140D,142A〜142Dは、支持体と、下部電極と、圧電体と、上部電極とから構成された積層体を含む。
As the actuator of the
映像信号に基づく映像の投射は、水平方向の高速走査、垂直方向の低速走査によって実行される。そのため、MEMSミラー106は、高速動作に対応した第1のアクチュエータ134,136の共振駆動により主走査方向に回動し、低速動作に対応した第2のアクチュエータ140,142の非共振駆動により副走査方向に回動する。
The projection of the image based on the image signal is executed by high-speed scanning in the horizontal direction and low-speed scanning in the vertical direction. Therefore, the
本実施形態では、副走査方向の回動は低速動作であるため、非共振駆動のアクチュエータを用いたが、これに限定されず、共振駆動のアクチュエータを用いてもよい。 In the present embodiment, since the rotation in the sub-scanning direction is a low-speed operation, a non-resonant drive actuator is used, but the present invention is not limited to this, and a resonance drive actuator may be used.
MEMSミラー106の回動状態を検出するために、第1支持部132には、トーションバー131A,131Bと隣接する位置にセンサ144が、また、第2のアクチュエータ140,142の近傍にセンサ146が設けられている。位置センサとしては、圧電効果を用いたセンサやピエゾ抵抗効果を用いたセンサを採用することができる。圧電効果を用いたセンサは、MEMSミラー106の振れ角の変位量に対して微分値を返す速度センサとして動作する。また、ピエゾ抵抗効果を用いたセンサは、MEMSミラー106の振れ角の変位量に比例した値を返す位置センサとして動作する。
In order to detect the rotational state of the
なお、同一の製造プロセスでアクチュエータ及びセンサの積層構造を形成できるという点では、圧電効果を用いたアクチュエータ及びセンサを用いることが好ましい。 It is preferable to use an actuator and a sensor using a piezoelectric effect in that a laminated structure of an actuator and a sensor can be formed by the same manufacturing process.
また、センサ144,146はそれぞれ、少なくとも1つ設ける必要があるが、MEMSミラー106の主走査方向及び副走査方向の回動安定性及び差動信号のノイズキャンセリング効果の向上のために、図4に示されるように、Y軸及びX軸を中心として線対称に2つ設けることが好ましい。
Further, at least one of the
次に、図5〜図7を参照して、主に半導体光源112と、MEMS130のMEMSミラー106とを用いたラスタースキャンについて説明する。
Next, a raster scan mainly using the semiconductor light source 112 and the
図5に示されるように、半導体光源112からMEMSミラー106に入射して反射された光は、映像投射範囲に映像(走査軌跡)を描画する。映像の描画に関して、副走査方向に回動するMEMSミラー106により、図5の映像投射範囲において垂直方向の走査が実行される。本実施形態の副走査方向に回動するMEMSミラー106の駆動信号の波形は、図6Aに示される鋸波形状とするのが好ましい。
As shown in FIG. 5, the light incident on and reflected from the semiconductor light source 112 on the
副走査方向に回動するMEMSミラー106は低速駆動されるので、共振駆動のアクチュエータと非共振駆動のアクチュエータの何れも用いることができるが、非共振駆動のアクチュエータに好適な鋸波形状の駆動信号を用いて有効描画時間を長く確保することにより、映像投射範囲の明るさの向上を図ることができる。
Since the
具体的には、鋸波形状の駆動信号には、時間経過に対する駆動信号の波形の傾きが緩やかな区間と、急峻な区間とが交互に現れる(図6A参照)。そして、鋸波形状の駆動信号の傾きが緩やかな区間で半導体光源112を点灯して描画を行い(描画区間)、傾きが急峻な区間で半導体光源112を消灯する非描画区間(垂直帰線区間)を設ける。 Specifically, in the sawtooth-shaped drive signal, a section in which the slope of the waveform of the drive signal is gentle with respect to the passage of time and a section in which the slope is steep appear alternately (see FIG. 6A). Then, the semiconductor light source 112 is turned on and drawn in a section where the sawtooth-shaped drive signal has a gentle slope (drawing interval), and the semiconductor light source 112 is turned off in a section where the slope is steep (vertical blanking interval). ) Is provided.
鋸波形状の駆動信号の傾きが変化する頂点付近では、副走査方向の回動するMEMSミラー106は非常に低速な駆動状態になるため、当該頂点付近の区間に対応する描画部分は描画範囲の他の部分と比較すると特に明るく見える。そのため、当該頂点付近の区間では、半導体光源112を消灯することにより、描画範囲で表される画面全体の明るさの均一性を実現し得る。
In the vicinity of the apex where the inclination of the sawtooth-shaped drive signal changes, the
一方、主走査方向に回動するMEMSミラー106により、図5の映像投射範囲において水平方向の走査が実行される。本実施形態の主走査方向に回動するMEMSミラー106の駆動信号の波形は、図6Bに示される交流波、例えば、正弦波形状とするのが好ましい。主走査方向に回動するMEMSミラー106は高速駆動されるので、共振駆動のアクチュエータを用いることが好ましく、また、正弦波形状の駆動信号は、共振駆動のアクチュエータに適しているためである。
On the other hand, the
具体的には、正弦波形状の駆動信号には、時間経過に対する駆動信号の波形の頂点付近の区間と、それ以外の区間とが交互に現れる(図6B参照)。そのため、図5に示されるように、往復走査、すなわち、右方向走査及び左方向走査の両方で描画を行うことが、有効描画時間の確保の点から好適である。片側走査、例えば、右方向走査(左方向走査)のみで描画を行い、左方向走査(右方向走査)においては非描画区間(水平帰線区間)を設ける方式と比較して、往復走査、すなわち、右方向走査と左方向走査の両方で描画を行い、有効描画時間を長く確保することができる。 Specifically, in the sinusoidal drive signal, a section near the apex of the waveform of the drive signal with respect to the passage of time and a section other than the apex appear alternately (see FIG. 6B). Therefore, as shown in FIG. 5, it is preferable to perform drawing by reciprocating scanning, that is, both rightward scanning and leftward scanning, from the viewpoint of ensuring an effective drawing time. One-sided scanning, for example, drawing is performed only in the right direction (left direction scanning), and in the left direction scanning (right direction scanning), reciprocating scanning, that is, as compared with a method in which a non-drawing section (horizontal return section) is provided. , Drawing can be performed by both right-hand scanning and left-hand scanning, and a long effective drawing time can be secured.
さらに、正弦波形状の駆動信号の頂点付近(水平折返区間)では、主走査方向に回動するMEMSミラー106は非常に低速な駆動状態になるため、当該頂点付近の区間に対応する描画部分は描画範囲の他の部分と比較すると特に明るく見える。描画範囲で表される画面全体の明るさの均一性を実現し得るため、図6Bに示されるように、経過時間に対して隣り合う当該頂点付近の区間(水平折返区間)の間の区間で半導体光源112を点灯して図5の水平方向の走査軌跡の1ライン分の描画を行い、水平折返区間で半導体光源112を消灯して非描画区間を設ける。
Further, in the vicinity of the apex of the sinusoidal drive signal (horizontal folding section), the
上述したラスタースキャンを実施することにより、図7に示されるように、被走査面での走査軌跡全体から水平方向及び垂直方向において、図5の映像投射範囲の周縁領域が切り取られた描画範囲が得られる。 By performing the above-mentioned raster scan, as shown in FIG. 7, the drawing range in which the peripheral region of the image projection range of FIG. 5 is cut out in the horizontal and vertical directions from the entire scanning locus on the scanned surface is obtained. can get.
次に、映像信号分配部20による分配処理による映像について説明する。映像信号分配部20の分配処理では、画面内に1点存在する最高輝度点を中心に、水平方向、垂直方向の輝度が共に単調減少する分布を持った映像信号を処理する。
Next, the video produced by the distribution processing by the video
図8は、本実施形態の映像投射システム1の第1〜第4映像投射装置10A〜10Dにより、MEMSミラー106の水平方向及び垂直方向の振れ角で表された投射角度範囲(映像投射範囲)と、相対輝度で表された最大輝度との関係を例示した図である。
FIG. 8 shows a projection angle range (image projection range) represented by the horizontal and vertical deflection angles of the
図8に示されるように、第1〜第4映像投射装置10A〜10Dの投射角度範囲と最大輝度は、相対輝度の上限値である最大輝度が大きい映像投射装置から順に、投射角度範囲が狭くなるように設定されている。なお、第1〜第4映像投射装置10A〜10Dの画素ピッチは、制御し易さの観点から同一に設定されているが、特にこれに限定されず、各装置により画素ピッチを異なる値に設定してもよい。第1〜第4映像投射装置10A〜10Dの画素ピッチが異なる値に設定された場合、各装置において解像度のスケーリングを行う。
As shown in FIG. 8, the projection angle range and the maximum brightness of the first to fourth
次に、図9に、映像信号分配部20により通常時に行われる、一連の映像分配処理結果を示す。第1映像投射装置10Aは、最大輝度が最も低く、投射角度範囲が最も広い第1の映像投射範囲の投射を担当する。また、第2〜第4映像投射装置10B〜10Dは、それぞれ第2〜第4の映像投射範囲の投射を担当する。そして、第1〜第4映像投射装置10A〜10Dに出力される個別映像信号で表現される輝度分布の映像(サブ映像)を結合して、最終的な映像(合成映像)が生成される。
Next, FIG. 9 shows a series of video distribution processing results that are normally performed by the video
第1〜第4映像投射装置10A〜10Dから投射される映像は、中央部が最も明るく(最高輝度点)、周辺部にいくにつれて徐々に暗くなる輝度分布となる。輝度分布は、必ずしも上下・左右が対称である必要はなく、部分的に非投射範囲(マスク部X)があってもよい。
The images projected from the first to fourth
なお、各映像投射範囲は排他的である必要はなく、むしろ積極的に重ね合わせることで、仮に第1〜第4映像投射装置10A〜10Dの何れかに外部から振動が加わった場合等にも、分配による映像の継ぎ目が目立たなくなるという利点が生じる。
It should be noted that each image projection range does not have to be exclusive, but rather by positively superimposing, even if vibration is applied from the outside to any of the first to fourth
ここで、本発明の輝度調整部で実行される処理(視線誘導処理)について説明する。視線誘導処理は、車載カメラ40の撮像画像から(図1参照)、相対輝度の低い映像投射範囲内に人や動物等の監視対象物が認識された場合に行われる処理である。また、視線誘導処理は、映像信号分配部20が上述したMP信号を受信することによって実行される。
Here, a process (line-of-sight guidance process) executed by the luminance adjusting unit of the present invention will be described. The line-of-sight guidance process is a process performed when a monitored object such as a person or an animal is recognized within an image projection range having low relative brightness from an image captured by the vehicle-mounted camera 40 (see FIG. 1). Further, the line-of-sight guidance process is executed by the video
想定されるケースとしては、車両用前照灯の使用時にドライバーの死角から歩行者が現れた場合である。図9においては、ドライバーの視線を誘導するマーキングポイントMPが、投射角度範囲が比較的広く、相対輝度が低い第2の映像投射範囲内にある。 A possible case is when a pedestrian appears from the driver's blind spot when using the vehicle headlights. In FIG. 9, the marking point MP that guides the driver's line of sight is within the second image projection range in which the projection angle range is relatively wide and the relative brightness is low.
画像処理部50からMP信号を受信した映像信号分配部20は、まず、マーキングポイントMPが合成映像のどこに位置するかを把握する。次に、局所輝度を実現するために、第1〜第4映像投射装置10A〜10Dのうち、少なくとも1つの装置について、通常時の合成映像を生成する映像分配処理から視線誘導処理へと切り替える。
The video
通常、合成映像の形成に最も影響の少ない第1映像投射装置10Aを局所輝度の担当とするが、特にこれに限定されず、場合によっては2以上の装置に担当させてもよい。局所輝度の担当となった装置(今回、第1映像投射装置10A)は、その後、後述する各処理を行う。
Normally, the first
次に、図10〜図12を参照して、視線誘導処理の例を説明する。 Next, an example of the line-of-sight guidance process will be described with reference to FIGS. 10 to 12.
映像信号分配部20において、MP信号に基づいて生成された個別映像信号は、第1映像投射装置10Aの個別映像信号入力部102に入力される(図2参照)。これにより、個別映像信号処理部116でMEMS130の駆動信号が生成される。
In the video
その後、図10に示されるように、一旦、合成映像(映像投射範囲全体)の輝度を最大に設定する。これにより、ドライバーが歩行者に気付いていない場合であっても、車両用前照灯の例外的な照射によりドライバーの注意が引き立てられる。なお、このときの輝度は最大輝度に限られず、一定以上のレベルであればよい。 After that, as shown in FIG. 10, the brightness of the composite image (the entire image projection range) is once set to the maximum. This draws the driver's attention with the exceptional illumination of the vehicle headlights, even if the driver is unaware of the pedestrian. The brightness at this time is not limited to the maximum brightness, and may be at a certain level or higher.
輝度が最大となるのは一瞬であるが、この時点でドライバーが未だ歩行者の存在に気付かない場合もある。そこで、この後、合成映像の外周部からマーキングポイントMP(注目領域)に向かって、時間の経過に伴って徐々に輝度を低下させていく。 The maximum brightness is momentary, but at this point the driver may not yet be aware of the presence of pedestrians. Therefore, after that, the brightness is gradually reduced with the passage of time from the outer peripheral portion of the composite image toward the marking point MP (attention region).
具体的は、図11に示されるように、マーキングポイントMPを残して第1の映像投射範囲を縮小していく。映像投射範囲の垂直方向は、MEMSミラー106の副走査方向(X軸周り)振れ角に依存するが、徐々にMEMSミラー106の振幅が小さくなるように制御する。映像投射範囲をマーキングポイントMPに収束させて輝度を向上させると共に、ズームインのような演出を行うようにすれば、視線誘導効果の更なる向上が見込まれる。
Specifically, as shown in FIG. 11, the first image projection range is reduced while leaving the marking point MP. The vertical direction of the image projection range depends on the sub-scanning direction (around the X-axis) runout angle of the
なお、本実施形態おいては、第1〜第4映像投射装置10A〜10Dは基本的に同一性能であるため、映像投射範囲と最大輝度は反比例の関係にある。すなわち、映像投射範囲を縮小していくことにより、たとえ相対輝度が最も低い第1の映像投射範囲であっても、最も相対輝度が高い第4の映像投射範囲と同等の輝度(相対輝度2048)を得ることが可能である。
In the present embodiment, since the first to fourth
その後、図12に示されるように、マーキングポイントMPを含む狭小領域まで第1の映像投射範囲を縮小していく。これにより、ドライバーの視線はマーキングポイントMPに誘導されて、必ず歩行者の存在に気付くようになる。 After that, as shown in FIG. 12, the first image projection range is reduced to a narrow area including the marking point MP. As a result, the driver's line of sight is guided to the marking point MP, and the presence of a pedestrian is always noticed.
映像投射範囲の水平方向は、MEMSミラー106の主走査方向(Y軸周り)の振れ角に依存するため、マーキングポイントMPを含む領域であって、MEMSミラー106の振幅中心に対する対称位置までしか映像投射範囲を狭めることができない。
Since the horizontal direction of the image projection range depends on the deflection angle of the
なお、第1映像投射装置10Aにステッピングモータを用いた移動機構を設けることで、第1の映像投射範囲を水平方向に移動させることもできる。水平方向への移動によりMEMSミラー106の振幅中心がずれるので、最終的な第1の映像投射範囲をさらに狭めることができる。
By providing the first
この歩行者が道路を横断しようとして動作した場合には、歩行者を追従するようにマーキングポイントMPを移動させてもよい。また、このとき、歩行者が車両用前照灯の光に幻惑されないように、顔の部分のみマスク部としてもよい。 When the pedestrian moves to cross the road, the marking point MP may be moved to follow the pedestrian. Further, at this time, only the face portion may be used as the mask portion so that the pedestrian is not dazzled by the light of the vehicle headlight.
最後に、図13,図14を参照して、映像投射システム1の映像投射範囲の切り替えについて説明する。
Finally, switching of the image projection range of the
本実施形態の映像投射システム1では、第1〜第4映像投射装置10A〜10Dが担当する映像投射範囲を所定のタイミングで切り替えることができる。第1映像投射装置10Aは、最大輝度が最も低く、投射角度範囲が最も広い映像投射範囲a(図13参照)の投射を担当している。また、第2映像投射装置10Bは映像投射範囲b、第3映像投射装置10Cは映像投射範囲cの投射を担当し、第4映像投射装置10Dは、最大輝度が最も高く、投射角度範囲が最も狭い映像投射範囲dの投射を担当している(図14の「状態1」)。
In the
ここで、最も投射面積が広い映像投射範囲aを担当する第1映像投射装置10Aは、MEMSミラー106の振れ角が常に大きいことから、装置にかかる負荷も大きい状態である。従って、例えば、映像の投射が中断されたタイミングで映像投射範囲の切り替えを行う。具体的には、映像信号分配部20のRAMに、第1〜第4映像投射装置10A〜10Dの状態を記憶しておき、投射が再開される際に状態の情報を読み出して、各装置に前回の担当とは異なる映像投射範囲を割り当てるようにする。
Here, the first
図14に示されるように、「状態1」〜「状態4」の4種類を定めて、第1〜第4映像投射装置10A〜10Dの映像の投射が中断されたタイミングで状態を切り替える。「状態1」の次に「状態2」移行する場合、第1映像投射装置10Aは、映像投射範囲aから映像投射範囲bに切り替わり、第2〜第4映像投射装置も所定の順番で映像投射範囲が切り替わる。「状態1」〜「状態4」は、それぞれ同程度の期間で切り替えるようにすることが好ましい。これにより、映像投射システム1では、第1〜第4映像投射装置10A〜10Dにかかる負荷を分散させて、製品寿命(使用可能期間)を延ばすことができる。
As shown in FIG. 14, four types of "
上記の実施形態は、本発明の一例であり、これ以外にも様々な変形例が考えられる。映像投射システム1は、4つの映像投射装置で構成されていたため、映像投射範囲も4つであったが、2つ以上の映像投射装置で構成され、その数に応じた映像投射範囲がある映像投射システムであればよい。
The above embodiment is an example of the present invention, and various other modifications can be considered. Since the
図9以降の説明では、第2の映像投射範囲にマーキングポイントMPが存在する例を示したが、これに限られない。第1の映像投射範囲内又は第3の映像投射範囲内、第1の映像投射範囲と第2の映像投射範囲の境界部分にマーキングポイントMPが存在する場合であっても、局所輝度を担当する1の映像投射装置により、同様の視線誘導処理を行うことができる。 In the description after FIG. 9, an example in which the marking point MP exists in the second image projection range is shown, but the present invention is not limited to this. Responsible for local brightness even when the marking point MP exists in the boundary portion between the first image projection range and the second image projection range within the first image projection range or the third image projection range. The same line-of-sight guidance process can be performed by the image projection device of 1.
1…映像投射システム、10,10A,10B,10C,10D…映像投射装置、20…映像信号分配部(合成映像生成部、輝度調整部、注目領域設定部、担当投射領域切替部)、30…制御部、40…車載カメラ、50…画像処理部、106…MEMSミラー、112…半導体光源、130…MEMS(光偏向器)、131A,131B…トーションバー、134,136…第1のアクチュエータ、140,142…第2のアクチュエータ、144,146…センサ。 1 ... Video projection system, 10, 10A, 10B, 10C, 10D ... Video projection device, 20 ... Video signal distribution unit (composite video generation unit, brightness adjustment unit, attention area setting unit, responsible projection area switching unit), 30 ... Control unit, 40 ... In-vehicle camera, 50 ... Image processing unit, 106 ... MEMS mirror, 112 ... Semiconductor light source, 130 ... MEMS (optical deflector), 131A, 131B ... Torsion bar, 134, 136 ... First actuator, 140 , 142 ... Second actuator, 144, 146 ... Sensor.
Claims (3)
前記複数台の映像投射装置から投射される投射範囲が異なる複数のサブ映像を組み合せて、1つの合成映像を生成する合成映像生成部と、
前記サブ映像の輝度を調整する輝度調整部と、
前記合成映像に所定の注目領域を設定する注目領域設定部と、を備えた前照灯であって、
前記合成映像は、前記注目領域設定部により前記複数のサブ映像のうち最大輝度が最も高いサブ映像の映像投射範囲外に前記注目領域が設定されていない通常時において前記合成映像を構成する前記複数のサブ映像の映像投射範囲のそれぞれにおいて、中央部の輝度が最も高く、外周部にいくにつれて徐々に輝度が低くなる輝度分布を有し、
前記輝度調整部は、前記注目領域設定部により前記複数のサブ映像のうち最大輝度が最も高いサブ映像の領域外に前記注目領域が設定された場合に、複数の前記映像投射装置のうち少なくとも1つから投射される前記サブ映像について、前記通常時の前記合成映像を生成する映像分配処理から、前記サブ映像の映像投射範囲全体の輝度を所定レベルとした後、前記サブ映像の当該映像投射範囲の外周部から前記注目領域に向かって、時間の経過に伴い徐々に当該映像投射範囲を収束させる視線誘導処理へ切り替えることを特徴とする前照灯。 Multiple raster scan type video projection devices and
A composite image generation unit that generates one composite image by combining a plurality of sub-images with different projection ranges projected from the plurality of image projection devices.
A brightness adjustment unit that adjusts the brightness of the sub image,
A headlight provided with a region of interest setting unit for setting a predetermined region of interest in the composite image.
The composite image constitutes the composite image in a normal time when the attention area is not set outside the image projection range of the sub image having the highest maximum brightness among the plurality of sub images by the attention area setting unit. In each of the image projection ranges of the sub-images of the above, the luminance distribution in the central portion is the highest, and the luminance gradually decreases toward the outer peripheral portion.
When the attention area is set outside the area of the sub-image having the highest maximum brightness among the plurality of sub-images by the attention area setting unit, the brightness adjusting unit is at least one of the plurality of image projection devices. for the sub-image projected from One, the from the composite video distribution processing for generating an image of a normal, after the luminance of the entire image projection range of the sub-image with a predetermined level, the video projection range of the sub-picture A headlight characterized by switching to a line-of-sight guidance process that gradually converges the image projection range with the passage of time from the outer peripheral portion of the headlight toward the region of interest.
前記映像投射装置は、光源と、該光源からの光を反射する回動式のミラー部と、該ミラー部の振れ角範囲を制御するミラー制御部と、を備え、
前記輝度調整部は、前記ミラー制御部により前記振れ角範囲を時間の経過に伴い徐々に小さくする制御を行うことにより、前記サブ映像の外周部を前記通常時の初期状態から前記注目領域に向かって、徐々に前記映像投射範囲を収束させることを特徴とする前照灯。 In the headlight according to claim 1,
The image projection device includes a light source, a rotary mirror unit that reflects light from the light source, and a mirror control unit that controls a swing angle range of the mirror unit.
The brightness adjusting unit controls the swing angle range to be gradually reduced with the passage of time by the mirror control unit, so that the outer peripheral portion of the sub image is directed from the initial state at the normal time to the attention region. A headlight characterized by gradually converging the image projection range.
前記複数のサブ映像の投射範囲に映像を投射する映像投射装置を、所定条件により切り替える担当投射範囲切替部をさらに備えることを特徴とする前照灯。 In the headlight according to claim 1 or 2.
A headlight that further includes a projection range switching unit in charge of switching an image projection device that projects an image into a projection range of the plurality of sub-images according to a predetermined condition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016185741A JP6865552B2 (en) | 2016-09-23 | 2016-09-23 | Video projection system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016185741A JP6865552B2 (en) | 2016-09-23 | 2016-09-23 | Video projection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018049217A JP2018049217A (en) | 2018-03-29 |
JP6865552B2 true JP6865552B2 (en) | 2021-04-28 |
Family
ID=61767543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016185741A Active JP6865552B2 (en) | 2016-09-23 | 2016-09-23 | Video projection system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6865552B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7048443B2 (en) * | 2018-07-19 | 2022-04-05 | スタンレー電気株式会社 | Light projection device |
WO2024135389A1 (en) * | 2022-12-22 | 2024-06-27 | パナソニックIpマネジメント株式会社 | Image generation device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004136838A (en) * | 2002-10-21 | 2004-05-13 | Toyota Industries Corp | Vehicular projecting device and display device |
JP2004356919A (en) * | 2003-05-29 | 2004-12-16 | Sharp Corp | Projector, program and recording medium |
JP4961852B2 (en) * | 2006-06-19 | 2012-06-27 | セイコーエプソン株式会社 | Multi-projection system, image display method, and projector |
JP2011157022A (en) * | 2010-02-03 | 2011-08-18 | Sharp Corp | Headlamp and moving body |
JP5959822B2 (en) * | 2011-10-06 | 2016-08-02 | 株式会社小糸製作所 | Vehicle spot lamp control device and vehicle spot lamp system |
JP5986198B2 (en) * | 2012-05-30 | 2016-09-06 | パイオニア株式会社 | Display device, head mounted display, display method, display program, and recording medium |
JP6144682B2 (en) * | 2012-08-08 | 2017-06-07 | 株式会社小糸製作所 | Vehicle lighting |
JP6530904B2 (en) * | 2014-10-22 | 2019-06-12 | スタンレー電気株式会社 | Video projection system |
JP6454951B2 (en) * | 2014-10-24 | 2019-01-23 | スタンレー電気株式会社 | Vehicle headlamp |
-
2016
- 2016-09-23 JP JP2016185741A patent/JP6865552B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018049217A (en) | 2018-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6703747B2 (en) | Information display device, information providing system, mobile device, information display method and program | |
JP6252883B1 (en) | Head-up display device and vehicle | |
JP6535834B2 (en) | Method and system for controlling a laser based lighting system | |
JP2017206094A (en) | Vehicular lighting fixture | |
JP2019056840A (en) | Head-up display device, and vehicle | |
JP6364312B2 (en) | Video projection device | |
JP6972549B2 (en) | HUD device, vehicle device and display method | |
WO2017073111A1 (en) | Light radiation device and light radiation method | |
WO2018003650A1 (en) | Head-up display | |
JP7396404B2 (en) | Display control device and display control program | |
US20160255316A1 (en) | Display device | |
US10162176B2 (en) | Head-up display device | |
JP6865552B2 (en) | Video projection system | |
JP7114993B2 (en) | DISPLAY DEVICE, DISPLAY SYSTEM, MOBILE, DISPLAY BRIGHTNESS CONTROL METHOD AND PROGRAM | |
WO2018105585A1 (en) | Head-up display | |
JP6873799B2 (en) | Vehicle display device | |
JP6845988B2 (en) | Head-up display | |
WO2017159443A1 (en) | Screen member and image display device | |
JP6530904B2 (en) | Video projection system | |
JP6580328B2 (en) | Head-up display device for vehicle | |
JP6758090B2 (en) | Image projection system | |
JP2018054752A (en) | Picture projection system | |
JP6569318B2 (en) | Optical scanning device | |
JP6943079B2 (en) | Image processing unit and head-up display device equipped with it | |
JP7469174B2 (en) | Display device and display method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190809 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6865552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |