JP5810773B2 - Rear video display device for motorcycles - Google Patents
Rear video display device for motorcycles Download PDFInfo
- Publication number
- JP5810773B2 JP5810773B2 JP2011200407A JP2011200407A JP5810773B2 JP 5810773 B2 JP5810773 B2 JP 5810773B2 JP 2011200407 A JP2011200407 A JP 2011200407A JP 2011200407 A JP2011200407 A JP 2011200407A JP 5810773 B2 JP5810773 B2 JP 5810773B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- wheeled vehicle
- display area
- display
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本発明は、二輪車の後方を撮影し、当該二輪車後方の映像を表示することにより、運転者等に当該二輪車後方の視覚的情報を提供する後方映像表示装置に関する。 The present invention relates to a rear image display device that provides a driver or the like with visual information behind a motorcycle by photographing the rear of the motorcycle and displaying an image behind the motorcycle.
例えば下記の特許文献1には、二輪車の後方を撮影し、当該二輪車後方の映像を表示することにより、運転者等に当該二輪車後方の視覚的情報を提供する装置の一例が記載されている。
For example,
特許文献1に記載された装置(後方視認装置)は、二輪車の後部に取り付けられ、二輪車の後方を撮影する撮影装置(CCDカメラ)と、二輪車のハンドルの近傍に取り付けられた表示装置(液晶ディスプレイ装置)と、映像の抽出・切替処理を行う制御装置(ECU:電子制御ユニット)とを備えている。制御装置は、撮影装置により撮影された二輪車後方の映像のうち、真後ろ方向の映像、後方左側の映像、および後方右側の映像をそれぞれ抽出し、これら抽出した映像を、ウィンカスイッチ(ウィンカ操作子)の操作に応じて切り替えて表示装置に表示する。すなわち、制御装置は、運転者がウィンカスイッチを前方に押し込んだとき、真後ろ方向の映像を表示装置に表示し、運転者がウィンカスイッチを操作して左側のウィンカを作動させたとき、後方左側の映像を表示装置に表示し、運転者がウィンカスイッチを操作して右側のウィンカを作動させたとき、後方右側の映像を表示装置に表示する。 The device described in Patent Document 1 (rear viewing device) is attached to the rear part of a two-wheeled vehicle, and a photographing device (CCD camera) for photographing the rear of the two-wheeled vehicle, and a display device (liquid crystal display) attached in the vicinity of the handle of the two-wheeled vehicle. Device) and a control device (ECU: electronic control unit) that performs image extraction / switching processing. The control device extracts a rear-facing image, a rear-left image, and a rear-right image from among the images of the rear of the two-wheeled vehicle photographed by the photographing device, and these extracted images are indicated by a winker switch (a winker operator). The display is switched according to the operation and displayed on the display device. That is, when the driver pushes the winker switch forward, the control device displays an image in the rearward direction on the display device, and when the driver operates the winker switch to operate the left winker, The image is displayed on the display device, and when the driver operates the blinker switch to operate the right blinker, the rear right image is displayed on the display device.
この装置によれば、運転者は表示装置に表示された映像を見ることにより、バックミラーでは捉えられない死角領域の状況を確認することができる。 According to this device, the driver can check the state of the blind spot area that cannot be captured by the rearview mirror by viewing the video displayed on the display device.
二輪車のハンドル近傍に取り付けられた表示装置に二輪車後方の映像を表示する装置によれば、運転者は二輪車の後方を容易に確認することができるようになり、運転の利便性および安全性を高めることができる。特に、運転者は、後続車を表示装置により確認することができ、これにより、後続車との距離を把握することができ、追突の危険性を早期に察知し、車間距離を調整する等の危険回避行動を迅速に行うことが可能になる。 According to the device that displays the image behind the two-wheeled vehicle on the display device attached in the vicinity of the handle of the two-wheeled vehicle, the driver can easily check the rear of the two-wheeled vehicle, thereby improving the convenience and safety of driving. be able to. In particular, the driver can check the following vehicle with the display device, thereby grasping the distance to the following vehicle, detecting the risk of a rear-end collision at an early stage, adjusting the inter-vehicle distance, etc. It is possible to quickly carry out risk avoidance actions.
ところが、上記特許文献1に記載された装置には、後続車を表示装置により確認する点につき、次のような問題がある。
However, the apparatus described in
すなわち、上記特許文献1に記載の装置は、二輪車が直進しているときには後続車の映像が表示装置に表示されるものの、二輪車がカーブや交差点を曲がっているとき、後続車、とりわけ自車と同一車線を走行している後続車の映像が表示装置に表示されなくなる場合がある。
That is, the device described in
具体的に説明すると、二輪車がまっすぐな道路を直進走行している間、後続車は二輪車の真後ろに位置している。一方、例えば二輪車がカーブを左に曲がりながら走行している間、二輪車の後部を基準に相対的にみると、後続車の位置は二輪車の真後ろから左方向にずれる。他方、二輪車がカーブを右に曲がりながら走行している間は、後続車の位置は二輪車の真後ろから右方向にずれる。したがって、二輪車がカーブや交差点を左または右に曲がっているとき、二輪車の真後ろ方向を撮影した映像中に後続車が映らなくなる場合がある。 More specifically, while the motorcycle is traveling straight on a straight road, the following vehicle is located immediately behind the motorcycle. On the other hand, for example, while the two-wheeled vehicle is traveling while turning to the left on the curve, the position of the succeeding vehicle is shifted to the left from the rear of the two-wheeled vehicle when viewed relative to the rear portion of the two-wheeled vehicle. On the other hand, while the two-wheeled vehicle is traveling while turning right on the curve, the position of the succeeding vehicle is shifted to the right from the rear of the two-wheeled vehicle. Therefore, when the two-wheeled vehicle is turning to the left or right at a curve or intersection, the following vehicle may not be displayed in the image obtained by photographing the right rear direction of the two-wheeled vehicle.
上記特許文献1に記載の装置では、左側または右側のウィンカを作動させるようにウィンカスイッチを操作しない限り、二輪車の真後ろ方向の映像が表示装置に表示される。このため、二輪車がカーブを左または右に曲がりながら走行している間は、左側または右側のウィンカを作動させるようにウィンカスイッチを操作しない限り後続車が表示装置に表示されなくなる場合がある。そして、二輪車がカーブを曲がるとき、曲がりながら車線変更をする等の特別な事情がない限り、運転者は、左側または右側のウィンカを作動させるようにウィンカスイッチを操作しないのが通常である。
In the device described in
この結果、上記特許文献1に記載の装置によれば、二輪車の運転者はカーブを曲がっている間、後続車を表示装置により確認することができない場合があり、運転の利便性または安全性が直進時と比較して低下してしまうという問題がある。
As a result, according to the device described in
他方、二輪車がカーブを曲がるとき、運転者は二輪車を曲がる方向に傾斜させる。このとき、二輪車に取り付けられた撮影装置も二輪車と共に傾斜する。このため、二輪車がカーブを曲がっている間、表示装置に表示される映像が傾いた映像になってしまい、二輪車後方の状況を表示装置により確認しにくくなるという問題がある。 On the other hand, when the motorcycle turns a curve, the driver tilts the motorcycle in a turning direction. At this time, the photographing device attached to the two-wheeled vehicle is also tilted together with the two-wheeled vehicle. For this reason, while the two-wheeled vehicle is turning a curve, the image displayed on the display device becomes an inclined image, and there is a problem that it is difficult to confirm the situation behind the two-wheeled vehicle by the display device.
本発明は例えば上述したような問題に鑑みなされたものであり、本発明の課題は、二輪車がカーブを曲がりながら走行している間においても、二輪車後方の状況を運転者等に容易にまたは正しく確認させることができる二輪車の後方映像表示装置を提供することにある。 The present invention has been made in view of, for example, the above-described problems, and the problem of the present invention is that the situation behind the two-wheeled vehicle can be easily or correctly determined by the driver or the like even while the two-wheeled vehicle is traveling around a curve. An object of the present invention is to provide a rear image display device for a motorcycle that can be confirmed.
上記課題を解決するために、本発明の後方映像表示装置は、二輪車の後方を撮影する撮影手段と、前記撮影手段により撮影された撮影映像を表示映像として表示する表示手段と、前記二輪車の傾斜角を検出する傾斜角検出手段とを備え、前記傾斜角検出手段により検出された傾斜角に基づいて前記表示手段に前記表示映像として表示する範囲を変化させることを特徴とする。 In order to solve the above problems, how the image display apparatus after the present invention includes a photographing unit for photographing the rear of the motorcycle, and display means for displaying the captured image captured by the imaging means as the display image, of the motorcycle An inclination angle detecting means for detecting an inclination angle, and a range to be displayed as the display image on the display means is changed based on the inclination angle detected by the inclination angle detecting means.
本発明の後方映像表示装置によれば、二輪車の傾斜角に応じて表示映像として表示する範囲を変化させることで、二輪車が曲がりながら走行している間でも、直進時と同様に、後続車が映し出された映像を表示手段に表示することができる。したがって、運転の利便性または安全性を高めることができる。 According to how the video display device after the present invention, by changing the range to be displayed as a display image according to the inclination angle of the motorcycle, even while running while turning motorcycles, as well as during straight ahead the follower vehicle Can be displayed on the display means. Therefore, the convenience or safety of driving can be improved.
また、本発明の後方映像表示装置は、前記撮影手段により撮影された撮影映像の一部の領域である表示領域を、前記傾斜角検出手段により検出された傾斜角に基づいて決定し、当該決定された表示領域の映像を前記表示映像として前記表示手段に出力する映像処理手段を備えていることを特徴とする。 Also, how the image display apparatus after the present invention, a part of the area is the display area of the shot image shot by the previous SL photographing means, determined based on the inclination angle detected by the inclination angle detection means, Video processing means for outputting the video of the determined display area as the display video to the display means is provided.
上記映像処理手段によれば、二輪車の傾斜角に応じて撮影映像内における表示領域を変化させるので、傾斜角に応じて表示映像として表示手段に表示する範囲を映像処理(情報処理)により変化させることができる。これにより、例えば二輪車の傾斜角に応じてカメラを動かして撮影範囲を変化させるといった複雑なハードウェアを用いる必要がなくなるので、後方映像表示装置を簡単な構造により実現することができる。 According to the video processing means, the display area in the captured video is changed according to the inclination angle of the two-wheeled vehicle, so the range displayed on the display means as the display video is changed by video processing (information processing) according to the inclination angle. be able to. This eliminates the need for using complicated hardware such as moving the camera in accordance with the inclination angle of the two-wheeled vehicle to change the shooting range, thereby enabling the rear video display device to be realized with a simple structure.
また、本発明の後方映像表示装置において、前記映像処理手段は、前記傾斜角検出手段により検出された傾斜角に基づき、前記二輪車の左方向への傾斜に応じて前記表示領域を左方向に移動させ、前記二輪車の右方向への傾斜に応じて前記表示領域を右方向に移動させることを特徴とする。 Further, Oite in how the video display equipment after the present invention, the image processing means, based on the inclination angle detected by the inclination angle detection means, said display area in response to the inclination in the left direction of the motorcycle The display area is moved in the left direction, and the display area is moved in the right direction in accordance with the inclination of the two-wheeled vehicle in the right direction.
本発明のこの態様によれば、二輪車が左方向に曲がっている間には、二輪車後方左側の映像を自動的に表示することができ、二輪車が右方向に曲がっている間には、二輪車後方右側の映像を自動的に表示することができる。このように、二輪車が曲がりながら走行している間に、後続車が映し出された映像等、適切な映像を表示することができる。 According to this aspect of the present invention , while the two-wheeled vehicle is turning leftward, an image of the rear left side of the two-wheeled vehicle can be automatically displayed, and while the two-wheeled vehicle is turning rightward, the two-wheeled vehicle rearward is displayed. The video on the right can be displayed automatically. In this way, it is possible to display an appropriate image such as an image showing the following vehicle while the motorcycle is traveling while turning.
また、上述した本発明の後方映像表示装置において、前記傾斜角検出手段により検出される傾斜角と前記表示領域の左方向または右方向の移動量との関係を定めた移動量データを記憶した移動量データ記憶手段を備え、前記映像処理手段は、前記移動量データ記憶手段に記憶された移動量データを用いて前記表示領域の移動量を決定することが望ましい。 Further, the image display apparatus how after the present invention described above, and stores the movement amount data that defines the relationship between the left or right movement amount of the display area and the inclination angle detected by the inclination angle detection means includes moving amount data storage means, said image processing means, it is desirable to determine the amount of movement of the display area by using the movement amount data stored in the movement amount data storing means.
本発明のこの態様によれば、移動量データを用いることで、二輪車の傾斜角に応じた表示領域の移動を容易にかつ正確に実現することができる。 According to this aspect of the present invention, the movement of the display area according to the inclination angle of the two-wheeled vehicle can be realized easily and accurately by using the movement amount data.
また、上述した本発明の後方映像表示装置において、前記映像処理手段は、前記傾斜角検出手段により検出された傾斜角に基づき、前記二輪車の左方向への傾斜に応じて前記撮影映像または前記表示領域の映像を左方向に回転させ、前記二輪車の右方向への傾斜に応じて前記撮影映像または前記表示領域の映像を右方向に回転させることが望ましい。 Further, the image display apparatus how after the present invention described above, the image processing means, based on the inclination angle detected by the inclination angle detection means, the photographic image or the according to the inclination to the left of the motorcycle It is desirable to rotate the image of the display area in the left direction and rotate the captured image or the image of the display area in the right direction according to the inclination of the motorcycle in the right direction.
本発明のこの態様によれば、二輪車が左方向に曲がっている間には、左方向に適度に回転した映像を自動的に表示することができ、二輪車が右方向に曲がっている間には、右方向に適度に回転した映像を自動的に表示することができる。これにより、二輪車が曲がりながら走行している間に、二輪車の傾斜のために映像が傾いた映像となることを防止することができる。 According to this aspect of the present invention, while the two-wheeled vehicle is turning leftward, it is possible to automatically display an image that is appropriately rotated leftward, while the two-wheeled vehicle is turning rightward. It can automatically display an image that has been rotated appropriately in the right direction. Accordingly, it is possible to prevent the image from being inclined due to the inclination of the motorcycle while the motorcycle is traveling while turning.
また、上述した本発明の後方映像表示装置において、前記傾斜角検出手段により検出される傾斜角と前記撮影映像または前記表示領域の映像の左方向または右方向の回転角との関係を定めた回転角データを記憶した回転角データ記憶手段を備え、前記映像処理手段は、前記回転角データ記憶手段に記憶された回転角データに基づき、前記撮影映像または前記表示領域の映像の回転角を決定することが望ましい。 Further, the image display apparatus how after the present invention described above, defines the relationship between the rotation angle of the left or right of the image of the captured image or the display area and the inclination angle detected by the inclination angle detection means Rotation angle data storage means for storing rotation angle data is provided, and the video processing means determines a rotation angle of the captured video or the display area video based on the rotation angle data stored in the rotation angle data storage means. It is desirable to do.
本発明のこの態様によれば、回転角データを用いることで、二輪車の傾斜角に応じた表示領域の回転を容易にかつ正確に実現することができる。 According to this aspect of the present invention, the rotation of the display area according to the inclination angle of the two-wheeled vehicle can be realized easily and accurately by using the rotation angle data.
本発明によれば、二輪車がカーブを曲がりながら走行している間においても、二輪車後方の状況を運転者等に容易にまたは正しく確認させることができ、運転の利便性または安全性を高めることができる。 ADVANTAGE OF THE INVENTION According to this invention, even while the two-wheeled vehicle is traveling while turning a curve, the situation behind the two-wheeled vehicle can be easily or correctly confirmed by the driver, and the convenience or safety of driving can be improved. it can.
以下、本発明の実施の形態について図面を参照しながら説明する。図1は本発明の実施形態による後方映像表示装置を示している。図1において、本発明の実施形態による後方映像表示装置1は、二輪車2の後方の映像を二輪車2の運転者に提供する装置である。後方映像表示装置1は、撮影手段としてのカメラ11、映像処理手段としての映像処理装置12、表示手段としての表示装置13、および傾斜角検出手段としての傾斜角センサ14を備えている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 shows a rear image display apparatus according to an embodiment of the present invention. In FIG. 1, a rear
カメラ11は、例えばCCDイメージセンサまたはCMOSイメージセンサ等を備えたデジタルビデオカメラであり、二輪車2の後部に取り付けられている。カメラ11は広角レンズを備え、二輪車2の後方の広い範囲を撮影することができる。カメラ11は撮影した映像を「撮影映像」として映像処理装置12に出力する。
The
映像処理装置12は、CPU(中央演算処理装置)15、および移動量データ記憶手段および回転角データ記憶手段としてのメモリ16を備えている。映像処理装置12は、例えば二輪車2に設けられたECU(電子制御ユニット)の一部として実現されている。CPU15は、メモリ16に記憶された制御プログラムを読み取り、これを実行することにより、カメラ11により撮影された撮影映像を用いて後述する「表示映像」を生成し、この表示映像を表示装置13に出力する。また、メモリ16は例えば不揮発性の半導体記憶素子であり、メモリ16には上記制御プログラムのほか、後述する移動量データおよび回転角データ等が記憶されている。また、映像処理装置12には、カメラ11、表示装置13、傾斜角センサ14、およびウィンカスイッチ4が電気的に接続されている。なお、ウィンカスイッチ4は、運転者がウィンカを作動させる際に操作するスイッチであり、ハンドル3に取り付けられている。
The
表示装置13は、例えば液晶ディスプレイまたは有機ELディスプレイ等であり、二輪車2のハンドル3の近傍であって、二輪車2の運転者が見やすい位置に設けられている。表示装置13は、映像処理装置12により生成された表示映像を表示する。
The
傾斜角センサ14は、二輪車2の左右方向の傾斜角(バンク角)を検出するセンサであり、二輪車2に取り付けられている。
The
図2は撮影映像内における表示領域の左右方向の移動を示し、図3は二輪車2の傾斜角と表示領域の左右方向における移動量との関係を示している。図2において、撮影映像P1は、カメラ11により撮影され、カメラ11から映像処理装置12に出力された映像であり、映像処理装置12による映像処理前の映像である。また、撮影映像P1は、二輪車2の後方の映像である。撮影映像P1の左右方向の範囲は広く、撮影映像P1には、二輪車2の真後ろ、後方左側および後方右側を同時に含めることができる。例えば、二輪車2が3車線を有するまっすぐな道路の中間の車線を直進走行している場合、撮影映像P1には、二輪車2が走行している車線と同一の車線を走行している後続車の全体、二輪車2が走行している車線の左隣の車線を走行している後続車の全体、および二輪車2が走行している車線の右隣の車線を走行している後続車の全体を同時に含めることができる(図6および図7参照)。なお、撮影映像P1の範囲をさらに広くしてもよい。
FIG. 2 shows the movement of the display area in the left-right direction in the captured image, and FIG. 3 shows the relationship between the inclination angle of the two-
また、図2中の表示領域Dは、撮影映像の一部の領域であり、表示領域Dの映像が表示映像として表示装置13に表示される。表示領域Dの左右方向の範囲は、撮影映像P1の左右方向の範囲よりも狭い。例えば、表示領域Dの左右方向の大きさは、撮影映像P1の左右方向の大きさのおよそ3分の1である。例えば、二輪車2が3車線を有するまっすぐな道路の中間の車線を直進走行している場合、表示領域Dには、二輪車2が走行している車線と同一の車線を走行している後続車、二輪車2が走行している車線の左隣の車線を走行している後続車、および二輪車2が走行している車線の右隣の車線を走行している後続車のうちのいずれか1台の後続車の全体を含めることができるが、互いに異なる2以上の車線をそれぞれ走行する2台以上の後続車の全体を同時に含めることはできない(図8参照)。なお、表示領域Dの範囲をより広くし、例えば互いに隣接する2車線をそれぞれ走行する2台の後続車の全体を同時に含めることができるようにしてもよい。
A display area D in FIG. 2 is a partial area of the captured video, and the video in the display area D is displayed on the
映像処理装置12は、図2に示すように、傾斜角センサ14により検出された二輪車2の傾斜角に基づき、撮影映像P1の範囲内において表示領域Dを左方向または右方向に移動させる。すなわち、映像処理装置12は、二輪車2がほぼ垂直位置にあり右方向にも左方向にもほとんど傾斜していないとき、表示領域Dを撮影映像P1内の中間に位置させ、二輪車2が左方向に傾斜したとき、表示領域Dを撮影映像P1内において左方向に移動させ、二輪車2が右方向に傾斜したとき、表示領域Dを撮影映像P1内において右方向に移動させる。なお、図2では、撮影映像P1内において左方向に移動した表示領域Dを二点鎖線で示し、撮影映像P1内の中間に位置した表示領域Dを一点鎖線で示し、撮影映像P1内において右方向に移動した表示領域Dを破線で示している。
As shown in FIG. 2, the
表示領域Dの移動について具体的に説明すると、図3に示すように、映像処理装置12は、二輪車2の傾斜角が0のとき、傾斜角が0から左方向に増加して所定の設定値Taに達するまでの間、または傾斜角が0から右方向に増加して所定の設定値Tbに達するまでの間は、二輪車2の傾斜角が小さく、二輪車2がほぼ垂直位置にあり、またはほぼ直進走行状態にあるといえるので、表示領域Dを撮影映像P1内の中間に位置させる。また、二輪車2の傾斜角が左方向に増加して設定値Ta以上となったときには、二輪車2が左方向に確実に傾斜しており、カーブや交差点を左に曲がっている状態であるといえるので、映像処理装置12は表示領域Dを撮影映像P1内において左方向に移動させる。このとき、映像処理装置12は、二輪車2の左方向における傾斜角が増加するに従って表示領域Dの左方向における移動量を増加させる。一方、二輪車2の傾斜角が右方向に増加して設定値Tb以上となったとき、二輪車2が右方向に確実に傾斜しており、カーブや交差点を右に曲がっている状態であるといえるので、映像処理装置12は表示領域Dを撮影映像P1内において右方向に移動させる。このとき、映像処理装置12は、二輪車2の右方向における傾斜角が増加するに従って表示領域Dの右方向における移動量を増加させる。
The movement of the display area D will be described in detail. As shown in FIG. 3, when the two-
表示領域Dの移動についてさらに具体的に説明すると、映像処理装置12は、二輪車2の傾斜角に基づき、表示領域Dの左右方向補正角を算定し、この左右方向補正角に従って撮影映像P1内における表示領域Dの位置を決定する。すなわち、図2において、撮影映像P1を一定の領域を有する平面であるとし、撮影映像P1の中央点をAとし、撮影映像P1と直交しかつ撮影映像P1の中央点Aを通る直線上に位置し、撮影映像P1から所定距離離れた点をBとし、表示領域Dの中央点をCとすると、左右方向補正角は角ABCである。
More specifically, the movement of the display area D will be described. The
また、メモリ16には、二輪車2の傾斜角と表示領域Dの左右方向補正角(左右方向における移動量)との関係を示すデータテーブルである移動量データが予め記憶されている。映像処理装置12は、傾斜角センサ14からの検出信号と、メモリ16に記憶された移動量データとを用いて表示領域Dの左右方向補正角、すなわち表示領域Dの移動方向および移動量を決定する。
Further, the
図4は撮影映像P1の回転を示し、図5は二輪車2の傾斜角と撮影映像P1の回転角との関係を示している。図4に示すように、映像処理装置12は、傾斜角センサ14により検出された二輪車2の傾斜角に基づき、撮影映像P1を左方向または右方向に回転させる。すなわち、映像処理装置12は、二輪車2がほぼ垂直位置にあり右方向にも左方向にもほとんど傾斜していないとき、撮影映像P1を回転させず、二輪車2が左方向に傾斜したとき、撮影映像P1を左方向に回転させ、二輪車が右方向に傾斜したとき、撮影映像P1を右方向に回転させる。なお、図4では、撮影映像P1を撮影映像P1の中央点Aを回転中心としているが、撮影映像P1の回転中心は、例えば表示領域Dの移動等を考慮して適宜設定・変更するようにしてもよい。
4 shows the rotation of the photographed image P1, and FIG. 5 shows the relationship between the tilt angle of the two-
撮影映像P1の回転について具体的に説明すると、図5に示すように、映像処理装置12は、二輪車2の傾斜角が0のとき、傾斜角が0から左方向に増加して所定の設定値Taに達するまでの間、または傾斜角が0から右方向に増加して所定の設定値Tbに達するまでの間は、撮影映像P1を回転させない。また、二輪車2の傾斜角が左方向に増加して設定値Ta以上となったとき、映像処理装置12は撮影映像P1を左方向に回転させる。このとき、映像処理装置12は、二輪車2の左方向における傾斜角が増加するに従って撮影映像P1の左方向における回転角(回転量)を増加させる。一方、二輪車2の傾斜角が右方向に増加して設定値Tb以上となったとき、映像処理装置12は撮影映像P1を右方向に回転させる。このとき、映像処理装置12は、二輪車2の右方向における傾斜角が増加するに従って撮影映像P1の右方向における回転角(回転量)を増加させる。
The rotation of the captured image P1 will be described in detail. As shown in FIG. 5, when the two-
メモリ16には、二輪車2の傾斜角と撮影映像P1の回転角(回転量)との関係を示すデータテーブルである回転角データが予め記憶されている。映像処理装置12は、傾斜角センサ14からの検出信号とメモリ16に記憶された回転角データとを用いて撮影映像P1の回転方向および回転角(回転量)を決定する。
The
図6は二輪車2が直進走行している様子を示し、図7は二輪車2が直進走行している間における撮影映像P1を示し、図8は二輪車2が直進走行している間に、撮影映像P1内において表示領域Dを中間、左側、右側にそれぞれ位置させた状態を示している。図6に示すように、中央分離帯19を境に、進行方向が一の方向である3つの車線21、22、23と、進行方向が他の方向である3つの車線を有するまっすぐな道路18(中央分離帯19と車線21、22、23のみ図示)があり、二輪車2が中間の車線22を直進走行し、二輪車2の後方において、車線21、22、23に後続車31、32、33がそれぞれ走行しているとする。すなわち、二輪車2の真後ろには後続車32が位置し、二輪車2の後方左側には後続車31が位置し、二輪車2の後方右側には後続車33が位置している。この場合、カメラ11により撮影された撮影映像P1には、図7に示すように後続車31の全体、後続車32の全体、後続車33の全体が映し出される。
6 shows a state in which the two-
二輪車2が直進走行している間は、二輪車2はほとんど傾斜せず、ほぼ垂直位置を維持するので、傾斜角が左方向に0以上設定値Ta未満の範囲内または右方向に0以上設定値Tb未満の範囲内のいずれかの値である旨を示す検出信号が傾斜角センサ14から映像処理装置12に出力される。映像処理装置12は、この検出信号に基づき、図8(1)に示すように、表示領域Dを撮影映像P1内の中間に位置させ、この表示領域Dの映像を表示映像として表示装置13に出力する。この結果、表示装置13には、二輪車2の真後ろに位置する後続車、すなわち、車線22を走行している後続車32の全体が表示される。
While the two-
ここで、映像処理装置12は、ウィンカスイッチ4の操作に応じて表示領域Dを移動させる機能を備えている。すなわち、二輪車2の運転者が、左側のウィンカを作動させるべくウィンカスイッチ4を操作したとき、映像処理装置12は、図8(2)に示すように、表示領域Dを撮影映像P1内において左方向に移動させる。この結果、表示装置13には、二輪車2の後方左側に位置する後続車、すなわち車線21を走行している後続車31の全体が映し出される。また、二輪車2の運転者が、右側のウィンカを作動させるべくウィンカスイッチ4を操作したとき、映像処理装置12は、図8(3)に示すように、表示領域Dを撮影映像P1内において右方向に移動させる。この結果、表示装置13には、二輪車2の後方右側を走行している後続車、すなわち車線23を走行している後続車33の全体が映し出される。
Here, the
図9は二輪車2がカーブを曲がりながら走行している様子を示し、図10は二輪車2がカーブを曲がりながら走行している間における撮影映像P1を示し、図11は二輪車2がカーブを曲がりながら走行している間に、撮影映像P1内において表示領域Dを中間、左側にそれぞれ位置させた状態、および撮影映像P1を回転させた状態を示している。図9に示すように、道路18が左方向にカーブし、二輪車2がこのカーブを左に曲がりながら走行し、後続車31、32、33がこのカーブ手前を走行しているとする。二輪車2が左に曲がることにより、相対的にみて、二輪車2の後方を走行している後続車31、32、33が、二輪車2の後部、すなわちカメラ11に対して左方向に移動する。また、二輪車2は左に曲がるとき左方向に傾き、カメラ11もこれに伴って左方向に傾く。この結果、撮影の対象は、図10を図7と比較しながら見るとわかる通り、撮影映像P1内において左方向に移動すると共に右方向に回転する。
FIG. 9 shows a state where the two-
この場合、もし映像処理装置12が、二輪車2が直進走行しており傾斜角が左方向に0以上設定値Ta未満の範囲内または右方向に0以上設定値Tb未満の範囲内のいずれかの値である場合と同じ処理をするとすれば、図11(1)に示すように、表示領域Dが撮影映像P1内の中間に位置し、撮影映像P1が回転しないので、表示装置13には、左に曲がりながら走行している二輪車2の真後ろの映像、すなわち、二輪車2が走行している車線22の右隣の車線23を走行している後続車33が表示されてしまい、しかも、その映像が表示装置13の画面に対して右方向に回転した状態で表示されてしまう。しかし、運転の利便性または安全性を考慮すると、二輪車2と同一車線22を走行している後続車32が表示装置13に表示されることが望ましく、さらに、後続車32が表示装置13の画面に対して回転していない(傾いていない)状態で表示されることが望ましい。そこで、映像処理装置12は、二輪車2が左に曲がりながら走行している間、二輪車2と同一車線22を走行している後続車32が表示装置13に表示され、かつ、後続車32が表示装置13の画面に対して回転していない状態で表示されるように、表示領域Dを左方向に移動させると共に、撮影映像P1を左方向に回転させる。つまり、表示領域Dを撮影映像P1内における撮影対象の移動に追従するように移動させると共に、撮影映像P1を二輪車2(カメラ11)の傾きに追従させるように回転させる。
In this case, if the
すなわち、二輪車2が左に曲がりながら走行している間、二輪車2は左方向に傾斜し、傾斜角が左方向に設定値Ta以上である旨を示す検出信号が傾斜角センサ14から出力される。映像処理装置12は、傾斜角センサ14からのこの検出信号とメモリ16に記憶された移動量データとに基づいて、表示領域Dの撮影映像P1内における左方向への移動量を決定し、この決定に従って表示領域Dを左方向に移動させる。この結果、図11(2)に示すように、表示領域D内には、二輪車2と同一車線22を走行している後続車32が映し出されるようになる。
That is, while the two-
さらに、映像処理装置12は、傾斜角センサ14からの検出信号とメモリ16に記憶された回転角データとに基づいて、撮影映像P1の左方向における回転角を決定し、この決定に従って撮影映像P1を左方向に回転させる。この結果、図11(3)に示すように、後続車32が表示装置13の画面に対して回転していない状態で表示されるようになる。
Further, the
一方、二輪車2が右に曲がりながら走行している間、二輪車2は右方向に傾斜し、傾斜角が右方向に設定値Tb以上である旨を示す検出信号が傾斜角センサ14から出力される。映像処理装置12は、傾斜角センサ14からのこの検出信号とメモリ16に記憶された移動量データとに基づいて、表示領域Dの撮影映像P1内における右方向への移動量を決定し、この決定に従って表示領域Dを右方向に移動させる。この結果、表示領域D内には、二輪車2と同一車線22を走行している後続車32が映し出されるようになる。さらに、映像処理装置12は、傾斜角センサ14からの検出信号とメモリ16に記憶された回転角データとに基づいて、撮影映像P1の右方向における回転角を決定し、この決定に従って撮影映像P1を右方向に回転させる。この結果、後続車32が表示装置13の画面に対して回転していない状態で表示されるようになる。
On the other hand, while the two-
図12は後方映像表示装置1における映像処理の具体的な流れを示している。図12中の映像処理において、映像処理装置12は、まず、傾斜角センサ14から出力される検出信号に基づいて二輪車2の傾斜角を算出する(ステップS1)。続いて、映像処理装置12は、ステップS1で算出された傾斜角が設定値Ta以上か否か判断し、設定値Ta以上でない場合には設定値Tb以上か否か判断する(ステップS2)。
FIG. 12 shows a specific flow of video processing in the rear
傾斜角が設定値Ta以上である場合には(ステップS2:YES)、映像処理装置12は、移動量データを参照し、表示領域Dの左方向における左右方向補正角(左方向における移動量)を算出し(ステップS3)、続いて撮影映像P1の左方向における回転角を算出する(ステップS4)。そして、映像処理装置12は、ステップS3において算出した左右方向補正角に従って表示領域Dを左方向に移動させ、ステップS4において算出した回転角に従って撮影映像P1を左方向に回転させ、撮影映像P1のうち表示領域Dで囲まれた部分の映像を抽出し(切り出し)、これにより、表示映像を生成する(ステップS5)。続いて、映像処理装置12は、この生成した表示映像を表示装置13に出力する(ステップS6)。
When the tilt angle is equal to or larger than the set value Ta (step S2: YES), the
また、傾斜角が設定値Tb以上である場合には(ステップS2:YES)、映像処理装置12は、移動量データを参照し、表示領域の右方向における左右方向補正角(右方向における移動量)を算出し(ステップS3)、続いて撮影映像P1の右方向における回転角を算出する(ステップS4)。そして、映像処理装置12は、ステップS3において算出した左右方向補正角に従って表示領域Dを右方向に移動させ、ステップS4において算出した回転角に従って撮影映像P1を右方向に回転させ、撮影映像P1のうち表示領域Dで囲まれた部分の映像を抽出し(切り出し)、これにより、表示映像を生成する(ステップS5)。続いて、映像処理装置12は、この生成した表示映像を表示装置13に出力する(ステップS6)。
If the tilt angle is equal to or greater than the set value Tb (step S2: YES), the
一方、傾斜角が0以上設定値Ta未満、または0以上設定値Tb未満である場合には(ステップS2:NO)、映像処理装置12は、運転者がウィンカを左側または右側に作動させるべくウィンカスイッチ4を操作したか否か判断する(ステップS7)。運転者がウィンカスイッチ4を操作していない場合には(ステップS7:NO)、映像処理装置12は、表示領域Dを撮影映像P1内の中間に位置させ、撮影映像P1のうち表示領域Dで囲まれた部分の映像を抽出することにより表示映像を生成し、この表示映像を表示装置13に出力する(ステップS8)。他方、運転者がウィンカを左側または右側に作動させるべくウィンカスイッチ4を操作した場合には(ステップS7:YES)、映像処理装置12は、ウィンカスイッチ4の操作に従って表示領域Dを撮影映像P1内において左方向または右方向に移動させ、撮影映像P1のうち表示領域Dで囲まれた部分の映像を抽出することにより表示映像を生成し、この表示映像を表示装置13に出力する(ステップS9)。
On the other hand, when the inclination angle is 0 or more and less than the set value Ta or 0 or more and less than the set value Tb (step S2: NO), the
以上説明した通り、本発明の実施形態による後方映像表示装置1によれば、二輪車2の傾斜角に応じて、二輪車2の後方の撮影映像P1内における表示領域Dを移動させ、かつ撮影映像P1を回転させることができる。これにより、二輪車2が曲がりながら走行している間でも、直進時と同様に、後続車、とりわけ同一車線を走行している後続車が映し出された映像を表示装置13に表示することができる。したがって、運転者は、表示された映像を見ることにより、例えば後続車の追突を回避するなどの行動を迅速に行うことができる。よって、運転の利便性または安全性を高めることができる。
As described above, according to the rear
なお、上述した実施形態では、二輪車2の傾斜角と表示領域Dの左右方向補正角(左右方向における移動量)との関係を示すデータテーブルである移動量データを用いて表示領域Dの移動量を決定する場合を例にあげたが、本発明はこれに限らない。二輪車2の傾斜角と表示領域Dの左右方向補正角(左右方向における移動量)との関係を示す演算式をメモリ16に記憶しておき、この演算式を用いて演算を行い、表示領域Dの移動量を決定してもよい。また、撮影映像P1の回転の決定についても、二輪車2の傾斜角と撮影映像P1の回転角(回転量)との関係を示すデータテーブルである回転角データに代えて、二輪車2の傾斜角と撮影映像P1の回転角(回転量)との関係を示す演算式を用いてもよい。
In the above-described embodiment, the movement amount of the display area D using the movement amount data which is a data table indicating the relationship between the inclination angle of the two-
また、上述した実施形態では、傾斜角センサ14が検出した傾斜角に基づいて撮影映像P1を回転させる場合を例にあげたが、本発明はこれに限らない。傾斜角センサ14が検出した傾斜角に基づいて表示領域Dまたは表示映像を回転させてもよい。
In the above-described embodiment, the case where the captured image P1 is rotated based on the tilt angle detected by the
また、上述した実施形態では、二輪車2の傾斜角に応じて撮影映像P1内における表示領域Dを変化させるといった映像処理(情報処理)により、表示映像として表示装置13に表示する範囲を変化させる場合を例にあげたが、本発明はこれに限らない。カメラ11を二輪車2の後部に可動に支持し、二輪車2の傾斜角に応じてカメラ11を動かし、カメラ11の撮影範囲を変化させることによって表示映像として表示装置13に表示する範囲を変化させてもよい。また、複数のカメラを用いてもよい。
In the above-described embodiment, the range displayed on the
また、カメラ11により二輪車2の後方を撮影することができれば、カメラ11を二輪車2の後部以外の部分に取り付けてもよい。
Further, the
また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う二輪車の後方映像表示装置もまた本発明の技術思想に含まれる。 Further, the present invention can be appropriately changed without departing from the spirit or idea of the invention which can be read from the claims and the entire specification, and a rear image display device for a motorcycle with such a change is also included in the present invention. It is included in the technical idea.
1 後方映像表示装置
2 二輪車
11 カメラ(撮影手段)
12 映像処理装置(映像処理手段)
13 表示装置(表示手段)
14 傾斜角センサ(傾斜角検出手段)
15 CPU
16 メモリ(移動量データ記憶手段、回転量データ記憶手段)
1 Rear
12. Video processing device (video processing means)
13 Display device (display means)
14 Inclination angle sensor (Inclination angle detection means)
15 CPU
16 Memory (movement amount data storage means, rotation amount data storage means)
Claims (4)
前記撮影手段により撮影された撮影映像を表示映像として表示する表示手段と、
前記二輪車の傾斜角を検出する傾斜角検出手段とを備え、
前記傾斜角検出手段により検出された傾斜角に基づいて前記表示手段に前記表示映像として表示する範囲を変化させる二輪車の後方映像表示装置であって、
前記撮影手段により撮影された撮影映像の一部の領域である表示領域を、前記傾斜角検出手段により検出された傾斜角に基づいて決定し、当該決定された表示領域の映像を前記表示映像として前記表示手段に出力する映像処理手段を備え、
前記映像処理手段は、前記傾斜角検出手段により検出された傾斜角に基づき、前記二輪車の左方向への傾斜に応じて前記表示領域を左方向に移動させ、前記二輪車の右方向への傾斜に応じて前記表示領域を右方向に移動させることを特徴とする二輪車の後方映像表示装置。 Photographing means for photographing the rear of the motorcycle;
Display means for displaying a photographed image photographed by the photographing means as a display image;
An inclination angle detecting means for detecting an inclination angle of the two-wheeled vehicle,
A the angle of inclination said display rear image display device in a two-wheeled vehicle Ru changing the range to be displayed as an image on the display device based on the inclination angle detected by the detecting means,
A display area, which is a partial area of the photographed image taken by the photographing means, is determined based on the tilt angle detected by the tilt angle detecting means, and the video of the determined display area is used as the display video. Video processing means for outputting to the display means,
The image processing means moves the display area to the left according to the inclination of the two-wheeled vehicle in the left direction based on the inclination angle detected by the inclination angle detecting unit, so that the two-wheeled vehicle is inclined to the right direction. In response, the rear image display device for a two-wheeled vehicle is characterized in that the display area is moved rightward .
前記映像処理手段は、前記移動量データ記憶手段に記憶された移動量データを用いて前記表示領域の移動量を決定することを特徴とする請求項1に記載の二輪車の後方映像表示装置。 Movement amount data storage means for storing movement amount data defining the relationship between the inclination angle detected by the inclination angle detection means and the movement amount of the display area in the left or right direction;
2. The rear image display device for a motorcycle according to claim 1 , wherein the video processing unit determines a movement amount of the display area using movement amount data stored in the movement amount data storage unit.
前記映像処理手段は、前記回転角データ記憶手段に記憶された回転角データに基づき、前記撮影映像または前記表示領域の映像の回転角を決定することを特徴とする請求項3に記載の二輪車の後方映像表示装置。 Rotation angle data storage means for storing rotation angle data that defines the relationship between the inclination angle detected by the inclination angle detection means and the left or right rotation angle of the captured image or the image of the display area,
4. The motorcycle according to claim 3 , wherein the image processing unit determines a rotation angle of the captured image or the image of the display area based on rotation angle data stored in the rotation angle data storage unit. Rear video display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011200407A JP5810773B2 (en) | 2011-09-14 | 2011-09-14 | Rear video display device for motorcycles |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011200407A JP5810773B2 (en) | 2011-09-14 | 2011-09-14 | Rear video display device for motorcycles |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013060128A JP2013060128A (en) | 2013-04-04 |
JP5810773B2 true JP5810773B2 (en) | 2015-11-11 |
Family
ID=48185206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011200407A Active JP5810773B2 (en) | 2011-09-14 | 2011-09-14 | Rear video display device for motorcycles |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5810773B2 (en) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6361382B2 (en) * | 2014-08-29 | 2018-07-25 | アイシン精機株式会社 | Vehicle control device |
KR101625498B1 (en) * | 2014-12-09 | 2016-05-30 | 김미선 | An Apparatus for Monitering A Running Circumstance Used a Vehicle Having Two Wheels |
KR101704201B1 (en) * | 2015-05-20 | 2017-02-15 | 주식회사 와이즈오토모티브 | Panorama view variable system and method for controlling the same |
EP3337166B1 (en) * | 2015-08-10 | 2020-01-01 | JVC Kenwood Corporation | Vehicular display apparatus and vehicular display method |
JP6680095B2 (en) * | 2016-06-10 | 2020-04-15 | スズキ株式会社 | Position illuminator |
JP2018012439A (en) * | 2016-07-21 | 2018-01-25 | 株式会社富士通ゼネラル | Rearward visibility assist device |
JP6597588B2 (en) * | 2016-12-20 | 2019-10-30 | トヨタ自動車株式会社 | Image display device |
JP6601422B2 (en) | 2017-01-11 | 2019-11-06 | トヨタ自動車株式会社 | Image display device |
CN110087951B (en) * | 2017-01-27 | 2023-01-03 | 金泰克斯公司 | Image compensation for locomotive inclination |
KR101862994B1 (en) * | 2017-05-26 | 2018-05-30 | 국방과학연구소 | A method of Stop-line Detection for Autonomous Vehicles |
JP7045822B2 (en) * | 2017-08-24 | 2022-04-01 | 株式会社小糸製作所 | A sensor system and a lamp unit equipped with the sensor system. |
JP6935970B2 (en) * | 2017-10-04 | 2021-09-15 | 株式会社ザクティ | Camera device for motorcycles |
DE112018007317B4 (en) | 2018-03-20 | 2023-03-02 | Honda Motor Co., Ltd. | Straddle seat type vehicle |
WO2019186799A1 (en) * | 2018-03-28 | 2019-10-03 | 本田技研工業株式会社 | Object detection system for saddle-type vehicle, and saddle-type vehicle |
JP2019181976A (en) * | 2018-04-02 | 2019-10-24 | 株式会社ザクティ | Imaging apparatus and rear confirmation system of movable body |
CN114423673B (en) * | 2019-09-30 | 2023-04-04 | 本田技研工业株式会社 | Straddle-type vehicle, control method for straddle-type vehicle, and storage medium |
JP7496681B2 (en) * | 2019-11-20 | 2024-06-07 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Processing device and processing method |
JP2022007245A (en) * | 2020-06-26 | 2022-01-13 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Control device of rider support system, rider support system, and control method of rider support system |
WO2022038621A1 (en) * | 2020-08-19 | 2022-02-24 | Tvs Motor Company Limited | A display unit |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0952555A (en) * | 1995-08-11 | 1997-02-25 | Mitsubishi Electric Corp | Periphery monitoring device |
JP4394228B2 (en) * | 1999-11-30 | 2010-01-06 | ヤマハ発動機株式会社 | Image display device for saddle riding type vehicle |
JP4948115B2 (en) * | 2006-10-18 | 2012-06-06 | ヤマハ発動機株式会社 | Rear view device |
JP2011166371A (en) * | 2010-02-08 | 2011-08-25 | Victor Co Of Japan Ltd | Imaging apparatus and imaging method |
-
2011
- 2011-09-14 JP JP2011200407A patent/JP5810773B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013060128A (en) | 2013-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5810773B2 (en) | Rear video display device for motorcycles | |
US8058980B2 (en) | Vehicle periphery monitoring apparatus and image displaying method | |
JP4948115B2 (en) | Rear view device | |
WO2014129026A1 (en) | Driving assistance device and image processing program | |
JP5209578B2 (en) | Image display device for vehicle | |
JP5090126B2 (en) | In-vehicle imaging device | |
JP2009105656A (en) | On-vehicle imaging apparatus | |
JP2002166802A (en) | Device for monitoring around vehicle | |
JP6730613B2 (en) | Overhead video generation device, overhead video generation system, overhead video generation method and program | |
WO2017110144A1 (en) | Overhead view video image generation device, overhead view video image generation system, overhead view video image generation method, and program | |
JP7006460B2 (en) | Vehicle display control device, vehicle display system, vehicle display control method, and program | |
WO2016092967A1 (en) | Image generation device and image generation method | |
JP2006131213A (en) | Rear view recognition device for motorcycle | |
WO2018159019A1 (en) | Bird's-eye-view video image generation device, bird's-eye-view video image generation system, bird's-eye-view video image generation method, and program | |
JP2019186853A (en) | Vehicle display control device, vehicle display system, vehicle display control method, and program | |
JP2018142885A (en) | Vehicular display control apparatus, vehicular display system, vehicular display control method, and program | |
JP2014182543A (en) | Device and method for switching display of vehicle rearward image | |
JP4674814B2 (en) | Image display device for vehicle and image composition method | |
KR20160064275A (en) | Apparatus and method for recognizing position of vehicle | |
JP2005182305A (en) | Vehicle travel support device | |
JP2012166689A (en) | Driving assistance apparatus | |
JP2019202584A (en) | Image processing apparatus and image processing method | |
JP2009118133A (en) | Method and apparatus for displaying rear view of vehicle | |
JP2015018409A (en) | Drive recorder device for two-wheel vehicle | |
JP6724821B2 (en) | Overhead video generation device, overhead video generation system, overhead video generation method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150831 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5810773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |