JP6303786B2 - Sound image localization controller - Google Patents
Sound image localization controller Download PDFInfo
- Publication number
- JP6303786B2 JP6303786B2 JP2014097844A JP2014097844A JP6303786B2 JP 6303786 B2 JP6303786 B2 JP 6303786B2 JP 2014097844 A JP2014097844 A JP 2014097844A JP 2014097844 A JP2014097844 A JP 2014097844A JP 6303786 B2 JP6303786 B2 JP 6303786B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- obstacle
- azimuth
- exaggeration
- relative position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004807 localization Effects 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 claims description 18
- 206010049976 Impatience Diseases 0.000 claims description 15
- 238000000034 method Methods 0.000 description 27
- 230000001133 acceleration Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、音像定位制御装置に関するものである。 The present invention relates to a sound image localization control device.
従来、車両の後方の障害物の自車両に対する相対位置を検出し、車両のドライバーにとって上記相対位置から音が聞こえるように音像を定位させる技術が知られている。 Conventionally, a technique is known in which a relative position of an obstacle behind a vehicle with respect to the host vehicle is detected, and a sound image is localized so that a driver of the vehicle can hear sound from the relative position.
しかし、本願発明者の検討によれば、音像が障害物の方向を正確に向いていると、場合によってはドライバーが交通状況を誤って把握してしまう可能性がある。 However, according to the study of the present inventor, if the sound image is pointing in the direction of the obstacle correctly, the driver may erroneously grasp the traffic situation in some cases.
具体的には、障害物の一例として、他車両が自車両の隣の車線かつ後方に存在していたとする。自車両から他車両までの距離が非常に離れていると、自車両の真後ろ方向を基準とした障害物の方位は、角度が非常に小さなものとなってしまう。この場合、音像が他車両の方向を正確に向いていると、ドライバーは他車両が自車両と同じ車線にいると感じてしまう。他車両が自車両と同じ車線にいるか否かは、ドライバーの運転判断に影響する重要な交通状況なので、これをドライバーに誤認識させてしまうのは好ましくない。 Specifically, as an example of an obstacle, it is assumed that another vehicle exists in the lane next to the host vehicle and in the rear. If the distance from the host vehicle to the other vehicle is very far, the direction of the obstacle with respect to the direction directly behind the host vehicle becomes a very small angle. In this case, if the sound image is pointing in the direction of the other vehicle accurately, the driver feels that the other vehicle is in the same lane as the host vehicle. Whether or not the other vehicle is in the same lane as the own vehicle is an important traffic situation that affects the driver's driving judgment, and it is not preferable that the driver misrecognizes this.
本発明は上記点に鑑み、車両の後方の障害物の自車両に対する相対位置を検出し、車両のドライバーにとって上記相対位置から音が聞こえるように音像を定位させる技術において、ドライバーが交通状況を誤って把握してしまう可能性を低減することを目的とする。 In view of the above points, the present invention detects the relative position of an obstacle behind the vehicle with respect to the host vehicle and localizes the sound image so that the driver of the vehicle can hear sound from the relative position. The purpose is to reduce the possibility of grasping.
上記目的を達成するための請求項1に記載の発明は、車両(10)の後方の障害物(20)の前記車両に対する相対位置を検出する検出手段(110)と、前記車両の真後ろ方向を基準とした前記障害物の方位が増大するよう、前記検出手段が検出した前記相対位置から誇張後相対位置を算出する方位誇張手段(120)と、音像を定位させる音像提示装置(4、5a〜5f)を制御して、前記車両のドライバーにとって前記誇張後相対位置から音が聞こえるように音像を定位させる制御手段(130)と、を備え、前記車両の真後ろ方向を基準とした前記相対位置の方位が元角度であり、前記車両の真後ろ方向を基準とした前記誇張後相対位置の方位が誇張角度であり、前記元角度が大きいほど前記誇張角度が大きいことを特徴とする音像定位制御装置である。
In order to achieve the above object, the invention according to
このように、音像定位制御装置は、車両の真後ろ方向を基準とした障害物の方位が増大するよう、検出手段が検出した相対位置を変換して誇張後相対位置とし、この誇張後相対位置から音が聞こえるように音像を定位させる。したがって、障害物が車両と異なる車線にいる場合でも、障害物が車両と同じ車線にいるとドライバーが誤判断してしまう可能性が低減される。 As described above, the sound image localization control device converts the relative position detected by the detection means to the post-exaggeration relative position by converting the relative position detected by the detection unit so that the azimuth direction of the obstacle with respect to the direction directly behind the vehicle is increased. The sound image is localized so that the sound can be heard. Therefore, even when the obstacle is in a different lane from the vehicle, the possibility that the driver erroneously determines that the obstacle is in the same lane as the vehicle is reduced.
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。 In addition, the code | symbol in the bracket | parenthesis in the said and the claim shows the correspondence of the term described in the claim, and the concrete thing etc. which illustrate the said term described in embodiment mentioned later. .
(第1実施形態)
以下、本発明の一実施形態について説明する。図1に示すように、本実施形態に係る音像定位制御装置1は、車両に搭載され、障害物センサ2、制御回路3、立体音響生成回路4、スピーカ5a〜5fを有している。
(First embodiment)
Hereinafter, an embodiment of the present invention will be described. As shown in FIG. 1, a sound image
障害物センサ2は、車両の周囲(前方、側方、および後方。以下同じ。)における障害物(他車両、人、路上に落ちた物等)を検出するためのセンサである。例えば、ソナー式レーダ群、レーザレーダ群、車両周囲を撮影する車載カメラ、車両周囲の障害物情報を受信する路車間通信装置、周囲の他車両から当該他車両の情報を受信する車車間通信装置のうち、いずれか1種類で実現してもよいし、複数種類の組み合わせで実現してもよい。
The
制御回路3は、障害物センサ2が取得した情報に基づいて、自車両の周囲における障害物の位置等を検出し、その検出結果に応じて立体音響生成回路4を制御する装置であり、例えば、マイクロコンピュータを用いて実現可能である。
The
立体音響生成回路4は、制御回路3の制御に従って、スピーカ5a〜5fから音を出力させることで、音像を定位させる装置であり、例えば、マイクロコンピュータを用いて実現可能である。
The stereophonic
スピーカ5a〜5fは、図2に示すように、音像定位制御装置1の搭載先である自車両10の車室内の異なる位置に配置されている。より具体的には、スピーカ5a〜5fは、それぞれ、車室内の前方運転席側、前方助手席側、側方右側、側方左側、後方右側、後方左側に配置されている。ただし、スピーカの配置および個数は、このようなものに限らず、他の配置および個数であってもよい。
立体音響生成回路4は、これらスピーカ5a〜5fから音を出力させるタイミング等を調整することで、音像を定位させることができる。
As shown in FIG. 2, the
The stereophonic
以下、上記のような構成の音像定位制御装置1の作動について説明する。制御回路3は、車両の主電源がオンの場合に、図3の処理を実行するようになっている。なお、車両の主電源のオン、オフは、車両が内燃機関を動力源として走行する場合はIGのオン、オフに該当し、車両が電気モータのみを動力源として走行する場合はメインスイッチのオン、オフに該当する。
Hereinafter, the operation of the sound image
制御回路3は、図3の処理において、まずステップ110で、障害物センサ2からの出力に基づいて、自車両10の周囲の障害物の方位、障害物までの距離、および障害物の物体種類を検出する。
In the process of FIG. 3, the
ここで、障害物の物体種類は、例えば、二輪車、四輪車、人、看板等の別を表す。例えば、障害物センサ2が車両周囲を撮影する車載カメラである場合、制御回路3は、二輪車、四輪車、人、看板のテンプレート画像と車載カメラから出力された撮影画像を比較することで、障害物の存在および障害物の物体種類を検出する。
Here, the object type of the obstacle represents, for example, a two-wheeled vehicle, a four-wheeled vehicle, a person, a signboard, or the like. For example, when the
また、障害物の方位は、自車両10に対する障害物の相対位置を表す量の1つであり、自車両10の真後ろ方向を基準として自車両10内の基準位置から障害物までの方向を水平面内の角度で表した量である。例えば、障害物センサ2が車両周囲を撮影する車載カメラである場合、制御回路3は、車載カメラから出力された撮影画像中の位置と方位との対応関係があらかじめ定められたマップを参照することで、検出する。なお、このマップは、車両が水平な路上を走行していると仮定した上で作成されている。
The direction of the obstacle is one of the quantities representing the relative position of the obstacle with respect to the
また、障害物までの距離は、自車両10に対する障害物の相対位置を表す量の1つであり、自車両10内の基準位置から障害物までの直線距離を表す量である。例えば、障害物センサ2が車両周囲を撮影する車載カメラである場合、制御回路3は、上述のように検出した物体種類に対応した特徴部分(例えば車のナンバープレート)を撮影画像から抽出し、抽出した特徴部分の大きさに基づいて、障害物までの距離を検出する。
Further, the distance to the obstacle is one of the amounts representing the relative position of the obstacle with respect to the
なお、自車両10内の基準位置は、例えば、障害物センサ2の搭載位置としてもよいし、運転席としてもよいし、自車両10の後端の左右方向中央としてもよい。
The reference position in the
続いてステップ120では、方位の誇張を行う。具体的には、ステップ110で特定した障害物の方位および障害物までの距離をキーとして、あらかじめ制御回路3のメモリ(ROM)等内に保存されている角度変換テーブルを参照することで、当該キーに対応した誇張角度(誇張後相対位置の一例に相当する)を算出する。
In
図4に、角度変換テーブルの一例を示す。このテーブル中、距離は、ステップ110で特定された障害物までの距離を表し、元角度は、ステップ110で特定された障害物の方位を表す。
FIG. 4 shows an example of the angle conversion table. In this table, the distance represents the distance to the obstacle identified in
元角度および誇張角度については、正の値となっている場合は、自車両10の真後ろ方向よりも右方向(上から見て半時計回り方向)を向いていることを表している。また、負の値となっている場合は、自車両10の真後ろ方向よりも左方向(上から見て時計回り方向)を向いていることを表している。
When the original angle and the exaggerated angle are positive values, the original angle and the exaggerated angle indicate that they are directed rightward (counterclockwise as viewed from above) rather than just behind the
例えば、ステップ110で特定された障害物までの距離が30mで、ステップ110で特定された障害物の方位が10°である場合、誇張角度は20°となる。
For example, when the distance to the obstacle specified in
このテーブルから見て取れるように、角度と誇張角度の正負は同じであり、元角度の絶対値に対して誇張角度の絶対値は大きくなっている。つまり、制御回路3は、図5に示すように、ステップ110で検出した方位すなわち、元角度θ0を、ステップ120において誇張して誇張角度θ1とする。
As can be seen from this table, the angle and the exaggerated angle have the same sign, and the absolute value of the exaggerated angle is larger than the absolute value of the original angle. That is, as shown in FIG. 5, the
続いてステップ130では、ステップ120において得た誇張角度に基づいて、立体音響生成回路4を制御して、自車両10のドライバーにとって誇張角度から音が聞こえるように音像を定位させる。
Subsequently, in
より具体的には、制御回路3は、立体音響生成回路4に対して誇張角度を示す信号を出力する。この信号を受けた立体音響生成回路4は、自車両10のドライバーにとって当該信号が示す誇張角度から音が聞こえるように、スピーカ5a〜5fから出力される音のタイミングおよび強度および周波数特性を制御して、音像を定位させる。スピーカ5a〜5fが出力する音は、例えば、特定の可聴周波数の正弦波でもよい。
More specifically, the
なお、所望の位置に音像を定位させる技術としては、種々の周知の技術を用いる。例えば、HRTF(頭部伝達関数)を用いた手法(トランスオーラル等)を用いてもよい。あるいは、WFS(Wave Field Synthesis)、HOA(High Order Ambisonics)等の波面合成手法を用いてもよい。 Various known techniques are used as a technique for localizing a sound image at a desired position. For example, a technique using HRTF (head related transfer function) (transoral or the like) may be used. Alternatively, a wavefront synthesis method such as WFS (Wave Field Synthesis) or HOA (High Order Ambisonics) may be used.
また、ステップ120において制御回路3は、ステップ110で検出した距離も、音像を定位させる位置に反映させてもよい。この場合、制御回路3は、ステップ110で検出した距離そのものを、あるいは、音像が車室内に収まるようステップ110で検出した距離の1/100した距離を、誇張方位と共に立体音響生成回路4に出力する。これらを受けた立体音響生成回路4は、受けた誇張角度および受けた距離から自車両10のドライバーにとって音が聞こえるように、スピーカ5a〜5fから出力される音のタイミングおよび強度および周波数特性を制御して、音像を定位させる。
In
更には、ステップ120において制御回路3は、ステップ110で検出した物体種類を、スピーカ5a〜5fに出力させる音に反映させてもよい。この場合、制御回路3は、ステップ110で検出した物体種類に応じた音データを抽出する。例えば、ステップ110で検出した物体種類が二輪車なら二輪車のエンジン音を抽出する。そして、抽出した音データを上述の誇張距離(および場合によっては距離)と共に、立体音響生成回路4に出力する。すると立体音響生成回路4は、音像を定位させる音として、当該音声データの表す音を用いる。
Furthermore, in
図5に示すように、自車両10から他車両20(障害物の一例)までの距離が非常に離れていると、自車両の真後ろ方向を基準とした障害物の方位は、角度が非常に小さなものとなってしまう。例えば、自車両10から他車両20までの距離が30メートルだと、他車両20が自車両と異なる車線にいたとしても、検出する他車両20の方位は10°未満となってしまう。
As shown in FIG. 5, when the distance from the
この場合、音像が他車両20の方向を正確に向いていると、ドライバーは他車両20が自車両10と同じ車線にいると感じてしまう。他車両20が自車両10と同じ車線にいるか否かは、ドライバーの運転判断に影響する重要な交通状況である。例えば、自車両10の車線変更の判断において、後方の他車両20が隣の車線にいるのと自車両10と同じ車線にいるのとでは、判断結果が大きく異なる。したがって、他車両20が自車両10と同じ車線にいるか否かをドライバーに誤認識させてしまうのは基本的に好ましくない。
In this case, if the sound image is pointing in the direction of the
そこで、音像定位制御装置1の制御回路3は、上記のように、自車両10の真後ろ方向を基準とした障害物の方位が増大するよう、検出した相対位置(元角度)を変換して誇張後相対位置(誇張角度)とし、この誇張後相対位置から音が聞こえるように音像を定位させる。したがって、障害物が車両と異なる車線にいる場合でも、障害物が車両と同じ車線にいるとドライバーが誤判断してしまう可能性が低減される。
Therefore, as described above, the
また、このテーブルから見て取れるように、元角度が同じでも距離が異なれば、元角度の絶対値に対する誇張角度の絶対値の増大量Δθ(図5参照)が変化する。より具体的には、元角度の絶対値に対する誇張角度の絶対値の増大量は、元角度が同じでも距離が大きくなるほど、つまり、自車両10から障害物までの距離が遠くなるほど、大きくなる。このようにするのは、元角度が同じでも距離が短ければ、それだけ他車両20が自車両10と同じ車線にいる可能性が高くなるからである。
Further, as can be seen from this table, if the distance is different even if the original angle is the same, the increase amount Δθ (see FIG. 5) of the exaggerated angle relative to the absolute value of the original angle changes. More specifically, the increase amount of the absolute value of the exaggerated angle with respect to the absolute value of the original angle increases as the distance increases even if the original angle is the same, that is, as the distance from the
また、このテーブルから見て取れるように、距離が同じでも元角度が異なれば、元角度の絶対値に対する誇張角度の絶対値の増大量Δθが変化する。より具体的には、元角度の絶対値に対する誇張角度の絶対値の増大量は、距離が同じでも元角度の絶対値が大きくなるほど、つまり、増大前の方位の絶対値が大きいほど、小さくなる。このようにするのは、自車両10から他車両20までの距離が同じでも元角度の絶対値が大きければ、方位をあまり誇張せずとも他車両20が自車両10の隣の車線にいるとドライバーが判断する可能性が高くなるからである。
Further, as can be seen from this table, if the original angle is different even if the distance is the same, the increase amount Δθ of the absolute value of the exaggerated angle with respect to the absolute value of the original angle changes. More specifically, the increase amount of the absolute value of the exaggerated angle with respect to the absolute value of the original angle becomes smaller as the absolute value of the original angle increases, that is, as the absolute value of the azimuth before the increase increases, even if the distance is the same. . This is because if the absolute value of the original angle is large even if the distance from the
ただし、元角度がゼロを中心とするごく狭い範囲(例えば、−1°以上1°以下)の場合は、他車両20が自車両10と同じ車線にいると考えられるので、元角度の絶対値に対する誇張角度の絶対値の増大量Δθをゼロとする。
However, when the original angle is a very narrow range centered on zero (for example, -1 ° or more and 1 ° or less), it is considered that the
また、距離がごく短い範囲の場合は、検出した方位を誇張せずとも、ドライバーは、他車両20が自車両10と同じ車線にいるか別の車線にいるかを、音から概ね正確に把握することができると考えられる。したがって、ステップ110で検出した他車両20までの距離がごく短い範囲(例えば、5m以下でもよいし10m以下でもよい)の場合も、元角度の絶対値に対する誇張角度の絶対値の増大量Δθをゼロとする。
In addition, when the distance is in a very short range, the driver can almost accurately grasp from the sound whether the
また、元角度の絶対値がある程度大きい場合は、検出した方位を誇張せずとも、ドライバーは、他車両20が自車両10と異なる車線にいることを音から把握できると考えられる。したがって、ステップ110で検出した他車両20までの方位(元角度)の絶対値がある程度大きい場合(例えば、45°以上135°以下の場合)も、元角度の絶対値に対する誇張角度の絶対値の増大量Δθをゼロとする。つまり、制御回路3は、他車両20が後方にいる場合に限り、検出した他車両20の方位を誇張する。
When the absolute value of the original angle is large to some extent, it is considered that the driver can grasp from the sound that the
また、元角度の絶対値が車両の前方である場合は、検出した方位を誇張すると、ドライバーが目で見た障害物の方向と音で聞いた障害物の方向がずれる可能性がある。つまり、方位を誇張する制御を自車両10の前方の障害物に対して実施すると、視覚情報と音情報の間にずれが生じ、ドライバーに戸惑いが生じる可能性がある。そのため、方位を誇張する制御は、後方や側方等の、ドライバーが目視できない死角に障害物がある場合に特に有効である。したがって、ステップ110で検出した他車両20までの方位(元角度)の絶対値が120°以上の場合(つまり、障害物がドライバーの死角範囲外である場合)も、元角度の絶対値に対する誇張角度の絶対値の増大量Δθをゼロとする。
Further, when the absolute value of the original angle is in front of the vehicle, if the detected direction is exaggerated, the direction of the obstacle viewed by the driver and the direction of the obstacle heard by the sound may be shifted. That is, if the control for exaggerating the direction is performed on an obstacle ahead of the
(第2実施形態)
次に、本発明の第2実施形態について説明する。本実施形態は、第1実施形態に対して以下のような変更を加えたものである。
(Second Embodiment)
Next, a second embodiment of the present invention will be described. The present embodiment is obtained by adding the following changes to the first embodiment.
まず、本実施形態の音像定位制御装置1は、図6に示すように、第1実施形態の音像定位制御装置1に対して、運転荒さ検出用センサ6を追加したものである。運転荒さ検出用センサ6は、自車両10のドライバーの運転の荒さ(粗さ)を検出するためのセンサである。具体的には、運転荒さ検出用センサ6は、ステアリングハンドルの角度(舵角)を検出するステアリングセンサ、アクセルペダルの踏み込み量を検出するアクセルペダルセンサ、ブレーキペダルの踏み込み量を検出するブレーキペダルセンサ等を含む。また、運転粗さ検出用センサ6は、周知の車速センサ、および、一時停止等の交通規制の有無の情報を受信するするVICS(VICSは登録商標)情報受信装置を含み、更に、自車両10の前方を撮影する前方カメラを含む。
First, as shown in FIG. 6, the sound image
また、本実施形態の制御回路3は、図3の処理に加え、自車両10の走行中に、運転荒さ検出用センサ6からの出力に基づいて、ドライバーの運転の荒さ(ドライバーの運転操作状態の一例に相当する)を判定する。例えば、運転荒さ検出用センサ6から過去所定期間(現在から15分遡る期間)に出力された信号に基づいて、ドライバーの運転の荒さを判定する。具体的には、過去所定期間における、アクセルペダルの踏み始めから踏み込み量が最大になるまでの時間の平均値A、舵角が変化し始めてから最大になるまでの時間の平均値C、ブレーキペダルの踏み始めから踏み込み量が最大になるまでの時間の平均値Cを算出する。そして、算出した各平均値に基づいて、運転の荒さレベルを決定する。荒さレベルは、高いほどより運転が荒いことを示す指標であり、平均値Aが小さいほど高くなり、平均値Bが小さいほど高くなり、平均値Cが小さいほど高くなる。
Further, in addition to the processing of FIG. 3, the
また、制御回路3は、特開2010−38645号公報に記載のような診断方法で、荒さレベルを決定してもよい。
Further, the
例えば、制御回路3は、アクセルペダルセンサの出力に基づき、自車両10の加速場面を特定してもよい。その場合、制御回路3は、加速場面の総発生回数に対し、加速場面の前後での加速度及び加速度の変化率が閾値を超えた場面の発生回数の割合を求め、その割合が大きいほど荒さレベルを高く設定してもよい。また例えば、制御回路3は、ブレーキペダルセンサの出力に基づき、急ブレーキの回数が大きいほど荒さレベルを高く設定してもよい。
For example, the
また例えば、制御回路3は、車速センサの出力に基づき、一時停止すべき箇所で一時停止がなされたか否かを判定し、一時停止すべき箇所で一時停止がなされなかった回数が多いほど荒さレベルを高く設定してもよい。一時停止すべき箇所か否かは、VICS情報受信装置によりVICSサービス用の固定局から受信される交通情報に基づき判定する。また、制御回路3のメモリ(例えばフラッシュメモリ)中の地図データに交通規制に関する情報が記憶されていれば、その情報に基づき判断することもできる。
Further, for example, the
また例えば、制御回路3は、所定の走行区間(走行距離)において、自車両10と同じ走行車線にて自車両の前方を走行する他車両との距離(すなわち、車間距離)が所定距離以上となる状態で走行した距離の割合を算出し、その割合が低いほど、荒さレベルを高く設定してもよい。
Further, for example, the
また、本実施形態の制御回路3は、図3の処理において、ステップ110と130では、第1実施形態と同じ処理を行う。ステップ120では、方位の誇張を行うのは第1実施形態と同じであるが、その誇張方法が異なる。
Further, the
具体的には、ステップ110で特定した障害物の方位および障害物までの距離に加え、上述のように特定した最新の荒さレベルをキーとして、あらかじめ制御回路3のメモリ(ROM)等内に保存されている角度変換テーブルを参照することで、当該キーに対応した誇張角度を算出する。
Specifically, in addition to the obstacle direction and distance to the obstacle specified in
図7に、本実施形態における角度変換テーブルの一例を示す。このテーブル中、距離は、ステップ110で特定された障害物までの距離を表し、元角度は、ステップ110で特定された障害物の方位を表す。
FIG. 7 shows an example of the angle conversion table in the present embodiment. In this table, the distance represents the distance to the obstacle identified in
本実施形態における、増大量Δθと距離の関係の特徴、および、増大量Δθと元角度の関係の特徴は、第1実施形態と同様である。ただし、それらの特徴に加え、本実施形態では、図7に示すように、距離および元角度が同じでも、荒さレベルが高いほど、元角度の絶対値に対する誇張角度の絶対値の増大量は、大きくなる。 The feature of the relationship between the increase amount Δθ and the distance and the feature of the relationship between the increase amount Δθ and the original angle in the present embodiment are the same as those in the first embodiment. However, in addition to these features, in this embodiment, as shown in FIG. 7, even if the distance and the original angle are the same, the higher the roughness level, the larger the increase in the absolute value of the exaggerated angle relative to the absolute value of the original angle is. growing.
このようにするのは、ドライバーの運転が荒いドライバーは、周囲の交通状況を自分に都合のよい様に解釈しがちだからである。そのようなドライバーは、後方の他車両20の方位を少し誇張しただけでは、自車両10と異なる車線にいると解釈しない可能性が高いので、上記のように、増大量Δθを増加させる。これにより、障害物が車両と同じ車線にいるとドライバーが誤判断してしまう可能性が低減される。
This is because drivers with rough driving tend to interpret the surrounding traffic conditions in a way that is convenient to them. Such a driver increases the amount of increase Δθ as described above because there is a high possibility that the driver will not interpret it as being in a different lane from the
(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態は、第1、第2実施形態に対して以下のような変更を加えたものである。
(Third embodiment)
Next, a third embodiment of the present invention will be described. This embodiment adds the following changes with respect to 1st, 2nd embodiment.
まず、本実施形態の音像定位制御装置1は、図8に示すように、第1、第2実施形態の音像定位制御装置1に対して、焦り検出用センサ7を追加したものである。焦り検出用センサ7は、自車両10のドライバーの心理状態である焦り(イライラ)を検出するためのセンサである。具体的には、焦り検出用センサ7は、第2実施形態と同じステアリングセンサ、アクセルペダルセンサ、ブレーキペダルセンサに加え、自車両10の現在位置を特定するGPS受信機、自車両10の方向指示器の作動を検出するウインカセンサを含む。更に焦り検出用センサ7は、周知の車速センサ、ヨーレートセンサ、横加速度センサ、ミリ波レーダセンサを含み、更に、自車両10の前方を撮影する前方カメラを含む。
First, as shown in FIG. 8, the sound image
また、本実施形態の制御回路3は、図3の処理に加え、自車両10の走行中に、焦り検出用センサ7からの出力に基づいて、ドライバーの焦りレベル(ドライバーの心理状態の一例に相当する)を判定する。焦りレベルは、高いほどよりドライバーの焦り度合いが高いことを示す指標である。
Further, in addition to the processing of FIG. 3, the
ドライバーの焦りレベルを特定する方法は周知のどのような方法を用いてもよいが、例えば、焦り検出用センサ7からの出力に基づいて、交差点での右折行動時における自車両10と直進対向車との関係によって焦りレベルを特定する。
Any known method may be used as a method for identifying the driver's impatience level. For example, based on the output from the
具体的には、自車両10が交差点での右折時に直進対向車に到達するまでの時間(対向車到達時間)を、交差点を右折する度に算出し、これら対向車到達時間のうち最新値が短いほど焦りレベルを高く設定する。以下、この方法による焦りレベルの特定方法について説明するが、この方法は、特開2007−128227号公報に記載されている公知の方法である。
Specifically, the time required for the
制御回路3は、GPS受信機からの出力に基づいて自車両10の現在位置および進行方向を特定する。そして、制御回路3のメモリ(例えばフラッシュメモリ)内に記録されている地図データベースに基づいて、自車両10の現在位置が交差点エリア内かあるいは交差点近傍か否かを判定する。自車両10が交差点エリア内又は交差点近傍の場合、制御回路3は焦りレベルを判定可能と判断し、右折行動判定処理を行う。
The
制御回路3は、右折行動判定処理では、ウインカセンサの出力に基づいて、ドライバーが右折指示をオンしているか否かを判定する。そして、右折指示をオンしている場合、ステアリングセンサからの出力に基づいて、舵角がニュートラル範囲を超えたか否かを判定する。そして、ニュートラル範囲を超えている場合(つまり、ステアリングハンドルが操作されている場合)、ブレーキペダルセンサおよびアクセルペダルセンサから出力に基づいて、ブレーキペダルがオフかつアクセルペダルがオンしているか否かを判定する。そして、ブレーキペダルがオフかつアクセルペダルがオンしている場合(つまり、発進操作がされた場合)、制御回路3は、車速センサ、ヨーレートセンサ、および横加速度センサからの出力に基づいて、自車両10が右方向に旋回を開始(車速が0から増加(発進加速)かつヨーレートとして右回転方向の速度発生かつ横加速度として右方向への加速度発生)したか否かを判定する。右方向に旋回を開始と判定した場合、制御回路3は、自車両10が右折行動を行っていると判定し、対向車到達時間算出処理を実行する。
In the right turn action determination process, the
制御回路3は、対向車到達時間算出処理では、前方カメラが撮影した前方画像に基づいて対向車線を走行する対向車を認識する。対向車を認識できた場合、制御回路3は、一定時間毎に、ミリ波レーダセンサの出力に基づいて、認識した対向車との距離を算出する。そして制御回路3は、一定時間毎の対向車との距離に基づいて、その距離変化から自車両10と対向車との相対速度を算出し、対向車との距離を対向車との相対速度で除算し、自車が対向車に到達するまでの時間を算出し、それを対向車到達時間として特定する。
In the oncoming vehicle arrival time calculation process, the
制御回路3は、このような方法で、自車両10が交差点を右折する度に、対向車到達時間を算出し、これら対向車到達時間のうち最新値に基づいて、最新値が小さいほど焦りレベルを高く設定する。
The
また、本実施形態の制御回路3は、図3の処理において、ステップ110と130では、第1、第2実施形態と同じ処理を行う。ステップ120では、方位の誇張を行うのは第1、第2実施形態と同じであるが、その誇張方法が異なる。
Further, the
具体的には、ステップ110で特定した障害物の方位および障害物までの距離(および第2実施形態では荒さレベル)に加え、上述のように特定した最新の焦りレベルをキーとして、あらかじめ制御回路3のメモリ(ROM)等内に保存されている角度変換テーブルを参照することで、当該キーに対応した誇張角度を算出する。
Specifically, in addition to the direction of the obstacle specified in
図9に、本実施形態における角度変換テーブルの一例を示す。このテーブル中、距離は、ステップ110で特定された障害物までの距離を表し、元角度は、ステップ110で特定された障害物の方位を表す。
FIG. 9 shows an example of an angle conversion table in the present embodiment. In this table, the distance represents the distance to the obstacle identified in
本実施形態における、増大量Δθと距離の関係の特徴、および、増大量Δθと元角度の関係の特徴は、第1、第2実施形態と同様である。本実施形態では、それらの特徴に加え、図9に示すように、距離および元角度が同じでも、焦りレベルが大きいほど、元角度の絶対値に対する誇張角度の絶対値の増大量は、大きくなる。 The feature of the relationship between the increase amount Δθ and the distance and the feature of the relationship between the increase amount Δθ and the original angle in the present embodiment are the same as those in the first and second embodiments. In the present embodiment, in addition to these features, as shown in FIG. 9, even if the distance and the original angle are the same, the increase amount of the absolute value of the exaggerated angle with respect to the absolute value of the original angle increases as the focus level increases. .
このようにするのは、焦り度合いが高いドライバーは、周囲の交通状況を自分に都合のよい様に解釈しがちだからである。そのようなドライバーは、後方の他車両20の方位を少し誇張しただけでは、自車両10と異なる車線にいると解釈しない可能性が高いので、上記のように、増大量Δθを増加させる。これにより、障害物が車両と同じ車線にいるとドライバーが誤判断してしまう可能性が低減される。
This is because drivers with a high degree of impatience tend to interpret surrounding traffic conditions in a way that is convenient to them. Such a driver increases the amount of increase Δθ as described above because there is a high possibility that the driver will not interpret it as being in a different lane from the
なお、上記各実施形態において、制御回路3が、図3のステップ110を実行することで検出手段の一例として機能し、ステップ120を実行することで方位誇張手段の一例として機能し、ステップ130を実行することで制御手段の一例として機能する。
In each of the above embodiments, the
(他の実施形態)
なお、本発明は上記した実施形態に限定されるものではなく、特許請求の範囲に記載した範囲内において適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。例えば、以下のような変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち任意の組み合わせを、上記実施形態に適用することができる。
(Other embodiments)
In addition, this invention is not limited to above-described embodiment, In the range described in the claim, it can change suitably. Further, the above embodiments are not irrelevant to each other, and can be combined as appropriate unless the combination is clearly impossible. In each of the above-described embodiments, it is needless to say that elements constituting the embodiment are not necessarily indispensable except for the case where it is clearly indicated that the element is essential and the case where the element is clearly considered essential in principle. Yes. Further, in each of the above embodiments, when numerical values such as the number, numerical value, quantity, range, etc. of the constituent elements of the embodiment are mentioned, it is clearly limited to a specific number when clearly indicated as essential and in principle. The number is not limited to the specific number except for the case. Further, in each of the above embodiments, when referring to the shape, positional relationship, etc. of the component, etc., the shape, unless otherwise specified and in principle limited to a specific shape, positional relationship, etc. It is not limited to the positional relationship or the like. For example, the following modifications are allowed. In addition, the following modifications can select application and non-application to the said embodiment each independently. In other words, any combination of the following modifications can be applied to the above-described embodiment.
(変形例1)
上記各実施形態では、元角度の絶対値に対する誇張角度の絶対値の増大量Δθは、障害物までの距離および元角度自体(第1〜第3実施形態)、運転の荒さレベル(第2、第3実施形態)、ドライバーの焦りレベル(第3実施形態)に応じて変化する。しかし、増大量Δθは、上記のような量以外の量に応じて変化するようになっていてもよい。
(Modification 1)
In each of the above embodiments, the increase amount Δθ of the absolute value of the exaggerated angle with respect to the absolute value of the original angle is the distance to the obstacle, the original angle itself (first to third embodiments), the driving roughness level (second, 3rd Embodiment), it changes according to the driver's impatience level (3rd Embodiment). However, the increase amount Δθ may be changed according to an amount other than the above amount.
例えば、制御回路3は、自車両10が現在走行している道路の形状に基づいて増大量Δθを変化させるようになっていてもよい。後方障害物が隣の車線におり、道路が障害物のいる左右方向とは反対方向にカーブしている時には、Δθを高く設定する。例えば、図10に示すように、他車両20(後方障害物)が自車両10の右隣の車線におり、自車両10が現在走行している道路が左側にカーブしている時には、道路が真っ直ぐに伸びている場合に比べ、Δθを高く設定する。
For example, the
このようにするのは、道路が障害物と反対側にカーブしている時には、道路が真っ直ぐに伸びている場合に比べ、他車両20が車両10から同じ距離かつ同じ隣の車線にいたとしても、元角度θ0が小さくなるからである。一方、隣の車線にいる他車両20が隣の車線にいると自車両10のドライバーに感じさせたいのは、道路が真っ直ぐであってもカーブしていても同じである。
This is because when the road curves to the opposite side of the obstacle, even if the
なお、自車両10が現在走行している道路の形状の情報は、制御回路3のメモリ(例えばフラッシュメモリ)中の地図データから取得してもよい。あるいは、自車両10に搭載されて自車両から前方または後方を撮影するカメラの撮影画像から白線検知等の画像処理技術を用いて特定してもよい。またあるいは、自車両10のステアリングハンドルの角度(舵角)に基づいて特定してもよい。
Information on the shape of the road on which the
(変形例2)
上記実施形態では、自車両10に対する障害物の相対位置として、方位および距離が特定されるようになっており、さらに、この方位(元角度)を誇張角度に変換することで、誇張角度および上記距離から成る誇張後相対位置を算出するようになっている。
(Modification 2)
In the above embodiment, the azimuth and the distance are specified as the relative position of the obstacle with respect to the
しかし、自車両10に対する障害物の相対位置としては、自車両10の対する障害物の3次元位置座標が特定されるようになっていてもよい。この場合でも、誇張後相対位置は、検出された障害物の相対位置に対して、車両の真後ろ方向を基準とした障害物の方位が増大するように、算出されればよい。
However, as the relative position of the obstacle with respect to the
(変形例3)
特開2000−235684号公報には、聴感上の音像位置を視野角に応じて修正し、視覚上の外部の物体の方位と聴感上の音像方位を一致させ、正確にその物体を認識させることを目的とした技術が記載されている。
(Modification 3)
Japanese Patent Laid-Open No. 2000-235684 discloses a method of correcting a sound image position on a perception according to a viewing angle, matching a direction of a visual external object with a sound image direction on a perception, and recognizing the object accurately. The technology for the purpose is described.
この技術では、検出した障害物の方位が、車速が高くなるほど大きくなるよう補正されているが、これはあくまでも視覚上の障害物の方位(正しい方位)と聴覚上の方位が一致するための補正、すなわち、障害物の位置に正確に音を定位させるための補正である。これに対し、本願発明は、障害物が他車線にいることをはっきり認識させるために、敢えて障害物の実際の位置から外れた方位に音を定位させる。 In this technology, the direction of the detected obstacle is corrected so as to increase as the vehicle speed increases, but this is only a correction for the visual direction of the obstacle (the correct direction) to coincide with the auditory direction. That is, the correction is performed to accurately localize the sound at the position of the obstacle. On the other hand, in the present invention, in order to clearly recognize that the obstacle is in another lane, the sound is intentionally localized in a direction deviating from the actual position of the obstacle.
このように、特開2000−235684号公報の技術と本願発明とは、目的が全く異なっており、それが構成の違いにも表れている。つまり、特開2000−235684号公報の技術では、あくまでもドライバーに見える範囲(車両前方)においてのみ方位を修正しているのに対し、本願発明では、車両の後方の障害物の方位を変換している。また、上記第1〜第3実施形態では、増大量Δθは、車速が変化しても変化しない。 As described above, the technique disclosed in Japanese Patent Laid-Open No. 2000-235684 and the present invention have completely different purposes, and this is reflected in the difference in configuration. That is, in the technique of Japanese Patent Laid-Open No. 2000-235684, the azimuth is corrected only in the range that can be seen by the driver (front of the vehicle), whereas in the present invention, the azimuth of the obstacle behind the vehicle is converted. Yes. In the first to third embodiments, the increase amount Δθ does not change even when the vehicle speed changes.
なお、特開2000−235684号公報に記載の技術を上記第1〜第3実施形態に適用し、自車両10の前方の障害物について検出した方位を、車速に応じた変化量で変化させてもよい。
The technique described in Japanese Patent Laid-Open No. 2000-235684 is applied to the first to third embodiments, and the direction detected for the obstacle ahead of the
(変形例4)
特開平4−246798号公報には、ドライバーの向く方向が変化しても、正確に障害物の位置、方向を音像によりドライバーに知らせることができる立体音場警報装置を提供することを目的した技術が記載されている。この技術では、ドライバーの顔の向きに応じて、検出した障害物の方位を修正することで、障害物の方向を正確に定位することができるが、これはあくまでも障害物の方位を正確に再現するための補正、すなわち、障害物の位置に正確に音を定位させるための補正である。これに対し、本願発明は、障害物が他車線にいることをはっきり認識させるために、敢えて障害物の実際の位置から外れた方位に音を定位させる。
(Modification 4)
Japanese Patent Application Laid-Open No. 4-246798 discloses a technique for providing a three-dimensional sound field alarm device that can accurately notify the driver of the position and direction of an obstacle by a sound image even if the direction in which the driver faces changes. Is described. With this technology, the direction of the obstacle can be accurately localized by correcting the direction of the detected obstacle according to the orientation of the driver's face, but this only accurately reproduces the direction of the obstacle. This is a correction for making the sound accurately locate at the position of the obstacle. On the other hand, in the present invention, in order to clearly recognize that the obstacle is in another lane, the sound is intentionally localized in a direction deviating from the actual position of the obstacle.
このように、特開平4−246798号公報の技術と本願発明とは、目的が全く異なっており、それが構成の違いにも表れている。実際、特開平4−246798号公報には、車両の真後ろ方向を基準とした障害物の方位が増大するよう誇張後相対位置を算出することは記載されていない。また、上記第1〜第3実施形態では、増大量Δθは、ドライバーの顔の向きが変化しても変化しない。 As described above, the technique of Japanese Patent Application Laid-Open No. 4-246798 and the present invention have completely different purposes, and this is reflected in the difference in configuration. Actually, Japanese Patent Application Laid-Open No. 4-246798 does not describe calculating the relative position after exaggeration so that the direction of the obstacle is increased with reference to the direction directly behind the vehicle. In the first to third embodiments, the increase amount Δθ does not change even if the driver's face orientation changes.
なお、特開平4−246798号公報に記載の技術を上記第1〜第3実施形態に適用し、自車両10の前方の障害物について検出した方位を、ドライバーの顔の向きに応じて補正してもよい。ただしその場合も、本願発明では、補正後の方位に基づいて、車両の真後ろ方向を基準とした障害物の方位が増大するよう誇張後相対位置を算出する。
Note that the technique described in Japanese Patent Laid-Open No. 4-246798 is applied to the first to third embodiments, and the direction detected for the obstacle ahead of the
1 音像定位制御装置
3 制御回路
4 立体音響生成回路
5a〜5f スピーカ
10 自車両
20 他車両(障害物)
DESCRIPTION OF
Claims (5)
前記車両の真後ろ方向を基準とした前記障害物の方位が増大するよう、前記検出手段が検出した前記相対位置から誇張後相対位置を算出する方位誇張手段(120)と、
音像を定位させる音像提示装置(4、5a〜5f)を制御して、前記車両のドライバーにとって前記誇張後相対位置から音が聞こえるように音像を定位させる制御手段(130)と、を備え、
前記車両の真後ろ方向を基準とした前記相対位置の方位が元角度であり、
前記車両の真後ろ方向を基準とした前記誇張後相対位置の方位が誇張角度であり、
前記元角度が大きいほど前記誇張角度が大きいことを特徴とする音像定位制御装置。 Detection means (110) for detecting a relative position of the obstacle (20) behind the vehicle (10) with respect to the vehicle;
Azimuth exaggeration means (120) for calculating a relative position after exaggeration from the relative position detected by the detection means so that the azimuth of the obstacle relative to the direction directly behind the vehicle is increased;
Control means (130) for controlling the sound image presenting device (4, 5a to 5f) for localizing the sound image so that the driver of the vehicle can hear the sound from the relative position after the exaggeration ,
The azimuth of the relative position with respect to the direction directly behind the vehicle is the original angle,
The azimuth of the relative position after the exaggeration relative to the direction directly behind the vehicle is an exaggeration angle,
The sound image localization control apparatus, wherein the exaggerated angle is larger as the original angle is larger .
In the calculation of the post-exaggeration relative position, the azimuth exaggeration means changes the amount of increase in the azimuth of the obstacle based on the direction directly behind the vehicle according to the shape of the road on which the vehicle is traveling. The sound image localization control apparatus according to any one of claims 1 to 4, wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097844A JP6303786B2 (en) | 2014-05-09 | 2014-05-09 | Sound image localization controller |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014097844A JP6303786B2 (en) | 2014-05-09 | 2014-05-09 | Sound image localization controller |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015215738A JP2015215738A (en) | 2015-12-03 |
JP6303786B2 true JP6303786B2 (en) | 2018-04-04 |
Family
ID=54752574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014097844A Active JP6303786B2 (en) | 2014-05-09 | 2014-05-09 | Sound image localization controller |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6303786B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6353434B2 (en) | 2015-12-22 | 2018-07-04 | 本田技研工業株式会社 | Regulation information notification device and method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2689792B2 (en) * | 1991-10-30 | 1997-12-10 | 日産自動車株式会社 | Three-dimensional sound field alarm device |
JP3179227B2 (en) * | 1993-01-26 | 2001-06-25 | マツダ株式会社 | Vehicle alarm system |
-
2014
- 2014-05-09 JP JP2014097844A patent/JP6303786B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015215738A (en) | 2015-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10131355B2 (en) | Vehicle traveling control apparatus | |
US10274962B2 (en) | Vehicle traveling control apparatus | |
US10494022B2 (en) | Driving assistance device | |
CN109572688B (en) | Driving support device | |
JP6583252B2 (en) | Driving assistance device | |
JP7103753B2 (en) | Collision avoidance device | |
JP7115270B2 (en) | Autonomous driving system | |
US11524688B2 (en) | Apparatus and method for assisting turn of vehicle at intersection | |
US10173680B2 (en) | Vehicle speed control device | |
KR20180020886A (en) | System and method for processing traffic sound data to provide driver assistance | |
JP2018103941A (en) | Vehicle assisting device | |
JP2019500658A (en) | System and method for assisting driving to safely catch up with a vehicle | |
JP2019502183A (en) | System and method for sending a message to a vehicle | |
JP2016175613A (en) | Automatic driving device | |
CN110254421B (en) | Driving assistance system | |
JP2006199233A (en) | Safety control device for vehicle | |
JP2012079206A (en) | Travel path determination system for vehicle | |
JP2005165422A (en) | Collision probability determination device | |
JP2017226309A (en) | Vehicle control device | |
CN111383477B (en) | Information presentation device | |
JP2017151703A (en) | Automatic driving device | |
US20210139019A1 (en) | Driving assistance apparatus | |
JP2021094955A (en) | Operation support device | |
CN111443708A (en) | Automatic driving system | |
JP2019003278A (en) | Vehicle outside notification device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6303786 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |