JP6222578B2 - 車両用効果音発生装置 - Google Patents
車両用効果音発生装置 Download PDFInfo
- Publication number
- JP6222578B2 JP6222578B2 JP2015022342A JP2015022342A JP6222578B2 JP 6222578 B2 JP6222578 B2 JP 6222578B2 JP 2015022342 A JP2015022342 A JP 2015022342A JP 2015022342 A JP2015022342 A JP 2015022342A JP 6222578 B2 JP6222578 B2 JP 6222578B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- vehicle
- sound
- sound effect
- turning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Instructional Devices (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
オプティカルフローは、運転者にとって速度感覚や旋回感覚を認知する上で、有効な評価指標であることから、オプティカルフローの認知性を向上させることにより運転者の運転操作を適正化でき、運転技量の向上を図ることができる。
特許文献1の車両の視界調整装置は、車両の進行方向を判定する進行方向判定部と、フロントウインドガラスの上端部の一部を底辺にすると共に底辺よりも下方に設定された頂部を有する視覚刺激表示領域に遮蔽部を表示可能な視覚刺激表示機構とを備え、車両の旋回状態が判定されたとき、運転者により認識されたオプティカルフローと視覚刺激表示領域の頂部を含む領域境界ラインとの鋭角側交差角度がオプティカルフローとフロントウインドガラスの上端部との鋭角側交差角度よりも大きくなるように遮蔽部を形成している。
これにより、フロントウインドガラスの上端側部分に発生するオプティカルフローの複次成分(ノイズ)を抑制し、運転者によるオプティカルフローの認知性を向上している。
特許文献2の効果音発生装置は、エンジン回転数に対応した基本周波数を設定する基本周波数設定手段と、基本周波数の複数の高調波を决定する高調波决定手段と、エンジンの高調波強調ゲインを決定するゲイン決定手段とを備え、ゲイン決定手段がエンジン負荷を決定する回路を含み、エンジン負荷決定回路が、アクセルペダル位置決定回路、吸入空気量決定回路、負圧決定回路、エンジントルク決定回路の少なくとも1つを含むと共に高調波強調ゲインに基づいて高調波強調レベルを調節する構成を開示している。
これにより、運転者に走行臨場感を適切に体感させることができる。
しかし、オプティカルフローは、運転者がフロントウインドガラスを介して視覚的に認知する視覚情報であるため、雨天或いは夜間走行のように運転者の視界が悪化した走行環境下では著しく減少する。それ故、夜間走行等では、運転者は、オプティカルフローによる速度感覚が低下し、実際には高車速にも拘らず低い車速で走行していると錯覚する。
特に、視界が悪化した旋回走行時には、速度感覚の低下に加えて運転者の旋回感覚も低下することが考えられるため、運転者は適正な運転操作を確実に行うことができないことがある。
そこで、本発明者は、車両走行時の自己運動感覚について検討した結果、外的要因によって減少したオプティカルフロー(視覚情報)を聴覚情報によって有効に補完することができることを知見した。
しかし、特許文献1では、運転者の視界が外的要因によって悪化する状況については一切考慮されておらず、運転者の視界自体が悪化した走行環境下では、運転者が認知可能なオプティカルフローが減少するため、運転者の自己運動感覚も低下する虞がある。
特許文献2の効果音発生装置は、運転者の運転操作量と効果音との相関関係を前提とした制御であることから、運転者の自己運動感覚が低下するような走行環境であっても、運転者の運転操作に応じた効果音を発生させるに過ぎず、運転者の運転操作を適正な方向に誘導することは困難である。
この構成によれば、運転者の視認レベルに対応した左側知覚オプティカルフローと右側知覚オプティカルフローを用いて知覚オプティカルフローを検出でき、知覚オプティカルフローと推定オプティカルフローとの差分を正確に得ることができる。
請求項3の発明は、請求項1又は2の発明において、前記スピーカ手段が運転者の左右両側に配設された複数のスピーカ手段からなり、前記制御手段が、旋回走行状態のとき、前記左側スピーカ手段と右側スピーカ手段との音圧特性を前記差分を解消する方向に制御することを特徴としている。
この構成によれば、運転者が実際のコーナ半径と車速に一致した旋回感覚を得ることができ、安定した運転操作を実践することができる。
この構成によれば、運転者が実際のコーナ半径と車速に一致した旋回感覚を確実に得ることができる。
この構成によれば、制御処理の簡単化を図ることができる。
以下の説明は、本発明を車両Vに適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
効果音発生装置1は、車両Vの走行状態に応じたエンジンの効果音を発生させることにより、運転者の自己運動感覚を聴覚情報で補完するものである。
図1,図2に示すように、効果音発生装置1は、ECU(Electric Control Unit)2を備えている。このECU2は、CPU(Central Processing Unit)、ROM、RAM、イン側インタフェース、アウト側インタフェース等からなる電子制御ユニットである。
ROMには、種々のプログラムやデータが格納され、RAMには、CPUが一連の処理を行う際に使用される処理領域が設けられている。ROMに記憶されているアプリケーションプログラムをRAMにロードし、CPUで実行することにより各種演算処理を行っている。
CCDカメラ3はインスツルメントパネル上端部分に配置され、運転者がフロントウインドガラスWを通して視覚的に認識可能な車両Vの進行方向前方を動画として撮像している。図3に示すように、フロントウインドガラスWの左右両下端側部分の検出領域において、運転者の視認レベルに対応した左側知覚オプティカルフローf1と右側知覚オプティカルフローf2とを夫々抽出するものである。尚、CCDカメラ3は、CMOSカメラ等の画像センサであれば良く、CCDカメラに限られるものではない。
1対のスピーカ8a,8bは、運転者の左右両側の車室側壁部分に配設され、ECU2から入力された効果音信号を変換することにより効果音を発生可能に構成されている。
図2に示すように、ナビゲーションシステム9には、車両Vの現在位置を検出するためのGPS受信部10が電気的に接続されている。GPS受信部10は、複数のGPS衛星からの信号を受信することで車両Vの現在位置を検出する。また、ナビゲーションシステム9は、コーナ旋回半径R等を含む道路地図データを記憶した地図データベース9aと、交通規則データを記憶した交通規則データベース(図示略)とを備えている。
ナビゲーションシステム9は、GPS受信部10による車両Vの現在位置データ、地図データベース9aの道路地図データ及び交通規則データベースの交通規則データを利用して運転者に目的地までの経路案内を行う。
これにより、ナビゲーションシステム9は、車両Vの現在位置データ、道路地図データ、及び交通規則データをECU2に出力する。
効果音生成部16が、本発明の効果音信号発生手段と制御手段に相当している。
走行状態判定部11は、エンジン回転数、アクセル開度、車速、舵角等の検出信号に基づき現在の車両Vの旋回走行状態と直進走行状態とを判定している。
旋回走行状態は、運転者が意識的にステアリングを切り込むときの操舵トルク、例えば2.0Nm、に対応した操舵角の検出によって旋回走行状態開始が判定され、ステアリングの中立状態(ニュートラル)の検出によって旋回走行状態終了が判定される。
旋回走行状態以外の走行状態は、加速、定速、減速を含む直進走行状態として判定されている。
知覚オプティカルフロー検出部12は、運転者がフロントウインドガラスWを通して視覚的に認識可能な知覚オプティカルフロー(CCDカメラ3がフロントウインドガラスWを通して撮像した対象物の移動)を左側知覚オプティカルフローf1と右側知覚オプティカルフローf2とをパラメータとして検出している。
左右各々の知覚オプティカルフローf1,f2は、CCDカメラ3が撮像した車両V前方の動画像内の特定の対象物(特定画素)について一の基本拘束方程式を作成し、同様に特定画素近傍の近傍画素について別の拘束方程式を作成することで、未知変数の値を算出している。この勾配法については、公知の技術であるため、詳細な説明を省略する。
F1=f1+f2 …(1)
G1=f1−f2 …(2)
尚、旋回走行状態の場合、G1が正の値になるように知覚オプティカルフローf1,f2の検出領域を設定している。
推定オプティカルフロー検出部13は、後述するマップM5,M6に基づいて、車両Vの走行状態において走行中に実際に発生すると推定される推定オプティカルフローF2,G2を検出している。
推定オプティカルフローF2は、良好な天候で且つ十分な照度が確保された見通しの良い走行環境において、運転者がフロントウインドガラスWの左右両下端側部分を介して視覚的に認識すると推定されるオプティカルフローの合計量である。
推定オプティカルフローG2は、良好な天候で且つ十分な照度が確保された走行環境において、運転者が視覚的に認識すると推定されるフロントウインドガラスWの左下端側部分のオプティカルフロー量とフロントウインドガラスWの右下端側部分のオプティカルフロー量との差分に相当するオプティカルフロー量である。それ故、晴天の日中における直進走行状態のとき、推定オプティカルフローG2は、理論上、零になる。
記憶部14には、車両Vに搭載されたエンジンの発生音に適合するように予め設定された振動音マップM1と、直進整次成分マップM2と、旋回整次成分マップM3と、旋回半次成分マップM4と、直進走行における評価用推定オプティカルフローマップM5と、旋回走行における評価用推定オプティカルフローマップM6と、速度感覚補正マップM7と、旋回感覚補正マップM8とが格納されている。
図5に示すように、4,6,8次成分波音のゲインa1,a2は、アクセル開度p1まで一定の低いゲインg1に抑えられ、その後、6,8次成分波音のゲインa2が立ち上がり、僅かに遅れて4次成分波音のゲインa1が6,8次成分波音のゲインa2の増加傾向と略同じ増加傾向で立ち上がっている。ゲインa1,a2は、アクセル開度p5、ゲインg3の地点において合流し、比例関数状に増加すると共にアクセル開度p6以上では一定ゲインg5に維持されている。
以下、マップM2〜M4では、ゲインにおいて、g1<g2<g3<g4、アクセル開度において、p1<p2<p3<p4<p5<p6の関係式が成り立つものとして説明する。
図6に示すように、4次成分波音のゲインb1は、比例関数状に増加し、アクセル開度p2でゲインg4に達し、このアクセル開度p2以上では緩やかに減少している。
6,8次成分波音のゲインb2は、アクセル開度p3でゲインg2に達し、アクセル開度p3からアクセル開度p4の区間では略平坦状に推移し、アクセル開度p4以上では増加する。ゲインb1,b2は、アクセル開度p5、ゲインg3の地点において合流し、比例関数状に増加すると共にアクセル開度p6以上では一定ゲインg5に維持されている。
図7に示すように、3.5,5.5次成分波音のゲインは、アクセル開度p6までは比例関数状に増加し、アクセル開度p6以上では、それまでのゲインc1の増加傾向よりも大きな増加傾向に設定されている。尚、アクセル開度p6は、コーナの旋回半径毎に設定され、車両Vの走行安全性の観点から推奨される上限開度に設定されている。
オプティカルフローは、視認対象物の移動を伴う視覚情報であるため、評価用推定オプティカルフローF2は、速度が高い程、増加する特性を備えている。
コーナ旋回半径Rが小さい程、運転者が視認対象物の移動を認知できる時間が長いため、評価用推定オプティカルフローG2は、速度が高い程、また、コーナ旋回半径Rが小さい程、増加する特性を備えている。
これらマップM5,M6の特性は、予め実験等によって車両Vの性能や仕様に基づき設定されている。
図11に示すように、旋回感覚補正マップM8には、推定オプティカルフローG2と、運転者が認知するであろう旋回感覚と、左右1対のスピーカ8a,8bにおける音圧差量S2との相関関係が予め設定されている。このマップM8は、原点を頂点とした略部分円錐状に形成され、マップM8上には推定オプティカルフローG2と音圧差量S2とを対応付けるための等高線状の対応線が設けられている。
これらマップM10,M11の特性は、予め実験等によって設定されている。
ΔF=F2−F1 …(3)
この比較部15は、式(2)によって求められた知覚オプティカルフローG1とマップM6から求められた推定オプティカルフローG2とを次式を用いて比較し、差分ΔGを求めている。
ΔG=G2−G1 …(4)
尚、コーナ旋回半径Rは、ナビゲーションシステム7の地図データベース9aから読み出されている。
効果音生成部16は、基本的に、走行中のエンジン回転数に応じた基本波音(1次成分波音)に対して走行状態に応じた各々の次成分波音を付加した直線走行状態の基本効果音信号SAと旋回走行状態の基本効果音信号SBとを生成し、この基本効果音信号SA,SBを各々の走行状態における運転者の視認状態に応じて補正した補正効果音信号Sa,Sbを生成している。
以下、旋回方向内側のスピーカをスピーカ8a、このスピーカ8aに対応する補正効果音信号Sb1とし、旋回方向外側のスピーカをスピーカ8b、このスピーカ8bに対応する補正効果音信号Sb2として説明する。
直進走行状態の際、マップM1の4次成分波音とゲインa1とを乗算し、マップM1の6,8次成分波音とゲインa2とを乗算して、補正した4,6,8次成分波音を作成し、これら補正した4,6,8次成分波音を基本波音に足し込むことで直進走行状態の基本効果音信号SAを生成している。
旋回走行状態の際、マップM1の4次成分波音とゲインb1とを乗算し、マップM1の6,8次成分波音とゲインb2とを乗算して、補正した4,6,8次成分波音を作成し、これら補正した4,6,8次成分波音を基本波音に足し込んでいる。そして、マップM1の3.5,5.5次成分波音とゲインc1とを乗算して、補正した3.5,5.5次成分波音を作成し、これら補正した3.5,5.5次成分波音を4,6,8次成分波音が足し込まれた基本波音に足し込むことで旋回走行状態の基本効果音信号SBを生成している。
尚、基本効果音信号SBを生成するにあたり、音圧レベルが一定に維持されるように、3.5,5.5次成分波音の増加分に対応するように4,6,8次成分波音のゲインb1,b2を減少させている。
知覚オプティカルフローF1,G1は、天候(雨天)や照度(夜間)のような運転者の視界を悪化させる外的要因により減少する特性を有している。
それ故、効果音生成部16は、外的要因による知覚オプティカルフローF1,G1の減少に起因した運転者の速度感覚及び旋回感覚の減少を補完する方向に基本効果音信号SA,SBを補正している。
Sa=SA×(1+ΔS1/SA) …(5)
効果音生成部16は、左右1対のスピーカ8a,8bに式(5)で求めた補正効果音信号Saを夫々出力することにより直進走行状態の効果音を作成している。これにより、視覚情報であるオプティカルフローの減少分を聴覚情報である効果音の音圧レベル変更によって補完することができ、運転者に適正な速度感覚を付与している。
Sb1=SB×(1+ΔS2/2SB)
Sb2=SB×(1−ΔS2/2SB) …(6)
ここで、自己の進行方向に対して音像定位する感覚が生起されることから、旋回方向内側の音圧レベルが回方向外側の音圧レベルよりも大きくなるように設定している。
ΔS2=S2b−S2a …(7)
ここで、座標Ma,Mbに夫々対応する旋回感覚座標の差が運転者が視覚情報によって得るべき旋回感覚の減少分に相当している。
これにより、視覚情報であるオプティカルフローの減少分を聴覚情報である効果音の音圧レベル変更によって補完することができ、運転者に適正な旋回感覚を付与している。
本効果音発生装置1によれば、効果音生成部16がスピーカ8a,8bの音圧特性を知覚オプティカルフローG1と推定オプティカルフローG2との差分ΔGを解消する方向に制御するため、天候や照度のような視界を悪化させる外的要因により減少したオプティカルフローG1に生起された運転者の自己運動感覚を効果音によって補完することができ、運転者の運転操作を走行状態に応じて適正化することができる。
更に、運転操作が適正化されるため、運転者は、わくわく感を感得でき、車両Vの運転を楽しむことができる。
1〕前記実施形態においては、1対のスピーカを左右両側の側壁部分に夫々配設した例を説明したが、運転者の左右両側に夫々対応するインスツルメントパネル部分に配設しても良い。また、運転者のヘッドレストの左右両端部分に配設することも可能である。
更に、聴覚的自己運動感覚は、後方からの音源が有効に作用するため、前側のスピーカに加えて運転者よりも後方に左右1対のスピーカを設けても良い。
具体的には、予め車速に応じたコーナ旋回半径毎の旋回方向内側の効果音発生タイミングと旋回方向外側の効果音発生タイミングとの時間差指標を設定しておき、オプティカルフロー減少分を補完するために必要な1対のスピーカから運転者への効果音の到達時間差を読み出す。旋回方向反対側のスピーカは、旋回方向側スピーカよりも所定時間差だけ遅れて効果音を発生する。これにより、左右のスピーカの音圧レベルを一定に維持しつつオプティカルフローの減少に伴う自己運動感覚の減少を補完することができる。
これにより、一層の制御の簡単化を図ることができる。
F1,G1 知覚オプティカルフロー
F2,G2 推定オプティカルフロー
ΔG 差分
1 効果音発生装置
3 CCDカメラ
4 回転数センサ
5 アクセル開度センサ
7 車速センサ
8a,8b スピーカ
11 走行状態判定部
12 知覚オプティカルフロー検出部
13 推定オプティカルフロー検出部
15 比較部
16 効果音生成部
M8 旋回感覚補正マップ
Claims (5)
- エンジン回転数に対応した効果音信号を生成する効果音信号生成手段を備えた車両用効果音発生装置において、
車両の走行状態を判定する走行状態判定手段と、
車両の旋回走行状態を介して運転者が視覚的に認識可能な知覚オプティカルフローを検出する知覚オプティカルフロー検出手段と、
前記車両の旋回走行状態に基づき実際に発生していると推定される推定オプティカルフローを検出する推定オプティカルフロー検出手段と、
前記知覚オプティカルフローと推定オプティカルフローとを比較する比較手段と、
前記効果音信号を変換することにより効果音を車室内に発生可能なスピーカ手段と、
前記スピーカ手段の音圧特性を調整可能な制御手段とを備え、
前記制御手段が、車両旋回走行時、前記スピーカ手段の音圧特性を前記知覚オプティカルフローと推定オプティカルフローとの差分を解消する方向に制御することを特徴とする車両用効果音発生装置。 - 前記知覚オプティカルフローは、フロントウインドガラスの左右両側の検出領域を夫々介して左側知覚オプティカルフローと右側知覚オプティカルフローとの差分量に設定され、
前記推定オプティカルフローは、前記知覚オプティカルフローを評価するための規範値に設定されたことを特徴とする請求項1に記載の車両用効果音発生装置。 - 前記スピーカ手段が運転者の左右両側に配設された複数のスピーカ手段からなり、
前記制御手段が、旋回走行状態のとき、前記左側スピーカ手段と右側スピーカ手段との音圧特性を前記差分を解消する方向に制御することを特徴とする請求項1又は2に記載の車両用効果音発生装置。 - 前記制御手段が、旋回方向側のスピーカ手段の音圧レベルを旋回方向に対して反対側のスピーカ手段の音圧レベルよりも大きくすることを特徴とする請求項1〜3の何れか1項に記載の車両用効果音発生装置。
- 前記制御手段が、前記推定オプティカルフローと、運転者が認識する旋回感覚と、前記左側スピーカ手段の音圧レベルと右側スピーカ手段の音圧レベルの差分との相関関係が設定されたマップを備えていることを特徴とする請求項1〜4の何れか1項に記載の車両用効果音発生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022342A JP6222578B2 (ja) | 2015-02-06 | 2015-02-06 | 車両用効果音発生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015022342A JP6222578B2 (ja) | 2015-02-06 | 2015-02-06 | 車両用効果音発生装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016145886A JP2016145886A (ja) | 2016-08-12 |
JP6222578B2 true JP6222578B2 (ja) | 2017-11-01 |
Family
ID=56685541
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015022342A Active JP6222578B2 (ja) | 2015-02-06 | 2015-02-06 | 車両用効果音発生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6222578B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI803329B (zh) | 2022-05-26 | 2023-05-21 | 和碩聯合科技股份有限公司 | 駕駛輔助系統以及駕駛輔助方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242797A (ja) * | 1999-02-18 | 2000-09-08 | Toyota Motor Corp | 画像の運動検出方法及び物体検出装置 |
JP2003094928A (ja) * | 2001-09-25 | 2003-04-03 | Denso Corp | 車両用空調装置 |
JP4258385B2 (ja) * | 2004-01-14 | 2009-04-30 | 株式会社デンソー | 路面反射検出装置 |
JP4848648B2 (ja) * | 2005-03-14 | 2011-12-28 | 日産自動車株式会社 | 車載情報提供装置 |
JP4384681B2 (ja) * | 2007-07-25 | 2009-12-16 | 本田技研工業株式会社 | 能動型効果音発生装置 |
JP2012066777A (ja) * | 2010-09-27 | 2012-04-05 | Mazda Motor Corp | ヨーレートのずれ検出装置 |
CN105165029A (zh) * | 2013-04-24 | 2015-12-16 | 日产自动车株式会社 | 车辆用音响控制装置、车辆用音响控制方法 |
-
2015
- 2015-02-06 JP JP2015022342A patent/JP6222578B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016145886A (ja) | 2016-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10418022B2 (en) | Sound effect generation device for vehicles | |
US9321462B2 (en) | Lane deviation prevention control apparatus of vehicle | |
EP2746125B1 (en) | Vehicle turning efficiency improving apparatus | |
US10170098B1 (en) | Sound effect generation device for vehicles | |
CN110857092B (zh) | 车辆控制装置及车辆控制方法 | |
US10737633B2 (en) | Sound effect generation device for vehicles | |
CN106794862A (zh) | 车辆控制装置 | |
US8897960B2 (en) | Driving assistance control apparatus | |
US9409600B2 (en) | Lane assist for a motor vehicle and method for operating a lane assist | |
JP6222578B2 (ja) | 車両用効果音発生装置 | |
US10290297B2 (en) | Sound effect generation device for vehicles | |
US20170120911A1 (en) | Vehicle and method of controlling the same | |
JP6311737B2 (ja) | 車両用効果音発生装置 | |
US10134382B2 (en) | Vehicle sound effect generation apparatus | |
CN111511625B (zh) | 车辆用控制装置 | |
WO2023238598A1 (ja) | 車両制御装置 | |
JP2004243788A (ja) | 走行制御装置 | |
JP2016021834A (ja) | 車両の挙動制御装置及び車両の挙動制御方法 | |
JP2017181919A (ja) | 車両用効果音発生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6222578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |