JP6324858B2 - 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 - Google Patents
運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 Download PDFInfo
- Publication number
- JP6324858B2 JP6324858B2 JP2014194274A JP2014194274A JP6324858B2 JP 6324858 B2 JP6324858 B2 JP 6324858B2 JP 2014194274 A JP2014194274 A JP 2014194274A JP 2014194274 A JP2014194274 A JP 2014194274A JP 6324858 B2 JP6324858 B2 JP 6324858B2
- Authority
- JP
- Japan
- Prior art keywords
- identifier
- driving support
- video data
- driver
- receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Closed-Circuit Television Systems (AREA)
Description
・上記メッセージを映像フレームに埋め込む処理に時間がかかる。
・映像フレームのデータサイズはテキストデータのサイズと比較して一般的に大きいので、運転支援装置が上記メッセージを含む映像フレームを送信してからスマートフォンが該映像フレームを受信するまでの時間が長い。
・スマートフォンにおける映像フレームのデコードに時間がかかる。
本発明の一実施形態に係る運転支援システムについて図1〜図8を参照して説明する。
運転支援システムの概要について図1および図2を参照しながら説明する。
図1に示すように、運転支援装置10は、制御部101、カメラ102、マイク103、RAM104、及び、通信部105を備えている。
図1に示すように、スマートフォン20は、制御部201、通信部202、バッファ203、ディスプレイ204、フラッシュメモリ205、スピーカ206、及び、LED部207を備えている。
次に、運転者に注意を促すことが必要な特定の状況が発生した際等に送信される識別子の詳細について、図3を参照しながら以下に説明する。図3は、識別子について説明するための図である。
次に、運転支援システムの動作の概略について図4〜図6を参照して説明する。図4は、状況種別値および注意レベル値に応じた、通知デバイスが行うべき動作の内容を説明するための図である。図5は、カメラ102の作動中に運転支援装置10が繰り返し(即ち、映像フレームを生成する度に)行う動作を示すフローチャートである。図6は、スマートフォン20によって並列的に行われる2つの動作を示す2つのフローチャートである。
撮影映像解析部12は、生成された映像フレームを解析することにより、運転者に注意を促すことが必要な各種状況(例えば、前方を走行中の自動車への接近)について、該当する状況に対する注意レベルを判定する。この判定処理には、公知の運転支援システムに採用されているアルゴリズムを採用してもよい。
続いて、撮影映像解析部12は、今回の解析結果(直近のステップS1での解析結果)が前回の解析結果と異なるか否かを判定する。運転支援装置10は、今回の解析結果が前回の解析結果と異なる判定した場合にはステップS3に進み、今回の解析結果が前回の解析結果と同じであると判定した場合にはステップS4に進む。
撮影映像解析部12は、今回の解析結果に応じた識別子のパケットを生成する。
送信処理部13は、解析対象の映像フレームのパケット群、および、対応する録音音声のパケット群を生成し、通信部105を介して、これらのパケット群をスマートフォン20に送信する。
受信処理部21は、ステップS4にて送信されるパケット群が送信されてくるのを待ち受ける。即ち、受信処理部21は、ステップS4にて送信された全パケットの受信およびバッファ203への記録が完了するまでステップS11を繰り返し、ステップS4にて送信された全パケットの受信およびバッファ203への記録が完了すると、ステップS12に進む。
受信処理部21は、FIFO(First In First Out)の規則に従ったタイミングで、直前のステップS11にてバッファ203に記録されたパケット群を読み出す。受信処理部21は、読み出したパケット群から、撮影映像の映像フレーム、および、録音音声を表す音声データを構成し、映像フレームを映像処理部22に供給するとともに、音声データを音声処理部23に供給する。
受信処理部21は、ステップS3にて送信されるパケット(識別子)が送信されてくるのを待ち受ける。即ち、受信処理部21は、ステップS3にて送信される識別子を受信するまでステップS21を繰り返し、ステップS3にて送信された識別子を受信すると、ステップS22に進む。
受信処理部21は、識別子を受信するとすぐに、受信した識別子を、音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25に供給する。
音声処理部23、重畳メッセージ決定部24、及び、LED発光制御部25の各部は、識別子を受け取るとすぐに、識別子に応じた処理の必要性の有無を判定する。
識別子に応じた処理の必要性が有ると判定した各部は、状況種別値および注意レベル値に基づいて、実行すべき処理の内容を特定する。
図7および図8を参照し、本実施形態に係る運転支援システムの利点について、比較例に係る運転支援システムと比較しながら説明する。図7および図8は、本実施形態に係る運転支援装置の利点を説明するための図である。
以上の実施形態1の説明から以下のことが言える。
以下、更に図9を参照して、本発明の別の一実施形態に係る運転支援システムについて説明する。図9は、本実施形態に係る運転支援システムに含まれる運転支援装置10’およびスマートフォン20’の構成を示すブロック図である。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、基本的に、同じ符号を付記した上でその説明を省略する。
本実施形態に係る運転支援システムは、実施形態1に係る運転支援システムと類似しているが、以下の点で実施形態1に係る運転支援システムと異なっている。
図9に示すように、運転支援装置10’は、制御部101、カメラ102、マイク103、RAM104、通信部105A、及び、通信部105Bを備えている。
通信部202Aは、撮影動画データのパケットを運転支援装置10’から受信するために使用されるWiFi通信モジュールである。
本実施形態に係る運転支援システムは、基本的に、実施形態1に係る運転支援システムと同様に図5および図6のフローチャートに従って動作するが、本実施形態に係る運転支援システムの動作は、以下の点で、実施形態1に係る運転支援システムの動作と異なっている。
・ステップS3において、送信処理部13は、通信部105ではなく通信部105Bを介して、撮影映像解析部12’によって生成された識別子のパケットをスマートフォン20に送信する。
・ステップS4において、送信処理部13は、解析対象の映像フレームのパケット群、および、対応する録音音声のパケット群を、通信部105ではなく通信部105Aを介して、スマートフォン20に送信する。
・ステップS11において、受信処理部21は、通信部202ではなく通信部202Aを介して、ステップS4にて送信された、映像フレームのパケット群、及び、対応する音声のパケット群を受信する。
・ステップS21において、受信処理部21は、通信部202ではなく通信部202Bを介して、識別子のパケットを受信する。
大量のパケットが通信帯域を圧迫すると、パケットロスの発生頻度が高くなり、パケットロスに起因する輻輳が頻繁に発生し得る。これに関し、本実施形態に係る運転支援システムでは、撮影動画データの大量のパケットがWiFi通信の通信帯域を圧迫している状況下での、識別子のパケットのスマートフォンへの到達時間への影響を小さくすることができる。識別子のパケットは、周波数ホッピング方式のBluetooth通信により送信されるからである。
本実施形態に係る運転支援装置は、実施形態1に係る運転支援装置と同様に、近距離通信用の通信部を1つだけ備えていてもよい。同様に、本実施形態に係るスマートフォンは、実施形態1に係るスマートフォンと同様に、近距離通信用のモジュール(例えば、WiFi通信モジュール)を1つだけ備えていてもよい。
送信処理部13は、通信部105Bを介して撮影動画データのパケットを送信し、通信部105Aを介して識別子のパケットを送信してもよい。ただし、送信処理部13は、図9に示すように、通信部105Aを介して撮影動画データのパケットを送信し、通信部105Bを介して識別子のパケットを送信するのが望ましい。
本実施形態に係る運転支援装置は、識別子のパケットの送信に使用する通信部を一方の通信部から他方の通信部へと切り替えると共に、撮影動画データのパケットの送信に使用する通信部を該他方の通信部から該一方の通信部へと切り替える処理を、動的に行ってもよい。
本実施形態に係るスマートフォンにインストールされているアプリケーションは、運転支援装置とのWiFi接続を確立せずに、識別子のパケットのみを受信する節電モードを備えてもよい。
以下、更に図10を参照して、本発明の更に別の一実施形態に係るシステムについて説明する。図10は、本実施形態に係る運転支援システムに含まれるスマートフォン1000およびディスプレイオーディオ2000の構成を示すブロック図である。なお、説明の便宜上、実施形態1にて説明した部材と同じ機能を有する部材については、基本的に、同じ符号を付記した上でその説明を省略する。
スマートフォン1000には、スマートフォンを運転支援装置10とほぼ同じように機能させるアプリケーションがインストールされている。
図10に示すように、スマートフォン1000は、制御部101、カメラ102、RAM104、及び、通信部105を備えている。
図10に示すように、ディスプレイオーディオ2000は、制御部201、通信部202、バッファ203、ディスプレイ204、フラッシュメモリ205、及び、スピーカ206を備えている。
本実施形態に係る運転支援システムは、基本的に、実施形態1に係る運転支援システムと同様に図5および図6のフローチャートに従って動作するが、本実施形態に係る運転支援システムの動作は、以下の点で、実施形態1に係る運転支援システムの動作と異なっている。
・ステップS3において、送信処理部13は、撮影映像解析部12によって生成された識別子のパケットをディスプレイオーディオ2000に送信する。
・ステップS4において、送信処理部13は、解析対象の映像フレームのパケット群のみをディスプレイオーディオ2000に送信する。
・ステップS11において、受信処理部21’は、スマートフォン1000から映像フレームのパケット群のみを受信する。
・ステップS22における識別子の供給先は、音声処理部23’、及び、重畳メッセージ決定部24である。即ち、ステップS23の処理を行うのは、音声処理部23’、及び、重畳メッセージ決定部24であり、ステップS24の処理を行うのは、音声処理部23’、及び/又は、重畳メッセージ決定部24である。
以上の説明からわかるように、本実施形態に係る運転支援システムは、高価な専用の運転支援装置10、10’を必要とすることなく、カメラ映像の送信中に運転者に注意を促すことが必要な状況の発生を検出した場合にその状況を運転者に素早く伝えることができる。
運転支援装置には、撮影動画データをスマートフォンに送信するためのソフトウェアとして、ライブストリーミング配信用のソフトウェアがインストールされていてもよい。
運転者に注意を促すことが必要な状況を通知可能なデバイスは、映像表示デバイス、音声出力デバイス、および、LEDデバイスには、限定されない。
運転支援装置10、10’の制御ブロック(特に、撮影動画データ生成部11、撮影映像解析部12、12’、および送信処理部13)、並びに、スマートフォン20、20’の制御ブロック(特に、受信処理部21、21’、映像処理部22、22’、音声処理部23、23’、重畳メッセージ決定部24、およびLED発光制御部25)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
本発明の態様1に係る運転支援装置(例えば、運転支援装置10、10’)は、カメラ(例えば、カメラ102)と、運転者に注意を促すことが必要な状況の発生を検出する検出手段(例えば、撮影映像解析部12、12’)と、上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末(例えば、スマートフォン20、20’)に向けて送信する識別子送信手段(例えば、送信処理部13)と、上記カメラが出力する撮像映像の映像データを上記情報提示端末に向けて送信する映像データ送信手段(例えば、送信処理部13)と、を備えている。
101 制御部(コンピュータ)
11 撮影動画データ生成部
12 撮影映像解析部(検出手段)
13 送信処理部(識別子送信手段、映像データ送信手段)
105 通信部(通信モジュール)
20 スマートフォン(情報提示端末)
201 制御部(コンピュータ)
21 受信処理部(識別子受信手段、映像データ受信手段)
22 映像処理部(表示処理手段、提示手段)
23 音声処理部(提示手段)
24 重畳メッセージ決定部
25 LED発光制御部(提示手段)
202 通信部(通信モジュール)
1000 スマートフォン(運転支援装置)
2000 ディスプレイオーディオ(情報提示端末)
Claims (14)
- カメラと、
運転者に注意を促すことが必要な状況の発生を検出する検出手段と、
上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、
上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備え、
上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信する、ことを特徴とする運転支援装置。 - カメラと、
運転者に注意を促すことが必要な状況の発生を検出する検出手段と、
上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、
上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備え、
上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信し、
上記識別子送信手段は、周波数ホッピング機能を備えた通信モジュールを介して、上記識別子を送信する、ことを特徴とする運転支援装置。 - カメラと、
運転者に注意を促すことが必要な状況の発生を検出する検出手段と、
上記検出手段によって上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信手段と、
上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信手段と、を備え、
上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信し、
上記識別子送信手段は、上記映像データ送信手段が上記映像データの送信に使用する通信モジュールによって使用される帯域とは異なる帯域を使用する別の通信モジュールを介して、上記識別子を送信する、ことを特徴とする運転支援装置。 - 運転者が注意すべき内容に応じた識別子を外部の運転支援装置から受信する識別子受信手段と、
上記運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信手段と、
上記撮像映像を表示画面に表示する表示処理手段と、
上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段と、を備え、
上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信する、ことを特徴とする情報提示端末。 - 運転者が注意すべき内容に応じた識別子を外部の運転支援装置から受信する識別子受信手段と、
上記運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信手段と、
上記撮像映像を表示画面に表示する表示処理手段と、
上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段と、を備え、
上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信し、
上記識別子受信手段は、周波数ホッピング機能を備えた通信モジュールを介して、上記識別子を受信する、ことを特徴とする情報提示端末。 - 運転者が注意すべき内容に応じた識別子を外部の運転支援装置から受信する識別子受信手段と、
上記運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信手段と、
上記撮像映像を表示画面に表示する表示処理手段と、
上記識別子受信手段が上記識別子を受信した直後に、上記運転者に上記内容を提示する提示手段と、を備え、
上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信し、
上記識別子受信手段は、上記映像データ受信手段が上記映像データの受信に使用する通信モジュールによって使用される帯域とは異なる帯域を使用する別の通信モジュールを介して、上記識別子を受信する、ことを特徴とする情報提示端末。 - 上記提示手段は、上記識別子受信手段が上記識別子を受信した直後に、上記撮像映像が表示されている上記表示画面に、上記識別子に応じたメッセージを表示する、ことを特徴とする請求項4から6のいずれか1項に記載の情報提示端末。
- 請求項1から3のいずれか1項に記載の運転支援装置と、請求項4から7のいずれか1項に記載の情報提示端末と、を含んでいる、ことを特徴とする運転支援システム。
- カメラを備えた運転支援装置による運転支援方法において、
運転者に注意を促すことが必要な状況の発生を検出する検出ステップと、
上記検出ステップにて上記状況が検出された直後に、上記運転者が注意すべき内容に応じた識別子を、上記識別子の受信直後に上記運転者に上記内容を提示する機能を備えた情報提示端末に向けて送信する識別子送信ステップと、
上記カメラが出力する撮像映像を示す映像データを上記情報提示端末に向けて送信する映像データ送信ステップと、を含んでおり、
上記識別子送信ステップにおいて、上記映像データ送信ステップにて上記映像データの送信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を送信することを特徴とする運転支援方法。 - 情報提示端末による運転支援方法であって、
外部の運転支援装置のカメラが出力する撮像映像を示す映像データを上記運転支援装置から受信する映像データ受信ステップと、
上記撮像映像を表示画面に表示する表示処理ステップと、
運転者が注意すべき内容に応じた識別子を上記運転支援装置から受信する識別子受信ステップと、
上記識別子受信ステップにて上記識別子を受信した直後に、上記運転者に上記内容を提示する提示ステップと、を含んでおり、
上記識別子受信ステップにおいて、上記映像データ受信ステップにて上記映像データの受信に使用する通信チャンネルとは異なる通信チャンネルを使用して、上記識別子を受信する、ことを特徴とする運転支援方法。 - 請求項1から3の何れか1項に記載の運転支援装置としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
- 請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項4から7の何れか1項に記載の情報提示端末としてコンピュータを機能させるためのプログラムであって、コンピュータを上記各手段として機能させるためのプログラム。
- 請求項13に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014194274A JP6324858B2 (ja) | 2014-09-24 | 2014-09-24 | 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014194274A JP6324858B2 (ja) | 2014-09-24 | 2014-09-24 | 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016066213A JP2016066213A (ja) | 2016-04-28 |
JP6324858B2 true JP6324858B2 (ja) | 2018-05-16 |
Family
ID=55805564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014194274A Expired - Fee Related JP6324858B2 (ja) | 2014-09-24 | 2014-09-24 | 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6324858B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7525779B2 (ja) | 2020-07-14 | 2024-07-31 | 日亜化学工業株式会社 | 発光装置及び照明装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020161001A (ja) * | 2019-03-27 | 2020-10-01 | パナソニックIpマネジメント株式会社 | 移動体制御システム、移動体、移動体制御方法、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5003399B2 (ja) * | 2007-10-11 | 2012-08-15 | 株式会社Jvcケンウッド | 道路通信システム,通信端末,データ再生処理方法およびデータ再生用プログラム |
US8669857B2 (en) * | 2010-01-13 | 2014-03-11 | Denso International America, Inc. | Hand-held device integration for automobile safety |
JP2013124957A (ja) * | 2011-12-15 | 2013-06-24 | Car Mate Mfg Co Ltd | 携帯情報端末を用いたナビゲーションシステム |
JP2014044485A (ja) * | 2012-08-24 | 2014-03-13 | Jvc Kenwood Corp | 車載器、情報提供システム、車載器の制御方法、及び、プログラム |
-
2014
- 2014-09-24 JP JP2014194274A patent/JP6324858B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7525779B2 (ja) | 2020-07-14 | 2024-07-31 | 日亜化学工業株式会社 | 発光装置及び照明装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2016066213A (ja) | 2016-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110958475A (zh) | 一种跨设备的内容投射方法及电子设备 | |
US9648155B2 (en) | Mobile terminal, onboard device, control method, and control program | |
CN111641979B (zh) | 一种Wi-Fi点对点业务的实现方法以及相关设备 | |
JP2007049513A (ja) | 車々間通信装置、車々間通信システムおよび動画情報のアプリケーション適用可否判断方法 | |
US20140267727A1 (en) | Systems and methods for determining the field of view of a processed image based on vehicle information | |
CN109257722B (zh) | 用于与外部电子装置进行通信的电子装置及其控制方法 | |
CN112398855A (zh) | 应用内容跨设备流转方法与装置、电子设备 | |
CN112394895A (zh) | 画面跨设备显示方法与装置、电子设备 | |
JP2017527156A (ja) | ナンバー・プレート情報に基づく車両通信識別子 | |
JP2006352522A (ja) | 通信制御装置、および通信制御方法 | |
US20140320637A1 (en) | Vehicular image processing apparatus and method of providing information using the vehicular image processing apparatus | |
JP6324858B2 (ja) | 運転支援装置、情報提示端末、運転支援方法、運転支援システム、プログラム、及び、記録媒体 | |
CN112954648A (zh) | 一种移动终端和车载终端的交互方法、终端以及系统 | |
KR20130019916A (ko) | 블루투스 통신을 이용한 멀티미디어 시스템 및 그 제어방법 | |
CN107018291A (zh) | 车载综合系统及提供车外影像的方法 | |
US9253522B2 (en) | Method for controlling data flow of mirror link system | |
US20200036765A1 (en) | Method and device for transmitting content | |
WO2014192260A1 (ja) | 車載通信装置およびプログラム | |
US10477268B2 (en) | Information processing apparatus, communication system, information processing method and non-transitory computer readable medium | |
JP2009184453A (ja) | 車載情報出力装置及び情報出力制御方法 | |
JP2019175376A (ja) | 車両用通信装置、車両、及び、車車間通信システム | |
KR101723748B1 (ko) | 차량용 클러스터의 턴-시그널 음원 변경장치 및 그 방법 | |
CN117318761A (zh) | 一种电力线通信系统、设备状态查询方法及设备 | |
JP5646441B2 (ja) | 車載装置と携帯情報端末との間で利用される無線によるコンテンツ転送システム | |
CN105407382A (zh) | 车辆间的无线通信方法、多媒体快播方法与缓存方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6324858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |