JP5856470B2 - ドライブレコーダ - Google Patents

ドライブレコーダ Download PDF

Info

Publication number
JP5856470B2
JP5856470B2 JP2011278989A JP2011278989A JP5856470B2 JP 5856470 B2 JP5856470 B2 JP 5856470B2 JP 2011278989 A JP2011278989 A JP 2011278989A JP 2011278989 A JP2011278989 A JP 2011278989A JP 5856470 B2 JP5856470 B2 JP 5856470B2
Authority
JP
Japan
Prior art keywords
control unit
audio data
data
audio
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011278989A
Other languages
English (en)
Other versions
JP2013130973A (ja
Inventor
順一 鹿子島
順一 鹿子島
松田 宏平
宏平 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KYB Corp
Original Assignee
KYB Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KYB Corp filed Critical KYB Corp
Priority to JP2011278989A priority Critical patent/JP5856470B2/ja
Publication of JP2013130973A publication Critical patent/JP2013130973A/ja
Application granted granted Critical
Publication of JP5856470B2 publication Critical patent/JP5856470B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Television Signal Processing For Recording (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両に搭載され映像データ及び音声データを記録するドライブレコーダに関する。
車両の走行データを映像データと共に記録するドライブレコーダを車両に搭載することが行われている。ドライブレコーダは、例えば車両に衝撃が発生した場合に、その衝撃が発生した時刻を含む前後の所定時間の映像データを取得し、メモリカードに記録するように構成されている。
また、ドライブレコーダにより、映像データだけでなく音声データも記録するように構成されたものがある。特許文献1には、加速度センサが閾値を超えた場合に、ビデオカメラにより取得される映像データとマイクから入力された音声データとを保存するドライブレコーダが開示されている。
特開2006−151006号公報
従来技術のように、ドライブレコーダは衝撃発生時刻を含む前後の所定時間中に記録された映像データと音声データとを切り出して記録する。このとき、特に音声データは、切り出された部分の開始部分の立ち上がり及び終了部分の立ち下がりの音圧レベルは0(ゼロ)とは限らず、このような音声データを再生すると開始部分及び終了部分の音圧レベルの変化が急峻となり、再生開始時及び再生終了時にクリック音が再生される可能性がある。このような音声データを聴取したユーザは、クリック音をノイズとして認識して不快に感じる場合がある。
本発明は、このような問題点に鑑みてなされたものであり、映像データと音声データとを同時に記録することができるドライブレコーダにおいて、音声データを再生するときにノイズを発生させないドライブレコーダを提供することを目的とする。
本発明は、車両に搭載され、映像データを取得するカメラと、カメラにより取得された映像データのエンコードを行う画像処理部と、音声を音声データとして取得する音声制御部と、画像処理部によりエンコードされた映像データと音声制御部により取得された音声データとの記録を制御する記録制御部と、映像データ及び音声データを一時的に記録する内部メモリと、画像処理部、音声制御部及び記録制御部を制御する制御部と、イベントを検出するイベント検出部と、イベント発生時刻を含む前後の所定時間に記録された映像データと音声データとを記録する不揮発性メモリと、を備え、制御部は、イベント検出部が車両に発生したイベントを検出したときに、イベント発生時刻を含む前後の所定時間に記録された映像データと音声データとを内部メモリから切り出し、切り出された音声データの開始部分をフェードイン処理すると共に、当該音声データの終了部分をフェードアウト処理し、フェードイン処理及びフェードアウト処理された音声データを、記録制御部により不揮発性メモリへと記録させることを特徴とする。
本発明によれば、音声データを記録するときに、音声データの開始部分をフェードイン処理すると共に終了部分をフェードアウト処理するので、記録された音声データの開始部分及び終了部分の音圧レベルの変化が急峻となることを防止できる。これにより、音声データを再生するときにも、開始部分及び終了部分にノイズが発生することがなく、ユーザに不快感を与えることがなくなる。
本発明の実施形態の本発明のドライブレコーダを含むドライブレコーダシステムの説明図である。 本発明の実施形態のドライブレコーダの機能ブロック図である。 本発明の実施形態の制御部が実行する、映像データの記録を示す説明図である。 本発明の実施形態の音声データの切り出しの説明図である。 本発明の実施形態の音声データ切り出し及び記録処理の説明図である。 本発明の実施形態のフェードイン処理及びフェードアウト処理の説明図である。
以下に、本発明の実施形態について、図面を参照して説明する。
図1は、本発明の実施形態のドライブレコーダ10を含むドライブレコーダシステム1の説明図である。
ドライブレコーダシステム1は、車両11に搭載されるドライブレコーダ10と、事業所等に設置されるパーソナルコンピュータ(以下、PC)20と、ドライブレコーダ10が取得するデータを記録するメモリカード30とから構成される。
ドライブレコーダ10は、車両11から走行データ(例えば車速、エンジン回転数、緯度、経度等)を取得して、これらを日時情報と共に所定の時間間隔で記録する。また、ドライブレコーダ10は、カメラ12が接続されており、カメラ12により取得された映像データを記録する。また、ドライブレコーダ10は、マイク192が接続されており、マイク192により取得された音声データを記録する。これら走行データ、映像データ及び音声データは、記録制御部150を介してメモリカード30に記録される。
ドライブレコーダ10は、メモリカード30が挿入された状態でメモリカード30との間でデータの書き込み及び読み出しを行う記録制御部150と、メモリカード30に人為的に映像データを記録させる記録ボタン180と、点灯状態(色、点滅等)によりドライブレコーダ10の状態を表示するLED193とが設けられている。
PC20は、メモリカード30が挿入された状態でメモリカード30との間でデータの書き込み及び読み出しを行うメモリカードインタフェース21と、映像データ等を表示可能な液晶ディスプレイ等からなる表示部22と、ユーザからの指示が入力可能なキーボード及びマウス等からなる入力部23とから構成される。
メモリカード30は、記録制御部150及びメモリカードインタフェース21により読み書き可能に構成されており、例えばSD(Secure Digital)やCF(Compact Flash)(Compact Flashは登録商標)等のフラッシュメモリカードが用いられる。
図2は、本発明の実施形態のドライブレコーダ10の機能ブロック図である。
ドライブレコーダ10は、制御部160を備える。制御部160は、A/D変換部110に接続し、A/D変換部110から映像データを受信する。また、制御部160は、フラッシュROM120に接続し、フラッシュROM120とでデータの読み書きを制御する。また、制御部160は、内部メモリ130に接続し、内部メモリ130とでデータの読み書きを制御する。また、制御部160は、画像処理部140に接続し、画像処理部140からの信号が入力されると共に、画像処理部140に制御信号を送る。また、制御部160は、記録制御部150に接続し、記録制御部150との間でメモリカード30へのデータの読み書きを制御する。また、制御部160は、加速度センサ170及び記録ボタン180に接続し、加速度センサ170及び記録ボタン180からの信号が入力される。また、制御部160は、音声制御部190に接続し、音声制御部190に接続されるスピーカ191からの音声の出力及び音声制御部190に接続されるマイク192からの音声の取得を制御する。また、制御部160はLED193に接続し、LED193の点灯状態を制御する信号を出力する。また、制御部160は、電源制御部200から電力の供給を受ける。
A/D変換部110は、カメラ12から受信した映像信号をA/D変換して映像データとして出力する。画像処理部140は、映像データ記録時には、A/D変換部110から出力された映像データに対して所定のエンコード方式に基づいて画像処理を行い、エンコードされた映像データを内部メモリ130に出力する。
なお、本実施形態では、画像処理部140は、映像データを所定時間単位のJPEG画像としてエンコードする。映像データの再生時には、JPEG画像を所定時間間隔で再生することにより、動画として再生される。
内部メモリ130は、SDRAM等の揮発性メモリからなるバッファ領域を備え、制御部160の制御により、メモリカード30に映像データを記録するとき一次的に映像データを記録するバッファとし用いることができる。
フラッシュROM120は、フラッシュメモリ等の不揮発性メモリから構成されており、ドライブレコーダ10に供給される電源が断たれてドライブレコーダ10の動作が停止した後も、記録されたデータを保持できるように構成されている。フラッシュROM120は、ドライブレコーダ10の動作に関わるプログラムや設定データを記録する。
加速度センサ170は、車両11に加わる加速度を検出して、検出した加速度が所定の閾値を超えた場合に、その旨を制御部160に通知する。また、記録ボタン180は、加速度センサ170によるイベントの発生の検出にかかわらず、ユーザが操作することにより、走行データ、映像データ及び音声データをメモリカード30に記録させる。制御部160は、加速度センサ170からの通知を受けた場合は、車両11に衝撃等のイベントが発生したと判断して、内部メモリ130のバッファ領域から衝撃発生時刻を含む前後の所定時間(例えば検出前12秒間、検出後8秒間)の映像データ及び音声データとを抽出する。抽出した映像データ及び音声データは、記録制御部150によりメモリカード30に記録される。
より具体的には、カメラ12は映像信号を常に取得しており、この映像信号は、A/D変換部110、画像処理部140を経て、映像データとして内部メモリ130に常に記録される。また映像データを記録しているのと同時に、マイク192に入力される音声は、音声制御部190の処理により、音声データとして内部メモリ130に常に記録される。
このようにして、加速度センサ170が衝撃を検出したとき又は記録ボタン180が操作されたときの映像データ及び音声データがメモリカード30に記録される。
音声制御部190は、音声の記録及び再生を制御する。音声制御部190は、スピーカ191及びマイク192が接続される。音声制御部190は、制御部160の制御より、映像データを記録しているときにマイク192からドライブレコーダ10の周囲の音声を取得し、取得した音声データを内部メモリ130に記録する。また、音声制御部190は、制御部160の制御により、ドライブレコーダ10の動作に関連した音声又は警報音を、スピーカ191を介して運転者に通知する。
音声制御部190が記録する音声データは、例えばリニアPCM方式によりサンプリング及び量子化される。なお、リニアPCM方式により記録される音声データは、データ量が固定であるので、音声データの先頭からのビット数(オフセット)に対応して、先頭からの記録時間が推移する記録形式である。
電源制御部200は、車両11から電力の供給を受けて、制御部160及び制御部160を介して各部に電力を供給する。また、電源制御部200はバッテリを内蔵しており、車両11からの電力の供給が絶たれた場合にも一定時間、制御部160及び制御部160を介して各部に電力を供給できるように構成されている。
次に、以上のように構成されたドライブレコーダ10の動作を説明する。
図3は、本実施形態の制御部160が実行する映像データの記録を示す説明図である。
カメラ12により取得された映像信号は、A/D変換部110によりデジタルデータに変換され、画像処理部140により所定のエンコード方式にエンコードされ、映像データ201として内部メモリ130に記録される。映像データ201は、JPEG画像からなる複数の単位画像204から構成される。
また、マイク192に入力される音声は、音声制御部190によりデジタルデータに変換され、音声データ210として内部メモリ130に記録される。音声データ210は、リニアPCM形式のデジタルデータから構成される。
ここで、制御部160が、加速度センサ170又は記録ボタン180の操作によりイベントが検出されたと判定した場合は、内部メモリ130から、イベントが検出された時刻を含む前後の所定時間内(例えば検出間12秒間、検出後8秒間)に記録されている映像データ201及び音声データ210を抽出する。制御部160は、抽出された映像データ201及び音声データ210を、記録制御部150を介してメモリカード30に映像データ202及び音声データ211として記録する。映像データ202は、所定時間内に記録されていた単位画像204を連続して記録したものである。音声データ211は所定時間内に記録されていた音声データである。
なお、制御部160は、映像データ202をメモリカード30に記録するときに、映像データ202の暗号化処理を行ってもよい。映像データ202の暗号化処理を行うことによりメモリカード30に記録されている映像データが第三者により読み取りや改ざんされる虞がなくなる。
ここで、内部メモリ130に記録されていた音声データ210から、所定時間内(例えば20秒間)の音声データ211を切り出した場合、次のような問題が起りうる。
図4は、本実施形態の音声データ211の切り出しの説明図である。
ドライブレコーダ10の周囲の音声は、常にマイク192により取得され、音声制御部190によりデジタルデータである音声データ210とされ、制御部160を介して内部メモリ130に常時記録されている(図4(A))。
ここで、イベントの検出により、内部メモリ130に記録されている音声データ210から、所定時間内の音声データ211を切り出した場合を考える。
音声データ210の音圧レベルは大小の振幅の繰り返しである。この音声データ210の一部を切り出した場合は、切り出された音声データ211を再生すると、開始部分と終了部分とで音圧レベルの変化が急峻となる。すなわち、音声データ211の開始部分では音圧レベルが0から急峻に立ち上がる変化となり、終了部分では音圧レベルが0まで急峻に立ち下がる変化となる(図4(B))。
この音声データ211を再生した場合は、音声データ211の開始部分では音圧レベルが0から急峻に立ち上がるため、スピーカやイヤフォンの振動板が急に振動を開始して、「プチ」又は「ボッ」といった音声(クリック音)が再生されることになる。また、音声データ211の終了部分では音圧レベルが0まで急峻に立ち下がるため、スピーカやイヤフォンの振動板の振動が急に停止することにより、同様のクリック音が再生される。
この開始部分と終了部分で再生されるクリック音は、音声データ211を聴取するユーザに不快であるばかりか、音声データ211に記録されている衝撃音等と区別が付かない可能性があり、証拠能力が低下する虞がある。
そこで、本実施形態では、次のように制御することにより音声データ211を再生するときのクリック音を防止するように構成した。
図5は、本実施形態の制御部160が行う音声データ211の切り出し及び記録処理の説明図である。
前述のように、ドライブレコーダ10の周囲の音声は、常にマイク192により取得され、音声制御部190によりデジタルデータである音声データ210として、制御部160を介して内部メモリ130に常時記録されている。
ここで、制御部160がイベントを検出した場合は、内部メモリ130に記録されている音声データ210から、所定時間内の音声データ211を切り出す。
このとき、制御部160は、切り出された音声データ211の開始部分の所定時間(例えば1秒)に対してフェードイン処理を行う。また、切り出された音声データ211の終了部分の所定時間(例えば1秒)に対してフェードアウト処理を行う。
制御部160は、フェードイン処理及びフェードアウト処理を行った音声データ211を、メモリカード30に記録する。
図6は、本実施形態のフェードイン処理及びフェードアウト処理の説明図である。
図6(A)は、内部メモリ130から切り出された所定時間内の音声データ211を示す。
制御部160は、内部メモリ130から切り出された所定時間内の音声データ211に対して、図6(B)に示すような特性を重畳することにより、フェードイン処理及びフェードアウト処理を行う。
具体的には、制御部160は、音声データ211開始部分の所定時間(例えば1秒)を、−96dBから0dBへと直線的に変化する特性を重畳することにより、音声データ211の開始部分をフェードイン処理する。この結果、フェードイン処理された音声データ211は、その音圧レベルが、音声データ211の始端から所定時間までの間、0から記録された音圧レベルまで徐々に増加する。
同様に、制御部160は、音声データ211の終了部分の所定時間(例えば1秒)を、0dBから−96dBへと直線的に変化する特性を重畳することにより、音声データ211の終了部分をフェードアウト処理する。この結果、フェードアウト処理された音声データ211は、その音圧レベルが、音声データ211の終端の所定時間前から終端までの間、記録された音圧レベルから0まで徐々に減少する。
このようにしてフェードイン処理及びフェードアウト処理された音声データ211を図6(C)に示す。
フェードイン処理及びフェードアウト処理後の音声データ211は、開始部分の立ち上がり及び終了部分の立ち下がりが緩やかとなっている。この音声データ211を再生した場合は、開始部分及び終了部分でのクリック音は発生しない。
以上のように、本発明の実施の形態のドライブレコーダ10は、カメラ12により取得された映像データ201のエンコード又はデコードを行う画像処理部140と、マイク192により取得される音声を音声データ210として取得する音声制御部190と、を備えて、映像データ201と共に音声データ210を、記録制御部150を介してメモリカード30に記録するものである。
ここで、従来、衝撃の発生等のイベントの検出時に、イベント検出時刻を含む前後の所定時間内に記録された音声データ210を切り出した場合に、切り出された音声データ211は開始部分の立ち上がり及び終了部分の立ち下がりが急峻となり、これを再生するときにクリック音が発生して、ノイズとして伝わり、ユーザに不快感を与えるほか、記録された衝撃音と紛らわしい場合があった。
本発明の実施形態では、制御部160は、音声データ211に対して、開始部分のフェードイン処理と、終了部分のフェードアウト処理とを行うので、処理された音声データ211は開始部分の立ち上がり及び終了部分の立ち下がりが急峻とならない。これにより、音声データを再生するときにも、開始部分及び終了部分にクリック音によるノイズが発生することがなく、ユーザに不快感を与えることがなくなり、音声データ211の証拠性が向上する。
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
1 ドライブレコーダシステム
10 ドライブレコーダ
11 車両
12 カメラ
20 パーソナルコンピュータ(PC)
30 メモリカード
110 A/D変換部
120 フラッシュROM
130 内部メモリ
140 画像処理部
150 記録制御部
160 制御部
170 加速度センサ
180 記録ボタン
190 音声制御部

Claims (4)

  1. 車両に搭載され、映像データを取得するカメラと、
    前記カメラにより取得された前記映像データのエンコードを行う画像処理部と、
    音声を音声データとして取得する音声制御部と、
    前記画像処理部によりエンコードされた前記映像データと前記音声制御部により取得された前記音声データとの記録を制御する記録制御部と、
    前記映像データ及び前記音声データを一時的に記録する内部メモリと、
    前記画像処理部、前記音声制御部及び前記記録制御部を制御する制御部と、
    イベントを検出するイベント検出部と、
    前記イベントの発生時刻を含む前後の所定時間に記録された前記映像データと前記音声データとを記録する不揮発性メモリと、
    を備えるドライブレコーダであって、
    前記制御部は、
    前記イベント検出部が前記車両に発生したイベントを検出したときに、イベント発生時刻を含む前後の所定時間に記録された前記映像データと前記音声データとを前記内部メモリから切り出し、
    切り出された前記音声データの開始部分をフェードイン処理すると共に、当該音声データの終了部分をフェードアウト処理し、
    前記フェードイン処理及び前記フェードアウト処理された前記音声データを、前記記録制御部により前記不揮発性メモリへと記録させることを特徴とするドライブレコーダ。
  2. 前記制御部は、
    前記音声制御部により取得された前記音声データの始端から所定時間までの音圧レベルを、記録された音圧レベルまで徐々に増加させて前記フェードイン処理を行ない、
    前記音声制御部により取得された前記音声データの終端の所定時間前から終端までの音圧レベルを徐々に減少させて前記フェードアウト処理を行うことを特徴とする請求項1に記載のドライブレコーダ。
  3. 前記イベント検出部は、衝撃を検出する衝撃検出部からなり、
    前記衝撃検出部が衝撃を検出することにより前記イベントが検出されることを特徴とする請求項1又は2に記載のドライブレコーダ。
  4. 前記イベント検出部は、ユーザからの操作を受付ける操作ボタンからなり、
    前記操作ボタンがユーザからの操作を受付けることにより前記イベントが検出されることを特徴とする請求項1又は2に記載のドライブレコーダ。
JP2011278989A 2011-12-20 2011-12-20 ドライブレコーダ Expired - Fee Related JP5856470B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011278989A JP5856470B2 (ja) 2011-12-20 2011-12-20 ドライブレコーダ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011278989A JP5856470B2 (ja) 2011-12-20 2011-12-20 ドライブレコーダ

Publications (2)

Publication Number Publication Date
JP2013130973A JP2013130973A (ja) 2013-07-04
JP5856470B2 true JP5856470B2 (ja) 2016-02-09

Family

ID=48908491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011278989A Expired - Fee Related JP5856470B2 (ja) 2011-12-20 2011-12-20 ドライブレコーダ

Country Status (1)

Country Link
JP (1) JP5856470B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093425A (ja) * 2016-12-06 2018-06-14 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム
JP2022028858A (ja) * 2016-12-06 2022-02-16 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム並びに記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111034A (ja) * 1993-10-12 1995-04-25 Canon Inc 信号処理装置
JPH09186956A (ja) * 1995-12-28 1997-07-15 Samsung Electron Co Ltd スチルカメラ一体型ビデオカメラ
JP4467448B2 (ja) * 2005-02-24 2010-05-26 三洋電機株式会社 移動体用記録装置
JP5314338B2 (ja) * 2008-06-30 2013-10-16 ローム株式会社 車両の異常記録装置
JP5528182B2 (ja) * 2010-04-09 2014-06-25 矢崎エナジーシステム株式会社 ドライブレコーダおよびドライブレコーダの記録方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093425A (ja) * 2016-12-06 2018-06-14 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム
JP2022028858A (ja) * 2016-12-06 2022-02-16 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム並びに記録媒体
JP7194251B2 (ja) 2016-12-06 2022-12-21 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム並びに記録媒体

Also Published As

Publication number Publication date
JP2013130973A (ja) 2013-07-04

Similar Documents

Publication Publication Date Title
JP2010517178A5 (ja)
JP4698453B2 (ja) コマーシャル検出装置、映像再生装置
EP2246857A3 (en) Recording medium, playback device, program, playback method, and recording method
EP1919206A3 (en) Recording apparatus
HK1116590A1 (en) Method and apparatus for recording and reproducing
US20190222809A1 (en) Recording device, recording method, reproduction method, and program
KR20000053481A (ko) 정보신호 레코딩 제한 방법, 정보신호 레코딩 제어시스템, 및 정보신호 레코딩 장치
EP1327982A3 (en) Data playback apparatus and method
WO2005015907A8 (ja) データ処理装置及びデータ処理方法
JP5856470B2 (ja) ドライブレコーダ
JP2010129126A (ja) 時限管理装置および時限管理方法
JP2006295669A (ja) 音声再生装置
JP2007048378A5 (ja)
JP5961376B2 (ja) データ記録装置及びドライブレコーダ
JP5767982B2 (ja) ドライブレコーダ
EP1394793A3 (en) Reproducing apparatus, reproducing method, reproducing program and recording medium with the said program recorded therein
EP1501094A3 (en) Editing apparatus, information reproduction/recording apparatus, editing method, editing program and information recording medium
JP2009180972A (ja) オーディオレジューム再生装置及びオーディオレジューム再生方法
TW200603079A (en) Data processor and data processing method, program and program recording medium, and data recording medium
JP3585816B2 (ja) ディジタル式記録再生装置
EP2101328A3 (en) Digital broadcast receiving/recording/reproducing apparatus and digital broadcast receiving/recording/reproducing method
JP2007104456A (ja) 密閉型ヘッドホン
JP2019068436A (ja) 記録装置、再生方法、及びプログラム
JP7275382B2 (ja) 記録制御装置及び記録制御方法
WO2005052785A3 (en) Method and device for transcribing an audio signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151211

R151 Written notification of patent or utility model registration

Ref document number: 5856470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees