JP5495726B2 - 信号処理装置 - Google Patents

信号処理装置 Download PDF

Info

Publication number
JP5495726B2
JP5495726B2 JP2009261129A JP2009261129A JP5495726B2 JP 5495726 B2 JP5495726 B2 JP 5495726B2 JP 2009261129 A JP2009261129 A JP 2009261129A JP 2009261129 A JP2009261129 A JP 2009261129A JP 5495726 B2 JP5495726 B2 JP 5495726B2
Authority
JP
Japan
Prior art keywords
output
clock
signal
oscillator
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009261129A
Other languages
English (en)
Other versions
JP2011109327A (ja
Inventor
康之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009261129A priority Critical patent/JP5495726B2/ja
Publication of JP2011109327A publication Critical patent/JP2011109327A/ja
Application granted granted Critical
Publication of JP5495726B2 publication Critical patent/JP5495726B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Synchronizing For Television (AREA)
  • Stabilization Of Oscillater, Synchronisation, Frequency Synthesizers (AREA)

Description

本発明は信号処理装置に関する。
従来、ビデオ信号を伝送するためのインターフェイスの規格として、シリアルデジタルインターフェイス(SDI)規格(SMPTE292M)が知られている。
SDI規格では、複数の映像方式(テレビジョン方式)のビデオ信号を出力することができる。例えば、出力するビデオ信号がNTSC方式の場合にはフィールド周波数が59.94Hzとなり、PAL方式の場合にはフィールド周波数が50.00Hzとなる。PAL方式のHDビデオ信号の場合、走査線数が1250本、1ラインあたりのサンプルを2200とすると、サンプリング周波数が74.25メガヘルツ(MHz)(=50/2×1250×2200)となる。一方、NTSC方式のHDビデオ信号の場合、走査線数が1125本、1ラインあたりのサンプル数を2200とすると、サンプリング周波数は74.17582MHz(=60/1.001×1/2×1125×2200)となる。また、SDI規格では、伝送されるビデオ信号のジッタについても厳しい規格が定められている。
そこで、二つのVCXO(電圧制御水晶発振器)を備えることで、この様なSDI規格に従ってビデオ信号を伝送するためのサンプリングクロックを生成する回路が提案されている(例えば、特許文献1参照)。
特開平9−153793号
VCXOは、周波数が60MHzを超えた場合に、コストが急激に上昇してしまう。
従来は、この様な高価なVCXOを用いるため、回路のコストが上昇してしまうという問題があった。
本発明はこの様な問題を解決し、ジッタの少ないクロックを発生させることが可能な装置を提供することを一つの目的とする。
本発明は、第1の発振器と、前記第1の発振器から出力される第1のクロックの周波数とは異なる周波数の第2のクロックを出力する第2の発振器と、前記第1の発振器からの第1のクロックと前記第2の発振器からの第2のクロックのうちの一方を選択する選択手段と、前記選択手段により選択された第1のクロックまたは第2のクロックの周波数を逓倍し、出力クロックを生成する生成手段と、前記第1の発振器からの第1のクロックを逓倍する逓倍回路と、前記逓倍回路からの出力信号と前記生成手段からの出力クロックとの位相差を検出し、前記位相差を示す信号を前記第2の発振器に出力することにより前記第2の発振器からの第2のクロックの周波数を変更する位相検出手段とを備え、前記第1の発振器と前記第2の発振器はそれぞれ、電圧制御水晶発振器である。
高周波数のクロックを生成する高価な発振器を使うことなく、ジッタが少ないクロックを発生することができる。
本発明の実施形態におけるビデオカメラの構成を示すブロック図である。 出力部の構成を示すブロック図である。
図1は本発明の実施形態としてのビデオカメラ100の構成を示すブロック図である。
図1において、撮像部101はCPU106の指示に従い、被写体の画像を撮影し、動画像信号を生成して信号処理部102に出力する。撮像部101は、HDの解像度を有し、NTSC方式の動画像信号とPAL方式の動画像信号とを出力することができる。撮像部101は、CPU106によりNTSC方式が設定された場合、フィールド周波数が59.94HzのHDの動画像信号を出力し、PAL方式が設定された場合にはフィールド周波数が50HzのHDの動画像信号を出力する。
信号処理部102はCPU106の指示に従い、撮影時においては撮像部101から出力された動画像信号に対して公知の圧縮符号化処理を施して記録再生部107に出力する。また、信号処理部102は撮影された動画像信号を表示制御部104に出力し、表示部105に対して被写体の動画像を表示する。また、信号処理部102は、再生時においては、再生された動画像信号を復号、伸張処理して出力部109に出力する。また、信号処理部102は、再生された動画像信号を表示制御部104に送り、表示部105に再生画像を表示する。
メモリ103は、信号処理部102による処理のために動画像信号を一時的に記憶する。表示制御部104は、記録時においては撮影された動画像を表示部105に表示し、再生時においては再生された動画像を表示部105に表示する。また、表示制御部104は、CPU106の指示により、メニュー情報等の各種の情報を表示部105に表示する。表示部105は液晶パネル等の表示装置を有する。
CPU106は操作部110の指示に従い、ビデオカメラ100の各部の動作を制御する。記録再生部107は、記録時においては信号処理部102からの動画像信号を記録媒体108に記録し、再生時においては記録媒体108から動画像信号を再生して信号処理部102に出力する。
出力部109は、信号処理部102から出力された動画像信号をSDI規格に従い、デジタル信号として外部機器に出力する。操作部110は電源スイッチや撮影開始、停止を指示するスイッチ、再生スイッチ等の各種のスイッチを備える。ユーザは操作部110を操作することにより、ビデオカメラ100の動作を指示する。
タイミング生成部111は、入力端子112に供給された外部からの基準信号に従って、基準クロックを生成する。タイミング生成部111からの基準クロックは、ビデオカメラ100の各部の動作クロックとして使われる。
本実施形態では、信号処理部102は一つのLSIとして構成される。また、信号処理部102のLSIは、後述の様に、タイミング生成部111からの基準クロックを逓倍するためのPLL回路を備えている。
次に、ビデオカメラ100における基本的な記録再生処理について説明する。
操作部110により電源が投入され、撮影開始が指示されると、撮像部101が被写体を撮影し、デジタル信号として動画像信号を出力する。信号処理部102は撮影された動画像信号を圧縮し、記録再生部107に出力する。記録再生部107は、信号処理部102からの動画像信号を記録媒体108に記録する。このとき、記録再生部は、動画像信号以外に、不図示のマイクから取得され、処理された音声信号や、必要な付加情報を動画像信号と共に記録する。また、本実施形態では、記録されている動画像信号がNTSC方式なのかPAL方式なのかを示す付加情報も記録する。本実施形態では、記録媒体108としてフラッシュメモリを用いるが、他の記録媒体を用いることも可能である。
撮影停止の指示があると、信号処理部102は動画像信号の圧縮処理を停止して、記録再生部107は動画像信号の記録を停止する。本実施形態では、撮影開始から撮影停止までの間に記録された動画像信号を一つのファイルとして記録媒体108に記録する。
また、撮影時において、出力部109は、不図示のケーブルが接続された場合に、信号処理部102から出力された動画像信号を受け取り、外部機器に対してHDのビデオ信号として出力する。このとき、CPU106は、撮影中の動画像信号がNTSC方式なのかPAL方式なのかを判別し、判別結果に応じて出力部109の動作を制御する。
次に、再生時の処理を説明する。操作部110により記録媒体108に記録された動画像の再生指示があると、CPU108は、指定された動画像信号を記録媒体108から再生するように記録再生部107に指示する。記録再生部107は記録媒体108から指定された動画像信号を再生し、信号処理部102に出力する。信号処理部102は、再生された動画像信号を復号し、表示制御部104に出力する。表示制御部104は再生された動画像を表示部105に表示する。
また、信号処理部102は、再生された動画像信号を出力部109に出力する。出力部109は、不図示のケーブルが接続された場合に、信号処理部102から出力された動画像信号を受け取り、外部機器に対してHDのビデオ信号として出力する。CPU106は、再生された動画像信号の付加情報に基づいて、再生された動画像信号がNTSC方式なのかPAL方式なのかを判別し、判別結果に応じて出力部109の動作を制御する。
次に、出力部109について説明する。図2は出力部109とその周辺回路の構成を示す図である。出力部109は、前述の様に、SDI規格に従いHDのビデオ信号を出力する。また、出力部109は、CPU106からの指示に従い、NTSC方式とPAL方式の二種類のビデオ信号を切り替えて出力する。
出力部109は、ビデオ出力回路201、シリアル化回路202、ドライバ203、ラグリードフィルタ204、VCXO205から主に構成される。そして、ビデオ出力回路201は、FPGA(Field Programmable Gate Array)により構成している。
また、タイミング生成回路111は同期分離回路111a、ラグリードフィルタ111b、第1の電圧制御水晶発振器(VCXO)111cを有する。第1の発振器VCXO111cは中心周波数として27MHzの第1のクロックを発生する。VCXO111cの出力クロックはビデオカメラ100の基準クロックとして各部に供給される。
信号処理部102は、前述の様に一つのLSIで構成される。また、信号処理部102は、VCXO111cからの基準クロックを逓倍して出力するPLL回路102aを有する。また、PLL回路102aは、出力部109が出力するビデオ信号のフィールド周波数に従って、出力信号の周波数を変更する。
図2において、PLL回路102aのクロックと共に、信号処理部102から動画像信号がFIFOメモリ212に出力される。信号処理部102は、動画像信号をパラレルデータとして出力する。また、動画像信号は、輝度信号が10ビット、色差信号が10ビットのデジタルデータとして出力される。FIFOメモリ212は、信号処理部102から出力された動画像信号をPLL回路102aのクロックに同期して記憶する。
一方、タイミング生成回路111には装置外部から基準信号が供給される。この基準信号は水平同期信号の周波数に対応した同期信号を有し、同期分離回路111aは基準信号から同期信号を検出して位相比較回路207に出力する。位相比較回路207のもう一方の入力には、VCXO111cからの27MHzの基準クロックを水平同期信号の周波数となるように分周器208で分周した信号が供給される。位相比較回路207はこれら二つの入力信号の位相差を検出し、DA変換器206に出力する。DA変換器206はPWM回路で構成され、位相比較器207からの位相差の信号をアナログ電圧の信号に変換してラグリードフィルタ111bに出力する。ラグリードフィルタ111bはDA変換器206からのアナログ電圧の信号を平均化し、VCXO111cに供給する。VCXO111cは、ラグリードフィルタ111cからの電圧に応じて発信周波数が変更する。この様に、VCXO111cにより、外部からの基準信号に位相同期した基準クロックが生成される。
VCXO111cから出力された基準クロックは、信号処理部102のPLL回路102aと選択回路211のb端子とに出力される。PLL回路102aは、基準クロックの周波数を逓倍し、FIFOメモリ212への書き込みクロックを生成する。
本実施形態では、再生されたNTSC方式とPAL方式のビデオ信号を切り替えて出力する。PLL回路102aは、CPU106によりNTSC方式が選択されている場合には、基準クロックの周波数を74.17582MHzに逓倍して出力する。また、CPU106によりPAL方式が選択されている場合には、基準クロックの周波数を74.25MHzに逓倍して出力する。
また、選択回路211のa端子には、第2の発振器VCXO205からの出力信号が供給される。VCXO205は中心周波数として26.973MHzの第2のクロックを発生する。このVCXO205からのクロックの周波数は、VCXO111cからの基準クロックの周波数27MHzに対して1/1.001の関係を持つ。
選択回路211は、出力するビデオ信号の方式としてNTSC方式が選択されている場合にはa端子に接続し、VCXO205の出力信号を選択する。また、選択回路211は、PAL方式が選択されている場合にはb端子に接続し、VCXO111cの出力信号を選択する。選択回路211により選択された信号は、逓倍回路209により11逓倍され、分周器210により4分周され、ビデオ信号の出力クロックとして出力される。
選択回路211によりVCXO111cの出力信号が選択された場合には、分周器210からの出力クロックの周波数は74.25MHzとなる。また、選択回路211によりVCXO205の出力信号が選択された場合には、分周器210からの出力クロックの周波数は74.17582MHzとなる。この様に、選択回路211により何れの信号を選択した場合でも、選択回路211から出力された信号は同じ逓倍係数で逓倍される。
分周器210からの出力クロックは、FIFOメモリ212の読み出し用クロックとして供給される。また、分周器210の出力クロックは、多重回路213、シリアル化回路202、分周器215にも供給される。この様に、NTSC方式が選択されている場合にはVCXO205の出力信号を逓倍したクロックを読み出しクロックとしてFIFOメモリ212に供給する。そのため、ジッタの無い安定したビデオ信号がFIFOメモリ212から読み出される。
FIFOメモリ212から読み出されたビデオ信号は、多重回路213に供給され、他のデータと多重されてシリアル化回路202に出力される。シリアル化回路202は、多重回路213からのパラレルデータをSDI規格に応じたシリアルデータに変換する。そして、シリアル化回路202からのシリアルデータは、75Ωドライバ203を介して外部に出力される。
また、分周器215は、分周器210からの出力クロックをN分周(Nは所定数)して位相検出回路216に出力する。一方、PLL回路102aから出力されたクロックも分周器214によりN分周され、位相検出部216に出力される。
位相検出部216は、これら二つのクロックの位相差を検出し、位相差を示す信号をDA変換器218に出力する。DA変換器218はPWM回路で構成され、位相検出回路218からの位相差の信号をアナログ電圧の信号に変換してラグリードフィルタ204に出力する。ラグリードフィルタ204はDA変換器218からのアナログ電圧の信号を平均化し、VCXO205に供給する。VCXO205は、ラグリードフィルタ204からの電圧に応じて発信周波数が変更する。
ここで、74.17582=27.00×(50/91)×(60/12)となることから、PLL回路102aにおいては、例えば、27MHzのクロックから74.17582MHzのクロックを生成するためには、二段階で基準クロックを逓倍する必要がある。そのため、PLL回路102aから出力された74.17582MHzのクロックに含まれるジッタは、SDIのジッタ規格を満足することができない。従って、PLL回路102aからの出力クロックを使って、ビデオ信号を出力することができない。
一方、VCXO205、逓倍回路209、分周期210、分周器215、位相検出回路216、DA変換器218、ラグリードフィルタ204によりPLL回路が構成される。そのため、NTSC方式が選択されている場合には、分周器210からの出力クロックが信号処理部102のPLL回路102aから出力された書き込みクロックにゆっくりと追従することになる。その結果、74.17582MHzの安定した出力クロックを用いることにより、出力されるビデオ信号のジッタを削減し、SDIで既定されたジッタの規格を満足することができる。
また、FIFOメモリ212に記憶されるデータがあふれたり、或いは、不足するといったことも無い。
これに対し、PAL方式が選択されている場合、選択回路211はb端子に接続し、VCXO205からの信号を11逓倍後、4分周した74.25MHzの出力クロックがFIFOメモリ212に出力される。一方、PLL回路102aも同様に、VCXO205からの基準クロックを11逓倍後、4分周した74.25MHzの書き込みクロックを生成する。
PAL方式が選択された場合には、FIFOメモリ212の書き込みクロックと読み出しクロックは、どちらもVCXO205からの基準クロックに位相同期しており、原理的には位相ずれが発生することは無い。しかし、記録開始時等に、FIFOメモリ212に記憶されるデータがあふれる、或いは不足することが無い様に、データ量検出回路217によりFIFOメモリ212に対するデータの書き込みやデータの読み出しを制御する。
この様に、本実施形態によれば、PAL方式に対応した74.25MHzの出力クロックを生成する場合には、VCXO111cからの基準クロックを選択して逓倍する。一方、NTSC方式に対応した74.17582MHzの出力クロックを生成する場合には、VCXO205からのクロックを選択して逓倍する。そして、VCXO205のクロック周波数を基準クロックに対して1000/1001の関係、即ち、1:1.001の関係となるように設定している。
そのため、従来の様に、高い周波数を生成するVCXOを使わずに、ジッタが安定した74.25MHzと74.17582MHzのクロックを生成することができる。
また、NTSC方式のビデオ信号を出力する場合には、基準クロックを信号処理部102内のPLL回路で逓倍したクロックに対して、VCXO205からのクロックを逓倍した出力クロックをゆっくり追従させている。そのため、信号処理部102から出力されるビデオ信号に同期し、且つ、ジッタが少ないビデオ信号を出力することができる。
なお、本実施形態では、選択回路211の出力クロックを11逓倍した後、4分周したが、11/4逓倍することが可能であれば、これ以外の構成を採ることも可能である。また、本実施形態では、ビデオ出力回路201を一つのFPGAで構成したが、一般的なLSIで構成することも可能である。
また、本実施形態では、外部から入力された基準信号に対してVCXO111cの基準クロックを位相同期させているが、基準信号を入力せずに、VCXO111cを自走発振させる様にしてもよい。また、外部の基準信号に基準クロックを位相同期させる必要がなければ、VCXOではなく、水晶発振器や他の安定した発信器を用いることもできる。
また、本実施形態では、VCXO111cのクロック周波数を27MHzとしたが、これ以外にも、13.5MHz、9MHz、54MHzといった、整数比となる周波数でもよい。ただし、周波数が高い場合にはVCXOが高価になり、また、周波数が低い場合には逓倍された出力クロックに含まれるジッタ大きくなることもある。

Claims (8)

  1. 第1の発振器と、
    前記第1の発振器から出力される第1のクロックの周波数とは異なる周波数の第2のクロックを出力する第2の発振器と、
    前記第1の発振器からの第1のクロックと前記第2の発振器からの第2のクロックのうちの一方を選択する選択手段と、
    前記選択手段により選択された第1のクロックまたは第2のクロックの周波数を逓倍し、出力クロックを生成する生成手段と、
    前記第1の発振器からの第1のクロックを逓倍する逓倍回路と、
    前記逓倍回路からの出力信号と前記生成手段からの出力クロックとの位相差を検出し、前記位相差を示す信号を前記第2の発振器に出力することにより前記第2の発振器からの第2のクロックの周波数を変更する位相検出手段とを備え
    前記第1の発振器と前記第2の発振器はそれぞれ、電圧制御水晶発振器であることを特徴とする信号処理装置。
  2. 前記出力クロックを用いてビデオ信号を出力する出力手段を備えたことを特徴とする請求項1に記載の信号処理装置。
  3. 前記出力手段は、SDI規格に従って前記ビデオ信号を出力することを特徴とする請求項2に記載の信号処理装置。
  4. 前記出力手段は、前記逓倍回路からの出力信号に応じてビデオ信号を記憶し、前記出力クロックに応じてビデオ信号を出力するメモリを有することを特徴とする請求項2に記載の信号処理装置。
  5. 前記生成手段は、前記選択手段により前記第1の発振器の出力信号が選択された場合には第1の周波数の出力クロックを生成し、前記選択手段により前記第2の発振器の出力信号が選択された場合には前記第1の周波数とは異なる第2の周波数の出力クロックを生成し、
    前記逓倍回路は、前記選択手段により前記第1の発振器からの第1のクロックが選択された場合には第1の周波数の信号を出力し、前記選択手段により前記第2の発振器からの第2のクロックが選択された場合には前記第2の周波数の信号を出力することを特徴とする請求項1から4の何れか1項に記載の信号処理装置。
  6. 前記生成手段は、前記選択手段が前記第1の発振器からの第1のクロックと第2の発振器から第2のクロックの何れを選択した場合でも、同じ逓倍係数により前記選択手段からの出力信号の周波数を逓倍することを特徴とする請求項1から5の何れか1項に記載の信号処理装置。
  7. 前記第1の発振器は中心周波数が27MHzであり、前記第2の発振器は中心周波数が前記第1の発振器に対して1/1.001の関係にある周波数であることを特徴とする請求項1から6の何れか1項に記載の信号処理装置。
  8. 前記生成手段は、前記選択手段からの出力信号を11/4逓倍することにより前記出力クロックを生成することを特徴とする請求項7に記載の信号処理装置。
JP2009261129A 2009-11-16 2009-11-16 信号処理装置 Expired - Fee Related JP5495726B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009261129A JP5495726B2 (ja) 2009-11-16 2009-11-16 信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009261129A JP5495726B2 (ja) 2009-11-16 2009-11-16 信号処理装置

Publications (2)

Publication Number Publication Date
JP2011109327A JP2011109327A (ja) 2011-06-02
JP5495726B2 true JP5495726B2 (ja) 2014-05-21

Family

ID=44232351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009261129A Expired - Fee Related JP5495726B2 (ja) 2009-11-16 2009-11-16 信号処理装置

Country Status (1)

Country Link
JP (1) JP5495726B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6327121A (ja) * 1986-07-18 1988-02-04 Nec Corp クロツク回路の自動同期装置
JPH09153798A (ja) * 1995-11-29 1997-06-10 Sony Corp 可変周波数発生装置及びビデオ信号処理装置
JPH11330921A (ja) * 1998-05-14 1999-11-30 Mitsubishi Electric Corp 電圧制御発振器
TW200518484A (en) * 2003-11-26 2005-06-01 Niigata Seimitsu Co Ltd AM/FM radio receiver and local oscillation circuit using the same
JP5023930B2 (ja) * 2007-09-27 2012-09-12 沖電気工業株式会社 フレームシンクロナイザ、フレーム同期方法、およびプログラム

Also Published As

Publication number Publication date
JP2011109327A (ja) 2011-06-02

Similar Documents

Publication Publication Date Title
US20080024659A1 (en) Video signal processing apparatus and video signal processing method
US11381787B2 (en) Image capturing apparatus, method for controlling same, and non-transitory computer-readable storage medium
KR100264376B1 (ko) 디지탈 기록방식의 비디오카메라장치
KR20100094401A (ko) 동영상을 기록하는 기록 장치, 기록 방법 및 컴퓨터로 판독 가능한 기록 매체
US8233092B2 (en) Video signal processing device
JP7146574B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
US11240405B2 (en) Image capturing apparatus, control method thereof, and non-transitory computer-readable storage medium
JP5495726B2 (ja) 信号処理装置
US11689348B2 (en) Electronic apparatus and method for controlling the same, and non-transitory computer-readable storage medium
JP2010068232A (ja) 映像記録再生装置
JP7477993B2 (ja) 撮像装置及びその制御方法及びプログラム
JP7146575B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
US8345161B2 (en) Signal processing device, and image output device
JP2006191538A (ja) 圧縮ストリーム復号装置及び圧縮ストリーム復号方法
JP7374698B2 (ja) 撮像装置、制御方法およびプログラム
JP2021141531A (ja) 撮像装置及びその制御方法及びプログラム
KR100830457B1 (ko) 영상처리 시스템의 영상 복호기
JPH11284896A (ja) 撮像装置および画像記録再生装置
JP3721616B2 (ja) クロック同期装置およびクロック同期方法
JPH09215005A (ja) 標本化信号処理装置
JP2008042586A (ja) ビデオ信号処理装置
JPH06253337A (ja) タイムベースコレクタ装置
JP2010219756A (ja) 信号処理装置
JP2005065161A (ja) フォーマット変換装置および撮像装置
JP2007124165A (ja) 画像記録/送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140304

LAPS Cancellation because of no payment of annual fees