JP4767097B2 - 再生装置 - Google Patents

再生装置 Download PDF

Info

Publication number
JP4767097B2
JP4767097B2 JP2006166354A JP2006166354A JP4767097B2 JP 4767097 B2 JP4767097 B2 JP 4767097B2 JP 2006166354 A JP2006166354 A JP 2006166354A JP 2006166354 A JP2006166354 A JP 2006166354A JP 4767097 B2 JP4767097 B2 JP 4767097B2
Authority
JP
Japan
Prior art keywords
time
bit rate
read
packet
packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006166354A
Other languages
English (en)
Other versions
JP2007336292A (ja
Inventor
鶴美 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2006166354A priority Critical patent/JP4767097B2/ja
Publication of JP2007336292A publication Critical patent/JP2007336292A/ja
Application granted granted Critical
Publication of JP4767097B2 publication Critical patent/JP4767097B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Description

本発明は、記録媒体に格納されているTSパケットを読み出して再生する再生装置に関する。
衛星(CS,BS)や地上波を用いたディジタル放送を受信するディジタル放送受信装置は、専用のアンテナや地上波用アンテナを通して受け取った複数の放送波のなかから任意の放送波をチューナによって選択し、この選択した放送波におけるトランスポートストリーム(TS)のなかから任意のTSパケットをデマルチプレクス処理によって取り出し、この取り出したTSパケットをデコードすることによって映像音声信号を出力する。また、かかるディジタル放送においては、番組の映像音声の放送の他にデータ放送が行われることもある。
そして、受信した放送を録画する場合、受信したトランスポートストリームの全TSパケットを記録することも考えられるが、データ量の削減の観点から、不要なTSパケットを除外して記録することが提案されている。不要なTSパケットとしては、例えば、ビットレート調整のために挿入されているNULLパケットや、視聴していないサービスを構成するTSパケットなどがある。また、番組情報(PSI/SI)を記録しない仕様の機器であれば、番組情報を構成するTSパケットも不要パケットになる。
ところで、上記のごとく不要パケットを除外して録画ファイルを作成した場合、この録画ファイルを受信時のビットレートで再生すると、放送受信時に比べてTSパケットを読み出すタイミングが早くなる。
映像・音声・字幕データなどのパケットには、それぞれのフレームを提示するタイミング情報(PTS)が記述されているので、TSパケットを読み出す時間間隔がずれても正しいタイミングでこれらパケットを処理する。
しかしながら、データ放送においては、特に時間指定をしない限り、データ放送を構成するTSパケットを受け取った時点でデコードを行う。一般的には時間指定をしないで放送されことが多く、また、イベントメッセージと呼ばれる情報は時間指定をすることができず、処理したタイミングでメッセージが表示される。このため、データ放送も含めて正しいタイミングで再生提示を行うためには、録画ファイルのTSパケット読出を、記録したときと同じ時間間隔で行う必要がある。
上記問題点を解決する技術として、特許文献1(ストリーム処理装置)及び特許文献2(デジタル放送受信装置、及びデジタル放送同期再生装置)で開示される技術が知られている。具体的には、かかる技術は、受信したTSパケットにタイムスタンプを付加して記録する技術である。このように、タイムスタンプを付加することで、パケットを除外して記録した場合でも、再生時のTSパケットの読出間隔を、受信時と同じようにすることができる。
特開2003−78875号公報 特開2004−40579号公報
しかしながら、上記従来の技術では、前記タイムスタンプを付加するから、その分、記録するデータ量が増大してしまう。
この発明は、上記の事情に鑑み、トランスポートストリーム中の不要パケットを記録から除外し且つタイムスタンプを付加しないで作成された録画ファイルの再生において、データ放送も含めて正しいタイミングで再生提示できる再生装置を提供することを目的とする。
この発明の再生装置は、上記の課題を解決するために、記録媒体に格納されているTSパケットを読み出して再生する再生装置において、TSパケットのうち時間情報を持つTSパケットから前記時間情報を取得して第1の時間を計測する第1時間計測部と、内部クロックに基づいて第2の時間を計測する第2時間計測部と、前記第1の時間と前記第2の時間との差分を求める手段と、予測ビットレートに基づいてTSパケットの読出速度を制御すとともに、TSパケットの読み出しのタイミングを前記差分で示される時間によって調整する読出制御手段と、を備えたことを特徴とする(以下、この項において第1構成という)。
上記の構成であれば、前記読出制御手段によって、前記差分で示される時間、TSパケットの読み出しのタイミングが調整されるので、トランスポートストリーム中の不要パケットを記録から除外し且つタイムスタンプを付加しないで作成された録画ファイルの再生において、データ放送も含めて正しいタイミングで再生提示できることになる。
前記第1構成において、記録媒体から受信時の変調方式を知得できた場合に、この変調方式に基づいて前記予測ビットレートを得ることとしてもよい。或いは、前記第1構成において、前記予測ビットレートは固定的に設定されていてもよい。
これら構成の再生装置において、前記第1の時間を、記録媒体から読み出したTSパケットの総数で除算していくことにより平均読出ビットレートを順次算出していく手段を備え、前記読出制御手段は、再生当初は前記予測ビットレートを採用し、その後に前記平均読出ビットレートが得られたときには当該平均読出ビットレートに基づいてTSパケットの読出速度を制御することとしてもよい。
ここで、仮に受信時と同等のビットレートでTSパケットを読み出したとすると、前記差分(待ち時間)は長くなり、読出を行っている状態と待機状態とが間欠的に発生することになる。これに対し、上記平均読出ビットレートを用いる構成であれば、当該平均読出ビットレートに基づいてTSパケットの読出速度を制御するので、前記差分(待ち時間)を極力小さくすることができ、理想的には一定間隔でTSパケットを読み出せばよいことになる。
これら構成の再生装置において、ディジタル放送を受信する受信部と、受信したディジタル放送におけるトランスポートストリーム中の一部のTSパケットを記録媒体に記録する手段と、を備えていてもよい。
この発明によれば、トランスポートストリーム中の不要なTSパケットを記録から除外し且つタイムスタンプを付加しないで作成された録画ファイルの再生において、データ放送も含めて正しいタイミングで再生提示できるという効果を奏する。
以下、この発明の実施形態の再生装置であるTV視聴機能付き携帯電話を図1乃至図5に基づいて説明する。
図1において、チューナ21は、例えば、地上ディジタル放送を受信し、特定周波数の信号を取り出す。また、チューナ21は、復調回路、逆インタリーブ回路、誤り訂正回路などを備えることにより、選択したディジタル変調信号を復調してトランスポートストリーム(TS)を出力する。
録画ファイル格納部22には、例えば、受信した番組(トランスポートストリーム)が録画ファイルとして格納される。録画ファイル格納部22の図示しない記録部は、チューナ21からトランスポートストリームを受けって記録媒体に記録するとき、不要なTSパケットを除外して記録することができる。
TS読出制御部23は、受信時においては、前記チューナ21から出力されるトランスポートストリームを選択し、再生時においては、前記録画ファイル格納部22から読み出した録画ファイル(トランスポートストリーム)を選択する。選択したトランスポートストリーム(TSパケット)は、デマルチプレクサ(DEMUX)に供給される。TS読出制御部23の詳細については、後で説明する。内部PCRカウンタ24は、最初に再生されたPCRパケットのPCR値をスタート値としてカウントを開始する(第2の時間生成)。内部PCRカウンタ24の動作クロックはPCRのクロック(27MHz)に一致する。
デマルチプレクサ1は、前記トランスポートストリームを、例えばMPEG4(Moving Picture Experts Group4)或いはH.264のビデオストリームやオーディオストリームなどのストリームと、セクションデータとに分離する。セクションフィルタ9は、前記セクションデータをPSI/SI(Program Specific Information/Service Information)とデータカルーセルとに分離する。
オーディオデコーダ4は、デマルチプレクサ1から出力されたTSパケットを復号し更にD/A変換して音声信号を生成し、この音声信号を音声出力部(スピーカ等)5に供給する。ビデオデコーダ2は、入力されたTSパケットを復号して量子化係数や動きベクトルを求め、逆DCT変換や動きベクトルに基づく動き補償制御などを行って映像データを出力する。スケーラ3は前記映像データを入力し、画像の大きさや解像度などを調整する。字幕デコーダ6はストリーム中の字幕データを復号して文字データを生成する。
PSI/SI処理部10はPSI/SIを入力し、EPG(Electronic Program Guide)等に利用できるように加工処理を行う。SI格納メモリ11は、前記PSI/SIの加工情報を格納する。データカルーセル受信処理部12は、セクションフィルタ9で分離されたデータカルーセルを処理してデータ放送コンテンツを取得し、コンテンツバッファ15に供給する。コンテンツバッファ15は、データ放送コンテンツを一時的に記憶すると共に、更新されたデータ放送コンテンツの上書き処理等を行う。
BMLブラウザ16はデータ放送の表示において起動される。番組連動型のデータ放送におけるデータ表示は、例えば、図示しないリモコン送信機に設けられたデータ放送表示キー(dキー)が押下されたことを検出したとき行われる。データ放送においては、最初にエントリーコンポーネントに入れられているスタートアップモジュール(moduleID=0)の取得が試みられ、得られたスタートアップ文書に基づいて画面作成が行われる。そして、ユーザがスタートアップ画面上の各種ボタン(「天気予報」「ニュース」等)を操作することで下位階層の表示が実行される。
また、BMLブラウザ16は表示すべき文書(データ)をコンテンツバッファ15に要求する。コンテンツバッファ15は要求されたデータが存在すればそのデータを読み出してBMLブラウザ16に渡す。要求されたデータが無ければデータカルーセル受信処理部12がトランスポートストリームから取り出す。なお、データカルーセル受信処理部12はDSM−CC(digital storage media command and control )方式で送られてくるデータを取り出す。
フレームメモリ7は、前記スケーラ4からの受信画像データ、字幕デコーダ6からの字幕データ、BMLブラウザ16からのデータを入力し、各プレーンを生成して合成し、この合成映像データを映像出力部(液晶ディスプレイ等)8に供給する。
TS読出制御部23は、録画ファイル格納部22からTSパケットを読み出すとき、この読出速度を後述する予測ビットレート(2)に基づいて調整する。また、読み出したTSパケットがPCRパケットかどうかを判断し、最初のPCRパケットの場合、内部PCRカウンタ24の初期化を行う。読み出したTSパケットが2番目以降のPCRパケットの場合、このPCRパケットのPCR値と内部PCRカウンタ24の値との差異を検出し、次のTSパケットの読み出しまでの時間を調整するとともに、平均読出ビットレートを計算して、平均読出間隔を調整する。
CPU25は、上述した放送受信部を制御する他、携帯電話部27の制御も行う。操作部26には、電源ON/OFFボタン、十字キー(矢印キー)、数値キー、テレビONキー、録画/再生キーなどが配置されている。
図2はTS読出制御部23が使用する変数テーブルの構成(作業テーブル)を示した説明図である。なお、ここではPCRパケットを利用した再生制御方法(録画ファイル格納部22からのデータ読出制御)を説明していくが、TOTパケットによる実時間情報を利用して同様の制御を行うこともできる。
TS読出制御部23は、録画ファイル格納部22からTSパケットの読出を開始した後、最初に読み出したPCRパケットが持っている値を、開始時PCR値(1)として保存する。この開始時PCR値(1)は、以後の基準時間となるものである。
予測ビットレート(2)は、録画ファイル格納部22からTSパケットを読み出すときのビットレートの予測値である。この実施例では、再生当初は受信した放送の変調方式に基づいて設定することとするが、再生開始後は後述する平均読出ビットレートによって更新する。すなわち、平均読出ビットレートが予測ビットレート(2)となる。総TSパケット数(3)は、これまでに読み出したTSパケットの総数である。TS読出制御部23は、読み出しを開始して以降、TSパケットの数をカウントしていく。このカウント値が総TSパケット数(3)となる。
TS読出制御部23は、録画ファイル格納部22からTSパケットの読み出しを開始した後、2番目以降に読み出したPCRパケットが持っている値と、前記開始時PCR値(1)との差分を求める。この差分が読出経過時間(4)となる。PCRパケットは放送局の基準クロックを示しており、前記読出経過時間(4)を得ることで、TSパケット受信時に実際に経過した時間を知ることができる。
TS読出制御部23は、前記総TSパケット数(3)を前記読出経過時間(4)で除算することにより、録画されているTSパケットの平均読出ビットレートを求める。TSパケットは、例えば、188バイトの主パケットに16バイトの符号が付加されたものである。TS読出制御部23は、以降のTSパケットの読出速度を前記平均読出ビットレートに近づけるように制御する。
平均読出間隔(5)は、TSパケットの読出間隔(平均)を示し、前記予測ビットレート(2)(平均読出ビットレート)に基づいて計算される。
次の読出間隔(6)は、次のTSパケットの読出間隔のための補正値である。PCRパケットを読み出したときに、このPCRパケットのPCR値(第1の時間)と内部PCRカウンタ24の値(第2の時間)との差分によって計算される。ここで、仮に、平均読出ビットレートを算出せずに、受信時のビットレートでTSパケットを読み出したとすると、次の読出間隔(6)は長くなり、読出を行っている状態と次の読出まで待機を行う状態とが間欠的に発生することになる。これに対し、PCRパケットを読み出すたびに平均読出ビットレートを算出し、これに基づいてTSパケットを読み出すこととすれば、次の読出間隔(6)を極力小さくすることができ、理想的には平均読出間隔(5)によって一定間隔でTSパケットを読み出せばよいことになる。ただし、記録されない(除外される)パケットの分布は一様ではないため、PCRパケットを読み出したとき、そのPCR値と内部PCRカウンタ24の値とには幾分の差異が生じることになる。
次に、図3乃至図5のフローチャートに基づいてTS読出制御部23の処理内容を更に説明していく。まず、TS読出制御部23は、初期処理を行う(ステップS1)。初期処理には作業メモリのクリアなどがある。初期化が終了したら、TS読出制御部23は、放送受信であるのかファイル再生であるのかを判断する(ステップS2)。ファイル再生であれば、録画ファイルをオープンし(ステップS3)、作業テーブル(図2参照)を初期化する(ステップS4)。この初期化の一例として、予測ビットレート(2)を416000bpsとし、平均読出間隔(4)を3.923msecとし、次の読出間隔(6)を±0としている。これらの値は、携帯受信機向けの放送であるワンセグ放送において、変調方式がQPSK2/3であるとしたときの値に対応している。チューナ21は方送受信時に変調方式を知ることができるので、放送の録画時に前記変調方式もファイルに記録しておき、ファイル再生時に前記変調方式を知って前記作業テーブルの値を設定することができる。或いは、仮に変調方式が固定的であるのなら、予測ビットレート(2)も固定的に設定しておいてもよい。更に、変調方式で求まるビットレートの例えば95%の値を予測ビットレートとすることも可能である。作業テーブルのなかで前述した変数以外の変数の値はクリアする。
ステップS2で放送受信と判断されたら、チューナ21を初期化する。そして、ステップS6で放送受信と判断されたら、チューナ21から次のTSパケットを読み出し(ステップS10)、このTSパケットをデマルチプレクサ1に渡す(ステップS11)。
ステップS6でファイル再生と判断されたら、録画ファイル格納部23から次のTSパケットを読み出し(ステップS7)、総TSパケット数に1を加算し(ステップS8)、読み出したTSパケットをデマルチプレクサ1に渡す(ステップS9)。
次に、上記TSパケットがPCRパケットかどうかを判断する(ステップS20)。PCRパケットでなければ処理をステップS40に移す。PCRパケットであるならば、最初に再生されたPCRパケットかどうかを判断する(ステップS21)。最初のPCRパケットであるならば、そのPCR値を内部PCRカウンタ24にセットする(ステップS22)。また、同様に、そのPCR値を開始時PCR値(1)として前記作業テーブルに書き込む(ステップS23)。そして、総TSパケット数(3)及び読出経過時間(4)をクリアする(ステップS24)。
最初のPCRパケットでないならば、このPCRパケットのPCR値と前記開始時PCR値(1)との差分を求め、読出経過時間(4)を得る(ステップS30)。そして、総TSパケット数(3)を読出経過時間(4)で除算して新たな平均読出ビットレートを算出し、これを予測ビットレート(2)として作業テーブルを更新する(ステップS31)。更に、新たな平均読出間隔(5)を算出し、作業テーブルを更新する(ステップS32)。次に、当該TSパケット(PCRパケットではあるが最初ではない)のPCR値と内部PCRカウンタ24のカウント値との差分をとり(ステップS33)、この差分と平均読出間隔(5)との差を次の読出間隔(6)として、作業テーブルを更新する(ステップS34)。前記差分と平均読出間隔(5)とが同じ値であれば、次の読出間隔(6)の値は±0となる。
前記ステップS24の後、及びステップS34の後には、次の読出間隔(6)を参照し(ステップS40)、次の読出間隔(6)の設定が有るかどうかを判断する(ステップS41)。すなわち、次の読出間隔(6)の値がゼロかどうかを判断する。次の読出間隔(6)の値がゼロであれば、処理をステップS45に移す。一方、次の読出間隔(6)の値がゼロでなければ、負の値かどうかを判断する(ステップS42)。負の値であれば、処理をステップS50に移す。負の値でなければ(すなわち、正の値)、次の読出間隔(6)だけ待ち(ステップS43)、前記次の読出間隔(6)をクリアし(ステップS44)、更に平均読出間隔(5)だけ待ち(ステップS45)、処理をステップS50に移す。
ステップS50では、終了かどうかを判断する。終了でなければ、処理をステップS6に移す。終了であれば、現在動作が再生かどうかを判断し(ステップS51)、再生であれば、録画ファイルをクローズし(ステップS52)、放送受信であればチューナ21を停止する(ステップS53)。
なお、上記実施例では、TV視聴機能付き携帯電話を示したが、これに限るものではなく、車載型或いは固定設置型の再生装置(ディジタル放送受信機能を備えてもよい)とすることもできる。また、録画ファイル格納部22は、メモリカードなどの着脱自在な構成を有していてもよい。また、上記実施例では、平均読出ビットレートに基づいて読出速度を制御したが、この平均読出ビットレートの算出は必須ではない。例えば、先述のごとく、変調方式で求まるビットレートの例えば95%の値を予測ビットレートとし、この予測ビットレートで再生処理を最後まで実行していくこととしてもよい。
この発明の実施形態の再生装置(TV視聴機能付き携帯電話)を示すブロック図である。 作業テーブルを示した説明図である。 処理内容を示したフローチャートである。 処理内容を示したフローチャートである。 処理内容を示したフローチャートである。
符号の説明
1 デマルチプレクサ(DEMUX)
21 チューナ
22 録画ファイル格納部
23 TS読出制御部
24 内部PCRカウンタ

Claims (5)

  1. 記録媒体に格納されているTSパケットを読み出して再生する再生装置において、記録媒体から読み出したTSパケットのうち時間情報を持つTSパケットから前記時間情報を取得して第1の時間を計測する第1時間計測部と、内部クロックに基づいて第2の時間を計測する第2時間計測部と、前記第1の時間と前記第2の時間との差分を求める手段と、予測ビットレートに基づいてTSパケットの読出速度を制御するとともに、TSパケットの読み出しのタイミングを前記計測により得られる第1の時間と前記第2の時間との差分で示される時間によって調整する読出制御手段と、を備えたことを特徴とする再生装置。
  2. 請求項1に記載の再生装置において、記録媒体から受信時の変調方式を知得できた場合に、この変調方式に基づいて前記予測ビットレートを得ることを特徴とする再生装置。
  3. 請求項1に記載の再生装置において、前記予測ビットレートは固定的に設定されていることを特徴とする再生装置。
  4. 請求項1乃至請求項3のいずれかに記載の再生装置において、前記第1の時間を、記録媒体から読み出したTSパケットの総数で除算していくことにより平均読出ビットレートを順次算出していく手段を備え、前記読出制御手段は、再生当初は前記予測ビットレートを採用し、その後に前記平均読出ビットレートが得られたときには当該平均読出ビットレートに基づいてTSパケットの読出速度を制御することを特徴とする再生装置。
  5. 請求項1乃至請求項4のいずれかに記載の再生装置において、ディジタル放送を受信する受信部と、受信したディジタル放送におけるトランスポートストリーム中の一部のTSパケットを記録媒体に記録する手段と、を備えたことを特徴とする再生装置。
JP2006166354A 2006-06-15 2006-06-15 再生装置 Expired - Fee Related JP4767097B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006166354A JP4767097B2 (ja) 2006-06-15 2006-06-15 再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006166354A JP4767097B2 (ja) 2006-06-15 2006-06-15 再生装置

Publications (2)

Publication Number Publication Date
JP2007336292A JP2007336292A (ja) 2007-12-27
JP4767097B2 true JP4767097B2 (ja) 2011-09-07

Family

ID=38935333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006166354A Expired - Fee Related JP4767097B2 (ja) 2006-06-15 2006-06-15 再生装置

Country Status (1)

Country Link
JP (1) JP4767097B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4266427B2 (ja) * 1999-03-05 2009-05-20 キヤノン株式会社 記録再生装置、記録再生方法及びコンピュータ読み取り可能な記憶媒体
JP2001339688A (ja) * 2000-05-30 2001-12-07 Nec Corp トランスポートストリーム再生装置
JP4241220B2 (ja) * 2003-06-30 2009-03-18 株式会社東芝 ディジタル記録再生装置及び再生レート制御方法

Also Published As

Publication number Publication date
JP2007336292A (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
CN102113339B (zh) 数字广播再现装置和数字广播再现方法
KR20060008023A (ko) 영상기기 및 그 제어방법
US7436459B2 (en) Digital broadcast receiving apparatus and method for receiving digital broadcast
AU2006201090A1 (en) Digital broadcasting recording/reproducing apparatus and method for the same
JP4357449B2 (ja) 録画再生装置の制御方法
US8736771B2 (en) Display apparatus, communication apparatus, displaying method and program recording medium
US20090019513A1 (en) Method and apparatus for changing channel in digital broadcasting receiver
JP4767097B2 (ja) 再生装置
JP3548113B2 (ja) 受信装置及び画像再生方法
JP2008109175A (ja) テレビ受信機能付き通信機器
JP5244764B2 (ja) デジタル放送受信装置及びプログラム
JP2003163849A (ja) 受信装置および方法
KR101053699B1 (ko) 디지털 방송의 녹화장치 및 방법
EP1542232A1 (en) Information recording and reproducing apparatus and information recording method
JP4799152B2 (ja) 可搬型放送受信装置
JP5016335B2 (ja) 再生装置、および、再生方法
JP4552200B2 (ja) デジタル放送受信装置
US20090064263A1 (en) Broadcast-receiving apparatus and method of outputting data by a broadcast-receiving apparatus
JP2008061061A (ja) 録画再生装置
JP2008252832A (ja) 受信装置、データストリーム出力装置、放送システム、受信装置の制御方法、データストリーム出力装置の制御方法、制御プログラムおよび記録媒体
JP2004128884A (ja) ディジタル放送受信装置
JP2013174798A (ja) 映像再生装置、映像再生方法及び映像符号化方法
JP2003037794A (ja) デジタル放送受信再生装置
JP5571220B2 (ja) デジタル放送受信装置、デジタル放送受信装置における出力方法及びプログラム
KR100871239B1 (ko) 디지털 멀티미디어 방송의 영상 재생 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080801

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110614

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4767097

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees