JP5132504B2 - 情報記録再生装置及び情報記録再生方法 - Google Patents

情報記録再生装置及び情報記録再生方法 Download PDF

Info

Publication number
JP5132504B2
JP5132504B2 JP2008245313A JP2008245313A JP5132504B2 JP 5132504 B2 JP5132504 B2 JP 5132504B2 JP 2008245313 A JP2008245313 A JP 2008245313A JP 2008245313 A JP2008245313 A JP 2008245313A JP 5132504 B2 JP5132504 B2 JP 5132504B2
Authority
JP
Japan
Prior art keywords
caption
information
subtitle
display
information recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008245313A
Other languages
English (en)
Other versions
JP2010081149A (ja
Inventor
和代 黒田
哲夫 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008245313A priority Critical patent/JP5132504B2/ja
Publication of JP2010081149A publication Critical patent/JP2010081149A/ja
Application granted granted Critical
Publication of JP5132504B2 publication Critical patent/JP5132504B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、情報記録再生装置に関する。
従来、動画データに含まれる字幕データを利用者が所望する要約度に変換する情報記録再生装置が知られている(例えば、特許文献1参照)。
この情報記録再生装置は、字幕データを含む動画データを放送波から受信する受信部と、動画データを再生して映像とともに字幕を表示する再生部と、利用者が所望する要約度に字幕を変換するよう指示する指示部と、指示部から指示された要約度に基づいて字幕の内容を要約する変換部とを有するため、映像とともに所望の要約度に変換された字幕データを用いて要約された字幕を表示することができる。
特開2005−136447号公報
しかし、従来の情報記録再生装置によると、利用者は、複数の要約度から所望の要約度の字幕を選択することができるが、再生速度等の動画データの再生速度を変化させる場合、再生速度に適切な要約度を利用者が判断し、手動で選択する必要があり、要約された字幕を表示するための操作手順が煩雑であるという問題がある。
従って、本発明の目的は、再生速度に応じて適切な字幕を表示することができる情報記録再生装置及び情報記録再生方法を提供することにある。
(1)本発明は、上記目的を達成するため、選択された要約度に基づいて要約字幕情報から字幕要素情報を抽出して表示処理する字幕表示処理部と、前記選択された要約度に基づいて再生速度を決定し、前記要約字幕情報を含む動画情報を前記決定された再生速度で再生する再生部とを有することを特徴とする情報記録再生装置を提供する。
)また、本発明は、上記目的を達成するため、選択された要約度に基づいて要約字幕情報から字幕要素情報を抽出して表示処理する表示処理ステップと、前記選択された要約度に基づいて再生速度を決定し、前記要約字幕情報を含む動画情報を前記決定された再生速度で再生する再生ステップとを有することを特徴とする情報記録再生方法を提供する。
上記構成によれば、選択された要約度に応じて再生速度を決定するため、例えば、要約度が高い場合には、優先順位が高い字幕情報のみを表示し、速い再生速度で動画再生し、要約度が低い場合には、優先順位の低い字幕情報を含めて多くの字幕情報を表示し、遅い再生速度で動画再生するというように、再生速度に応じて適切な字幕を表示することができる。
本発明によれば、再生速度に応じて適切な字幕を表示することができる。
以下に、本発明の情報記録再生装置の実施の形態を、図面を参照して詳細に説明する。
[第1の実施の形態]
(情報記録再生装置の構成)
図1は、本発明の第1の実施の形態に係る情報記録再生装置の構成例を示すブロック図である。
この情報記録再生装置1は、アンテナ10Aを介して放送波からトランスポートストリームを受信して選局したチャンネルのコンテンツデータを出力するチューナ10と、LCD(Liquid Crystal Display)等の表示部11と、音声信号を出力処理してスピーカ等から音声を出力する音声出力部12と、キーボード及びタッチパッドを有し操作内容に応じて操作信号を出力する操作部13と、CPU(Central Proccessing Unit)等であって各部を制御する制御部14と、SSD(Solid State Drive)やHDD(Hard Disk Drive)等であって情報を格納する記憶部15とを有する。
記憶部15は、チューナ10から受信したコンテンツデータを再生部としてデコードして表示部11の表示画面上に映像を表示処理したり、受信したコンテンツデータを動画データとして記憶部15に録画処理する制御プログラム150と、MPEG2等の規格に基づいて作成されるとともに字幕を表示するための字幕テーブル151A(字幕情報)を有する動画データ151(動画情報)と、字幕の読み上げ再生の際に用いる音声データ152と、字幕テーブル151Aの内容を要約して生成される要約字幕テーブル153(要約字幕情報)と、動画データ151に対して要約字幕テーブル153を関連づける動画テーブル154とを有する。
また、制御プログラム150は、制御部14において実行され、字幕テーブル151Aに基づいて要約字幕テーブル153を生成する要約生成部150Aと、字幕テーブル151A又は要約字幕テーブル153に基づいて表示部11の表示画面上に字幕を表示処理する字幕表示処理部150Bと、字幕テーブル151A又は要約字幕テーブル153に基づいて字幕を読み上げた音声を生成して音声出力部12から出力する字幕読上部150Cとを有する。
図2は、本発明の第1の実施の形態に係る字幕テーブルの内容例を示す概略図である。
字幕テーブル151Aは、動画データ151に含まれる情報であり、任意の記号・数字等で示される管理番号と、サブ番号と、字幕の表示が開始される動画データ151における再生開始時からの再生時刻を示す表示開始時刻と、字幕の内容を示す字幕要素データ(字幕要素情報)とを有する。
図3は、本発明の第1の実施の形態に係る要約字幕テーブルの内容例を示す概略図である。
要約字幕テーブル153aは、字幕テーブル151Aに基づいて要約生成部150Aによって生成される情報であり、任意の記号・数字等で示される管理番号と、サブ番号と、字幕の表示が開始される動画データ151における再生開始時からの再生時刻を示す表示開始時刻と、字幕として表示する優先度を示す優先度と、字幕の内容を示す字幕要素データとを有する。
図4は、本発明の第1の実施の形態に係る要約字幕テーブルの他の内容例を示す概略図である。
要約字幕テーブル153bは、要約字幕テーブル153aの他の形態であり、要約字幕テーブル153a同様に、管理番号と、サブ番号と、表示開始時刻と、字幕要素データとを有するが、要約字幕テーブル153bにおける優先順位は、要約字幕テーブル153aの優先度以下を全て含むようになっている。例えば、要約字幕テーブル153bの優先順位「3」は、要約字幕テーブル153aの優先度「1」、「2」及び「3」を含み、同様に要約字幕テーブル153bの優先順位「2」は、要約字幕テーブル153aの優先度「1」及び「2」を含む。
図5は、本発明の第1の実施の形態に係る動画テーブルの内容例を示す概略図である。
動画テーブル154は、動画データ151と字幕テーブル151A又は要約字幕テーブル153とを関連づける情報であり、任意の記号・数字等で示される管理番号と、動画データ151に含まれる番組の放送された時間帯を示す時間と、番組の放送されたチャンネルを示すチャンネルと、番組の番組名を示す番組名と、番組の動画データ名を示す番組ファイルと、要約字幕テーブル153a又は153bの管理番号に対応した要約字幕番号とを有する。なお、要約字幕番号「0」は、対応する要約字幕テーブルが存在しないか、要約字幕テーブルが対応づけられないことを示す。
図6は、本発明の第1の実施の形態に係る情報記録再生装置の表示例を示す概略図である。
倍速再生設定表示110Aは、制御プログラム150によって表示部11の表示画面上に表示されるGUI(Graphic User Interface)であり、制御プログラム150が再生する動画データ151の再生速度を選択するための再生速度選択部110aと、再生する動画データ151の字幕テーブル151Aを要約字幕テーブル153に置き換えて再生するか否かを選択するための要約表示選択部110bとを有する。なお、要約表示選択部110bがチェックされた場合、再生速度選択部110aにおいて選択された再生速度に応じて制御プログラム150によって優先順位が決定され、動画テーブル154の要約字幕番号として設定される。
図7は、本発明の第1の実施の形態に係る情報記録再生装置の字幕の表示例を示す概略図である。
倍速映像110Bは、例えば、倍速再生設定表示110Aの再生速度選択部110aにおいて「4」倍速を選択した場合に動画データ151が再生されることで表示部11の表示画面上に表示される映像であり、映像中に要約字幕テーブル153を表示処理することで表示された字幕表示110cを有する。なお、図7において、表示される字幕表示110cは、要約字幕テーブル153bの管理番号「1」で優先順位「2」の字幕要素データが表示される。
図8は、本発明の第1の実施の形態に係る情報記録再生装置の字幕の他の表示例を示す概略図である。
倍速映像110Bは、例えば、倍速再生設定表示110Aの再生速度選択部110aにおいて「10」倍速を選択した場合に動画データ151が再生されることで表示部11の表示画面上に表示される映像であり、映像中に要約字幕テーブル153を表示処理することで表示された字幕表示110cを有する。なお、図8において、表示される字幕表示110cは、要約字幕テーブル153bの管理番号「1」で優先順位「1」の字幕要素データが表示される。
(動作)
以下に、本発明の第1の実施の形態における情報記録再生装置の動作を各図を参照しつつ説明する。
まず、制御プログラム150は、起動後にチューナ10等を初期化処理し、メニュー画面を表示部11の表示画面上に表示する(図示せず)。メニュー画面において、利用者が操作部13を介してある映像の再生操作を行うと、制御プログラム150は、動画テーブル154を参照し、該当する動画データ151を取得して再生処理する。
また、メニュー画面において、利用者がある番組の録画操作を行うと、制御プログラム150は、該当する番組を録画するよう録画処理する。録画処理において、制御プログラム150は、チューナ10を介して該当する番組を受信し、受信した番組を解析して番組の動画データが字幕を含むか否かを判別する。
番組の動画データが字幕を含む場合は、要約字幕テーブル153の管理番号を参照し、最も大きい番号に1を加算した値を管理番号として生成し設定する。次に、サブ番号を「1」から昇順に後述する抽出文字列数だけ格納する。
次に、番組の動画データに含まれる字幕の文字データを一文単位で形態素解析し、単語に分割する。次に、構文解析し、品詞を判別し、主語を重要文字単語文字列として抽出し、優先度「1」として字幕要素データとともに格納する。ここで、サブ番号を「1」とする。
次に、文字データから述語を重要文字単語文字列として抽出し、優先度「1」として字幕要素データとともに格納する。ここで、例えば、サブ番号を「4」とする。
主語の表示開始時刻を元の文字データの最初の表示開始時刻とし、述語の表示開始時刻を、例えば、元の文字データの最後の表示開始時刻とする。
次に、主語と述語の次に重要度の高い文字列を抽出し、優先度「2」として字幕要素データとともに格納する。ここで、例えば、サブ番号を「2」とする。
次に、優先度2の文字列の次に重要度の高い文字列を抽出し、優先度「3」として字幕要素データとともに格納する。ここで、例えば、サブ番号を「3」とする。
次に、最初の表示開始時刻と最後の表示開始時刻との差を「抽出文字列数−1」で除算して字幕要素データの表示間隔を算出する。サブ番号「2」の表示開始時刻を最初の表示開始時刻に表示間隔を加算した値とし、サブ番号「3」の表示開始時刻をサブ番号「2」の表示開始時刻に表示間隔を加算した値とする。
図9は、本発明の第1の実施の形態に係る情報記録再生装置の動作例を示すフローチャートである。
まず、制御プログラム150は、動画データ151を再生するとき、倍速再生設定表示110Aの再生速度選択部110aにおいて選択された再生速度を取得する(S1)。
再生速度が1倍速以下である場合(S2;Yes)、字幕表示処理部150Bは、通常の字幕を表示するため字幕テーブル151Aに基づいて字幕を表示する(S3)。
再生速度が1倍速より大きく2倍速以下である場合(S4;Yes)、字幕表示処理部150Bは、優先度「1」、「2」及び「3」の字幕、つまり優先順位「3」の字幕を表示するため要約字幕テーブル153a又は153bに基づいて字幕を表示する(S5)。
再生速度が2倍速より大きく8倍速以下である場合(S6;Yes)、字幕表示処理部150Bは、優先度「1」及び「2」の字幕、つまり優先順位「2」の字幕を表示するため要約字幕テーブル153a又は153bに基づいて字幕を表示する(S7)。
再生速度が8倍速より大きい場合(S6;No)、字幕表示処理部150Bは、優先度「1」の字幕、つまり優先順位「1」の字幕を表示するため要約字幕テーブル153a又は153bに基づいて字幕を表示する(S8)。
なお、ステップS3、S5、S7及びS8において決定した優先順位は、動画テーブル154の要約字幕番号に設定される。
なお、図9において、再生速度に対して決定される優先度及び優先順位は、一例であり限定されるものではない。
(第1の実施の形態の効果)
上記した第1の実施の形態によると、再生速度選択部110aにおいて選択された再生速度に応じて字幕テーブル151A又は要約字幕テーブル153から字幕テーブルを選択するとともに、表示する字幕の優先度及び優先順位を選択するため、再生速度が速い場合には優先順位が高い字幕情報のみを表示し、再生速度が遅い場合には優先順位が低い字幕情報を含めて多くの字幕情報を表示するというように、再生速度に応じて適切な字幕を表示することができる。
なお、要約字幕テーブル153は、録画時に生成したが、録画後及び再生時に生成してもよい。
[第2の実施の形態]
図10は、本発明の第2の実施の形態に係る情報記録再生装置の表示例を示す概略図である。なお、以下の説明において、第1の実施の形態と同一の構成、及び機能を有する部分については共通の符号を付している。
字幕要約度設定表示110Cは、制御プログラム150によって表示部11の表示画面上に表示されるGUI(Graphic User Interface)であり、制御プログラム150が再生する動画データ151の字幕の要約度を選択するための要約度選択部110dと、表示する字幕を音声によって読み上げるか否かを選択するための音声読上選択部110eとを有する。なお、要約度選択部110dにおいて選択された要約度は、動画テーブル154の対応する要約字幕番号として設定される。
(動作)
図11は、本発明の第2の実施の形態に係る情報記録再生装置の動作例を示すフローチャートである。
まず、制御プログラム150は、動画データ151を再生するとき、字幕要約度設定表示110Cの要約度選択部110dにおいて選択された要約度を取得する(S10)。
要約度の指定がない場合(S11;Yes)、字幕表示処理部150Bは、通常の字幕を表示するため字幕テーブル151Aに基づいて字幕を表示する(S12)。
要約度が「低」である場合(S13;Yes)、字幕表示処理部150Bは、優先度「1」、「2」及び「3」の字幕、つまり優先順位「3」の字幕を表示するため要約字幕テーブル153a又は153bに基づいて字幕を表示する(S14)。
要約度が「中」である場合(S15;Yes)、字幕表示処理部150Bは、優先度「1」及び「2」の字幕、つまり優先順位「2」の字幕を表示するため要約字幕テーブル153a又は153bに基づいて字幕を表示する(S16)。
要約度が「高」である場合(S15;No)、字幕表示処理部150Bは、優先度「1」の字幕、つまり優先順位「1」の字幕を表示するため要約字幕テーブル153a又は153bに基づいて字幕を表示する(S17)。
なお、ステップS12、S14、S16及びS17において決定した優先順位は、動画テーブル154の要約字幕番号に設定される。
なお、図11において、要約度に対して決定される優先度及び優先順位は、一例であり限定されるものではない。
(第2の実施の形態の効果)
上記した第2の実施の形態によると、要約度選択部110dにおいて選択された要約度に応じて字幕テーブル151A又は要約字幕テーブル153から字幕テーブルを選択するとともに、表示する字幕の優先度及び優先順位を選択するため、要約度が高い場合には優先順位が高い字幕情報のみを表示し、速い再生速度で動画再生し、要約度が低い場合には優先順位が低い字幕情報を含めて多くの字幕情報を表示し、遅い再生速度で動画再生するというように、再生速度に応じて適切な字幕を表示することができる。
なお、要約度が高い場合には再生速度を速く、優先度が低い場合には再生速度を遅くするというように、要約度に応じて再生速度を変化させてもよい。
また、実施の形態において、制御プログラム150、要約生成部150A、字幕表示処理部150B及び字幕読上部150Cは、ソフトウェアによる構成を示したが、ASIC(Application Specific Integrated Circuit)等を用いたハードウェアで構成してもよい。
本発明の第1の実施の形態に係る情報記録再生装置の構成例を示すブロック図である。 本発明の第1の実施の形態に係る字幕テーブルの内容例を示す概略図である。 本発明の第1の実施の形態に係る要約字幕テーブルの内容例を示す概略図である。 本発明の第1の実施の形態に係る要約字幕テーブルの他の内容例を示す概略図である。 本発明の第1の実施の形態に係る動画テーブルの内容例を示す概略図である。 本発明の第1の実施の形態に係る情報記録再生装置の表示例を示す概略図である。 (a)〜(c)は、本発明の第1の実施の形態に係る情報記録再生装置の字幕の表示例を示す概略図である。 (a)、(b)は、本発明の第1の実施の形態に係る情報記録再生装置の字幕の他の表示例を示す概略図である。 本発明の第1の実施の形態に係る情報記録再生装置の動作例を示すフローチャートである。 本発明の第2の実施の形態に係る情報記録再生装置の表示例を示す概略図である。 本発明の第2の実施の形態に係る情報記録再生装置の動作例を示すフローチャートである。
符号の説明
1…情報記録再生装置、10…チューナ、10A…アンテナ、11…表示部、12…音声出力部、13…操作部、14…制御部、15…記憶部、110A…倍速再生設定表示、110B…倍速映像、110C…字幕要約度設定表示、110a…再生速度選択部、110b…要約表示選択部、110c…字幕表示、110d…要約度選択部、110e…音声読上選択部、150…制御プログラム、150A…要約生成部、150B…字幕表示処理部、150C…字幕読上部、151…動画データ、151A…字幕テーブル、152…音声データ、153…要約字幕テーブル、153a…要約字幕テーブル、153b…要約字幕テーブル、154…動画テーブル

Claims (6)

  1. 選択された要約度に基づいて要約字幕情報から字幕要素情報を抽出して表示処理する字幕表示処理部と、
    前記選択された要約度に基づいて再生速度を決定し、前記要約字幕情報を含む動画情報を前記決定された再生速度で再生する再生部とを有することを特徴とする情報記録再生装置。
  2. 記字幕表示処理部は、前記選択された要約度に基づいて前記再生速度を決定し、前記複数の字幕要素情報から前記決定された要約度の前記字幕要素情報を抽出することを特徴とする請求項1に記載の情報記録再生装置。
  3. 前記要約字幕情報の前記字幕要素情報を音声によって読み上げる字幕読上部をさらに有することを特徴とする請求項1に記載の情報記録再生装置。
  4. 選択された要約度に基づいて要約字幕情報から字幕要素情報を抽出して表示処理する表示処理ステップと、
    前記選択された要約度に基づいて再生速度を決定し、前記要約字幕情報を含む動画情報を前記決定された再生速度で再生する再生ステップとを有することを特徴とする情報記録再生方法。
  5. 前記表示処理ステップは、前記選択された要約度に基づいて前記再生速度を決定し、前記複数の字幕要素情報から前記決定された要約度の前記字幕要素情報を抽出することを特徴とする請求項4に記載の情報記録再生方法。
  6. 前記要約字幕情報の前記字幕要素情報を音声によって読み上げる字幕読上ステップをさらに有することを特徴とする請求項4に記載の情報記録再生方法。
JP2008245313A 2008-09-25 2008-09-25 情報記録再生装置及び情報記録再生方法 Expired - Fee Related JP5132504B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008245313A JP5132504B2 (ja) 2008-09-25 2008-09-25 情報記録再生装置及び情報記録再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008245313A JP5132504B2 (ja) 2008-09-25 2008-09-25 情報記録再生装置及び情報記録再生方法

Publications (2)

Publication Number Publication Date
JP2010081149A JP2010081149A (ja) 2010-04-08
JP5132504B2 true JP5132504B2 (ja) 2013-01-30

Family

ID=42211119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008245313A Expired - Fee Related JP5132504B2 (ja) 2008-09-25 2008-09-25 情報記録再生装置及び情報記録再生方法

Country Status (1)

Country Link
JP (1) JP5132504B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112013001383B1 (pt) * 2010-07-20 2021-12-21 Interdigital Madison Patent Holdings Método para apresentar conteúdo durante operações de modos de truque
WO2016167187A1 (ja) * 2015-04-13 2016-10-20 ソニー株式会社 送信装置、送信方法、再生装置および再生方法
WO2017047540A1 (ja) * 2015-09-16 2017-03-23 ソニー株式会社 送信装置、送信方法、再生装置および再生方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08203255A (ja) * 1995-01-24 1996-08-09 Toshiba Corp 情報提供制御装置及び情報提供制御方法
JP2008048297A (ja) * 2006-08-21 2008-02-28 Sony Corp コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置
JP2008141693A (ja) * 2006-12-05 2008-06-19 Matsushita Electric Ind Co Ltd コンテンツ再生装置及びコンテンツ再生方法

Also Published As

Publication number Publication date
JP2010081149A (ja) 2010-04-08

Similar Documents

Publication Publication Date Title
US20050180462A1 (en) Apparatus and method for reproducing ancillary data in synchronization with an audio signal
JP4635891B2 (ja) 情報処理装置および方法、並びにプログラム
JP2009177411A (ja) 電子機器および画像表示方法
US20060008258A1 (en) Device and method for reproducing compressed information
JP5128690B2 (ja) インタラクティブグラフィックストリームを記録した情報記録媒体の再生装置
JPWO2010073355A1 (ja) 番組データ処理装置、方法、およびプログラム
JP2010245853A (ja) 動画インデクシング方法及び動画再生装置
JP5132504B2 (ja) 情報記録再生装置及び情報記録再生方法
JP2009016910A (ja) 映像再生装置及び映像再生方法
JP2006033841A (ja) デジタル再生のための画面探索方法及び画面探索装置
KR100700814B1 (ko) 디지털 비디오 기기에서의 텍스트 파일 재생장치 및 방법
JP2007267259A (ja) 画像処理装置およびファイル再生方法
JP4191221B2 (ja) 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム
US20050094973A1 (en) Moving picture reproducing apparatus in which player mode information is set, reproducing method using the same, and storage medium
US20060263062A1 (en) Method of and apparatus for setting video signal delimiter information using silent portions
JP2006332765A (ja) コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体
JP2007243842A (ja) 情報再生装置および情報再生方法
JP2006331479A (ja) オーディオ再生装置
KR20150055921A (ko) 동영상 재생 제어 방법 및 장치
JP2005251340A (ja) 再生装置
JP2006157108A (ja) 映像記録再生装置
JP2009260650A (ja) 記録再生装置及び画面表示方法
JP2008269460A (ja) 動画シーン種別判定装置及び方法
JP2007221814A (ja) 再生装置、記録媒体、及びこれらを用いた文字表示方法
JP2007329605A (ja) 再生装置及び台詞検索方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees