JP4804415B2 - 信号処理装置及び信号処理方法 - Google Patents

信号処理装置及び信号処理方法 Download PDF

Info

Publication number
JP4804415B2
JP4804415B2 JP2007123409A JP2007123409A JP4804415B2 JP 4804415 B2 JP4804415 B2 JP 4804415B2 JP 2007123409 A JP2007123409 A JP 2007123409A JP 2007123409 A JP2007123409 A JP 2007123409A JP 4804415 B2 JP4804415 B2 JP 4804415B2
Authority
JP
Japan
Prior art keywords
content data
processing
conversion
signal processing
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007123409A
Other languages
English (en)
Other versions
JP2008283268A (ja
JP2008283268A5 (ja
Inventor
大輔 高柳
俊太郎 荒谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007123409A priority Critical patent/JP4804415B2/ja
Priority to US12/116,374 priority patent/US7890977B2/en
Publication of JP2008283268A publication Critical patent/JP2008283268A/ja
Publication of JP2008283268A5 publication Critical patent/JP2008283268A5/ja
Priority to US12/985,705 priority patent/US20110096229A1/en
Application granted granted Critical
Publication of JP4804415B2 publication Critical patent/JP4804415B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、蓄積されたコンテンツデータをアップコンバート(高品質化)する信号処理装置及び信号処理方法に関する。
現在、日本のデジタル放送で採用されているHD(High Definition)規格の最大有効画素数は1920×1080となっている。また、さらに多くの画素数を有するスーパーハイビジョン(SHD:Super High Definition)やウルトラハイビジョン(UHD:Ultra−High Definition)と呼ばれる高精細コンテンツ関連技術が日本放送協会等で研究されている。SHD(又はUHD)の最大有効画素数は7680×4320(8k×4k)であり、HD規格を大幅に上回る。また、4096×2160(4k×2k)の映像フォーマットを有するデジタル・シネマの開発も進められている。音質についても、現状の5.1チャンネルのサラウンド技術よりも高品質な3次元音響を実現する22.2マルチチャンネルシステムに関する研究が進められている。
近年、従来のSD(Standard Definition)画質の映像を高画質化(高品質化)する技術や、低音質な音声を高音質化(高品質化)する技術の研究が進められている。複雑なアルゴリズムを用いて、よりリアルで迫力のある映像・音声を実現する様々なアップコンバート処理(高品質化処理)に関する技術も提案されている。
例えば、クラス分類適応処理を用いてSD映像をHD映像に高画質化する技術が提案されている(例えば、特許文献1参照)。また、音声データをフォーマット変換して微妙な音やニュアンスまで再現する高音質化技術に関する提案がされている(例えば、特許文献2参照)。
ここで、アップコンバート処理の方法としては、コンテンツデータを再生しながらリアルタイムに処理する方法と、リアルタイムではなく時間をかけて処理する方法とに大きく分けられる。
現在、一般的なデジタルテレビ受信機等に搭載されている画質補正や音質補正等の処理負荷の比較的小さな処理は、放送信号を受信しながらリアルタイムに処理される。
これに対して、将来的には、処理負荷が大きいためリアルタイムな処理が実質的に困難な高品質化(高画質化及び高音質化)処理を行う機能が、デジタルテレビ受信機やその他の周辺機器に搭載されることが想定される。処理負荷の大きなアップコンバート処理を行う場合は、リアルタイム処理が難しいため、コンテンツデータを一旦記録媒体に蓄積し、蓄積したコンテンツデータに対して時間をかけてアップコンバート処理を行う。このような場合、アップコンバート処理に要する時間が長いと、ユーザがコンテンツデータを再生したいときに、アップコンバート処理が済んでいないために再生できないという問題が生じ得る。特に、複数のコンテンツデータを順にアップコンバートする場合、ユーザが所望するコンテンツの処理順位が後ろの方の場合は、所望するコンテンツのアップコンバート処理が直ぐに実行されないという問題が生じる。そこで、例えば、ユーザの嗜好度を反映させて、ユーザの所望するコンテンツを優先してアップコンバート処理する方が好ましい。
ユーザの嗜好度に関連する技術としては、例えば、ユーザの嗜好度が低いコンテンツから順に記憶部から消去、又は圧縮することにより、記録媒体の容量を確保する技術が提案されている(例えば、特許文献3参照)。
特開平07−321662号公報 特開平09−261071号公報 特開2006−086639号公報
上述したように、アップコンバート処理に要する時間が長い場合、ユーザがコンテンツデータを再生したいときに、アップコンバート処理が済んでいないために再生できないという問題があった。特に、複数のコンテンツデータをアップコンバートする場合、ユーザが所望するコンテンツのアップコンバート処理が直ぐに実行されないことがあった。
そこで、本発明は、蓄積された複数のコンテンツデータを適切な手順でアップコンバート(高品質化)することが可能な信号処理装置及び信号処理方法を提供することを目的とする。
上述した課題を解決するために、本発明に係る信号処理方法は、蓄積された複数のコンテンツデータをアップコンバートする信号処理方法であって、ユーザによる操作指示を受ける操作ステップと、前記操作ステップで受けた操作指示に係る操作履歴に基づいて、ユーザの嗜好情報を生成する生成ステップと、前記複数のコンテンツデータにアップコンバート処理を施す処理ステップと、前記生成ステップで生成された嗜好情報と、各コンテンツデータに関するコンテンツ情報とに基づいて、各コンテンツデータの嗜好レベルを算出し、嗜好レベルの高いコンテンツデータを優先してアップコンバート処理を施すように制御する制御ステップと、を有することを特徴とする。
本発明に係る他の信号処理方法は、蓄積された複数のコンテンツデータをアップコンバートする信号処理方法であって、蓄積された前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出する算出ステップと、前記複数のコンテンツデータにアップコンバート処理を施す処理ステップと、前記算出ステップで算出された予測処理時間が短いコンテンツデータを優先してアップコンバート処理を施すように制御する制御ステップと、を備えることを特徴とする。
本発明によれば、蓄積された複数のコンテンツデータを適切な手順でアップコンバート(高品質化)することが可能となる。
以下、図面を用いて本発明の実施の形態について説明する。
(実施の形態1)
実施の形態1では、ユーザの嗜好情報に基づいて、アップコンバート処理を施すコンテンツデータの処理順位を決定する形態について説明する。
図1は、本発明の実施の形態1に係る信号処理装置1の概略構成を示すブロック図である。図1の信号処理装置1は、例えば、ハードディスクレコーダ等のように、コンテンツデータを蓄積することが可能な装置である。
入力部2は、アンテナ(若しくは、ケーブル、インターネット)からの放送信号(地上デジタル放送、衛星デジタル放送、ブロードバンド放送等)を受信する。この入力部2は、チューナを含み、放送信号の復調・誤り訂正処理等を行って、トランスポートストリーム(TS)とよばれる形式のTSデータを生成する。放送信号には、映像データや音声データの他、番組情報(番組名、ジャンル等)等のコンテンツ情報も重畳されている。
蓄積部(記憶部)3は、例えばハードディスクドライブ等の大容量記憶装置であり、入力部2からのTS形式のコンテンツデータ(TSデータ)が蓄積される。この蓄積部3に蓄積されたコンテンツデータは、番組(コンテンツ)単位で管理可能となっている。また、この蓄積部3には、各コンテンツデータに関する番組情報(番組名、ジャンル等)等のコンテンツ情報も格納される。ただし、蓄積部3とは別体の記憶部にコンテンツ情報を記憶する構成であってもよい。なお、蓄積部3は、蓄積に適したドライブ構成であればドライブの数及び種類は特に限定されない。
コンテンツ情報は、例えば、デジタル放送に関するARIB(社団法人電波産業会)規格で定義される番組配列情報(SI:Service Information)を含む。SIには、EIT(Event Information Table)と呼ばれるテーブルが含まれている。このEITで使用される記述子として、短形式イベント記述子(番組名および番組の簡単な内容を示す)、拡張形式イベント記述子(番組の詳細内容を項目毎に示す)等がある。EITには、番組名、放送時間、番組内容、ジャンル情報等の番組コンテンツに関する様々な付加情報が記述される。SIに含まれるこれらの情報に基づき、放送予定の番組の一覧を示す電子番組表(EPG)を作成したり、アプリケーションを利用してお好み番組検索を行ったりすることが可能である。
デコーダ4は、蓄積部3に蓄積された各番組のコンテンツデータの映像デコード(復号)処理及び音声デコード(復号)処理を行う。GUI生成部11は、主制御部7からの指示に応じて、各種GUI(Graphical User Interface)データを生成する。出力部5は、デコーダ4によりデコードされた映像信号及び音声信号を、それぞれディスプレイ(表示装置)及びスピーカに出力する。また、この出力部5は、デコーダ4からの映像信号にGUIデータを合成する機能を有する。
操作入力部6は、ユーザが信号処理装置1を操作するためのユーザインターフェースである。例えば、リモコンからのリモコン信号を受信してユーザの操作指示を受け付け、主制御部7に転送する。また、信号処理装置1の本体に搭載された各種操作ボタンの操作を受け付け、ユーザによる操作指示を主制御部7に通知する。
主制御部7は、ユーザの操作指示に応じて、蓄積部3にコンテンツデータを蓄積させる制御動作を実行したり、アップコンバート処理部10の動作を制御したりするなど、信号処理装置1を統括的に制御する中央処理装置の役割を司る。
嗜好情報生成部8は、ユーザの操作履歴(番組検索履歴、視聴履歴等)に基づいて、ユーザの嗜好を示す嗜好情報、例えば、ユーザが番組検索時に用いたジャンル情報やキーワード等に基づく、ユーザの嗜好に関する情報を生成する。嗜好情報記憶部9は、嗜好情報生成部18により生成された嗜好情報を記憶する。なお、この嗜好情報記憶部9は蓄積部3と一体の構成であってもよい。
アップコンバート処理部10は、蓄積部3に蓄積されたコンテンツデータのアップコンバート(高品質化)処理を行う。アップコンバート処理部10によりアップコンバートされたコンテンツデータは、再び蓄積部3に格納される。
ここで、本発明におけるアップコンバート処理とは、リアルタイムな処理が実質的に困難な高品質化(高画質化及び高音質化)処理、すなわち、コンテンツの実時間よりも多くの時間を掛けて行う高品質化処理を指す。例えば、複数の映像フレームを参照してディテールを再現して、高精細な映像に変換するような、処理負荷の大きな高画質化処理を想定している。このような場合、複雑なアルゴリズムを用いており、アップコンバート処理をリアルタイムに行うことが難しい。また、原音に忠実な音声を再現したり、臨場感のある音声を再現したりする複雑な高音質化処理を行う場合も、リアルタイムな処理をすることが難しい。
図2は、図1に示したアップコンバート処理部10の内部構成を示すブロック図である。
主制御部7は、嗜好情報記憶部9に格納された嗜好情報と、蓄積部3に格納されたコンテンツ情報とを照合して、蓄積部3内の複数のコンテンツデータに対してアップコンバート処理を施す処理順位を決定する。そして、決定した順番でアップコンバート処理を実行するようにアップコンバート処理部10の動作を制御する。
アップコンバート処理部10は、アップコンバート対象のコンテンツデータを蓄積部3から読み出す。デマルチプレクサ22は、蓄積部3から読み出されたコンテンツデータを映像信号と音声信号とに分離する。映像デコーダ23及び音声デコーダ24は、それぞれデマルチプレクサ22からの映像信号及び音声信号をデコード(復号)する。
映像デコーダ23及び音声デコーダ24によりデコードされた映像データ及び音声データは、キャッシュ部25に一時的に蓄積される。高画質化処理部26は、キャッシュ部25に蓄積された映像データに対してアップコンバート(高画質化)処理を施して、再びキャッシュ部25に戻す。高音質化処理部27は、キャッシュ部25に蓄積された音声データに対してアップコンバート(高音質化)処理を施して、再びキャッシュ部25に戻す。
アップコンバート処理が施された映像データ及び音声データは、それぞれ映像圧縮処理部28及び音声圧縮処理部29でデータ圧縮される。マルチプレクサ30は、圧縮された映像データと音声データとを多重して、蓄積部3に蓄積させる。
次に、ユーザの操作履歴に基づいて嗜好情報を生成する動作について説明する。なお、本実施例では、嗜好情報として、ユーザが番組検索時に用いたジャンル情報やキーワード等に基づく、ユーザの嗜好に関する情報を利用する場合について説明する。ただし、ユーザの嗜好を反映した情報であれば何でもよく、この実施例に限定されるものではない。
図3は、ユーザの操作履歴に基づいて嗜好情報を生成する動作について説明するためのフローチャートである。
ステップS1において、主制御部7は、ユーザからの番組検索指示に応じて、GUI生成部11に番組検索画面を生成させ、ディスプレイに番組検索画面を表示させる。ユーザは、この番組検索画面において、ジャンル(映画、スポーツ等)やキーワード(出演者名等)を入力して検索条件を指定することができる。
ステップS2において、ユーザが検索開始を指示すると、主制御部7は、指定された検索条件に合致する番組の検索を実行する。続いて、ステップS3において、検索条件に合致した番組一覧が検索結果として表示される。ステップS4において、嗜好情報生成部8は、検索情報に基づき、ユーザの嗜好情報を生成して、嗜好情報記憶部9の嗜好情報管理テーブルに格納する。
図4は、嗜好情報管理テーブルの一例を示す図である。嗜好情報管理テーブルには、指定されたジャンル及びキーワード、またそれらを用いて番組検索が実行された回数が記録される。さらに、検索回数の数に応じて、嗜好レベル5〜1が記録される。本実施例では、検索回数が多いジャンル及びキーワードは、ユーザの興味が強いと考えられるので高い嗜好レベルを付けるものとする。例えば、検索回数が最も多いジャンル「映画」、キーワード「世界遺産」は、嗜好レベル5となる。
なお、本実施例では、ジャンルとキーワードの2つのカテゴリで分類しているが、これに限定されるものではない。例えば、キーワードというカテゴリを、番組名、番組内容、出演者等の複数のカテゴリに細分化してもよい。また、本実施例ではカテゴリごとの嗜好レベルの付け方を同一にしているが、例えば、ジャンルの嗜好レベルの最高値を5、キーワードの嗜好レベルの最高値を10とするなど、重み付けを行ってもよい。また、検索回数を嗜好レベルそのものとして使用してもよい。
次に、主制御部7が複数のコンテンツデータに対してアップコンバート処理を施す処理順位を決定する動作について説明する。
図5は、アップコンバート処理を施す処理順位を決定して、アップコンバート処理を施すまでの手順について説明するためのフローチャートである。なお、アップコンバート処理を施す処理順位を決定するタイミングは、例えば、ある番組の録画処理が終了した時点や、予め設定された時刻、ユーザによるアップコンバート処理要求があった時など、任意のタイミングとする。
ステップS10において、主制御部7は、蓄積部3にアップコンバート対象のコンテンツデータが存在するか否かを判別する。アップコンバート処理が完了したコンテンツデータについては処理完了のフラグを立てることによって、まだアップコンバート処理がされていないコンテンツデータを認識することができる。蓄積部3にアップコンバート対象のコンテンツデータが存在する場合は、ステップS10からステップS11に進む。
ステップS11において、アップコンバート対象のコンテンツデータが複数あるか否かを確認する。アップコンバート対象のコンテンツデータが一つしかない場合は、ステップS13に進み、アップコンバート処理するコンテンツデータAを決定する。
一方、アップコンバート対象のコンテンツデータが複数ある場合は、ステップS12に進み、嗜好情報記憶部9に格納された嗜好情報と、蓄積部3に格納されたコンテンツ情報とを照合して、アップコンバート処理を施す処理順位を決定する。
図6は、主制御部7により決定されたアップコンバート処理順位の一例を示す図である。主制御部7は、各コンテンツデータのコンテンツ情報に嗜好情報管理テーブルの各項目が合致しているか判別し、合致した場合、各カテゴリの嗜好レベルを足し合わせることにより行われる。例えば、番組「日本の歴史」のジャンル「映画」の嗜好レベルは5、キーワード「歴史」の嗜好レベルは4であるため、嗜好レベル合計は9となる。主制御部7は、嗜好レベル合計が大きいコンテンツほど処理順位が上位になるように、アップコンバートの処理順位を決定する。
次に、ステップS13において、アップコンバート処理する処理順位が最も上位のコンテンツデータを、最初にアップコンバート処理するコンテンツデータAとして決定する。
ステップS14において、主制御部7は、アップコンバート処理部10に対して、他のコンテンツデータBをアップコンバート処理中であるか問い合わせる。具体的には、アップコンバート処理部10が動作中か否かを問い合わせて、動作中であれば、アップコンバート処理中のコンテンツデータのコンテンツ情報を問い合わせる。そして、コンテンツデータAよりも嗜好レベルの低いコンテンツデータBがアップコンバート処理中であるか否かを判別する。ここで、他のコンテンツデータBをアップコンバート処理中でなければ、ステップS17に進んで、そのコンテンツデータAのアップコンバート処理を開始する。一方、他のコンテンツデータBをアップコンバート処理中であった場合は、ステップS15に進む。
ステップS15において、主制御部7は、アップコンバート処理部10で行っているアップコンバート処理に関する経過情報を、コンテンツ情報として記憶するよう指示する。例えば、コンテンツデータの先頭から順次アップコンバート処理する場合は、どの位置(フレーム)までアップコンバート処理が完了したかを記憶する。また、解像度変換やフレーム数増加等の複数段階のアップコンバート処理を行う場合は、どの段階までアップコンバート処理を行ったか記憶する。
ステップS16において、主制御部7は、アップコンバート処理部10に対し、現在行っているアップコンバート処理を中止するよう指示する。そして、ステップS17において、主制御部7は、アップコンバート対象のコンテンツデータAのアップコンバート処理を開始するようにアップコンバート処理部10に指示する。なお、アップコンバートが途中で中断されたコンテンツデータについては、途中経過情報に基づき中断されたところからアップコンバート処理が開始される。
ステップS10からステップS17までの一連の動作を行い、決定された処理順位が最も上位のコンテンツデータのアップコンバート処理が完了すると、次の処理順位のコンテンツデータのアップコンバート処理が行われる。このように、ユーザの嗜好情報に基づきアップコンバート処理の処理順位を決定することにより、嗜好度の高いコンテンツデータから順にアップコンバート処理することが可能になる。
以上のように、この実施の形態1によれば、蓄積された複数のコンテンツデータを適切な手順でアップコンバート(高品質化)することが可能となる。これにより、ユーザが所望するコンテンツをできるだけ早くアップコンバート処理して、高品質で視聴可能な状態にすることができる。
(実施の形態2)
実施の形態2では、各コンテンツデータのアップコンバート処理に要する予測処理時間に基づき、アップコンバート処理を施す順番を算出する形態について説明する。この実施の形態2は、蓄積されたコンテンツデータが全て、ユーザが高品質での視聴を望む場合に特に有効である。
図7は、本発明の実施の形態2に係る信号処理装置40の概略構成を示すブロック図である。図7と図1とを比較して異なる点は、図1の嗜好情報生成部8及び嗜好情報記憶部9が処理時間算出部41及び処理時間情報記憶部42に置換されている点である。なお、図1と同様の機能を有する部分については同一の符号を付し、その詳細説明は繰り返さない。
この実施の形態2では、コンテンツ情報に含まれるコンポーネント記述子を用いる。コンポーネント記述子は、ARIB規格で定義される番組配列情報SIに含まれるEIT(Event Information Table)の記述子の一つである。コンポーネント記述子には、映像コンポーネントや音声コンポーネント等の各コンポーネントに関する情報(コンポーネント情報)が記述される。
図8は、コンポーネント記述子のデータ構造の一例を示す図である。コンポーネント記述子には、“stream_content(コンテンツ内容)”、“component_tye(コンポーネント種別)”、“text_char(コンポーネント記述)”等が含まれる。
図9は、“stream_content(コンテンツ内容)”、“component_type(コンポーネント種別)”について詳細に説明するための図である。例えば、“stream_content”0x01、“component_type”0xB4のコンテンツは、映像フォーマット1080i(画素数1902×1080のインターレス走査方式)であり、アスペクト比が16:9である。
処理時間情報記憶部42には、各“component_type(コンポーネント種別)”のコンテンツデータをアップコンバート処理した場合に要する目安処理時間情報が格納される。ただし、蓄積部3と処理時間情報記憶部42とが必ずしも別体である必要はなく、処理時間情報記憶部42と蓄積部3とを一体にした構成であってもよい。
図10は、図7に示した処理時間情報記憶部42に格納される目安処理時間情報テーブルの一例を示す図である。例えば、“component_type”0xB2のコンテンツデータは、1時間分のデータをアップコンバート処理するのに必要な目安処理時間は2.5時間である。このような目安処理時間情報テーブルが処理時間情報記憶部42に予め格納される。
図11は、この実施の形態2において、アップコンバート処理を施す処理順位を決定して、アップコンバート処理を施すまでの手順について説明するためのフローチャートである。図11と図5とを比較して異なる点は、図5のステップS12がステップS20に置換されている点である。なお、図5と同様のステップについては同一の符号を付し、その詳細説明は繰り返さない。
ステップS20において、主制御部7は、まず蓄積部3に蓄積された複数のコンテンツデータのアップコンバート処理を行う処理順位を決定する。具体的には、蓄積部3内の各コンテンツデータのコンテンツ情報を取得し、録画時間(コンテンツ時間長)情報及びコンポーネント情報を抽出する。そして、主制御部7は、処理時間算出部41に対して、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出するように指示する。処理時間算出部41は、処理時間情報記憶部8に格納された目安処理時間情報テーブルを読み出し、録画時間(コンテンツ時間長)に1時間あたりの目安処理時間を乗算して、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出する。主制御部7は、処理時間算出部41により算出された予測処理時間が短いコンテンツほど処理順位が上位になるように、アップコンバートの処理順位を決定する。なお、アップコンバートが途中で中断されたコンテンツデータについては、途中経過情報に基づき中断されたところからアップコンバート処理を実行するのに要する時間が予測処理時間として算出される。
図12は、決定されたアップコンバート処理順位の一例を示す図である。例えば、番組「日本の歴史」の“component_type(コンポーネント種別)”は0xA2、映像フォーマット480p(画素数720×480のプログレッシブ走査方式)、アスペクト比は16:9である。ここで、図10の目安処理時間テーブルを参照すると、映像フォーマット480pのコンテンツ1時間分をアップコンバート処理するのに要する目安時間は4時間となっている。したがって、番組「日本の歴史」の録画時間(コンテンツ時間長)が3時間である場合、予測処理時間は4×3=12時間となる。このようにして、各コンテンツの予測処理時間が算出され、予測処理時間が短いコンテンツほど処理順位が上位になるように(「地球創世記」、「グルメ対決」、「日本の歴史」の順番)、アップコンバートの処理順位が決定される。
図13は、実施の形態2において、アップコンバート処理に要する時間が短いコンテンツデータから順番にアップコンバート処理した場合の効果について説明するための図である。図13(A)は本実施の形態2との比較例を示す図、図13(B)は本実施の形態2によるアップコンバート処理のプロセスを示す図である。図13(A)(B)において、番組コンテンツX,Y,Zは、それぞれアップコンバート処理に要する時間が3時間,6時間,3時間であるものとする。
図13(A)は、各番組が録画された順番でアップコンバート処理が施される場合を示す。この場合、番組コンテンツXの録画が終了した時刻17時に、番組コンテンツXのアップコンバート処理が開始する。番組コンテンツYの録画が終了した時刻19時には、まだ番組コンテンツXのアップコンバート処理の途中なので、番組コンテンツXのアップコンバート処理を継続する。そして、20時に番組コンテンツXのアップコンバート処理が完了すると、引き続き番組コンテンツYのアップコンバート処理が開始される。2時に番組コンテンツYのアップコンバート処理が完了し、5時に番組コンテンツZのアップコンバート処理が完了する。
図13(B)は、アップコンバート処理の予測処理時間が短いコンテンツデータから順にアップコンバート処理が施された場合を示す。この場合、番組コンテンツYの録画が終了した時刻19時に、番組コンテンツXと番組コンテンツYのアップコンバート処理に要する予測処理時間を比較する。比較した結果、番組コンテンツXは残り1時間でアップコンバート処理が完了するのに対し、番組コンテンツYはアップコンバート処理に6時間かかるので、番組コンテンツXのアップコンバートを継続する。そして、20時に番組コンテンツXのアップコンバート処理が完了し、番組コンテンツYのアップコンバート処理が開始される。
次に、番組コンテンツの録画が終了した時刻21時に、番組コンテンツYと番組コンテンツZのアップコンバート処理に要する予測処理時間を比較する。比較した結果、番組コンテンツYは残り5時間でアップコンバート処理が完了するのに対し、番組コンテンツZは3時間でアップコンバート処理が完了するので、番組コンテンツYのアップコンバートを中止して、番組コンテンツZのアップコンバート処理を開始する。そして、番組コンテンツZのアップコンバート処理が終了した時刻24時に、番組コンテンツYのアップコンバート処理が再開される。
以上のように、この実施の形態2では、より早い時刻に、より多くのアップコンバート処理済みコンテンツデータをユーザに提供することができる。具体的には、2つ目のアップコンバート処理済みのコンテンツデータを比較例(図13(A))に対して2時間早く提供することができる。また、比較例(図13(A))の場合、仮に、ユーザが高品質の番組コンテンツZを早く視聴したかったとしても、5時まで待たなければならない。これに対して、図13(B)の場合は、高品質の番組コンテンツZを24時に視聴することが可能となる。
したがって、この実施の形態2によれば、蓄積された複数のコンテンツデータを適切な手順でアップコンバート(高品質化)することが可能となる。これにより、ユーザが所望するコンテンツをできるだけ早くアップコンバート処理して、高品質で視聴可能な状態にすることができる。本実施例は、特に、アップコンバート処理に要する時間が非常に長い番組コンテンツが存在する場合に、他の番組コンテンツのアップコンバート処理が長時間待たされてしまうことが回避される。
なお、この実施の形態2では、目安処理時間情報を用いて、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出する場合について説明したが、予測処理時間の算出方法はこれに限定されるものではない。例えば、各コンテンツデータの先頭の一部分(例えば先頭の5秒間分だけ)をアップコンバート処理部10に実際にアップコンバート処理させて、その処理に要する時間を計測してもよい。この場合、先頭一部分の処理に要する時間から、コンテンツデータ全体をアップコンバート処理するのに要する予測処理時間を算出することができる。
(実施の形態3)
この実施の形態3は、実施の形態1の構成と実施の形態2の構成とを組み合わせたものである。すなわち、ユーザの嗜好情報と、各コンテンツデータのアップコンバート処理に要する予測処理時間とに基づき、アップコンバート処理を施すコンテンツデータの処理順位を決定する。
図14は、本発明の実施の形態3に係る信号処理装置50の概略構成を示すブロック図である。図14の信号処理装置50は、図1に示した信号処理装置1に、図7に示した処理時間算出部41及び処理時間情報記憶部42を追加した構成となっている。各ブロックの機能について、実施の形態1及び実施の形態2で説明した機能と同様の部分については、その説明を省略する。
図15は、実施の形態3において、アップコンバート処理を施す処理順位を決定して、アップコンバート処理を施すまでの手順について説明するためのフローチャートである。図15と図5とを比較して異なる点は、図5のステップS12がステップS30〜S32に置換されている点である。なお、図5と同様のステップについては同一の符号を付し、その詳細説明は繰り返さない。
ステップS30において、主制御部7は、嗜好情報記憶部9に格納された嗜好情報と、蓄積部3に格納された各コンテンツのコンテンツ情報とを照合して、嗜好レベル(合計)を算出する。そして、算出した嗜好レベル(合計)を優先ポイント1とする。なお、嗜好レベル(合計)については、図6で説明したものと同様であるため、ここでは説明を繰り返さない。
続いて、ステップS31において、主制御部7は、処理時間算出部41に対して、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出するように指示する。処理時間算出部41は、処理時間情報記憶部8に格納された目安処理時間情報と、各コンテンツの録画時間(コンテンツ時間長)とに基づいて、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出する。主制御部7は、処理時間算出部41により算出された予測処理時間に基づき優先ポイント2を算出する。
次に、ステップS32において、主制御部7は、優先ポイント1と優先ポイント2との合計値が大きなコンテンツほど処理順位が上位になるように、アップコンバートの処理順位を決定する。
図16は、優先ポイント1及び優先ポイント2の算出結果の一例を示す図である。例えば、番組「地球創世記」の嗜好レベルに基づく優先ポイント1は「6」、予測処理時間に基づく優先ポイント2は「6」であり、優先ポイントの合計は「12」となる。
図17は、予測処理時間と優先ポイント2との関係を示す図である。図17に示すように、優先ポイント2は、予測処理時間が短いほど大きな値となるものとする。そして、優先ポイントの合計値が大きいコンテンツの処理順位が上位になるように(「地球創世記」、「日本の歴史」、「グルメ対決」の順番)、アップコンバートの処理順位が決定される。
実施の形態2では、予測処理時間が短いコンテンツほど処理順位が上位になるようにアップコンバートの処理順位を決定したが、この実施の形態3では、さらに、ユーザの嗜好度レベルも加味して処理順位を決定する。このため、予測処理時間が短く、かつ、ユーザの嗜好レベルの高いコンテンツを早くアップコンバート処理することができる。
したがって、この実施の形態3によれば、蓄積された複数のコンテンツデータをより適切な手順でアップコンバート(高品質化)することが可能となる。これにより、ユーザが所望するコンテンツをできるだけ早くアップコンバート処理して、高品質で視聴可能な状態にすることができる。
(実施の形態4)
この実施の形態4では、ユーザがアップコンバート処理するコンテンツデータの順番を指定することができる。なお、実施の形態4に係る信号処理装置の構成は、実施の形態1の図1に示した構成と同様であってもよいし、実施の形態2の図7に示した構成、又は実施の形態3の図14に示した構成と同様であってもよい。
実施の形態4において、GUI生成部11は、リモコンからの操作指示を操作入力部6及び主制御部7を介して受け、アップコンバートの処理順位を変更するための操作画面を生成する。
図18は、アップコンバートの処理順位を変更するための操作画面の一例を示す図である。アップコンバート対象のコンテンツ一覧が表示された画面において、ユーザはリモコンに設けられた「上ボタン」及び「下ボタン」を操作して、各コンテンツの処理順位を任意に変更することができる。
なお、図19に示すように、蓄積されたコンテンツ一覧の画面において、アップコンバート処理するコンテンツを指定し、指定したコンテンツの処理順位を任意に設定できる構成であってもよい。この場合、アップコンバートの処理順位を自動的に決定する機能がなくても、ユーザがアップコンバート処理するコンテンツを指定し、指定したコンテンツの処理順位を設定することができる。
本発明の実施の形態1に係る信号処理装置の概略構成を示すブロック図である。 図1に示したアップコンバート処理部の内部構成を示すブロック図である。 図1に示した主制御部がユーザの嗜好情報を取得する動作について説明するためのフローチャートである。 嗜好情報管理テーブルの一例を示す図である。 アップコンバート処理の手順について説明するためのフローチャートである。 決定されたアップコンバート処理順位の一例を示す図である。 本発明の実施の形態2に係る信号処理装置の概略構成を示すブロック図である。 コンポーネント記述子のデータ構造の一例を示す図である。 “stream_content”、“component_type”について詳細に説明するための図である。 図7に示した処理時間情報記憶部に格納される目安処理時間情報テーブルの一例を示す図である。 実施の形態2におけるアップコンバート処理の手順について説明するためのフローチャートである。 決定されたアップコンバート処理順位の一例を示す図である。 実施の形態2の効果について説明するための図である。 本発明の実施の形態3に係る信号処理装置の概略構成を示すブロック図である。 実施の形態3におけるアップコンバート処理の手順について説明するためのフローチャートである。 優先ポイント1及び優先ポイント2の算出結果の一例を示す図である。 予測処理時間と優先ポイント2との関係を示す図である。 アップコンバートの処理順位を変更するための操作画面の一例を示す図である。 蓄積されたコンテンツ一覧の画面例を示す図である。
符号の説明
1 信号処理装置
2 入力部
3 蓄積部(記憶部)
4 デコーダ
5 出力部
6 操作入力部
7 主制御部
8 嗜好情報生成部
9 嗜好情報記憶部
10 アップコンバート処理部
11 GUI生成部

Claims (24)

  1. 蓄積された複数のコンテンツデータをアップコンバートする信号処理装置であって、
    ユーザによる操作指示を受け付ける操作手段と、
    前記操作手段により受け付けられた操作指示に係る操作履歴に基づいて、ユーザの嗜好情報を生成する生成手段と、
    前記複数のコンテンツデータにアップコンバート処理を施す処理手段と、
    前記生成手段により生成された嗜好情報と、各コンテンツデータに関するコンテンツ情報とに基づいて、各コンテンツデータの嗜好レベルを算出し、嗜好レベルの高いコンテンツデータを優先してアップコンバート処理を施すように前記処理手段を制御する制御手段と、を備えることを特徴とする信号処理装置。
  2. 前記制御手段は、嗜好レベルの高いコンテンツデータほど早くアップコンバート処理されるように、前記処理手段がアップコンバート処理を施す順番を制御することを特徴とする請求項1に記載の信号処理装置。
  3. 前記制御手段は、第1のコンテンツデータのアップコンバート処理を実行させる際に、前記第1のコンテンツデータよりも嗜好レベルの低い第2のコンテンツデータをアップコンバート処理中であった場合は、前記第2のコンテンツデータのアップコンバート処理を中断して、前記第1のコンテンツデータのアップコンバート処理を開始させることを特徴とする請求項1または請求項2に記載の信号処理装置。
  4. さらに、蓄積された前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出する算出ユニットを備え、
    前記制御ユニットは、嗜好レベルの高いコンテンツデータを優先するとともに、前記算出ユニットにより算出された予測処理時間が短いコンテンツデータを優先してアップコンバート処理を施すように前記処理手段を制御することを特徴とする請求項1から請求項3までのいずれか1項に記載の信号処理装置。
  5. 前記コンテンツデータのアップコンバート処理は、前記コンテンツデータの実時間よりも長い処理時間を要する処理であることを特徴とする請求項1から請求項4までのいずれか1項に記載の信号処理装置。
  6. 蓄積された複数のコンテンツデータをアップコンバートする信号処理装置であって、
    蓄積された前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出する算出手段と、
    前記複数のコンテンツデータにアップコンバート処理を施す処理手段と、
    前記算出手段により算出された予測処理時間が短いコンテンツデータを優先してアップコンバート処理を施すように前記処理手段を制御する制御手段と、を備えることを特徴とする信号処理装置。
  7. 前記算出手段は、蓄積された前記複数のコンテンツデータの種別と、前記コンテンツデータの種別ごとにアップコンバート処理に要する時間の目安を示す目安処理時間情報とに基づいて、前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出することを特徴とする請求項に記載の信号処理装置。
  8. 前記算出手段は、前記複数のコンテンツデータのそれぞれの一部のデータに対して前記処理手段によりアップコンバート処理を施し、前記一部のデータのアップコンバート処理に要する時間に基づいて、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出することを特徴とする請求項に記載の信号処理装置。
  9. 前記制御手段は、前記算出手段により算出された予測処理時間が短いコンテンツデータほど早くアップコンバート処理されるように、前記処理手段がアップコンバート処理を施す順番を制御することを特徴とする請求項6から請求項8までのいずれか1項に記載の信号処理装置。
  10. 前記制御手段は、第1のコンテンツデータのアップコンバート処理を実行させる際に、
    前記第1のコンテンツデータよりも予測処理時間の長い第2のコンテンツデータをアップコンバート処理中であった場合は、前記第2のコンテンツデータのアップコンバート処理を中断して、前記第1のコンテンツデータのアップコンバート処理を開始させることを特徴とする請求項6から請求項9までのいずれか1項に記載の信号処理装置。
  11. 前記コンテンツデータのアップコンバート処理は、前記コンテンツデータの実時間よりも長い処理時間を要する処理であることを特徴とする請求項6から請求項10までのいずれか1項に記載の信号処理装置。
  12. ーザの指示を受け付け、該指示に従って、前記複数のコンテンツデータにアップコンバート処理を施す順番を設定する設定手段をさらに備えることを特徴とする請求項1から請求項11までのいずれか1項に信号処理装置。
  13. 蓄積された複数のコンテンツデータをアップコンバートする信号処理装置により実行される信号処理方法であって、
    ユーザによる操作指示を受ける操作ステップと、
    前記操作ステップで受けた操作指示に係る操作履歴に基づいて、ユーザの嗜好情報を生成する生成ステップと、
    前記複数のコンテンツデータにアップコンバート処理を施す処理ステップと、
    前記生成ステップで生成された嗜好情報と、各コンテンツデータに関するコンテンツ情報とに基づいて、各コンテンツデータの嗜好レベルを算出し、嗜好レベルの高いコンテンツデータを優先してアップコンバート処理を施すように制御する制御ステップと、を有することを特徴とする信号処理方法。
  14. 前記制御ステップにおいて、嗜好レベルの高いコンテンツデータほど早くアップコンバート処理されるように、アップコンバート処理を施す順番を制御することを特徴とする請求項1に記載の信号処理方法。
  15. 前記制御ステップにおいて、第1のコンテンツデータのアップコンバート処理を実行させる際に、前記第1のコンテンツデータよりも嗜好レベルの低い第2のコンテンツデータをアップコンバート処理中であった場合は、前記第2のコンテンツデータのアップコンバート処理を中断して、前記第1のコンテンツデータのアップコンバート処理を開始させることを特徴とする請求項13または請求項14に記載の信号処理方法。
  16. さらに、蓄積された前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出する算出ステップを有し、
    前記制御ステップにおいて、嗜好レベルの高いコンテンツデータを優先するとともに、前記算出ユニットにより算出された予測処理時間が短いコンテンツデータを優先してアップコンバート処理を施すように制御することを特徴とする請求項13から請求項15までのいずれか1項に記載の信号処理方法。
  17. 前記コンテンツデータのアップコンバート処理は、前記コンテンツデータの実時間よりも長い処理時間を要する処理であることを特徴とする請求項13から請求項16までのいずれか1項に記載の信号処理方法。
  18. 蓄積された複数のコンテンツデータをアップコンバートする信号処理方法であって、
    蓄積された前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出する算出ステップと、
    前記複数のコンテンツデータにアップコンバート処理を施す処理ステップと、
    前記算出ステップで算出された予測処理時間が短いコンテンツデータを優先してアップコンバート処理を施すように制御する制御ステップと、を有することを特徴とする信号処理方法。
  19. 前記算出ステップにおいて、蓄積された前記複数のコンテンツデータの種別と、前記コンテンツデータの種別ごとにアップコンバート処理に要する時間の目安を示す目安処理時間情報とに基づいて、前記複数のコンテンツデータそれぞれのアップコンバート処理に要する予測処理時間を算出することを特徴とする請求項1に記載の信号処理方法。
  20. 前記算出ステップにおいて、前記複数のコンテンツデータのそれぞれの一部のデータに対して前記処理手段によりアップコンバート処理を施し、前記一部のデータのアップコンバート処理に要する時間に基づいて、各コンテンツデータのアップコンバート処理に要する予測処理時間を算出することを特徴とする請求項1に記載の信号処理方法。
  21. 前記制御ステップにおいて、前記算出ステップで算出された予測処理時間が短いコンテンツデータほど早くアップコンバート処理されるように、アップコンバート処理を施す順番を制御することを特徴とする請求項18から請求項20までのいずれか1項に記載の信号処理方法。
  22. 前記制御ステップにおいて、第1のコンテンツデータのアップコンバート処理を実行させる際に、前記第1のコンテンツデータよりも予測処理時間の長い第2のコンテンツデータをアップコンバート処理中であった場合は、前記第2のコンテンツデータのアップコンバート処理を中断して、前記第1のコンテンツデータのアップコンバート処理を開始させることを特徴とする請求項18から請求項21までのいずれか1項に記載の信号処理方法。
  23. 前記コンテンツデータのアップコンバート処理は、前記コンテンツデータの実時間よりも長い処理時間を要する処理であることを特徴とする請求項18から請求項22までのいずれか1項に記載の信号処理方法。
  24. ーザの指示を受け付け、該指示に従って、前記複数のコンテンツデータにアップコンバート処理を施す順番を設定する設定ステップをさらに有することを特徴とする請求項13から請求項23までのいずれか1項に記載の信号処理方法。
JP2007123409A 2007-05-08 2007-05-08 信号処理装置及び信号処理方法 Expired - Fee Related JP4804415B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007123409A JP4804415B2 (ja) 2007-05-08 2007-05-08 信号処理装置及び信号処理方法
US12/116,374 US7890977B2 (en) 2007-05-08 2008-05-07 Signal processing apparatus and signal processing method for upconverting a plurality of stored content data
US12/985,705 US20110096229A1 (en) 2007-05-08 2011-01-06 Signal processing apparatus and signal processing method for upconverting a plurality of stored content data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007123409A JP4804415B2 (ja) 2007-05-08 2007-05-08 信号処理装置及び信号処理方法

Publications (3)

Publication Number Publication Date
JP2008283268A JP2008283268A (ja) 2008-11-20
JP2008283268A5 JP2008283268A5 (ja) 2010-06-17
JP4804415B2 true JP4804415B2 (ja) 2011-11-02

Family

ID=39970259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007123409A Expired - Fee Related JP4804415B2 (ja) 2007-05-08 2007-05-08 信号処理装置及び信号処理方法

Country Status (2)

Country Link
US (2) US7890977B2 (ja)
JP (1) JP4804415B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6097399B2 (ja) * 2012-11-19 2017-03-15 エルジー エレクトロニクス インコーポレイティド 信号送受信装置及び信号送受信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3277696B2 (ja) 1994-05-28 2002-04-22 ソニー株式会社 ディジタル信号処理装置および方法
JP3371672B2 (ja) 1996-03-22 2003-01-27 ソニー株式会社 マスタリング装置
US6370198B1 (en) * 1997-04-07 2002-04-09 Kinya Washino Wide-band multi-format audio/video production system with frame-rate conversion
US20020118296A1 (en) * 1999-05-06 2002-08-29 Schwab Barry H. Integrated multi-format audio/video production system
JP4552296B2 (ja) * 2000-09-08 2010-09-29 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US7383347B2 (en) * 2001-07-18 2008-06-03 International Business Machines Corporation Method and apparatus for providing extensible scalable transcoding of multimedia content
JP3903912B2 (ja) * 2002-12-02 2007-04-11 株式会社日立製作所 記録装置および記録方法
US7676590B2 (en) * 2004-05-03 2010-03-09 Microsoft Corporation Background transcoding
JP2006086639A (ja) 2004-09-14 2006-03-30 Sony Corp 記録装置、記録容量確保方法、およびプログラム
US7555715B2 (en) * 2005-10-25 2009-06-30 Sonic Solutions Methods and systems for use in maintaining media data quality upon conversion to a different data format
JP4551370B2 (ja) * 2006-07-18 2010-09-29 株式会社日立製作所 記録再生装置及び記録再生方法
US20080155230A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and System for Providing Simultaneous Transcoding of Multi-Media Data

Also Published As

Publication number Publication date
US7890977B2 (en) 2011-02-15
JP2008283268A (ja) 2008-11-20
US20080281449A1 (en) 2008-11-13
US20110096229A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
US8265448B2 (en) Electronic apparatus, content reproducing system, content reproducing method, and program
JP4939550B2 (ja) デジタルテレビジョン受信機における高速のチャンネル変更
US20090245756A1 (en) Managing synchronization of media programs to portable devices
US8243199B2 (en) Apparatus, method and program for enabling content displayed on a display screen to be switched
JP2008147901A (ja) 情報処理装置および方法、並びにプログラム
JP2014138394A (ja) 電子機器、情報出力方法、及び情報出力プログラム
JP2006031900A (ja) 記録装置および方法、並びにプログラム
JP4709127B2 (ja) 映像記録再生装置及びその制御方法
JP2006319690A (ja) 動画像符号化装置
JP2010016521A (ja) 映像処理装置および映像処理方法
JP4804415B2 (ja) 信号処理装置及び信号処理方法
JP2005347871A (ja) テレビジョン受信機
JP4914235B2 (ja) 映像記録再生装置及びその制御方法
US8897616B2 (en) Apparatus and method for upconverting content data
JP2008135080A (ja) 録画装置
JP2009010603A (ja) 記録装置および記録方法
JP4548233B2 (ja) 映像コンテンツ処理方法、映像コンテンツ処理プログラム、映像コンテンツ処理プログラムを記録した記録媒体及び映像コンテンツ処理装置
JP7321986B2 (ja) 受信装置および制御方法
JP2013106127A (ja) 記録番組の整理装置及び記録番組の整理方法
JP2011166252A (ja) テレビ受像機
JP2011120016A (ja) 情報取得装置および情報取得方法
JP5274695B2 (ja) 信号処理装置及び信号処理方法
KR20070107545A (ko) 영상출력기기의 재생 제어 장치 및 방법
JP2007068042A (ja) 受信装置および方法
KR20070057444A (ko) Pvr기능의 디지털 방송 수신기에서 타임 쉬프트녹화방법

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100430

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees