JP5085680B2 - コンテンツ再生装置およびコンテンツ再生方法 - Google Patents

コンテンツ再生装置およびコンテンツ再生方法 Download PDF

Info

Publication number
JP5085680B2
JP5085680B2 JP2010073350A JP2010073350A JP5085680B2 JP 5085680 B2 JP5085680 B2 JP 5085680B2 JP 2010073350 A JP2010073350 A JP 2010073350A JP 2010073350 A JP2010073350 A JP 2010073350A JP 5085680 B2 JP5085680 B2 JP 5085680B2
Authority
JP
Japan
Prior art keywords
content
reproduction
display device
playback
url
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010073350A
Other languages
English (en)
Other versions
JP2010211806A (ja
Inventor
伸一 大井
道弘 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010073350A priority Critical patent/JP5085680B2/ja
Publication of JP2010211806A publication Critical patent/JP2010211806A/ja
Application granted granted Critical
Publication of JP5085680B2 publication Critical patent/JP5085680B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、ネットワーク上のコンテンツサーバに登録されたコンテンツを再生するコンテンツ再生装置およびコンテンツ再生方法に関する。
近年では、パソコン(パーソナルコンピュータ)向けの動画や静止画のコンテンツをインターネット上のウェブサイトから配信するようなサービスが増えてきている。一般にこれらコンテンツ(ウェブコンテンツ)は所望のCODECで符号化されてウェブサイト登録されているため、パソコンは例えばアプリケーションソフトウェアとしてインストールされる様々なCODECを備える。所望のコンテンツがウェブサイトから配信されると、このコンテンツがこれらCODECのうちでコンテンツの符号化に適用された1つを用いるデコードにより再生される。
コンテンツが特殊なCODECで符号化されている場合、このCODECに対応する新規アプリケーションソフトウェアをパソコンにインストールするだけで、コンテンツ再生が困難な状況を解消できる。また、パソコンはキーボードやマウスのような様々な情報入力用ユーザインタフェースを備えるため、コンテンツの検索や選択を容易に行うことができる。しかしながら、パソコンの画面は小さいものが多く、コンテンツを十分楽しめないことがある。
一方、ネットワーク対応テレビジョン装置のようなデジタル家電製品が普及しつつある。このようなテレビジョン装置はパソコン向けの動画や静止画のコンテンツを視聴可能にするために一般的なCODECを備えるが、特殊なCODECの追加は困難である。
従来、インターネット上にトランスコードサーバを設け、このトランスコードサーバがデジタル家電で利用可能なCODECのフォーマットにコンテンツをトランスコードする技術が提案されている(例えば特許文献1を参照)。
特開2004−102339号公報
テレビジョン装置では、一般にリモコンが制御操作および情報入力用のユーザインタフェースとして利用されるが、コンテンツの検索や選択における操作性はパソコンに設けられたキーボードやマウスのように快適とはいえない。このような状況において、さらにコンテンツサーバやトランスコードサーバをリモコン制御することは極めて煩雑である。
また、パソコンからコンテンツの再生信号を大画面のテレビジョン装置に供給してこれらを視聴するスタイルも考えられるが、そのためにパソコンとテレビジョン装置とを通常ディスプレイケーブルで接続しなければならない。ちなみに、「WirelessHD」などがパソコンをテレビジョン装置にワイヤレス接続する規格として知られているが、現状では未だ高価なこと、さらに将来的に全てのパソコンに導入される規格とは考えられない。本来、全てのパソコンの主な用途がウェブサイトから配信される動画や静止画のコンテンツの再生であるはずがないため、「WirelessHD」はAV重視モデルのパソコンに限定的に搭載される機能であると考えることが妥当である。
本発明の目的は、以上のような状況の中で、ネットワーク上のコンテンツサーバに登録されたコンテンツを大画面で再生する場合の操作性を向上できるコンテンツ再生装置およびコンテンツ再生方法を提供することにある。
本発明の一実施形態にかかる情報処理装置は、コンテンツサーバにネットワーク接続される情報処理装置であって、前記コンテンツサーバに登録されたコンテンツを検索し、コンテンツ選択画面を表示する手段と、前記コンテンツ選択画面から1コンテンツを選択する手段と、前記選択されたコンテンツを、ネットワーク接続された再生表示装置で再生するか決定する手段と、前記選択されたコンテンツを前記再生表示装置で再生することか決定された場合、前記選択されたコンテンツのURLを前記再生表示装置に送信する手段と、を具備する。
この情報処理装置によれば、コンテンツサーバに登録されたコンテンツの検索および選択がコンピュータ側で行われる。コンテンツ再生装置はコンピュータにより通知されるコンテンツのURLを取得し、このURLに登録されたコンテンツをコンテンツサーバから取得する。従って、コンテンツの検索および選択をコンテンツ再生装置のユーザインタフェースとして一般的なリモコンに代わってコンピュータ側のキーボードやマウス等を利用することが可能になる。このため、ネットワーク上のコンテンツサーバに登録されたコンテンツを大画面で再生する場合の操作性を向上できる。
本発明の一実施形態に係るネットワーク対応デジタルテレビジョン装置の構成を示す例図である。 図1に示すデジタルテレビジョン装置の主要な信号処理系を示す例図である。 図1に示すデジタルテレビジョン装置によるコンテンツ再生のための処理の流れを示す例図である。 図3に示すURLの通知においてPostメソッドを利用して行われるPCおよびTV間の通信を示す例図である。 図4に示すPCからTVへのリクエストボディのフォーマットを示す例図である。 図4に示すTVからPCへのレスポンスボディのフォーマットを示す例図である。 図3に示すPCの操作手順を示す例図である。 図3に示すネットワーク対応デジタルテレビジョン装置によるコンテンツ再生のための処理の流れの変形例を示す例図である。 図8に示す変形例に係るメディアファイル(ウェブコンテンツ)の提供において、PCおよびTV間で行われる再生準備フェーズの通信を示す例図である。 図9に示すPCからTVへのリクエストボディのフォーマットを示す例図である。 図9に示すTVからPCへのレスポンスボディのフォーマットを示す例図である。 図8に示す変形例に係るメディアファイル(ウェブコンテンツ)の提供において、PCおよびTV間で行われる再生フェーズ(ウェブコンテンツの受け渡し)の通信を示す例図である。 図12に示すTVからPCへのレスポンスボディのフォーマットを示す例図である。 図8に示す変形例に係るメディアファイル(ウェブコンテンツ)の提供において、PCおよびTV間で行われる再生フェーズ(再生制御)の通信を示す例図である。 図14に示すPCからTVへのリクエストボディのフォーマットを示す例図である。 図14に示すTVからPCへのレスポンスボディのフォーマットを示す例図である。 図8に示す変形例に係るメディアファイル(ウェブコンテンツ)の提供において、PCおよびTV間で行われる再生確認フェーズの通信を示す例図である。 図17に示すPCからTVへのリクエストボディのフォーマットを示す例図である。 図17に示すTVからPCへのレスポンスボディのフォーマットを示す例図である。
以下、本発明の一実施形態に係るネットワーク対応デジタルテレビジョン装置について添付図面を参照して説明する。このデジタルテレビジョン装置は、例えばインターネットを使用したTVコンテンツサービスに対応したLAN接続可能なIPTVである。
図1は、このネットワーク対応デジタルテレビジョン装置111の構成を概略的に示す。
すなわち、デジタルテレビジョン装置111は、主として、薄型のキャビネット112と、このキャビネット112を起立させて支持する支持台113とから構成されている。そして、キャビネット112には、例えばSED(Surface-conduction Electron-emitter Display)表示パネル,液晶表示パネル等でなる平面パネル型の映像表示器114、スピーカ115、操作部116、リモートコントローラ117から送信される操作情報を受ける受光部118等が設置されている。
また、このデジタルテレビジョン装置111には、例えばSD(Secure Digital)メモリカード、MMC(Multimedia Card)およびメモリスティック等の第1のメモリカード119が着脱可能となっており、この第1のメモリカード119に対して番組や写真等の情報の記録再生が行われるようになっている。
さらに、このデジタルテレビジョン装置111には、例えば契約情報等の記録された第2のメモリカード(ICカード)120が着脱可能となっており、この第2のメモリカード120に対して情報の記録再生が行われるようになっている。
また、このデジタルテレビジョン装置111は、第1のLAN(Local Area Network)端子121、第2のLAN端子122、USB(Universal Serial Bus)端子123およびi.LINK端子124を備えている。
このうち、第1のLAN端子121は、LAN対応HDD専用ポートとして使用されるもので、接続されたNAS(Network Attached Storage)であるLAN対応のHDD125に対して、イーサネット(登録商標)により情報の記録再生を行うために使用される。
このように、LAN対応HDD専用ポートとしての第1のLAN端子121を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、LAN対応のHDD125に対してハイビジョン画質による番組の情報記録を安定して行うことができる。
また、第2のLAN端子122は、イーサネット(登録商標)を用いた一般的なLAN対応ポートとして使用されるもので、例えばハブ126を介して、LAN対応のHDD127、コンテンツサーバ128、HDD内蔵のDVD(Digital Versatile Disk)レコーダ129等の機器を接続し、これらの機器と情報伝送を行うために使用される。
尚、コンテンツサーバ128については、家庭内ネットワークにおいてコンテンツのサーバ機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要なURI(Uniform Resource Identifier)情報を提供するサービスを備えたUPnP(ユニバーサルプラグアンドプレイ)対応機器として構成される。
尚、DVDレコーダ129については、第2のLAN端子122を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン装置111との間でアナログの映像および音声情報を伝送するために、専用のアナログ伝送路130を設ける必要がある。
さらに、この第2のLAN端子122は、ハブ126に接続されたブロードバンドルータ131を介して、例えばインターネット等のネットワーク132に接続し、このネットワーク132を介してコンテンツサーバ133や携帯電話134等と情報伝送を行うために使用される。
尚、コンテンツサーバ133は、コンテンツプロバイダによってインターネット上に設けられたものであり、様々なコンテンツを登録したウェブサイトを公開しこのウェブサイトからコンテンツを配信するサーバ機器として動作し、さらにコンテンツのアクセスに必要なURI情報を提供するサービスを備えたUPnP対応機器としても動作するように構成される。
また、上記USB端子123は、一般的なUSB対応ポートとして使用されるもので、例えばハブ135を介して、携帯電話136、デジタルカメラ137、メモリカードに対するカードリーダ/ライタ138、HDD139、キーボード140等のUSB機器を接続し、これらのUSB機器と情報伝送を行うために使用される。
さらに、上記i.LINK端子124は、例えばAV−HDD141、D(Digital)−VHS(Video Home System)142等をシリアル接続し、これらの機器と情報伝送を行うために使用される。
図2は、デジタルテレビジョン装置111の主要な信号処理系を示している。
すなわち、BS/CSデジタル放送受信用のアンテナ243で受信した衛星デジタルテレビジョン放送信号は、入力端子244を介して衛星デジタル放送用のチューナ245aに供給される。
チューナ245aは、制御部261からの制御信号により所望のチャンネルの放送信号を選局し、この選局された放送信号をPSK(Phase Shift Keying)復調器245bに出力する。
PSK復調器245bは、制御部261からの制御信号により、チューナ245aで選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、TS復号器245cに出力する。
TS復号器245cは、制御部261からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号および音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部247内のSTDバッファ247fへ出力する。
また、TS復号器245cは、デジタル放送により送られているセクション情報を信号処理部247内のセクション処理部247hへ出力する。
また、地上波放送受信用のアンテナ248で受信した地上デジタルテレビジョン放送信号は、入力端子249を介して地上デジタル放送用のチューナ250aに供給される。
チューナ250aは、制御部261からの制御信号により所望のチャンネルの放送信号を選局し、この選局された放送信号をOFDM(Orthogonal Frequency Division Multiplexing)復調器250bに出力する。
OFDM復調器250bは、制御部261からの制御信号により、チューナ250aで選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、TS復号器250cに出力する。
TS復号器250cは、制御部261からの制御信号によりトランスポートストリーム(TS)多重化された信号のTS復号処理を行い、所望の番組のデジタルの映像信号および音声信号をデパケットすることにより得たPES(Packetized Elementary Stream)を信号処理部247内のSTDバッファ247fへ出力する。
また、TS復号器250cは、デジタル放送により送られているセクション情報をセクション処理部247hへ出力する。
ここで、上記信号処理部247は、テレビ視聴時には、TS復号器245cおよびTS復号器250cからそれぞれ供給されたデジタルの映像信号および音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部254および音声処理部255に出力している。また、信号処理部247は、コンテンツ再生時には、制御部261から入力されたコンテンツの信号を選択し、様々なCODECのうちのコンテンツに適合する1つに基づいてコンテンツの信号をデコードするデジタル信号処理を施し、グラフィック処理部254および音声処理部255に出力する。
制御部261には、信号処理部247から、番組を取得するための各種データや電子番組ガイド(EPG)情報,番組属性情報(番組ジャンル等),字幕情報等(サービス情報、SIやPSI)が入力されている。
制御部261は、これら入力された情報からEPG,字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部254へ出力する。
セクション処理部247hは、TS復号器245c(250c)から入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド(EPG)情報,番組属性情報(番組ジャンル等),字幕情報等(サービス情報、SIやPSI)を制御部261へ出力する。
グラフィック処理部254は、(1)信号処理部247内のAVデコーダから供給されるデジタルの映像信号と、(2)OSD(On Screen Display)信号生成部257で生成されるOSD信号と、(3)データ放送による画像データと、(4)制御部261により生成されたEPG,字幕信号とを合成して映像処理部258へ出力する機能を有する。
また、字幕放送による字幕を表示するとき、グラフィック処理部254は、制御部261からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。
グラフィック処理部254から出力されたデジタルの映像信号は、映像処理部258に供給される。この映像処理部258は、入力されたデジタルの映像信号を、前記映像表示器114で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器114に出力して映像表示させるとともに、出力端子259を介して外部に導出させる。
また、上記音声処理部255は、入力されたデジタルの音声信号を、前記スピーカ115で再生可能なフォーマットのアナログ音声信号に変換した後、スピーカ115に出力して音声再生させるとともに、出力端子260を介して外部に導出させる。
ここで、このデジタルテレビジョン装置111は、上記した各種の受信動作を含むその全ての動作を制御部261によって統括的に制御されている。この制御部261は、CPU(Central Processing Unit)等を内蔵しており、前記操作部116からの操作情報を受け、または、リモートコントローラ117から送出された操作情報を、前記受光部118を介して受信し、その操作内容が反映されるように各部をそれぞれ制御している。
この場合、制御部261は、主として、そのCPUが実行する制御プログラムを格納したROM(Read Only Memory)261aと、該CPUに作業エリアを提供するRAM(Random Access Memory)261bと、各種の設定情報および制御情報等が格納される不揮発性メモリ261cとを利用している。
また、この制御部261は、カードI/F(Interface)265を介して、前記第1のメモリカード119が装着可能なカードホルダ266に接続されている。これによって、制御部261は、カードホルダ266に装着された第1のメモリカード119と、カードI/F265を介して情報伝送することができる。
さらに、上記制御部261は、カードI/F267を介して、前記第2のメモリカード120が装着可能なカードホルダ268に接続されている。これにより、制御部261は、カードホルダ268に装着された第2のメモリカード120と、カードI/F267を介して情報伝送することができる。
また、上記制御部261は、通信I/F269を介して第1のLAN端子121に接続されている。これにより、制御部261は、第1のLAN端子121に接続されたLAN対応のHDD125と、通信I/F269を介して情報伝送することができる。この場合、制御部261は、DHCP(Dynamic Host Configuration Protocol)サーバ機能を有し、第1のLAN端子121に接続されたLAN対応のHDD125にIP(Internet Protocol)アドレスを割り当てて制御している。
さらに、上記制御部261は、通信I/F270を介して第2のLAN端子122に接続されている。これにより、制御部261は、第2のLAN端子122に接続された各機器(図1参照)と、通信I/F270を介して情報伝送することができる。
また、上記制御部261は、USB I/F271を介して前記USB端子123に接続されている。これにより、制御部261は、USB端子123に接続された各機器(図1参照)と、USB I/F271を介して情報伝送することができる。
さらに、上記制御部261は、i.LINK I/F272を介してi.LINK端子124に接続されている。これにより、制御部261は、i.LINK端子124に接続された各機器(図1参照)と、i.LINK I/F272を介して情報伝送することができる。
ところで、この実施形態では、LAN対応のHDD125に初期登録時のHDD125、HDD127、コンテンツサーバ128、DVDレコーダ129それぞれに割り当てられたストレージID(IPアドレス、機器名を含む)を記述した登録ファイルを記憶保持している。
また、不揮発性メモリ261cに、LAN対応のHDD125、HDD127、コンテンツサーバ128、DVDレコーダ129それぞれのストレージIDを記憶している。
また、制御部261は、この発明に係わる機能として、UPnPを利用した(1)サーバ機器発見機能モジュール261dと、(2)UPnPを利用したコンテンツ情報取得機能モジュール261eと、(3)コンテンツアクセス制御機能モジュール261fとを備えている。
(1)制御部261は、サーバ機器発見機能モジュール261dにより、UPnPのディスカバリ機能を用いてネットワーク上のUPnP対応機器を発見する。例えばサーバ機器発見機能モジュール261dは、UPnPのディスカバリ機能を用いてコンテンツサーバ128を発見する。
(2)制御部261は、コンテンツ情報取得機能モジュール261eにより、UPnPのコントロール機能を用いてUPnP対応機器をコントロールし、UPnP対応機器内のコンテンツをアクセスするために必要なURI情報を取得する。例えばコンテンツ情報取得機能モジュール261eは、コンテンツサーバ128をコントロールし、コンテンツサーバ128内のHDD等に蓄積されているコンテンツをアクセスするために必要なURI情報をコンテンツサーバ128から取得する。
(3)制御部261は、コンテンツアクセス制御機能モジュール261fにより、サーバ機器発見機能モジュール261dにより取得したサーバ機器のIPアドレス情報と、コンテンツ情報取得機能モジュール261eにより取得したURI情報から得たIPアドレス情報と、デジタルテレビジョン装置111のLAN端子122に割り当てられたIPアドレスとネットマスクに基づいてコンテンツへのアクセス可否判定を行う。そして制御部261は、アクセス可と判断した場合にはコンテンツアクセスを許可するが、否と判断した場合には許可できない旨を映像表示器114にOSDにより表示させる。
(4)制御部261は、コンテンツの再生に関する信号処理部247の再生対応状況を保持し、PC100がLAN接続されたことを検出した場合にこのPC100に通知するように構成されている。この再生対応状況は、例えば利用可能なCODECの種類を含む。
図3はネットワーク対応デジタルテレビジョン装置によるコンテンツ再生のための処理の流れを示す。
図3に示す「処理1」では、PC100がコンテンツを検索する。具体的には、ユーザが最初にパソコン(PC)100でウェブコンテンツを検索して選択する操作を行う。検索および選択は、動画や写真などのウェブコンテンツを登録したコンテンツサーバ133のウェブサイトにおいて提供されるウェブサービスを利用して行われる。ちなみに、これらウェブコンテンツにリンクした検索サーバのウェブサイトにおいて提供されるウェブサービスを利用してもよい。このようなウェブサービスの検索および選択機能(GUIなど)により、ユーザは好みのコンテンツを検索して選択し、TV111の大画面で表示したいウェブコンテンツとして特定する。ここで、ブロードバンドルータ131は、無線LANアクセスポイントとインターネットアクセスするためのモデム等を含むものであり、PC100は無線LANで無線LANアクセスポイントと接続し、コンテンツサーバ133のウェブサイトにアクセス可能になっている。
図3に示す「処理2」では、PC100がコンテンツのURLをTV111に通知する。すなわち、特定したウェブコンテンツの動画や写真などのURLがLAN経由でPC100からTV111に通知される。ここで、ネットワークプロトコルの物理層など下位の層はEthernet(登録商標)、その上位層(ネットワーク層など)の通信プロトコルはTCP/IP、さらにその上位層のプロトコルはHTTPとする。
HTTPプロトコルでデータを伝送するため、TV111はHTTPサーバとして設定され、PC100はそのクライアントとして設定される。TV111において、HTTPサーバ機能は制御ブ261の一部を利用して実現される。HTTPサーバをPC100に設定することも考えられるが、この場合、一般的にPC100のセキュリティについて考慮する必要がある。すなわち、PC100をHTTPサーバとして動作させようとすると、セキュリティに関わる設定を行わなければならず、HTTPサーバ機能を実現するアプリケーションソフトウェアをPCにインストールする際に手間を要する。従って、本実施形態では、TV111がサーバとして設定されている。ここでは、TV111に設定されたHTTPサーバの機能を本実施形態で述べる処理に限定することで、セキュリティ上の脆弱性を極力生じないようにしている。また、TV111のHTTPサーバは常時動作する構成でも良いが、コンテンツ再生の際にリモコン等の操作によりTV11を制御して動作させる構成でも良い。
図4はURLの通知においてPostメソッドを利用して行われるPC100およびTV(HTTPサーバ)111間の通信を示す。図5はPC100からTV111へのリクエストボディのフォーマットを示し、図6はTV111からPC100へのレスポンスボディのフォーマットを示す。
図4に示すように、最初にPC100がTV111に対してHTTP(POST)リクエストのリクエストボディで特定したウェブコンテンツのURLを通知する。TV111はこのリクエストに対して「200」または「200以外」のステータスコードをレスポンスする。HTTPリクエストおよびレスポンスのメッセージボディは、図4および図5に示すようにXML1.0、整形式XML文書とされる(スキーマ記述はなし)。TV111 がウェブコンテンツのURLを受信可能な状態にあればステータスコード「200」をレスポンスする。これに対して、何らかの原因によりTV111 がURLを受信不可能な状態(ただしHTTPサーバは動作している)であれば「200以外」をレスポンスする。
ここで、ステータスコードが「200」である場合について説明する。
この場合、PC100はレスポンスボディ内のTVステータスに従って次のように判断する。
TVステータス=「可」:TV111がURLのデータ受信に成功し、このURLに登録されたコンテンツ (メディアファイル)をコンテンツサーバ133のウェブサイトから取得する処理3へ移行できる。
TVステータス=「中断」:TV111がURLのデータ受信に成功したが、BUSYであって処理3へ移行できない。この場合、PC100が「TVの状態を確認してください」のようなエラー表示を行う。すなわち、TV111が、何らかの原因により特定のウェブコンテンツの再生を実行できないことを意味する。この「中断」は、例えば(1)LANを利用した通信がTV111およびPC100間で実行できるが、受信したURLについてウェブサーバ133のウェブサイトをTV111からアクセスできない場合、(2)TV111が裏録画等を実行中であって、ウェブコンテンツの再生を実行するリソースが確保できない場合、(3)故障の場合に発生する。
レスポンスのステータスコードが「200以外」である場合、PC100は可能な限りリクエストの再送を継続し、リクエストの再送を継続不能な状況でエラー表示(HTTPステータスコード表示)を行う。
図3に示す「処理3」では、TV111がコンテンツを取得する。例えば図4に示すようなURL(http://i.abcd.com/vi/Jew_kz8uAoc/default.jpg) がTV111に通知された場合、TV111はこのURLについてコンテンツサーバ111のウェブサイトをアクセスする。URL取得後のアクセス方法はTV111がウェブコンテンツの選択結果としてURLを取得する場合に行う従来のアクセス方法と同様である。図5に示すURLは、httpスキームで、i.abcd.comというホスト名のサーバから、default.jpgという画像データのコンテンツを取得する場合の例である。尚、コンテンツサーバ133のウェブサイトからのコンテンツを提供するためのプロトコルは、一般的にHTTPプロトコルが多いが、これに限定されるものではない。
図3に示す「処理4」では、TV111が処理3で取得した動画や写真などのウェブコンテンツ(図5の例ではdefault.jpgという画像データ)をTV111内のデコーダで再生(JPEG圧縮した画像を再生)し、大画面の映像表示器114上に表示する。
図7は図3に示すPC100の操作手順を示す。PC100でウェブコンテンツを検索する画面上で、1つのコンテンツを選択する。通常PC100ではウェブブラウザとよばれるウェブページを表示するアプリケーションソフトウェアを使用する。ウェブブラウザはインターネットブラウザなどとも呼ばれ、多数のブラウザが提供されているが、本実施形態において特に限定するものではない。
図7に示すようなウェブページで1つのコンテンツを選択する場合、選択したコンテンツ(動画のリンク先がハイパーリンクされているサムネイル画像もしくは文字列)上で、マウスの右クリック(図7ではウェブページ内の右下のサムネイル画像上にマウスのポインタが置かれており、右クリックしている)すると、図7に示すようにウェブブラウザのコンテクストメニューが表示され、その中に「対象をTVで(再生)」、すなわちウェブコンテンツをTV111で再生する対象とするメニューが、メニュー一覧の中に表示される。
ユーザがこの「対象をTVで(再生)」を選択すると、PC100が図3で説明したようにコンテンツのURLをTV111に通知することになる。
図7示すウェブブラウザのコンテクストメニューや、図3で説明したようにコンテンツのURLをTV111に通知する機能はPC100の標準的な機能でないため、アプリケーションソフトウェア(以下PCアプリケーション)をPC100に追加することにより実現される。
尚、図3および図4において、TV111に通知するURLは、コンテンツが動画の場合、ウェブブラウザ上で表示しているサムネイルの静止画のURL(例えばhttp://i.abcd.com/xyz.jpg)はなく、動画自体のURL(例えばhttp://i.abcd.com/xyz.mpeg)を通知するものである。そのためにPC100側で動画かどうかの判定処理が行われる。すなわちTVに通知するURLは、PCアプリケーションで以下の(1)または(2)を判定し、さらに(2)の場合は(2a)または(2b)を判定する。
(1)表示静止画像にリンク先(ハイパーリンクされているURL)がない場合:表示画像(静止画)のURL
(2)表示静止画像にリンク先がある場合
(2a)リンク先が動画:リンク先(動画)のURL
(2b)上記以外:表示画像(静止画)のURL
動画かどうかの判定は、リンク先ファイル名の拡張子に基づいて行われる。リンク先ファイル名が例えば".mpg", ".mpeg", ".m2p", ".mp2", ".m2t", ".m2ts",".ts",".tts", ".mp4"のような拡張子を持つ場合に動画と判定される。但し、これらファイル名の拡張子は例示であり、PCアプリケーションで設定できるようにしても良い。
ウェブコンテンツでは、新しい画像や音声のエンコード方式が次々と開発、採用される傾向にある。しかし、一般的にいってTV111の機能は組み込みであり、新しい画像や音声のエンコード方式に対応することは困難である。
上述の実施形態では、コンテンツサーバ133に登録されたコンテンツの検索および選択がPC100側で行われる。コンテンツ再生装置はPC100により通知されるコンテンツのURLを取得し、このURLに登録されたコンテンツをコンテンツサーバ133から取得する。従って、コンテンツの検索および選択をTV111のユーザインタフェースとして一般的なリモコン117に代わってPC100側のキーボードやマウス等を利用することが可能になる。このため、ネットワーク上のコンテンツサーバに登録されたコンテンツを大画面で再生する場合の操作性を向上できる。
図8は図3に示すネットワーク対応デジタルテレビジョン装置によるコンテンツ再生のための処理の流れの変形例を示す。この変形例は、以下に述べる事項を除いて上述の実施形態と同様に構成される。
図8に示す「処理1」では、上述の実施形態と同様にPC100がコンテンツを検索する。具体的には、ユーザが最初にパソコン(PC)100でウェブコンテンツを検索して選択する操作を行う。TV111に設けられた映像表示器114の大画面に表示したいウェブコンテンツを選択するまでは図3と同等である。
図8に示す「処理2」では、PC100が選択したウェブコンテンツのCODECがTV11で利用可能なCODECのフォーマットでないことを確認する。ここで、CODECとは、ウェブコンテンツの映像音声データの圧縮方法(例えばMPEG2、MPEG4/H.264など)ばかりでなく、圧縮コーディングされた映像音声データを1つのファイルとしてまとめるためのファイルフォーマットも含むものとする。すなわちウェブサイトから提供されるウェブコンテンツから圧縮コーディングされた映像音声データを取り出し、再生するまでの一連のデコード処理方法およびその規定をCODECとみなす。
選択コンテンツがTV111で利用可能なCODECのフォーマットである場合、PC100は図3に示す「処理2」以降の処理に移行する。TV111で利用可能なCODECのフォーマットでない場合には、図8に示す「処理3」以降の処理に移行する。尚、「処理2」では、PC100が選択したウェブコンテンツを一部あるいは全部取得して解析を行いこの解析結果とTV111側の再生対応状況との比較に基づいて判定を下す方式、並びにウェブコンテンツを検索する画面上、すなわちウェブページ上で提供されたウェブコンテンツのCODEC情報とTV111側の再生対応状況との比較に基づいて判定を下す方式のいずれを適用してもよい。
ちなみに、TV111で利用可能なCODECの情報を再生対応状況として予めPCが知っている場合であるが、判定にあたり、TV111とPC100が通信を行って、TV111で利用可能なCODECの情報をPC100が取得してから判定を行っても良い。
図8に示す「処理3」は、TV111で利用可能なCODECのフォーマットでないことをPC100が確認されたウェブコンテンツの全部に対して行われる。ここでは、PC100がこれらウェブコンテンツの全部をコンテンツサーバ133から取得する。
図8に示す「処理4」では、PC100が取得したウェブコンテンツをTV111で利用可能なCODECのフォーマットにトランスコードする。
尚、以上の「処理3」および「処理4」は特定したウェブコンテンツの全部を取得し、トランスコードし終えてから、次に示す「処理5」に移ってもよいが、ウェブコンテンツの最初の一部を取得し、トランスコードし終えた状態で、引き続き残りのウェブコンテンツを取得し、トランスコードしながら、「処理5」に移ってもよい。
図8に示す「処理5」では、PC100からTV111にトランスコードしたウェブコンテンツの提供と再生指示をLANを利用して行う。この場合も、図3に示す場合と同様にネットワークプロトコルの物理層など下位の層はEthernet、その上位層(ネットワーク層など)の通信プロトコルはTCP/IP、さらにその上位層のプロトコルはHTTPとされる。
この変形例でもHTTPプロトコルでデータを伝送するため、TV111はHTTPサーバとして設定され、PC100はそのクライアントとして設定される。TV111において、HTTPサーバ機能は制御ブ261の一部を利用して実現される。HTTPサーバをPC100に設定することも考えられるが、この場合、一般的にPC100のセキュリティについて考慮する必要がある。すなわち、PC100をHTTPサーバとして動作させようとすると、セキュリティに関わる設定を行わなければならず、HTTPサーバ機能を実現するPCアプリケーションをPCにインストールする際に手間を要する。従って、本実施形態では、TV111がサーバとして設定されている。ここでは、TV111に設定されたHTTPサーバの機能を本実施形態で述べる処理に限定することで、セキュリティ上の脆弱性を極力生じないようにしている。また、TV111のHTTPサーバは常時動作する構成でも良いが、コンテンツ再生の際にリモコン等の操作によりTV11を制御して動作させる構成でも良い。
メディアファイル(ウェブコンテンツ)の提供では、Postメソッドを利用してPC100およびTV(HTTPサーバ)111間で通信が行われる。この通信は再生準備フェーズ、再生フェーズ、および再生確認フェーズ3つのフェーズに分けられる。
再生準備フェーズ:
図9はPC100およびTV(HTTPサーバ)111間で行われる再生準備フェーズの通信を示す。図10はPC100からTV111へのリクエストボディのフォーマットを示し、図11はTV111からPC100へのレスポンスボディのフォーマットを示す。尚、記載の数値は一例である。
PC100は保有しているトランスコードしたウェブコンテンツをTV111へ提供して再生したいこと、並びにそのウェブコンテンツの種類(動画/静止画)を通知する。
レスポンスのステータスコードが「200」である場合、PC100はレスポンスボディ内のTVステータスによりに従って次のように判断する。
TVステータス=「可」:TV111がコマンドの受信に成功し、ウェブコンテンツの再生フェーズへ移行できる。
TVステータス=「中断」:TV111がコマンドの受信に成功したがBUSYであってウェブコンテンツの再生に移行できない。この場合、PC100は「TVの状態を確認してください」のようなエラー表示を行う。すなわち、TV111は、何らかの原因により特定のウェブコンテンツの再生を実行できないことを意味する。この「中断」は、例えば(1)TVが裏録画等を実行中であり、ウェブコンテンツの再生を実行するリソースが確保できない場合、(2)故障の場合に発生する。
レスポンスには、上述のTVステータス以外に、提供サイズ(byte)、提供間隔(ms)、スキップサイズ(byte)も記述される。
PC100は提供サイズ(byte)と提供間隔(ms)に従ってウェブコンテンツ提供の準備をする。提供サイズと提供間隔は、ウェブコンテンツの種類とTV111側のスペックに応じて設定される。
提供間隔の定義は、提供サイズで分割したウェブコンテンツをPOSTする間隔である。具体的には、PC100が前回POST開始から次のPOST開始までの時間となる。ネットワークの速度が一定であれば、TV111がPOSTリクエストを受信する間隔と同一となる。
スキップサイズ(byte)はウェブコンテンツが動画の場合、1秒あたりのデータサイズが通知される。
尚、再生準備フェーズでは、TV111はウェブコンテンツを入手しておらず、提供サイズ(byte)、提供間隔(ms)、スキップサイズ(byte)は参考値である。PC100は再生フェーズ以降の最新のスキップサイズ(byte)を使用すべきである。
レスポンスのステータスコードが「200以外」である場合、PC100は可能な限りリクエストの再送を継続し、リクエストの再送を継続不能な状況でエラー表示(HTTPステータスコード表示)を行う。
再生フェーズ:
再生準備フェーズの通信では、TV111のレスポンスのTVステータスが「可」となっている必要がある。
再生フェーズでは、次に示すようにウェブコンテンツの受け渡しと再生制御の2種の通信が行われる。
再生フェーズ(ウェブコンテンツの受け渡し):
図12はPC100およびTV(HTTPサーバ)111間で行われる再生フェーズ(ウェブコンテンツの受け渡し)の通信を示す。PC100からTV111へのリクエストには、提供サイズ(byte)のウェブコンテンツが入る。図13はTV111からPC100へのレスポンスボディのフォーマットを示す。尚、記載の数値は一例である。
PC100は、再生準備フェーズでTV111から指定された提供サイズ・提供間隔でウェブコンテンツをPOSTする。
レスポンスのステータスコードが「200」である場合、PC100はレスポンスボディ内のTVステータスに従って次のように判断する。
TVステータス=「可」:ウェブコンテンツデータの受信に成功した。
TVステータス=「不可」:TV111がBUSYであって、PC100が再度同じデータをPOSTすべき。
TVステータス=「中断」:TV111がBUSYであって、PC100がエラー表示して処理を終了すべき。
提供サイズ(byte)は、次回以降、提供すべきウェブコンテンツのサイズであり、ユースケースを後述する。
提供間隔(ms)は、次回以降、提供すべきウェブコンテンツの提供間隔(タイミング)であり、ユースケースを後述する。
スキップサイズ(byte)は、ウェブコンテンツが動画の場合であり、1秒あたりのデータサイズが通知される。
レスポンスのメッセージボディ内には、上述のTVステータス以外に、提供サイズ(byte)、提供間隔(ms)、スキップサイズ(byte)も記述される。
レスポンスのステータスコードが「200以外」である場合、TV111は可能な限りリクエストの再送を継続し、リクエストの再送を継続不能な状況でエラー表示(HTTPステータスコード表示)を行う。但し、アプリケーションの実行は継続される。
再生フェーズ(再生制御):
図14はPC100およびTV(HTTPサーバ)111間で行われる再生フェーズ(再生制御)の通信を示す。図15はPC100からTV111へのリクエストボディのフォーマットを示し、図16はTV111からPC100へのレスポンスボディのフォーマットを示す。尚、記載の数値は一例である。
PC100は、再生準備フェーズでTV111から指定された提供サイズ・提供間隔でウェブコンテンツをPOSTする。
PC100はTV111へ再生に関する指示を与えたい場合にTV111へ以下の指示を行う。
「停止」は再生終了を表す。これにより、TV111は動画再生アプリケーションを終了する。
「一時停止」は再生を一時停止することを表す。
「再生」は一時停止を解除して再生再開することを表す。再生停止後の場合には同じウェブコンテンツが最初から再生される。
「ワンタッチスキップ」はPC100で予め設定した時間分のスキップを行い、そこから通常再生を開始することを表す。
「ワンタッチリプレイ」はPC100で予め設定した時間分前に戻し、そこから通通常再生を開始することを表す。
PC100からの制御により、TV111は以下のように動作する。
「停止」の場合、TV111は動画再生アプリケーションを終了する。PC100とTV111との連携アプリケーションは継続。
「一時停止」の場合、TV111はウェブコンテンツの受け渡し(POST)が一時停止されたことを知るほか、動画再生アプリケーションにおいてコンテンツの再生を一時停止する。
「再生」の場合、TV111はウェブコンテンツの受け渡しが再開されることを知るほか、現状態に応じて次のように動作する。
「停止」であれば、TV111がウェブコンテンツのPOSTを待ち、動画再生アプリを起動して受信ウェブコンテンツの再生を開始する。
「一時停止」であれば、TV111がコンテンツの再生を再開する(再生は一時停止位置から開始される)。
「ワンタッチスキップ」であれば、TV111が次に発生するウェブコンテンツの受け渡し(POST)でデータの連続性がないことを知る。TV111は次のPOSTによりウェブコンテンツを入手した時点で、現データ(ワンタッチスキップ指示がある前に入手していたデータの未再生部分)を破棄し、新たに得られたデータを使用し、再生を開始する。
「ワンタッチリプレイ」であれば、TV111が次に発生するウェブコンテンツの受け渡し(POST)でデータの連続性がないことを知る。TV111は次のPOSTによりウェブコンテンツを入手した時点で、現データ(ワンタッチリプレイ指示がある前に入手していたデータの未再生部分)を破棄し、新たに得られたデータを使用し、再生を開始する。
レスポンスのステータスコードが「200」である場合、PC100はメッセージボディ内のTVステータスに従って次のように判断する。
TVステータス=「可」:TV111が指示を実行した。
TVステータス=「中断」:TV111はBUSYであって、PC100が「TVの状態を確認してください」のようなエラー表示を行うべき。
レスポンスのメッセージボディ内には、上述のTVステータス以外に、提供サイズ(byte)、提供間隔(ms)、スキップサイズ(byte)が記述される。
レスポンスのステータスコードが「200以外」である場合、PCはリクエストの再送、継続が可能な場合は再送、継続、リクエストの再送、継続が不可の場合は、処理を終了し、エラー表示(HTTPステータスコード表示)する。
再生確認フェーズ:
図17はPC100およびTV(HTTPサーバ)111間で行われる再生確認フェーズの通信を示す。図18はPC100からTV111へのリクエストボディのフォーマットを示し、図19はTV111からPC100へのレスポンスボディのフォーマットを示す。
再生フェーズで複数回の通信が発生する場合には、PC100がTV111の再生状況を把握することが可能であるが、再生フェーズでの通信が少ない場合には、TV111が再生不可(TV111は再生不能な形式のウェブコンテンツであることを検知)などのレスポンスを発生することができず、PC100がTV111の再生状況を把握できない場合も想定される。
PC100は再生フェーズを終了後、TV111の再生状況を把握するために再生確認フェーズの通信を行う。
レスポンスのステータスコードが「200」である場合、PC100はメッセージボディ内のTVステータスに従って次のように判断する。
TVステータス=「可」:TV111が再生可能であった。
TVステータス=「中断」:TV111はBUSYであって、PC100が「TVの状態を確認してください」のようなエラー表示をすべき。
レスポンスのステータスコードが「200以外」である場合、PC100は可能な限りリクエストの再送を継続し、リクエストの再送を継続不能な状況で処理を終了してエラー表示(ステータスコード表示)する。
尚、本発明は上述の実施形態に限定されず、その要旨を逸脱しない範囲で様々に変形可能である。
上述の実施形態では、ネットワーク対応テレビジョン装置111がコンテンツサーバ133にネットワーク接続されるコンテンツ再生装置として設けられているが、これに限定されない。一例として、コンテンツ再生装置は、通常のテレビジョン放送受信用回路および表示器を持つネットワーク非対応のテレビジョン装置をネットワーク接続するセットトップボックスとして構成されてもよい。この場合、コンテンツサーバ133に登録されたコンテンツを検索して選択するコンピュータ100をクライアントとするサーバとして機能し、コンピュータ100によって選択されたコンテンツをコンテンツサーバ133から取得するコンテンツ取得部と、このコンテンツ取得部で取得されたコンテンツをデコードする信号処理部とがセットトップボックスに設けられる。コンピュータ100が
コンテンツサーバ133に登録されたコンテンツを検索して選択すると、セットトップボックスのコンテンツ取得部がコンピュータ100により通知されるこの選択されたコンテンツのURLを取得し、このURLに登録されたコンテンツをコンテンツサーバ133から取得する。
100…パソコン(PC)、111…ネットワーク対応デジタルテレビジョン装置(TV)、114…映像表示器、131…ブロードバンドルータ、133…コンテンツサーバ、247…信号処理部、261…制御部、261e…コンテンツ情報取得機能モジュール。

Claims (4)

  1. コンテンツサーバにネットワーク接続される情報処理装置であって、
    前記コンテンツサーバに登録されたコンテンツを検索し、コンテンツ選択画面を表示する手段と、
    前記コンテンツ選択画面からコンテンツを選択する手段と、
    前記選択されたコンテンツを、ネットワーク接続された再生表示装置で再生するか決定する手段と、
    前記選択されたコンテンツを前記再生表示装置で再生することか決定された場合、前記選択されたコンテンツが動画であれば、前記選択されたコンテンツのURLを前記再生表示装置に送信し、前記選択されたコンテンツが動画でなければ、所定静止画のURLを送信する手段と、
    前記選択されたコンテンツのCODEC形式が前記再生表示装置で利用可能か判断する判断手段と、
    前記CODEC形式が前記再生表示装置で利用可能な形式ではない場合、前記選択されたコンテンツを前記コンテンツサーバから取得し、前記再生表示装置で利用可能なCODECのフォーマットにトランスコードする手段と、
    前記トランスコードされたコンテンツを前記再生表示装置に送信する手段と、
    を具備する情報処理装置。
  2. 前記判断手段は、ウェブページ上で提供される前記選択されたコンテンツのCODEC情報と、前記再生表示装置の再生対応状況との比較に基づいて、前記CODEC形式が前記再生表示装置で利用可能か判断することを特徴とする請求項記載の情報処理装置。
  3. 前記URLを前記再生表示装置に送信した後、前記再生表示装置から、前記URLに対応するコンテンツの再生を実行できないことを示す応答を受信した場合、その旨を示すエラー表示を行うことを特徴とする請求項1記載の情報処理装置。
  4. 前記選択されたコンテンツの再生に関する指示を前記再生表示装置に送信する手段を更に具備することを特徴とする請求項記載の情報処理装置。
JP2010073350A 2010-03-26 2010-03-26 コンテンツ再生装置およびコンテンツ再生方法 Expired - Fee Related JP5085680B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010073350A JP5085680B2 (ja) 2010-03-26 2010-03-26 コンテンツ再生装置およびコンテンツ再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010073350A JP5085680B2 (ja) 2010-03-26 2010-03-26 コンテンツ再生装置およびコンテンツ再生方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008290224A Division JP2010117863A (ja) 2008-11-12 2008-11-12 コンテンツ再生装置およびコンテンツ再生方法

Publications (2)

Publication Number Publication Date
JP2010211806A JP2010211806A (ja) 2010-09-24
JP5085680B2 true JP5085680B2 (ja) 2012-11-28

Family

ID=42971826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010073350A Expired - Fee Related JP5085680B2 (ja) 2010-03-26 2010-03-26 コンテンツ再生装置およびコンテンツ再生方法

Country Status (1)

Country Link
JP (1) JP5085680B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5807546B2 (ja) * 2011-12-28 2015-11-10 ブラザー工業株式会社 画像表示装置
JP5284494B2 (ja) 2012-01-06 2013-09-11 株式会社東芝 携帯端末とテレビジョン装置による通信システム、携帯端末、テレビジョン装置、携帯端末の通信方法、携帯端末の動作プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304333A (ja) * 2001-04-03 2002-10-18 Sony Corp 伝送方法及び伝送装置
JP2005292903A (ja) * 2004-03-31 2005-10-20 Seiko Epson Corp 制御システム、制御プログラム、制御方法及び制御装置
JP2006339855A (ja) * 2005-05-31 2006-12-14 Toshiba Corp ネットワーク制御装置、符号化方式変換装置、及びコンテンツデータ再生システム
JP4789604B2 (ja) * 2005-12-02 2011-10-12 シャープ株式会社 コンテンツ切替判定システム及び切替指示端末、並びに、コンテンツ切替判定方法
EP1967957B1 (en) * 2005-12-27 2013-07-17 Mitsubishi Electric Corporation Transcoder

Also Published As

Publication number Publication date
JP2010211806A (ja) 2010-09-24

Similar Documents

Publication Publication Date Title
US20220124136A1 (en) Wireless media streaming system
JP5214204B2 (ja) 動画再生装置及び動画再生方法
JP5837444B2 (ja) パーソナル・コンテンツ配信ネットワーク
KR101990988B1 (ko) 디지털 콘텐츠 버전 전환 방법 및 그 대응 장치
KR20150025514A (ko) 콘텐츠 재생 단말에서 콘텐츠 연결 방법
JP2010117863A (ja) コンテンツ再生装置およびコンテンツ再生方法
US20110302603A1 (en) Content output system, content output method, program, terminal device, and output device
JP2010109497A (ja) 放送受信装置および放送受信方法
JP5085680B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
US20090007183A1 (en) Video recording apparatus and broadcast receiving apparatus
US20120272280A1 (en) Video processor and video processing method
JP2013153456A (ja) 動画再生装置及び動画再生方法
US20130060910A1 (en) Content reproducing apparatus, content reproducing system, and control method thereof
US7937509B2 (en) Content processing apparatus and content processing method
JP5238904B2 (ja) 録画装置および設定方法
JP5241949B2 (ja) 録画装置および設定方法
JP4991928B2 (ja) 録画装置および設定方法
JP2010154272A (ja) 放送受信装置および放送受信方法
JP4991927B2 (ja) 録画装置および設定方法
JP2017508328A (ja) オーディオビジュアルコンテンツのアイテムの入手可能性を補償する方法、レシーバデコーダデバイス、コンピュータプログラム及び記憶媒体
JP2013168733A (ja) 電子機器及びその制御方法
JP2008118178A (ja) 受信装置および受信方法
JP5058388B2 (ja) 録画装置および設定方法
JP2008067112A (ja) 録画装置および録画方法
JP2008067231A (ja) 放送受信装置および方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees