JP4794440B2 - デジタルストリーミングフォーマット又はソースの高速な変化に対応する装置及び方法 - Google Patents

デジタルストリーミングフォーマット又はソースの高速な変化に対応する装置及び方法 Download PDF

Info

Publication number
JP4794440B2
JP4794440B2 JP2006522033A JP2006522033A JP4794440B2 JP 4794440 B2 JP4794440 B2 JP 4794440B2 JP 2006522033 A JP2006522033 A JP 2006522033A JP 2006522033 A JP2006522033 A JP 2006522033A JP 4794440 B2 JP4794440 B2 JP 4794440B2
Authority
JP
Japan
Prior art keywords
streaming
source
stream
video
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006522033A
Other languages
English (en)
Other versions
JP2007500974A (ja
Inventor
ドーソン、トーマス、ピー.
グナティレイク、プリアン
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JP2007500974A publication Critical patent/JP2007500974A/ja
Application granted granted Critical
Publication of JP4794440B2 publication Critical patent/JP4794440B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42661Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet

Description

本発明は、ホームビデオサーバシステムに関し、特に、ホームビデオサーバシステムによって提供されるビデオストリームの管理に関する。
テレビジョン受像機はユビキタスになり、テレビジョン受像機に関連して動作するホームビデオサーバも開発されている。典型的なホームビデオサーバは、1つ以上のテレビジョン受像機に表示される様々なソースからの様々なメディアコンテンツを提供する。
予め定義されたパス又はストリームを介して、ユーザのテレビジョン受像機にメディアコンテンツを配信できることが知られている。メディアコンテンツを配信するために用いられるパス又はストリームは、コンテンツの種類及び物理的なトランスポートリソースに基づく様々なプロトコル(例えば、ソフトウェアモジュール又は「スタック」)を用いて構築できる。メディアコンテンツを含む様々なビデオソースの切換は、できるだけ高速且つ効率的でなければならない。しかしながら、例えば、アナログビデオ、MPEG−2トランスポートストリーム、MPEG−2プログラムストリーム、MPEG−4、JVT等のビデオソースのフォーマットのためにビデオソースを切り換えることが難しい場合がある。更に、これらのビデオソースは、アナログビデオのデジタルエンコーダ等、ホームメディアサーバとは異なるリソースを必要とすることがある。デジタル形式のフォーマットでは、エンコーダは必要ではないが、ホームメディアサーバ及びテレビジョン受像機等のクライアントディスプレイ装置への接続の要求によってフォーマット変換が必要となることがある。
現在の技術では、ストリームソースの選択が変更した場合、常に、全体のビデオコンテンツストリーム(プロトコル、ソフトウェアモジュール及び/又は「スタック」)を中断し、再構築する必要がある。この方法は、元来、例えば、クイックタイム(QuickTime)及びリアルネットワークス(Real Networks)等のインターネットストリーミングのために用いられていた。後に、例えば、NEC AX10、パイオニアDL−000(Pioneer DL-000)、TiVo及びソニックブルー社(SonicBlue)のリプレイTV(Replay TV)等のホームメディアサーバ製品の開発において、この手法が採用され、引き継がれた。
ここで、このような接続のためにトランスポート部分をセットアップするためには、エンドユーザ機器とサーバとの間で、かなり大量の情報交換を行う必要があり、したがって、接続を確立するために長い時間が掛かるという問題がある。
そこで、本発明の目的は、ストリームソースの選択において、他のシステムリソースと共に、クライアントストリーミング接続のトランスポート部分を保存するシステム及び方法を提供することである。本発明は、他の利点と共に、この要求を満たし、従来の手法の問題点を解決する。
本発明は、如何なる入力ソース形式にも対応し、クライアントがソースを切り換えても又は異なるソースフォーマットを要求しても、通信リンクを切断することなく、クライアントが望むフォーマットをクライアントに与えるシステム及び方法を提供する。本発明は、クライアントディスプレイへのトランスポート接続を維持するリソースからストリームソースを含むリソースを分離する。この構成により、クライアントディスプレイ装置への接続を切断することなく、コンテンツストリームを構成するフォーマット及びリソースを変更させることができる。クライアントへの接続は、ストリームを生成するために必要なリソース又はストリーム自体のフォーマットに関わらず維持できる。本発明は、ホームメディアサーバの各クライアントへの、個別に管理及び維持されるトランスポート接続を実現する。この接続は、ソースフォーマット及びクライアントへのデータをパッケージ化するために必要なリソースが変更されても維持できる。
本発明の一側面として、本発明は、ソース制御ライブラリと、ストリーミングライブラリと、ソース制御ライブラリとストリーミングライブラリとの間に接続されたストリームコントローラとを備えるホームビデオサーバシステムを提供する。一実施形態においては、複数のネットワークディスプレイ端末装置は、ネットワーク接続を介してストリーミングライブラリに接続される。動作の間、ソース制御ライブラリ内でソースが変更しても、ネットワークディスプレイ端末装置及びストリーミングライブラリの間の接続は、変更しない。
一実施形態においては、ソース制御ライブラリは、例えば、オーディオ、ビジュアル又はオーディオ/ビジュアルソース等の複数のメディアソースに接続にされたソースルート選択モジュールを含む。ソースルート選択モジュールは、どのメディアソースがストリームコントローラにデータを提供するかを選択する。メディアソースは、好ましくは、複数のアナログビデオソース、イーサネット(登録商標)ストリーミングビデオソース及びハードディスクドライブディスクドライブを含む。他の実施の形態においては、iLink(IEEE−1394)接続により更なるビデオソースを提供できる。システム要求に応じて、他のビデオソースを含むことができる。
アナログビデオデコーダは、好ましくは、各アナログビデオソースに接続される。更に、アナログビデオデコーダには、アナログソースルータマルチプレクサが接続される。好ましくは、システムは、同数のアナログビデオデコーダ及びアナログビデオソースを含む。アナログソースルータマルチプレクサとソースルート選択モジュールとの間には、デジタル圧縮符号化器が接続される。アナログソースルータマルチプレクサは、選択されたビデオデコーダを選択されたデジタル圧縮符号化器にルーティングする。更に、好ましくは、イーサネットストリーミングビデオソースとソースルート選択モジュールとの間には、イーサネットストリーミングビデオインタフェースが接続される。また、ハードディスクドライブとソースルート選択モジュールとの間には、パーソナルビデオレコーダ(personal video recorder:PVR)/ファイル再生モジュールが接続される。
ストリームコントローラは、好ましくは、ソースルート選択モジュールに接続されたストリーミングモジュールインタフェースパッケージを含む。更に、ストリームコントローラは、ストリーミングモジュールインタフェースパッケージに接続された汎用プラグアンドプレー(UPnP)ソフトウェアスタックを含む。ネットワークディスプレイ端末装置は、ネットワーク接続を介してUPnPソフトウェアスタックにアクセスできる。
好ましい実施の形態では、ストリーミングライブラリは、ストリーミングモジュールインタフェースパッケージに接続されたリアルタイムストリーミングプロトコル/リアルタイムトランスポートプロトコル(RTSP/RTP)ストリーミングモジュールを含む。また、ストリーミングライブラリは、ストリーミングモジュールインタフェースパッケージに接続されたハイパーテキスト転送プロトコル(HTTP)ストリーミングモジュールを含む。更に、ストリーミングライブラリは、ストリーミングモジュールインタフェースパッケージに接続されたユーザデータグラムプロトコル(UDP)ストリーミングモジュールを含む。ネットワークディスプレイ端末装置は、好ましくは、RTSP/RTPストリーミングモジュールとHTTPストリーミングモジュールとUDPストリーミングモジュールとに接続される。
本発明の他の側面として、本発明は、ホームビデオサーバによって提供されるビデオストリームを管理するビデオストリーム管理方法を提供する。このビデオストリーム管理方法では、まず、ネットワークディスプレイ端末装置からストリーミングコンテンツの要求を受信する。次に、ストリーミングコンテンツの第1のストリームソースを選択する。次に、ネットワークディスプレイ端末装置とのストリーミングプロトコル接続を確立する。そして、第1のストリームソースのストリーミングコンテンツをパケット化し、パケット化されたストリーミングコンテンツをネットワークディスプレイ端末装置に送信する。第2のストリームソースが選択されたときには、ネットワークディスプレイ端末装置とのストリーミングプロトコル接続を維持する。
本発明の更なる側面として、本発明は、複数のネットワークディスプレイ端末装置が接続されているホームビデオサーバを含むホームビデオサーバシステムを提供する。このシステムは、更に、ネットワークディスプレイ端末装置からストリーミングコンテンツの要求を受信する受信手段を備える。更に、システムは、ストリーミングコンテンツのストリームソースを選択する選択手段を備える。更に、システムは、ネットワークディスプレイ端末装置とのストリーミングプロトコル接続を確立する確立手段を備える。更に、システムは、ストリームソース又はフォーマットが変更されたとき、ネットワークディスプレイ端末装置とのストリーミングプロトコル接続を維持する維持手段を備える。
本発明の更なる側面は、以下に示す実施の形態により明らかとなり、ここに示す詳細は、本発明を限定することなく、本発明の好ましい形態を完全に開示することを目的とする。
以下、図1及び図2に構成を示す装置及びこれに関連する動作を用いて、本発明を例示的に詳細に説明する。なお、本明細書に開示する基本的な概念から逸脱することなく、システムの構成及びコンポーネントの詳細を様々に変更することができる。
図1は、ホームメディアサーバシステム10の構成を示している。図1に示すように、ホームメディアサーバシステム10は、ストリームコントローラ14に接続されたソース制御ライブラリ12を備える。ストリームコントローラ14は、ストリーミングライブラリ16に接続されている。更に、図1に示すように、ソース制御ライブラリ12は、例えば、ローカルエリアネットワーク(local area network:LAN)、無線ローカルエリアネットワーク(wireless local area network:WLAN)、ワイドエリアネットワーク(wide area network:WAN)、無線ワイドエリアネットワーク(wireless wide area network:WWAN)、パーソナルエリアネットワーク(personal area network:PAN)、無線パーソナルエリアネットワーク(wireless personal area network:WPAN)又は当分野で周知の他の何らかのネットワークであるネットワーク18に接続されている。図1に示すように、ネットワーク18には、複数のネットワークディスプレイ端末装置(network display terminal:以下、NDTという。)20が接続されている。なお、各NDT20は、テレビジョン受像機、コンピュータモニタ、又は他の如何なるディスプレイ装置であってもよい。以下で詳細に説明するように、ストリームコントローラ14は、ビデオ信号をNDT20にストリーミングするために用いられるストリーミングモジュールを選択できる。
図1に示すように、ソース制御ライブラリ12は、アナログソースルータマルチプレクサ(MUX)24に接続された複数のアナログビデオデコーダ22を備える。アナログソースルータMUX24は、複数のデジタル圧縮符号化器26に接続されているソースルート選択(source route selection:以下、SRSという。)モジュール28に接続されている。更に、イーサネットストリーミングビデオインタフェース30は、SRSモジュール28に接続されている。また、パーソナルビデオレコーダ(PVR)/ファイル再生モジュール32は、SRSモジュール28に接続されている。なお、SRSモジュール28は、ソース選択、ソース切換、以下で説明するストリーミングモジュールインタフェースパッケージへのデジタルデータのルーティング等を処理する。
また、図1は、各アナログビデオデコーダ22にアナログビデオ信号を供給する複数のアナログビデオソース34を示している。アナログビデオデコーダ22は、アナログビデオ信号をデジタルビデオ信号に変換し、アナログソースルータMUX24に供給する。図1に示すように、SRSモジュール28によって提供されるソース選択アプリケーションプログラムインタフェース(application program interface:API)によってアナログソースルータMUX24を制御できる。更に、図1に示すように、アナログソースルータMUX24は、デジタル圧縮符号化器26にデータ信号を供給する。各デジタル圧縮符号化器26は、データ信号を圧縮し、圧縮データ信号をSRSモジュール28に供給する。デジタル圧縮符号化器26は、好ましくは、SRSモジュール28によって提供される圧縮符号化制御APIによって制御される。
好ましい実施の形態では、イーサネットストリーミングビデオソース36は、イーサネットストリーミングビデオ信号をイーサネットストリーミングビデオインタフェース30に供給し、イーサネットストリーミングビデオインタフェース30は、イーサネットストリーミングビデオ信号を圧縮されたデジタルビデオデータ信号に変換し、SRSモジュール28にデータ信号を供給する。SRSモジュール28は、イーサネットストリーミングビデオインタフェース30に送信されるイーサネットストリーミングビデオ制御APIを用いてイーサネットストリーミングビデオインタフェース30を制御できる。更に、図1に示すように、ハードディスクドライブ、例えば、オーディオ/ビジュアルハードディスクドライブ(AV−HDD)38は、圧縮されたデジタルビデオデータ信号をPVR/ファイル再生モジュール32に供給できる。PVR/ファイル再生モジュール32は、好ましくは、圧縮されたデジタルビデオデータ信号をSRSモジュール28に供給する。PVR/ファイル再生モジュール32の動作は、SRSモジュール28によってPVR/ファイル再生モジュール32に送信されるPVR制御APIによって制御できる。なお、他のソースがSRSモジュール28にコンテンツを提供してもよい。これらのソースとしては、例えば、iLinkソース、メモリスティック、オーディオ/ビジュアル(AV)ソース又は他の何らかのメディアソースが含まれる。
更に、図1に示すように、ストリームコントローラ14は、ストリーミングモジュールインタフェースパッケージ40を含む。ストリーミングモジュールインタフェースパッケージ40には、汎用プラグアンドプレー(universal plug and play:UPnP)ソフトウェアスタック42が接続されている。図1に示すように、ストリーム要求は、ストリーミングモジュールインタフェースパッケージ40とUPnPソフトウェアスタック42との間で送受される。更に、ストリーミングモジュールインタフェースパッケージ40は、SRSモジュール28を制御するために用いることができるSRSモジュール制御APIを提供する。SRSモジュール28は、ストリーミングモジュールインタフェースパッケージ40にデータ信号を提供する。以下で詳細に説明するように、データ信号は、最終的にパケット化され、1つ以上のNDT20に供給される。
図1に示すように、ストリーミングライブラリ16は、リアルタイムストリーミングプロトコル/リアルタイムトランスポートプロトコル(real time streaming protocol/real time transport protocol:以下、RTSP/RTPという。)ストリーミングモジュール44と、ハイパーテキスト転送プロトコル(hypertext transfer protocol:以下、HTTPという。)ストリーミングモジュール46と、ユーザデータグラムプロトコル(user datagram protocol:以下、UDPという。)ストリーミングモジュール48とを有する。これらのモジュール44、46、48は、それぞれ、ストリーミングモジュールインタフェースパッケージ40に接続されている。具体的には、RTSP/RTPストリーミングモジュール44は、ストリーミングモジュールインタフェースパッケージ40からデータ信号及びRTSP/RTP−APIを受信する。更に、HTTPストリーミングモジュール46は、ストリーミングモジュールインタフェースパッケージ40からデータ信号及びHTTP−APIを受信する。またUDPストリーミングモジュール48は、ストリーミングモジュールインタフェースパッケージ40からデータ信号及びUDP−APIを受信する。
なお、好ましい実施の形態においては、ストリーミングモジュールインタフェースパッケージ40は、これらのAPIを用いて、そのAPIが送信される各モジュール、すなわち、RTSP/RTPストリーミングモジュール44、HTTPストリーミングモジュール46及びUDPストリーミングモジュール48を制御する。更に、好ましい実施の形態では、RTSP/RTPストリーミングモジュール44、HTTPストリーミングモジュール46及びUDPストリーミングモジュール48が受信した、圧縮された各デジタルビデオデータ信号は、パケット化され、タイムスタンプ処理され、これにより、パケットストリームが生成され、このパケットストリームは、ネットワーク18を介して、後述するように、選択されたインターネットプロトコル(IP)を用いて、1つ以上のNDT20に送信又はストリーミングできる。
更に、図1に示すように、RTSP/RTPストリーミングモジュール44、HTTPストリーミングモジュール46及びUDPストリーミングモジュール48は、ネットワーク18に接続されている。図1に示すように、ネットワーク18を介して、RTSP/RTPストリーミングモジュール44と1つ又は複数のNDT20との間でRTSP/RTP命令を送受することができる。更に、ネットワーク18を介して、RTSP/RTPストリーミングモジュール44から1つ又は複数のNDT20に、パケット化されたデータを含むパケットストリームを送信することができる。好ましくは、ネットワーク18を介して、HTTPストリーミングモジュール46と1つ又は複数のNDT20との間でHTTP命令を送受することができ、HTTPストリーミングモジュール46から1つ又は複数のNDT20にパケットストリームを送信することができる。更に、ネットワーク18を介して、UDPストリーミングモジュール48と1つ又は複数のNDT20との間でUDP命令を送受することができ、UDPストリーミングモジュール48から1つ又は複数のNDT20にパケットストリームを送信することができる。更に、図1に示すように、ネットワーク18を介して、UPnPソフトウェアスタック42と1つ又は複数のNDT20との間でUPnP命令を送受することができる。なお、UPnP命令を介して、NDT20から汎用リソースロケータ(URL)を取得することができ、RTSP/RTP又は、他の要求されたストリーミングのプロトコル、すなわち、HTTP又はUDPを介して、NDT20にURLを返すことができる。
なお、ソース制御ライブラリ12、ストリームコントローラ14及びストリーミングライブラリ16は、ホームメディアサーバ50内にインストールできる。NDT20は、ネットワーク18を介してホームメディアサーバ50にアクセスできる。
以下、図2を参照して、本発明の動作ロジックを説明する。なお、動作ロジックは、マイクロコンピュータ又はこれに類する装置によって実行可能なソフトウェアによって実現される。この実施の形態では、処理は、ストリームコントローラ14が、NDT20から出されたストリームのUPnP要求を受信すると、doループを有するブロック100を開始する。次に、ブロック102において、ストリーミングモジュールインタフェースパッケージ40からSRSモジュール28に供給されたSRS制御APIを用いてストリームソースを選択する。続いて、ブロック104において、選択されたストリームソースのデータは、ストリームコントローラ14内のストリーミングモジュールインタフェースパッケージ40にルーティングされる。ブロック106において、例えば、ストリーミングライブラリ16内のモジュール44、46、48の1つ及びネットワーク18を介して、NDT20との接続が確立される。したがって、RTSP/RTP、HTTP又はUDPを介して接続を確立することができる。
続いて、ブロック110において、モジュール44、46、48の1つにおいてデータをパケット化する。次に、ブロック112において、確立された接続を介して、パケット化されたデータをパケットストリームとしてNDT20に送信する。次に、ブロック114において、ストリームソースの選択を変更した場合、ロジックは、ブロック116に進み、ストリーミングモジュールインタフェースパッケージ40からSRSモジュール28に送信されたSRS制御APIを用いて新たなストリームソースを選択する。ブロック118において、先に確立された接続、すなわち、ブロック108において確立された接続を維持する。そして、ロジックは、ブロック110に戻り、上述の処理を繰り返す。
なお、本発明では、ストリームソースを含むリソースを、クライアントディスプレイへのトランスポート接続を維持するリソースから分離する。この構成により、例えば、NDT20等のクライアントディスプレイ装置への接続を切断することなく、コンテンツストリームを構成するフォーマット及びリソースを変化させることができる。NDT20への接続は、ストリームを生成するために必要なリソース又はストリーム自体のフォーマットに関わらず維持できる。更に、本発明は、ホームメディアサーバ50の各クライアントへの、個別に管理及び維持されるトランスポート接続を実現する。このトランスポート接続は、ソースフォーマット及びクライアントへのデータをパッケージ化するために必要なリソースが変更されても維持できる。なお、NDT20への接続が、例えば、HTTPからUDPに変更する場合、接続を終了し、再構築してもよい。
上述のように、好ましい実施の形態として、本発明は、ホームメディアサーバ50が、幾つかのストリームソースから複数のNDT20にビデオストリームを提供するホームメディアサーバシステム10の一部として実現してもよい。これらのストリームソースは、コンテンツサーバにプラグインされるAV機器から、コンテンツを記録したハードディスクドライブ、ケーブル接続、衛星放送受信機、又はインターネット接続等までの範囲に及ぶ。
なお、本発明は、必要なリソース及びデジタル信号のコンテンツを変更する様々な形態のデジタル伝送に適用できる。
実際の動作時に、第1のソースストリームから第2のソースストリームへの変更があった場合、クライアントストリームマネージャ内のクライアント接続は、例えば、デジタル圧縮符号化器26からAV−HDD38へのソースの切換を実行し、そして、必要であれば、ストリーミングの切換を実行する。クライアントストリーム接続の環境内でこれらの変更、特に、リソース再使用が行われ、及び最小限のストリームライター(StreamWriter:SW)環境が現在のスレッド、メモリ等に変更すると、クライアント装置で観測される総合的な遅延が最小化される。これにより、ストリームソース間の変更に対する応答時間が最小化される。
上述の説明は、多くの詳細事項を含んでいるが、これらは、本発明を限定するものとは解釈されず、本発明の好ましい形態の幾つかを例示的に示すのみである解釈される。更に、本発明は、好ましくは、ソフトウェアを用いて実現され、上述の説明に基づき、周知のプログラミング技術を用いてソフトウェアをコード化できることは明らかである。したがって、本発明の範囲は、当業者にとって明らかな他の実施の形態を包含することは明らかであり、したがって、本発明の範囲は、添付の請求の範囲によってのみ制限される。なお、請求の範囲における要素の単数形は、特に明示している場合を除き、「1つ且つ1つのみ」ではなく、「1つ又は複数」を意味するものとする。上述の好ましい形態における要素に関する、当業者に周知な構造的、化学的、機能的等価物は、参照によって本願に援用され、本発明の範囲に包含されるものとする。更に、装置又は方法は、本発明によって解決すべき問題のそれぞれ又は全てに必ずしも対応するものではないが、本発明の請求の範囲に包含されるものである。更に、ここで説明した要素、コンポーネント、処理ステップは、これらが請求の範囲に明示的に示されているか否かに関わらず、公知となることを意図するものではない。請求の範囲内の各要素は、「手段(means for)」という表現を用いている場合を除き、米国特許法第112条第6項の規定に基づいて定義されるものではない。
本発明に基づくホームメディアサーバシステムのブロック図である。 図1Aの続きである。 本発明に基づく動作ロジックのフローチャートである。

Claims (22)

  1. 通信リンクを介して、1つ以上の端末装置に接続されたビデオサーバシステムにおける、デジタルストリーミングフォーマット及びソース高速で変更させる処理装置において、
    ストリームコントローラと、
    上記ストリームコントローラに接続され、上記端末装置への通信リンクを切断することなく、上記デジタルストリーミングフォーマット及びソースを変更する変更手段とを備え
    上記変更手段は、
    複数のメディアソースに接続されているソースルート選択モジュールであって、該複数のメディアソースのうちのどのメディアソースのデータを上記ストリームコントローラに提供するかを選択するためのソースルート選択モジュールを有するソース制御ライブラリと、
    上記端末装置にストリーミングを行うための複数のストリーミングモジュールを有するストリーミングライブラリと、
    を有し、
    上記ストリームコントローラは、上記ソース制御ライブラリと上記ストリーミングライブラリとの間で接続されており、
    上記ソース制御ライブラリは、上記ストリームコントローラ及び上記ストリーミングライブラリに関連していない、これにより、上記端末装置と上記ストリーミングライブラリとの間の通信リンクは、メディアのソース及びフォーマットが変更されても変化しないことを特徴とする処理装置。
  2. 上記メディアソースは、アナログビデオソースと、イーサネットストリーミングビデオソースと、ハードディスクドライブとのうちの少なくとも2つを含むことを特徴とする請求項記載の処理装置。
  3. 上記メディアソースは、複数のアナログビデオソースを含み、
    当該処理装置は、
    各アナログビデオソースに接続された複数のアナログビデオデコーダと、
    上記アナログビデオデコーダに接続されたアナログソースルータマルチプレクサと、
    上記アナログソースルータマルチプレクサと上記ソースルート選択モジュールとの間に接続された複数のデジタル圧縮符号化器とを備えることを特徴とする請求項記載の処理装置。
  4. 上記メディアソースの少なくとも1つは、イーサネットストリーミングビデオソースであり、
    当該処理装置は、
    上記イーサネットストリーミングビデオソースと上記ソースルート選択モジュールとの間に接続されたイーサネットストリーミングビデオインタフェースを備えることを特徴とする請求項記載の処理装置。
  5. 上記メディアソースの少なくとも1つは、オーディオ/ビジュアルハードディスクドライブであり、
    当該処理装置は、
    上記オーディオ/ビジュアルハードディスクドライブと上記ソースルート選択モジュールとの間に接続されたパーソナルビデオレコーダ/ファイル再生モジュールを備えることを特徴とする請求項記載の処理装置。
  6. 上記ストリームコントローラは、上記ソースルート選択モジュールに接続されたストリーミングモジュールインタフェースパッケージを備えることを特徴とする請求項1記載の処理装置。
  7. 上記ストリームコントローラは、
    上記ストリーミングモジュールインタフェースパッケージに接続された汎用プラグアンドプレー(UPnP)ソフトウェアスタックを備え、
    上記端末装置は、ネットワーク接続を介して上記UPnPソフトウェアスタックにアクセスすることを特徴とする請求項記載の処理装置。
  8. 上記ストリーミングライブラリは、上記ストリーミングモジュールインタフェースパッケージに接続された少なくとも1つのリアルタイムストリーミングプロトコル/リアルタイムトランスポートプロトコル(RTSP/RTP)ストリーミングモジュールを備えることを特徴とする請求項1記載の処理装置。
  9. 上記ストリーミングライブラリは、上記ストリーミングモジュールインタフェースパッケージに接続された少なくとも1つのハイパーテキスト転送プロトコル(HTTP)ストリーミングモジュールを備えることを特徴とする請求項記載の処理装置。
  10. 上記ストリーミングライブラリは、上記ストリーミングモジュールインタフェースパッケージに接続された少なくとも1つのユーザデータグラムプロトコル(UDP)ストリーミングモジュールを備えることを特徴とする請求項記載の処理装置。
  11. 上記端末装置は、RTSP/RTPストリーミングモジュール、HTTPストリーミングモジュール及びUDPストリーミングモジュールのうちの少なくとも1つに接続されていることを特徴とする請求項10記載の処理装置。
  12. 上記端末装置からストリーミングコンテンツの要求を受信するための受信手段をさらに備える請求項1乃至11のいずれか一つに記載の処理装置。
  13. 上記受信手段が要求を受信したことに応じて、メディアソースが選択されることを特徴とする請求項12記載の処理装置。
  14. ホームビデオサーバによって提供されたビデオストリームを管理するためのビデオストリーム管理方法において、
    端末装置からストリーミングコンテンツの要求を受信するステップと、
    上記ストリーミングコンテンツの第1のストリームソースを複数のメディアソースから選択するステップと、
    複数のストリーミング用プロトコルから選択されるストリーミング用プロトコルを介して上記端末装置とのストリーミングプロトコル接続を確立するステップと、
    上記第1のストリームソースの第1のストリーミングコンテンツをパケット化するステップと、
    上記パケット化された第1のストリーミングコンテンツを上記端末装置に送信するステップと、
    上記第2のストリーミングコンテンツの第2のストリームソースを選択するステップと、
    上記第1のストリームソースを選択するステップ及び上記第2のストリームソースを選択するステップを上記ストリーミングプロトコル接続を確立するステップから分離して管理することによって、第2のストリームソースが選択されたとき、上記端末装置とのストリーミングプロトコル接続を維持するステップと
    上記第2のストリームソースの第2のストリーミングコンテンツをパケット化するステップと、
    上記パケット化された第2のストリーミングコンテンツを上記端末装置に送信するステップと、
    を有するビデオストリーム管理方法。
  15. 上記ストリーミングコンテンツの要求は、ストリームコントローラによって受信され、該ストリームコントローラは、
    ストリーミングモジュールインタフェースパッケージと、
    上記ストリーミングモジュールインタフェースパッケージに接続された汎用プラグアンドプレー(UPnP)ソフトウェアスタックとを備えることを特徴とする請求項14記載のビデオストリーム管理方法。
  16. 上記ストリーミングコンテンツの要求は、上記UPnPソフトウェアスタックによって受信されるUPnP要求を含むことを特徴とする請求項15記載のビデオストリーム管理方法。
  17. 上記ストリームソースは、複数のメディアソースに接続されたソースルート選択モジュールを用いて選択されることを特徴とする請求項14記載のビデオストリーム管理方法。
  18. 上記メディアソースは、アナログビデオソースと、イーサネットストリーミングビデオソースと、ハードディスクドライブとのうちの少なくとも2つを含むことを特徴とする請求項17記載のビデオストリーム管理方法。
  19. 上記端末装置とのストリーミングプロトコル接続は、リアルタイムストリーミングプロトコル/リアルタイムトランスポートプロトコル(RTSP/RTP)ストリーミングモジュールを介して確立されることを特徴とする請求項14記載のビデオストリーム管理方法。
  20. 上記端末装置とのストリーミングプロトコル接続は、ハイパーテキスト転送プロトコル(HTTP)ストリーミングモジュールを介して確立されることを特徴とする請求項14記載のビデオストリーム管理方法。
  21. 上記端末装置とのストリーミングプロトコル接続は、ユーザデータグラムプロトコル(UDP)ストリーミングモジュールを介して確立されることを特徴とする請求項14記載のビデオストリーム管理方法。
  22. 請求項14乃至21いずれか一つに記載の方法を実装するためのコンピュータプログラム。
JP2006522033A 2003-07-29 2004-07-28 デジタルストリーミングフォーマット又はソースの高速な変化に対応する装置及び方法 Expired - Fee Related JP4794440B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/630,129 US7093274B2 (en) 2003-07-29 2003-07-29 Apparatus and method for accommodating fast change of digital streaming sources and formats
US10/630,129 2003-07-29
PCT/US2004/024354 WO2005013598A2 (en) 2003-07-29 2004-07-28 Apparatus and method for accomodating fast change of digital streaming sources and formats

Publications (2)

Publication Number Publication Date
JP2007500974A JP2007500974A (ja) 2007-01-18
JP4794440B2 true JP4794440B2 (ja) 2011-10-19

Family

ID=34103779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006522033A Expired - Fee Related JP4794440B2 (ja) 2003-07-29 2004-07-28 デジタルストリーミングフォーマット又はソースの高速な変化に対応する装置及び方法

Country Status (6)

Country Link
US (1) US7093274B2 (ja)
EP (1) EP1649694A4 (ja)
JP (1) JP4794440B2 (ja)
KR (1) KR101070947B1 (ja)
CN (1) CN100518303C (ja)
WO (1) WO2005013598A2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104609A1 (en) * 2003-02-04 2005-05-19 Microfabrica Inc. Microprobe tips and methods for making
US20050097620A1 (en) * 2003-10-30 2005-05-05 Honeywell International Inc. Architecture for multi-channel video processing
US20050125836A1 (en) * 2003-12-05 2005-06-09 Estevez Leonardo W. Shared wireless video downloading
US7468684B2 (en) * 2005-07-05 2008-12-23 Era Digital Media Co., Ltd. Content integration platform with format and protocol conversion
CN1852421A (zh) * 2005-11-30 2006-10-25 华为技术有限公司 一种实现直播与时移播放之间切换的方法
US7783773B2 (en) 2006-07-24 2010-08-24 Microsoft Corporation Glitch-free media streaming
KR100772195B1 (ko) 2006-08-22 2007-11-01 한국전자통신연구원 다중 스트리밍 서비스 방법 및 이를 위한 장치
KR100893863B1 (ko) * 2006-09-05 2009-04-20 엘지전자 주식회사 무선 통신 시스템에서의 링크 적응적 데이터 전송 방법
US20080104267A1 (en) * 2006-11-01 2008-05-01 Sony Corporation Systems and methods for reducing display latency between streaming digital media
US8409270B2 (en) * 2007-04-16 2013-04-02 Boston Scientific Scimed, Inc. Radiopaque compositions, stents and methods of preparation
US9323680B1 (en) * 2007-09-28 2016-04-26 Veritas Us Ip Holdings Llc Method and apparatus for prefetching data
US20090225221A1 (en) * 2008-03-04 2009-09-10 Andrew Robert Gordon Flexible router
US20090254938A1 (en) * 2008-04-08 2009-10-08 Peter Mortensen Direct marketing on television over internet
TW200948058A (en) * 2008-05-06 2009-11-16 Awind Inc System and method for playing data of a remote computer
US9451003B1 (en) * 2008-09-22 2016-09-20 Sprint Spectrum L.P. Method and system for advanced notification of availability of fast content switching
US9195775B2 (en) * 2009-06-26 2015-11-24 Iii Holdings 2, Llc System and method for managing and/or rendering internet multimedia content in a network
US20110194404A1 (en) * 2010-02-11 2011-08-11 Nokia Siemens Networks Ethernet Solutions Ltd. System and method for fast protection of dual-homed virtual private lan service (vpls) spokes
US8521899B2 (en) * 2010-05-05 2013-08-27 Intel Corporation Multi-out media distribution system and method
US9264720B2 (en) 2010-10-08 2016-02-16 Samsung Electronics Co., Ltd Apparatus and method for multimedia service
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
WO2013112189A1 (en) * 2012-01-23 2013-08-01 Intel Corporation Network assisted user association and offloading techniques for integrated multi-rat heterogeneous networks
US9213605B2 (en) * 2012-01-23 2015-12-15 Intel Corporation IP multimedia subsystem and method for MBMS file repair using HTTP servers
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9621667B2 (en) * 2012-08-27 2017-04-11 Adobe Systems Incorporated Streaming media with a server identified at runtime
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9953179B2 (en) 2013-05-29 2018-04-24 Sonos, Inc. Private queue indicator
US9684484B2 (en) 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
US9703521B2 (en) 2013-05-29 2017-07-11 Sonos, Inc. Moving a playback queue to a new zone
US9798510B2 (en) 2013-05-29 2017-10-24 Sonos, Inc. Connected state indicator
US10715973B2 (en) 2013-05-29 2020-07-14 Sonos, Inc. Playback queue control transition
US9735978B2 (en) 2013-05-29 2017-08-15 Sonos, Inc. Playback queue control via a playlist on a mobile device
US9495076B2 (en) 2013-05-29 2016-11-15 Sonos, Inc. Playlist modification
US10462505B2 (en) 2014-07-14 2019-10-29 Sonos, Inc. Policies for media playback
US9467737B2 (en) 2014-07-14 2016-10-11 Sonos, Inc. Zone group control
US9460755B2 (en) 2014-07-14 2016-10-04 Sonos, Inc. Queue identification
US9485545B2 (en) 2014-07-14 2016-11-01 Sonos, Inc. Inconsistent queues
US10498833B2 (en) 2014-07-14 2019-12-03 Sonos, Inc. Managing application access of a media playback system
US9876780B2 (en) 2014-11-21 2018-01-23 Sonos, Inc. Sharing access to a media service
US11184666B2 (en) 2019-04-01 2021-11-23 Sonos, Inc. Access control techniques for media playback systems
CN111787396B (zh) * 2020-07-28 2023-02-21 北京金山云网络技术有限公司 一种视频流解析方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087761A (ja) * 2001-09-11 2003-03-20 Sony Corp 情報提供システム、情報処理装置および方法、並びにプログラム
US20030236907A1 (en) * 2002-06-24 2003-12-25 Stewart James C. Communicating via a connection between a streaming server and a client without breaking the connection
JP2004312412A (ja) * 2003-04-08 2004-11-04 Sony Corp コンテンツ提供サーバ、情報処理装置、および方法、並びにコンピュータ・プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768539A (en) * 1994-05-27 1998-06-16 Bell Atlantic Network Services, Inc. Downloading applications software through a broadcast channel
US5651010A (en) * 1995-03-16 1997-07-22 Bell Atlantic Network Services, Inc. Simultaneous overlapping broadcasting of digital programs
US5838314A (en) * 1996-02-21 1998-11-17 Message Partners Digital video services system with optional interactive advertisement capabilities
US6510553B1 (en) * 1998-10-26 2003-01-21 Intel Corporation Method of streaming video from multiple sources over a network
US6721789B1 (en) * 1999-10-06 2004-04-13 Sun Microsystems, Inc. Scheduling storage accesses for rate-guaranteed and non-rate-guaranteed requests
US6678740B1 (en) * 2000-01-14 2004-01-13 Terayon Communication Systems, Inc. Process carried out by a gateway in a home network to receive video-on-demand and other requested programs and services
US7627887B2 (en) * 2001-04-30 2009-12-01 Scientific- Atlanta, Inc. System and method for multicasting packets in a subscriber network
US20030093804A1 (en) * 2001-11-13 2003-05-15 Chang Matthew S. Seamless integration of multiple data/internet connections
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087761A (ja) * 2001-09-11 2003-03-20 Sony Corp 情報提供システム、情報処理装置および方法、並びにプログラム
US20030236907A1 (en) * 2002-06-24 2003-12-25 Stewart James C. Communicating via a connection between a streaming server and a client without breaking the connection
JP2004312412A (ja) * 2003-04-08 2004-11-04 Sony Corp コンテンツ提供サーバ、情報処理装置、および方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US20050028225A1 (en) 2005-02-03
KR101070947B1 (ko) 2011-10-06
JP2007500974A (ja) 2007-01-18
KR20060054378A (ko) 2006-05-22
WO2005013598A2 (en) 2005-02-10
EP1649694A2 (en) 2006-04-26
US7093274B2 (en) 2006-08-15
CN100518303C (zh) 2009-07-22
CN1833443A (zh) 2006-09-13
EP1649694A4 (en) 2010-09-01
WO2005013598A3 (en) 2005-12-15

Similar Documents

Publication Publication Date Title
JP4794440B2 (ja) デジタルストリーミングフォーマット又はソースの高速な変化に対応する装置及び方法
KR101983432B1 (ko) 동적 적응형 스트리밍 오버 http(dash)를 http 라이브 스트리밍(hls)으로 변환 또는 번역하기 위한 장치, 시스템, 및 방법
JP4654918B2 (ja) 情報処理装置及び情報処理システム
EP2974150B1 (en) Placeshifting of adaptive media streams
US20060195884A1 (en) Interactive multichannel data distribution system
US20020042817A1 (en) System and method for mirroring and caching compressed data in a content distribution system
US20040168185A1 (en) Multimedia network picture-in-picture
US20070067485A1 (en) Method and system for managing video networks
US8504698B2 (en) Fast setup response prediction
WO2001056266A2 (en) Method and apparatus for encoder-based distribution of live video and other streaming content
CA2827479A1 (en) Method and system for program and stream control of video to target device
JP2006081159A (ja) インバンド制御情報を伝送するためのストラテジー
KR20040037146A (ko) 스트리밍된 콘텐트를 위한 지능형 전달 방법
US9003050B2 (en) Distributed and scalable content streaming architecture
KR101821123B1 (ko) 웹브라우저 상에서 미디어 스트림을 재생하는 방법 및 장치
US20050254447A1 (en) Domestic multimedia transmission method and system
US20200021867A1 (en) Broadcast signal transmitting and receiving method and device
JP4247614B2 (ja) ネットワーク装置および情報要求方法
US20110088069A1 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
US8412840B2 (en) Live media serving system and method
JP2002152301A (ja) データ通信システム、データ受信装置、データ通信方法、並びにプログラム記憶媒体
JPWO2007091480A1 (ja) Avサーバ機器及びコネクション管理方法
JP2009118361A (ja) 通信制御装置ならびに通信制御方法
JP2008306273A (ja) 動画像提供システム、方法、装置、プログラム
Bechqito High Definition Video Streaming Using H. 264 Video Compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070606

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080612

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080612

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110711

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4794440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees