JP4233876B2 - 下流側の要件に応じてセキュアでスケーラブルなパケットを中流側でトランスコーディングする方法およびシステム - Google Patents

下流側の要件に応じてセキュアでスケーラブルなパケットを中流側でトランスコーディングする方法およびシステム Download PDF

Info

Publication number
JP4233876B2
JP4233876B2 JP2002588008A JP2002588008A JP4233876B2 JP 4233876 B2 JP4233876 B2 JP 4233876B2 JP 2002588008 A JP2002588008 A JP 2002588008A JP 2002588008 A JP2002588008 A JP 2002588008A JP 4233876 B2 JP4233876 B2 JP 4233876B2
Authority
JP
Japan
Prior art keywords
data
stream
data packets
transcoding
downstream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002588008A
Other languages
English (en)
Other versions
JP2004538677A (ja
Inventor
スージー・ジェイ・ウィー
ジョン・ジー・アポストロポウロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2004538677A publication Critical patent/JP2004538677A/ja
Application granted granted Critical
Publication of JP4233876B2 publication Critical patent/JP4233876B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0457Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply dynamic encryption, e.g. stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23895Multiplex stream processing, e.g. multiplex stream encrypting involving multiplex stream encryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25825Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • H04N21/43853Multiplex stream processing, e.g. multiplex stream decrypting involving multiplex stream decryption
    • H04N21/43856Multiplex stream processing, e.g. multiplex stream decrypting involving multiplex stream decryption by partial decryption, e.g. decrypting a multiplex stream that has been partially encrypted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/167Systems rendering the television signal unintelligible and subsequently intelligible
    • H04N7/1675Providing digital key or authorisation information for generation or regeneration of the scrambling sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/20Manipulating the length of blocks of bits, e.g. padding or block truncation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/60Digital content management, e.g. content distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/80Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、ストリーミングメディアの分野に関する。
詳細には、本発明は、データのトランスコーディングに関する。
無線ストリーミング環境は、システム設計者に対して多くの難題を提示する。
たとえば、クライアントは、異なる表示、電力、通信および計算能力を有する可能性がある。
さらに、無線通信リンクは、異なる最大帯域幅、品質レベルおよび時間変化する特質を有する可能性がある。
有用な無線ビデオストリーミングシステムは、時間変化する無線通信リンクにより異質のクライアントにビデオをストリーミングすることができなければならず、このストリーミングは、スケーラブルかつセキュアな方法で行われなければならない。
スケーラビリティは、異なる装置能力を有する多数のクライアントに対するストリーミングを可能にするために必要である。
セキュリティは、特に、無線ネットワークにおいてコンテンツを盗聴者から保護するために重要である。
無線ストリーミング環境においてスケーラビリティと効率とを達成するためには、中間ネットワークノードにおいて圧縮ビデオストリームを容易に適合させるかまたはトランスコーディングすることができなければならない。
トランスコーダは、圧縮ビデオシステムを入力として受取り、それを処理して出力として別の圧縮ビデオストリームを生成する。
サンプルトランスコーディング操作には、ビットレート低減、レートシェーピング、空間ダウンサンプリング、フレームレート低減および圧縮フォーマットの変更がある。
ネットワークトランスコーディングは、たとえば、特定のクライアントの表示能力に対しビデオストリームの空間解像度を適合させることにより、またはビデオストリームのビットレートを無線チャネルの時間変化する特質に一致するように動的に調整することにより、システムのスケーラビリティおよび効率を向上させることができる。
ネットワークトランスコーディングは、ビデオストリーミングシステムにおけるスケーラビリティを促進するが、複数の難題も提示する。
第1に、計算効率のよいトランスコーディングアルゴリズムが開発されたが、これらでさえ、中間有線ネットワークノードにおいて何百または何千ものストリームを処理する場合にも、または中間低電力無線ネットワーキングリレーノードにおいて数ストリーム処理する場合でさえも、適していない。
さらに、暗号化されたストリームに対して実行される従来のトランスコーディング操作には、一般的には、ストリームを解読すること、解読されたストリームをトランスコーディングすること、その後結果を再度暗号化すること、とが必要であるため、ネットワークトランスコーディングは、ストリーミングシステムのセキュリティに深刻な脅威を与える。
すべてのトランスコーダがストリームを解読しなければならないため、各ネットワークトランスコーディングノードは、システム全体のセキュリティにおいてあり得る侵害を提示する。
詳細には、アプリケーションレベル暗号化を用いる従来のビデオストリーミング手法では、ビデオはまずフレーム間圧縮アルゴリズムを使用してビットストリームにエンコードされる。
これらのアルゴリズムには、たとえば、ムービング・ピクチャ・エキスパート・グループ(Moving Picture Experts Group(MPEG))規格、国際電気通信連合(International Telecommunications Union(ITU))規格、H.263、もしくはたとえばジョイント・フォトグラフィック・エキスパート・グループ(Joint Photographic Experts Group(JPEG))またはJPEG2000規格等のフレーム内圧縮アルゴリズムがある。
そして、結果としてのビットストリームは暗号化され、結果としての暗号化されたストリームはパケット化されて、信頼性のないデータグラムプロトコル(unreliable datagram protocol(UDP))等の転送プロトコルを使用してネットワークにより伝送される。
従来技術の図1は、従来のアプリケーションレベル暗号化が実行される順序(すなわち、エンコード102、暗号化104およびパケット化106)を示すブロック図100である。
この従来の手法による1つの問題は、パケットが喪失された場合に発生する。
特に、喪失したパケットからのデータがなければ、解読および/またはデコードが、不可能でなくても困難である可能性があるため、エラー回復は困難である。
従来技術の図2は、ネットワークレベル暗号化を使用する別の従来のセキュアレベルビデオストリーミングシステム(すなわち、エンコード202、パケット化204および暗号化206)を示すブロック図200である。
従来技術の図2のシステムは、従来技術の図1のシステムと同じビデオ圧縮アルゴリズムを使用することができる。
しかしながら、従来技術の図2のシステムでは、パケット化を、符号化されたビデオのコンテンツを考慮しそのためより優れたエラー回復をもたらす方法で実行することができ、それはアプリケーションレベルフレーミングとしてネットワーキングコミュニティには既知の概念である。
たとえば、一般的な手法は、信頼性のないデータグラムプロトコル(UDP)で構築されるRTP転送プロトコルとともにMPEG圧縮を使用するというものであり、RTPは、タイムスタンプ等のストリーミングパラメータを提供し、パケットが喪失または遅延した場合にエラー回復を容易にするためにMPEGペイロードデータをパケット化する方法を提案する。
しかしながら、エラー回復は依然として困難であり、喪失したパケットからのデータがなければ、解読および/またはデコードは依然として、不可能ではなくても困難である。
従来技術の図1および従来技術の図2の従来の手法はともに、暗号化形式でビデオデータを転送するという点でセキュアである。
しかしながら、これらの従来の手法では、ネットワークトランスコーディングが必要である場合、それを従来技術の図3の方法にしたがって実行しなければならない。
すなわち、ブロック図300に示すように、必要なトランスコーディング操作は、解読302、デコーディング304、処理306、再エンコーディング308および再暗号化310プロセスである。
従来技術の図4のブロック図400に示すように、別の従来の手法では、従来技術の図3の動作の計算要件を、解読402、トランスコーディング404および再暗号化406プロセスにまで低減する。
特に、この計算上の低減を、従来技術の図3のデコーディング304、処理306および再エンコーディング308モジュールの代りに効率的なトランスコーディングアルゴリズム(すなわち、トランスコーディングモジュール404)を組込むことによって達成する。
しかしながら、かかる改良された従来のトランスコーディングアルゴリズムでさえ、ネットワークノードにおいて多くのストリームをトランスコーディングするためには適していない計算要件がある。
さらに、すべてのトランスコーディング操作に対してストリームを解読するための基本的な必要から、より重要な欠点が発生する。
上述したように、ストリームは、解読される度に別のあり得る攻撃点を開き、そのため、システムの脆弱性を増大させる。
このため、各トランスコーダはさらに、システム全体のセキュリティを脅かす。
さらに別の問題として、無線ストリーミングシステムは、無線帯域幅およびクライアント資源によって制限される。
無線帯域幅は、その共有された性質と無線スペクトルの基本的な制限とにより不足する。
クライアント資源は、電力制約により、ならびに表示、通信および計算能力により、実際的に制限されることがしばしばである。
例として、一般に、無線送信および無線受信のみでさえ、大量の電力を消費する。
無線帯域幅とクライアント資源とを最も効率的に使用するために、クライアントに対してそのクライアントの表示および通信能力に一致する最低帯域幅ビデオストリームを送信することが望ましい。
送信機が、異なる資源を有する複数の異種のクライアントに対してビデオをストリーミングする無線ストリーミングシステムでは、ネットワークトランスコーダを使用してエンド・ツー・エンドシステム効率およびスケーラビリティを達成するのを支援することができる。
ハイブリッド有線/無線ネットワークでは、しばしば、有線ネットワークにおける固定クライアントと無線ネットワークにおける移動クライアントとに同時にビデオをストリーミングすることが必要である。
かかるハイブリッドシステムでは、固定有線クライアントに対してフル帯域幅の高解像度ビデオストリームを送信し、移動無線受信機に対してそれより低い帯域幅の中間解像度ビデオストリームを送信することが、しばしば望ましい場合がある。
しかしながら、従来のビデオストリーミング手法は、ハイブリッド有線/無線ネットワークに対応するビデオストリーミングに容易に適応するために必要な効率、セキュリティおよびスケーラビリティを達成しない。
従来のビデオストリーミング手法に関する欠点のさらに別の例を、無線アプライアンスネットワークに関連して論証する。
多くの無線アプライアンスネットワークでは、移動送信機および受信機は無線リンクにより互いに通信する。
送信機のカバレッジエリアは、送信された信号の電力によって制限される。
意図された受信機が送信機の当座のカバレッジエリアを越える場合、リレー装置を使用して、無線カバレッジエリアを広げることができる。
しかしながら、同じ無線ネットワーク内の異種のクライアントの場合、高電力無線受信機に対しては高めの帯域幅の高解像度ビデオストリームを提供し、低電力無線受信機に対しては低めの帯域幅の低解像度ビデオストリームを提供することが望ましい場合がある。
しかしながら、ここでもまた、従来のビデオストリーミング手法は、無線アプライアンスネットワークにおいてかかるビデオストリーミング要求に容易に適応するために必要な効率、セキュリティおよびスケーラビリティを達成しない。
上に列挙した論考は特に、ビデオデータのストリーミングに関する従来技術による手法の欠点を述べているが、かかる欠点は、ビデオデータのストリーミングのみには限定されない。
むしろ、従来技術の問題は、限定されないが、音声ベースデータ、画像ベースデータ、グラフィックデータ、ウェブページベースデータ等を含むあらゆるタイプのメディアに及ぶ。
したがって、セキュアかつ計算効率のよい方法でメディアデータをストリーミングすることができる方法および/またはシステムが必要とされている。
また、上記の必要性を満足させることができ、異なる表示、電力、通信および計算能力ならびに特質を有する可能性のある異種のクライアント(「受信ノード」)にメディアデータをストリーミングすることもできる方法および/またはシステムが必要とされている。
本発明は、これらの必要性に対して新規な解決法を提供する。
国際特許公開公報WO 00 72517 A (GRAVES DAVID; TOTH JOE (CA); EDGE NETWORKS CORP (CA); SCHELLENBERG) 30 November 2000 (2000-11-30) KELLER R et. al. "An active router architecture for multicast video distribution", IFOCOM 2000, NINETEEN ANNUAL JOINT CONFERENCE OF IEEE COMPUTER AND COMMUNICATIONS SOCIETIES. PROCEEDINGS. IEEE TEL AVIV, ISRAEL 26-30 MARCH 2000, PISCATWAY, NJ USA, IEEE, US, 26 March 2000 (2000-03-26), pages 1137-1146, XP010376049 ISBN 0-7803-5880-5
[発明の開示]
本発明は、一実施形態では、異なる能力および特質を有する種々の受信ノードに対しメディアデータをトランスコーディングする、セキュアかつ計算効率のよい方法およびシステムを提供する。
別の実施形態では、本発明は、通信チャネルの属性にしたがってメディアデータをトランスコーディングする、セキュアかつ計算効率のよい方法およびシステムを提供する。
本発明の一実施形態では、データパケットのストリームをソースノードから受取る。
データパケットは、暗号化されたデータを含む。
データパケットのストリームを、受信ノードかまたは通信チャネルの属性等、下流側の属性にしたがってストリームを構成する機能により操作する。
重大なことは、その機能を、暗号化されたメディアデータを解読することなく実行する、ということである。
下流側の属性と互換性のあるデータパケットのストリームを、受信ノードに送信する。
別の実施形態では、データを暗号化するとともにエンコードし、データパケットのストリームを構成する機能を、メディアデータを解読またはデコードすることなく実行する。
本発明の様々な実施形態では、データパケットのストリームを、下流側の属性にしたがってデータパケットをトランケートまたは除去する機能によって操作する。
データパケットは、受取られた時に下流側の属性と互換性がある場合、変更なしにトランスコーディングシステムを通過してもよい。
一実施形態では、ストリームのデータパケットは、各々、ペイロード部とヘッダ部とを有する。
ペイロード部はメディアデータを含み、ヘッダ部は、ペイロード部のトランケーションポイントを識別する情報を含む。
ヘッダ部を暗号化しても暗号化しなくてもよく、暗号化する場合、ヘッダ部は解読されるがペイロード部は暗号化されたままである。
一実施形態では、各データパケットに対し、ペイロード部のトランケーションポイントを、それぞれのヘッダ部の情報から選択する。
トランケーションポイントを、下流側の属性の属性にしたがって選択する。
そして、ペイロード部を、選択されたトランケーションポイントでトランケートする。
一実施形態では、トランケーションポイントを、ヘッダにおいて識別し、受信ノードの様々な特性かまたはデータパケットのストリームの特質にしたがって指定する。
一実施形態では、トランケーションポイントを、レート歪み(RD)曲線を生成するRD解析等の解析にしたがって指定する。
別の実施形態では、トランケーションポイントを、ヘッダ情報の解析によって導出する。
たとえば、ヘッダは、RD曲線を記述するデータを含んでもよく、これらのデータの解析を、RD曲線に基づいてトランケーションポイントを確定するように実行する。
このため、一実施形態では、データパケットのストリームを、データパケットのヘッダ部を使用して識別されたトランケーションポイントにしたがって、下流側の属性に合うように構成する。
別の実施形態では、データパケットのストリームを、ストリームからデータパケットを除去することにより、下流側の属性に合うように構成する。
ヘッダ情報を使用して、除去されるデータパケットを識別してもよく、あるいは、除去するデータパケットを選択する何らかの他の方式を利用してもよい。
暗号化されたメディアデータを解読しその後再び暗号化する必要がないため、データパケットのストリームをトランスコーディングするために必要な計算資源が大幅に低減され、メディアデータのセキュリティが脅かされない。
本発明のこれらおよび他の技術的利点は、当然ながら、当業者には、様々な図面に例示されている好ましい実施形態の以下の詳細な説明を読んだ後に明らかとなろう。
本明細書に組込まれかつその一部を形成する添付図面は、本発明の実施形態を例示し、説明とともに、本発明の原理を説明する役割を果たす。
この説明において参照する図面を、特に言及する場合を除き一定の比率で縮小するようには描かれていないと理解すべきである。
ここで、例が添付図面に示される本発明の好ましい実施形態を、詳細に参照する。
本発明を好ましい実施形態に関して説明するが、それらが発明をこれらの実施形態に限定するようには意図されていない、ということが理解されよう。
逆に、本発明は、添付の特許請求の範囲によって定義される発明の精神および範囲内に含まれてもよい代替物、変更態様および等価物を包含するように意図されている。
さらに、本発明の以下の詳細な説明において、本発明の完全な理解を提供するために多数の特定の詳細を示す。
しかしながら、当業者には、本発明をこれらの特定の詳細なしに実施してもよい、ということが明らかとなろう。
一方で、本発明の態様を不要に曖昧にしないように、周知の方法、手順、構成要素および回路は詳細に説明していない。
しかしながら、これらおよび同様の用語のすべては、適当な物理量に関連するものであり、これらの量に適用される単に都合のよいラベルである、ということを留意すべきである。
以下の論考から明らかであるように特に指定のない限り、本発明を通して「受信」、「確定」、「実行」、「送信」、「トランケート」、「解読」、「選択」、「蓄積」、「構成」、「除去」等の用語を利用する論考は、コンピュータシステムかまたは同様の電子コンピューティング装置の動作およびプロセスを言う。
コンピュータシステムまたは同様の電子コンピューティング装置は、コンピュータシステムのレジスタおよびメモリ内の物理(電子)量として表されるデータを操作し、コンピュータシステムメモリまたレジスタもしくは他のかかる情報記憶、伝送または表示装置内の物理量として同様に表現される他のデータに変換する。
また、本発明は、たとえば光および機械コンピュータ等の他のコンピュータシステムの使用にも適している。
[本セキュアでスケーラブルなストリーミング発明のコンピュータシステム環境]
ここで図5を参照すると、本割込みイベント連鎖方法およびシステムの一部は、たとえばコンピュータシステムのコンピュータ使用可能媒体に存在するコンピュータ読取可能およびコンピュータ実行可能命令からなる。
図5は、本セキュアでスケーラブルなストリーミング発明の一実施形態によって使用される例示的なコンピュータシステム500を示す。
図5のシステム500は単に例示的なものであり、汎用ネットワークコンピュータシステム、組込み(embedded)コンピュータシステム、ルータ、スイッチ、サーバ装置、クライアント装置、あらゆる中間装置/ノード、スタンドアロンコンピュータシステム等を含む複数の異なるコンピュータシステムにおいてまたはその中で動作することができる、ということが理解されよう。
さらに、図5のコンピュータシステム500は、たとえば、フロッピー(登録商標)ディスク、コンパクトディスク等のコンピュータ読取可能媒体が連結されるようによく適合している。
図5では、明確にするために、コンピュータシステム500にかかるコンピュータ読取可能媒体を連結するようには示していない。
図5のシステム500は、情報を通信するアドレス/データバス502と、情報および命令を処理するバス502に連結された中央処理装置504と、を有する。
中央処理装置504は、80×86ファミリマイクロプロセッサであってもよい。
また、システム500は、中央処理装置504のための情報および命令を格納する、バス502に連結されたコンピュータ使用可能揮発性メモリ506、たとえばランダムアクセスメモリ(RAM)と、中央処理装置504のための静的情報および命令を格納する、バス502に連結されたコンピュータ使用可能不揮発性メモリ508、たとえばリードオンリメモリ(ROM)と、情報および命令を格納する、バス502に連結されたデータ記憶装置510(たとえば、磁気または光ディスクおよびディスクドライブ)と、を有する。
本発明のシステム500はまた、情報およびコマンド選択を中央処理装置504に伝達する、バス502に連結された、英数字およびファンクションキーを含むオプションの英数字入力装置512も有する。
システム500はまた、任意に、ユーザ入力情報およびコマンド選択を中央処理装置504に伝達する、バス502に連結されたオプションのカーソル制御装置514も有する。
本発明のシステム500はまた、情報を表示する、バス502に連結されたオプションの表示装置516も有する。
さらに図5を参照すると、図5のオプションの表示装置516は、液晶装置、ブラウン管、もしくはユーザが認識可能なグラフィックイメージおよび英数字文字を生成するために適した他の表示装置であってもよい。
オプションのカーソル制御装置514により、コンピュータユーザは、表示装置516の表示画面上に可視記号(カーソル)の2次元移動を動的に信号入力することができる。
本技術分野では、トラックボール、マウス、タッチパッド、ジョイスティック、もしくは変位の所与の方向または方法の移動を信号入力することができる英数字入力装置512を含む、カーソル制御装置514の多くの実施態様が知られている。
代替的に、特別なキーおよびキーシーケンスコマンドを使用して英数字入力装置512からの入力を介して、カーソルを指示しかつ/または起動することができる、ということが理解されよう。
本発明はまた、たとえば音声コマンド等の他の手段によりカーソルを指示することにも適している。
本セキュアでスケーラブルなストリーミング発明について、以下より詳細に論考する。
[本セキュアでスケーラブルなストリーミング発明の全般的な説明]
次に図6、図11および図19を参照すると、フローチャート600、1100および1900はそれぞれ、本発明の様々な実施形態によって使用される例示的なステップを示す。
フローチャート600、1100および1900は、一実施形態では、コンピュータ読取可能およびコンピュータ実行可能命令の制御の下でプロセッサによって実施される本発明のプロセスを含む。
コンピュータ読取可能およびコンピュータ実行可能命令は、たとえば、図5のコンピュータ使用可能揮発性メモリ506、コンピュータ使用可能不揮発性メモリ508および/またはデータ記憶装置510等のデータ記憶機構に存在する。
コンピュータ読取可能およびコンピュータ実行可能命令を使用して、たとえば図5の中央処理装置504に関連して制御または操作を行う。
概観として、本発明は、スケーラブルにエンコードすることができる任意のデータと、特にスケーラブルなエンコードを漸進的な暗号化と結合する任意のデータと、に関する。
本出願の目的のために、スケーラブル符号化を、オリジナルデータを入力としスケーラブルに符号化されたデータを出力として生成するプロセスとして定義する。
ここでは、スケーラブルに符号化されたデータは、その一部を、あらゆる品質レベルのオリジナルデータを復元するために使用することができる、という特性を有する。
特に、スケーラブルに符号化されたデータを、しばしば埋込みビットストリームとみなす。
ビットストリームの第1の部分を使用して、ビットストリームの残り部分からのいかなる情報も必要とすることなく、オリジナルデータの基準品質復元をデコードすることができ、ビットストリームの漸進的に大きい部分を使用して、オリジナルデータのより品質の向上した復元をデコードすることができる。
本出願の目的のために、漸進的暗号化を、オリジナルデータ(平文)を入力とし、出力として漸進的に暗号化されたデータ(暗号文)を生成するプロセスとして定義する。
ここで、漸進的に暗号化されたデータは、第1の部分を、オリジナルデータの残り部分からの情報を必要とすることなく単独で解読することができる、という特性を有する。
そして、漸進的に大きい部分を、この同じ特性を用いて解読することができ、解読には、ビットストリームの後の部分ではなく先の部分からのデータを必要としてもよい。
[エンコーディング方法およびシステム]
図6のフローチャート600には特定のステップを開示するが、かかるステップは例示的なものである。
すなわち、本発明は、他のあらゆるステップまたは図6に列挙するステップの変形を実行するのに適している。
さらに、明確かつ簡潔にするために、以下の論考および例は、特にビデオデータを扱う。
しかしながら、本発明は、ビデオデータでの使用にのみ限定されない。
代りに、本発明は、音声ベースデータ、画像ベースデータ、ウェブページベースデータ、グラフィックデータ等(「メディアデータ」)での使用にも適している。
特に、本発明は、スケーラブル符号化が漸進的暗号化と結合される任意のデータに向けられる。
図6のステップ602において、一実施形態では、本発明は、ビデオデータを受取ることを述べている。
一実施形態では、ビデオデータは、図7のエンコーダシステム700のセグメンタ702によって受取られる非圧縮ビデオフレームのストリームから構成される。
本発明の別の実施形態では、ビデオデータは、ビデオ予測ユニット(video prediction unit(VPU))によって生成される予測エラービデオデータから構成される。
図8に示すように、本発明の一実施形態では、エンコーダシステム700にはVPU800が連結されている。
VPU800は、予測エラービデオデータを生成しエンコーダシステム700のセグメンタ702に転送する。
図8のVPU800を、エンコーディングシステム700の外側に配置しているが、本発明はまた、VPU800がエンコーディングシステム700と一体化したものにも適している。
図9は、VPU800がエンコーディングシステム700と一体化した本発明の一実施形態を示す。
ここで図6のステップ604を参照すると、次に本実施形態は、受取ったビデオデータを対応する領域にセグメント化する。
図10Aは、ビデオフレーム1000の概略図を提供する。
ビデオフレーム1000に対応するビデオデータは、図7、図8および図9のセグメンタ702によって受取られる。
図10Bは、セグメンタ702がビデオフレーム1000を対応する領域1002、1004、1006、1008、1010および1012にセグメント化した後の同じビデオフレーム1000を示す。
かかる量および構成の領域を図10Bに示すが、かかるタイル化の量および構成は単に例示的であることが意図されている。
一例として、図10Cは、セグメンタ702がビデオフレーム100をあらゆる非矩形領域1014、1016、1018、1020および1022にセグメント化したセグメント化の別の例を示す。
別の例として、図10Dは、セグメンタ702がビデオフレーム100をあらゆる非矩形のオーバーラップした領域1024、1026、1028、1030および1032にセグメント化したセグメント化の別の例を示す。
オーバーラップ部分を点線で示す。
本発明はまた、セグメンタ702があらゆる矩形領域をオーバーラップした配置で構成する手法にも適している。
さらに、本発明はまた、領域がフレーム毎に異なる実施形態にも適している。
かかる実施形態を、たとえば移動する前景の人間を追跡するために用いる。
ここでステップ606を参照すると、図7、図8および図9のエンコーダ704は、領域をスケーラブルにエンコードしてスケーラブルビデオデータにする。
本出願の目的のために、スケーラブル符号化を、オリジナルデータを入力とし、出力としてスケーラブルに符号化されたデータを生成するプロセスとして定義する。
ここで、スケーラブルに符号化されたデータは、その一部を使用してオリジナルデータをあらゆる品質レベルで復元することができる、という特性を有する。
特に、スケーラブルに符号化されたデータを、しばしば埋込みビットストリームとみなす。
ビットストリームの第1の部分を使用して、ビットストリームの残りの部分からいかなる情報も必要とすることなく、オリジナルデータの基準品質復元をデコードすることができ、ビットストリームの漸進的に大きい部分を使用して、オリジナルデータの品質が向上した復元をデコードすることができる。
すなわち、ビデオフレームの別々の領域を1つまたは複数のデータパケットにエンコードする。
本実施形態によって生成されるスケーラブルなビデオデータは、データの最初の小さい部分を基準品質ビデオにデコードするこができ、より大きい部分を品質の向上したビデオにデコードすることができる、という特性を有する。
この特性により、単にデータパケットをトランケートすることによって、データパケットをより低いビットレートかまたは空間解像度にトランスコーディングすることができるようになる。
このトランケーションのプロセスを、下により詳細に論考する。
さらにステップ606を参照すると、本発明の一実施形態では、エンコーダ704により各領域を2つの部分、すなわちヘッダデータとスケーラブルビデオデータとに符号化する。
このため、かかる実施形態では、各データパケットは、ヘッダデータとスケーラブルビデオデータとを含む。
ヘッダデータは、たとえば、データパケットが表す領域(たとえば、ビデオフレーム内の領域の位置)と、本発明による後続のトランスコーディングおよびデコーディング操作に使用される他の情報と、を記述する。
さらに、一実施形態では、ヘッダデータは、データパケットトランスコーダのための一続きの推奨されたトランケーションポイント等の情報を含む。
スケーラブルビデオデータは、実際の符号化ビデオを含む。
フレーム内符号化の場合、ビデオデータは符号化ピクセルであってもよく、フレーム間符号化の場合、動き補償予測からもたらされる動きベクトルと符号化残差とであってもよい。
本実施形態では、スケーラブル符号化技術を、両場合において、符号化ビデオデータの解像度または忠実度を低下させるようにトランケートすることができる埋込みまたはスケーラブルデータパケットを生成するために使用する。
本発明のさらに別の実施形態では、エンコーダ704により、対応するヘッダデータなしにスケーラブルにエンコードされたビデオデータを用意する。
ステップ608において述べるように、本実施形態は、スケーラブルビデオデータを漸進的に暗号化することにより、漸進的に暗号化されたスケーラブルビデオデータを生成する。
すなわち、図7、図8および図9のパケッタイザ・エンクリプタ706は、漸進的暗号化技術を用いてスケーラブルビデオデータを暗号化する。
本出願の目的のために、漸進的暗号化を、オリジナルデータ(平文)を入力とし、出力として漸進的に暗号化されたデータ(暗号文)を生成するプロセスとして定義する。
ここで、漸進的に暗号化されたデータは、第1の部分を、オリジナルデータの残りの部分からの情報を必要とすることなく単独で解読することができる、という特性を有する。
また、漸進的に大きい部分を、この同じ特性により解読することができ、解読には、ビットストリームの後の部分ではなく先の部分からのデータを必要としてもよい。
漸進的暗号化技術には、たとえば、暗号ブロック連鎖かまたはストリーム暗号がある。
これらの漸進的暗号化方法は、データの最初の部分が独立して暗号化され、後の部分が先の部分に基づいて暗号化される、という特性を有する。
漸進的暗号化は、スケーラブル符号化およびパケット化と適当に整合する場合、単純なデータパケットトランケーションによりデータパケットをトランスコーディングする能力を保存する。
より詳細には、漸進的暗号化方法は、データのより小さいブロックが漸進的に暗号化される、という特性を有する。
小さいブロックサイズでのブロック符号暗号化はそれほどセキュアではないが、漸進的暗号化方法は、先のブロックの暗号化データを後のブロックの暗号化に供給することによりある程度のセキュリティを付加する。
そして、解読を同様に漸進的に実行することができる。
一実施形態では、暗号文の最初の小さいブロックは、単独で平文に解読されるが、暗号文の後のブロックは、先のブロックからの解読された平文に依存する。
このため、暗号文の先のブロックを暗号文セグメント全体の知識なしに解読することができる。
この暗号ブロック連鎖およびストリーム暗号の漸進的性質は、スケーラブル符号化の漸進的または埋込まれた性質と正確に一致する。
エンコーディングシステム700は、組合されたパケッタイザ・エンクリプタモジュール706を示すが、かかる記述は単に例示的なものであり、本発明のエンコーディングシステム700は、別々の異なるパケッタイザモジュールとエンクリプタモジュールとを有することにも適している。
従来技術の手法の場合のように、データパケット全体を1つの長いブロック符号で暗号化した。
その結果、データパケットを全体として受取らない限り解読は不可能であった。
しかしながら、本発明は、スケーラブルデータパケットを使用しており、データパケットトランケーションによりスケーラブルデータパケットのストリームをトランスコーディングすることが望ましい。
したがって、本発明は、データパケットを同様に漸進的な方法で暗号化する。
このため、従来の手法とは異なり、本発明はデータパケット喪失に対して回復力がある。
すなわち、データパケットが喪失した場合に、残りのデータパケットの解読はそれ以上複雑化せず、まだ容易に達成可能である。
このスケーラブルエンコードと漸進的暗号化との組合せにより、下に詳細に説明する有利なトランスコーディング操作が可能になる。
さらにステップ608を参照すると、本発明の一実施形態では、ペイロードデータ(すなわち、スケーラブルビデオデータ)は漸進的に暗号化されるが、ヘッダデータは、トランスコーディングノードがこの情報を使用してトランスコーディング判断を行うことができるように暗号化されないままである。
たとえば、一実施形態では、非暗号化ヘッダは、暗号化されたペイロードデータ内の推奨されたトランケーションポイント等の情報を含む。
別の実施形態では、このヘッダデータを使用して中間トランスコーディングノードにより準レート歪み(RD)−最適ビットレート低減を達成する。
さらに、本実施形態では、トランスコーディングノードは、ヘッダデータを使用して、漸進的に暗号化されたスケーラブルビデオデータかまたはヘッダデータの解読を必要とすることなくトランスコーディング判断を行うことができる。
本発明のさらに別の実施形態では、ヘッダデータを暗号化することにより、さらなるセキュリティを付加する。
ここでステップ610を参照すると、本発明は、漸進的に暗号化されたスケーラブルビデオデータをパケット化する。
一実施形態では、図7、図8および図9のパケッタイザ・エンクリプタ706は、非暗号化ヘッダデータを漸進的に暗号化されたスケーラブルビデオデータと結合してパケット化する。
そして、結果としてのセキュアなスケーラブルデータパケットは、所望の受信機にストリーミングすることが可能になる。
別の実施形態では、パケッタイザ・エンクリプタ706は、漸進的に暗号化されたスケーラブルビデオデータと暗号化ヘッダデータとをパケット化する。
さらに、ヘッダデータを含まない実施形態では、パケッタイザ・エンクリプタ706は、漸進的に暗号化されたスケーラブルビデオデータのみをパケット化する。
エンコーディングシステム700は、セキュアかつスケーラブルにビデオデータをエンコードする。
より詳細には、エンコーディングシステム700は、スケーラブル符号化を漸進的暗号化技術と結合する。
結果としてのスケーラブルにエンコードされ漸進的に暗号化されパケット化されたビデオストリームは、パケット化されたデータを解読することなく、そのためシステムのセキュリティを維持しながら、ビットレート低減および空間ダウンサンプリング等の後続するトランスコーディング操作を(たとえばデータパケットトランケーションまたはデータパケット除去を介して)実行することができる、という特徴を有する。
本発明はまた、セグメンタ702によって形成された領域のすべてではなく一部のみがエンコーディングシステム700から最終的に転送される実施形態にも適している。
例として、一実施形態では、ビデオデータイメージの背景イメージは先の伝送以来変化していない可能性があり、あるいは恐らくは重要なデータを含まないため、前景が転送される。
[デコーディング方法およびシステム]
図11のフローチャート1100には特定のステップを開示するが、かかるステップは例示的なものである。
すなわち、本発明は、他のあらゆるステップかまたは図11に列挙したステップの変形を実行することにも適している。
図11のステップ1102において、本発明は、漸進的に暗号化されスケーラブルにエンコードされたビデオデータを含むデータパケットを受取る。
より詳細には、デコーディングシステム1200のデクリプタ1202(ともに図12)は、漸進的に暗号化されスケーラブルにエンコードされたビデオデータを含むデータパケットを受取る。
一実施形態では、受取られたデータパケットはヘッダデータも含み、そのヘッダデータは、スケーラブルにエンコードされたビデオデータに対応する情報を提供する。
さらに別の実施形態では、受取られたデータパケットはまた、スケーラブルにエンコードされたビデオデータに対応する情報を提供する暗号化されたヘッダデータも含む。
ステップ1104に示すように、その後本発明は、漸進的に暗号化されスケーラブルにエンコードされたビデオデータを含むデータパケットを解読することにより、スケーラブルにエンコードされた領域を生成する。
すなわち、図12のデクリプタ1202は、漸進的に暗号化されスケーラブルにエンコードされたビデオデータを解読することにより、スケーラブルにエンコードされた領域を生成する。
さらに、受取られたデータパケットが暗号化されたヘッダデータを含む実施形態では、デクリプタ1020は暗号化されたヘッダデータも解読する。
ここでステップ1106を参照すると、その後本発明は、スケーラブルにエンコードされた領域をデコードすることにより、デコードされた領域を提供する。
図7、図8および図9のエンコーディングシステム700の説明に関連して上述したように、図10Aに示すようなビデオフレーム1000を、図10Bに示すように複数の対応する領域1002、1004、1006、1008、1010および1012にセグメント化することができる。
その後、ステップ1108において、本発明は、デコードされた領域をアセンブルすることによりビデオデータを提供する。
さらに、図12のデコーディングシステム1200のアセンブラ1206は、デコードされた領域をアセンブルすることによりビデオデータを提供する。
本発明の一実施形態では、その後、デコーディングシステム1200は、出力として非圧縮ビデオストリームの形態でビデオデータを提供する。
本発明の別の実施形態では、アセンブラ1206は、ビデオ予測ユニット(VPU)に適した予測エラービデオデータから構成されるビデオデータを出力する。
図13に示すように、本発明の一実施形態では、デコーダシステム1200にはVPU1300が連結されている。
VPU1300は、アセンブラ1206の出力を使用して、最終的にビデオフレームデータの非圧縮ストリームを提供する。
図13のVPU1300はデコーディングシステム1200の外部に配置するが、本発明は、VPU1300がデコーディングシステム1200と一体化したものにも適している。
図14は、VPU1300がデコーディングシステム1200と一体化した本発明の一実施形態を示す。
このため、本発明は、セキュアかつスケーラブルにエンコードされたビデオデータをデコードする方法およびシステムを提供する。
[トランスコーディング方法およびシステム]
図15Aは、本発明の実施形態を実施してもよい、例示的なハイブリッド有線/無線ネットワーク1500のブロック図である。
ハイブリッド有線/無線ネットワーク1500では、メディア(たとえば、ビデオ)データを、有線リンクを介して固定クライアント(固定型受信ノード)に、および無線リンクを介して移動クライアント(移動型受信ノード)にストリーミングする。
本実施形態では、ハイブリッド有線/無線ネットワーク1500は、有線送信機(ソース1510)と、有線高解像度受信機1520と、無線中間解像度受信機1540と、を有する。
このシステムでは、ソース1510は、高解像度受信機1520に送信されるフル帯域幅の高解像度ビデオストリーム1550aを生成する。
ソース1510、中間解像度受信機1540または有線/無線ゲートウェイ等の中間ノードに配置されたトランスコーダ1530は、ストリーム1550aをより低い帯域幅の中間解像度ビデオストリーム1550bにトランスコーディングし、それはその後、中間解像度受信機1540に送信される。
図15Bは、本発明の実施形態を実施してもよい例示的な無線ネットワーク1501(たとえば、無線アプライアンスネットワーク)のブロック図である。
無線アプライアンスネットワークでは、移動型送信機および受信機は、無線リンクを介して互いに通信する。
送信機のカバレッジエリアは、伝送信号の電力によって制限される。
意図された受信機が送信機の当座のカバレッジエリアを越える場合、リレー装置を使用して無線カバレッジエリアを広げることができる。
異種の受信機(たとえば、異なる表示、電力、計算および通信特質ならびに能力を有する受信ノード)の場合、トランスコーダを使用してビデオストリームを特定の受信機または通信リンクに適合させることができる。
トランスコーディングを、リレー装置かまたはリレーとしても作用する受信機において実行することができる。
また、トランスコーディングを、送信機によるかまたは受信ノードによって実行することも可能である。
本実施形態において、無線ネットワーク1501は、無線送信機(ソース1510)と、高解像度受信機・トランスコーダ1560と、中間解像度(低帯域幅)受信機1540と、を含む。
無線ネットワーク1501では、高解像度受信機1560は、高解像度ビデオストリーム1550aを受取りトランスコーディングし、結果としての低帯域幅ストリーム1550bを中間解像度受信機1540に中継する。
図15Aおよび図15Bを参照すると、ハイブリッド有線/無線ネットワーク1500と無線ネットワーク1501とはともに、ネットワークトランスコーダを使用してビデオストリーム1550aを、ターゲット無線ノード(たとえば、中間解像度受信機1540)の表示能力に一致するよりも低い帯域幅のストリーム1550bにトランスコーディングする。
概して、これらのネットワークは、ネットワークトランスコーディングが、メディア(たとえば、ビデオ)ストリームを特定のチャネルに亙る伝送に対しおよび受信ノードの能力に対しより適したフォーマットにトランスコーディングすることにより、無線スペクトルと受信機資源とをいかに効率よく使用することができるかを示す。
図16は、本発明の一実施形態によるソースノード1610と、中間(トランスコーダ)ノード1620と、受信ノード1630と、を含むシステム1600のブロック図である。
この実施形態では、トランスコーダ1620は、ソースノード1610と受信ノード1630との間で置換えられた別個のノードである。
しかしながら、トランスコーダ1620によって実行される機能を、代りにソースノード1610かまたは受信ノード1630によって実行してもよい。
本実施形態では、ソースノード1610は、上述したように、データパケットのストリームをエンコードかつ/または暗号化し、これらのデータパケットをトランスコーダ1620に送信する。
一実施形態では、ストリームのデータパケットの各々は、ヘッダ部とペイロード部とを有し(後に図20を参照)、別の実施形態では、データパケットは、ペイロード部のみを有する(後に図21を参照)。
ペイロード部はデータを伝送し、ヘッダ部は、トランスコーダ1620がペイロード部をトランスコーディングするために使用する情報を伝送する。
ヘッダ部によって伝送される情報を含むデータパケットと、トランスコーダ1620が使用するトランスコーディング方法とについては後述する。
一実施形態では、ペイロード部のみが暗号化されエンコードされる。
別の実施形態では、ペイロード部は暗号化されエンコードされ、ヘッダ部もまた暗号化される。
本実施形態では、トランスコーダ1620は、ソースノード1610から受取ったデータパケットに対するトランスコーディング機能を実行する。
トランスコーダ1620が実行するトランスコーディング機能については、後に図19に関して説明する。
トランスコーディング機能の目的は、受信ノード1630の属性かまたはトランスコーダ1620と受信ノード1630とを連結する通信チャネル1625の属性等、トランスコーダ1620の下流側の属性にしたがってデータパケットのストリームを構成することである。
トランスコーディング機能は、たとえば、データパケットのトランケーションかまたはストリームからのいくつかのデータパケットの除去を含むことができる。
ストリームが受信ノード1630に合うようにまたは通信チャネル1625に合うようにすでに構成されている場合、トランスコーディング機能は、変更なしにストリームのデータパケットを通過させることからなる。
特に重要なことは、本発明によれば、トランスコーダ1620は、データパケット(特に、データパケットのメディアデータ)を解読かつ/またはデコードすることなくトランスコーディング機能を実行する、ということである。
データパケットがヘッダ部とペイロード部とを有し、ヘッダ部が暗号化される実施形態では、トランスコーダ1620は、ヘッダ部のみを解読する。
いずれの場合も、従来のトランスコーダと比較して、本発明のトランスコーダ1620では、メディアデータを解読する必要がないため、必要とする計算資源が少なくなる。
さらに、本発明は、エンド・ツー・エンドセキュリティを提供するとともに、非常に複雑性が低いトランスコーディングを、メディアデータのセキュリティを脅かすことなく中間の恐らくは信頼性の低いノードで実行することができるようにする。
続けて図16を参照すると、トランスコーダ1620は、受信ノード1630および/または通信チャネル1625の属性の知識を有する。
これら属性には、限定されないが、受信ノード1630の表示、電力、通信および計算能力ならびに特質かまたは通信チャネル1625における利用可能な帯域幅がある。
たとえば、一実施形態では、トランスコーダ1620は、受信ノード1630から属性情報を受取るか、または受信ノード1630からこの情報を読出す。
別の実施形態では、トランスコーダ1620を、ネットワークにおけるルータとして実施してもよく、ルータは、次の「ホップ」に輻輳があるか否かを判断しそれにしたがってデータパケットのストリームをトランスコーディングすることができる。
本実施形態では、トランスコーダ1620は、トランスコーディング後、エンコードされ暗号化されたデータパケットを含むデータパケットの結果としてのストリームを受信ノード1630に送信する。
図17は、本発明の実施形態を実施してもよいトランスコーダ装置1620の一実施形態のブロック図である。
この実施形態では、トランスコーダ1620はそれぞれ、ソースノード1610(図16)からデータパケットのストリームを受取り、データパケットのストリームを受信ノード1630(図16)に送信する、受信機1710および送信機1720を含む。
受信機1710および送信機1720は、有線かまたは無線通信のいずれかを行うことができる。
有線通信に1つおよび無線通信に1つという別個の受信機および送信機を使用してもよい。
受信機1710および送信機1720を単一装置(たとえば、送受信機)として統合してもよい、ということが理解されよう。
続けて図17を参照すると、トランスコーダ装置1620は、オプションのコントローラ1730(たとえば、プロセッサまたはマイクロプロセッサ)、オプションのデクリプタ1740およびオプションのメモリ1750、またはそれらの組合せを含んでもよい。
一実施形態では、デクリプタ1740を使用してヘッダ情報を解読する。
別の実施形態では、メモリ1750を使用して、ソースノード1610から受取ったデータパケットを受信ノード1630(図16)に転送する前に蓄積する。
図18A、図18B、図18C、図18Dおよび図18Eは、本発明によりデータパケットをトランスコーディングする方法の様々な実施形態を示すデータフロー図である。
図18Aないし図18Dの実施形態では、データパケットは各々、ヘッダ部とペイロード部とを有し、図18Eの実施形態では、データパケットはヘッダ部を有していない。
図18Aないし図18Eの実施形態の各々では、データパケット(特に、メディアデータ)を暗号化するが、エンコードしてもよい。
本発明のいくつかの態様をより明確に説明するために、図18Aないし図18Eの実施形態を別々に説明するが、本発明をこれらの実施形態の要素を結合することによって実施してもよい、ということが理解されよう。
本発明によれば、データパケットをトランスコーディングする方法を、暗号化されたデータパケットに対して実行する。
すなわち、メディアデータは解読しない。
トランスコーディング機能は、データパケット(特に、データパケットのペイロード部)のトランケーションか、ストリームからいくつかのデータパケットを除去することか、またはデータパケットを変更なしに通過させることを含むことができる。
まず図18Aを参照すると、暗号化されかつ/またはエンコードされた到着データパケットを、トランスコーダ1620が受取る。
この実施形態では、各データパケットのヘッダ部は暗号化されていない。
トランスコーダ1620はヘッダ部を読取るが、これには、トランスコーディング判断を行うために使用することができる情報が含まれる。
一実施形態では、ヘッダ部の情報には、トランケーションポイントの指定が含まれる。
別の実施形態では、トランケーションポイントを、ヘッダに提供される情報から導出する。
たとえば、ヘッダ部は、データパケットのペイロード部をトランケートする推奨ポイント(たとえば複数のビット)を指定する情報を含んでもよい。
各データパケットが異なるトランケーションポイントを有してもよい、ということが理解されよう。
推奨トランケーションポイントを、種々の技術を使用して選択することができる。
一実施形態では、各データパケットのトランケーションポイントを、レート歪み(RD)解析等の解析にしたがって指定し、それにより、データパケットのストリームをRD最適かまたは準RD最適であるレートにまで圧縮することができる。
別の実施形態では、ヘッダ部は、RD解析によって生成されたRD曲線を記述する情報を含み、トランケーションポイントをRD曲線のさらなる解析から導出する。
本実施形態では、RD最適符号化を、ビデオイメージの各領域に対してRDプロットを生成し、その後所望の総ビットレートを生成する同じ勾配におけるすべての領域に対して操作することにより、達成する。
データパケットのヘッダ部に複数の品質レベルに対する最適なRDカットオフポイントを配置することによって、準最適トランスコーディングをデータパケットレベルで達成することができる。
そして、トランスコーダ1620(図16)は、適当なカットオフポイントにおいて各パケットをトランケートすることができる。
そのため、結果としてのパケットは、イメージの各領域に対し所望の品質レベルに対して適当な数のビットを含む。
トランスコーダ1620は、各パケットヘッダを読出し、その後、適当なポイントでパケットをトランケートする。
たとえば、イメージの3つの領域を別個のパケットに符号化する場合、各領域に対し3つのRD最適トランケーションポイントを識別し、それらの位置をそれぞれのパケットヘッダに配置する。
トランスコーダ1620は、3つのRDポイントのいずれか(または間のポイント)において作用するように選択することができ、その後、適当なカットオフポイントにおいて各パケットをトランケートすることができる。
また、ヘッダ部は、各データパケットを例えば番号で識別する情報を含んでもよい。
したがって、トランスコーダ1620は、ストリームからいくつかのデータパケットを除去することができる。
たとえば、1つおきのパケット(たとえば、奇数パケット)が除去される場合、トランスコーダ1620は、ヘッダ情報を使用して奇数データパケットを識別することができ、それらをデータパケットのストリームから除去することができる。
図18Bの実施形態は、図18Aと同様であるが、各データパケットのヘッダ部を暗号化する。
この場合、トランスコーダ1620は、ヘッダ情報を読出し、上述したようにデータパケットのストリームに対して作用する前に、ヘッダ部をまず解読する。
図18Cの実施形態では、データパケットをメモリに蓄積する。
すなわち、先入れ/先出しタイプの手法の代りに、ストリームのデータパケットのサブセットを、受信ノードに転送する前にメモリ(たとえば、図17のメモリ1750)に蓄積し格納する。
この実施形態では、サブセットの蓄積されたデータパケットのすべてに対するヘッダ情報を使用してトランスコーディング判断を行う。
トランスコーディング判断を、本明細書において先に説明したように、受信ノード1630かまたは通信チャネル1625(図16)の属性に基づいて行う。
ストリームのすべてのデータパケットに対して作用することなく、受信ノードかまたは通信チャネルの属性にしたがってデータパケットのストリームを構成することが可能であってもよく、おそらくは望ましい。
たとえば、サブセットのデータパケットのすべてをトランケートする代りに、サブセットのパケットの一部のみをトランケートするか、または推奨トランケーションポイントとは異なるポイントでパケットをトランケートするよう判断してもよい。
図18Dの実施形態では、トランスコーダ1620は、下流側の受信ノード(たとえば、図16の受信ノード1630)から情報を受取る。
一実施形態では、情報は、表示、電力、計算および通信能力ならびに特質等、受信ノード1630の属性を記述する。
受信ノード1630から受取った情報に基づいて、トランスコーダ1620は、データパケットのヘッダ部の情報に基づいてトランスコーディング判断を行うことができる。
たとえば、トランスコーダ1620は、受信ノード1630が中間または低解像度装置であるか否かによってトランケーションポイントを選択することができ、受信ノード1630が高解像度装置である場合、データパケットのストリームを変更しないように選択することができる。
同様に、トランスコーダ1620は、通信チャネル1625(図16)の属性を記述する情報を受取ることができる。
図18Eの実施形態では、到着データパケットはヘッダ部を有していない。
したがって、トランスコーダ1620は、事前定義されたルールのセットに基づいてトランスコーディング判断を行う。
すなわち、ヘッダ部の情報によって指定される異なるポイントにおいて各データパケットをトランケートする代りに、トランスコーダ1620は、受信ノードかまたは通信チャネルの属性により、同じポイントにおけるストリームのすべてのデータパケットをトランケートしてもよい。
図19は、本発明の一実施形態によるデータパケットをトランスコーディングするプロセス1900のステップのフローチャートである。
一実施形態では、プロセス1900を、トランスコーダ装置1620(図17)によりメモリ1750に格納されコントローラ1730によって実行されるコンピュータ読取可能プログラム命令として実施する。
図19には特定のステップを開示するが、かかるステップは例示的なものである。
すなわち、本発明は、他のあらゆるステップかまたは図19に列挙するステップの変形を実行するのにも適している。
図19のステップ1910において、ソースノード(たとえば、図16のソース1610)からデータパケットのストリームを受取る。
本実施形態では、データパケットは、暗号化されたデータを含む。
一実施形態では、データはまたエンコードされている。
別の実施形態では、データパケットは、ヘッダ部とペイロード部とを含む。
一実施形態では、ヘッダ部もまた暗号化されている。
図19のステップ1915において、一実施形態では、下流側の受信ノード(たとえば、図16の受信ノード1630)かまたは通信チャネル(たとえば、図16の通信チャネル1625)の属性を記述する情報を受取る。
別の実施形態では、受信ノード1630または通信チャネル1625の属性は既知である。
図19のステップ1920において、受信ノード1630の属性にしたがってストリームを構成するように、データパケットのストリームに対してトランスコーディング機能を実行する。
重要なことは、データパケットのデータを解読することなくトランスコーディング機能を実行する、ということである。
一実施形態では、各データパケットのヘッダ部によって提供される情報に対して、トランスコーディング機能を実行する。
かかる一実施形態では、ヘッダ情報は、それぞれのデータパケットのペイロード部に対して推奨トランケーションポイントを提供する。
別の実施形態では、トランケーションポイントをヘッダ部に提供される情報から導出する。
ステップ1922において、一実施形態では、トランスコーディング機能はストリームからいくつかのデータストリームを除去する。
ステップ1924において、一実施形態では、トランスコーディング機能はデータパケットのデータをトランケートする。
各データパケットが異なるトランケーションポイントを有してもよい、ということが理解されよう。
ステップ1926において、一実施形態では、トランスコーディング機能はデータパケットを変更なしに通過させる。
ステップ1930において、トランスコーディングされたデータパケット(まだ暗号化されかつ/またはエンコードされている)を、受信ノード1630に送信する。
要約すると、本発明の上述した実施形態は、異なる能力および特質を有する受信ノードの属性かまたはトランスコーダと受信ノードとの間の通信の属性等、種々の下流側の属性に対しデータをトランスコーディングするセキュアな方法およびシステムを提供する。
暗号化されたデータを解読し、その後再び暗号化する必要がないため、データパケットのストリームをトランスコーディングするために必要な計算資源が大幅に低減し、データのセキュリティが脅かされない。
[セキュアでスケーラブルなデータパケット]
ここで図20を参照すると、本発明の一実施形態によって形成されたデータパケット200の概略表現を示す。
さらに、上述したように、明確かつ簡潔にするために、以下の論考および例は特にビデオデータを扱う。
しかしながら、本発明を、ビデオデータでの使用にのみ限定しない。
代りに、本発明は、音声ベースデータ、画像ベースデータ、ウェブページベースデータ等にも適している。
本実施形態では、データパケット2000を、図7、図8および図9のエンコーディングシステム700によって生成し、図16、図18A、図18B、図18C、図18Dおよび図18Eのトランスコーダ1620によって操作し、その後、最終的に図12、図13および図14のデコーディングシステム1200に転送する。
上述したプロセス中、データパケット2000を、たとえばトランスコーダ1620および/またはデコーダ1200を実施する装置(たとえば、汎用ネットワークコンピュータシステム、組込みコンピュータシステム、ルータ、スイッチ、サーバ装置、クライアント装置、あらゆる中間装置/ノード、スタンドアロンコンピュータシステム等)に存在するコンピュータ読取可能媒体に格納し、データパケット2000は、それら装置の機能的変化をもたらすかまたはそれらの動作を命令する。
図20の実施形態では、データパケット2000は、ヘッダデータ部2002と、スケーラブルにエンコードされ漸進的に暗号化されたビデオデータ部2004と、を含む。
上述したように、ヘッダデータ部2002は、トランスコーダ1620が、スケーラブルにエンコードされ漸進的に暗号化されたビデオデータ部2004をトランスコーディングするために使用する情報を含む。
たとえば、ヘッダデータ部2002は、データパケット2000のペイロード部(すなわち、スケーラブルにエンコードされ漸進的に暗号化されたビデオデータ部2004)をトランケートするための推奨ポイント(たとえば、複数のビット)を指定する情報を含んでもよい。
また、ヘッダデータ部2002は、各データパケットをたとえば数字で識別する情報を含んでもよい。
したがって、トランスコーダ1620は、ストリームからいくつかのデータパケットを除去することができる。
たとえば、1つおきのパケット(たとえば、奇数パケット)が除去される場合、トランスコーダ1620は、ヘッダデータ部2002の情報を使用して奇数データパケットを識別し、データパケットのストリームからそれらを除去することができる。
さらに図20を参照すると、データパケット2000は、スケーラブルにエンコードされ漸進的に暗号化されたビデオデータ部2004内に潜在的なトランケーションポイント2006、2008および2010も含む。
かかるトランケーションポイントを図20に示すが、トランケーションポイント2006、2008および2010の構成は単なる例示的なものである。
すなわち、本発明は、より少ないかまたはより多いトランケーションポイントを有すること、図20に示す場合とは異なる場所に配置されるトランケーションポイントを有すること、とにも適している。
この場合もまた、上述したように、トランケーションポイント2006、2008および2010を、トランスコーダ1620がパケット2000に対するその操作中に使用する。
さらに、本発明の一実施形態では、ヘッダデータ部2002を暗号化する。
図21の実施形態では、データパケット2100は、ヘッダデータ部を有しておらず、代りにスケーラブルにエンコードされ漸進的に暗号化されたビデオデータ部2104のみを有する。
さらに図21を参照すると、データパケット2100はまた、スケーラブルにエンコードされ漸進的に暗号化されたビデオデータ部2104内に潜在的なトランケーションポイント2104、2106および2108も含む。
かかるトランケーションポイントを図21に示すが、トランケーションポイント2104、2106および2108の構成は単に例示的なものである。
すなわち、本発明は、より少ないかまたはより多いトランケーションポイントを有すること、図21に示す場所とは異なる場所に位置するトランケーションポイントを有すること、とにも適している。
この場合もまた、上述したように、トランケーションポイント2104、2106および2108を、トランスコーダ1620がパケット2100に対するその動作中に使用する。
このように、本発明は、一実施形態において、データのストリーミングに使用するセキュアかつスケーラブルなエンコーディング方法およびシステムを提供する。
本発明は、さらに、一実施形態において、セキュアかつスケーラブルにエンコードされたデータをデコードする方法を提供する。
本発明の特定の実施形態の上述した説明は、例示および説明の目的のために提供した。
それらは、網羅的であるように、または本発明を開示した厳密な形態に限定するようには、意図されておらず、明らかに、上記教示に鑑みて、多くの変更および/または変形が可能である。
本発明の原理とその実際的な適用を最もよく例示することにより、当業者が、企図された特定の使用に適するよう、本発明および様々な実施形態を様々な変更態様で最もよく利用することができるように、実施形態を選択し説明した。
発明の範囲は、添付の特許請求の範囲とその等価物とによって定義される、ということが意図されている。
従来のアプリケーションレベル暗号化を実行する順序を示すブロック図である。 ネットワークレベル暗号化を使用する別の従来のセキュアなストリーミングシステムを示すブロック図である。 従来のトランスコーディング方法を示すブロック図である。 別の従来のトランスコーディング方法を示すブロック図である。 本発明の様々な実施形態による本方法のステップを実行するために使用する例示的なコンピュータシステムの概略図である。 本発明の一実施形態によるセキュアかつスケーラブルなエンコーディング方法において実行するステップのフローチャートである。 本発明の一実施形態によるエンコーディングシステムのブロック図である。 本発明の一実施形態によるビデオ予測ユニット(VPU)が連結されたエンコーディングシステムのブロック図である。 本発明の一実施形態によるビデオ予測ユニット(VPU)が一体化されたエンコーディングシステムのブロック図である。 本発明の一実施形態によるビデオデータのフレームの概略図である。 本発明の一実施形態による対応する領域へのセグメント化後の図10Aのビデオデータのフレームの概略図である。 本発明の一実施形態による対応する非矩形領域へのセグメント化後の図10Aのビデオデータのフレームの概略図である。 本発明の一実施形態による対応するオーバーラップする非矩形領域へのセグメント化後の図10Aのビデオデータのフレームの概略図である。 本発明の一実施形態によるセキュアかつスケーラブルにエンコードされたデータをデコードする際に実行するステップのフローチャートである。 本発明の一実施形態によるデコーディングシステムのブロック図である。 本発明の一実施形態によるビデオ予測ユニット(VPU)が連結されたデコーディングシステムのブロック図である。 本発明の一実施形態によるビデオ予測ユニット(VPU)が一体化したデコーディングシステムのブロック図である。 本発明の実施形態を実施してもよい例示的なハイブリッド有線/無線ネットワークのブロック図である。 本発明の実施形態を実施してもよい例示的な無線ネットワークのブロック図である。 本発明の一実施形態によるソースノード、中間(トランスコーダ)ノードおよび受信ノードのブロック図である。 本発明の一実施形態により本発明の実施形態を実施してもよいトランスコーダ装置の一実施形態のブロック図である。 本発明の一実施形態によるデータパケットをトランスコーディングする方法の様々な実施形態を示すデータフロー図である。 本発明の一実施形態によるデータパケットをトランスコーディングする方法の様々な実施形態を示すデータフロー図である。 本発明の一実施形態によるデータパケットをトランスコーディングする方法の様々な実施形態を示すデータフロー図である。 本発明の一実施形態によるデータパケットをトランスコーディングする方法の様々な実施形態を示すデータフロー図である。 本発明の一実施形態によるデータパケットをトランスコーディングする方法の様々な実施形態を示すデータフロー図である。 本発明の一実施形態によるデータパケットをトランスコーディングするプロセスにおけるステップのフローチャートである。 本発明の一実施形態によるヘッダデータとスケーラブルにエンコードされ漸進的に暗号化されたデータを含むデータパケットの概略図である。 本発明の一実施形態によるスケーラブルにエンコードされ漸進的に暗号化されたデータを含むデータパケットの概略図である。
符号の説明
500・・・コンピュータシステム、
502・・・アドレス/データバス、
504・・・中央処理装置、
508・・・不揮発性メモリ、
510・・・データ記憶装置、
512・・・英数字入力装置、
514・・・カーソル制御装置、
516・・・表示装置、
602・・・セグメンタ,
704・・・エンコーダ、
706・・・パケッタイザ・エンクリプタ、
1000・・・ビデオフレーム、
1002,1004,1006,1008,1010,1012・・・領域、
1014,1016,1018,1020,1022・・・非矩形領域、
1024,1026,1028,1030,1032・・・オーバーラップした領域、
1200・・・デコーディングシステム、
1206・・・アセンブラ、
1300・・・VPU、
1500・・・ハイブリッド有線/無線ネットワーク、
1501・・・無線ネットワーク、
1510・・・ソース、
1520・・・有線高解像度受信機、
1540・・・無線中間解像度受信機、
1520・・・高解像度受信機、
1550・・・ビデオストリーム、
1540・・・中間解像度(低帯域幅)受信機、
1560・・・高解像度受信機・トランスコーダ、
1610・・・ソースノード、
1620・・・中間(トランスコーダ)ノード、
1630・・・受信ノード、
1710・・・受信機、
1720・・・送信機、
1730・・・コントローラ、
1740・・・デクリプタ、
1750・・・メモリ、
2000・・・データパケット、
2002・・・ヘッダデータ部、
2004・・・ビデオデータ部、
2006,2008,2010・・・トランケーションポイント、
2100・・・データパケット、
2104,2106,2108・・・トランケーションポイント、

Claims (27)

  1. ネットワークにおいてソースノードと複数の受信ノードとの間に配置された中間ノードにおいて、データパケットのストリームをトランスコーディングする方法であって、
    a)前記ソースノードから、暗号化されたメディアデータを含む前記データパケットのストリームを受取るステップと、
    b)前記中間ノードの下流側の属性にしたがって選択された各データパケットのポイントにおいて、前記メディアデータを解読することなく前記データパケットのストリームを構成するために、前記中間ノードの下流側の属性にしたがって、前記データパケットのストリームをトランケートする機能を実行するステップと、
    c)受信ノードに、前記中間ノードの前記下流側の属性と互換性のある暗号化されたデータパケットのストリームを送信するステップと
    を含み、
    前記データパケットのストリームのデータパケットは、
    ペイロード部と、
    ヘッダ部と
    を含み、
    前記ペイロード部は、
    前記メディアデータ
    を含み、
    前記ヘッダ部は、
    前記中間ノードの前記下流側の属性にしたがって前記ペイロード部をトランケートするポイントを識別する情報
    を含み、
    前記ペイロード部を暗号化し、
    前記ヘッダ部を暗号化しない
    データパケットのストリームをトランスコーディングする方法。
  2. ネットワークにおいてソースノードと複数の受信ノードとの間に配置された中間ノードにおいて、データパケットのストリームをトランスコーディングする方法であって、
    前記データパケットのストリームのデータパケットは、
    ペイロード部と、
    ヘッダ部と
    を含み、
    前記ペイロード部は、
    前記メディアデータ
    を含み、
    前記ヘッダ部は、
    前記中間ノードの前記下流側の属性にしたがって前記ペイロード部をトランケートするポイントを識別する情報
    を含み、
    前記ペイロード部と、前記ヘッダ部とが暗号化され、
    a)前記ソースノードから、暗号化されたメディアデータを含む前記データパケットのストリームを受取るステップと、
    b)前記中間ノードの下流側の属性にしたがって選択された各データパケットのポイントにおいて、前記メディアデータを解読することなく前記データパケットのストリームを構成するために、前記中間ノードの下流側の属性にしたがって、前記データパケットのストリームをトランケートする機能を実行するステップと、
    c)受信ノードに、前記中間ノードの前記下流側の属性と互換性のある暗号化されたデータパケットのストリームを送信するステップと
    前記ヘッダ部を解読するステップと
    を含むデータパケットのストリームをトランスコーディングする方法。
  3. 前記データパケットのストリームは、エンコードされたメディアデータを含み、前記ステップb)の前記機能を、前記メディアデータをデコードすることなく実行する
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  4. 前記ペイロード部をトランケートするポイントを、前記ヘッダ部において指定する
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  5. 前記ペイロード部をトランケートするポイントを、前記ペイロード部をトランケートするポイントを識別する前記情報から導出する
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  6. 前記ステップb)は、
    前記中間ノードの前記下流側の属性にしたがってトランケートするポイントを選択するステップと、
    選択した前記トランケートするポイントにおいて前記データパケットのストリームのデータパケットのペイロード部をトランケートするステップと
    を含む
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  7. 前記ペイロード部をトランケートするポイントを、受け取ったパケットに対する解析にしたがって指定する
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  8. 前記解析はレート歪み解析である
    請求項に記載のデータパケットのストリームをトランスコーディングする方法。
  9. 前記ステップb)は、
    前記データストリームのデータパケットのサブセットをメモリに蓄積するステップと、
    前記データパケットのサブセットを、該サブセットが前記中間ノードの前記下流側の属性を満足するように構成するステップと、
    をさらに含む
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  10. 前記ステップb)は、
    前記データパケットのストリームからデータパケットを除去するステップ
    を含む
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  11. 前記中間ノードの前記下流側の属性は、
    前記受信ノードの属性
    を含む
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  12. 前記受信ノードから情報を受取るステップと、
    前記受信ノードからの前記情報を使用して該受信ノードの前記属性を確定するステップと
    を含む請求項11に記載のデータパケットのストリームをトランスコーディングする方法。
  13. 前記中間ノードの前記下流側の属性は、
    前記中間ノードと前記受信ノードとを連結する通信チャネルの属性
    を含む
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  14. 前記メディアデータを、ビデオデータと、音声データと、画像データと、グラフィックデータと、ウェブページデータとを含むグループから選択する
    請求項1または2に記載のデータパケットのストリームをトランスコーディングする方法。
  15. データパケットのストリームをトランスコーディングする装置であって、ネットワークにおいてソースノードと複数の受信ノードとの間に配置された中間ノードである装置であり、
    ソースノードから、暗号化されたメディアデータを含む前記データパケットのストリームを受取るように適合された受信機と、
    該受信機に連結され、当該装置の下流側の属性にしたがって選択された各データパケットのポイントにおいて、前記メディアデータをデコードすることなく前記データパケットのストリームを構成するために、当該装置の下流側の属性にしたがって、前記データパケットのストリームをトランケートするように適合されたトランスコーダと、
    該トランスコーダに連結され、当該装置の前記下流側の属性と互換性のある暗号化されたデータパケットのストリームを受信ノードに送信するように適合された送信機と
    を具備し、
    前記データパケットは、
    ペイロード部と、
    ヘッダ部と
    を含み、
    前記ペイロード部は、
    前記メディアデータ
    を含み、
    前記ヘッダ部は、
    当該装置の前記下流側の属性にしたがって前記ペイロード部をトランケートするポイントを識別する情報
    を含み、
    前記ペイロード部は暗号化され、
    前記ヘッダ部は暗号化されない
    装置。
  16. データパケットのストリームをトランスコーディングする装置であって、ネットワークにおいてソースノードと複数の受信ノードとの間に配置された中間ノードである装置であり、
    前記データパケットは、
    ペイロード部と、
    ヘッダ部と
    を含み、
    前記ペイロード部は、
    前記メディアデータ
    を含み、
    前記ヘッダ部は、
    当該装置の前記下流側の属性にしたがって前記ペイロード部をトランケートするポイントを識別する情報
    を含み、
    前記ペイロード部と、前記ヘッダ部とは暗号化され、
    ソースノードから、暗号化されたメディアデータを含む前記データパケットのストリームを受取るように適合された受信機と、
    該受信機に連結され、当該装置の下流側の属性にしたがって選択された各データパケットのポイントにおいて、前記メディアデータをデコードすることなく前記データパケットのストリームを構成するために、当該装置の下流側の属性にしたがって、前記データパケットのストリームをトランケートするように適合されたトランスコーダと、
    該トランスコーダに連結され、当該装置の前記下流側の属性と互換性のある暗号化されたデータパケットのストリームを受信ノードに送信するように適合された送信機と
    前記ヘッダ部を解読するデクリプタと
    を具備する装置。
  17. 前記データパケットのストリームは、
    エンコードされたメディアデータ
    を含み、
    前記トランスコーダは、前記メディアデータをデコードすることなく前記受信ノードの前記属性にしたがって前記データパケットのストリームを構成するように適合された
    請求項15または16記載の装置。
  18. 前記ペイロード部をトランケートするポイントは、前記ヘッダ部において指定される
    請求項16記載の装置。
  19. 前記ペイロード部をトランケートするポイントは、前記ペイロード部をトランケートするポイントを識別する前記情報から導出される
    請求項16記載の装置。
  20. 前記トランスコーダはさらに、当該装置の前記下流側の属性にしたがってトランケートするポイントを選択し、選択した該トランケーションポイントにおいて前記データパケットのストリームのデータパケットのペイロード部をトランケートするように適合された
    請求項16記載の装置。
  21. 前記ペイロード部をトランケートするポイントは、受け取ったパケットに対する解析にしたがって指定される
    請求項16記載の装置。
  22. 前記解析はレート歪み解析である
    請求項21記載の装置。
  23. 前記トランスコーダに連結され、前記データストリームのデータパケットのサブセットを蓄積するように適合された、メモリユニットを具備し、
    前記トランスコーダはさらに、前記データパケットのサブセットを、該サブセットが当該装置の前記下流側の属性を満足するよう構成するように適合された
    請求項16記載の装置。
  24. 前記トランスコーダはさらに、前記データパケットのストリームからデータパケットを除去するように適合された
    請求項15または16記載の装置。
  25. 当該装置の前記下流側の属性は、前記受信ノードの属性を含む
    請求項15または16記載の装置。
  26. 前記トランスコーダはさらに、前記受信ノードから情報を受取り、該受信ノードからの該情報を使用して該受信ノードの前記属性を確定するように適合された
    請求項25記載の装置。
  27. 当該装置の前記下流側の属性は、前記中間ノードと前記受信ノードとを連結する通信チャネルの属性を含む
    請求項15または16記載の装置。
JP2002588008A 2001-05-04 2002-05-03 下流側の要件に応じてセキュアでスケーラブルなパケットを中流側でトランスコーディングする方法およびシステム Expired - Fee Related JP4233876B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/849,796 US7054335B2 (en) 2001-05-04 2001-05-04 Method and system for midstream transcoding of secure scalable packets in response to downstream requirements
PCT/US2002/014224 WO2002091665A2 (en) 2001-05-04 2002-05-03 Method and system for secure transcoding

Publications (2)

Publication Number Publication Date
JP2004538677A JP2004538677A (ja) 2004-12-24
JP4233876B2 true JP4233876B2 (ja) 2009-03-04

Family

ID=25306545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002588008A Expired - Fee Related JP4233876B2 (ja) 2001-05-04 2002-05-03 下流側の要件に応じてセキュアでスケーラブルなパケットを中流側でトランスコーディングする方法およびシステム

Country Status (5)

Country Link
US (2) US7054335B2 (ja)
EP (1) EP1384347B1 (ja)
JP (1) JP4233876B2 (ja)
DE (1) DE60239796D1 (ja)
WO (1) WO2002091665A2 (ja)

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7054335B2 (en) * 2001-05-04 2006-05-30 Hewlett-Packard Development Company, L.P. Method and system for midstream transcoding of secure scalable packets in response to downstream requirements
US7526572B2 (en) * 2001-07-12 2009-04-28 Research In Motion Limited System and method for providing remote data access for a mobile communication device
US7120873B2 (en) * 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US20030163429A1 (en) * 2002-02-27 2003-08-28 Humbeutel Paul Joseph Data conversion secure transfer method and software system for court reporters and scopists
WO2003087997A2 (en) * 2002-04-10 2003-10-23 Akamai Technologies, Inc. Method and system for enhancing live stream delivery quality using prebursting
US7120253B2 (en) * 2002-05-02 2006-10-10 Vixs Systems, Inc. Method and system for protecting video data
JP4181802B2 (ja) * 2002-06-28 2008-11-19 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体
US8837605B2 (en) * 2006-09-26 2014-09-16 Onmobile Global Limited Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay
CN102737180A (zh) * 2002-08-08 2012-10-17 晟碟以色列有限公司 用于数字权利管理的集成电路
US7954127B2 (en) * 2002-09-25 2011-05-31 The Directv Group, Inc. Direct broadcast signal distribution methods
US20050063314A1 (en) * 2003-09-19 2005-03-24 Zafer Sahinoglu Method and system for content aware and energy efficient transmission of videos and images
US7558954B2 (en) * 2003-10-31 2009-07-07 Hewlett-Packard Development Company, L.P. Method and apparatus for ensuring the integrity of data
US7505590B1 (en) * 2003-11-14 2009-03-17 Hewlett-Packard Development Company, L.P. Method and system for providing transcodability to frame coded streaming media
US20050125832A1 (en) * 2003-12-03 2005-06-09 Jost Arthur P. Method and apparatus for cost effective central transcoding of video streams in a video on demand system
US8737219B2 (en) * 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
US7966488B2 (en) * 2004-01-30 2011-06-21 Hewlett-Packard Development Company, L. P. Methods and systems that use information about encrypted data packets to determine an order for sending the data packets
US7839998B2 (en) * 2004-02-09 2010-11-23 Sony Corporation Transcoding CableCARD
WO2005112365A1 (fr) * 2004-04-20 2005-11-24 France Telecom Systeme de gestion de sessions de communication et concentrateur de flux comportant un tel systeme
US7676590B2 (en) * 2004-05-03 2010-03-09 Microsoft Corporation Background transcoding
US7746853B2 (en) * 2004-08-16 2010-06-29 Cisco Technology, Inc. Method and apparatus for transporting broadcast video over a packet network including providing conditional access
US20060190403A1 (en) * 2004-09-25 2006-08-24 Vix Technologies Inc. Method and Apparatus for Content Protection and Copyright Management in Digital Video Distribution
EP1659792A1 (de) * 2004-11-22 2006-05-24 Swisscom Mobile AG Digital Broadcast in sendeleistungsarmen Gebieten
US20060242429A1 (en) * 2004-12-21 2006-10-26 Michael Holtzman In stream data encryption / decryption method
US8396208B2 (en) * 2004-12-21 2013-03-12 Sandisk Technologies Inc. Memory system with in stream data encryption/decryption and error correction
US7669121B2 (en) * 2005-01-19 2010-02-23 Microsoft Corporation Transcode matrix
US8024759B2 (en) 2005-04-01 2011-09-20 The Directv Group, Inc. Backwards-compatible frequency translation module for satellite video delivery
US7558463B2 (en) * 2005-04-18 2009-07-07 Microsoft Corporation Retention of information about digital-media rights in transformed digital media content
US7738766B2 (en) * 2005-04-18 2010-06-15 Microsoft Corporation Sanctioned transcoding of digital-media content
US9436804B2 (en) 2005-04-22 2016-09-06 Microsoft Technology Licensing, Llc Establishing a unique session key using a hardware functionality scan
US9363481B2 (en) 2005-04-22 2016-06-07 Microsoft Technology Licensing, Llc Protected media pipeline
US8171238B1 (en) 2007-07-05 2012-05-01 Silver Peak Systems, Inc. Identification of data stored in memory
US8370583B2 (en) 2005-08-12 2013-02-05 Silver Peak Systems, Inc. Network memory architecture for providing data based on local accessibility
US8095774B1 (en) 2007-07-05 2012-01-10 Silver Peak Systems, Inc. Pre-fetching data into a memory
US8392684B2 (en) 2005-08-12 2013-03-05 Silver Peak Systems, Inc. Data encryption in a network memory architecture for providing data based on local accessibility
US8789115B2 (en) 2005-09-02 2014-07-22 The Directv Group, Inc. Frequency translation module discovery and configuration
US7937732B2 (en) * 2005-09-02 2011-05-03 The Directv Group, Inc. Network fraud prevention via registration and verification
US7924913B2 (en) * 2005-09-15 2011-04-12 Microsoft Corporation Non-realtime data transcoding of multimedia content
US8489562B1 (en) 2007-11-30 2013-07-16 Silver Peak Systems, Inc. Deferred data storage
US8929402B1 (en) 2005-09-29 2015-01-06 Silver Peak Systems, Inc. Systems and methods for compressing packet data by predicting subsequent data
US8811431B2 (en) 2008-11-20 2014-08-19 Silver Peak Systems, Inc. Systems and methods for compressing packet data
US20070091926A1 (en) * 2005-10-21 2007-04-26 Apostolopoulos John G Method for optimizing portions of data from a plurality of data streams at a transcoding node
FR2899758A1 (fr) * 2006-04-07 2007-10-12 France Telecom Procede et dispositif de codage de donnees en un flux scalable
US8245264B2 (en) * 2006-05-26 2012-08-14 John Toebes Methods and systems to reduce channel selection transition delay in a digital network
WO2007149414A2 (en) * 2006-06-19 2007-12-27 The Directv Group, Inc. Dedicated tuner for network administration functions
US8755381B2 (en) 2006-08-02 2014-06-17 Silver Peak Systems, Inc. Data matching using flow based packet data storage
US8885632B2 (en) 2006-08-02 2014-11-11 Silver Peak Systems, Inc. Communications scheduler
US8719875B2 (en) * 2006-11-06 2014-05-06 The Directv Group, Inc. Satellite television IP bitstream generator receiving unit
US7644230B1 (en) * 2007-03-15 2010-01-05 Silver Peak Systems, Inc. Dynamic load management of network memory
US7917747B2 (en) * 2007-03-22 2011-03-29 Igt Multi-party encryption systems and methods
US8712318B2 (en) 2007-05-29 2014-04-29 The Directv Group, Inc. Integrated multi-sat LNB and frequency translation module
KR101402904B1 (ko) * 2007-06-13 2014-06-03 삼성전자주식회사 A/v 프로파일을 관리하는 방법, 장치 및 시스템
US20080313340A1 (en) * 2007-06-15 2008-12-18 Sony Ericsson Mobile Communications Ab Method and apparatus for sending and receiving content with associated application as an object
US8238813B1 (en) 2007-08-20 2012-08-07 The Directv Group, Inc. Computationally efficient design for broadcast satellite single wire and/or direct demod interface
US7948921B1 (en) * 2007-09-20 2011-05-24 Silver Peak Systems, Inc. Automatic network optimization
US9942618B2 (en) 2007-10-31 2018-04-10 The Directv Group, Inc. SMATV headend using IP transport stream input and method for operating the same
US8307115B1 (en) 2007-11-30 2012-11-06 Silver Peak Systems, Inc. Network memory mirroring
US8442052B1 (en) 2008-02-20 2013-05-14 Silver Peak Systems, Inc. Forward packet recovery
US8509434B2 (en) * 2008-06-20 2013-08-13 Korean Broadcasting System Method and apparatus for protecting scalable video coding contents
US10164861B2 (en) 2015-12-28 2018-12-25 Silver Peak Systems, Inc. Dynamic monitoring and visualization for network health characteristics
US8743683B1 (en) 2008-07-03 2014-06-03 Silver Peak Systems, Inc. Quality of service using multiple flows
US9717021B2 (en) 2008-07-03 2017-07-25 Silver Peak Systems, Inc. Virtual network overlay
US10805840B2 (en) 2008-07-03 2020-10-13 Silver Peak Systems, Inc. Data transmission via a virtual wide area network overlay
US8060043B2 (en) * 2008-10-09 2011-11-15 Freescale Semiconductor Adaptive IIP2 calibration
GB2480308A (en) 2010-05-13 2011-11-16 Skype Ltd Data recovery for encrypted packet streams at relay nodes using correction data
US9177500B2 (en) * 2011-01-31 2015-11-03 Global Oled Technology Llc Display with secure decryption of image signals
US9077578B1 (en) 2011-06-06 2015-07-07 Vuemix, Inc. Scalable real-time video compositing systems and methods
US8352626B1 (en) 2011-06-06 2013-01-08 Vyumix, Inc. Program selection from within a plurality of active videos
US9740377B1 (en) 2011-06-06 2017-08-22 Vuemix, Inc. Auxiliary information data exchange within a video environment
US9172982B1 (en) 2011-06-06 2015-10-27 Vuemix, Inc. Audio selection from a multi-video environment
US9130991B2 (en) 2011-10-14 2015-09-08 Silver Peak Systems, Inc. Processing data packets in performance enhancing proxy (PEP) environment
US9626224B2 (en) 2011-11-03 2017-04-18 Silver Peak Systems, Inc. Optimizing available computing resources within a virtual environment
US8325821B1 (en) 2012-02-08 2012-12-04 Vyumix, Inc. Video transcoder stream multiplexing systems and methods
US8793766B2 (en) 2012-03-13 2014-07-29 International Business Machines Corporation Method and apparatus for security-aware elasticity of application and services
CN104067558B (zh) * 2012-04-30 2017-09-12 慧与发展有限责任合伙企业 网络访问装置和用于处理网络中的分组的方法
CN102946418B (zh) * 2012-10-26 2015-12-09 北京奇虎科技有限公司 一种终端设备、一种图片提供系统和一种图片传输方法
US9351157B2 (en) * 2013-10-17 2016-05-24 Motorola Solutions, Inc. Methods, systems, and devices to reduce audio truncation during transcoding
US9948496B1 (en) 2014-07-30 2018-04-17 Silver Peak Systems, Inc. Determining a transit appliance for data traffic to a software service
US9875344B1 (en) 2014-09-05 2018-01-23 Silver Peak Systems, Inc. Dynamic monitoring and authorization of an optimization device
FR3031644A1 (fr) * 2015-01-13 2016-07-15 Orange Procede de traitement d'un flux multimedia, dispositif et programme d'ordinateur correspondants.
JP6543585B2 (ja) * 2016-02-25 2019-07-10 日本電信電話株式会社 通信制御システム及び方法
US10432484B2 (en) 2016-06-13 2019-10-01 Silver Peak Systems, Inc. Aggregating select network traffic statistics
US9967056B1 (en) 2016-08-19 2018-05-08 Silver Peak Systems, Inc. Forward packet recovery with constrained overhead
US11044202B2 (en) 2017-02-06 2021-06-22 Silver Peak Systems, Inc. Multi-level learning for predicting and classifying traffic flows from first packet data
US10892978B2 (en) 2017-02-06 2021-01-12 Silver Peak Systems, Inc. Multi-level learning for classifying traffic flows from first packet data
US10257082B2 (en) 2017-02-06 2019-04-09 Silver Peak Systems, Inc. Multi-level learning for classifying traffic flows
US10771394B2 (en) 2017-02-06 2020-09-08 Silver Peak Systems, Inc. Multi-level learning for classifying traffic flows on a first packet from DNS data
KR101837097B1 (ko) * 2017-02-24 2018-03-12 홍익대학교 산학협력단 데이터 전송 시스템, 데이터 전송 방법, 및 기록 매체
US11212210B2 (en) 2017-09-21 2021-12-28 Silver Peak Systems, Inc. Selective route exporting using source type
US10637721B2 (en) 2018-03-12 2020-04-28 Silver Peak Systems, Inc. Detecting path break conditions while minimizing network overhead
US11543932B1 (en) * 2020-10-29 2023-01-03 mmhmm inc. Rule-based prioritization and activation of overlapping screen areas using pointing device
US11818207B1 (en) * 2022-07-08 2023-11-14 T-Mobile Innovations Llc Methods and systems for ledger based content delivery using a mobile edge computing (MEC) server
US11792259B1 (en) 2022-09-28 2023-10-17 T-Mobile Innovations Llc Methods and systems for distributing rendering across devices in a customer premise

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249292A (en) * 1989-03-31 1993-09-28 Chiappa J Noel Data packet switch using a primary processing unit to designate one of a plurality of data stream control circuits to selectively handle the header processing of incoming packets in one data packet stream
US6384838B1 (en) * 1992-06-19 2002-05-07 Intel Corporation Optimized lookup table method for converting Yuv pixel values to RGB pixel values
TW341018B (en) * 1997-09-23 1998-09-21 Winbond Electronics Corp The compress and de-compress apparatus for video signal and its method
US6345126B1 (en) * 1998-01-29 2002-02-05 Xerox Corporation Method for transmitting data using an embedded bit stream produced in a hierarchical table-lookup vector quantizer
US6570850B1 (en) * 1998-04-23 2003-05-27 Giganet, Inc. System and method for regulating message flow in a digital data network
US6778709B1 (en) * 1999-03-12 2004-08-17 Hewlett-Packard Development Company, L.P. Embedded block coding with optimized truncation
US6594276B1 (en) * 1999-04-01 2003-07-15 Nokia Corporation Apparatus and associated method for communicating multimedia information upon a communication link
CA2280662A1 (en) 1999-05-21 2000-11-21 Joe Toth Media server with multi-dimensional scalable data compression
US6804257B1 (en) * 1999-11-25 2004-10-12 International Business Machines Corporation System and method for framing and protecting variable-lenght packet streams
US7218921B2 (en) * 2000-05-12 2007-05-15 Chikka Pte Ltd Method and system for inviting and creating accounts for prospective users of an instant messaging system
US20040122810A1 (en) * 2000-06-22 2004-06-24 Yaron Mayer System and method for searching, finding and contacting dates on the Internet in instant messaging networks and/or in other methods that enable immediate finding and creating immediate contact
US6580759B1 (en) * 2000-11-16 2003-06-17 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video system
US7184548B2 (en) * 2001-05-04 2007-02-27 Hewlett-Packard Development Company, L.P. Encoding and decoding methods for secure scalable streaming and related systems
US7409094B2 (en) * 2001-05-04 2008-08-05 Hewlett-Packard Development Company, L.P. Methods and systems for packetizing encoded data
US7054335B2 (en) * 2001-05-04 2006-05-30 Hewlett-Packard Development Company, L.P. Method and system for midstream transcoding of secure scalable packets in response to downstream requirements
US7155010B2 (en) * 2001-05-04 2006-12-26 Hewlett-Packard Development Company, L.P. Signal format that facilitates easy scalability of encrypted streams
US7765484B2 (en) * 2001-09-28 2010-07-27 Aol Inc. Passive personalization of lists
WO2003057996A2 (en) * 2002-01-03 2003-07-17 Placer Dome Technical Services Limited Method and apparatus for a plasma-hydraulic continuous excavation system

Also Published As

Publication number Publication date
EP1384347A2 (en) 2004-01-28
US20030018664A1 (en) 2003-01-23
WO2002091665A3 (en) 2003-05-08
WO2002091665A2 (en) 2002-11-14
JP2004538677A (ja) 2004-12-24
US7516243B2 (en) 2009-04-07
US20020163911A1 (en) 2002-11-07
US7054335B2 (en) 2006-05-30
EP1384347B1 (en) 2011-04-20
DE60239796D1 (de) 2011-06-01

Similar Documents

Publication Publication Date Title
JP4233876B2 (ja) 下流側の要件に応じてセキュアでスケーラブルなパケットを中流側でトランスコーディングする方法およびシステム
US7184548B2 (en) Encoding and decoding methods for secure scalable streaming and related systems
US6983049B2 (en) Storage devices for secure scalable data streaming
US7136485B2 (en) Packetizing devices for scalable data streaming
US7349539B2 (en) Encoding and encrypting devices for secure scalable data streaming
US6990202B2 (en) Packetizing devices for secure scalable data streaming
Wee et al. Secure scalable video streaming for wireless networks
US20030041257A1 (en) Systems, methods and storage devices for scalable data streaming
US7830969B2 (en) Encoding devices for scalable data streaming
US7581094B1 (en) Cryptographic checksums enabling data manipulation and transcoding
JP2009535908A (ja) メディアデータの分散記憶
KR20080059316A (ko) 데이터 부분을 최적화하는 방법
US7155010B2 (en) Signal format that facilitates easy scalability of encrypted streams
US7505590B1 (en) Method and system for providing transcodability to frame coded streaming media
US8391482B2 (en) Signal format that facilitates easy scalability of data streams
WO2007046903A1 (en) Parallel processing of data using information about the data and information about a streaming network
Lima et al. Towards secure multiresolution network coding
Zeng et al. Security architectures and analysis for content adaptation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080317

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080813

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4233876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees