JP4406750B2 - ユーザモザイクを生成するためのビデオ送信システム及びビデオ処理システム - Google Patents

ユーザモザイクを生成するためのビデオ送信システム及びビデオ処理システム Download PDF

Info

Publication number
JP4406750B2
JP4406750B2 JP2002039069A JP2002039069A JP4406750B2 JP 4406750 B2 JP4406750 B2 JP 4406750B2 JP 2002039069 A JP2002039069 A JP 2002039069A JP 2002039069 A JP2002039069 A JP 2002039069A JP 4406750 B2 JP4406750 B2 JP 4406750B2
Authority
JP
Japan
Prior art keywords
video signal
encoded
subsampled
video
multiplexing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002039069A
Other languages
English (en)
Other versions
JP2002314961A (ja
Inventor
マルタン フランソワ
Original Assignee
シー・エイチ・アイ ディヴェロップメント マネージメント リミテッド ザ・トゥエンティナインス,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8860111&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4406750(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by シー・エイチ・アイ ディヴェロップメント マネージメント リミテッド ザ・トゥエンティナインス,エルエルシー filed Critical シー・エイチ・アイ ディヴェロップメント マネージメント リミテッド ザ・トゥエンティナインス,エルエルシー
Publication of JP2002314961A publication Critical patent/JP2002314961A/ja
Application granted granted Critical
Publication of JP4406750B2 publication Critical patent/JP4406750B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30Arrangements for simultaneous broadcast of plural pieces of information by a single channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、通信チャネルにビデオ信号のセットの送信、及びテレビジョン視聴者による操作向上のためのかかるビデオ信号の処理のためのビデオ送信システム及びビデオ処理システムに関する。
本発明は、テレビジョン(TV)プログラムのブロードキャスタ、及び一方ではテレビジョンに関するビデオサービスのサプライヤ、他方ではTVビデオ信号についての受信及び処理システムにおけるテレビジョン視聴者により利用されるビデオ送信システムで使用される場合がある。
【0002】
【従来の技術】
デジタルテレビジョンの出現により、ユーザがテレビジョンセットに表示することができるTVプログラム数は、大幅に増加してきている。TVプログラムにおけるこの成長に対処して、TVプログラムのこのグループの中からユーザが選択することを可能にするために、「モザイク」として言及される短縮表現が作成され、このモザイクは、かかるTVプリグラムのユーザのテレビジョンセットに関する並置(juxtaposition)を短縮フォーマットで含んでいる。ユーザは、TVプログラムのグループのコンテンツを同時に見ることができ、特定のTVプログラムを選択する助けとなる。
【0003】
米国特許第5,633,683号では、TVプログラムグループからTVプログラムを選択するためのシステムが開示されている。対応する方法では、ビデオ信号のグループの送信を含んでいる。ビデオ信号は、ビデオ信号のかかるグループから取得されたモザイクを表しており、短縮サイズのビデオのぞれぞれの位置にリンクする情報は、モザイクが作成されるプリグラム番号に対するモザイクを形成している。受信に応じて、関心のある短縮サイズのビデオプログラムをモザイクから選択することにより、ユーザはTVプログラムを選択する。次いで、対応する選択されたプログラムは、テレビジョンセットのモザイクを置き換える。
【0004】
【発明が解決しようとする課題】
上記公知文献で使用されるモザイクを表すビデオ信号を送信及び受信するための方法は、幾つかの制限を有している。
第1に、この方法は、短縮フォーマットのTVプログラムの最大数の問題に直面する。実際に、短縮サイズのTVプログラムのそれぞれは、ユーザがそのコンテンツにアクセス可能なように十分に大きくなければならないので、標準フォーマットのテレビジョンセットに表示されるモザイクは、16の短縮サイズのプログラム以上を含むことは不可能である(水平に4プログラム×垂直4プログラム)。
【0005】
TVプログラムの比較的大きなグループ、特に16よりも大きなTVプログラム数からTVプログラムを選択するオプションをユーザが有する場合には、モザイクは、TVプログラムのかかるグループを表示するために十分ではない。したがって、ユーザは、テレビジョンセットであるモザイクを別のモザイクに移すことを強いられて、複数のモザイクからTVプログラムを選択しなければならない。これにより、TVプログラムの選択が難しくなり、不便なものとなる。
【0006】
第2に、このプロセスに従い作成されたモザイクは、完全なものであり、TVプログラムのグループの同型表現である。実際に、モザイクの作成の間、それぞれ短縮サイズのTVプログラムは、その内容の特徴を考慮せずに並置されている。
【0007】
したがって、モザイクに特定のTVプログラムを選択することをユーザが望む場合、それぞれ短縮サイズのプログラムを次々と見て、ユーザの期待に対応するコンテンツを有するものを見つけなければならない。このため、ユーザによる特定のTVプログラムの選択は遅く、さらに、短縮サイズのプログラムが関連するTVプログラムのタイプ又はスタイルを連続的に反映していないといった程度に、時に信頼することができない場合がある。
【0008】
本発明の目的は、TVプログラムに関連するビデオ信号のための送信及び受信システムを提供して、テレビジョンセットに表示されるTVプログラムのモザイクから特定のTVプログラムをユーザが手際よく、且つ適切なやり方で選択することを可能にすることにより、これらの制限を大幅に改善することである。
【0009】
【課題を解決するための手段】
本発明の1態様によれば、ビデオ送信システムは、入力ビデオ信号のグループの中から通信チャネルを通して出力信号を送信するために提供される。かかるシステムは、入力ビデオ信号のそれぞれから符号化されたビデオ信号を供給するための第1グループの符号化手段を備えている。
【0010】
上記目的を達成するために、本発明では、送信システムが以下を備えることを特徴としている。
入力ビデオ信号のそれぞれからサブサンプルされたビデオ信号を供給するための第2グループの符号化手段。
対応する入力ビデオ信号を特徴付ける記述子を、サブサンプルビデオ信号のそれぞれに関連付けるための関連付け手段。
符号化ビデオ信号のグループを、記述子と関連付けられたサブサンプルビデオ信号のグループと多重化し、該多重化により上記出力信号を供給するための多重化手段。
【0011】
この送信システムは、より詳細には、ユーザへの送信の連鎖の開始に位置されるTVプログラムのブロードキャスタに関連している。このシステムでは、TVプログラムに対応する入力ビデオ信号のグループは符号化され、特に、入力ビデオ信号のそれぞれの帯域幅を低減するために、符号化ビデオ信号のグループが供給される。
【0012】
同時に、入力ビデオ信号もまた符号化され、符号化ビデオ信号が供給される。ここでの符号化もまた、サブサンプリングにより、それぞれの入力ビデオ信号のフォーマットにおける低減を含んでいる。次いで、データ記述子は、サブサンプルビデオ信号のそれぞれと関連付けされ、そのコンテンツを記述するタイプ、プログラム番号又は各種データのようなフィールドのグループにより、サブサンプルビデオ信号が特徴付けされる。符号化ビデオ信号と関連付けされたデータとの多重化は続けて実行され、ユーザである目的地に通信チャネルを通して送出される信号が供給される
この送信システムでは、公知文献とは逆に、サブサンプルビデオ信号からモザイクのない信号が作成され、これにより、これらサブサンプルビデオ信号からモザイクを構成する可能性は、ユーザレベルでの受信に対して残される。
【0013】
本発明の別な態様によれば、送信システムは、テレビジョンについてのビデオサービスのサプライヤにより送信が実行される場合と異なって実現することができる。この場合では、TVプログラムのブロードキャスタとユーザとの中間にあるサービスサプライヤ、処理されるビデオ信号は、異なる種類のものである。
【0014】
次いで、ビデオ送信システムは、入力ビデオ信号から通信チャネルを通した出力ビデオ信号の送信のために提供される。この入力ビデオ信号は、符号化ビデオ信号のグループの多重化から生じている。かかるシステムは、符号化ビデオ信号を生成するための分離手段を備えている。
【0015】
上記目的を達成するために、本発明では、ビデオ送信システムが以下を備えていることを特徴としている。
符号化ビデオ信号のそれぞれからサブサンプルされたビデオ信号を供給するためのトランスコーディング手段。
対応する符号化ビデオ信号を特徴付ける記述子を、サブサンプルビデオ信号と関連付けるための関連付け手段。
入力ビデオ信号を、記述子により関連付けられたサブサンプルビデオ信号のグループと多重化して、該多重化により上記出力信号を供給する多重化手段。
【0016】
この送信システムでは、入力信号は、TVプログラムに関連する多重化された符号化ビデオ信号に対応する。分離の後、これら符号化ビデオ信号はトランスコードされ、符号化ビデオ信号の新しいグループが供給される。また、このトランスコーディングは、サブサンプリングにより、それぞれの入力ビデオ信号のフォーマットにおける低減を含んでいる。
【0017】
上述した送信システムと同様なやり方で、データ記述子は、それぞれのサブサンプルビデオ信号と関連付けされている。符号化ビデオ信号と関連付けされたデータとの多重化が続けて実行され、ユーザである目的地に通信チャネルを通して送出される1つの信号が供給される。
【0018】
同様にして、サブサンプルビデオ信号からモザイクのない信号が作成される。これにより、これらサブサンプルビデオ信号からモザイクを構成する可能性は、ユーザレベルでの受信に対して残される。
【0019】
本発明の更なる特徴によれば、MPEG−4標準に従いサブサンプルビデオ信号は符号化される。これにより、それぞれのサブサンプルビデオ信号がかかるように処理されたビデオオブジェクトとなるときに、サブサンプルビデオ信号の処理に関して大きな柔軟性が許容される。
【0020】
本発明の別の態様によれば、ビデオ処理システムは、通信チャネルを通して符号化ビデオ信号のグループの多重化から生じた入力ビデオ信号を受信するために提供される。かかるシステムは、符号化ビデオ信号を生成するための分離手段、及びかかる符号化ビデオ信号を復号して、スクリーンに表示可能な復号化ビデオ信号を生成するための復号化手段を備えている。
【0021】
上記目的を達成するために、本発明では、ビデオ受信システム及びビデオ処理システムが以下を備えることを特徴としている。
サブサンプルビデオ信号のグループの多重化から生じた補助シグナルを受信するための手段。それぞれのサブサンプルビデオ信号は、符号化ビデオ信号のサブサンプリングから生じるものであり、データ記述子は、それぞれのサブサンプルビデオ信号と関連付けされており、フィールドのグループによりサブサンプルビデオ信号を特徴付けている。
上記データ記述子のフィールドを記憶して、フィールドのグループに関連する要求により、サブサンプルビデオ信号を識別するためのデータベースを作成するための手段。
【0022】
サブサンプルビデオ信号のグループから選択されたサブサンプルビデオ信号の制限されたグループから、モザイクを作成するための手段。かかる選択されたサブサンプル信号は、関連付けされた記述子のフィールドがデータベースに送出されるユーザ要求の結果であるようなサブサンプルビデオ信号に対応している。
このビデオ処理システムは、上述したビデオ送信システムのうちの1つにより生成された出力ビデオ信号に対応する入力ビデオ信号の受信及び処理に専用される。
【0023】
公知文献とは逆に、プログラムのモザイクは、サブサンプルビデオ信号のグループにより実現される。この処理システムの目的は、TVプログラムの1つのモザイクからユーザが手際よく特定のTVプログラムを選択することを可能にして、サブサンプルビデオ信号の制限されたグループからユーザモザイクを作成することである。
【0024】
さらに、TVプログラムのモザイクがユーザに制限される公知文献とは逆に、本発明によるこの処理システムにより、ユーザは、サブバンドビデオ信号からのモザイクを構成することができ、対応するTVプログラムをユーザの嗜好又はプロファイルに合わせることができ、選択を容易にすることができる。
【0025】
また、本発明は、上述したようなビデオ受信システム及びビデオ処理システムを備えるテレビジョンセットについての受信機に関する。
また、本発明は、MPEG−2標準に従い符号化された第1のビデオ信号のグループから構成されるデジタル信号に関する。この信号は、上述した送信システムの技術的特徴を反映している。実際には、この信号は、MPEG−4標準に従い符号化された第2のビデオ信号のグループを含んでいる。それぞれの第2のビデオ信号は、第1のビデオ信号のサブサンプリング、続いてMPEG−4標準に従う符号化により連続的に取得される。それぞれのMPEG−4ビデオ信号は、対応する第1のビデオ信号を特徴付ける記述子と関連付けられている。
【0026】
また、本発明は、上述した処理システムにためのコンピュータプログラムプロダクトだけでなく、上述した送信システムのためのコンピュータプログラムプロダクトに関する。かかるコンピュータプロダクトは、シグナルプロセッサにより本発明の処理ステップを実行するためのプログラムコード命令を含んでいる。
本発明のこれらの態様及び他の態様は、限定することのない例を通して、以下に記載される実施の形態を参照して明らかとなるであろう。
【0027】
【発明の実施の形態】
以下の説明では、ユーザのテレビジョンセットに表示されるTVプログラムに対応するビデオ信号は、符号化される場合、MPEG-2 ISO/IEC 13818-2標準に従い符号化される。しかし、当業者であれば、これらビデオ信号がMPEG-1標準のような他のビデオ標準に従い符号化される場合にも同様なやり方で使用されてもよいことを理解されるであろう。
【0028】
同様にして、明確さの観点で、説明は4つのTVプログラムのみに基づいて与えられる。本発明は、制限されたプログラム数に明らかに限定されず、より多くのTVプログラム数で使用することができる。
【0029】
図1は、本発明によるビデオ送信システムの第1実施の形態を示している。この実施の形態は、TVプログラムのブロードキャスタにより送信が実行される場合に使用される。
【0030】
この送信システムは、たとえば、ビデオ取得システム(図示せず)から生成されるビデオ信号101〜104を通して、4つのTVプリグラムのグループを受信するものである。これらの信号101〜104は、RAWフォーマットであり、ビデオ符号化システム105に入力される。該システム105では、それぞれの信号101〜104は、それぞれのビデオエンコーダ106〜109により符号化され、結果的に、MPEG−2標準に従い符号化された信号110〜113が得られる。
【0031】
同時に、信号101〜104は、ビデオ符号化システム114に入力される。該システム114では、それぞれの信号101〜104は、サブサンプルされ、次いでそれぞれのビデオエンコーダ115〜118によりMPEG-4 ISO-IEC 14496-2に従い符号化され、結果的に信号199〜122が得られる。サブサンプリングステップの目的は、信号101〜104のフォーマットに比較して低減されたフォーマットを有するビデオ信号119〜122を生成することである。
【0032】
サブサンプリングのファクタは、異なる値であってもよい。たとえば、フォーマットCCIRを有する信号101〜104に適用されるファクタ4による水平及び垂直サブサンプリングにより、フォーマットQCIFを有する信号119〜122が生成される。
【0033】
また、フォーマットCCIRを有する信号101〜104に適用されるファクタ8による水平及び垂直サブサンプリングにより、フォーマットSUB-QCIFを有する信号119〜122が生成される。サブサンプリングファクタの値は、同じスクリーンに表示することができるサブサンプルされるビデオ信号の最大数を決定する。
【0034】
関連付け手段123では、データ記述子132〜135が、たとえばデータベースから生成され、信号119〜122と関連付けされる。関連付け手段123は、4つのグループ124〜127を備えており、それぞれのグループにより、データ記述子は、サブサンプルビデオ信号に添付又はリンクすることができ、結果的に新たな信号128〜131となる。
【0035】
これらデータ記述子は、フィールドのグループにより、サブサンプル信号119〜122、及び同時に信号119〜122が生成されるTVプログラム102〜104のそれぞれを特徴付けることができる。
【0036】
表1は、非制限的なやり方で、サブサンプルビデオ信号に関連付けられているそれぞれのデータ記述子に含まれるフィールドを記載している。それぞれのデータ記述子は、様々なサブグループにアレンジされたフィールドのグループを含んでいる。
【表1】
Figure 0004406750
“識別(IDENTIFICATION)”サブグループは、参照(Field number)1を含んだ識別フィールドを含んでいる。このフィールドの目的は、他の記述子と混同しないように、それぞれの記述子を識別することである。
【0037】
“フィルタリング(FILTERING)”サブグループは、リファインメントの増加程度によりそのタイプに従いTVプログラムを分類するための参照2及び3を含んだ2つのフィールドを含んでいる。
【0038】
たとえば、レベル1でのタイプは、タイプ(フィルム、ドキュメンタリ)から選択することができる。レベル1でのタイプが(フィルム)である場合、レベル2でのタイプは、(ドラマ、コメディ、アドベンチャ)から選択することができる。レベル1でのタイプが(ドキュメンタリ)である場合、レベル2でのタイプは、(サイエンス、歴史、自然)から選択することができる。
【0039】
“記述(DESCRIPTION)”サブグループは、参照4,5,6及び7を含んでいる。これらのフィールドにより、そのコンテンツに関してTVプログラムに追加の指示を提供することができる。フィールド7により、それぞれのサブサンプル信号119〜122は、ビデオ信号101〜104のうちの1つにより実行される対応するTVプログラムにリンクすることができる。
【0040】
サブサンプルビデオ信号に関連付けされたデータ記述子132〜135は、文献“Digital Broadcasting Systems for Television, Sound and Data Services; Specification for Service Information(SI) in Digital Video Broadcasting(DVB) Systems”, ITU-Radio communication study groups, Doc 11-3/45-E,29 August 1996に記載されるような指定されたシンタックスDVB-SI(English Digital Video Broadcast-Service Information)に従い構築される。
【0041】
しかし、MPEG-7標準に従い、それぞれのTVプログラムの記述のより正確な程度を得るためにフィールドを自由なやり方で定義することができるシンタックスのような記述子を構築するための代替的なシンタックスを考案してもよい。同様にして、オブジェクトの形状又はオブジェクトを構成するパターンのような技術的なビデオ特徴によりそれぞれのTVプログラムが記述される場合、MPEG-4標準に従い本発明による記述子を構築してもよい。
【0042】
中間伝送ストリーム(図示せず)において、標準MPEG-2システム13818-1に従いマルチプレクサ136により信号110〜113を多重化した後、信号128〜131は、MPEG-2システム13818-1標準の補正7に従い、手段136によりなおカプセル化及び多重化され、通信チャネルを通して送信される出力信号137が得られる。
【0043】
図2は、本発明によるビデオ送信システムの第2実施の形態を示している。本実施の形態は、ビデオサービスのサプライヤにより送信が実行される場合に使用される。
【0044】
この場合、MPEG-2標準に従い符号化されて多重かされる4つのビデオ信号を含んだ伝送ストリーム201が受信される。4つの符号化ビデオ信号は、伝送ストリーム201から抽出され、デマルチプレクサ202により分離され、結果的にビデオ信号203〜206となる。MPEG-2標準に従い符号化されるこれら4つのビデオ信号203〜206は、トランスコーディング処理207を受け、MPEG-4標準に従い符号化されたビデオ信号が生成される。
【0045】
このトランスコーディング処理は、4つのトランスコーダ208〜211を含んでおり、MPEG-4標準に従い符号化されるビデオ信号212〜215が生成される。符号化シンタックスにおけるこの変化に加えて、それぞれのトランスコーダは、図1の実施の形態と同じやり方で、信号203〜206のサブサンプリングを実行する。
【0046】
このトランスコーディング処理207は、様々なやり方で実行される場合がある。最初に、信号203〜206のMPEG-2の復号化を含み、非符号化ビデオデータにアクセスし、次いで、この非符号化ビデオデータMPEG-4が実行され、ビデオ信号212〜215が生成される。しかし、この動作は、前の復号化なしで信号203〜206の直接の処理を含んだ動作が好ましいので、高価な処理手段を必要とする。
【0047】
図1の実施の形態と同じやり方で、データ記述子132〜135は、サブサンプルビデオ信号212〜215と関連付けられ、信号216〜219が生成される。最後の動作では、伝送ストリーム201及び信号216〜219は、マルチプレクサ136により新たな伝送ストリームにおいて多重化及びカプセル化され、結果的に、出力信号220が得られて通信チャネルを通して送信される。
【0048】
上述したビデオ送信システムでは、MPEG-4標準に従い符号化されたサブサンプルビデオ信号は、TVプログラムに対応するビデオ信号のフレーム周波数よりも低いフレーム周波数を有する場合がある。したがって、出力信号220の帯域幅は、符号化114又はトランスコーディング207の間に、低フレーム周波数で信号119〜122又は信号212〜215のそれぞれを生成することにおいて低減される。極端な例としては、これら信号フレーム周波数がゼロである場合、TVプログラムは1つの画像により表されることになる。
【0049】
図4は、本発明によるビデオ受信システム及びビデオ処理システムのブロック図である。このビデオ受信システム及びビデオ処理システムは、図1又は図2を参照して記載された送信システムのうちの1つにより生成された出力信号を受信して処理するために設計されるものである。テレビジョンセットに表示されるTVプログラムの1つのモザイクから、特定のTVプログラムをユーザが即座に選択することができ、制限されたサブサンプルビデオ信号のグループからユーザモザイクを作成することが目的である。
【0050】
この受信システムは、入力信号401を分離して、一方で、MPEG-2標準に従い符号化されるTVプログラムとMPEG-4標準に従い符号化されるサブサンプルビデオ信号とから構成されるビデオ信号411を生成し、他方で、TVプログラムのそれぞれのコンテンツを記述することができるデータ記述子403を生成するデマルチプレクサ402を備えている。
【0051】
次いで、データベース404は、それぞれの記述子の異なるフィールドから構成される。続くアクション405は、ユーザインタフェース406を介して、受信システムに位置するユーザにより発生され、テレビジョンセットに表示される原文又はグラフによるメニューからTVプログラムのタイプを選択することを含んでおり、ユーザ選択を取り上げる要求408が生成されて、データベース404に送出される。
【0052】
この要求に応答して、データベースでは、コマンド410を介して、TVプログラムがユーザ選択に対応するかが判定され、これら判定されたTVプログラムから生じたサブサンプルビデオ信号の分離が許可される。次いで、サブサンプルビデオ信号のこの制限されたグループは、MPEG-4標準に従う特定のデコーダで構成される復号化グループ412により復号され、復号化されたサブサンプルビデオ信号413が供給される。
【0053】
次いで、これらビデオ信号は、イメージコンポジショナ414によりモザイクの構成で組み立てられる。この組み立ては、同じ画像平面におけるサブサンプルビデオ信号の並置を含んでいる。このようにして作成されたモザイク415は、ユーザのテレビジョンセットのような表示システムに送出される。また、それぞれのサブサンプルビデオ信号についての記述データ409は、その構成の間にモザイクに挿入される。したがって、ユーザは、自身の選択に対応する短縮フォーマットのTVプログラムのグループを示す利用可能なモザイクを有する。ユーザは、コマンド407を介して、モザイクから短縮フォーマットのTVプログラムを容易に選択することができる。これにより、MPEG-2標準に従い符号化される対応するTVプログラムのマルチプレクサ402による分離、及びデコーダ412による復号化が引き起こされ、次いで、ユーザのテレビジョンスクリーンに表示される。
【0054】
図3は、本発明による図4に例示されるようなビデオ受信システム及びビデオ処理システムの詳細な実施の形態を示している。このビデオ受信システム及びビデオ処理システムは、図1又は図2を参照して上述された送信システムのうちの1つにより生成された出力信号に対応する入力信号301を受信及び処理するために設計されたものである。
【0055】
この信号301は、伝送ストリームに対応している。信号301は、デマルチプレクサ302により最初に分離されて、MPEG-2標準に従い符号化される4つのTVプログラムを含む伝送ストリーム303、MPEG-4標準に従い符号化される4つのサブサンプルビデオ信号を含む伝送ストリーム304、及び4つのサブサンプルビデオ信号に関連付けられた4つのデータ記述子を含む信号305が生成される。
【0056】
それぞれのデータ記述子についてのフィールドのグループ307を供給するに加えて、サブサンプルビデオ信号と対応するTVプログラムとの間でリンクを確立するプログラム識別パラメータ(PID)311を供給するため、信号305は、テーブルアナライザ306により分析される。
【0057】
記述子抽出器308により、フィールド2及び3により提供されるタイプ情報309が読まれ、信号307から抽出される。データベース315は、好ましくはリレーショナル型であり、データベースジェネレータ310により作成され、データベースにおけるそれぞれのセルは、信号307,309及び311により搬送されるデータから満たされる。
【0058】
ユーザは、記述子の異なるフィルタリングフィールドからのタイトルを取り、生成されてテレビジョンセットに表示されるメニューからの選択340により、ユーザインタフェース312を介して、ユーザが見たいと望むTVプログラムのタイプに対応する上記メニューからタイトルを選択する。
【0059】
次いで、ユーザ選択を反映している要求313が生成される。この要求の内容は、リクエストアナライザ314により分析され、要求に含まれるユーザ選択、特に、どのタイプのプログラムが選択されたかが分析される。次いで、リクエストアナライザ314は、データベース315を調べ、(この場合、4である)受信された全てのTVプログラムの中から、要求の基準に合うそれらTVプログラムを決定する。したがって、ユーザ選択に対応するTVプログラムの制限されたグループが定義され、それぞれのプログラムは、そのデータ記述子から生じるその識別フィールドid(表1参照)により識別される。
【0060】
リクエストアナライザは、デマルチプレクサ316に識別子339を送出して、TVプログラムのこの制限されたグループに属するそれらサブサンプルビデオ信号のみを分離する。MPEG-4標準に従い符号化されたサブサンプルビデオ信号317〜320の制限されたグループが供給される。したがって、4つのサブサンプルビデオ信号が示されているが、ユーザ要求の結果に依存して、より少ない数の信号が供給される場合がある。
【0061】
サブサンプルビデオ信号317〜320の制限されたグループは、MPEG-4標準に従うデコーダ322〜325から構成される復号化システム321により復号化され、復号化されたサブサンプルビデオ信号326〜329を供給する。次いで、これら復号化された信号は、イメージコンポジタ334によりモザイクの構成で組み立てられ、このコンポジタは、異なるサブサンプルビデオ信号を同じ平面に並置する。
【0062】
この構成の間に、サブサンプルビデオ信号の制限されたグループに関連するデータ記述子からなるフィールド4,5,6及び7に対応する追加のデータ337は、TVプログラムのモザイクに挿入され、作成されテレビジョンセットに表示されるモザイクを見ているユーザに追加の情報が提供される。このモザイクは、出力信号335により搬送される。
【0063】
したがって、ユーザは、ユーザ選択を満たすTVプログラムのモザイクを利用することができる。ユーザインタフェース312を介して、ユーザは、モザイクから短縮フォーマットTVプログラム(すなわち、サブサンプルビデオ信号)を選択する。これは、たとえば、選択カーソルがモザイクにおけるある短縮フォーマットプログラムから別の短縮フォーマットプログラムに移動可能にする移動矢印が設けられたリモートコントロール、選択カーソルが位置合わせされて選択される短縮フォーマットプログラムを可能にする確認ボタン等により行われる。
【0064】
このアクション336に続いて、アナライザ314は、ユーザにより選択される短縮フォーマットTVプログラムの識別子を識別して、信号338を介して該識別子をデマルチプレクサ330に送出する。デマルチプレクサ330は、信号303に含まれるTVプログラムのグループの中から、識別子338に対応する信号を分離して供給する。
【0065】
MPEG-2標準に従うデコーダ332は、信号331を復号化して、ユーザにより選択されたTVプログラムに対応する復号化された信号333を供給する。次いで、このTVプログラムは、プログラムモザイクをテレビジョンセットに置き換える。
【0066】
代替的な実施の形態では、モザイクを構成するサブサンプルされたビデオ信号の選択は、メニューからTVプログラムのタイプを選択することなしに、ユーザにより直接的なやり方で実行される。このために、ユーザは、信号301に含まれている全てのTVプログラムのグループの中から、ユーザが望むプログラムを次々と選択して、ユーザの好適なモザイクに含める。
【0067】
新たなフィールド“pref_mosaic”は、それぞれのデータ記述子に加えられ、サブサンプルビデオ信号がユーザの好適なモザイクの作成の間に利用されなければならないことを示すために評価される。
【0068】
このようにして、ユーザは、ローカルに記憶することができるユーザ自身のユーザプロファイルを作成する。特定のTVプログラムの選択をユーザが望む場合、(リモートコントロールボタン、メニュー等を介しての)ユーザアクション340は、そのフィールドpref_mosaicが認可された全ての記述子について、データベース315におけるリクエストアナライザ314によるサーチをトリガする。これにより、ユーザの好適なモザイクを形成するサブサンプルビデオ信号の制限されたグループを定義することができ、その後、モザイクは上述したように作成され表示される。ユーザは、テレビジョンに表示することを望むTVプログラムを好適なモザイクから選択するだけでよい。
【0069】
所与の放送局で生じる場合がある番組変更を考慮して、TVプログラムの更新されたモザイクをユーザに提供するためには、連続的なやり方で又は周期的にデータベース315の更新が実行される。このために、データベースジェネレータ310は、そのプログラム識別子311により識別されるTVプログラムのそれぞれについて、データベースにおける315に予め記憶されているその関連するデータ記述子のフィールドが現在の瞬間で受信されたフィールド307から309と同じであるかをチェックする。
【0070】
同じである場合、データベース315は更新されない。これは、受信されたTVプログラムは、特にそのタイプに関して同じであるからである。同じでない場合、予め記憶されるデータ記述子のフィールドを置き換えることにより、データベース315の更新が実行される。たとえば、プログラム識別子311により参照されるテレビジョン放送局がドキュメンタリのブロードキャストを開始した場合に、現在の瞬間までフィルムがブロードキャストされているので、データベース315の更新が実行される。
【0071】
図5は、本発明によるビデオ受信システム及びビデオ処理システムを例示しており、受信エンクロージャ501、特にセットトップボックス型で実現される。このエンクロージャは、上述のように信号301を受信し、その出力として信号335を生成する。信号335は、特に、TVプログラムのモザイク及び/又はユーザにより選択されたTVプログラムを搬送し、ユーザのテレビジョンセット502に表示される。ユーザは、利用可能なリモートコントロール503を有しており、テレビジョンセット502に表示されるビデオ/グラフィカルコンテンツとのインタラクションが可能となる。
【0072】
表示領域は、ユーザが見たいと望むTVプログラムのタイプが選択されるメニューを表示することができる領域504を含んでいる。たとえば、映画に対応するTVプログラムを見たいと望む場合、タイトル“film”を選択し、ドキュメンタリに対応するTVプログラムを見たいと望む場合、タイトル“doc”を選択する。サブメニュー(図示せず)を考えて、サブタイプをユーザに提供してもよい。
【0073】
この選択に応答して、システム501は、ユーザ選択に対応するサブサンプルビデオ信号でプログラムのモザイクを構築する。このモザイクは、テレビジョンセット502に表示される。例示のために、TVプログラムのモザイクは、3つのサブサンプルビデオ信号505,506及び507から構成される。ユーザは、このモザイクから見るTVプログラムを選択することができる。
メニュー504において、タイトル“user”により、図3に定義されて記載されるようなユーザモザイクを呼ぶことができる。
【0074】
ハードウェアの観点で、本発明のこの種の実現に関して、リソースは、送信システム及び受信/処理システムの両レベルでのシグナルプロセッサである。かかるプロセッサは、図1〜図5に記載された手段の機能を実現するために、プログラムコード命令のシーケンスを含むコンピュータプログラムを実行する。かかるプログラムコード命令は、メモリ装置に記憶されている。特に、かかるプログラムコード命令は、本発明の異なる処理ステップを実行する1以上のソースプログラムの完成から引き出すことができる。
【図面の簡単な説明】
【図1】本発明によるビデオ送信システムの第1実施の形態を示す図である。
【図2】本発明によるビデオ送信システムの第2実施の形態を示す図である。
【図3】本発明によるビデオ受信及び処理システムの詳細な実施の形態を示す図である。
【図4】本発明によるビデオ受信及び処理システムのブロック図である。
【図5】本発明による受信及び処理システムを例示する図である。
【符号の説明】
101〜104:ビデオ信号
105:ビデオ符号化システム
106〜109:ビデオエンコーダ
110〜113:符号化信号
114:ビデオ符号化システム
115〜118:ビデオエンコーダ
119〜122:サブサンプルビデオ信号
123:関連付け手段
124〜127:グループ
128〜131:新たな信号
132〜135:データ記述子
136:マルチプレクサ
137:出力信号
201:伝送ストリーム
202:マルチプレクサ
203〜206:ビデオ信号
207:トランスコーディング処理
208〜211:トランスコーダ
212〜215:サブサンプルビデオ信号
220:出力信号
301:入力信号
302:マルチプレクサ
303:伝送ストリーム
304:伝送ストリーム
305:データ記述子を含む信号
306:テーブルアナライザ
307:データ記述子のフィールド
308:記述子抽出器
309:タイプ情報
310:データベースジェネレータ
311:プログラム識別パラメータ
312:ユーザインタフェース
313:ユーザ選択を反映した要求
314:リクエストアナライザ
315:データベース
316:デマルチプレクサ
317〜320:サブサンプルビデオ信号
321:復号化システム
322〜325:デコーダ
326〜329:復号化されたサブサンプルビデオ信号
330:デマルチプレクサ
332:デコーダ
333:復号化された信号
334:イメージコンポジタ
335:出力信号
336:アクション
337:追加のデータ
338:識別子
340:メニューからの選択

Claims (12)

  1. 入力ビデオ信号のグループに基づいて、通信チャネルを通して出力ビデオ信号を送信するビデオ送信システムであって、
    それぞれの入力ビデオ信号から符号化されたビデオ信号を供給する第1グループの符号化手段と、
    他の入力ビデオ信号とは独立に、それぞれの前記入力ビデオ信号をサブサンプルリングしサブサンプリングされた入力ビデオ信号を符号化、それぞれの入力ビデオ信号から符号化されたサブサンプリングされたビデオ信号を得る第2グループの符号化手段と、
    対応する入力ビデオ信号を特徴付ける記述子を、それぞれの符号化されたサブサンプリングされたビデオ信号と関連付ける関連付け手段と、
    前記符号化されたビデオ信号を、前記記述子と関連付けされた前記符号化されたサブサンプリングされたビデオ信号と多重化する多重化手段であって、他の符号化されたサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を多重化して前記出力ビデオ信号を供給する多重化手段と、
    を備えることを特徴とするビデオ送信システム。
  2. 符号化されたビデオ信号のグループの多重化から生じた入力ビデオ信号に基づいて、通信チャネルを通して出力ビデオ信号を送信するビデオ送信システムであって、
    前記入力ビデオ信号を分離して、個別の符号化されたビデオ信号を得る手段と、
    サブサンプリング処理を含むトランスコーディング手段であって、他の符号化されたビデオ信号とは独立に、それぞれの符号化されたビデオ信号をトランスコードしトランスコードされたビデオ信号をサブサンプリング、符号化されたサブサンプリングされたビデオ信号を生成するトランスコーディング手段と、
    対応する符号化されたビデオ信号を特徴付ける記述子を、それぞれの符号化されたサブサンプリングされたビデオ信号と関連付ける関連付け手段と、
    前記入力ビデオ信号を、前記記述子と関連付けされた前記符号化されたサブサンプリングされたビデオ信号と多重化する多重化手段であって、他の符号化されたサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を多重化して前記出力ビデオ信号を供給する多重化手段と、
    を備えることを特徴とするビデオ送信システム。
  3. 符号化されたビデオ信号のグループの多重化から生じた入力ビデオ信号を、通信チャネルを通して受信するビデオ処理システムであって、
    前記入力ビデオ信号を分離して、個々の符号化されたビデオ信号を得る分離手段と、
    前記符号化されたビデオ信号を復号化して、スクリーンに表示可能な復号化されたビデオ信号を生成する復号化手段と、
    それぞれの符号化されたサブサンプリングされたビデオ信号が、他の符号化されたサブサンプリングされたビデオ信号とは独立に多重化され、他の入力ビデオ信号とは独立に入力ビデオ信号をサブサンプリング及び符号化することで得られる、符号化されたサブサンプリングされたビデオ信号のグループの多重化から生じた補助信号と、それぞれのサブサンプリングされたビデオ信号と関連付けされるフィールドのグループであって、対応するビデオ信号の識別子及び該対応するビデオ信号が表すTVプログラムのタイプに関する情報を含むフィールドのグループを有するデータ記述子とを受信する手段と、
    前記データ記述子のフィールドが記憶されるデータベースを作成する手段と、
    ユーザが視聴するのを望むTVプログラムのタイプを指定する要求に応じて前記データベースを調べ、指定されたタイプのTVプログラムを表すビデオ信号の識別子を取得する手段と、
    前記データベースを調べることで取得される識別子に基づいて前記補助信号を分離する分離手段であって、前記指定されたタイプのTVプログラムを表すビデオ信号に対応する符号化されたサブサンプリングされたビデオ信号のみを分離する分離手段と、
    分離された符号化されたサブサンプリングされたビデオ信号を復号化する手段であって、他のサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を復号化して、個々の復号化されたサブサンプリングされたビデオ信号を取得する復号化手段と、
    前記個々の復号化されたサブサンプリングされたビデオ信号からモザイクを作成する手段と、
    を備えることを特徴とするビデオ処理システム。
  4. ユーザが視聴するのを望むTVプログラムのタイプをユーザが選択することができる、TVプログラムの様々なタイプを提案するメニューをスクリーンに表示する要求を発生する手段をさらに備える、
    ことを特徴とする請求項3記載のビデオ処理システム。
  5. 対応する復号化されたビデオ信号のフルスクリーン表示を可能にするため、表示される前記モザイクに含まれる前記サブサンプリングされたビデオ信号を選択する手段を備える、
    ことを特徴とする請求項3記載のビデオ処理システム。
  6. 請求項3記載のビデオ処理システムを備えるテレビジョンセットの受信機。
  7. 入力ビデオ信号のグループに基づいて、通信チャネルを通して出力ビデオ信号を送信するビデオ送信方法であって、
    それぞれの入力ビデオ信号から符号化されたビデオ信号を供給する第1の符号化ステップと、
    他の入力ビデオ信号とは独立に、それぞれの前記入力ビデオ信号をサブサンプルリングしサブサンプリングされた入力ビデオ信号を符号化、それぞれの入力ビデオ信号から符号化されたサブサンプリングされたビデオ信号を得る第2の符号化ステップと、
    対応する入力ビデオ信号を特徴付ける記述子を、それぞれの符号化されたサブサンプリングされたビデオ信号と関連付ける関連付けステップと、
    前記符号化されたビデオ信号を、前記記述子と関連付けされた前記符号化されたサブサンプリングされたビデオ信号と多重化する多重化ステップであって、他の符号化されたサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を多重化して前記出力ビデオ信号を供給する多重化ステップと、
    含むことを特徴とするビデオ送信方法。
  8. 符号化されたビデオ信号のグループの多重化から生じた入力ビデオ信号に基づいて、通信チャネルを通して出力ビデオ信号を送信するビデオ送信方法であって、
    前記入力ビデオ信号を分離して、個々の符号化されたビデオ信号を得るステップと、
    サブサンプリング処理を含むトランスコーディングであって、他の符号化されたビデオ信号とは独立に、それぞれの符号化されたビデオ信号をトランスコードしトランスコードされたビデオ信号をサブサンプリング、符号化されたサブサンプリングされたビデオ信号を生成するトランスコーディングステップと、
    対応する符号化されたビデオ信号を特徴付ける記述子を、それぞれの符号化されたサブサンプリングされたビデオ信号と関連付ける関連付けステップと、
    前記入力ビデオ信号を、前記記述子と関連付けされた前記符号化されたサブサンプリングされたビデオ信号と多重化する多重化ステップであって、他の符号化されたサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を多重化して前記出力ビデオ信号を供給する多重化ステップと、
    含むことを特徴とするビデオ送信方法。
  9. 符号化されたビデオ信号のグループの多重化から生じた入力ビデオ信号を処理する方法であって、
    前記入力ビデオ信号を分離して、個々の符号化されたビデオ信号を得る分離ステップと、
    前記符号化されたビデオ信号を復号化して、スクリーンに表示可能な復号化されたビデオ信号を生成する復号化ステップと、
    それぞれの符号化されたサブサンプリングされたビデオ信号が、他の符号化されたサブサンプリングされたビデオ信号とは独立に多重化され、他の入力ビデオ信号とは独立に入力ビデオ信号をサブサンプリングして符号化することで得られる、符号化されたサブサンプリングされたビデオ信号のグループの多重化から生じた補助信号と、それぞれのサブサンプリングされたビデオ信号と関連付けされるフィールドのグループであって、対応するビデオ信号の識別子及び該対応するビデオ信号が表すTVプログラムのタイプに関する情報を含むフィールドのグループを有するデータ記述子とを受信するステップと、
    前記データ記述子のフィールドが記憶されるデータベースを作成するステップと、
    ユーザが視聴するのを望むTVプログラムのタイプを指定する要求に応じて前記データベースを調べ、指定されたタイプのTVプログラムを表すビデオ信号の識別子を取得するステップと、
    前記データベースを調べることで取得される識別子に基づいて前記補助信号を分離するステップであって、前記指定されたタイプのTVプログラムを表すビデオ信号に対応する符号化されたサブサンプリングされたビデオ信号のみを分離するステップと、
    分離された符号化されたサブサンプリングされたビデオ信号を復号化するステップであって、他のサブサンプリングされたビデオ信号とは独立にそれぞれの符号化されたサブサンプリングされたビデオ信号を復号化して、個々の復号化されたサブサンプリングされたビデオ信号を取得する復号化ステップと、
    前記個々の復号化されたサブサンプリングされたビデオ信号からモザイクを作成するステップと、
    含むことを特徴とするビデオ処理方法。
  10. コンピュータに、入力ビデオ信号のグループに基づいて通信チャネルを通して出力ビデオ信号を送信するビデオ送信方法であって、
    それぞれの入力ビデオ信号から符号化されたビデオ信号を供給する第1の符号化ステップと、
    他の入力ビデオ信号とは独立に、それぞれの前記入力ビデオ信号をサブサンプルリングしサブサンプリングされた入力ビデオ信号を符号化、それぞれの入力ビデオ信号から符号化されたサブサンプリングされたビデオ信号を得る第2の符号化ステップと、
    対応する入力ビデオ信号を特徴付ける記述子を、それぞれの符号化されたサブサンプリングされたビデオ信号と関連付ける関連付けステップと、
    前記符号化されたビデオ信号を、前記記述子と関連付けされた前記符号化されたサブサンプリングされたビデオ信号と多重化する多重化ステップであって、他の符号化されたサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を多重化して前記出力ビデオ信号を供給する多重化ステップと、
    含むビデオ送信方法を実行させる命令を含むコンピュータプログラム。
  11. コンピュータに、符号化されたビデオ信号のグループの多重化から生じた入力ビデオ信号に基づいて、通信チャネルを通して出力ビデオ信号を送信するビデオ送信方法であって、
    前記入力ビデオ信号を分離して、個々の符号化されたビデオ信号を得るステップと、
    サブサンプリング処理を含むトランスコーディングであって、他の符号化されたビデオ信号とは独立に、それぞれの符号化されたビデオ信号をトランスコードしトランスコードされたビデオ信号をサブサンプリング、符号化されたサブサンプリングされたビデオ信号を生成するトランスコーディングステップと、
    対応する符号化されたビデオ信号を特徴付ける記述子を、それぞれの符号化されたサブサンプリングされたビデオ信号と関連付ける関連付けステップと、
    前記入力ビデオ信号を、前記記述子と関連付けされた前記符号化されたサブサンプリングされたビデオ信号と多重化する多重化ステップであって、他の符号化されたサブサンプリングされたビデオ信号とは独立に、それぞれの符号化されたサブサンプリングされたビデオ信号を多重化して前記出力ビデオ信号を供給する多重化ステップと、
    含むビデオ送信方法を実行させる命令を含むコンピュータプログラム。
  12. コンピュータに、符号化されたビデオ信号のグループの多重化から生じた入力ビデオ信号を処理するビデオ処理方法であって、
    前記入力ビデオ信号を分離して、個々の符号化されたビデオ信号を得る分離ステップと、
    前記符号化されたビデオ信号を復号化して、スクリーンに表示可能な復号化されたビデオ信号を生成する復号化ステップと、
    それぞれの符号化されたサブサンプリングされたビデオ信号が、他の符号化されたサブサンプリングされたビデオ信号とは独立に多重化され、他の入力ビデオ信号とは独立に入力ビデオ信号をサブサンプリングして符号化することで得られる、符号化されたサブサンプリングされたビデオ信号のグループの多重化から生じた補助信号と、それぞれのサブサンプリングされたビデオ信号と関連付けされるフィールドのグループであって、対応するビデオ信号の識別子及び該対応するビデオ信号が表すTVプログラムのタイプに関する情報を含むフィールドのグループを有するデータ記述子とを受信するステップと、
    前記データ記述子のフィールドが記憶されるデータベースを作成するステップと、
    ユーザが視聴するのを望むTVプログラムのタイプを指定する要求に応じて前記データベースを調べ、指定されたタイプのTVプログラムを表すビデオ信号の識別子を取得するステップと、
    前記データベースを調べることで取得される識別子に基づいて前記補助信号を分離するステップであって、前記指定されたタイプのTVプログラムを表すビデオ信号に対応する符号化されたサブサンプリングされたビデオ信号のみを分離するステップと、
    分離された符号化されたサブサンプリングされたビデオ信号を復号化するステップであって、他のサブサンプリングされたビデオ信号とは独立にそれぞれの符号化されたサブサンプリングされたビデオ信号を復号化して、個々の復号化されたサブサンプリングされたビデオ信号を取得する復号化ステップと、
    前記個々の復号化されたサブサンプリングされたビデオ信号からモザイクを作成するステップと、
    含むビデオ処理方法を実行させる命令を含むコンピュータプログラム。
JP2002039069A 2001-02-16 2002-02-15 ユーザモザイクを生成するためのビデオ送信システム及びビデオ処理システム Expired - Fee Related JP4406750B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0102137 2001-02-16
FR0102137 2001-02-16

Publications (2)

Publication Number Publication Date
JP2002314961A JP2002314961A (ja) 2002-10-25
JP4406750B2 true JP4406750B2 (ja) 2010-02-03

Family

ID=8860111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002039069A Expired - Fee Related JP4406750B2 (ja) 2001-02-16 2002-02-15 ユーザモザイクを生成するためのビデオ送信システム及びビデオ処理システム

Country Status (7)

Country Link
US (1) US7164714B2 (ja)
EP (1) EP1233614B1 (ja)
JP (1) JP4406750B2 (ja)
KR (1) KR100825213B1 (ja)
CN (1) CN100525461C (ja)
BR (1) BR0201275A (ja)
RU (1) RU2308172C2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040060061A1 (en) * 2002-09-20 2004-03-25 Imagictv Inc. Multiple view video feed
FR2846506B1 (fr) * 2002-10-28 2005-02-11 Philippe Marie Alber Guenebaud Dispositif de trans-compression d'un flux numerique audiovisuel pour l'adapter aux equipements de television existants
JP4712712B2 (ja) * 2003-05-29 2011-06-29 イーエイティー.ティーブイ、インコーポレイテッド マルチメディア・コンテンツを提示するためのシステム
US20050071782A1 (en) * 2003-09-30 2005-03-31 Barrett Peter T. Miniaturized video feed generation and user-interface
TWI233305B (en) * 2003-11-03 2005-05-21 Benq Corp Method for transmitting data by an audio and video playback system
GB0402637D0 (en) * 2004-02-06 2004-03-10 Nokia Corp Mobile telecommunications apparatus
GB2412519B (en) * 2004-03-23 2010-11-03 British Broadcasting Corp Monitoring system
CN101848381B (zh) * 2004-04-02 2014-04-16 Nds有限公司 用于在pvr窍门模式回放期间提供可见消息的系统
JP2006067124A (ja) * 2004-08-25 2006-03-09 Nec Corp 画像符号化データの切り替え方法および装置、システムならびにプログラム
JP4890459B2 (ja) * 2004-10-29 2012-03-07 イーエイティー.ティーブイ、インコーポレイテッド ビデオベースインタラクティブアプリケーションを可能にするためのシステム
US8826328B2 (en) 2004-11-12 2014-09-02 Opentv, Inc. Communicating primary content streams and secondary content streams including targeted advertising to a remote unit
US20060230427A1 (en) * 2005-03-30 2006-10-12 Gerard Kunkel Method and system of providing user interface
FR2884675A1 (fr) * 2005-04-15 2006-10-20 France Telecom Procede de reproduction d'un programme audiovisuel
KR101231730B1 (ko) * 2005-05-04 2013-02-12 톰슨 라이센싱 주파수 변환 장치 및 방법
JP4484220B2 (ja) * 2005-08-22 2010-06-16 Kddi株式会社 映像配信装置
US20080115178A1 (en) * 2006-10-30 2008-05-15 Comcast Cable Holdings, Llc Customer configurable video rich navigation (vrn)
BRPI0708681A2 (pt) * 2006-02-02 2011-06-07 Directv Group Inc canal de vìdeo matricial interativo e sistemas para distribuir e exibir o mesmo
EP1994746A1 (en) 2006-02-02 2008-11-26 The DIRECTV Group, Inc. Interactive mosaic channel video stream with additional programming sources
KR100754652B1 (ko) * 2006-02-09 2007-09-05 삼성전자주식회사 다중 방송 서비스를 제공하기 위한 방송 시스템 및 방법
US8330866B2 (en) 2006-02-21 2012-12-11 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
US8428048B2 (en) * 2006-02-21 2013-04-23 Qualcomm Incorporated Multi-program viewing in a wireless apparatus
US20090307732A1 (en) * 2006-03-07 2009-12-10 Noam Cohen Personalized Insertion of Advertisements in Streaming Media
WO2007106392A1 (en) 2006-03-10 2007-09-20 The Directv Group, Inc. Dynamic determination of video channels by selection of video cells in a mosaic on-screen display.
US8184687B1 (en) * 2006-04-03 2012-05-22 Arris Group, Inc System and method for generating a mosaic image stream
US7913157B1 (en) * 2006-04-18 2011-03-22 Overcast Media Incorporated Method and system for the authoring and playback of independent, synchronized media through the use of a relative virtual time code
US20070261093A1 (en) * 2006-04-21 2007-11-08 Sony Ericsson Mobile Communications Ab Buffering video data as received over alternative networks
JP2009543457A (ja) * 2006-06-30 2009-12-03 トムソン ライセンシング ケーブル・データ・ネットワークを通じたパーソナル化されたモザイク・マルチメディア・コンテンツの送達のためのシステムおよび方法
US8949895B2 (en) 2006-08-18 2015-02-03 The Directv Group, Inc. Mosaic channel video stream with personalized interactive services
CN101506797B (zh) * 2006-09-06 2013-05-08 英特尔公司 用于具有多个媒体播放模型的媒体播放工具的方法和装置
US20080137725A1 (en) * 2006-12-12 2008-06-12 Yu-Chieh Chou Systems and methods for displaying local media signal and broadcast signal utilizing one decoder
EP2149256B1 (fr) 2007-05-30 2018-04-04 Orange Generation d'une mosaique tv personnalisable
CN101355688A (zh) * 2007-07-26 2009-01-28 华为技术有限公司 用于iptv的频道选择方法、合成编码装置和机顶盒
KR100926911B1 (ko) * 2007-10-05 2009-11-17 주식회사 알티캐스트 디지털 방송에서 광고를 제공하는 방법 및 시스템
US8700792B2 (en) 2008-01-31 2014-04-15 General Instrument Corporation Method and apparatus for expediting delivery of programming content over a broadband network
JP4535150B2 (ja) * 2008-03-18 2010-09-01 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
US8752092B2 (en) * 2008-06-27 2014-06-10 General Instrument Corporation Method and apparatus for providing low resolution images in a broadcast system
CN101442650B (zh) * 2008-12-22 2011-05-18 华为终端有限公司 马赛克电视业务的实现方法、装置及系统
JP4564574B1 (ja) * 2009-06-24 2010-10-20 株式会社東芝 通信装置
US9357244B2 (en) 2010-03-11 2016-05-31 Arris Enterprises, Inc. Method and system for inhibiting audio-video synchronization delay
CN102014284B (zh) * 2010-12-10 2014-09-10 中兴通讯股份有限公司 转码业务中获取视频码流的参数集值的方法、系统及装置
FR2971611B1 (fr) * 2011-02-11 2013-02-22 Httv Procede d'affichage d'une mosaique video personnalisee et recepteur audiovisuel correspondant
WO2013021656A1 (ja) * 2011-08-11 2013-02-14 パナソニック株式会社 再生装置、再生方法、集積回路、放送システム、及び放送方法
EP2902894B1 (en) 2012-08-28 2019-11-13 EIZO Corporation Display control method, computer program, display control device and image display system
GB2507731B (en) * 2012-11-07 2015-08-12 Nds Ltd A system and method for providing a private mosaic
WO2015185080A1 (en) * 2014-06-02 2015-12-10 Arcelik Anonim Sirketi Image display device capable of broadcasting a plurality of programs enabling remotely selective simultaneous distribution of such programs
EP3046324B1 (en) * 2014-07-09 2019-06-26 Axis AB Method for registering and executing instructions in a video capturing device
CN113327236B (zh) * 2021-06-04 2022-08-02 天津大学 新型冠状病毒抗体快速检测试剂的识别方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4656515A (en) * 1985-03-25 1987-04-07 Rca Corporation Horizontal compression of pixels in a reduced-size video image utilizing cooperating subsampling and display rates
US5568278A (en) * 1991-03-19 1996-10-22 Olympus Optical Co., Ltd. Image data coding and decoding method and apparatus with a plurality of DCT's, quantizers, and VLC's
FR2713427B1 (fr) * 1993-12-01 1995-12-29 Thomson Consumer Electronics Procédé de sélection de programmes vidéo.
KR100426515B1 (ko) * 1994-04-15 2004-04-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 영상 신호 수신 방법 및 장치
JP3698273B2 (ja) * 1995-07-20 2005-09-21 ソニー株式会社 電子番組ガイド伝送装置および方法、電子番組ガイド受信装置および方法、並びに電子番組ガイド送受信システムおよび方法
WO1997029595A1 (en) * 1996-02-07 1997-08-14 Sharp Kabushiki Kaisha Moving image encoding and decoding device
KR100388517B1 (ko) * 1996-03-07 2003-10-10 톰슨 콘슈머 일렉트로닉스, 인코포레이티드 정지프레임동작중에 보조영상내의공간경계를제거하도록 주영상과함께 보조영상을 샘플링및 디스플레이하는 장치
US6453471B1 (en) * 1996-12-13 2002-09-17 Starsight Telecast, Inc. Electronic programming guide with movie preview
JPH10248051A (ja) * 1997-03-05 1998-09-14 Matsushita Electric Ind Co Ltd ディジタルデータ送信方法、ディジタルデータ送信装置およびディジタルデータ受信装置
WO1998056176A1 (en) * 1997-06-03 1998-12-10 Koninklijke Philips Electronics N.V. Navigating through television programs
KR100239466B1 (ko) * 1997-08-28 2000-01-15 구자홍 에이치디티브이(hdtv)의 다중화면 발생장치
BRPI9908071B1 (pt) * 1998-02-20 2016-08-09 Thomson Licensing Sa “aparelho para adquirir dados de programa em pacote de pelo menos uma primeira fonte e método para a formação de dados de programa em pacote para ficarem adequados para processamento em um decodificador”
US6243145B1 (en) * 1998-05-01 2001-06-05 Scientific-Atlanta, Inc. Method and apparatus for browsing television channel information by category
JP4272771B2 (ja) * 1998-10-09 2009-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6539545B1 (en) * 2000-01-28 2003-03-25 Opentv Corp. Interactive television system and method for simultaneous transmission and rendering of multiple encoded video streams

Also Published As

Publication number Publication date
JP2002314961A (ja) 2002-10-25
CN1378387A (zh) 2002-11-06
KR100825213B1 (ko) 2008-04-25
US20020154692A1 (en) 2002-10-24
BR0201275A (pt) 2002-10-08
EP1233614A1 (fr) 2002-08-21
KR20020067684A (ko) 2002-08-23
EP1233614B1 (fr) 2012-08-08
CN100525461C (zh) 2009-08-05
US7164714B2 (en) 2007-01-16
RU2308172C2 (ru) 2007-10-10

Similar Documents

Publication Publication Date Title
JP4406750B2 (ja) ユーザモザイクを生成するためのビデオ送信システム及びビデオ処理システム
KR100564839B1 (ko) 패킷화된 프로그램 데이터의 획득 장치, 재분할 가능한 패킷화된 프로그램 가이드 데이터를 적합하게 디코딩하기 위한 장치, 디코더에서 처리하기에 적합한 패킷화된 프로그램 데이터의 형성 방법, 및 디지털 데이터를 포함하는 저장매체
JP2792454B2 (ja) 動画検索システム
US7032236B1 (en) Multimedia system for processing program guides and associated multimedia objects
KR100755797B1 (ko) 프로그램 가이드 정보 획득 방법
US6651252B1 (en) Method and apparatus for transmitting video and graphics in a compressed form
JP4838427B2 (ja) ブロードキャストプログラム、プログラムガイドおよびチャネル識別データを獲得し処理するためのシステム
US20020083464A1 (en) System and method for unprompted, context-sensitive querying during a televison broadcast
US20020147984A1 (en) System and method for pre-caching supplemental content related to a television broadcast using unprompted, context-sensitive querying
JP2001520827A (ja) Mpeg準拠データとインターネット情報を処理し、デコードするシステム
KR100711608B1 (ko) 홈단말에서 실시간 필터링된 방송 비디오 관리 시스템 및그 방법
US8707362B2 (en) Data broadcast receiver and method for gathering data broadcasting application
KR100586857B1 (ko) 패킷화된 프로그램 정보의 디코딩 방법과 장치, 디지털 데이터를 포함하는 저장 매체, 및 프로그램 가이드 정보의 형성 방법
KR101650382B1 (ko) 채널 탐색/접근 방법 및 디지털 방송 수신기
MXPA99009365A (en) A system for processing and decoding mpeg compatible data and internet information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080130

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080501

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090223

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20091022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091022

R150 Certificate of patent or registration of utility model

Ref document number: 4406750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131120

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees