JP4339322B2 - 多重画面を提供するトランスポートストリーム受信装置及びその制御方法 - Google Patents

多重画面を提供するトランスポートストリーム受信装置及びその制御方法 Download PDF

Info

Publication number
JP4339322B2
JP4339322B2 JP2006017156A JP2006017156A JP4339322B2 JP 4339322 B2 JP4339322 B2 JP 4339322B2 JP 2006017156 A JP2006017156 A JP 2006017156A JP 2006017156 A JP2006017156 A JP 2006017156A JP 4339322 B2 JP4339322 B2 JP 4339322B2
Authority
JP
Japan
Prior art keywords
screen
transport stream
video
program
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006017156A
Other languages
English (en)
Other versions
JP2006211668A (ja
Inventor
正 錫 崔
昌 燮 沈
潤 済 呉
俊 豪 高
正 祿 朴
冠 來 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2006211668A publication Critical patent/JP2006211668A/ja
Application granted granted Critical
Publication of JP4339322B2 publication Critical patent/JP4339322B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/22—Illumination; Arrangements for improving the visibility of characters on dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/06—Radiation therapy using light
    • A61N2005/0658—Radiation therapy using light characterised by the wavelength of light used
    • A61N2005/0659—Radiation therapy using light characterised by the wavelength of light used infrared
    • A61N2005/066—Radiation therapy using light characterised by the wavelength of light used infrared far infrared

Description

本発明は、デジタル放送において、トランスポートストリーム（ＴＳ：transport stream）を用いて多重画面放送プログラムを構成して放送することに関し、特に、構成されたトランスポートストリームを復号化して映像及び音声信号を復元するトランスポートストリーム受信装置及びその制御方法に関する。
現在、デジタル放送サービスは、国際標準であるＩＳＯ（International Organization for Standard）／ＩＥＣ（International Electrotechnical Commission）１３８１８−１及びＩＳＯ／ＩＥＣ１３８１８−２に基づいて構成される放送システムを通じて提供している。
ここで、ＩＳＯ／ＩＥＣ１３８１８−２は、動画像の圧縮に関する国際標準であって、ＭＰＥＧ−２ビデオデータに関するものである。ＩＳＯ／ＩＥＣ１３８１８−１は、圧縮された映像データ、音声データ及びその他の任意のデータを一度に伝送するために、放送送信側でこれらを多重化し、放送受信側で逆多重化するための国際標準である。そして、前記多重化されるその他の任意のデータは、放送受信側で映像データ及び音声データを同期化するための同期化情報及びプログラム関連情報などを含んでいる。
ＭＰＥＧ−２システムには２種類の方式がある。その一つがプログラムストリーム（Program stream）であり、ＭＰＥＧ−１のように１つのプログラムを構成するものである。もう一つはトランスポートストリーム（Transport stream）であり、ビットストリームを伝送するために考案され、複数のプログラムを構成することができる。
図１は、多数の放送コンテンツを提供する従来の放送サービスシステムを示すブロック構成図である。
図１に示すように、従来の放送サービスシステムにおいては、放送事業者は、ニュース１０１、ドラマ１０２、サッカー１０３などの多様なデジタル放送コンテンツを、放送コンテンツプロバイダから受信する。そして、放送事業者は、受信した多様なデジタル放送コンテンツを多重化器（Ｍｕｘ）１１で多重化して、ＭＰＴＳ（multi-program transport stream）１００として伝送する。ここで、放送事業者によるＭＰＴＳ１００の伝送は、地上波、衛星、ケーブルなどの媒体を介して行われる。
そして、放送加入者（ユーザ）側の放送分配器（broadcast splitter）１２は、伝送されたＭＰＴＳを各デジタルコンテンツ別のＳＰＴＳ（single-program transport stream）１０４−１、１０４−２に分配し、各加入者の選択に応じて、選択されたデジタルコンテンツ１０１、１０２を提供する。
ここで、ＭＰＴＳ１００について説明しておくと、ＭＰＴＳ１００は、各デジタル放送コンテンツ１０１、１０２、１０３を含む放送ストリームであって、各デジタル放送コンテンツ１０１、１０２、１０３についてのプログラム識別子（ＰＩＤ：Program ID）などの情報を含んでいる。受信器側の放送分配器１２は、このＰＩＤに基づいて各デジタル放送コンテンツ１０１、１０２、１０３を分配することが可能になる。
各デジタル放送コンテンツは、夫々圧縮された映像データ、音声データ及びその他の任意の追加的なデータを含むＳＰＴＳである。
図２は、映像、音声及びデータパケットを含む一つのＳＰＴＳの構成を示す構造図である。
図２を参照すると、一つの放送のためのトランスポートストリームは、映像情報のための映像データ２２、音声情報のための音声データ２４、そして放送及び付加的サービスに必要な追加的データ２６に分けられる。更に、夫々の情報には、逆多重化及び復号化に必要な情報を含むヘッダ２１、２３、２５が付加される。
そして、図２に示すデータ構造にさらにトランスポートストリームヘッダを付加してトランスポートストリームを構成し、伝送することになる。ここで、トランスポートストリームを構成する手順については、本発明に直接関係しないので、これに対する説明は省略する。
図３は、従来技術によるデジタル放送システムにおけるトランスポートストリーム受信装置のブロック構成図である。
図３を参照すると、従来技術によるデジタル放送システムにおけるトランスポートストリーム受信装置は、チャンネル分類デコーダー部３１、トランスポートストリームデマルチプレクス部３２、ビデオデコーダー部３３、データ処理部３４、オーディオデコーダー部３５を含む。チャンネル分類デコーダー部３１は、多重プログラムトランスポートストリーム（ＭＰＴＳ）を受信すると共に、ユーザにより入力されるチャンネル選択情報を受信し、選択されたチャンネルのトランスポートストリーム（ＳＰＴＳ）のみをトランスポートストリームデマルチプレクス部３２に伝送する。トランスポートストリームデマルチプレクス部３２は、チャンネル分類デコーダー部３１から伝送される選択チャンネルのトランスポートストリーム（ＳＰＴＳ）を受信し、受信したトランスポートストリームを逆多重化してトランスポートストリームに含まれる映像パケット、音声パケット、及びデータパケットをそれぞれ分けて出力する。ビデオデコーダー部３３は、映像パケットを復号化する。オーディオデコーダー部３５は、音声パケットを復号化する。データ処理部３４は、データパケットを復号化して、ビデオデコーダー部３３及びオーディオデコーダー部３５に対して音声及び映像を同期化するためのクロック（clock pulse）を提供する。
ここで、データ処理部３４からビデオデコーダー部３３及びオーディオデコーダー部３５に対して提供されるクロックは、ビデオデコーダー部３３及びオーディオデコーダー部３５による復号化処理に必要な時間情報（time periods）を知らせるものであり、これにより音声及び映像の同期を合わせることができる。
Figure 0004339322
前記表１は、従来技術によるデジタル放送システムにおけるトランスポートストリーム受信装置に含まれるトランスポートストリームデマルチプレクス部３２による逆多重化のための当該プログラムに対応するプログラムアクセステーブル（ＰＡＴ：Program Access Table）及びプログラムマッピングテーブル（ＰＭＴ：Program Mapping Table）を例示する。
前記表１を参照すると、ＰＡＴは、選択されたチャンネルを伝送するトランスポートストリームには１つのプログラム（ｐｒｏｇｒａｍ＿ｎｕｍｂｅｒ）が存在し、またユーザが選択したチャンネルのＰＭＴ＿ＰＩＤ（Program ID）が“０×０Ａ０”であることを知らせる情報を提供する。そして、トランスポートストリームデマルチプレクス部３２は、前記ＰＡＴを解析することによって指定されたｐｒｏｇｒａｍ＿ｎｕｍｂｅｒに該当するＰＭＴ＿ＰＩＤ（例えば、０×０Ａ０）を認識する。
また、ＰＭＴ＿ＰＩＤが“０×０Ａ０”であるＰＭＴをトランスポートストリームデマルチプレクス部３２で解析すると、基本ストリーム（Elementary stream）のＰＩＤ情報と共に、実際プログラムを構成する構成要素であるビデオ情報（ＳＤＴＶクラス或いはＨＤＴＶクラス）（例えば、０×０Ａ１）、オーディオ情報（ＭＰＥＧオーディオ或いはＡＣ−３オーディオなど）（例えば、前記表１ではＭＰＥＧオーディオは０×０Ａ５である）及び、必要な場合の追加的なデータ（例えば、０×０ＡＡ）の存否を認識する。そして、トランスポートストリームデマルチプレクス部３２は、前記表１に含まれる情報に基づくビデオ情報、オーディオ情報、及びデータ情報を、対応するデコーダー部（３３、３４、３５）に伝送することで指定された時刻にデータの復号化を行い、外部出力装置へ出力する。これにより、ユーザは選択したチャンネルに該当するプログラムを視聴することができるようになる。
上記のように、表１に基づくトランスポートストリームは、ビデオ、オーディオ、及びデータの情報を１つずつ含むプログラムを構成する。
一方、多重画面を含むトランスポートストリームも可能であり、これについては下記の表２を参照して以下に説明する。
Figure 0004339322
前記表２は、従来技術によるデジタル放送システムにおいて、多重画面を提供するトランスポートストリーム受信装置に含まれるトランスポートストリームデマルチプレクス部３２による逆多重化のための当該プログラムに対応するＰＡＴ及びＰＭＴを例示する。
前記表２を参照すると、ＰＡＴは、選択されたチャンネルを伝送するトランスポートストリームには１つのプログラム（ｐｒｏｇｒａｍ＿ｎｕｍｂｅｒ）が存在し、またユーザが選択したチャンネルのＰＭＴ＿ＰＩＤが“０×０Ａ０”であることを知らせる情報を提供する。そして、トランスポートストリームデマルチプレクス部３２は、前記ＰＡＴを解析することによって指定されたｐｒｏｇｒａｍ＿ｎｕｍｂｅｒに該当するＰＭＴ＿ＰＩＤ（例えば、０×０Ａ０）を認識する。
また、ＰＭＴ＿ＰＩＤが“０×０Ａ０”であるＰＭＴをトランスポートストリームデマルチプレクス部３２で解析すると、基本ストリームのＰＩＤ情報と共に、実際プログラムを構成する構成要素である多数のビデオ情報（ＳＤＴＶクラス又はＨＤＴＶクラス）（例えば、０×０Ａ１、０×０Ａ２、０×０Ａ３、０×０Ａ４）、オーディオ情報（ＭＰＥＧオーディオ又はＡＣ−３オーディオなど）（例えば、表２ではＭＰＥＧオーディオは０×０Ａ５である）及び、必要な場合の追加的なデータ（例えば、０×０ＡＡ）の存否を認識する。そして、トランスポートストリームデマルチプレクス部３２は、表２に含まれる情報に基づくビデオ情報、オーディオ情報、及びデータ情報を、対応するデコーダー部（３３、３４、３５）に伝送することで指定された時刻にデータの復号化を行い、外部出力装置へ出力する。これにより、ユーザは選択したチャンネルに該当するプログラムを視聴することができるようになる。
しかしながら、従来の手法では、デジタル放送サービスのサービス向上のために提供される多重画面の情報はＰＭＴを解析しなければ認識することができず、また多重画面を構成する各映像情報間の優先順位に基づいて画面構成を制御する方法がなかった。
本発明は前述のような従来の問題点を解決するためになされたものであり、その目的はユーザに多重画面に関連する多様なサービスを提供し、且つ多重画面処理に関する情報提供を明確にするために、多重画面トランスポートストリームを構成して新しい形態の放送サービスを提供可能なＰＡＴ及びＰＭＴ構造を定義し、これによるトランスポートストリーム受信装置及びその処理方法を提供することにある。
上記の目的を達成するための本発明は、デジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置であって、多重プログラムトランスポートストリーム（ＭＰＴＳ）を受信すると共に、ユーザによって入力されたチャンネル選択情報を受信し、選択チャンネルのトランスポートストリーム（ＳＰＴＳ）のみを出力するチャンネル分類デコーダー部と、前記チャンネル分類デコーダー部から出力される選択チャンネルのトランスポートストリーム（ＳＰＴＳ）を逆多重化して、トランスポートストリームに含まれる多数の映像パケット、音声パケット、及びデータパケットのそれぞれを出力するトランスポートストリームデマルチプレクス部と、前記多数の映像パケットのそれぞれを復号化するビデオデコーダー部と、前記音声パケットを復号化するオーディオデコーダー部と、前記データパケットを復号化し、前記ビデオデコーダー部及び前記オーディオデコーダー部に対して音声及び映像を同期化するためのクロック情報を伝送するデータ処理部と、前記選択チャンネルに対応するトランスポートストリーム（ＳＰＴＳ）のＰＡＴ（Program Access Table）及びＰＭＴ（Program Mapping Table）を解析して入力される画面の数と出力優先順位を確認し、前記ビデオデコーダー部に対して多重画面処理のための制御信号を伝送する多重画面制御部と、を含み、前記選択チャンネルに対応するトランスポートストリーム（ＳＰＴＳ）のＰＡＴに前記画面の数を識別するスクリーンナンバーフィールド（Screen_number feild）を含め、さらに前記選択チャンネルに対応するトランスポートストリームのＰＭＴに、前記多数の映像パケットのＰＩＤ（Program ID）を利用した画面の出力優先順位をコード値を用いて設定するための優先順位ナンバーフィールド（Priority_Order_number feild）を含めたことを特徴とする。
また、本発明は、デジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置によって多重画面プログラムを処理する方法であって、トランスポートストリーム（ＳＰＴＳ）が入力されると、入力されたトランスポートストリームのＰＡＴ（Program Access Table）に含まれるスクリーンナンバーフィールド（Screen_number feild）を解析して画面の数が２以上であるか否かを確認すると共に、前記トランスポートストリームのＰＭＴ（Program Mapping Table）に含まれる優先順位ナンバーフィールド（Priority_Order_number feild）に設定されているコード値を解析してＰＩＤ（Program ID）を利用した画面の出力優先順位を確認する第１段階と、前記第１の確認の結果、画面が一つである単一画面プログラムである場合には、単一ＭＰＥＧ（Motion Picture Expert Group）復号化を行って単一画面出力を行う第２段階と、前記第１の確認の結果、画面が２以上である多重画面プログラムである場合には、多重ＭＰＥＧ復号化を行い、前記出力優先順位に基づいて多重画面出力を行う第３段階と、を含むことを特徴とする。
本発明によれば、多重画面トランスポートストリームを構成して新しい形態の放送サービスを提供することのできるＰＡＴ及びＰＭＴ構造を定義し、またその処理方法を提供することにより、ユーザに多様なサービスを提供することが可能になり、多重画面処理に関する情報の提供を明確にすることが可能になるという効果がある。
また、本発明による方法は、プログラム化してコンピュータで読み取り可能な形態で記録媒体（例えば、ＣＤ−ＲＯＭ、ＲＡＭ、フレキシブルディスク、ハードディスク、光磁気ディスクなど）に格納することができる。
以下、添付図面を参照しながら本発明の好適な一実施形態を詳細に説明する。なお、図面において同一な構成要素に対しては、たとえ他の図面に表示されてもできるだけ同じ符号を付してあり、更に、下記の説明において、本発明の要旨のみを明瞭にする目的で、関連した公知の機能又は構成に関する具体的な説明は省略する。
本発明の実施形態において処理しようとする多重画面プログラムは、１つのプログラム内に複数（ｎ個）の映像情報を含み、さらに、それぞれ１つずつの音声情報及びデータ情報で構成されている。即ち、１つの音声信号について複数の画面が表示される形態のプログラムである。
従って、多重画面トランスポートストリーム（Multi Screen Transport Stream：ＭＳＴＳ）は、１つのプログラム内にｎ個の映像情報と、それぞれ１つずつの音声情報及びデータ情報とを有している。ここで、複数の映像情報は、各々が１つの画面を構成することのできる独立した映像情報であり、各映像情報と音声情報とは１つのクロック（clock pulse）情報によって復号化される。
図４は、本発明の一実施形態に従うデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置を示すブロック図である。
図４を参照すると、本発明の一実施形態に従うデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置は、チャンネル分類デコーダー部４１、トランスポートストリームデマルチプレクス部４２、ビデオデコーダー部４３、データ処理部４４、オーディオデコーダー部４５、多重画面制御部４６を含む。チャンネル分類デコーダー部４１は、多重プログラムトランスポートストリーム（ＭＰＴＳ）を受信すると共に、図示しない入力手段を介してユーザにより入力されるチャンネル選択情報を受信し、選択されたチャンネルのトランスポートストリーム（ＳＰＴＳ）のみをトランスポートストリームデマルチプレクス部４２に伝送する。トランスポートストリームデマルチプレクス部４２は、前記チャンネル分類デコーダー部４１から伝送される選択チャンネルのトランスポートストリーム（ＳＰＴＳ）が入力され、入力されたトランスポートストリームを逆多重化して、トランスポートストリームに含まれる多数の映像パケット、音声パケット、及びデータパケットをそれぞれ分けて出力する。ビデオデコーダー部４３は、前記多数の映像パケットをそれぞれ復号化する。オーディオデコーダー部４５は、前記音声パケットを復号化する。データ処理部４４は、前記データパケットを復号化して、前記ビデオデコーダー部４３及び前記オーディオデコーダー部４５に対して音声及び映像を同期化するためのクロック（clock pulse）を提供する。多重画面制御部４６は、詳しくは後述するように、多重画面を処理する機能を有している。
ここで、前記データ処理部４４から前記ビデオデコーダー部４３及び前記オーディオデコーダー部４５に対して提供されるクロックは、前記ビデオデコーダー部４３及び前記オーディオデコーダー部４５による復号化処理に必要な時間情報（time periods）を知らせるものであり、これにより音声及び映像の同期を合わせることができる。
また、多重画面制御部４６は、単一画面（single-screen）であるか或いは多重画面（multi-screen）であるか否かの情報、多重画面である場合にはその数の情報、及び画面の位置選択信号を提供する。そして、ビデオデコーダー部４３は、多重画面制御部４６からの制御信号に従って多重画面を構成する。このような多重画面制御部４６からの制御信号に従って多重画面を構成するビデオデコーダー部４３に関する詳細構成については、図５を参照して後述する。
Figure 0004339322
前記表３は、本発明の一実施形態に従いデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置に含まれるトランスポートストリームデマルチプレクス部４２による逆多重化のための当該プログラムに対応するプログラムアクセステーブル（ＰＡＴ：Program Access Table）及びプログラムマッピングテーブル（ＰＭＴ：Program Mapping Table）を例示する。
前記表３を参照すると、ＰＡＴは、選択されたチャンネルを伝送するトランスポートストリームには１つのプログラム（ｐｒｏｇｒａｍ＿ｎｕｍｂｅｒ）が存在し、またユーザが選択したチャンネルのＰＭＴ＿ＰＩＤ（Program ID）が“０×０Ａ０”であることを知らせる情報を提供する。さらに、トランスポートストリームのＰＡＴに含まれる保留領域である４つの保留ビット（Reserved bit）を用いて、多重画面放送の場合にその多重画面の数を知らせるスクリーンナンバーフィールド（Screen_number field）を定義し、使用する。例えば、スクリーンナンバーフィールドのスクリーン数（Screen_number）が“３”である場合、これは多重画面として追加される画面数を示すので、合計４つの画面からなる多重画面プログラムであることが分かる。
そして、トランスポートストリームデマルチプレクス部４２は、前記ＰＡＴを解析することによって指定されたｐｒｏｇｒａｍ＿ｎｕｍｂｅｒに該当するＰＭＴ＿ＰＩＤ（例えば、０×０Ａ０）を認識する。
また、ＰＭＴ＿ＰＩＤ（Program ID）が“０×０Ａ０”であるＰＭＴをトランスポートストリームデマルチプレクス部４２で解析すると、基本ストリーム（Elementary Stream）のＰＩＤ情報と共に、実際プログラムを構成する構成要素であるビデオ情報（ＳＤＴＶクラス又はＨＤＴＶクラス）（例えば、０×０Ａ１、０×０Ａ２、０×０Ａ３、０×０Ａ４）、オーディオ情報（ＭＰＥＧオーディオ又は或いはＡＣ−３オーディオなど）（例えば、表３ではＭＰＥＧオーディオは０×０Ａ５である）及び、必要な場合の追加的なデータ（例えば、０×０ＡＡ）など存否を認識する。
更に、本発明の一実施形態では、ＰＭＴに含まれる１８個の保留ビットのうち、少なくとも１つ以上の保留ビットを用いて優先順位ナンバーフィールド（Priority_Order_number field）を定義し、使用する。ここで、優先順位ナンバーフィールドは、画面の出力優先順位を決定するためのものであり、優先順位ナンバーフィールドの値が“０”の場合にはＰＩＤ数（PID number）の低いビデオストリーム（Video stream）の優先順位が高く、 優先順位ナンバーフィールドの値が“１”の場合にはＰＩＤ数（PID number）の高いビデオストリームの優先順位が高くなるようにする。これは設定によって任意に変えることが可能であり、本実施形態とは異なるように優先順位を特定することが可能であることは当業者にとって明らかである。即ち、ＰＭＴに含まれる優先順位の情報に基づき、ビデオ信号を復号化する順序、及び多重画面の出力位置を変えられるようにする。ここで、前記したビデオストリームの優先順位が高いということは、優先順位ナンバー（Priority_Order_number）が“０”であればビデオストリームのＰＩＤが低いものを第１ポートに優先出力し、優先順位ナンバーが“１”であればビデオストリームのＰＩＤが高いものを第１ポートに優先出力することを意味する。これにより、各映像情報間の優先順位に基づく画面構成の制御を実現することが可能になる。
そして、トランスポートストリームデマルチプレクス部４２は、前記表３に含まれる情報に基づくビデオ情報、オーディオ情報、及びデータ情報を、対応するデコーダー部（４３、４４、４５）に伝送することで指定された時刻にデータの復号化を行い、外部出力装置へ出力する。これにより、ユーザは選択したチャンネルに該当するプログラムを視聴することができるようになる。
図５は、本発明の一実施形態に従いデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置に含まれるビデオデコーダー部の詳細を示すブロック構成図である。
図５に示すように、デジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置に含まれるビデオデコーダー部は、多重画面の多数のビデオパケットが入力され、入力されたビデオパケットを復号化する多重画面ＭＰＥＧデコーダー５１と、多重画面制御部４６の制御に従い、復号化された多数のビデオパケットの画面位置構成を設定処理する画面位置選択処理部５２と、を含む。
ここで、多重画面ＭＰＥＧデコーダー５１は、入力されるビデオパケットをそれぞれを復号化するために、入力されるビデオパケットの数に従う数（例えば、同数）のデコーダーを具備する。また、画面位置選択処理部４２は、復号化された多数のビデオパケットの画面位置を設定処理するために、多重画面ＭＰＥＧデコーダー５１から入力された複数の入力信号を適切にスイッチングするスイッチと、スイッチングされた多数のビデオパケットを１つの映像に統合処理する映像信号処理部と、を含む。
本発明の一実施形態に従いデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置は、その動作のために、多重画面制御部４６から伝送される２つの制御信号を用いる。まず、第１に、多重画面制御部４６から多重画面ＭＰＥＧデコーダー５１へ伝送されるスクリーン数（Screen-number）の信号に従い単一画面出力であるか或いは多重画面出力であるかを判定し、多重画面出力である場合には多重画面出力における復号化すべきビデオストリームの数を決める。
そして、多重画面制御部４６から画面位置選択処理部５２に伝送されるユーザによって入力された画面構成情報に基づいて映像信号処理部が映像を処理すると共に、スイッチが映像信号処理部から入力される映像信号をスイッチングすることによってユーザが所望する形態通りに画面を構成することが可能になる。
図６は、本発明の一実施形態による多重画面の構成を示す例示図である。
図６を参照すると、この例では４つの画面で構成され、ビデオ１（６１）を主画面とし、ビデオ２（６２）、ビデオ３（６３）、及びビデオ４（６４）の３つの補助画面を含む構成を示している。このとき、図５に示す画面位置選択処理部５２に伝送される、ユーザの画面構成情報を通じて、ユーザはビデオ１（６１）とビデオ３（６３）とを切り換えるなど、のサービスが利用可能である。
図７は、本発明の一実施形態に従うデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置によって多重画面プログラムを処理する方法を示すフローチャートである。
まず、放送データが入力されると（ステップＳ７１）、入力された放送データのＰＡＴを解析する。そして、その解析の結果、ＰＡＴに含まれるスクリーンの数情報を参照してスクリーンの数が２以上であるかを確認する（ステップＳ７２）。すなわち、スクリーンの数が２以上であれば多重画面プログラムであり、スクリーンの数が１であれば単一画面プログラムである。このような情報は、前記表３のスクリーンナンバーフィールド（Screen_number field）を利用するが、スクリーンナンバーフィールドの値が“０”である場合にはスクリーン数は１であり、スクリーンナンバーフィールドの値が“１”以上である場合にはスクリーン数は２以上である。
そして、単一画面プログラムである場合には、単一ＭＰＥＧ復号化を行い（ステップＳ７３）、単一画面を出力する（ステップＳ７４）。
一方、多重画面プログラムである場合には、多重ＭＰＥＧ復号化を行い（ステップＳ７６）、スクリーンの出力優先コード値を確認する（ステップＳ７７）。ここで、出力優先コード値は、前記表３のＰＭＴにおける優先順位ナンバーフィールド（Priority_Order_number field）値を意味する。
即ち、出力優先コード値が“０”であればビデオストリームのＰＩＤが低いものを優先として出力し（ステップＳ７８）、 出力優先コード値が“１”であればビデオストリームのＰＩＤが高いものを優先として出力する（ステップＳ７９）。
そして、上記のステップＳ７４、Ｓ７８、Ｓ７９の方式による出力中にプログラムの変更があったときには、更にステップＳ７２の処理に進行する（ステップＳ７５）。
前述のように本実施形態によれば、多重画面トランスポートストリーム（ＭＳＴＳ）を構成して新しい形態の放送サービスを提供することのできるＰＡＴ及びＰＭＴ構造を新たに定義し、またその処理方法を具現したことにより、ユーザに多様なサービスを提供することが可能になり、多重画面の処理に関する情報の提供を明確にすることが可能になるという効果がある。
また、本実施形態に従う方法は、プログラム化してコンピュータで読み取り可能な形態で記録媒体（例えば、ＣＤ−ＲＯＭ、ＲＡＭ、フレキシブルディスク、ハードディスク、光磁気ディスクなど）に格納しておくことが可能である。
以上、前述した本発明は、本発明の属する技術分野における通常の知識をもつ者にとってその技術的思想を一脱しない範囲内で各種の置換え、変形、及び変更が可能であり、前述の実施形態及び添付図面の記載に限定されることはない。
多数の放送コンテンツを提供する従来の放送サービスシステムのブロック構成図である。 映像、音声、データパケットを含む一つのＳＰＴＳを示す構造図である。 従来技術によるデジタル放送システムのトランスポートストリーム受信装置を示すブロック構成図である。 本発明の一実施形態に従うデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置を示すブロック構成図である。 本発明の一実施形態に従うデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置に含まれるビデオデコーダー部の構成を詳細に示すブロック構成図である。 本発明の一実施形態による多重画面の構成を示す図である。 本発明の一実施形態に従うデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置によって多重画面プログラムを処理する方法を示すフローチャートである。
符号の説明
４１ チャンネル分類デコーダー部
４２ トランスポートストリームデマルチプレクス部
４３ ビデオデコーダー部
４４ データ処理部
４５ オーディオデコーダー部
４６ 多重画面制御部
５１ 多重画面ＭＰＥＧデコーダー
５２ 画面位置選択処理部

Claims (9)

  1. デジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置であって、
    多重プログラムトランスポートストリーム（ＭＰＴＳ）を受信すると共に、ユーザによって入力されたチャンネル選択情報を受信し、選択チャンネルのトランスポートストリーム（ＳＰＴＳ）のみを出力するチャンネル分類デコーダー部と、
    前記チャンネル分類デコーダー部から出力される選択チャンネルのトランスポートストリーム（ＳＰＴＳ）を逆多重化して、トランスポートストリームに含まれる多数の映像パケット、音声パケット、及びデータパケットのそれぞれを出力するトランスポートストリームデマルチプレクス部と、
    前記多数の映像パケットのそれぞれを復号化するビデオデコーダー部と、
    前記音声パケットを復号化するオーディオデコーダー部と、
    前記データパケットを復号化し、前記ビデオデコーダー部及び前記オーディオデコーダー部に対して音声及び映像を同期化するためのクロック情報を伝送するデータ処理部と、
    前記選択チャンネルに対応するトランスポートストリーム（ＳＰＴＳ）のＰＡＴ（Program Access Table）及びＰＭＴ（Program Mapping Table）を解析して入力される画面の数と出力優先順位を確認し、前記ビデオデコーダー部に対して多重画面処理のための制御信号を伝送する多重画面制御部と、を含み、
    前記選択チャンネルに対応するトランスポートストリーム（ＳＰＴＳ）のＰＡＴに前記画面の数を識別するスクリーンナンバーフィールド（Screen_number feild）を含め、さらに前記選択チャンネルに対応するトランスポートストリームのＰＭＴに、前記多数の映像パケットのＰＩＤ（Program ID）を利用した画面の出力優先順位をコード値を用いて設定するための優先順位ナンバーフィールド（Priority_Order_number feild）を含めたことを特徴とするデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置。
  2. 前記ビデオデコーダー部は、
    多重画面に対応する前記多数の映像パケットが入力され、映像パケットのそれぞれを復号化する多重画面ＭＰＥＧデコーダーと、
    前記多重画面制御部からの制御信号に従い、復号化された前記多数の映像パケットの画面位置構成を設定する画面位置選択処理部と、
    を含むことを特徴とする請求項１記載のデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置。
  3. 前記多重画面制御部は、
    前記多重画面ＭＰＥＧデコーダーにスクリーン数（Screen_number）信号を伝送して、前記多重画面ＭＰＥＧデコーダーが単一画面出力であるか多重画面出力であるかを確認し、且つ多重画面出力である場合に、多重画面出力において復号化すべきビデオストリームの数を決めることを特徴とする請求項２記載のデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置。
  4. 前記多重画面制御部は、
    前記画面位置選択処理部にユーザにより入力された画面構成情報を伝送して、ユーザが所望する形態通りに画面を構成して映像信号を出力するように前記ビデオデコーダー部を制御することを特徴とする請求項２記載のデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置。
  5. 前記スクリーンナンバーフィールドは、ＰＡＴに含まれる保留領域を用いて構成することを特徴とする請求項１記載のデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置。
  6. 前記優先順位ナンバーフィールドは、通常のＰＭＴ構造の保留領域を用いて構成することを特徴とする請求項１記載のデジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置。
  7. デジタル放送システムにおいて多重画面を提供することのできるトランスポートストリーム受信装置によって多重画面プログラムを処理する方法であって、
    トランスポートストリーム（ＳＰＴＳ）が入力されると、入力されたトランスポートストリームのＰＡＴ（Program Access Table）に含まれるスクリーンナンバーフィールド（Screen_number feild）を解析して画面の数が２以上であるか否かを確認すると共に、前記トランスポートストリームのＰＭＴ（Program Mapping Table）に含まれる優先順位ナンバーフィールド（Priority_Order_number feild）に設定されているコード値を解析してＰＩＤ（Program ID）を利用した画面の出力優先順位を確認する第１段階と、
    前記第１の確認の結果、画面が一つである単一画面プログラムである場合には、単一ＭＰＥＧ（Motion Picture Expert Group）復号化を行って単一画面出力を行う第２段階と、
    前記第１の確認の結果、画面が２以上である多重画面プログラムである場合には、多重ＭＰＥＧ復号化を行い、前記出力優先順位に基づいて多重画面出力を行う第３段階と、
    を含むことを特徴とするトランスポートストリーム受信装置による多重画面プログラム処理方法。
  8. 前記第２段階による単一画面の出力中又は前記第３段階による多重画面の出力中においてプログラムの変更があると、前記第１段階に記載の処理を再度行って画面の数が２以上であるか否か、及び画面の出力優先順位を確認することを特徴とする請求項７記載のトランスポートストリーム受信装置による多重画面プログラム処理方法。
  9. 前記優先順位ナンバーフィールドのコード値が“０”の場合には映像ストリームのＰＩＤが低いものを優先して出力し、前記コード値が“１”の場合には映像ストリームのＰＩＤが高いものを優先して出力することを特徴とする請求項７記載のトランスポートストリーム受信装置による多重画面プログラム処理方法。
JP2006017156A 2005-01-27 2006-01-26 多重画面を提供するトランスポートストリーム受信装置及びその制御方法 Expired - Fee Related JP4339322B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20050007604A KR100689474B1 (ko) 2005-01-27 2005-01-27 다중 화면을 제공하는 트랜스포트 스트림 수신 장치 및 그제어 방법

Publications (2)

Publication Number Publication Date
JP2006211668A JP2006211668A (ja) 2006-08-10
JP4339322B2 true JP4339322B2 (ja) 2009-10-07

Family

ID=36779529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006017156A Expired - Fee Related JP4339322B2 (ja) 2005-01-27 2006-01-26 多重画面を提供するトランスポートストリーム受信装置及びその制御方法

Country Status (3)

Country Link
US (1) US7711250B2 (ja)
JP (1) JP4339322B2 (ja)
KR (1) KR100689474B1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101425221B1 (ko) * 2007-08-07 2014-08-13 엘지전자 주식회사 멀티 방송 시스템 및 방법
US8284233B2 (en) * 2009-02-06 2012-10-09 Broadcom Corporation Utilizing image sequences to perform video streaming during video conferencing
KR101007771B1 (ko) * 2010-06-22 2011-01-14 주식회사 캐스트이즈 다화면 서비스 제공 장치 및 방법
CN102226943B (zh) * 2011-04-29 2013-04-17 杭州海康威视数字技术股份有限公司 一种实现屏幕拼接的系统及方法
WO2013168581A1 (ja) * 2012-05-10 2013-11-14 ソニー株式会社 受信装置、受信方法、送信装置、送信方法、及びプログラム
CN103517153B (zh) * 2012-11-30 2017-07-11 Tcl集团股份有限公司 一种实现多屏幕同屏播放视频的方法及系统
CN104244082A (zh) * 2014-09-28 2014-12-24 深圳国微技术有限公司 一种数字电视广播传输流的播放方法、系统及终端
CN110062268A (zh) * 2019-04-19 2019-07-26 北京那镁克科技有限公司 一种音视频同屏播放的发送和接收处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920002049B1 (ko) * 1988-12-31 1992-03-10 삼성전자 주식회사 멀티 스크린 수행방법
EP0910042A3 (en) * 1997-10-17 2000-03-08 Sony Corporation Method and apparatus for encoding or decoding digital video data
US6430159B1 (en) * 1998-12-23 2002-08-06 Cisco Systems Canada Co. Forward error correction at MPEG-2 transport stream layer
JP2003009101A (ja) 2001-06-26 2003-01-10 Nec Viewtechnology Ltd マルチ画面再生装置およびマルチ画面再生方法
JP3781288B2 (ja) 2002-03-12 2006-05-31 船井電機株式会社 データ記録装置、データ記録再生装置及びデータ記録方法
JP2004193673A (ja) 2002-12-06 2004-07-08 Sony Corp 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP4265231B2 (ja) 2003-01-31 2009-05-20 ソニー株式会社 ディジタル放送受信機及び受信方法
KR100526548B1 (ko) * 2003-06-11 2005-11-04 삼성전자주식회사 Ｍｐｅｇ2 ｓｐｔｓ 분리형 가입자 분배 장치 및 방법
US20050212968A1 (en) * 2004-03-24 2005-09-29 Ryal Kim A Apparatus and method for synchronously displaying multiple video streams
KR20050120974A (ko) * 2004-06-21 2005-12-26 엘지전자 주식회사 다수의 화면을 표시하는 방법 및 그에 따른 영상표시기기

Also Published As

Publication number Publication date
US7711250B2 (en) 2010-05-04
US20060176396A1 (en) 2006-08-10
KR20060086707A (ko) 2006-08-01
JP2006211668A (ja) 2006-08-10
KR100689474B1 (ko) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4339322B2 (ja) 多重画面を提供するトランスポートストリーム受信装置及びその制御方法
US8949924B2 (en) Multi-screen display apparatus and method for digital broadcast receiver
EP2280541A1 (en) Fast channel switch between digital televisison channels
US8892888B2 (en) Multiple stream decrypting and decoding systems and related methods thereof
JP3382021B2 (ja) 番組探索装置および方式
KR101131836B1 (ko) 디지털 광고 삽입기를 위한 비동기 직렬 인터페이스 스위쳐
EP2086241A2 (en) Display control apparatus and display control method
KR20060113523A (ko) 디지털 방송수신기의 데이터 처리 장치 및 방법
KR100873949B1 (ko) 클라이언트 기반의 화면 구성 시스템 및 그 방법
JP2006217662A (ja) ディジタル放送受信装置
KR20160106069A (ko) 멀티미디어 데이터 재생 방법 및 장치
JP2004128778A (ja) 表示制御装置、表示制御方法、プログラム
KR100329830B1 (ko) 디지털 텔레비젼 시스템의 ａｃ－３ 오디오 수신 장치 및그 처리 방법
KR101303258B1 (ko) 디지털 방송수신기의 다중화면 표시장치 및 방법
JP2003283591A (ja) データ多重化装置
JP5321676B2 (ja) 情報再生装置および情報再生方法
KR20080005815A (ko) 디지털 방송수신기의 다중화면 표시장치 및 방법
JP2002185901A (ja) デジタル放送受信装置
JP2006019997A (ja) 動画データ転送システム
EP1820339A1 (en) Terminal for decoding dmb contents at high speed and method thereof
JP4181334B2 (ja) デジタル放送における送信方法及び送信機
EP2202976A1 (en) Digital broadcast receiving apparatus and signal processing method
KR20040082033A (ko) 디지털 방송 수신기 및 그의 제한 시청 방법
JP2008066770A (ja) コンテンツ受信装置、コンテンツ送受信システム、及びコンテンツ送受信方法
JP2001197387A (ja) 受信機

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090701

R150 Certificate of patent or registration of utility model

Ref document number: 4339322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees