JP3648685B2 - データ伝送方法及びデータ送信装置 - Google Patents

データ伝送方法及びデータ送信装置 Download PDF

Info

Publication number
JP3648685B2
JP3648685B2 JP2001022094A JP2001022094A JP3648685B2 JP 3648685 B2 JP3648685 B2 JP 3648685B2 JP 2001022094 A JP2001022094 A JP 2001022094A JP 2001022094 A JP2001022094 A JP 2001022094A JP 3648685 B2 JP3648685 B2 JP 3648685B2
Authority
JP
Japan
Prior art keywords
data
bit
packet
blanking period
data transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001022094A
Other languages
English (en)
Other versions
JP2002232377A (ja
Inventor
直樹 江島
歳朗 西尾
明久 川村
秀和 鈴木
象 村越
哲也 広江
裕成 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Sony Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Sony Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001022094A priority Critical patent/JP3648685B2/ja
Application filed by Panasonic Corp, Sony Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to KR1020027011296A priority patent/KR100866151B1/ko
Priority to US10/240,156 priority patent/US7129991B2/en
Priority to EP12183580A priority patent/EP2533532A1/en
Priority to PCT/JP2002/000664 priority patent/WO2002062064A1/ja
Priority to KR1020077002070A priority patent/KR100809676B1/ko
Priority to EP02710374A priority patent/EP1357751A4/en
Publication of JP2002232377A publication Critical patent/JP2002232377A/ja
Application granted granted Critical
Publication of JP3648685B2 publication Critical patent/JP3648685B2/ja
Priority to US11/489,175 priority patent/US7714934B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/083Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical and the horizontal blanking interval, e.g. MAC data signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばDVI(Digital Visual Interface)を用いて映像信号源と映像表示装置とを接続させる場合に適用して好適なデータ伝送方法及びデータ送信装置関し、特に映像データとオーディオデータとを時分割多重化して伝送する技術に関する。
【0002】
【従来の技術】
近年、テレビジョンチューナ、ビデオ再生装置、パーソナルコンピュータ装置本体などの映像信号源と、モニタ受像機などの映像表示装置とを接続させる場合に、デジタルデータで映像データを表示装置に伝送させるDVI規格と称されるものが規格化されている。
【0003】
このDVI規格の詳細については、後述する実施の形態の中で説明するが、簡単に述べると、映像データを、原色信号R,G,Bのそれぞれを画素(ピクセル)単位でデジタル化したデータとして、表示装置に伝送するようにしたもので、高品質の画像を伝送して表示させることができる。また、画素単位の映像データであるため、表示装置側では受信した映像データで直接表示ドライバを駆動させることができ、比較的簡単な処理構成で表示などを行うことができる。
【0004】
【発明が解決しようとする課題】
ところで、DVI規格で規定されたケーブルで伝送されるデータは、基本的に映像データだけであり、オーディオデータを同時に伝送させることを考えた場合には、DVI規格で規定されたケーブルとは別のオーディオ用のケーブルで、チューナなどとオーディオ出力装置とを接続させる必要がある。ところが、このように複数のケーブルで接続させるようにすると、接続構成が複雑化する問題がある。
【0005】
即ち、映像データだけを伝送するシステム構成を考えた場合には、例えば図10に示すように、映像信号源1とディスプレイ装置3とを、DVI規格のケーブル2で接続して、このケーブル2でDVI規格で符号化された映像データを伝送するようにすれば、映像信号源1からディスプレイ装置3に映像データを伝送することができる。これに対して、例えば図11に示すように、映像・音声信号源4からスピーカ付きディスプレイ装置6に映像データと音声データとを伝送する場合には、DVI規格のケーブル2で映像データを伝送するように接続し、さらにケーブル2とは別のオーディオ信号用ケーブル5でオーディオデータを伝送するように接続する必要がある。この図11に示すように接続することで、映像・音声信号源4から出力された映像をディスプレイ装置6で表示させることができ、またディスプレイ装置6に取付けられたスピーカ6L,6Rから音声を出力させることができる。
【0006】
ところが、図11に示すように、映像データと音声データとで別々のケーブルを使用して接続するようにすると、それだけ接続構成が複雑化する問題がある。できれば機器間を接続するケーブルの数は少ない方が好ましい。
【0007】
なお、映像データと音声データを多重化して1本のケーブルを使用して伝送できるようにする技術は、例えばIEEE(The Institute of Electrical and Electronics Engineers )1394方式として規格化されたバスラインを使用したデータ伝送技術を適用することで可能であるが、このようなIEEE1394方式のバスラインなどでデータ伝送を行うためには、非常に複雑なデータ処理が必要であり、送信側での伝送用のエンコード処理の構成や、受信側でバスラインを介して受信したデータのデコード処理の構成として、非常に大規模な回路構成が必要であり、コストがかかる問題がある。また、IEEE1394方式などでは、伝送レート等の問題から、映像データや音声データを圧縮符号化して多重化するようにしてあり、上述したDVI規格のように画素単位でデジタル化した映像データを伝送するものに比べて、画質が劣る問題がある。
【0008】
また、デジタル化された音声データを伝送する場合には、映像データを伝送する場合とは別のエラー訂正処理が必要になるが、そのエラー訂正のために特別な処理を行うようにすると、送信側と受信側の双方のオーディオデータ処理構成が複雑化してしまう問題があった。
【0009】
本発明はかかる点に鑑み、映像データにオーディオデータを多重化して伝送することが、簡単な構成で良好に行えるようにすることを目的とする。
【0010】
【課題を解決するための手段】
本発明は、第1、第2及び第3の3つのチャンネルを用いて映像データを伝送し、3つのチャンネルの内の第1のチャンネルの映像データのブランキング期間に同期信号を表すデータを配置し、第2及び/又は第3のチャンネルの映像データのブランキング期間に制御情報を配置して伝送する場合に、所定のパケット構造化が為されてパケット毎にパリティ符号を備えたデジタルオーディオデータを複数パケット分組み合わせ、それぞれのパケットから1ビットまたは複数ビットずつビットデータを切り出してデータ単位を構成し、該データ単位毎に、予め種類数が定められている特定データの1つに変換して符号化し、その符号化されたデータを、第2及び/又は第3のチャンネルの映像データのブランキング期間に制御情報の代わりに配置して、映像データとともにデジタルオーディオデータを伝送するようにしたものである。
【0011】
このようにしたことで、映像データのブランキング期間を利用して、オーディオデータが映像データに多重化され、例えばDVI規格のような既存の映像データ伝送フォーマットを適用して、映像データとオーディオデータを同時に伝送することができる。
【0012】
【発明の実施の形態】
以下、本発明の一実施の形態を、図1〜図9を参照して説明する。
【0013】
本例においては、ビデオテープ記録再生装置,ビデオディスク再生装置,チューナなどの映像・音声信号源から出力される映像データを、モニタ受像機,テレビジョン受像機などの表示装置に伝送するシステムに適用したものである。ここで、表示装置として音声出力機能を有するものを使用して、映像・音声信号源から、1つのケーブルを使用して映像データと音声データを伝送するようにしたものである。この伝送ケーブルとしては、DVI(Digital Visual Interface)と称される規格でデータが伝送されるケーブルを使用する。
【0014】
図1は、本例の伝送システムの全体構成を示す図である。映像・音声信号源10を、DVI用ケーブル2を使用してスピーカ付きディスプレイ装置20に接続し、このケーブル2で映像データと音声データを伝送する構成としてある。DVI用ケーブル2が接続される映像・音声信号源10及びディスプレイ装置20のコネクタ部は、例えば24本のピンのコネクタで構成され、ケーブル2で双方の機器10,20のコネクタの24本のピンが個別に接続される。
【0015】
図2は、映像・音声信号源10での、映像データと音声データをDVI用ケーブルに送出させる送信装置としての機能を実行させる処理構成を示したものである。映像データ入力部11には、DVI規格で符号化された映像データが機器10の映像処理部(図示せず)から供給される。この映像データ入力部11に得られる映像データを、映像・音声合成部12に供給し、この合成部12で音声データを映像データに多重化する合成処理を行い、合成されたデータをDVIフォーマットデータ出力部18に供給し、この出力部18から機器10に接続されたDVI用ケーブルに送出させる。
【0016】
ここで、DVIフォーマットで映像データが伝送される構成について図4を参照して説明すると、伝送される映像データとしては、図4Aに示すBデータ(青データ)と、図4Bに示すGデータ(緑データ)と、図4Cに示すRデータ(赤データ)とが、それぞれ個別のチャンネルのデータとして伝送される。各チャンネルのデータは、1画素が8ビットのデータとされ、3チャンネルで1画素あたり合計24ビットのデータとなる。但し、実際にDVIで画素データを伝送する際には、8ビットのデータを10ビットのデータに変換して伝送するようにしてある。各チャンネルの画素データは、図4Cに示すピクセルクロックに同期して伝送される。図4Eは、各チャンネルのビットデータの詳細を示す図で、ピクセルクロックに同期して、各チャンネル10ビットの画素データ〔0,1,2‥‥9〕が伝送される。
【0017】
DVIフォーマットでは、各チャンネルの画素データは、水平ブランキング期間及び垂直ブランキング期間には伝送されない。図4Aに示すBデータの伝送チャンネルは、水平ブランキング期間には水平同期信号HSYNCとして規定されたデータが伝送され、垂直ブランキング期間には垂直同期信号VSYNCとして規定されたデータが伝送される。図4Bに示すGデータの伝送チャンネルは、各ブランキングには2つの制御データ(CTL0データ及びCTL1データ)が配置される。図4Cに示すRデータの伝送チャンネルは、各ブランキングには2つの制御データ(CTL2データ及びCTL3データ)が配置される。なお、以下の説明では、制御データCTL0,CTL1,CTL2,CTL3を、それぞれ制御データC0,C1,C2,C3と称する。
【0018】
各制御データC0,C1,C2,C3は、2ビットのデータを10ビットのデータに変換して、各チャンネルのブランキング期間に配置される。即ち、例えば図4Bに示すGデータチャンネルでは、制御データC0の1ビットと、制御データC1の1ビットとの2ビットデータを得、この2ビットデータを、特定のパターンの10ビットデータに変換して、この変換された10ビットデータをブランキング期間に配置する。具体的には、制御データC0,C1の2ビットのデータの組み合わせとしては、図5に示すように〔00〕,〔01〕,〔10〕,〔11〕の4つの組み合わせが存在し、それぞれの組み合わせ毎に、図5に示すように10ビットのCTLコードが割当ててある。従って、Gデータチャンネルでは、ブランキング期間に、この4種類の10ビットデータ以外のデータが伝送されることはない。Rデータチャンネルで伝送される制御データC2,C3についても、同様に処理される。
【0019】
ここで本例においては、図4Bに示すGデータの伝送チャンネルの水平ブランキング期間に配置する制御データC0,C1で、音声データ(オーディオデータ)を伝送するようにしてある。図2の説明に戻って、この音声データを伝送させる構成について説明する。
【0020】
機器10の音声処理部(図示せず)から音声データ入力部13に得られる音声データは、データ変換処理を行ってから、映像・音声合成部12に供給する。本例の場合に音声データ入力部13に得られる音声データについては、IEC(International Electrotechnical Commission )60958方式としてパケット化されたオーディオデータである。
【0021】
IEC60958方式のパケットデータは、図6Aに示すように、1パケット(1サブフレーム)が32ビットで構成されて、先頭の4ビットにプリアンブルが配置され、続いた24ビットの区間に1サンプルのオーディオデータ(オーディオサンプルワード)が配置される。1サンプルが24ビット未満のビット数(例えば16ビット)のデータが配置される場合もある。また、末尾の4ビットにサブコードが配置される。
【0022】
1パケット内のサブコードとしては、図6Aに示すように、バリディティビットVと、ユーザデータビットUと、チャンネルステータスビットCと、パリティビットPとが配置される。1ビットのパリティビットPは、オーディオデータのパリティチェックを行うための符号であり、そのパリティ符号を使用した演算によるパリティチェックで、そのパケット内のオーディオデータにエラーがあるか否か判断できるものである。但し、パリティビットPのデータだけではエラーの有無の判断ができるだけであり、エラー訂正はできない。
【0023】
なお、図6Bに示すように、4ビットのプリアンブルに続いた4ビット区間を、補助データ区間とし、オーディオサンプルワードが配置される区間を20ビットとする場合もある。
【0024】
オーディオデータが左チャンネルデータと右チャンネルデータの2チャンネルデータである場合には、左チャンネルのオーディオデータの1パケットと、右チャンネルのオーディオデータの1パケットとの合計2パケットで1フレームが構成され、2パケット64ビットのデータが1単位で伝送される。
【0025】
図2の説明に戻ると、音声データ入力部13に得られるパケット構成のオーディオデータは、2サンプルパケット変換部14で、2パケット64ビット(1フレーム)のオーディオデータを単位として、その2パケットの1ビットずつを並べた2ビットデータを32個得るようなデータ配列とし、その32個の2ビットデータをシンボル切り出し部15に供給する。
【0026】
シンボル切り出し部15では、供給される32個の2ビットデータを、1個ずつ(即ち2ビットずつ)順に切り出して出力させる。このシンボル切り出し部15で切り出された2ビットデータを、2ビット/10ビット変換部16に供給する。この変換部16での10ビットデータへの変換処理は、既に説明した図5に示すC0,C1の2ビットデータを10ビットデータに変換する処理と同様の処理が行われる。即ち、図5に示した4種類のCTLコードのいずれかに変換される。
【0027】
変換された10ビットデータは、映像・音声合成部12に供給し、この合成部12で、Gデータチャンネルの水平ブランキング期間に配置して、映像データに音声データを多重化する。このように合成することで、Gデータチャンネルの水平ブランキング期間に伝送される制御データC0,C1として音声データが伝送されることになる。なお、実際のデータ処理の詳細については、後述する動作説明で説明するが、本例の場合には1水平ブランキング期間で、最大8サブフレーム(4フレーム)のオーディオデータを伝送することができる。
【0028】
Rデータチャンネルの水平ブランキング期間には、制御データ入力部17から映像・音声合成部12に供給される制御データを、制御データC2,C3として10ビット変換した後、配置される。また、映像・音声合成部12には、水平同期信号及び垂直同期信号とピクセルクロックなどのDVIフォーマットで必要なデータについても供給される。
【0029】
図3は、ディスプレイ装置20での、DVI用ケーブルを介して伝送される映像データと音声データを受信する受信装置としての機能を実行させる処理構成を示したものである。機器10と接続されたDVI用ケーブルを介して伝送されたデータが、DVIフォーマットデータ入力部21に得られる。この入力部21に得られるデータは、映像・音声分離部22に供給し、ブランキング期間に配置された各データ(音声データ,制御データ)を映像データから分離する。映像・音声分離部22でこれらのデータが分離された映像データは、映像データ出力部23を介してディスプレイ装置20内の映像処理部(図示せず)に供給して、表示のための処理が実行される。また、映像・音声分離部22で分離された制御データ(Rデータチャンネルのブランキング期間に多重化された制御データC2,C3)を、制御データ出力部24を介して、このディスプレイ装置20のコントローラ(図示せず)に供給する。
【0030】
そして、映像・音声分離部22でGデータチャンネルの水平ブランキング期間から分離した音声データ(制御データC0,C1として伝送されるデータ)は、10ビット/2ビット変換部25に供給する。この10ビット/2ビット変換部25では、図5に示した10ビットのCTLコードを2ビットのデータC0,C1に変換する復号化処理が行われる。但し、図5に示した4種類の10ビット以外のデータが検出された場合には、伝送エラーが発生したと判断して、エラー検出データを出力し、該当する2ビットのデータは、0データか1データか確定してない消失データとする。
【0031】
10ビット/2ビット変換部25で変換された2ビット単位のデータは、パケット組み立て部26に供給する。パケット組み立て部26では、供給される2ビットのデータを32個集めて、2つのパケット(2サブフレーム:1フレーム)を組み立てる処理を行う。また、10ビット/2ビット変換部25が出力するエラー検出データが、パケット組み立て部26に供給されるようにしてあり、パケット組み立て部26で組み立てられたパケットの各ビットに、エラー検出データに基づいたエラーフラグを立てるようにしてある。このエラーフラグが立てられたビット位置のデータは、消失データである。
【0032】
パケット組み立て部26で組み立てられたパケットデータは、エラー訂正部27とパリティ抽出部28に供給する。パリティ抽出部28は、供給されるパケットデータの中のパリティビットを抽出し、その抽出したパリティビットを、エラー訂正部27に供給する。エラー訂正部27では、供給されるパケットデータに消失データがあるとき、その消失データを、パリティビットを使用したパリティチェックによる演算で判定し、消失データを復元するエラー訂正処理を行う。但し、本例の場合にはパリティビットが1パケットあたり1ビットであるので、1パケットで1ビットまでの復元ができ、1パケットに2ビット以上の消失データがある場合には、パリティチェックによる演算ではエラー訂正できない。
【0033】
そして、エラー訂正部27でエラー訂正された2サブフレーム単位のパケットデータを、音声データ出力部29を介して、このディスプレイ装置20の音声処理部(図示せず)に供給して、図1に示したスピーカ20L,20Rから出力させる処理を実行させる。
【0034】
次に、本例のシステムで音声データ(オーディオデータ)が伝送される状態の詳細を説明する。図7は、送信側(本例での映像・音声信号源10)で水平ブランキング期間に、IEC60958規格のオーディオデータパケットが配置される状態を示した図である。この規格でのオーディオデータパケットは、図7Aに示すように、1パケットである1サブフレームが32ビットで構成されて、左チャンネル(Lch)のパケットと右チャンネル(Rch)のパケットとが交互に配置されて供給される。図7Aの例では、奇数番号のパケットA1 ,A3 ,A5 ‥‥が左チャンネルのサブフレームであり、偶数番号のパケットA2 ,A4 ,A6 ‥‥が右チャンネルのサブフレームである。
【0035】
ここで、2サンプルパケット変換部14では、図7Bに示すように、2つのパケット(ここではパケットA1 ,A2 )のデータを、各パケットの同じビット位置どうしのデータを並べたデータ配列と、シンボル切り出し部15で、その同じビット位置どうしの2ビットデータが順に取り出される。そして、図7Bの右側に示すように、それぞれの2ビットデータが、図5に示した10ビットのCTLコードに変換される。
【0036】
ここでは、図7Bに示すように、パケットA1 及びパケットA2 の0ビット〜31ビットのデータが、各ビット位置毎に10ビットのデータ〔A1 ,A2 0〕,〔A1 ,A2 1〕,〔A1 ,A2 2〕‥‥〔A1 ,A2 31〕に変換されたとする。
【0037】
このようにして得られた10ビットデータは、図7Cに示すピクセルクロックに同期して、図7Dの水平同期信号により示される水平ブランキング期間に、映像データの特定チャンネル(ここではGデータチャンネル)に配置される。図7Eは、この音声データが制御データC0,C1として配置されるチャンネルの水平ブランキング期間の状態を示した図である。ここでは上述した10ビットのデータ〔A1 ,A2 0〕,〔A1 ,A2 1〕,〔A1 ,A2 2〕‥‥〔A1 ,A2 31〕が、ピクセルクロックに同期して順に出力される。パケットA1 ,A2 の最後のデータ〔A1 ,A2 31〕が送出された後には、次の2つのパケットA3 ,A4 の10ビットのデータ〔A3 ,A4 0〕〜〔A3 ,A4 31〕が、ピクセルクロックに同期して順に出力される。
【0038】
このようにして水平ブランキング期間に、各パケットのオーディオデータが順に伝送される。本例の場合には、1水平ブランキング期間で、6パケット(6サブフレームつまり3フレーム)のオーディオデータが配置される場合と、8パケット(8サブフレームつまり4フレーム)のオーディオデータが配置される場合とがあり、図7Eでは6パケットを配置した例としてある。6パケット分のオーディオデータを送出させた残りの水平ブランキング期間には、0データ(即ちC0,C1ともに0になる10ビットデータ)が連続的に配置される。
【0039】
図8は、図8Aに示す水平同期信号で示される1水平ブランキング期間内に、6サブフレーム(3フレーム)を配置した例(図8B)と、8サブフレーム(4フレーム)を配置した例(図8C)とを示したものである。図8B,図8Cを比較すると判るように、1水平ブランキング期間内に6サブフレーム配置した場合と8サブフレーム配置した場合とでは、末尾の0データの区間の長さが異なる。実際の伝送状態では、6サブフレーム配置される水平ブランキング期間と、8サブフレーム配置される水平ブランキング期間とが、所定の順序で周期的に設定される。
【0040】
例えば、映像データの水平周波数が15.75kHzで、音声データのサンプリング周波数が48kHzであるとすると、映像データの1水平走査期間は約63.5μ秒であり、音声データの1サンプリング期間は約20.8μ秒であるので、1水平ラインで3フレーム(1チャンネルあたり3サンプル:合計6サブフレーム)の音声データを送る処理を数十回行う毎に、1水平ラインで4フレーム(1チャンネルあたり4サンプル:合計8サブフレーム)の音声データを送る処理を1回行うように、2つの処理を組み合わせることで、映像に対する音声の遅延を生じさせることなく伝送できる。
【0041】
次に、このようにして水平ブランキング期間に伝送された音声データを受信した側でエラー訂正が行われる状態を、図9を参照して説明する。図9では、2つのサブフレームA1 ,A2 を伝送したときの例としてある。即ち、図9の左端に示すように、それぞれ32ビットのサブフレームA1 ,A2 は、各ビット位置の2ビットのデータ毎に10ビットデータ〔A1 ,A2 0〕,〔A1 ,A2 1〕,〔A1 ,A2 2〕‥‥〔A1 ,A2 31〕に変換されて、その変換された10ビットデータが、水平ブランキング期間にDVI用ケーブルを使用して順に伝送される。
【0042】
このようにして伝送したとき、図9に示すように、例えば10ビットデータ〔A1 ,A2 1〕に伝送エラーが発生して、この10ビットデータを元の2ビットデータに復号化できないとする。そして、その他の10ビットデータについては、正しく受信して2ビットデータに正しく復号化できたとする。このとき、パケット組み立て部26では、サブフレームA1 ,A2 の伝送エラーが発生したビットについては、消失データ(図中の×で示したビットデータ)となり、該当するビット位置のエラーフラグが1データ(エラーのないビット位置のエラーフラグは0データ)に設定される。
【0043】
そして、このように消失データがあった場合に、エラー訂正部27での演算処理で、消失データの復元が行われる。即ち、それぞれのサブフレームA1 ,A2 毎に、パリティビットを使用した演算で、消失データの判定を行う。パリティビットの設定方法としては、従来からデジタルデータの符号化で使用されている各種方法が適用できる。例えば、パリティビットを付加することで1サブフレーム内の32ビット全てを加算したとき、偶数の値となるように、パリティビットの値を設定することで、消失データ以外の31ビットの加算で、消失データが1データか0データか判定できる。従って、エラー訂正部27でエラー訂正されたサブフレームが、音声データ出力部29に得られるようになる。
【0044】
以上説明したように映像データに音声データを多重化して伝送できることで、映像データを伝送するための構成を利用して、簡単かつ良好に音声データを伝送することが可能になる。即ち、DVI規格として規格化された既存のデジタル映像データを伝送するシステムを利用して、同じ信号ケーブルで音声データを伝送することが可能になる。特に本例の場合には、映像データの水平ブランキング期間に音声データを伝送するようにしたので、映像データの伝送処理構成については、従来のDVI規格を全く変更する必要がなく、送信側,受信側ともにDVI規格用に用意された映像データの処理ブロックがそのまま使用できる。
【0045】
また本例の場合には、音声データとして、デジタルオーディオデータの伝送用として広く普及している伝送データの規格であるIEC60958方式のパケットデータをそのまま伝送するようにしたが、その方式のパケットデータに伝送エラーがあったとき、この方式のパケット内に予め用意されたパリティビットを使用して、エラー訂正が行え、エラーの少ない良好な伝送が可能になる。
【0046】
即ち、IEC60958方式のオーディオパケットをそのまま伝送させたときには、パケット内のパリティビットを使用した演算では、該当するパケット内のデータにエラーがあるか否か判るだけであり、従来は受信側での処理にパリティビットは使用されていなかった。ここで本例の場合には、パケットのデータをビット単位で分解した上で、2ビット毎に10ビットのCTLコードに変換して伝送するようにしたので、パケット内のデータにエラーが発生したとき、そのエラーが発生したビット位置が判る。このため、パリティビットを使用してエラー訂正が行え、特別なエラー訂正用の符号を別途用意することなく、簡単にエラー訂正が行えるようになる。
【0047】
なお、上述した実施の形態では、2チャンネルのデジタルオーディオデータを伝送するように構成したが、1チャンネルのデジタルオーディオデータを伝送する場合や、3チャンネル以上のデジタルオーディオデータを伝送する場合にも適用可能である。例えば3チャンネル以上のマルチチャンネルデータを伝送させる場合には、図4に示したRデータチャンネルの水平ブランキング期間のCTL2及びCTL3の部分を、オーディオデータの伝送に使用しても良い。
【0048】
また、上述した実施の形態では、一定のサンプリングレートのデジタルオーディオデータが配置されたパケットを伝送するようにしたが、所定の方式(例えばATRAC方式やMP3方式など)で圧縮符号化されたデジタルオーディオデータをパケット内に配置して伝送するようにしても良い。
【0049】
また、上述した実施の形態では、オーディオデータの伝送期間として水平ブランキング期間を使用するようにしたが、垂直ブランキング期間をオーディオデータの伝送に使用しても良い。
【0050】
また、ここまで説明した実施の形態では、DVI規格の伝送路を使用して映像データに音声データを多重化して伝送するようにしたが、その他の映像データ伝送用の規格を適用しても良い。この場合、伝送路は有線のケーブルで接続させる伝送路の他に、無線伝送される伝送路を使用しても良い。
【0051】
【発明の効果】
本発明によると、映像データのブランキング期間を利用して、オーディオデータが映像データに多重化され、例えばDVI規格のような既存の映像データ伝送フォーマットを適用して、映像データとオーディオデータを同時に伝送することができ、既存の映像データを伝送するための構成をそのまま生かした上で、その映像データを伝送するための伝送路を使用して、デジタルオーディオデータを良好に伝送できるようになる。
【0052】
この場合、パケット構造化されたデジタルオーディオデータには、オーディオデータのパリティ符号が含まれることで、受信側でパリティ符号を使用して伝送されたオーディオデータのエラー検出を行うことが可能になる。
【0053】
また、このようにパリティ符号を伝送するようにした上で、伝送路で伝送されたデジタルオーディオデータを受信したとき、符号化からの復号でエラーが検出された位置のデータを、パリティ符号を使用した演算で復元して、エラー訂正するようにしたことで、簡単な処理でオーディオデータのエラー訂正ができるようになる。
【図面の簡単な説明】
【図1】本発明の一実施の形態によるシステム構成例を示すブロック図である。
【図2】本発明の一実施の形態による送信系の構成例を示すブロック図である。
【図3】本発明の一実施の形態による受信系の構成例を示すブロック図である。
【図4】DVI方式の伝送タイミングを示すタイミング図である。
【図5】DVI方式のCTL0データ(C0データ),CTL1データ(C1データ)とCTLコードとの対応例を示した説明図である。
【図6】パケット化されたオーディオデータの構成例(IEC60958フォーマットの1サブフレーム構成例)を示す説明図である。
【図7】本発明の一実施の形態によるオーディオパケットの伝送処理例を示す説明図である。
【図8】本発明の一実施の形態によるサブフレームの配置例を示す説明図である。
【図9】本発明の一実施の形態によるエラー訂正処理例を示す説明図である。
【図10】従来のDVI規格による接続例を示すブロック図である。
【図11】従来のDVI規格による接続例(オーディオ用ケーブルを別に用意した例)を示すブロック図である。
【符号の説明】
2…DVI規格用ケーブル、10…映像・音声信号源、11…映像データ入力部、12…映像・音声合成部、13…音声データ入力部、14…2サンプルパケット変換部、15…シンボル切り出し部、16…2ビット/10ビット変換部、17…制御データ入力部、18…DVIフォーマットデータ出力部、20…スピーカ付きディスプレイ装置、20L,20R…スピーカ、21…DVIフォーマットデータ入力部、22…映像・音声分離部、23…映像データ出力部、24…制御データ出力部、25…10ビット/2ビット変換部、26…パケット組み立て部、27…エラー訂正部、28…パリティ抽出部、29…音声データ出力部

Claims (12)

  1. 第1、第2及び第3の3つのチャンネルを用いて映像データを伝送し、上記3つのチャンネルの内の第1のチャンネルの映像データのブランキング期間に同期信号を表すデータを配置し、第2及び/又は第3のチャンネルの映像データのブランキング期間に制御情報を配置して伝送するデータ伝送方法において、
    所定のパケット構造化が為されてパケット毎にパリティ符号を備えたデジタルオーディオデータを複数パケット分組み合わせ、それぞれのパケットから所定ビットずつビットデータを切り出してデータ単位を構成し、
    該データ単位毎に、予め種類数が定められている特定データの1つに変換して符号化し、
    その符号化されたデータを、上記第2及び/又は第3のチャンネルの映像データのブランキング期間に上記制御情報の代わりに配置して、映像データとともにデジタルオーディオデータを伝送するデータ伝送方法。
  2. 請求項1に記載のデータ伝送方法において、
    それぞれのパケットの同じビット位置から1ビットずつビットデータを切り出してデータ単位を構成することを特徴とするデータ伝送方法。
  3. 請求項1に記載のデータ伝送方法において、
    1ブランキング期間に配置されて伝送される上記パケットの数を第1のパケット数と第2のパケット数で切換えながらデジタルオーディオデータを伝送するようにしたことを特徴とするデータ伝送方法。
  4. 請求項1に記載のデータ伝送方法において、
    上記所定のパケット構造化されたデジタルオーディオデータは、1つのブランキング期間内で伝送されることを特徴とするデータ伝送方法。
  5. 請求項1に記載のデータ伝送方法において、
    上記各ブランキング期間において、オーディオデータが配置された残りのブランキング期間には0データが連続的に配置されることを特徴とするデータ伝送方法。
  6. 請求項1に記載のデータ伝送方法において、
    上記デジタルオーディオデータは、所定の方式で圧縮符号化されて、パケット構造化されてなることを特徴とするデータ伝送方法。
  7. 第1、第2及び第3の3つのチャンネルを用いて映像データを送信し、上記3つのチャンネルの内の第1のチャンネルの映像データのブランキング期間に同期信号を表すデータを配置し、第2及び/又は第3のチャンネルの映像データのブランキング期間に制御情報を配置して送信するデータ送信装置において、
    所定のパケット構造化が為されてパケット毎にパリティ符号を備えたデジタルオーディオデータを複数パケット分組み合わせ、それぞれのパケットから所定ビットずつビットデータを切り出してデータ単位を構成するデータ分割手段と、
    該データ分割手段で分割されたデータ単位毎に、予め種類数が定められている特定データの1つに変換して符号化する符号化手段と、
    上記符号化手段で符号化されたデータを、上記第2及び/又は第3のチャンネルの映像データのブランキング期間に上記制御情報の代わりに配置して合成し、その合成されたデータを所定の伝送路に送出させるデータ送出手段と
    を備えたデータ送信装置。
  8. 請求項7に記載のデータ送信装置において、
    上記データ分割手段が、それぞれのパケットの同じビット位置から1ビットずつビットデータを切り出してデータ単位を構成することを特徴とするデータ送信装置。
  9. 請求項7に記載のデータ送信装置において、
    1ブランキング期間に配置されて伝送される上記パケットの数を第1のパケット数と第2のパケット数で切換えながらデジタルオーディオデータを伝送するようにしたことを特徴とするデータ送信装置。
  10. 請求項7に記載のデータ送信装置において、
    上記所定のパケット構造化されたデジタルオーディオデータは、1つのブランキング期間内で伝送されることを特徴とするデータ送信装置。
  11. 請求項7に記載のデータ送信装置において、
    上記各ブランキング期間において、オーディオデータが配置された残りのブランキング期間には0データが連続的に配置されることを特徴とするデータ送信装置。
  12. 請求項7に記載のデータ送信装置において、
    上記デジタルオーディオデータは、所定の方式で圧縮符号化されて、パケット構造化されてなることを特徴とするデータ送信装置。
JP2001022094A 2001-01-30 2001-01-30 データ伝送方法及びデータ送信装置 Expired - Lifetime JP3648685B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2001022094A JP3648685B2 (ja) 2001-01-30 2001-01-30 データ伝送方法及びデータ送信装置
US10/240,156 US7129991B2 (en) 2001-01-30 2002-01-29 Transmission method of digital audio data with video data
EP12183580A EP2533532A1 (en) 2001-01-30 2002-01-29 Device for multiplexing digital audio data during blanking intervals of video signals
PCT/JP2002/000664 WO2002062064A1 (fr) 2001-01-30 2002-01-29 Procede de transmission, systeme de transmission, dispositif de transmission et dispositif de reception
KR1020027011296A KR100866151B1 (ko) 2001-01-30 2002-01-29 전송방법 및 송신장치
KR1020077002070A KR100809676B1 (ko) 2001-01-30 2002-01-29 수신방법, 수신장치 및 전송시스템
EP02710374A EP1357751A4 (en) 2001-01-30 2002-01-29 TRANSMISSION METHOD, TRANSMISSION SYSTEM, TRANSMISSION DEVICE, AND RECEPTION DEVICE
US11/489,175 US7714934B2 (en) 2001-01-30 2006-07-19 Transmission method, transmission system, sending device and reception device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001022094A JP3648685B2 (ja) 2001-01-30 2001-01-30 データ伝送方法及びデータ送信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004168890A Division JP4303166B2 (ja) 2004-06-07 2004-06-07 データ受信装置、データ受信方法及びデータ伝送システム

Publications (2)

Publication Number Publication Date
JP2002232377A JP2002232377A (ja) 2002-08-16
JP3648685B2 true JP3648685B2 (ja) 2005-05-18

Family

ID=18887550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001022094A Expired - Lifetime JP3648685B2 (ja) 2001-01-30 2001-01-30 データ伝送方法及びデータ送信装置

Country Status (5)

Country Link
US (2) US7129991B2 (ja)
EP (2) EP1357751A4 (ja)
JP (1) JP3648685B2 (ja)
KR (2) KR100866151B1 (ja)
WO (1) WO2002062064A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100586669B1 (ko) 2003-08-27 2006-06-08 닛뽕빅터 가부시키가이샤 전송 시스템
KR100654834B1 (ko) * 2005-01-12 2006-12-08 삼성전자주식회사 호스트 디바이스, 디스플레이 디바이스 및 디스플레이시스템
US7671873B1 (en) * 2005-08-11 2010-03-02 Matrox Electronics Systems, Ltd. Systems for and methods of processing signals in a graphics format
DE102006052214B3 (de) * 2006-11-06 2008-02-28 Siemens Ag Bild wiedergebendes System
KR100819439B1 (ko) * 2007-08-23 2008-04-04 주식회사 디에이텍 멀티미디어신호 직렬 전송장치
CN101835019A (zh) 2007-09-13 2010-09-15 株式会社日立制作所 传送方法、传送装置、影像设备和显示装置
JP2009100246A (ja) 2007-10-17 2009-05-07 Hitachi Ltd 表示装置
JP4605231B2 (ja) 2008-02-15 2011-01-05 ソニー株式会社 電子機器、表示システム、送信方法及び表示方法
JP4743250B2 (ja) 2008-09-30 2011-08-10 ソニー株式会社 伝送装置、伝送方法及びプログラム
WO2011041734A1 (en) * 2009-10-02 2011-04-07 Gabriele Sartori System and method for a thin-client terminal system supporting usb devices
CN102131119A (zh) * 2010-01-14 2011-07-20 索尼公司 信息处理设备、信息处理方法和程序
WO2011118135A1 (ja) * 2010-03-25 2011-09-29 パナソニック株式会社 送信装置、受信装置、送信方法および受信方法
WO2013122386A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122385A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122387A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
US9648273B2 (en) * 2012-09-21 2017-05-09 Panasonic Intellectual Property Management Co., Ltd. Transmission system for transmitting high-resolution video signal by performing multi-value transmission changing in amplitude direction
JP6195444B2 (ja) * 2013-01-18 2017-09-13 サターン ライセンシング エルエルシーSaturn Licensing LLC ソース機器、通信システム、ソース機器の制御方法およびシンク機器の制御方法
KR20170059757A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 영상 신호 송신 장치, 그의 영상 신호 송신 방법, 영상 신호 수신 장치 및 그의 영상 신호 수신 방법
CN105577671B (zh) * 2015-12-30 2019-02-01 上海芃矽半导体技术有限公司 音频信号与视频信号的传输方法及传输系统
US11411989B2 (en) * 2017-04-27 2022-08-09 Arxan Technologies, Inc. Transmitting surreptitious data on an existing communication channel

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58190147A (ja) * 1982-04-30 1983-11-07 Sony Corp データ復号方法
JPS60174958A (ja) 1984-02-21 1985-09-09 Toshiba Corp 位相判定装置
JPH048979A (ja) 1990-04-26 1992-01-13 Hitachi Cable Ltd 壁あるいは床貫通部防火工法
JP3135308B2 (ja) 1991-09-03 2001-02-13 株式会社日立製作所 ディジタルビデオ・オーディオ信号伝送方法及びディジタルオーディオ信号再生方法
JPH0680556A (ja) * 1992-09-01 1994-03-22 Kao Corp 浴用剤組成物
JP3411674B2 (ja) * 1994-06-27 2003-06-03 ペンタックス株式会社 内視鏡用光源装置の絞り装置
JPH0846956A (ja) 1994-08-02 1996-02-16 Matsushita Electric Ind Co Ltd パケット抽出装置
JPH08154048A (ja) * 1994-09-29 1996-06-11 Kawasaki Steel Corp 半導体集積回路
JPH08154084A (ja) * 1994-11-28 1996-06-11 Matsushita Electric Ind Co Ltd ディジタル送受信方法とその装置
KR100188084B1 (ko) * 1995-05-12 1999-06-01 김광호 비디오 신호선을 이용한 오디오 데이타의 전달 장치 및 그 방법
US5751366A (en) * 1995-08-31 1998-05-12 Lucent Technologies Inc. Inclusion of audio signal within video signal
US5835498A (en) * 1995-10-05 1998-11-10 Silicon Image, Inc. System and method for sending multiple data signals over a serial link
JP2768338B2 (ja) 1995-12-26 1998-06-25 日本電気株式会社 オーデイオビデオインタフエース回路
US5761303A (en) * 1995-12-28 1998-06-02 At&T Corp Inclusion of audio signal within video signal, at band edges
JPH11289522A (ja) 1998-04-01 1999-10-19 Sharp Corp テレビジョンデータ放送受信装置
JP6080556B2 (ja) * 2013-01-11 2017-02-15 名古屋電機工業株式会社 検査画像生成装置、検査画像生成方法および検査画像生成プログラム

Also Published As

Publication number Publication date
EP2533532A1 (en) 2012-12-12
EP1357751A1 (en) 2003-10-29
KR20020091104A (ko) 2002-12-05
US7129991B2 (en) 2006-10-31
US7714934B2 (en) 2010-05-11
WO2002062064A1 (fr) 2002-08-08
US20030169370A1 (en) 2003-09-11
JP2002232377A (ja) 2002-08-16
US20060285012A1 (en) 2006-12-21
KR100866151B1 (ko) 2008-10-30
KR100809676B1 (ko) 2008-03-07
EP1357751A4 (en) 2010-05-26
KR20070029825A (ko) 2007-03-14

Similar Documents

Publication Publication Date Title
JP3648685B2 (ja) データ伝送方法及びデータ送信装置
EP1381235B1 (en) Data transmitting method, data receiving method, data transmitting device and data receiving device
US8942259B2 (en) Digital visual interface with audio and auxiliary data
JP2011223618A (ja) 信号送信装置
JP4008688B2 (ja) 信号送信装置及び信号受信装置
JP2007311928A (ja) 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
US20120081604A1 (en) Electronic apparatus
KR20030026347A (ko) 베이스밴드 영상 전송 시스템
JP4303166B2 (ja) データ受信装置、データ受信方法及びデータ伝送システム
JP4483457B2 (ja) 伝送システム
JP4299611B2 (ja) データ送信装置及びデータ受信装置
JP3964880B2 (ja) データ受信方法、データ受信装置、ディジタル信号伝送システム、およびデータ送受信方法
JP5140901B2 (ja) 信号伝送システム、及び信号受信装置
GB2442574A (en) Adding additional colour information to the teletext signal
WO2023171357A1 (ja) 信号伝送装置、信号伝送方法、信号受信装置、信号受信方法、及びプログラム
JP4560264B2 (ja) ベースバンド映像伝送システム、送信装置
JP4306096B2 (ja) データ伝送方法及びデータ伝送装置並びにデータ受信方法及びデータ受信装置
JPH09261195A (ja) 送信装置及び受信装置並びに送受信装置
JP2006042219A (ja) 映像・音声多重化装置及び映像・音声分離装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3648685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130225

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term