JP5628925B2 - 無線ネットワークでのオーディオ通信のための無線通信方法及びシステム - Google Patents

無線ネットワークでのオーディオ通信のための無線通信方法及びシステム Download PDF

Info

Publication number
JP5628925B2
JP5628925B2 JP2012530784A JP2012530784A JP5628925B2 JP 5628925 B2 JP5628925 B2 JP 5628925B2 JP 2012530784 A JP2012530784 A JP 2012530784A JP 2012530784 A JP2012530784 A JP 2012530784A JP 5628925 B2 JP5628925 B2 JP 5628925B2
Authority
JP
Japan
Prior art keywords
audio
information
audio packet
packet
hdmi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012530784A
Other languages
English (en)
Other versions
JP2013505664A (ja
Inventor
シャオ,ファイ−ロン
ゴ,チウ
シュ,チュ−ラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013505664A publication Critical patent/JP2013505664A/ja
Application granted granted Critical
Publication of JP5628925B2 publication Critical patent/JP5628925B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/083Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical and the horizontal blanking interval, e.g. MAC data signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Power Engineering (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Systems (AREA)

Description

本発明は、一般的な無線通信に係り、特に無線ネットワークのオーディオ伝送に関する。
高画質のマルチメディアインターフェース(High Definition Multimedia Interface: HDMI)は、圧縮されていないデジタルデータを統合伝送するための簡便なオーディオ/ビデオインターフェースである。HDMIフレームでは、垂直または水平のブランキング区間内にオーディオ情報が伝送され、ブランキング領域内でのオーディオ情報セグメントが、オーディオとビデオとの間の同期化(Lip-sync)によって決定される。しかし、一般的に無線システムでは、送信器と受信器との通信ストリーム(Communication Stream)のデータレートを減らすために、垂直または水平のブランキング領域は伝送されない。
本発明の実施形態は、HDMIフォーマットでデジタルビデオとデジタルオーディオとを伝送する無線通信システムにおけるオーディオ伝送のための方法及びシステムを提供する。
本発明の一実施形態は、HDMIフレーム内のオーディオパケットの位置情報を獲得することで、オーディオ情報を送受信するための手順を含む。前記手順は、前記位置情報が含まれたデジタルオーディオ情報を、無線通信媒体を通じてデータソースデバイスからデータシンクデバイスまで伝送するステップをさらに含む。無線伝送のために、伝送の間にオーディオ及びビデオのパケットを共に併合することで、オーディオとビデオとの同期化が維持される。
前記手順は、データシンクデバイスで、受信されたオーディオパケットをHDMIフレームの水平及び垂直のブランキング区間に挿入することで、HDMIフレームを再構成するステップをさらに含んでもよい。
本発明は、オーディオ/ビデオ同期化の実行を達成する間に、ブランキング情報の伝送を防止することで、データレートの減少を提供する。
本発明の一実施形態によって、デジタルビデオ及びデジタルオーディオをHDMIフォーマットで伝送する無線通信システムのオーディオ伝送のための電子送信無線ステーションデバイスについてのシステム図である。 本発明の一実施形態によって、HDMIフォーマットでデジタルビデオ及びデジタルオーディオを受信する無線通信システムのオーディオ通信のための無線通信システムの電子受信無線ステーションデバイスについてのシステム図である。 720pデジタルビデオでのHDMIフレーム構造の例を示す図である。 本発明の一実施形態によって、図1の送信器でのHDMIフレームの変換及びパケット化のための例示手順を示す図である。 本発明の一実施形態によって、図2の受信器でのデパケット化及びHDMIフレームの再構成のための逆順例示手順を示す図である。 本発明の一実施形態によって、併合されたオーディオパケットフォーマットを示す図である。 本発明の他の実施形態によって、併合されたオーディオパケットフォーマットを示す図である。 本発明のさらに他の実施形態によって、併合されたオーディオパケットフォーマットを示す図である。
本発明の前記または他の特徴、観点及び長所は、詳細な説明、特許請求の範囲及び図面により説明される。
本発明の実施形態は、HDMI(High Definition Multimedia Interface)フォーマットで、デジタルビデオ及びデジタルオーディオを伝送する無線通信システムのオーディオ伝送のための方法及びシステムを提供する。デジタルビデオ及びオーディオは、無線通信媒体(すなわち、RF(radio frequency))を通じて、無線伝送器のデータソースから無線受信器のデータシンクへ伝送される。
本発明の一実施形態として、ビデオ情報の時間同期化を維持するために(例えば、オーディオとビデオとの間の同期化維持(Lip-sync))、HDMIフレームに相応するブランキング区間の間に、デジタルオーディオ情報が、無線送信器(すなわち、無線送信ステーション)のデータソースから、無線受信器(すなわち、無線受信ステーション)のデータシンクへ伝送するための通信プロセスを行う無線通信システムを含む。本発明の一実施形態によれば、無線伝送のために、伝送の間にオーディオ及びビデオパケットを共に併合することで、オーディオとビデオとの同期化が維持される。
前記通信プロセスの一実施形態として、デジタルオーディオ及びビデオ情報間のジッタを最小化するために、無線チャネル(すなわち、RFチャネル)を通じたHDMIオーディオの伝送を含む。送信器側のHDMIフレーム内の各オーディオパケットの位置情報は、オーディオパケット内に含まれており、前記受信器側で互いに同期化されたオーディオ及びビデオ情報を含むHDMIフレームを再構成する。かかる方式により、HDMIオーディオは、HDMIフレーム内のオーディオパケットの位置情報をもたらすことで、ビデオと同期化を達成する。
後述する本発明によれば、HDMIフレーム内のオーディオパケットの位置情報を生成するためには、二つの例示方法がある。第1の方法(方法1)は、HDMIフレーム内の各オーディオパケットの正確な位置を獲得するステップを含み、その位置情報は、無線で送信器から受信器へ伝送される。第2の方法(方法2)は、併合されたオーディオパケット内のあらゆるオーディオパケットの位置推定情報を獲得するステップを含み、前記併合されたパケットは、無線で送信器から受信器へ伝送される。
各方法において、受信器は、オーディオパケットを水平または垂直の(H,V)ブランキング区間に挿入することで、HDMIフレームを再構成する。かかる方法は、さらに詳細に後述する。
本発明による一実施形態によれば、方法1のHDMIフレーム内のオーディオパケットの位置情報を生成するステップは、水平及び垂直位置情報をそれぞれのオーディオパケットに挿入するステップと、送信器側でパケット化手順を利用して、複数のオーディオパケットを共にHDMIフレーム内に併合するステップと、を含む。デジタルデータは、その後、無線で送信器から受信器へ伝送される。受信されたデータから、受信器は、各オーディオパケットを垂直及び水平のブランキング領域内の表示されたところに位置させることで、送信器でのHDMIフレームと同じであるか、または非常に類似したHDMIフレームを再構成する。
方法2の一実施形態によれば、オーディオパケットの分布パターンを推定するステップ、複数のオーディオパケットを共に併合するステップ、及び送信器でパケット化が実行される時に、オーディオパケット分布パターン情報を前記併合されたオーディオパケットに挿入するステップを含む。前記デジタルデータは、その後、無線で送信器から受信器へ伝送される。
受信されたデータから、受信器は、オーディオパケット分布パターンから計算した予想される垂直ラインに各オーディオパケットを位置させることで、受信器でのHDMIフレームと同じであるか、または類似したHDMIフレームを再構成する。オーディオとビデオとのジッタは、オーディオパケット分布パターンを推定することで、サービスの品質(Quality of Service:QoS)の要求を満足させるように制限される。
本発明の一実施形態によって、図1は、HDMIオーディオの無線通信を具現する無線HDMI送信ステーション(TX)10のシステム図面を示している。送信器10は、HDMIソース11(すなわち、デジタルメディア生成装置)と送信器通信モジュール12とを備える。
HDMIソース11は、デジタルオーディオ、非圧縮のビデオ及び他の補助のデータ(例えば、パケットヘッダ)をHDMIフォーマットで送信器通信モジュール12に提供するHDMI送信器13を備える。フォーマットは、移行最小回差等シグナリング(Transition Minimized Differential Signaling: TMDS)信号を含んでいる。
通信モジュール12は、TMDS信号をデコーディングし、垂直と水平の地域を除去するデコーダ/パーザ14を備える。通信モジュール12は、オーディオ、非圧縮のビデオ及び他の補助のデータを、無線送信モジュール(すなわち、60GHz無線送信モジュール)16を通じて複数のアンテナでもって無線チャネルへ伝送するために、パケットに分けるオーディオ/ビデオ(A/V)パケット化コントローラを備える。
一実施形態として、送信器通信モジュール12は、モジュール14,15の機能を行うAVデータ処理及び通信ロジック12A、モジュール16の機能を行う媒体アクセス(Media Access: MAC)階層12B及び物理(Physical: PHY)階層12Cを備える。モジュール12は、メモリ12Dとハードウェアプロセッサ12Eとをさらに備える。
本発明の一実施形態によって、図2は、HDMIオーディオの無線通信を具現する無線HDMI受信ステーション20のシステム図面を示している。受信器20は、通信モジュール21とHDMIシンク22(すなわち、デジタルメディアプレーヤー・デバイス)とを備える。
受信器通信モジュール21は、無線で受信器10から複数のアンテナ(すなわち、60GHz以上の無線チャネル)を通じて伝送されるための無線受信モジュールを備える。受信器通信モジュール21は、無線チャネルから受けたパケットからの情報をデパケット化するオーディオ/ビデオデパケット化コントローラ24をさらに備える。
受信器通信モジュール21は、デパケット化された情報をTMDSフォーマットにエンコーディングし、HDMIフレームを再構成する(垂直及び水平の区域に挿入する)エンコーダモジュール25をさらに備える。エンコーダモジュール25は、その後、使用のためにTMDS信号をHDMIシンク22(すなわち、HDMIシンク内のHDMI受信器)に伝達する。
一実施形態として、受信器通信モジュール21は、モジュール24,25の機能を行うオーディオ/ビデオ(AV)データ処理及び通信ロジック21A、無線受信モジュール23の機能を行うMAC階層21B及びPHY階層21Cを備える。モジュール21は、メモリ21Dとハードウェアプロセッサ21Eとをさらに備える。
本発明の一実施形態によって、図3は、送信器10と受信器20とのHDMI通信で使用する720pデジタルビデオでのHDMIデータフレーム構造30の例を示している。図3に示すように、垂直ブランキングでの45本のラインと、アクティブビデオ情報を有する垂直ラインでの水平ブランキングのための138個の画素とがある。デジタルオーディオまたは他の補助のデータは、垂直及び水平のブランキング領域32,33内のデータアイランド区間31内にそれぞれ積載される。
HDMIソース11(図1)でHDMIフレームが形成される時、オーディオ/ビデオ同期化要求程度は、ブランキング領域32,33(図3)内のオーディオパケットの配置を決定する。HDMIフレーム構造30は、同期式伝送のために設計された。しかし、無線伝送では、(60GHz無線通信のような)パケット基盤の非同期式の伝送のみが使われるため、本発明は、HDMIソース11からHDMIシンク22へのオーディオとビデオとの無線伝送のために、HDMIフレーム変換及びパケット化を利用して、オーディオとビデオとの同期化を確認する。
本発明の一実施形態によって、図4は、無線送信器10(図1)の通信モジュール12におけるHDMIフレーム変換及びパケット化のための例示手順40を示している。該手順40は、HDMIソース11から通信モジュール12まで信号として達した3TMDSチャネルでのHDMIフレーム30の処理のための次の手順ブロックで構成される。
ブロック41:3TMDSチャネルでHDMIフレームを表現する信号を分析する。
ブロック42:前記HDMIフレームがデータアイランドを含むか。そうならば、ブロック43に進み、HDMIフレームにオーディオがなければ、ブロック49に進む。
ブロック43:HDMIフレーム内の現在のデータアイランドの(H,V)位置情報を保存する。
ブロック44:TMDSチャネル0でのデータパケットヘッダを分析する。
ブロック45:パケットがオーディオパケットであるか否かを確認して、そうならば、ブロック46に進み、他の場合であれば、ブロック48に進む。
ブロック46:更なるオーディオパケットが併合されるか否かを確認して、そうならば、ブロック41に進み、他の場合であれば、ブロック47に進む。
ブロック47:無線伝送のために受信されたオーディオパケットから併合されたオーディオパケット(図6及び7)を生成する。終了。
ブロック48:無線伝送のために情報データパケットを生成する(情報データパケットは、一般的にコントロールメッセージを積載する)。終了。
送信器10は、HDMIソース11から、各データアイランドの開始位置を保存し、TMDSチャネル0でのデータパケットヘッダを分析する。もし、データパケットがオーディオパケットであれば、送信器10は、オーディオ/ビデオジッタの要求程度と、併合されたオーディオパケットの予測されるサイズとによって、入るオーディオパケットをさらに待つか否かを決定する。もし、データパケットがインフォフレームパケットであれば、一般的に、送信器10は、インフォフレームパケットを併合しない。
一実施形態として、HDMIフレーム変換は、デコーダ/パーザ14で行われ、パケット化は、送信器10のパケット化コントローラ15で行われる。一実施形態として、フレーム変換は、TMDS符号化データ信号をデコーディングするステップと、HDMIフレームからHとV地域を除去するステップと、を含む。一実施形態として、パケット化は、オーディオ、ビデオ及びデータの情報を分離するステップと、それらをパケットに位置させるステップと、を含む。
図5は、本発明の一実施形態として、HDMI無線受信器20(図2)の通信モジュール21におけるデパケット化及びフレーム再構成のための逆順手順50を示している。該手順50は、無線チャネルを通じて受信器10から到着したパケットを処理するための次の手順ブロックで構成されている。
ブロック51:到着したパケットが併合されたオーディオパケットであるか否かを確認して、そうならば、ブロック52に進み、他の場合であれば、ブロック55に進む。
ブロック52:集合されたパケットヘッダと、集合されたパケットヘッダ内の各オーディオパケットヘッダとを分析してデパケット化する。
ブロック53:各オーディオパケットについてのデータアイランドの(H,V)位置を獲得する。
ブロック54:3TMDSチャネルで(H,V)位置によって、チャネル0でのオーディオパケットヘッダ及びV/Hブランキング、並びにチャネル1,2でのオーディオデータによるHDMI信号を生成する。終了。
ブロック55:各インフォフレームパケットについてのデータアイランドの(H,V)位置を獲得する。ブロック54に進む。
この例において、デパケット化は、デパケット化モジュール24(図2)により行われ、HDMIフレーム再構成は、受信器20のTMDSエンコーダ/送信器モジュール25により行われる。一実施形態として、デパケット化は、前述したパケット化と逆の方式でパケットから情報を抽出することを含む。
本発明の一実施形態によって、送信器10で併合されたオーディオパケットを生成するために、図1において、HDMIフレーム内のオーディオパケットの位置情報を生成するステップは、HDMIフレーム内の各オーディオパケットの正確な位置を積載するステップを含む。本発明の図1によって、図6の集合されたオーディオパケットフォーマット60の例を見れば、垂直及び水平の位置情報(V/H位置フィールド)は、各オーディオパケットに挿入され、複数のオーディオパケットは、パケット化の間に送信器10のパケット化コントローラ15により共に併合される。
受信器20は、その後、再構成されたHDMIフレームのブランキング領域内の指定された水平及び垂直位置に各オーディオパケットを位置させることで、送信器10と同じHDMIフレームを再構成する。併合されたパケット60内のV/H位置フィールドは、nオクテット(すなわち、12ビットが各水平及び垂直位置を表現するのに使われる。)のようなオーディオパケットの水平及び垂直の位置情報を含む。パケット60内のn値は、3,4のような整数である。併合されたパケット60内のオーディオパケット長さフィールドは、オクテット内のオーディオパケットの長さを表す。
本発明の一実施形態によって、図2において、HDMIフレーム内のオーディオパケットの位置情報を生成するステップは、あらゆるオーディオパケットのための位置推定情報を、併合されたオーディオパケットに積載するステップを含む。本発明の図2によって、図7の集合されたオーディオパケットフォーマット70の例を見れば、V/H位置とライン距離とを表現する4オクテットが各オーディオパケットのヘッダに導入されている。
ヘッダのオーバーヘッドを減らすために、オーディオパケット分布パターンが推定される。例えば、垂直ライン10,12,13,16,18でのオーディオパケットが併合されることが必要な場合、これは、二つの隣接したパケット間が2というライン距離と推定され、図7では、最初のオーディオパケットフィールドのV/H位置が10に設定され、二つの隣接したオーディオパケットフィールドのライン距離が2に設定されている。複数のオーディオパケットは、併合されたパケット70内で共に併合され、そのオーディオパケット分布パターン情報(例えば、二つの隣接したオーディオパケットのライン距離)は、パケット化コントローラ15により、送信器10でパケット化の間に併合されたオーディオパケット70に挿入される。
受信器20は、各オーディオパケットをオーディオパケット分布パターンから計算された予測される垂直ラインに位置させることで、送信器10でのHDMIフレームと同様にHDMIフレームを再構成する。オーディオとビデオとのジッタは、オーディオパケット分布パターンから推定されるQoS要求程度を充足させるように制限される。集合されたパケット70内の二つの隣接したオーディオパケットフィールドのライン距離は、二つのオーディオパケット間の平均ラインの数を表す。例えば、受信器側は、オーディオパケットの垂直ラインを10,12,14,16,18で再構成し、これは、送信器側と同一である必要はなく、(ライン14が変更されたように)本来の垂直ライン10,12,13,16,18と若干の差があるように再構成する。
本発明の他の実施形態によるオーディオ/ビデオ同期化は、受信器10でのパケット化の間に、図8に併合されたパケット80の例で示すように、オーディオ及びビデオ情報を併合する垂直ライン基盤の接近を含む。併合されたパケット80内の最初の垂直ラインがアクティブデータを積載しているならば、併合されたパケット80内のライン類型フィールドは“1”に設定され、最初の垂直ラインが垂直のブランキングラインであれば、“0”に設定される。V位置フィールドは、併合されたパケット内の最初の垂直ラインの垂直ライン係数を表す。ラインフィールドの数字は、現在のパケット80内の垂直ラインの数字を表す。
併合されたパケット80内の最初の垂直ラインがアクティブデータを有している場合、ラインタイプフィールドは、“1”に設定され、最初の垂直ラインが垂直のブランキングラインである場合、“0”に設定される。インフォフレーム存在フィールドは、インフォフレームデータが現在のパケット80に積載されているか否かを表す。オーディオデータ存在フィールドは、オーディオデータが現在のパケット80に積載されているか否かを表す。ビデオデータ存在フィールドは、ビデオデータが現在のパケット80に積載されているか否かを表す。
本発明は、オーディオ/ビデオ同期化の実行を達成する間に、ブランキング情報の伝送を防止することで、データレートの低下を提供する。受信器は、オーディオ/ビデオ同期化が達成される間に、オーディオパケットを垂直及び水平のブランキング区間に挿入することで、HDMIフレームを再構成する。たとえ、オーディオとビデオとが異なるクロックを使用するとしても、本発明は、送信器と受信器との両側での変換を防止するために、直接位置情報を使用する。
本発明によれば、かかる技術が技術分野で知られたように、前述した例示構造は、プロセッサによる実行のためのプログラム命令語、ソフトウェアモジュール、マイクロコード、コンピュータで読み取り可能な媒体であるコンピュータプログラム商品、論理回路、アプリケーション特定集積回路、ファームウェア、消費者電子装置、無線送信器、無線受信器など多くの方法で具現される。さらに、本発明の一実施形態は、全体的にハードウェアの実施形態や全体的にソフトウェアの実施形態、または全体的にハードウェアとソフトウェア要素とをいずれも含んでいる実施形態を有する。

Claims (25)

  1. オーディオ情報通信方法において、
    高画質のマルチメディアインターフェース(High-Definition Multimedia Interface:HDMI)フレーム内のオーディオパケットの位置情報を獲得するステップと、
    前記HDMIフレームの垂直ブランキング領域と水平ブランキング領域を除去するステップと、
    前記位置情報を含むデジタルオーディオパケットを、無線通信媒体を通じてデータソースデバイスからデータシンクデバイスまで送信するステップと、
    を含むことを特徴とするオーディオ情報通信方法。
  2. 前記オーディオパケットの位置情報を獲得するステップは、
    HDMIフレームの垂直及び水平のブランキング領域内で、オーディオパケットを含む現在のデータアイランドの水平及び垂直位置を決定するステップ
    を含むことを特徴とする請求項1に記載のオーディオ情報通信方法。
  3. 記送信するステップは、
    前記データソースデバイスから前記データシンクデバイスまで無線で送信される前記オーディオパケットの正確な位置情報を、それぞれのオーディオパケットに積載するステップ
    をさらに含むことを特徴とする請求項2に記載のオーディオ情報通信方法。
  4. 記送信するステップは、
    前記データソースデバイスから前記データシンクデバイスまで無線で送信される複数のオーディオパケットについての位置推定情報を、各オーディオパケット内に積載するステップ
    をさらに含むことを特徴とする請求項2に記載のオーディオ情報通信方法。
  5. 記送信するステップは、
    垂直及び水平の位置情報を各オーディオパケットに挿入し、パケット化プロセスを利用して複数のオーディオパケットを共に併合するステップと、
    前記データソースデバイスから前記データシンクデバイスまで無線通信媒体を通じて、前記併合されたオーディオパケットを伝送するステップと、
    をさらに含むことを特徴とする請求項4に記載のオーディオ情報通信方法。
  6. オーディオパケット分布パターンを推定するステップと、
    前記推定されたオーディオパケット分布パターンを前記併合されたオーディオパケット内に積載するステップと、
    をさらに含むことを特徴とする請求項5に記載のオーディオ情報通信方法。
  7. 前記推定されたオーディオパケット分布パターンは、前記HDMIフレーム内の二つの隣接するオーディオパケットについてのライン距離を含む
    ことを特徴とする請求項6に記載のオーディオ情報通信方法。
  8. 前記データシンクデバイスにおいて、受信されたオーディオパケットを前記HDMIフレームの水平及び垂直のブランキング区間に挿入することで、HDMIフレームを再構成するステップ
    をさらに含むことを特徴とする請求項2に記載のオーディオ情報通信方法。
  9. 前記HDMIフレームを再構成するステップは、
    前記水平及び垂直位置によって、チャネル0でのオーディオパケットヘッダ、水平及び垂直のブランキング、並びにチャネル1,2でのオーディオデータによって、3移行最小回差等シグナリング(Transition Minimized Differential Signaling:TMDS)チャネルでHDMI信号を生成するステップを
    さらに含むことを特徴とする請求項8に記載のオーディオ情報通信方法。
  10. オーディオ情報無線通信システムにおいて、
    データソースデバイスを備え、
    前記データソースデバイスは、
    高画質のマルチメディアインターフェース(HDMI)フレーム内のオーディオパケットの位置情報を獲得し、前記HDMIフレームの垂直ブランキング領域と水平ブランキング領域を除去するために構成されたパーザモジュールと、
    無線通信媒体を通じて、前記位置情報を含むデジタルオーディオパケットをデータシンクデバイスに送信するために構成されたコントロールモジュールと、
    を含むことを特徴とするオーディオ情報無線通信システム。
  11. 前記パーザモジュールは、
    前記HDMIフレーム内の垂直及び水平のブランキング領域内で、オーディオが含まれている現在のデータアイランドについての水平及び垂直位置を決定することで、オーディオパケットの位置情報を獲得するようにさらに構成される
    ことを特徴とする請求項10に記載のオーディオ情報無線通信システム。
  12. 前記コントロールモジュールは、
    前記データソースデバイスから前記データシンクデバイスまで無線で伝送される前記オーディオパケットの正確な位置情報を、各オーディオパケットに含めるようにさらに構成される
    ことを特徴とする請求項11に記載のオーディオ情報無線通信システム。
  13. 前記コントロールモジュールは、
    前記データソースデバイスから前記データシンクデバイスまで無線で伝送される複数のオーディオパケットの位置推定情報を、オーディオパケット内に含めるようにさらに構成される
    ことを特徴とする請求項11に記載のオーディオ情報無線通信システム。
  14. 前記コントロールモジュールは、
    各オーディオパケットに水平及び垂直位置情報を挿入し、パケット化プロセスを利用して複数のオーディオパケットを共に併合し、
    前記併合されたオーディオパケットを、前記無線通信媒体を通じて前記データソースデバイスから前記データシンクデバイスまで送信するようにさらに構成される
    ことを特徴とする請求項13に記載のオーディオ情報無線通信システム。
  15. 前記コントロールモジュールは、
    オーディオパケット分布パターンを推定し、
    前記推定されたオーディオパケット分布パターンを前記併合されたオーディオパケットに含めるようにさらに構成される
    ことを特徴とする請求項14に記載のオーディオ情報無線通信システム。
  16. 前記推定されたオーディオパケット分布パターンは、
    前記HDMIフレーム内の二つの隣接したオーディオパケットのライン距離を含む
    ことを特徴とする請求項15に記載のオーディオ情報無線通信システム。
  17. 受信されたオーディオパケットを前記HDMIフレームの水平及び垂直のブランキング区間に挿入することで、HDMIフレームを再構成するための再構成モジュールを含むデータシンクデバイスをさらに備える
    ことを特徴とする請求項10に記載のオーディオ情報無線通信システム。
  18. 前記データシンクデバイスは、
    前記水平及び垂直位置によって、チャネル0でのオーディオパケットヘッダ、水平及び垂直のブランキング、並びにチャネル1,2でのオーディオデータによって、3TMDSチャネルにHDMI信号を生成することで、HDMIフレームを再構成するようにさらに構成される
    ことを特徴とする請求項17に記載のオーディオ情報無線通信システム。
  19. オーディオ情報の無線通信のための無線オーディオソース装置において、
    高画質のマルチメディアインターフェース(HDMI)フレーム内のオーディオパケットの位置情報を獲得し、前記HDMIフレームの垂直ブランキング領域と水平ブランキング領域を除去するために構成されたパーザモジュールと、
    前記位置情報を含むデジタルオーディオパケットを、無線通信媒体を通じてデータシンク装置に送信するために構成されたコントロールモジュールと、を含む
    ことを特徴とする無線オーディオソース装置。
  20. 前記パーザモジュールは、
    前記HDMIフレーム内の水平及び垂直のブランキング領域内で、オーディオパケットを含む現在のデータアイランドについての水平及び垂直位置を決定することで、オーディオパケットの位置情報を獲得する構成をさらに含む
    ことを特徴とする請求項19に記載の無線オーディオソース装置。
  21. 前記コントロールモジュールは、
    オーディオパケットの前記無線オーディオソース装置から前記データシンク装置まで無線で伝送される前記オーディオパケットの正確な位置情報を、各オーディオパケットに含める構成をさらに含む
    ことを特徴とする請求項20に記載の無線オーディオソース装置。
  22. 前記コントロールモジュールは、
    前記無線オーディオソース装置から前記データシンク装置まで無線で伝送される複数のオーディオパケットの位置推定情報を、オーディオパケットに含める構成をさらに含む
    ことを特徴とする請求項20に記載の無線オーディオソース装置。
  23. 前記コントロールモジュールは、
    各オーディオパケットに水平及び垂直位置情報を挿入し、パケット化プロセスを利用して複数のオーディオパケットを共に併合する構成と、
    前記併合されたオーディオパケットを、前記無線通信媒体を通じて前記無線オーディオソース装置から前記データシンク装置に送信するための構成とをさらに含む
    ことを特徴とする請求項22に記載の無線オーディオソース装置。
  24. 前記コントロールモジュールは、
    オーディオパケット分布パターンを推定し、
    前記推定されたオーディオパケット分布パターンを、前記併合されたオーディオパケットに含めるための構成をさらに含む
    ことを特徴とする請求項23に記載の無線オーディオソース装置。
  25. 前記推定されたオーディオパケット分布パターンは、
    前記HDMIフレーム内の二つの隣接したオーディオパケットのライン距離を含む
    ことを特徴とする請求項24に記載の無線オーディオソース装置。
JP2012530784A 2009-09-23 2010-09-20 無線ネットワークでのオーディオ通信のための無線通信方法及びシステム Expired - Fee Related JP5628925B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US24518009P 2009-09-23 2009-09-23
US61/245,180 2009-09-23
US12/822,107 US8345681B2 (en) 2009-09-23 2010-06-23 Method and system for wireless communication of audio in wireless networks
US12/822,107 2010-06-23
PCT/KR2010/006500 WO2011037406A2 (en) 2009-09-23 2010-09-20 Method and system for wireless communication of audio in wireless networks

Publications (2)

Publication Number Publication Date
JP2013505664A JP2013505664A (ja) 2013-02-14
JP5628925B2 true JP5628925B2 (ja) 2014-11-19

Family

ID=43756548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012530784A Expired - Fee Related JP5628925B2 (ja) 2009-09-23 2010-09-20 無線ネットワークでのオーディオ通信のための無線通信方法及びシステム

Country Status (12)

Country Link
US (2) US8345681B2 (ja)
EP (1) EP2471259A4 (ja)
JP (1) JP5628925B2 (ja)
KR (1) KR101690260B1 (ja)
CN (1) CN102668547B (ja)
AU (1) AU2010298908B2 (ja)
BR (1) BR112012006554A2 (ja)
CA (1) CA2775318C (ja)
MX (1) MX2012003532A (ja)
MY (1) MY165521A (ja)
RU (1) RU2519817C2 (ja)
WO (1) WO2011037406A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118106A1 (ja) 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
US8156238B2 (en) * 2009-05-13 2012-04-10 Stmicroelectronics, Inc. Wireless multimedia transport method and apparatus
KR101254408B1 (ko) * 2011-03-31 2013-04-18 우송대학교 산학협력단 60ghz 주파수 대역의 양방향 cec 시스템
US9307204B1 (en) * 2012-11-13 2016-04-05 Amazon Technologies, Inc. Enhancement of media sink compatibility
CN104103924B (zh) * 2013-04-02 2017-04-26 华为终端有限公司 高清晰多媒体接口hdmi接口单元及多媒体终端
US9270929B2 (en) * 2013-12-19 2016-02-23 Lattice Semiconductor Corporation Formatting audio-video information compliant with first transmission format to second transmission format in integrated circuit for offloading physical layer logic for first transmission format to separate integrated circuit
US9736806B2 (en) * 2014-02-28 2017-08-15 Qualcomm Incorporated Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework
RU2687065C2 (ru) * 2014-07-18 2019-05-07 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
US9749682B2 (en) 2015-06-09 2017-08-29 Qualcomm Incorporated Tunneling HDMI data over wireless connections
US9384086B1 (en) 2015-11-30 2016-07-05 International Business Machines Corporation I/O operation-level error checking
CN105611381A (zh) * 2015-12-29 2016-05-25 深圳市民展科技开发有限公司 一种基于无线网络的多设备音频同步播放系统及方法
CN110072136B (zh) * 2019-04-10 2021-08-10 中央电视台 一种4k超高清播出系统
CN111836004A (zh) * 2019-04-18 2020-10-27 杭州海康威视数字技术股份有限公司 一种音频数据传输方法、装置、系统及设备
GB202019640D0 (en) * 2020-12-13 2021-01-27 Crawford John A wireless audio system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3480777B2 (ja) * 1996-03-15 2003-12-22 パイオニア株式会社 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法
US7336712B1 (en) * 1998-09-02 2008-02-26 Koninklijke Philips Electronics N.V. Video signal transmission
EP3496349B1 (en) * 2001-12-24 2021-09-29 Koninklijke Philips N.V. System for video and auxiliary data transmission over a serial link
KR100586669B1 (ko) * 2003-08-27 2006-06-08 닛뽕빅터 가부시키가이샤 전송 시스템
JP4487675B2 (ja) * 2003-08-27 2010-06-23 日本ビクター株式会社 伝送システム
DE102004018200A1 (de) 2004-04-15 2005-11-10 Deutsche Thomson-Brandt Gmbh Verfahren zum Verarbeiten einer Folge von Datenpaketen in einer Empfängervorrichtung sowie Empfängervorrichtung
US7228154B2 (en) * 2004-11-03 2007-06-05 Sony Corporation Method and system for processing wireless digital multimedia
JP2006211384A (ja) * 2005-01-28 2006-08-10 Victor Co Of Japan Ltd 映像・音声多重化装置及び映像・音声分離装置
US20060212911A1 (en) * 2005-03-15 2006-09-21 Radiospire Networks, Inc. System, method and apparatus for wireless delivery of analog media from a media source to a media sink
US20060209890A1 (en) * 2005-03-15 2006-09-21 Radiospire Networks, Inc. System, method and apparatus for placing training information within a digital media frame for wireless transmission
US7499462B2 (en) * 2005-03-15 2009-03-03 Radiospire Networks, Inc. System, method and apparatus for wireless delivery of content from a generalized content source to a generalized content sink
KR100766496B1 (ko) * 2005-07-08 2007-10-15 삼성전자주식회사 에이치디엠아이 전송 시스템
KR100745282B1 (ko) * 2005-08-11 2007-08-01 엘지전자 주식회사 미디어 싱크 디바이스에 연결된 복수의 미디어 소스디바이스 제어 장치 및 방법
JP2007129458A (ja) * 2005-11-02 2007-05-24 Rohm Co Ltd オーディオデータ処理回路、およびそれを搭載した電子機器
US20070143801A1 (en) * 2005-12-20 2007-06-21 Madonna Robert P System and method for a programmable multimedia controller
US8365238B2 (en) 2006-01-06 2013-01-29 Amimon Ltd Method and apparatus for using the video blanking period for the maintenance of a modem that is used for wireless transmission of video
US20070186015A1 (en) * 2006-02-08 2007-08-09 Taft Frederick D Custom edid content generation system and method
EP1995952A4 (en) * 2006-03-03 2010-05-19 Panasonic Corp TRANSMITTER DEVICE, RECEIVER DEVICE, AND TRANSCEIVER / RECEIVER DEVICE
CN101331771B (zh) * 2006-05-16 2010-07-28 索尼株式会社 通信系统、发送设备、接收设备和通信方法
JP3952077B1 (ja) * 2006-06-06 2007-08-01 オンキヨー株式会社 ホットプラグ信号検出装置、ソース機器およびリピータ機器
JP2008283561A (ja) * 2007-05-11 2008-11-20 Sony Corp 通信システム、映像信号伝送方法、送信装置、送信方法、受信装置および受信方法
CN101394490A (zh) * 2007-09-20 2009-03-25 厦门华侨电子股份有限公司 一种无压缩的无线数字高清音视频信号的收发一体显示装置
JP4743196B2 (ja) * 2007-12-14 2011-08-10 ソニー株式会社 電子機器および電子機器におけるループ判断方法
US8422518B2 (en) * 2008-08-19 2013-04-16 Integrated Device Technology, Inc. Managing transmit jitter for multi-format digital audio transmission
JP4592806B1 (ja) * 2009-06-18 2010-12-08 株式会社東芝 無線通信装置

Also Published As

Publication number Publication date
RU2012116090A (ru) 2013-11-20
US20110069647A1 (en) 2011-03-24
US20130088641A1 (en) 2013-04-11
EP2471259A4 (en) 2013-02-27
MX2012003532A (es) 2012-04-19
BR112012006554A2 (pt) 2017-12-12
WO2011037406A2 (en) 2011-03-31
AU2010298908B2 (en) 2014-02-20
JP2013505664A (ja) 2013-02-14
WO2011037406A3 (en) 2011-08-25
US8345681B2 (en) 2013-01-01
CN102668547A (zh) 2012-09-12
CA2775318A1 (en) 2011-03-31
CN102668547B (zh) 2015-09-16
US8654767B2 (en) 2014-02-18
CA2775318C (en) 2016-04-05
MY165521A (en) 2018-04-02
EP2471259A2 (en) 2012-07-04
AU2010298908A1 (en) 2012-04-19
RU2519817C2 (ru) 2014-06-20
KR20120079020A (ko) 2012-07-11
KR101690260B1 (ko) 2017-01-09

Similar Documents

Publication Publication Date Title
JP5628925B2 (ja) 無線ネットワークでのオーディオ通信のための無線通信方法及びシステム
KR100801002B1 (ko) 무선 네트워크 상에서 멀티미디어 데이터를 전송/재생하는방법, 및 그 방법을 이용한 무선 기기
EP2827600B1 (en) Image processing device, image reproduction device, and image reproduction system
EP2420013B1 (en) Embedded clock recovery
CN107995503B (zh) 音视频播放方法和装置
US20090003379A1 (en) System and method for wireless communication of uncompressed media data having media data packet synchronization
JP2009518986A (ja) Mpegフォーマットのマルチメディアデータを伝送するための方法、通信システム、マルチメディア加入者端末機、およびゲートウエイ
EP3281317B1 (en) Multi-layer timing synchronization framework
KR101862355B1 (ko) 무선 통신 시스템에서 오디오/비디오(a/v) 스트림 포맷 변경의 동기화를 위한 방법 및 시스템.
KR20130126932A (ko) 고속 비디오 네트워크 내의 비동기 및 등시 데이터 송신을 위한 방법 및 시스템
KR20070008069A (ko) 음성/영상신호의 동기화 장치 및 방법
JP2020010356A (ja) 方法
JP4059857B2 (ja) 伝送装置及び伝送方法
KR20080024310A (ko) 무선 네트워크에 있어서의 패킷화 장치, 역패킷화 장치,재생시간 처리 방법
KR20080051091A (ko) 매체 데이터 패킷 동기화를 포함하는 비압축 매체 데이터의무선 통신 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141002

R150 Certificate of patent or registration of utility model

Ref document number: 5628925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees