JP4426579B2 - コンテンツ提供システム及びこれのための移動端末 - Google Patents

コンテンツ提供システム及びこれのための移動端末 Download PDF

Info

Publication number
JP4426579B2
JP4426579B2 JP2006524578A JP2006524578A JP4426579B2 JP 4426579 B2 JP4426579 B2 JP 4426579B2 JP 2006524578 A JP2006524578 A JP 2006524578A JP 2006524578 A JP2006524578 A JP 2006524578A JP 4426579 B2 JP4426579 B2 JP 4426579B2
Authority
JP
Japan
Prior art keywords
content
data
audio
speed
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006524578A
Other languages
English (en)
Other versions
JP2007504707A5 (ja
JP2007504707A (ja
Inventor
コウ,ジン
Original Assignee
ヴァロ ビジョン カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴァロ ビジョン カンパニー リミテッド filed Critical ヴァロ ビジョン カンパニー リミテッド
Priority claimed from PCT/KR2004/002148 external-priority patent/WO2005022764A1/en
Publication of JP2007504707A publication Critical patent/JP2007504707A/ja
Publication of JP2007504707A5 publication Critical patent/JP2007504707A5/ja
Application granted granted Critical
Publication of JP4426579B2 publication Critical patent/JP4426579B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Description

発明の詳細な説明
〔技術分野〕
本発明は、移動端末を通じた実時間あるいは予め格納されたコンテンツの再生時、多様な再生形態を提供することができるコンテンツ提供システム及びこれのための移動端末に関するものである。
〔背景技術〕
通常、ビデオとオーディオプログラム信号は、一般的に確立されたアルゴリズムや方式によってデジタルフォーマットに変換された後、圧縮、エンコーディング及びマルチプレクシング(多重化)される。圧縮されたデジタルシステム信号、すなわちビットストリームはビデオ部分とオーディオ部分、そしてその他の情報部分を含み、このようなデータは伝送ラインを通じて、あるいは記録媒体に格納されて再生装置に伝達される。DVDシステム、デジタルVCR、あるいはマルチメディアプレーヤーソリューションを内蔵するコンピュータシステムなどのように、ビデオデータとオーディオデータなどが多重化されたマルチメディアデータを再生するデジタル再生装置には、前記のようなビットストリームを再生するためのデコーディング手段が提供される。このデコーディング手段は、圧縮アルゴリズムにしたがってビットストリームをデマルチプレクシングし、圧縮を解凍し、デコードすることで、再生可能な信号に作り出す。デコードされたビデオとオーディオ信号は画面、スピーカーなどのような再生装置に出力されて、使用者が鑑賞できるように表現される。
前記デジタルコンテンツは多様な方法で使用者に提供されるが、近年には移動通信技術及び端末技術の発達によって、移動通信網を通じてもデータサービスが可能になるにつれて、多様な形態のデジタルコンテンツサービスが要求されており、使用者も移動端末を通じてこのようなデジタルコンテンツを受けることを望んでいる。
したがって、移動端末を通じた実時間動画コンテンツを提供することができるシステムとこれのための移動端末技術が要求され、これによって発生し得る問題点を解決するための多様な技術が要求されている実情である。
〔発明の開示〕
本発明の目的は、実時間あるいは予め格納されたデジタルコンテンツを使用者の移動端末に提供することはもちろん、多様な形態に再生することができるコンテンツ提供システム及びこれのための移動端末を提供することにある。
前記目的を達成するため、本発明による移動端末は、デジタルコンテンツを移動通信網を通じて受けて再生する移動端末であって、前記移動端末は、全体動作制御のための制御部と;使用者から動作命令を受けるための入力部と;データ格納のための格納部と;移動通信網と無線送受信を行い、移動通信網を通じてコンテンツを受信する無線送受信部と;作動情報及び動画を表示するための表示部と;音声出力のために、デジタル信号をアナログ信号に変換するデジタル/アナログ変換部と;前記デジタル/アナログ変換部で変換されたアナログ信号を増幅してスピーカーに出力する増幅部と;前記無線送受信部を通じて受信されたコンテンツをデコードして再生速度を調節するためのMPEG処理部と;を含むことを特徴とする。
また、本発明によるコンテンツ提供システムは、デジタルコンテンツを移動通信網を通じて移動端末に提供するコンテンツ提供サーバーを含むコンテンツ提供システムであって、前記コンテンツ提供サーバーは、インターネットを通じてウェブページを提供し、ウェブ接続を制御するウェブサーバーと;コンテンツ提供を制御し、再生速度を調節するコンテンツ制御サーバーと; 前記コンテンツ制御サーバーから受けたオーディオを含む動画コンテンツあるいはオーディオのみを含むオーディオコンテンツのMPEGデータを、前記ウェブサーバーを通じて接続した移動端末にストリーミングサービスで提供するストリーミングサーバーと;を含むことを特徴とする。
〔図面の簡単な説明〕
図1は本発明によるコンテンツ提供システムの接続を説明するためのブロック図である。
図2は本発明による移動端末構成の実施例を説明するためのブロック図である。
図3は本発明によるMPEG処理部構成の実施例を説明するためのブロック図である。
図4は本発明によるデータの同期化を説明するための概略的な説明図である。
図5は本発明によるコンテンツ提供方法の実施例を説明するための流れ図である。
図6は本発明によるコンテンツ提供サーバー構成の実施例を説明するためのブロック図である。
図7は本発明によるコンテンツ制御サーバー構成の実施例を説明するためのブロック図である。
図8は本発明によるコンテンツ提供方法の他の実施例を説明するための流れ図である。
〔発明を実施するための最良の様態〕
以下、添付図面を参照して本発明の望ましい実施例について詳細に説明する。
図1は本発明によるコンテンツ提供システムの接続を説明するためのブロック図である。
図1を参照すれば、移動通信網は、移動端末100と無線通信を行う基地局(BTS)310と、前記BTS310を制御する基地局制御器(BSC)320と、前記BSC320と接続されて呼を交換する交換器(MSC)330と、前記MSC330と接続されて使用者の位置情報を管理するホーム位置登録器(HLR)340と、前記BSC320と接続されてパケットデータサービスを提供するパケットデータサービスノード(PDSN)350と、PDSN350に接続されるデータコア網(DCN)370とを含む。
また、前記PDSN350には、移動端末100及び200を通じて無線LANを提供するためのアクセスポイント(AP)360が接続され、前記DCN370にはインターネット400が接続され、前記インターネット400にはコンテンツを提供するコンテンツ提供サーバー500が接続される。
前記コンテンツ提供サーバー500は、移動通信網を通じて移動端末100(または200)に、予め格納された動画コンテンツまたは実時間動画コンテンツを提供する。移動端末100(または200)は、前記コンテンツ提供サーバー500から動画を受けて再生することで、使用者が動画を楽しむようにする。
前記動画コンテンツはオーディオデータを含む動画MPEGデータあるいはオーディオデータのみを持つオーディオMPEGデータ(例えば、MP3)であることができ、移動端末は前記MPEGデータをデコードすることができるデコーダーを含む。
本発明は、前記MPEGデータの再生速度を調節することで、MPEGデータの2倍速度で再生を行うことができる。これにより、本発明は、動画の再生速度あるいはオーディオの再生速度を増加させることで、使用者にとって動画の視聴時間あるいはオーディオの聞取時間を短縮させることができる。
前記MPEGデータの再生時間調節は移動端末でなされるか、あるいはコンテンツを提供するコンテンツ提供サーバーで予めなされて移動端末に提供することができる。まず、移動端末でMPEGデータの再生時間を調節する実施例を説明し、移動端末100の構成を例として説明する。
オーディオの再生時間を調節する方法は多様な技術が公開されているが、特に大韓民国公開特許第10−2002−0049087号に開示された‘変速再生時にも音色変化を誘発しないようにするオーディオ信号再生方法とこれのための再生装置’には、オーディオの再生速度を変更しても、ピッチ(pitch)変化を抑制することで、低速及び高速再生時の音色変化を防止する技術が開示されている。
図2は本発明による移動端末100の構成の実施例を説明するためのブロック図である。
図2を参照すれば、本発明による移動端末100は、全体動作制御のための制御部120と、使用者から動作命令を受けるための入力部110と、データ格納のための格納部130と、移動通信網のBTS310と無線送受信を実行するための無線送受信部141と、AP360と無線LAN接続を行うための無線LAN接続部142と、作動情報及び動画を表示するための表示部150と、音声出力のためにデジタル信号をアナログ信号に変換するデジタル/アナログ変換部181と、前記デジタル/アナログ変換部で変換されたアナログ信号を増幅してスピーカー183に出力する増幅部182とを含む。
また、前記移動端末100は、動画データ、すなわちMPEGデータを処理するためのMPEG処理部160と、そのデータを格納するためのコンテンツ格納部170とを含む。
前記MPEG処理部160は、移動通信網を通じてコンテンツ提供サーバー500から伝送されるMPEGデータ(オーディオを含む動画データまたはオーディオデータ)をデコードし、再生速度を調節するもので、その詳細な構成は次のようである。
図3は本発明によるMPEG処理部の構成を説明するためのブロック図である。
図3を参照すれば、本発明によるMPEG処理部160は、MPEGデータからビデオデータとオーディオデータを分離するデータ分離部161と、前記データ分離部161で分離されたビデオデータを所定形式にデコードするビデオデコーダー162と、前記データ分離部161で分離されたオーディオデータを所定形式にデコードするオーディオデコーダー163とを含む。
また、本発明による前記MPEG処理部160は、前記ビデオデコーダー162でデコードされたビデオデータと前記オーディオデコーダー163でデコードされたオーディオデータの再生速度を調節するようにデータ処理を行う速度調節部164と、前記速度調節部164で再生速度が調節されたビデオデータとオーディオデータの同期を設定する同期部165を含む。
前記同期部165はビデオデータとオーディオデータを同期化させるもので、同期化については図4を参照して説明する。図4の(A)は正常速度で再生するデータストリームを示すものであり、(B)は再生速度が変換されたデータストリームを示すものである。
図4に示すように、オーディオデータを含むオーディオフレームとビデオデータを含むビデオフレームはデータパケットの形態で構成される。前記データパケットは通常オーディオフレームとビデオフレームからなるが、ビデオフレームは、映像の特性上、オーディオフレームに比べて多いデータを含む。
前記(A)の正常速度再生時と(B)のデータストリームを比較すれば、正常速度より低速の速度、例えば1/2倍速で再生時には、データストリームにおいて、各データは時間軸が長くなり、高速、例えば2倍速で再生時には、正常速度に比べて各データの時間軸間隔が短くなることが分かる。この時、(A)及び(B)をよく調べると、速度変換があっても各データパケットはオーディオフレームの位置がビデオフレームの位置と同一であることが分かる。
すなわち、同期部165は、データパケットにおいて、その順序にしたがって同期化を行う。
前記同期部165で同期化されたビデオデータは表示部150に伝達されて表示され、オーディオデータはデジタル/アナログ変換部181に伝達されてアナログ信号に変換される。アナログ信号に変換されたオーディオデータは増幅部182で増幅され、スピーカー183に伝送され、可聴周波数帯のオーディオ信号に再生される。
前記のような構成を持つ本発明によるMPEG処理部160は、移動端末が移動通信網(あるいは無線LAN)を通じて受信されたMPEGデータをビデオデータとオーディオデータに分離した後、MPEG規格にしたがってデコードする。
基本再生速度の場合、MPEG処理部160は、制御部166の制御によって速度調節部164でMPEGデータの再生速度調節処理を行わない。これにより、ビデオデコーダー162の出力データをそのまま表示部150に出力し、オーディオデコーダー163の出力データをそのままデジタル/アナログ変換部181に出力する。
しかし、MPEGデータの再生速度を増加、例えば2倍速で再生する場合、制御部166の制御によって速度調節部164のビデオモジュール164aはビデオデータフレーム(I、P及びBフレーム)の一部フレーム(例えば、Bフレーム)をスキップすることで、再生速度を調節することができる。この時、フレームのスキップをビデオデコーダー162で行うことで、ビデオデコーダー162のデコーディング負荷を減少させ、資源の浪費を防止することもできる。
また、速度調節部164のオーディオモジュール164bは、オーディオデコーダー163でデコードされたオーディオデータ(PCMデータ)の再生速度を調節する。この時、オーディオモジュール164bは、オーディオデータであるPCMデータの再生速度の調節時、ピッチの変化がないように制御する。
速度調節部164のビデオモジュール164a及びオーディオモジュール164bによって速度調節がなされると、データが変化してビデオ信号とオーディオ信号の同期化が崩れてしまう。これによって、同期部165が速度調節されたビデオデータ及びオーディオデータの同期化を行う。
前記同期部165は、ビデオデータにおいてフレームの除去(高速再生)あるいはフレームの拡張(低速再生)に応じてオーディオデータの再生位置をデータパケットに合わせることで同期化を行う。同期化は、図4に示すように、データパケットからオーディオフレームをビデオフレームの該当の位置に合わせることによってなされる。
前述したMPEG処理部を含む移動端末でのコンテンツ再生時、再生速度を調節する過程は次のようである。
使用者は、移動端末を利用し、移動通信網(あるいは無線LAN)を通じてインターネット400上に設けられたコンテンツ提供サーバー500に接続する。コンテンツ提供サーバー500は、動画あるいは実時間動画(例えば、TV放送)などのコンテンツを使用者の移動端末100に提供するもので、移動端末100の接続によって使用者認証を行った後、移動端末100からのコンテンツ提供要請を受け入れる。
前記コンテンツ提供サーバー500は、移動端末から伝送されるコンテンツ提供要請を受信すれば、該当コンテンツをMPEGデータ形式でストリーミング伝送する。移動端末100は、前記ストリーミング伝送されるMPEGデータをコンテンツ格納部170に格納しながらMPEG処理部160に伝送する。
前記MPEG処理部160は、データ分離部161を通じてビデオデータとオーディオデータに分離し、分離されたビデオデータはビデオデコーダー162に出力し、分離されたオーディオデータはオーディオデコーダー163に出力する。
前記ビデオデコーダー162は前記分離されたビデオデータを所定規格にしたがってデコーディングし、オーディオデコーダー163も前記分離されたオーディオデータをデコードしてPCMデータに変換する。
速度調節部164は前記デコードされたビデオ及びオーディオデータをパスし、同期部165はビデオ及びオーディオデータを同期化させてビデオデータを表示部150に出力し、オーディオデータをデジタル/アナログ変換部181に出力する。
これにより、表示部150は映像を表示し、デジタル/アナログ変換部181はオーディオデータをアナログ信号に変換して増幅部182に出力し、増幅部182はアナログ信号を増幅してスピーカー183に出力することにより、使用者はオーディオ信号を聞き取ることができる。
一方、コンテンツ視聴の途中、過去映像を再び視聴しようとするかあるいは電話の着信があった場合、現在再生中のコンテンツを続いて視聴することができないが、以下ではこのような問題を克服する方法について説明する。
まず、コンテンツ視聴の途中、移動電話から呼び出しがあった場合、移動端末100の制御部120はMPEG処理部160に該当制御信号を伝送する。これによって、MPEG処理部160の制御部166はコンテンツの再生を中止する。この時、コンテンツのデータは持続的に受信されてコンテンツ格納部170に格納される。この時、制御部166は現在再生が停止された時間とコンテンツの進行中の時間の情報をモニタする。
使用者が所定時間の通話を終えた後、引き続き再生を要請すれば、制御部166はモニタしていたコンテンツの進行時間と電話受信で再生が停止された時間を一致させるように、コンテンツ格納部170に格納されているコンテンツを停止時点から標準速度以上(例えば2倍速)で再生されるように制御する。
このために、制御部166の制御によって、データ分離部161は、コンテンツ格納部170に格納されたデータをビデオデータとオーディオデータに分離してビデオデコーダー162及びオーディオデコーダー163に伝送し、各デコーダー162及び163はデコーディングを行った後、速度調節部164に伝送する。
速度調節部164のビデオモジュール164a及びオーディオモジュール164bは、前述した方法によってビデオデータ及びオーディオデータの再生速度を調節して同期部165に出力する。同期部165も前述した方法によってビデオデータとオーディオデータの同期化を行う。
同期化の実行後、同期部165はビデオデータを表示部150に伝送し、オーディオデータはデジタル/アナログ変換部181に伝送する。これにより、表示部150は映像を表示し、デジタル/アナログ変換部181はオーディオデータをアナログ信号に変換した後、増幅部182を通じてスピーカー183に出力する。
前記過程によって、コンテンツ格納部170に格納されているコンテンツデータは標準速度以上、例えば2倍速で再生され、制御部166は前記2倍速で再生されているコンテンツの再生時間が、現在実時間でコンテンツ提供サーバー500から伝送されるコンテンツの再生時間と一致するかどうかを判断する。この時、両再生時間が一致する場合、制御部166は、前記2倍速での再生を中止し、現在受信されるコンテンツデータを標準速度で再生するようにMPEG処理部160を制御する。
一方、コンテンツ視聴の途中、スポーツ中継放送の過去映像を低速で再び視聴しようとする場合にも同一方法を提供することができる。使用者が低速再生を選択する瞬間から、現在実時間で受信されるコンテンツデータはコンテンツ格納部170に持続的に格納され、MPEG処理部160は使用者が指定した再生時間に帰って低速再生(例えば、1/2倍再生)を実行する。この時、復帰可能な再生時間はコンテンツ格納部170の格納容量によって変更できる。
低速再生中に使用者が元の位置を要請すれば、前述した方法のように、コンテンツを2倍速で再生して実時間再生時間に追い付き、再生時間を追い付けたら、すなわち再生時間が一致すれば、正常速度で再生を行う。
前述した電話通話による再生速度変化過程を流れ図に基づいて説明すれば次のようである。
図5は本発明による制御方法の実施例を説明するための流れ図である。
図5を参照すれば、移動端末100は移動通信網を通じてインターネット400に接続し、コンテンツ提供サーバー500に接続する(S10)。接続後、使用者は所望コンテンツを選択し(S20)、コンテンツ提供サーバー500は使用者が選択したコンテンツを使用者の移動端末に伝送する。
これにより、使用者の移動端末100はコンテンツ提供サーバー500から伝送されるコンテンツを受信し、前述した過程によって再生を実施する(S30)。
この時、移動端末の制御部120は電話の呼び出しを受信したかどうかを判断する(S40)。段階S40で、電話の呼び出しを受信したと判断されれば、現在受信されるコンテンツをコンテンツ格納部170に一時格納する(S50)。そして、電話通話が終わったかを判断し(S60)、電話通話が終わったと判断されれば、移動端末100は実時間コンテンツの再生時間追い付くために、MPEG処理部160を高速再生モードで動作するように制御する(S70)。この時、移動端末100は、コンテンツ格納部170に格納されるコンテンツを標準再生速度より高速で再生する。
段階S70での高速再生によって再生時間が実時間再生時間に到逹したかを判断し(S80)、到達したと判断されれば、MPEG処理部160は高速再生モードを解除し、実時間再生モードでコンテンツを再生する(S90)。
以下では、本発明による他の実施例によるコンテンツ提供サーバーでのMPEGデータの再生速度調節を説明する。
図6は本発明によるコンテンツ提供サーバー構成の実施例を説明するためのブロック図である。図7は本発明によるコンテンツ制御サーバー構成の実施例を説明するためのブロック図である。
図6及び図7を参照すれば、本発明によるコンテンツ提供サーバー500は、インターネット400を通じてウェブページを提供し、ウェブ接続を制御するウェブサーバー510と、コンテンツ提供を制御し、再生速度を調節するコンテンツ制御サーバー530と、前記コンテンツ制御サーバー530から受けたオーディオを含む動画コンテンツあるいはオーディオのみを含むオーディオコンテンツのMPEGデータを、前記ウェブサーバー510を通じて接続した端末(固定端末あるいは移動端末)にストリーミングサービスで提供するストリーミングサーバー520とを含む。
前記コンテンツ制御サーバー530は、動作制御のための制御部536と、ビデオデータをMPEGデータにエンコードするビデオエンコーダー533と、オーディオデータをMPEGデータにエンコードするオーディオエンコーダー534と、ビデオデータ及びオーディオデータの再生速度を調節する速度調節部532と、前記ビデオエンコーダー533及びオーディオエンコーダー534でエンコードされた各データを多重化してストリーミングサーバー520に伝送する多重化部531とを含む。また、コンテンツ制御サーバー530は、実時間コンテンツを格納するかあるいは予め設定されたコンテンツを格納/管理するコンテンツデータベース535を含む。
前記のような構成を持つコンテンツ提供サーバー500は、使用者の端末からコンテンツ提供の要請があれば、使用者の端末にコンテンツを提供するが、その過程は次のようである。
移動端末100(または200)あるいは固定端末410がインターネット400を通じてウェブサーバー510に接続すれば、前記ウェブサーバー510は使用者認証を行う。使用者認証後、使用者は各端末100、200または410を通じてコンテンツを要請し、ウェブサーバー510は、使用者からのコンテンツ要請に応えて、コンテンツ制御サーバー530にコンテンツ提供を要請する。
コンテンツ制御サーバー530は、ウェブサーバー510からの要請に応えて要請されたコンテンツの種類、例えばTV放送のような実時間コンテンツあるいは映画等の予め格納されたコンテンツであるかを判断し、判断結果によるコンテンツをストリーミングサーバー520に伝達する。これにより、ストリーミングサーバー520は使用者の端末に該当のコンテンツをストリーミングサービスする。
前記コンテンツ制御サーバー530は、使用者が要請したコンテンツが実時間コンテンツの場合、外部装置から実時間コンテンツのビデオデータとオーディオデータを受信し、使用者が要請したコンテンツが予め格納されたコンテンツの場合、コンテンツデータベース535から該当コンテンツをロードする。この時、予め格納されたコンテンツも外部から受けることができる。
まず、実時間コンテンツの場合について説明する。
実時間コンテンツの場合、ビデオデータはビデオエンコーダー533に入力されてMPEGデータにエンコードされ、オーディオデータ(PCMデータ)はオーディオエンコーダー534に入力されてエンコードされる。前記ビデオエンコーダー533でエンコードされたデータとオーディオエンコーダー534でエンコードされたデータは多重化部531に伝送され、多重化過程を受けた後、ストリーミングサーバー520に伝送される。
この時、使用者から再生速度調節の命令が伝達されれば、ウェブサーバー510は該当命令をコンテンツ制御サーバー530の制御部536に伝送し、制御部536は命令に応じて各構成要素を制御するが、その過程は次のようである。
例えば、再生速度を遅くする命令、すなわちスポーツ中継放送の視聴時、スローモーションを見たい時のように、1/2倍速再生命令が入力された場合、実時間ビデオデータ及びオーディオデータはコンテンツデータベース535にバッファリングされ、前記ビデオデータ及びオーディオデータは速度調節部532に入力される。
速度調節部532は、ビデオモジュール532aによってビデオデータの再生速度を1/2倍速に調節してビデオエンコーダー533に出力し、オーディオモジュール532bはオーディオデータ(PCMデータ)の再生速度を1/2倍速に調節してオーディオエンコーダー534に出力する。この時、オーディオモジュール532bは、オーディオデータの再生速度を1/2倍速に調節する時、ピッチの変化がないように調節する。
そして、ビデオエンコーダー533及びオーディオエンコーダー534は、速度調節部532から伝送される速度調節された各データをエンコードして多重化部531に伝送する。この時、実時間コンテンツのデータは正常再生時間に合わせて継続してコンテンツデータベース535に格納され、制御部536はその実時間再生時間を持続的にモニタする。
1/2倍速に速度調節されたコンテンツはストリーミングサーバー520を通じて使用者の端末に伝送され、使用者の端末は一般的なMPEG再生方法によって再生することにより、使用者は1/2倍速のコンテンツを楽しむことができる。
一方、1/2倍速での再生中、使用者の端末から正常速度再生の命令が伝送されれば、制御部536は、1/2倍速再生が中断された時点から現在実時間再生時間を追い付くように、再生を早く、例えば2倍速に設定する。
これによって、速度調節部532の各モジュール532a及び532bは、コンテンツデータベース535に継続して格納されている実時間コンテンツを2倍速に調節し、調節されたデータをビデオエンコーダー533及びオーディオエンコーダー534に出力する。各エンコーダー533及び534は該当のデータをエンコードした後、多重化部531に伝送し、多重化部531は多重化過程を行ってストリーミングサーバー520に伝送する。以後の過程は前述した過程と同様である。
また、予め格納されたコンテンツを提供する場合にも、前記と同様にサービスすることができる。
以上で説明したサービス過程を流れ図に基づいて説明すれば次のようである。
図8は本発明によるコンテンツ提供方法の実施例を説明するための流れ図である。
図8を参照すれば、使用者が移動端末を利用してコンテンツ提供サーバー500のウェブサーバー510に接続し(S110)、コンテンツを選択すれば(S120)、ウェブサーバー510は、該当コンテンツを使用者の移動端末に伝送するように、要請メッセージをコンテンツ制御サーバー530に伝送する。
これにより、コンテンツ制御サーバー530は、前記要請に応じて、該当コンテンツをストリーミングサーバー520を通じて使用者の移動端末に伝送する(S130)。この時の過程は前述したようである。
コンテンツ制御サーバー530は、移動端末から伝送される応答が正常に受信されるかどうかを判断する(S140)。段階S140で応答が正常に受信されないと判断されれば、コンテンツ制御サーバー530はコンテンツの伝送を中止する(S150)。このような伝送中止は、移動端末の通信障害あるいは電話通話などによって発生することができる。
そして、コンテンツ制御サーバー530は使用者の移動端末から要請される再生モードを判断する(S160)。
段階S160でタイムシフトであると判断されれば、コンテンツ制御サーバー530は、要請されたタイムシフトによって該当再生時間からエンコードを行って(S161)伝送する(S162)。
しかし、段階S160で高速再生モードであると判断されれば、コンテンツ制御サーバー530は、前述した方法による高速再生モードでコンテンツをエンコードし(S170)、ストリーミングサーバー520を通じて使用者の移動端末に伝送する(S180)。
そして、コンテンツ制御サーバー530は高速再生によって再生時間が実時間再生時間に到逹したかを判断し(S190)、追い付いたと判断されれば、高速再生モードを解除し、実時間再生モードを行う(S200)。
前記のように、本発明によるコンテンツ提供システムによれば、実時間あるいは予め格納されたデジタルコンテンツを使用者の端末に提供することができる効果があるばかりでなく、コンテンツ提供中、電話通話、通信障害によってコンテンツの伝送が中断されるか、あるいは使用者の意図によって再視聴などが行われた場合にも、再生時間の調節によって実時間コンテンツ再生時間を追い付くことができる効果がある。
本発明によるコンテンツ提供システムの接続を説明するためのブロック図である。 本発明による移動端末構成の実施例を説明するためのブロック図である。 本発明によるMPEG処理部構成の実施例を説明するためのブロック図である。 本発明によるデータの同期化を説明するための概略的な説明図である。 本発明によるコンテンツ提供方法の実施例を説明するための流れ図である。 本発明によるコンテンツ提供サーバー構成の実施例を説明するためのブロック図である。 本発明によるコンテンツ制御サーバー構成の実施例を説明するためのブロック図である。 本発明によるコンテンツ提供方法の他の実施例を説明するための流れ図である。

Claims (2)

  1. デジタルコンテンツを移動通信網を通じて移動端末に提供するコンテンツ提供サーバーを含むコンテンツ提供システムであって、
    前記コンテンツ提供サーバーは、
    インターネットを通じてウェブページを提供し、ウェブ接続を制御するウェブサーバーと;
    動作制御のための制御部、ビデオデータをMPEGデータにエンコードするビデオエンコーダー、オーディオデータをMPEGデータにエンコードするオーディオエンコーダー、ビデオデータ及びオーディオデータの再生速度を調節する速度調節部、前記ビデオエンコーダー及びオーディオエンコーダーでエンコードされた各データを多重化してストリーミングサーバーに伝送する多重化部、並びに、実時間コンテンツの格納、あるいは所定のコンテンツの格納および管理を行うためのコンテンツデータベースが設けられたコンテンツ制御サーバーと;
    前記コンテンツ制御サーバーから受けたオーディオを含む動画コンテンツあるいはオーディオのみを含むオーディオコンテンツのMPEGデータを、前記ウェブサーバーを通じて接続した前記移動端末にストリーミングサービスで提供するストリーミングサーバーと;を備え、
    前記コンテンツ制御サーバーは、コンテンツ伝送時に、移動端末からの応答をモニタして、応答が受信されなければ、現在のコンテンツ伝送を中止するとともに前記コンテンツ伝送が中断された時点をモニタし、前記応答が開始される時点で、前記速度調節部、オーディオエンコーダー及びビデオエンコーダーを制御することにより、中断されたコンテンツを通常速度より高速の再生速度でエンコードして、当該コンテンツを、前記移動端末にコンテンツを供給する前記ストリーミングサーバーに伝送することを特徴とするコンテンツ提供システム。
  2. 前記コンテンツ制御サーバーは、移動端末からの応答に含まれた命令に応じて再生速度を制御し、前記高速再生時間が前記コンテンツの実時間再生時間に到逹すれば、標準速度でコンテンツをエンコードするよう、前記速度調節部、オーディオエンコーダー及びビデオエンコーダーを制御することを特徴とする、請求項に記載のコンテンツ提供システム。
JP2006524578A 2003-08-29 2004-08-26 コンテンツ提供システム及びこれのための移動端末 Expired - Fee Related JP4426579B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020030060139A KR100552077B1 (ko) 2003-08-29 2003-08-29 컨텐츠 제공시스템과 이를 위한 이동단말
PCT/KR2004/002148 WO2005022764A1 (en) 2003-08-29 2004-08-26 Contents providing system and mobile communication terminal therefor

Publications (3)

Publication Number Publication Date
JP2007504707A JP2007504707A (ja) 2007-03-01
JP2007504707A5 JP2007504707A5 (ja) 2009-01-29
JP4426579B2 true JP4426579B2 (ja) 2010-03-03

Family

ID=36242141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006524578A Expired - Fee Related JP4426579B2 (ja) 2003-08-29 2004-08-26 コンテンツ提供システム及びこれのための移動端末

Country Status (5)

Country Link
US (1) US7574169B2 (ja)
EP (1) EP1665562A4 (ja)
JP (1) JP4426579B2 (ja)
KR (1) KR100552077B1 (ja)
CN (1) CN100405748C (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4389216B2 (ja) * 2004-11-15 2009-12-24 株式会社カシオ日立モバイルコミュニケーションズ 移動通信端末およびコンテンツ再生方法
US20060198174A1 (en) * 2005-02-21 2006-09-07 Yuji Sato Contents Providing System, Output Control Device, and Output Control Program
KR100854825B1 (ko) * 2005-10-11 2008-08-27 엘지전자 주식회사 디지털 방송 처리방법
KR100782261B1 (ko) * 2006-05-18 2007-12-04 엘지전자 주식회사 오디오 배속 조절 기반 비디오 동기화방법
JP5250255B2 (ja) 2007-12-27 2013-07-31 京セラ株式会社 無線通信装置
JP2009194688A (ja) * 2008-02-15 2009-08-27 Seiko Epson Corp 画像転送装置、画像表示装置、画像表示システム、画像データの転送方法、画像表示方法、およびコンピュータプログラム
JP5079870B2 (ja) 2008-02-27 2012-11-21 京セラ株式会社 無線通信装置
KR101024979B1 (ko) * 2008-12-30 2011-03-29 (주)하모닉스 실시간 멀티미디어 재생 장치 및 이를 이용한 멀티미디어 재생 시스템
KR101243737B1 (ko) * 2011-09-15 2013-03-13 주식회사에어플러그 버퍼링된 데이터량에 따라 이종망(異種網)들간에 사용망을 선택적으로 전환하면서 스트리밍 데이터를 수신하는 방법과 그 방법을 위한 장치
JP6033541B2 (ja) * 2011-11-24 2016-11-30 シャープ株式会社 再生装置、再生方法、制御プログラム、および記録媒体
CN102685597B (zh) * 2012-04-28 2015-04-01 广州爱九游信息技术有限公司 内容再现方法及装置、移动终端
WO2014058842A1 (en) * 2012-10-08 2014-04-17 Patrick Soon-Shiong Distributed storage systems and methods
KR102184492B1 (ko) 2013-11-19 2020-11-30 삼성전자주식회사 스트리밍 데이터 서비스를 위한 서버, 사용자 단말 장치 및 방법
CN105120337A (zh) 2015-08-28 2015-12-02 小米科技有限责任公司 视频特效处理方法、装置及终端设备
KR102329888B1 (ko) * 2017-01-09 2021-11-23 현대자동차주식회사 음성 인식 장치, 이를 포함하는 차량, 및 음성 인식 장치의 제어방법
US11089381B2 (en) 2017-01-20 2021-08-10 Hanwha Techwin Co., Ltd. Apparatus and method for simultaneous playback and backup of media in a web browser
CN109309870A (zh) * 2018-10-19 2019-02-05 成都品果科技有限公司 一种调节视频播放速度的方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020129374A1 (en) * 1991-11-25 2002-09-12 Michael J. Freeman Compressed digital-data seamless video switching system
GB9620923D0 (en) * 1996-10-08 1996-11-27 Thomson Consumer Electronics Digital recorder with trick play operation
JP3298478B2 (ja) * 1997-11-10 2002-07-02 日本電気株式会社 Mpeg復号装置
AU2001243218A1 (en) * 2000-02-24 2001-09-03 Shin-Ping Liu Content distribution system
KR100362867B1 (ko) 2000-04-26 2002-12-11 삼성전자 주식회사 무선 단말기에서 멀티미디어 서비스를 위한 장치 및 방법
CN1315086C (zh) * 2000-05-20 2007-05-09 林荣姬 按需提供内容的方法和系统
CN100403282C (zh) * 2000-12-06 2008-07-16 株式会社Ntt都科摩 提供内容的装置及方法
KR100442060B1 (ko) 2001-02-23 2004-07-30 우용우 유.무선 통신망을 이용한 녹음 및 녹화 서비스 제공 방법및 이를 위한 시스템
WO2003019945A1 (en) * 2001-08-21 2003-03-06 Digeo, Inc. System and method for mitigating interruptions during television viewing
KR20010088980A (ko) * 2001-08-29 2001-09-29 - 차량 멀티미디어 시스템
US20030097659A1 (en) * 2001-11-16 2003-05-22 Goldman Phillip Y. Interrupting the output of media content in response to an event
CN1605194A (zh) * 2001-12-17 2005-04-06 皇家飞利浦电子股份有限公司 用于显示接收的音像信息流的方法和设备
KR100456003B1 (ko) 2001-12-21 2004-11-08 에스케이텔레텍주식회사 이동통신 단말기용 컨텐츠의 사용자 선택 실행방법
JP2003228538A (ja) * 2002-02-06 2003-08-15 Digitalact:Kk 画像配信システム、該システムの機能を実現するプログラム及び記録媒体
CN1320819C (zh) * 2002-04-05 2007-06-06 松下电器产业株式会社 允许内容接收和语音通讯的通讯终端设备
KR20040013455A (ko) 2002-08-06 2004-02-14 엘지전자 주식회사 이동 통신 단말기의 멀티미디어 컨텐츠 복귀 방법
US20040221319A1 (en) * 2002-12-06 2004-11-04 Ian Zenoni Application streamer

Also Published As

Publication number Publication date
US7574169B2 (en) 2009-08-11
CN1842971A (zh) 2006-10-04
CN100405748C (zh) 2008-07-23
US20070115345A1 (en) 2007-05-24
EP1665562A1 (en) 2006-06-07
KR20050023090A (ko) 2005-03-09
KR100552077B1 (ko) 2006-02-20
JP2007504707A (ja) 2007-03-01
EP1665562A4 (en) 2008-09-03

Similar Documents

Publication Publication Date Title
JP4426579B2 (ja) コンテンツ提供システム及びこれのための移動端末
US20090293093A1 (en) Content server, information processing apparatus, network device, content distribution method, information processing method, and content distribution system
JP5026167B2 (ja) ストリーム伝送サーバおよびストリーム伝送システム
TW200830874A (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
WO2010116588A1 (ja) デジタルテレビ放送再生装置およびその再生方法
JP2004180290A (ja) 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体
JP2012015928A (ja) 映像送信装置
KR20050102858A (ko) 참여방송 시스템
KR20090026068A (ko) 콘텐츠 재생장치, 콘텐츠 재생 방법, 프로그램, 및 콘텐츠 재생 시스템
JP5428734B2 (ja) ネットワーク機器、情報処理装置、ストリーム切替方法、情報処理方法、プログラムおよびコンテンツ配信システム
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
EP1511326B1 (en) Apparatus and method for multimedia reproduction using output buffering in a mobile communication terminal
WO2005022764A1 (en) Contents providing system and mobile communication terminal therefor
JP4096915B2 (ja) デジタル情報再生装置及び方法
JP2004507958A (ja) ストリーミング制約の変更に基づく動的品質調整
JP2010028232A (ja) 通信制御装置および通信制御方法
JP4735666B2 (ja) コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム
JP2009182426A (ja) 表示制御装置及び表示制御方法
JP4368125B2 (ja) コンテンツ受信および音声通話が可能な通信端末装置
JP2005012277A (ja) コンテンツデータ再生・転送方法およびコンテンツデータ再生・転送装置
JP4289055B2 (ja) トランスコーダおよびこれを用いた記録再生装置
KR20190032671A (ko) 실시간 iptv 방송에서의 채널 전환 시스템
JP3860674B2 (ja) 多重通信装置、多重通信方法、および多重通信プログラムを記録した媒体
JP4398573B2 (ja) 画像伝送装置及び画像伝送方法
KR100550801B1 (ko) 인터넷과 연결되어 영상전화를 하는 시스템에서 vod 서비스를 제공하는 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080909

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20081208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091210

R150 Certificate of patent or registration of utility model

Ref document number: 4426579

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees