JP4734887B2 - 映像符号化システム、方法及び機器 - Google Patents

映像符号化システム、方法及び機器 Download PDF

Info

Publication number
JP4734887B2
JP4734887B2 JP2004300888A JP2004300888A JP4734887B2 JP 4734887 B2 JP4734887 B2 JP 4734887B2 JP 2004300888 A JP2004300888 A JP 2004300888A JP 2004300888 A JP2004300888 A JP 2004300888A JP 4734887 B2 JP4734887 B2 JP 4734887B2
Authority
JP
Japan
Prior art keywords
unit
encoding
file
video
encoded video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004300888A
Other languages
English (en)
Other versions
JP2006115244A (ja
Inventor
圭介 稲田
大輔 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004300888A priority Critical patent/JP4734887B2/ja
Priority to US11/238,928 priority patent/US7978763B2/en
Priority to CNB2005101092374A priority patent/CN100473137C/zh
Publication of JP2006115244A publication Critical patent/JP2006115244A/ja
Application granted granted Critical
Publication of JP4734887B2 publication Critical patent/JP4734887B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408—Monitoring of the upstream path of the transmission network, e.g. client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、複数の外部機器が接続される映像符号化機器において、それぞれの外部機器に対応したファイルの記録及び選択および送出するシステム、方法及び機器に関する。
従来の技術では、情報を記録する際にマスタファイルを作成し、該マスタファイルを外部機器で出力するには以下の２つの方式が存在した。すなわち、（１）受信側の外部機器でマスタファイルを処理し出力する方式と、（２）送信側の機器でマスタファイルを処理し受信側の機器が出力する方式とである。
上記（１）の方式では、前記マスタファイルを、そのまま外部機器に送出して、外部機器側で機器が有するモニタ画面に合わせた解像度変換処理や、フォーマット変換処理を行い、再生やモニタ画面への表示を可能とする。しかしながら、この場合、外部機器側で解像度変換やフォーマット変換処理を行う為、外部機器側における再生及び表示品質が外部機器側の解像度変換処理能力やフォーマット変換処理能力に依存する。モバイル機器等では、省電力やコストダウンを図るため、簡易的な解像度変換処理やフォーマット変換処理を行う機器も多数存在し、この場合、再生及び表示品質は低くなるという課題がある。さらに、外部機器側でマスタファイルを取得した後に解像度変換処理やフォーマット変換処理を行うため、接続から再生及び表示までの即応性に課題が残る。速度を速めるためにリアルタイム処理を行うと、簡易的な解像度変換やフォーマット変換を行うか、処理に用いるハードウェアの処理速度をあげることが必要となり、再生および表示品質の低下やコストアップを招く。
一方、上記（２）の方式にはさらに（２−１）出力される外部機器に応じて、送出する際に前記マスタファイルをトランスコードすることで外部機器に対応したサブファイルを作成して、外部機器に送出する方式と（例えば、特許文献１参照）、（２−２）あらかじめ決められた特定のファイルをマスタファイルの作成と同時に作成し、多重化し、状況に応じて必要な形式のファイル出力を行なう方式がある。すなわち、送信側でマスタファイルを処理するという方式である。（例えば、特許文献２参照）
特開２００３−８７７８５号公報（第１５頁、図１） 特開２００２−３５８１００号公報（第１０頁、図７）
上記のうち、（２−１）の技術によれば、接続される外部機器に応じて、対応するファイル形式に変換して送出することで、解像度変換処理機能やマスタファイルの形式に未対応の外部機器へのファイル送出またはモニタへの表示を可能とする。しかしながら、接続された時点からファイル形式の変換を行う為に、接続から再生及び表示までの即応性に課題が残る。速度を速めるためにリアルタイム処理を行うと、簡易的な解像度変換やフォーマット変換を行うか、処理に用いるハードウェアの処理速度をあげることが必要となり、再生および表示品質の低下やコストアップを招く。
また、上記（２−２）の技術によれば、あらかじめ作成されたファイルに対応する外部機器に対しては（２−１）の技術で挙がった課題が解決されるが、対応しない外部機器との接続が不可能である。
本発明の目的は、上記課題に鑑み、接続された外部機器に対して、高品質な再生及び表示を可能とし、さらに接続から再生及び表示までの即応性を実現するシステム、方法及び機器を提供することにある。
外部機器と接続可能とし、マスタファイルを入力し符号化を行う符合化部と、外部機器からの機器情報を取得し登録を行なう機器登録部とを有し、前記機器登録部の登録情報に基づき前記符号化部が符号化映像ファイルを生成する。
本発明によれば、接続された外部機器に対して、より高画質な映像符号化ファイルを、より迅速に供給することを可能とし、使い勝手が向上する。
以下、本発明の実施の形態を、図面を用いて説明する。
図１は、本実施例を具体化するシステムの典型的な一例である。
本実施の形態は、映像情報１００を取り込み、符号化処理を行う映像符号化機器１が、複数の外部機器２、３、４と有線または無線で接続されているシステムである。外部機器の一例として、モバイル映像機器２、モニタ機器３、ファイルサーバやホームサーバ４がある。外部機器２、３、４を映像符号化機器１に接続することで映像符号化機器１に記録された符号化映像ファイルを取得することが出来る。
映像符号化機器１は、同一番組に対して１種類以上のファイル形式で符号化映像ファイルの生成及び蓄積を行う。ファイル形式の一例として、画面解像度、符号化方式、フレームレート、ビットレート等がある。映像符号化機器１は、蓄積された符号化映像ファイルまたは再生映像を外部機器に送出する。
外部機器２が映像符号化機器１に接続した場合を例にとる。外部機器２は取得した符号化映像ファイルの再生処理及び付属モニタへの表示を行うことが出来るものとする。外部機器２が映像符号化機器１に接続し、所定の番組を選択した場合、映像符号化機器１は所定の番組でかつ外部機器２に適したファイル形式を有する符号化映像ファイルを選択して、外部機器２に送出する。外部機器２では、取得した符号化映像ファイルの再生処理を行い、付属のモニタに映像情報を表示する。
外部機器３が映像符号化機器１に接続した場合を例にとる。外部機器３は符号化映像ファイルの再生処理は行わず、符号化映像ファイルを元に再生処理された映像情報を入力とし、付属のモニタに表示することが出来るものとする。外部機器３が映像符号化機器１に接続し、所定の番組を選択した場合、映像符号化機器１は所定の番組でかつ外部機器２に適したファイル形式を有する符号化映像ファイルを選択して、再生処理を行った後、映像情報を外部機器２に送出する。外部機器３では、取得した映像情報をモニタに表示する。
外部機器４が映像符号化機器１に接続した場合を例にとる。外部機器４は映像ファイルを蓄積することができ、モニタは有していないものとする。外部機器４が映像符号化機器１に接続し、所定の番組を選択した場合、映像符号化機器１は所定の番組でかつ外部機器４に適したファイル形式を有する符号化映像ファイルを選択して、外部機器機器に送出する。外部機器４では、取得した符号化映像ファイルを内部の蓄積部に蓄積する。蓄積部の一例として、光ディスクメディアやハードディスクメディアや磁気記録メディアがある。
図２は、本実施例による動画像記録システムの映像符号化機器１の詳細な一例である。以下、図２を説明する。
機器登録部１３は、外部機器２が映像符号化機器１に接続された場合に、接続された機器の機器情報１０３を登録するブロックである。機器情報１０３の一例として、接続された機器が対応するファイル形式、通信路情報、再生処理能力の有無、モニタの有無等がある。ファイル形式の一例として、画面解像度、符号化方式、フレームレート、ビットレート等がある。
機器情報１０３の伝達方法の一例として、外部機器と接続した際に、最初に機器情報を含むパケットを映像符号化機器１に供給する。映像符号化機器１は外部機器からの機器情報を含むパケットを受信後、外部機器に対して取得完了を通知する。これで外部機器と映像符号化機器１双方の間で機器情報の授受が完了したと判断して、接続後の動作に移行する。また、別の一例として、外部機器が映像符号化機器１と接続された場合、映像符号化機器１から外部機器に対して機器情報の要求を発行する。外部機器はこの要求を受けた後、映像符号化機器１に対して機器情報を含むパケットを送信する。映像符号化機器１は外部機器からのパケットを取得した時点で、外部機器と映像符号化機器１双方の間で機器情報の授受が完了したと判断して、接続後の動作に移行する。
また、映像符号化機器１に対して直接外部から機器情報１０７を登録しても良い。これにより、登録が不可能な機器に対しても、本システムに機器登録を可能にする。機器登録部１３は符号化部１０に対して登録されている機器情報１０４を供給する。
符号化部１０は、入力された映像情報１００の符号化処理を行うブロックである。符号化処理は、機器登録部１３から取得した機器情報１０４を元に行い、登録された機器毎に適したファイル形式で、同時に符号化処理を行い、生成した符号化映像ファイル１０１を、蓄積部１１に供給する。
蓄積部１１は、符号化部１０から供給される符号化映像ファイル１０１を一時的に蓄積するブロックである。また送出ファイル選択部１２からの命令に従い、指定された符号化映像ファイル１０２を外部機器２に出力するブロックである。
送出ファイル選択部１２は、外部機器２から供給される機器情報１０３を元に、蓄積部１１に蓄積されている複数の符号化映像ファイルの中から、接続された機器２に対応するファイル形式の符号化映像ファイル１０２を選択して、蓄積部１１から読み出して外部機器２に送出させる制御を行うブロックである。
機器登録部１３への登録が行なわれていない機器が接続された場合、送出ファイル選択部１２で、蓄積されたファイル形式の中で最も外部機器２に適した符号化映像ファイルを選択して送出することで、より高画質な符号化映像ファイルの再生を可能とする。
図３は、本実施例による動画像記録システムの映像符号化機器１の別の詳細な一例である。以下、図３を説明する。
本システムでは、符号化部１０が符号化処理やトランスコード処理を行なっていないアイドル状態時に、あらかじめ記録したマスタファイルを蓄積部１１から読み出して、符号化部１０にてトランスコード処理を行なうことで、登録された機器に対するフォーマット形式の映像符号化ファイルを自動的に生成することを特徴とする。機器登録部１３は、図２で示す機器登録部１３と同一の機能を有する。
アイドル状態監視部１４は、符号化部が符号化処理、トランスコード処理等の動作をしていない状態を監視するブロックである。また、アイドル状態である場合に、符号化部１０に対して、符号化処理またはトランスコード処理を命令するブロックである。符号化部１０は、図２で示す符号化部１０と同一の機能を有する。さらに、前記アイドル状態監視部１４からの符号化処理またはトランスコード処理命令１１６を受けて、蓄積部１１からあらかじめ記録されたマスタファイル１０６を読み出し、符号化処理またはトランスコード処理を行なった後、蓄積部１１に再格納するブロックである。蓄積部１１は、図２で示す蓄積部１１と同一の機能を有する。さらに、符号化部１０に対して、蓄積されたファイルを供給するブロックである。送出ファイル選択部１２は、図２で示す送出ファイル選択部１２と同一の機能を有する。
このように、アイドル期間を利用して、マスタファイルとして高画質な符号化処理を行なった符号化映像ファイルを元に、逐次トランスコード処理により複数の符号化映像ファイルを生成することで、符号化処理の負荷を分散させることが可能となり、より低い能力のプロセッサまたは動作周波数で実現することができる。
また、マスタファイルとして前記高画質な符号化処理を行なった符号化映像ファイルの元となる原画像を、必要な符号化映像ファイルの生成が終了するまでの期間蓄積部１１で一時的に保持し、アイドル期間を利用して逐次符号化映像ファイルを生成しても良い。この場合、原画を一時蓄積するための蓄積領域が必要となるが、各符号化映像ファイルは原画を元に符号化処理されるため、トランスコードに比べてより高画質な符号化映像ファイルを得ることができる。原画は符号化映像ファイルに比べて容量がはるかに大きいことから、必要な符号化映像ファイルの生成終了後、削除しても良い。
図４は、本実施例による動画像記録システムの映像符号化機器１の別の詳細な一例である。以下、図４を説明する。
本システムでは、外部機器の接続情報１０３、ユーザからの指定１０７、符号化部１０からの符号化情報１１０等を用いて複数の外部機器に対して記録レベルを定義し、記録レベルの高いものから優先的に外部機器２に対応したファイル形式の映像符号化ファイルを生成することを特徴とする。さらに、記録レベルの高い順に映像符号化ファイルの種類に制限を設け、生成する映像符号化ファイルの種類を制限しても良い。
機器登録部１３は、図２で示す機器登録部１３と同一の機能を有する。さらに、機器登録部１３は記録レベル管理部１５から記録レベル情報１０８を取得し、符号化部１０に供給する機器情報１０４に反映させても良い。こうすることで、情報の一括管理が可能となる。この場合、蓄積部の空容量状況や、符号化部の処理負荷度に応じて、記録レベルを元に符号化部１０へ供給する機器情報１０４を変更しても良い。このように記録レベルに反映させるパラメータを多様化することで、より詳細に状況に応じた機器管理を実現することができ、無駄な記録を削減することを可能とする。蓄積部の空容量や符号化部の負荷処理度は、蓄積部１１や符号化部１０から取得しても良いし、記録レベル管理部で逐次管理しても良い。また、機器レベル情報１０９を送出ファイル選択部１２に供給しても良い。
記録レベル管理部１５は、外部機器２の記録レベル１０８を管理し、機器登録部１３に供給するブロックである。記録レベル１０８とは、複数の外部機器２毎に、それに対するファイル形式の映像符号化ファイルを作成する優先度を示す情報である。記録レベル管理部１５では、外部機器２が映像符号化機器１に接続される毎に、接続された機器の機器情報１０３を取得し、外部機器２が接続された頻度を管理し、接続頻度の高いものほど記録レベルを高くする。また、直接外部から所定の外部機器２に対して記録レベル１０７を設定しても良い。これにより、登録が不可能な機器に対しても、本システムに機器登録を可能にできるし、自動化での判定に合わない使用状況にも柔軟に対応可能なシステムを構築することができる。また、符号化部１０の符号化情報１１０を元に、生成される映像符号化ファイルに対応する外部機器２の記録レベル１０８を決定しても良い。前記符号化情報の一例として、フレームレート、ビットレート、解像度、処理負荷、処理時間等がある。このように記録レベルに反映させるパラメータを多様化することで、より詳細に状況に応じた機器管理を実現することができ、無駄な記録を削減することを可能とする。記録レベル管理部１５は、送出ファイル選択部１２に対して、記録レベル情報１０９を供給しても良い。このように保存レベルのパラメータに記録レベルを加えることで、より柔軟な保存レベルの制御が可能となり、蓄積部１１への無駄な蓄積を削減することができる。符号化部１０は、図２で示す符号化部１０と同一の機能を有する。さらに、符号化情報１０８を記録レベル管理部１５に供給しても良い。符号化情報１１０の一例として、符号化処理を行なったファイル形式の情報や符号化処理負荷情報がある。蓄積部１１は、図２で示す蓄積部１１と同一の機能を有する。送出ファイル選択部１２は、図２で示す送出ファイル選択部１２と同一の機能を有する。また、記録レベル管理部１５から取得しても良い。
図５は、本実施例による動画像記録システムの映像符号化機器１の別の詳細な一例である。以下、図５を説明する。
本システムでは、蓄積部１１に蓄積された１つ以上の映像符号化ファイル毎に保存レベルを定義し、保存レベルによって、蓄積部１１内に蓄積されている映像符号化ファイルを削除することを特徴とする。保存レベルは、各映像符号化ファイル毎に、記録後から任意のまたは特定の外部機器で最初に再生するまでの期間、または前回再生時からの期間、または再生頻度によって変動する値である。例えば、記録後、所定時間アクセスしない状態が続くと保存レベルを低い値に変更したり、頻繁にアクセスする映像符号化ファイルに対しては、アクセス頻度に応じて保存レベルを高い値に変更したりすることが可能である。また、ある時期に頻繁にアクセスが発生し手いる場合には、保存レベルの値を高く変更していくが、その後、アクセス頻度が減少した場合には、それに応じて保存レベルの値を低く変更していくことも可能である。
蓄積部１１に蓄積された映像符号化ファイルの削除は、所定の保存レベル以下の映像符号化ファイルに対して実行しても良いし、蓄積部１１の空容量が足りなくなった場合にのみ所定レベル以下の映像符号化ファイルに対して実行しても良い。また、保存レベルの低いもののリストを、外部ユーザに開示し、外部ユーザが映像符号化ファイル毎に削除の指示を出しても良いし、削除する保存レベルを外部ユーザが指定しても良い。このように、保存レベル情報や、その他のパラメータを使用することで、蓄積部１１に蓄積されている符号化映像ファイルに対して、より詳細に状況に応じた記録済の符号化映像ファイルの削除を実現することができ、無駄な記録を削減することを可能とする。機器登録部１３は、図４で示す動画像記録システムにおける機器登録部１３と同一の機能を有する。アイドル状態監視部１４は、図４で示す動画像記録システムにおける機器登録部１３と同一の機能を有する。記録レベル管理部１５は、図４で示す動画像記録システムにおける機器登録部１３と同一の機能を有する。さらに、保存レベル管理部１６に対して記録レベル情報１０９を供給することを特徴とする。符号化部１０は、図３で示す符号化部１０と同一の機能を有する。蓄積部１１は、図２で示す蓄積部１１と同一の機能を有する。さらに、符号化部１０に対して、蓄積されたファイルを供給するブロックである。さらに、保存レベル管理部１６からのファイル削除命令１１３を取得し、指定されたファイルの削除を行なうブロックである。送出ファイル選択部１２は、図２で示す送出ファイル選択部１２と同一の機能を有する。さらに、保存レベル管理部１６の指示によって削除された映像符号化ファイル情報１１４を取得し、送出ファイル選択に反映させるブロックである。
保存レベル管理部１６は、記録レベル情報１０９、直接外部から保存レベルの指定、送出したファイル情報と送出タイミング、符号化情報と符号化タイミング、タイマ１７からの時刻情報１１５を元に、蓄積部１１に蓄積されている映像符号化ファイルの保存レベルを決定し、管理するブロックである。記録レベル情報１０９を用いる場合の一例として、記録レベル１０９を元に、映像符号化ファイルの保存レベルの初期値を決定することがある。記録レベルが低い映像符号化ファイルほど、保存レベル初期値を低い値にする方法がある。送出したファイル情報と送出タイミング１１２、符号化情報と符号化タイミング１１１、タイマ１７からの時刻情報１１５を用いた保存レベルの決定の一例として、符号化タイミング１１１と送出タイミング１１２を受け取った時点での時刻情報１１５の値を管理し、その時刻差分をアクセス頻度とし、アクセス頻度が所定値以下になると保存レベルを下げる方法がある。
図６は、図３において、外部機器２が外部ネットワーク網を介して、映像符号化機器１に接続されることを特徴とする。
次に、図１と図３を用いて、本発明による動画像記録システムの別の一例を説明する。
映像符号化機器１に同時に２つの外部映像機器２、３が接続された場合を考える。各外部機器２、３が別の番組または同一番組を要求する場合、送出ファイル選択部１２で各外部機器に対応するファイル形式の映像符号化ファイル１０２を供給することで、外部機器２、３での同時視聴が可能となる。また、既に符号化済であることから、外部機器２、３からの供給要求を受け付けてから、外部機器２、３への映像符号化ファイル供給までに要する時間が短く、即時性を実現する。また、番組記録中、言いかえると符号化部１０が処理中の場合に、外部機器が接続された場合に、符号化処理を続行すると共に、外部機器２、３への映像符号化ファイルの供給が可能である。また、外部機器２、３への供給以前に、事前に映像符号化ファイルの生成を行なうため、マルチパスエンコード処理や、処理負荷が大きなフィルタ処理や探索範囲の拡大等、リアルタイムなファイル形式の変換処理と比較して高画質な映像符号化ファイルを作成可能であることが特徴である。また、フォーマット変換処理が貧弱な外部機器２、３に対しても、あらかじめ外部機器に対応したファイル形式に変換後、外部機器２、３に供給するため、外部機器２、３側でフォーマット変換処理を行なう必要がなく、より高画質な再生または表示を可能とする。また、図２、３、４、５、６で示す動画像記録システムは映像情報に加えて、音声情報を含んでも良い。符号化部１０において、さらに音声情報の符号化処理またはトランスコード処理を含んでも良い。本システムは、映像だけでなく音声や動画像に対しても適用可能なシステムを提供する。
図７は、図５に示す映像符号化機器１に、図１で示す外部機器２、３、４が接続される環境で番組Ｎｏ．Ａを記録した場合の記録レベル、保存レベル、ファイル形式の一覧を示した表の一例である。ファイル形式は、外部機器に対応した形式であり、パラメータとして符号化方式、解像度、フレームレート等がある。ここでは記録レベル及び保存レベルを０〜５の６段階で示している。外部機器４はサーバを例にとってあり、記録した映像符号化ファイルを一度サーバに取り込んだのち、映像符号化ファイルへのアクセスを長時間行なっていない状況を考える。この場合、サーバへ保存することを意識して記録レベルは高い値となっているが、すでに保存済でありその後アクセスを全く行なっていないため、保存レベルは徐々に下がり、本例では０となっている。
本実施例を具体化するシステムの典型的な一例である。 図１に示す映像符号化機器１の詳細な図の一例である。 図１に示す映像符号化機器１の詳細な図の別の一例である。 図１に示す映像符号化機器１の詳細な図の別の一例である。 図１に示す映像符号化機器１の詳細な図の別の一例である。 図１に示す映像符号化機器１の詳細な図の別の一例である。 番組Ｎｏ．Ａを記録した場合の記録レベル、保存レベル、ファイル形式の一覧を示した表の一例である。
符号の説明
１ 動画像記録システム
２ 外部機器
１０ 符号化部
１１ 蓄積部
１２ 送出ファイル選択部
１３ 機器登録部
１００ 映像情報
１０１ 映像符号化ファイル
１０２ 映像符号化ファイル
１０３ 機器情報
１０４ 機器情報
１０５ ファイル送出命令
１０７ 外部ユーザからの指示

Claims (8)

  1. 外部機器と接続可能な映像符号化機器であって、
    マスタファイルを入力する入力部と、
    前記外部機器からの複数の機器情報を取得し登録を行なう機器登録部と、
    前記入力部で入力されたマスタファイルに対し、前記機器登録部の登録情報に基づき符号化を行い、複数の符号化映像ファイルを生成する符号化部と、
    前記符号化部が生成する符号化映像ファイルの生成優先度を管理する記録レベル管理部と、
    前記入力部で入力されたマスタファイルと前記符号化部で生成された複数の符号化映像ファイルとを蓄積する蓄積部と、
    前記蓄積部が蓄積する符号化映像ファイルの保存状況を管理する保存レベル管理部と、
    を有し、
    前記記録レベル管理部が管理するレベルに基づき前記符号化部が符号化映像ファイルを生成し、前記保存レベル管理部が管理するレベルに基づき前記蓄積部に蓄積する符号化映像ファイルを削除し、前記記録レベルに応じて前記保存レベルの初期値を決定すること
    を特徴とする映像符号化機器。
  2. 請求項１記載の映像符号化機器であって、
    前記機器情報は、
    前記外部機器に対応する画面解像度及び／又は、符号化方式及び／又は、フレームレート及び／又は、ビットレート及び／又は、
    前記外部機器の通信路情報及び／又は、再生処理能力の有無及び／又は、モニタの有無に関する情報である映像符号化機器。
  3. 請求項１または２記載の映像符号化機器であって、
    前記蓄積部に蓄積される符号化映像ファイルから前記外部機器に対応する符号化映像ファイルを選択する送出ファイル選択部と、を有し、
    前記送出ファイル選択部が選択する符号化映像ファイルを前記外部機器に送出する映像符号化機器。
  4. 請求項１ないし３のいずれか記載の映像符号化機器であって、
    前記符号化部は、マスタファイルの入力の際に前記符号化部が符号化映像ファイルを生成する映像符号化機器。
  5. 請求項１ないし３のいずれか記載の映像符号化機器であって、
    前記符号化部の動作を監視する監視部と、を有し、
    前記符号化部は、前記監視部の監視状況に基づき前記符号化部が符号化映像ファイルを生成する映像符号化機器。
  6. 請求項３において、
    前記機器登録部への登録が行なわれていない機器が接続された場合、前記送出ファイル選択部が、前記蓄積部に蓄積された符号化映像ファイルの中から、前記登録が行なわれていない機器に適した符号化映像ファイルを選択して送出する映像符号化機器。
  7. 請求項１ないし５のいずれかにおいて、
    前記記録レベル管理部は、外部機器が接続された頻度を管理し、接続頻度の高いものほど記録レベルを高くする映像符号化機器。
  8. 請求項１ないし５のいずれかにおいて、
    前記保存レベル管理部は、符号化映像ファイルが記録された後、所定時間アクセスしない状態が続くと保存レベルを低くし、頻繁にアクセスする符号化映像ファイルに対しては、アクセス頻度に応じて保存レベルを高くする映像符号化機器。
JP2004300888A 2004-10-15 2004-10-15 映像符号化システム、方法及び機器 Expired - Lifetime JP4734887B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004300888A JP4734887B2 (ja) 2004-10-15 2004-10-15 映像符号化システム、方法及び機器
US11/238,928 US7978763B2 (en) 2004-10-15 2005-09-28 Coding system, coding method and coding apparatus
CNB2005101092374A CN100473137C (zh) 2004-10-15 2005-10-17 编码系统、编码方法和编码设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004300888A JP4734887B2 (ja) 2004-10-15 2004-10-15 映像符号化システム、方法及び機器

Publications (2)

Publication Number Publication Date
JP2006115244A JP2006115244A (ja) 2006-04-27
JP4734887B2 true JP4734887B2 (ja) 2011-07-27

Family

ID=36180814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004300888A Expired - Lifetime JP4734887B2 (ja) 2004-10-15 2004-10-15 映像符号化システム、方法及び機器

Country Status (3)

Country Link
US (1) US7978763B2 (ja)
JP (1) JP4734887B2 (ja)
CN (1) CN100473137C (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187066A (ja) * 2002-12-04 2004-07-02 Canon Inc 画像処理装置
JP2004357085A (ja) * 2003-05-30 2004-12-16 Hitachi Ltd 記録再生装置、送信装置および送信方法
US9088747B2 (en) 2006-09-12 2015-07-21 Sony Corporation Video display system, video display device, its control method, and information storage medium
JP4897404B2 (ja) 2006-09-12 2012-03-14 株式会社ソニー・コンピュータエンタテインメント 映像表示システム、映像表示装置、その制御方法及びプログラム
JP5774817B2 (ja) 2006-12-21 2015-09-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ディスプレイのカラー・グレーディングを提供する方法、装置及びシステム
EP2100237B1 (en) * 2007-01-04 2017-06-07 Nero Ag Apparatus for supplying an encoded data signal and method for encoding a data signal
CN103716649A (zh) * 2007-06-28 2014-04-09 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
CN101690218B (zh) * 2007-06-28 2014-02-19 汤姆逊许可公司 通过网络结构提供显示装置专用的内容的方法、设备及系统
JP2009135638A (ja) * 2007-11-29 2009-06-18 Sharp Corp 画像送出装置及びその動作方法
JP5532540B2 (ja) * 2008-02-06 2014-06-25 日立コンシューマエレクトロニクス株式会社 コンテンツ配信装置
JP5653575B2 (ja) * 2008-05-27 2015-01-14 株式会社メガチップス ネットワーク接続ストレージ
JP5569119B2 (ja) * 2010-04-22 2014-08-13 ソニー株式会社 ファイル管理装置、録画装置、録画プログラム及びファイル管理プログラム
JP5786023B2 (ja) 2010-06-15 2015-09-30 ドルビー ラボラトリーズ ライセンシング コーポレイション カスタマイズされたビデオコンテンツバージョンを含むビデオデータの符号化、配信及び表示
JP2012050029A (ja) * 2010-08-30 2012-03-08 Toshiba Corp 録画装置、及びその制御方法
JP2012134893A (ja) * 2010-12-24 2012-07-12 Hitachi Consumer Electronics Co Ltd 受信装置
US8423585B2 (en) * 2011-03-14 2013-04-16 Amazon Technologies, Inc. Variants of files in a file system
JP5572224B2 (ja) * 2011-04-14 2014-08-13 パナソニック株式会社 コンテンツ記録装置、コンテンツ記録方法、及びコンテンツ伝送システム
JP2014197721A (ja) * 2011-07-26 2014-10-16 パナソニック株式会社 コンテンツ制御装置
US9584573B2 (en) * 2012-08-29 2017-02-28 Ericsson Ab Streaming policy management system and method
US10027993B2 (en) 2013-03-15 2018-07-17 Arris Enterprises Llc System and method for multiscreen network digital video recording using on-demand transcoding
US9124905B2 (en) * 2013-03-15 2015-09-01 Arris Technology, Inc. System and method for optimizing storage and transcoding costs in network DVR
CA2903855C (en) * 2013-03-15 2018-04-03 Arris Technology, Inc. System and method for optimizing storage and transcoding costs in network dvr
JP2014017003A (ja) * 2013-08-27 2014-01-30 Thomson Licensing ネットワーク・アーキテクチャを介してディスプレイ装置特有のコンテンツを供給する方法、装置及びシステム
US9414100B2 (en) 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US11037205B2 (en) 2019-01-07 2021-06-15 Alphonso Inc. Bidding agent using ad opportunity source to limit ad reach
US11151609B2 (en) 2019-01-07 2021-10-19 Alphonso Inc. Closed loop attribution
US10873785B2 (en) * 2019-01-07 2020-12-22 Alphonso Inc. Content recommendation system and method-based implicit ratings
US10803480B2 (en) 2019-01-07 2020-10-13 Alphonso Inc. Bidding agent with optimized reach limitation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19612530A1 (de) * 1996-03-29 1997-10-02 Philips Patentverwaltung Verfahren und Anordnung zur Herstellung eines hochaufgelösten digitalen Film-Masters
JP2001045436A (ja) * 1999-07-27 2001-02-16 Nec Corp デジタル放送受信機及びデータ伝送装置
JP3667197B2 (ja) * 2000-06-05 2005-07-06 富士写真フイルム株式会社 画像登録システム
JP2003087785A (ja) 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
JP2003091347A (ja) * 2001-09-18 2003-03-28 Sony Corp 情報処理装置、並びに画面表示方法、画面表示プログラム及び画面表示プログラムが記録された記録媒体
JP2002358100A (ja) 2002-04-09 2002-12-13 Matsushita Electric Ind Co Ltd 符号化装置、及び符号化記録装置
JP2003317395A (ja) * 2002-04-15 2003-11-07 Pioneer Electronic Corp 情報記録装置および情報記録方法
JP2003316691A (ja) * 2002-04-23 2003-11-07 Fuji Photo Film Co Ltd データ処理装置
EP1557044A1 (en) * 2002-10-21 2005-07-27 Koninklijke Philips Electronics N.V. Manipulating sub-pictures of a compressed video signal
JP2004208204A (ja) * 2002-12-26 2004-07-22 Funai Electric Co Ltd ハードディスクレコーダ

Also Published As

Publication number Publication date
CN1761310A (zh) 2006-04-19
JP2006115244A (ja) 2006-04-27
US7978763B2 (en) 2011-07-12
US20060083434A1 (en) 2006-04-20
CN100473137C (zh) 2009-03-25

Similar Documents

Publication Publication Date Title
JP4734887B2 (ja) 映像符号化システム、方法及び機器
US10291618B2 (en) Method and apparatus for providing and receiving contents via network, method and apparatus for backing up data via network, backup data providing device, and backup system
JP5969569B2 (ja) ネットワークを通じるコンテンツ提供方法及び装置、コンテンツ受信方法及び装置及びネットワークを通じるデータバックアップ方法及び装置、バックアップデータ提供装置及びバックアップシステム
US20100166387A1 (en) Method and apparatus for playing video data of high bit rate format by a player capable of playing video data of low bit rate format
JP3741299B2 (ja) 映像信号処理装置及び映像信号処理方法
JP2001358799A (ja) データ伝送システム、このデータ伝送システムに用いられるデータ送信装置、データ再生装置及びデータ伝送方法
KR101671388B1 (ko) 네트워크를 통한 데이터 백업 방법 및 장치, 백업 데이터 제공 장치 및 백업 시스템
JP2009003639A (ja) クライアント装置、データ処理方法およびそのプログラム
JP2006114985A (ja) 画像記録システム及びその制御方法及びプログラム及び記憶媒体
JP4817634B2 (ja) データ記憶装置
JP2006139682A (ja) 映像検索システム、映像検索方法及びプログラム
JP3977090B2 (ja) データ処理装置
JP2010098599A (ja) 撮像装置、その制御方法及びプログラム
JP2007174686A (ja) 画像データ記録装置及び画像データ記録方法
JP3741215B2 (ja) 動画編集方法、動画編集システム、情報処理装置
JP2009003984A (ja) 情報記録装置
GB2424310A (en) Transferring edited video material
JP2021114754A (ja) 画像処理システム
JP3900383B2 (ja) 映像信号処理装置及び映像信号処理方法
JP2006109176A (ja) 画像記録装置及びその制御方法
JP2002084499A (ja) 画像記録／再生装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2007158757A (ja) 情報編集システム
JP2005094393A (ja) 記録再生装置
JP2007181066A (ja) データ転送装置
JP2009100105A (ja) 動画像再生装置，およびその制御方法およびそのプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110411

R151 Written notification of patent or utility model registration

Ref document number: 4734887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250