JP4000904B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents
情報処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4000904B2 JP4000904B2 JP2002145652A JP2002145652A JP4000904B2 JP 4000904 B2 JP4000904 B2 JP 4000904B2 JP 2002145652 A JP2002145652 A JP 2002145652A JP 2002145652 A JP2002145652 A JP 2002145652A JP 4000904 B2 JP4000904 B2 JP 4000904B2
- Authority
- JP
- Japan
- Prior art keywords
- packet
- priority
- information
- value
- setting information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、プライオリティ値が設定されていないパケットに対してもプライオリティ値を設定するようにすることにより、プライオリティテーブルを容易に作成することができるようにする情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、インターネットを介して、動画像等のデータを取得しながらリアルタイムに表示ができるストリーミングデータを配信するサービスが普及しつつある。
【０００３】
インターネットでストリーミング配信を行う場合に問題となるのは、パケットロスや到着遅延によるデータ品質劣化である。MPEG（Moving Picture Experts Group）やH.26x系のようなフレーム間差分を取るエンコード方式の場合、パケットロスにより、所定のフレームのデータが欠落すると、それ以降のフレームの画質に影響が出る、いわゆるエラーの伝搬が生じる。また、MPEG方式では、動き予測により圧縮率を高めているが、動き予測を行うとアルゴリズムが複雑になり、その処理時間はフレームサイズの2乗に比例して大きくなるため、原理的に数フレームの符号化遅延が発生する。その場合の遅延時間は、双方向実時間通信を行う際には、許容遅延時間である250msぎりぎりの遅延時間となり、無視できない大きさである。
【０００４】
一方、Motion JPEG2000は、JPEG（Joint Photographic Expert Group）の後継となる静止画圧縮アルゴリズムJPEG2000を連続的に再生することで動画として扱おうというものであり、ISO（International Organization for Standardization）で標準化されたJPEG2000規格のpart3にそのファイルフォーマットが定義されている。Motion JPEG2000は、フレーム間差分を取らない動画像フォーマットであるため、前述したような問題は発生しない。また、Motion JPEG2000の基礎となるJPEG2000は、ウェーブレット変換とエントロピー符号化により圧縮率を高めているため、フレーム間差分を取らない動画像フォーマットという点で同じMotion JPEGやDVコーデック（Digital Video codec）よりも高圧縮かつ高画質である。 また、JPEG2000には、様々なエラー耐性が図られており、インターネットのようなパケットロスが発生する環境では、フレーム間差分をとらないMotion JPEG2000のような動画像フォーマットが適していると考えられる。
【０００５】
このようなJPEG2000を用いて圧縮された動画像データのストリーミング配信を行う場合、動画像データはRTP（Realtime Transport Protocol）によりパケット化されて配信される。JPEG2000を用いたストリーミング配信におけるRTPフォーマットとして、「RTP Payload Format for JPEG 2000 Video Streams」がインターネットドラフトとして提案されている。図１および図２を参照して、このRTPフォーマットの例を説明する。なお、図１および図２に示されるRTPフォーマットは、「draft-ietf-avt-rtp-jpg2000-00.txt」の記載に基づいている。
【０００６】
図１において、RTPパケット１０は、IP（Internet Protocol）用のヘッダ情報を含むIPヘッダ１１、UDP（User Datagram Protocol）用のヘッダ情報を含むUDPヘッダ１２、通常のRTP用のヘッダ情報を含むRTPヘッダ１３、JPEG2000データをストリーミング配信するためのヘッダ情報を含むRTPペイロードヘッダ１４、および、ストリーミング配信されるJPEG2000データ１５により構成される。
【０００７】
RTPパケット１０において、IPヘッダ１１は２０バイト、UDPヘッダ１２は８バイト、RTPヘッダ１３は１２バイト、RTPペイロードヘッダ１４は８バイト、JPEG2000データは数１０乃至１４００バイト程度で構成される。
【０００８】
図２は、図１に示されるRTPヘッダ１３およびRTPペイロードヘッダ１４の詳細を示す図である。
【０００９】
図２において、RTPヘッダ１３は、２ビットで構成されるバージョンビット（Ｖ）２１、１ビットで構成されるパディングビット（Ｐ）２２、１ビットで構成される拡張ビット（Ｘ）２３、４ビットで構成される寄与送信元識別子（Contributing Sources）カウントビット（CC（CSRCcount））２４、１ビットで構成されるマーカ（M）２５、７ビットで構成されるペイロードタイプ（Payload type）２６、１６ビットで構成されるシーケンス番号（Sequence number）２７、３２ビットで構成されるRTPタイムスタンプ（RTP timestamp）２８、３２ビットで構成される同期送信元識別子（SSRC（Synchronization Sources））２９により構成される。
【００１０】
また、RTPヘッダ１３に続くRTPペイロードヘッダ１４は、１ビットで構成されるイネーブルビット（E）３１、１ビットで構成される拡張ビット（Ｘ）３２、１ビットで構成されるメインヘッダ（Ｍ）３３、１ビットで構成されるタイルヘッダ（Ｔ）３４、１ビットで構成される終端フラグ（Ｌ）３５、３ビットで構成されるメインヘッダID（Mh_id）３６、８ビットで構成されるプライオリティ（Priority）３７、１６ビットで構成されるタイルヘッダID（tile_id）３８、３２ビットで構成されるオフセット値（Fragment offset）３９により構成される。
【００１１】
RTPパケット１３のバージョンビット（Ｖ）２１は、RTPのバージョンを示すビットである。パディングビット（P）２２は、この値が「１」である場合、データの最後にパディングがあることを示し、拡張ビット２３は、この値が「１」である場合、拡張ヘッダがあることを示す。
【００１２】
また、寄与送信元識別子カウントビット（CC）２４は、RTPヘッダ１３中に含まれる寄与送信元識別子（CSRC）の数を示す。マーカ（M）２５はペイロードタイプに依存して様々に使用されるビットであり、ペイロードタイプ（Payload type）２６は伝送されるストリームの種別を表す。さらに、シーケンス番号（Sequence number）２７はパケット順序を示す番号により構成される。
【００１３】
また、RTPタイムスタンプ（RTP timestamp）２８はこのデータのクロック値を示し、同期送信元識別子（SSRC）２９は送信者を一意に決めるID（IDentification）である同期送信元識別子（Synchronization Sources）により構成される。
【００１４】
RTPペイロードヘッダ１４のイネーブルビット（Ｅ）３１は、JPEG2000ペイロードヘッダ有効ビットであり、このイネーブルビット（Ｅ）３１の値が「０」の場合、メインヘッダ（Ｍ）３３，タイルヘッダ（Ｔ）３４，終端フラグ（Ｌ）３５，メインヘッダID（Mh_id）３６，プライオリティ（Priority）３７、および、タイルヘッダID（tile_id）３８の各フィールドを使用していないことを示し、これらのフィールドの値は全て「０」に設定される。また、逆に、イネーブルビット（Ｅ）３１は、その値が「１」の場合、上述したフィールドの値が全て有効であることを示す。なお、拡張ビット（Ｘ）３２、および、オフセット値（Fragment offset）３９のフィールドは、イネーブルビット（Ｅ）３１の値に関わらず、常に有効である。
【００１５】
拡張ビット（Ｘ）３２は、この値が「１」である場合、拡張ヘッダが続くことを示す。
【００１６】
また、メインヘッダ（Ｍ）３３は、パケットにメインヘッダが存在することを示し、タイルヘッダ（Ｔ）３４は、パケットにタイルヘッダが存在することを示し、終端フラグ（Ｌ）３５は、パケットにメインヘッダ、または、タイルヘッダの最後が存在することを示す。
【００１７】
メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「１０１」の場合、図１のJPEG2000データ１５は、メインヘッダのみで構成されているか、若しくは、複数に分割されたメインヘッダの内、最後の部分のみで構成されており、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「０１１」の場合、図１のJPEG2000データ１５は、タイルヘッダおよびJPEG2000パケット（以下、JP２パケットと称する）により構成されているか、若しくは、複数に分割されたタイルヘッダの内、最後の部分のみで構成されている。
【００１８】
また、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「１００」の場合、図１のJPEG2000データ１５は、複数に分割されたメインヘッダの内、最初の部分か、若しくは、途中の部分のみで構成されており、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「０１０」の場合、図１のJPEG2000データ１５は、複数に分割されたタイルヘッダの内、最初の部分か、若しくは、途中の部分のみで構成されている。
【００１９】
さらに、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「１１１」の場合、図１のJPEG2000データ１５は、メインヘッダおよびタイルヘッダにより構成されているか、若しくは、メインヘッダ、タイルヘッダ、およびJP２パケットにより構成されている。
【００２０】
すなわち、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５は、以上のように、それらの値の組み合わせにより、パケットにどのようなヘッダ部が構成されているかを示す。
【００２１】
図２のメインヘッダID（Mh_id）３６には、メインヘッダのIDを示しており、メインヘッダが変わるごとにインクリメントされる値（「１」乃至「７」）が含まれる。なお、未使用の場合は、値「０」が設定される。
【００２２】
プライオリティ（Priority）３７は、このRTPパケット中のJP２パケットの重要度（１乃至２５４）を表す。
【００２３】
タイルヘッダID（tile_id）３８は、ペイロード中にあるタイルヘッダおよびJP２パケットが属するタイルID（0x0000乃至0xffff）が設定される。なお、メインヘッダのみが存在する場合、タイルヘッダID３８には、値「０」が設定される。
【００２４】
オフセット値（Fragment offset）３９は、JPEG2000フレームデータ中のオフセット値、すなわち、フレームの先頭からのオクテット数を示す。
【００２５】
なお、図２に示されるRTPペイロードヘッダ１４のプライオリティ（Priority）３７に設定されるプライオリティ値は、「１」の場合の優先度が最も高く、値が増える毎に優先度は下がり、「２５４」の場合の優先度は最も低い。
【００２６】
プライオリティ値は、例えば、全方位映像のように広範囲の映像に対して、ユーザが全体の映像の一部分だけを見る場合に、全体の映像に対応する画像データではなく、要求された部分（必要に応じてその周囲の部分も含む）に対応する画像データだけをデコードする際に参照する値である。また、ストリーミング配信を行う配信サーバがこのプライオリティ値を参照することにより、一部分の映像に対応するデータのみを配信する部分配信を行うこともできる。
【００２７】
さらに、例えば、帯域の狭いネットワークに接続された端末や、再生能力の低い端末に対してストリーミング配信を行う場合、端末が、プライオリティ値を参照することにより、レイヤエンコーディングによりエンコードされた１つの画像フレーム中の最初の方のJPEG2000データだけをデコードし、解像度が低い画像や、画質の粗い画像を出力することができるので、オーバーフローを防ぐことができる。
【００２８】
さらに、配信サーバがJP２パケット毎のプライオリティ値を参照し、一部のデータだけを配信するスケーラブル配信を行うことも可能である。
【００２９】
また、このプライオリティ値は、そのセッション毎に用意されたプライオリティマッピングテーブルに基づいて設定される。プライオリティ値は、パケット中のJPEG2000データ（JP２パケット）がヘッダ部の場合、最も優先度の高い値「０」が設定され、データ部の場合、「１」乃至「２５４」の値が設定される。なお、プライオリティマッピングテーブルが存在しない場合、このフィールドが未使用であることを示す値「２５５」が設定される。
【００３０】
図３は、プライオリティテーブルの例を示す図である。
【００３１】
図３において、プライオリティテーブル４１は、レイヤ（L（layer））、解像度（R（resolution））、構成（C（component））、および区域（P（precinct））と、プライオリティ値（Priority）との対応表である。プライオリティテーブル４１は、レイヤを基準にプライオリティの値を設定する場合のテーブルである。
【００３２】
図４は、プライオリティテーブルの他の例を示す図である。
【００３３】
図４に示すプライオリティテーブル５１は、解像度を基準にプライオリティの値を設定する場合のテーブルである。
【００３４】
【発明が解決しようとする課題】
しかしながら、例えば、１つのJPEG2000フレームが多くのJP２パケットから構成されていたり、プライオリティ値を細かく設定したりする場合、上述したような方法では、全てのJP２パケットに対してプライオリティを設定しなければならず、そのためには、JP２パケットの個数を予め把握し、その個数分だけのプライオリティ値を設定しなければならないので、煩雑な作業を必要とするという課題があった。
【００３５】
図５は、このような場合における、プライオリティテーブルの例を示す図である。
【００３６】
プライオリティ値を細かく設定する場合、図５に示されるプライオリティテーブル６１のように、予め用意するプライオリティテーブルのデータ量が大きくなるので、このテーブルを作成する作業量が増えてしまう。
【００３７】
本発明はこのような状況に鑑みてなされたものであり、プライオリティテーブルを容易に作成することができるようにするものである。
【００３８】
【課題を解決するための手段】
本発明の情報処理装置は、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報を取得する設定情報取得手段と、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出し手段と、設定情報取得手段により取得された設定情報、およびパケット情報読み出し手段により読み出されたパケット情報に基づいて、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成手段とを備え、プライオリティテーブル作成手段は、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対してプライオリティ値を設定する場合、１つ前のパケットに設定された値より大きなプライオリティ値を設定することを特徴とする
【００３９】
前記パケット情報は、画像データに対応するパケットの個数および重要度を含むようにすることができる。
【００４４】
本発明の情報処理方法は、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、設定情報取得制御ステップの処理により取得された設定情報、およびパケット情報読み出しステップの処理により読み出されたパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成ステップとを含むことを特徴とする。
【００４５】
本発明の記録媒体のプログラムは、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、設定情報取得制御ステップの処理により取得された設定情報、およびパケット情報読み出しステップの処理により読み出されたパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成ステップとを含むことを特徴とする。
【００４６】
本発明のプログラムは、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、設定情報取得制御ステップの処理により取得された設定情報、およびパケット情報読み出しステップの処理により読み出されたパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成ステップとをコンピュータに実現させる。
【００４７】
本発明の情報処理装置および方法、記録媒体、並びにプログラムにおいては、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報が取得され、画像データより画像データのパケット化に関する情報を含むパケット情報が読み出され、その設定情報、およびパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値が設定され、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルが作成される。
【００４８】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００４９】
【発明の実施の形態】
図６は、本発明を適用した画像情報配信システムの構成例を示す図である。
【００５０】
図６において、プライオリティテーブルを作成するテーブル作成装置１０１は、ネットワーク１０２に接続されている。また、ストリーミング配信を行う配信サーバ１０３は、ネットワーク１０２に接続されるとともに、テーブル作成装置１０１にも接続されており、テーブル作成装置１０１より供給されたテーブルに基づいて動画像データをパケット化し、ネットワーク１０２を介して動画像データを配信する。さらに、クライアント１０４および１０５は、ネットワーク１０２に接続されており、配信サーバ１０３より配信されたコンテンツデータを、ネットワーク１０２を介して取得する。
【００５１】
テーブル作成装置１０１は、入力された設定情報、または、予め決められた設定情報に基づいて、配信サーバ１０３がストリーミング配信を行う動画像データに対応するプライオリティテーブルを作成する。
【００５２】
クライアント１０４または１０５から要求された場合、配信サーバ１０３は、要求された動画像データに対応するプライオリティテーブルをテーブル作成装置１０１から取得し、取得したプライオリティテーブルに基づいてプライオリティを割り当てながら、動画像データをRTPパケットに分割し、ネットワーク１０２を介して、要求元のクライアント１０４または１０５への配信を行う。
【００５３】
クライアント１０４または１０５は、ネットワーク１０２を介して配信サーバ１０１より供給されるRTPパケットを取得すると同時に、取得したRTPパケットより動画像データを再生し、対応する動画像をディスプレイ等に表示する。
【００５４】
この例においては、クライアントが２台のみ示されているが、ネットワーク１０２には、任意の台数のクライアントが接続される。また、ネットワーク１０２には、テーブル作成装置１０１および配信サーバ１０３が複数接続されているようにしてもよい。
【００５５】
図７は、テーブル作成装置１０１の構成例を示す図である。
【００５６】
図７において、CPU（Central Processing Unit）１１１は、ROM（Read Only Memory）１１２に記憶されているプログラム、または記憶部１２３からRAM（Random Access Memory）１１３にロードされたプログラムに従って各種の処理を実行する。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００５７】
CPU１１１が実行するプログラムにより構成される（勿論、ハードウェアとして構成してもよい）テーブル作成部１１４は、ユーザが入力部１２１を操作して入力された設定情報、通信部１２４等を介して入力され、記憶部１２３に予め記憶されている設定情報等を用いて、配信サーバ１０３より配信される動画像データに対応するプライオリティテーブルを作成する。
【００５８】
CPU１１１，ROM１１２、およびRAM１１３は、バス１１５を介して相互に接続されている。このバス１１５にはまた、入出力インタフェース１２０も接続されている。
【００５９】
入出力インタフェース１２０には、キーボード、マウスなどよりなる入力部１２１、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１２２、ハードディスクなどより構成される記憶部１２３、モデム、ターミナルアダプタなどより構成される通信部１２４が接続されている。通信部１２４は、配信サーバ１０３との間でアナログ信号またはデジタル信号の通信処理を行ったり、ネットワーク１０２を介して通信処理を行ったりする。
【００６０】
入出力インタフェース１２０にはまた、必要に応じてドライブ１３０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１３３にインストールされる。
【００６１】
図８は、テーブル作成部１１４の内部の構成を示す図である。
【００６２】
図８において、JPEG2000データ読み取り部１６１は、入力され、記憶部１２３（またはRAM１１３）に記憶されているJPEG2000データ１５１を、所定のタイミングで読み取り、JP２パケット情報抜き出し部１６２に供給する。JP２パケット情報抜き出し部１６２は、JPEG2000データ読み取り部１６１より供給されたJPEG2000データ１５１より、パケット化に必要なJP２パケット情報を抜き出し、プライオリティテーブル編集部１６４に供給する。
【００６３】
設定情報読み取り部１６３は、外部より供給され、記憶部１２３（またはRAM１１３）に記憶されている設定情報１５２を、所定のタイミングで読み取り、プライオリティテーブル編集部１６４に供給する。
【００６４】
プライオリティテーブル編集部１６４は、JP２パケット情報抜き出し部１６２より供給されたJP２パケット情報、および、設定情報読み取り部１６３より供給された設定情報１５２に基づいて、プライオリティテーブル１７１を編集し、プライオリティテーブル出力部１６５に出力する。プライオリティテーブル出力部１６５は、供給されたプライオリティテーブル１７１を、所定のタイミングで外部に出力する。出力されたプライオリティテーブル１７１は、バス１１５を介して記憶部１２３等に記憶される。
【００６５】
図９は、配信サーバ１０３の構成例を示す図である。
【００６６】
図９において、CPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２に記憶されているプログラム、または記憶部１２３からRAM（Random Access Memory）２１３にロードされたプログラムに従って各種の処理を実行する。RAM２１３にはまた、CPU２１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００６７】
CPU２１１，ROM２１２、およびRAM２１３は、バス２１５を介して相互に接続されている。このバス２１５にはまた、入出力インタフェース２２０も接続されている。
【００６８】
入出力インタフェース２２０には、キーボード、マウスなどよりなる入力部２２１、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部２２２、ハードディスクなどより構成される記憶部２２３、モデム、ターミナルアダプタなどより構成される通信部２２４が接続されている。通信部２２４は、ネットワーク１０２を介しての通信処理を行う。通信部２２４はまた、テーブル作成装置１０１との間で、アナログ信号またはデジタル信号の通信処理を行う。
【００６９】
入出力インタフェース２２０にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、或いは半導体メモリ２３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２３３にインストールされる。
【００７０】
次に、JPEG2000データのフォーマットについて説明する。
【００７１】
図１０は、JPEG2000データの１フレームのデータ構造を示す図である。
【００７２】
図１０において、１フレーム分のJPEG2000データであるデータ２５０は、１フレーム分のデータに対するヘッダ情報を含むヘッダ部であるメインヘッダ（MH）２５１、およびJPEG2000により圧縮された１フレーム分の動画像データからなるデータ部２５２により構成される。
【００７３】
また、JPEG2000では、画像をタイルと呼ばれる幾つかの任意領域に分割して一部のタイルだけをデコードすることが可能である。各タイルサイズはエンコード時に指定したサイズで一定となり、タイルサイズはJPEG2000のヘッダに記述されている。また各タイルには全体画像の左上から右下方向に向かってインデックス番号がついているため、そのタイルのインデックス番号が分かれば、そのタイル画像が全体画像のどの部分の画像かを容易に判断できるという利点がある。さらに、それぞれの部分に対して独立に符号化を行うことが可能であり、ユーザがあまり注目しない部分(たとえば円筒形にマッピングされた空間画像の上端や下端部分)は画質を落とし、圧縮率を上げることで、記憶領域やネットワーク帯域を更に節約することができる。
【００７４】
すなわち、JPEG2000には、TRUNCATE画像(エンコードされたデータの一部分)をデコーダ（クライアント１０４または１０５）に入力してもデコードできる機能を有するため、必要なタイルだけを配信することが可能になる。
【００７５】
図１１に画像をM＋１個のタイルに分割した例を示す。タイルには０からMまで順番に、インデックス番号が振られているため、例えば、インデックス３のタイル画像の左上の座標は、(tile_width×３，０)と容易に知ることができる。なお、tile_widthは、タイルの幅を表す。また、tile_heightは、タイルの高さを表すものとすると、インデックス番号をタイルの水平方向の数で割って得られる商の値と、tile_heightの値から、そのタイルの垂直方向の座標を知ることができる。
【００７６】
図１０に戻り、データ部２５２の動画像データは、以上に説明したタイル毎にタイルデータ２６０−０乃至２６０−Mとして構成されている。タイルデータ２６０−０は、ヘッダ部であるタイルヘッダ（TH）２６１−０および１タイル分の動画像データであるタイルデータ部２６２−０により構成される。タイルデータ部２６２−０は、RTPパケット化される際に分割される単位毎のデータ（JP２_０乃至JP２_N）により構成される。なお、タイルデータ２６２−１乃至２６２−Mもまたタイルデータ２６２−０と同様に構成されるのでその説明は省略する。
【００７７】
次に、以上のように構成されるJPEG2000データに対応するプライオリティテーブルを作成する方法について説明する。
【００７８】
図１２は、プライオリティテーブルを作成する様子の例を示す図である。
【００７９】
図１２において、最初に、配信サーバ１０３のCPU２１１は、記憶部２２３に構成されるJPEG2000データベース３１３に予め登録されているJPEG2000データ１５１を、通信部２２４を介してテーブル作成装置１０１に供給する。
【００８０】
テーブル作成装置１０１のテーブル作成部１１４は、配信サーバ１０３より供給されたJPEG2000データ１５１を、JPEG2000データ読み取り部１６１（通信部１２４）を介して取得する。そして、設定情報読み取り部１６３は、記憶部１２３に作成されている設定情報データベース３０２に予め登録されている、プライオリティテーブルを作成するための設定情報１５２を取得する。なお、設定情報データベース３０２に登録されている設定情報は、ユーザにより入力部１２１を操作されて作成された設定情報であってもよいし、通信部１２４を介して外部より入力された設定情報であってもよい。また、ドライブ１３０を介して記録媒体より入力された設定情報であってもよい。
【００８１】
プライオリティテーブル編集部１６４は、入力されたJPEG2000データ１５１および設定情報１５２に基づいて、入力されたJPEG2000データに対応するプライオリティテーブル１７１を作成する。そして、プライオリティテーブル出力部１６５は、作成されたプライオリティテーブル１７１を、記憶部１２３に構成されるテーブルデータベース３０１に供給し、登録させる。
【００８２】
配信サーバ１０３のCPU２１１は、例えば、クライアント１０４に要求されてストリーミング配信を行う場合、記憶部２２３のJPEG2000データベース３０１より、配信を要求されたJPEG2000データ３１１を取得し、さらに、通信部２２４を介して、テーブル作成装置１０１のテーブルデータベース３０３より、対応するプライオリティテーブル３１２を取得し、送信データ３１０として、RAM２１３等に保持させる。そして、CPU２１１は、所定のタイミングで送信データ３１０をパケット化し、ネットワーク１０２を介してクライアント１０４に供給する。
【００８３】
次に、図１３乃至図１５のフローチャートを参照して、テーブル作成装置１０１によるプライオリティテーブル作成処理について説明する。
【００８４】
テーブル作成装置１０１のJPEG2000データ読み取り部１６１は、最初に、図１３のステップＳ１において、テーブルを作成するJPEG2000データ１５１を、通信部１２４を介して、配信サーバ１０３より取得し、保持する。
【００８５】
JPEG2000データ読み取り部１６１は、保持しているJPEG2000データ１５１を、所定のタイミングで、JP２パケット情報抜き出し部１６２に供給する。JP２パケット情報抜き出し部１６２は、ステップＳ２において、供給されたJPEG2000データ１５１より、作成されるJP２パケットの個数（JP２NUM）および各JP２パケットの重要度を読み出し、プライオリティテーブル編集部１６４に供給する。
【００８６】
JPEG2000データ１５１の各フレームのデータ２５０は、図１０において説明したように、パケット化される単位毎にデータが構成されており、JP２パケット情報抜き出し部１６２は、それらの数をカウントしたり、タイルヘッダ（TH）２６１−０乃至２６１−Mまたはメインヘッダ（MH）２５１に含まれる情報を参照したりすることにより、作成されるJP２パケットの個数を読み出す。
【００８７】
また、図１７を参照して後述するように、JPEG2000データは、パケット化される単位毎にデータの重要度が予め指定されており、JP２パケット情報抜き出し部１６２は、タイルヘッダ（TH）２６１−０乃至２６１−Mまたはメインヘッダ（MH）２５１に含まれる情報を参照することにより、作成されるJP２パケットの重要度を読み出す。
【００８８】
ステップＳ３において、設定情報読み取り部１６３は、記憶部１２３（設定情報データベース３０２）に予め記憶されている、取得したJPEG2000データに対応する設定情報を取得し、保持する。
【００８９】
設定情報には、図１６に示されるようなテーブルが含まれている。
【００９０】
図１６において、設定情報に含まれるテーブル３５１は、レイヤ（L）、および解像度（R）の条件と、指定されるプライオリティ値の対応表である。図１６に示すように、テーブル３５１には、全てのJP２パケットに対するプライオリティ値は設定されておらず、ユーザが指定した任意の数の条件およびそれに対応するプライオリティ値のみが登録されている。図１６の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１以上」のとき、プライオリティ値は「２０」とされている。また、レイヤが「１」で、解像度が「０以上」のとき、プライオリティ値は、「３０」とされている。
【００９１】
設定情報読み取り部１６３は、図１６に示されるテーブル３５１を含む設定情報を保持し、所定のタイミングでプライオリティテーブル編集部１６４に供給する。
【００９２】
プライオリティテーブル編集部１６４は、ステップＳ４において、プライオリティテーブルを編集するために使用する各変数を初期化する。プライオリティテーブルを編集するために使用する変数として、対象となるJP２パケットの番号を示すNJP、現在のプライオリティ値を示すNP、現在のJP２パケットの重要度を示すNL、同じプライオリティ値を持つJP２パケットの開始番号を示すFJPが用意される。プライオリティテーブル編集部１６４は、NJPの値を「１」に設定し、NPの値を「１」に設定し、NLの値を最初のJP２パケットの重要度に設定し、FJPの値を「０」に設定することで初期化を行う。
【００９３】
また、このとき、プライオリティテーブル編集部１６４は、プライオリティ値の設定方法（規則）を決定する。プライオリティ値の設定きそくとしては、図１７を参照して後述するように、例えば、JP２パケット毎にプライオリティ値をインクリメントする規則、JP２パケットの重要度が変わる毎にインクリメントする規則、および、インクリメントしない規則の３つの規則が用意されており、プライオリティテーブル編集部１６４は、入力された設定情報に基づいて、或いは、ユーザが入力部１２１を操作して入力した指示に基づいて、設定規則を選択的に決定する。
【００９４】
なお、ここで用意されるプライオリティ値の設定規則は、上述した以外の規則であってもよいし、また、その数はいくつであってもよい。
【００９５】
ステップＳ４の処理を終了したプライオリティテーブル編集部１６４は、ステップＳ５において、取得したJPEG2000データより対象となる１パケット分のデータを抽出し、抽出したデータをパケット化したJP２パケットが、設定情報より指定されたプライオリティ値のJP２パケットであるか否かを判定する。
【００９６】
抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットであると判定した場合、プライオリティテーブル編集部１６４は、ステップＳ６に処理を進め、設定情報に基づいて、指定されたプライオリティ値を変数ＮＰに代入し、ステップＳ７に処理を進める。
【００９７】
また、ステップＳ４において、抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットではないと判定した場合、プライオリティテーブル編集部１６４は、ステップＳ６の処理を省略し、ステップＳ７に処理を進める。
【００９８】
プライオリティテーブル編集部１６４は、ステップＳ７において、変数NJPの値に「１」を加算し、図１４のステップＳ８に処理を進める。
【００９９】
図１４のステップＳ８において、プライオリティテーブル編集部１６４は、取得したJPEG2000データより対象となる１パケット分のデータ（次の１パケット分のデータ）を抽出し、抽出したデータをパケット化したJP２パケットが、設定情報によりプライオリティ値が指定されたJP２パケットであるか否かを判定する。そして、抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットであると判定した場合、プライオリティテーブル編集部１６４は、ステップＳ９に処理を進め、パケット番号がFJP乃至（NJP−１）の各JP２パケットのプライオリティ値を全て、変数NPの値に設定する。
【０１００】
そして、プライオリティテーブル編集部１６４は、ステップＳ１０において、設定情報に基づいて指定されたプライオリティ値を変数NPに代入し、ステップＳ１１において、変数NJPの値を変数FJPに代入し、ステップＳ１２において、変数NJPの値に１を加算する。
【０１０１】
ステップＳ１２の処理を終了したプライオリティテーブル編集部１６４は、ステップＳ１３において、変数NJPの値と、ステップＳ２において設定した変数JP２NUMの値を比較し、両者が一致するか否かを判定する。
【０１０２】
変数NJPの値が変数JP２NUMの値より小さい（一致していない）と判定した場合、プライオリティテーブル編集部１６４は、ステップＳ８に処理を戻し、それ以降の処理を繰り返す。すなわち、プライオリティテーブル編集部１６４は、プライオリティ値が指定されたJP２パケットを処理する場合、ステップＳ４において設定したプライオリティ値の設定規則に関わらず、それまで処理を保留していたJP２パケットとともに、プライオリティ値を設定する。そして、後述する図１５のステップＳ１５乃至Ｓ２１の処理を含む、ステップＳ８乃至ステップＳ１３の処理を繰り返すことにより、全てのJP２パケットについてプライオリティ値を設定する。
【０１０３】
ステップＳ１３において、変数NJPの値が変数JP２NUMの値と一致したと判定した場合、プライオリティテーブル編集部１６４は、ステップＳ１４に処理を進め、番号がFJP乃至NJPの各JP２パケットのプライオリティ値を全て、変数NPの値に設定し、プライオリティテーブル作成処理を終了する。
【０１０４】
また、プライオリティテーブル編集部１６４は、図１４のステップＳ８において、抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットではないと判定した場合、図１５のステップＳ１５に処理を進める。
【０１０５】
図１５のステップＳ１５において、プライオリティテーブル編集部１６４は、ステップＳ４において設定されたプライオリティ値の設定規則が、JP２パケット毎に、設定するプライオリティ値をインクリメントする第１の規則であるか否かを判定する。
【０１０６】
設定規則が第１の規則であると判定した場合、プライオリティテーブル編集部１６４は、処理をステップＳ１９に進め、番号がFJP乃至（NJP−１）のJP２パケットのプライオリティ値として、変数NPの値を設定する。そして、プライオリティテーブル編集部１６４は、ステップＳ２０において、変数ＮＰの値に「１」を加算し、ステップＳ２１において、変数FJPに変数NJPの値を代入した後、図１４のステップＳ１２に戻り、それ以降の処理を繰り返す。
【０１０７】
すなわち、プライオリティテーブル編集部１６４は、プライオリティ値の設定規則が第１の規則の場合、抽出したデータをパケット化したJP２パケットがどのようなパケットであっても、プライオリティ値を設定し、次にプライオリティ値として設定される変数NPの値に「１」を加算してインクリメントする。
【０１０８】
また、図１５のステップＳ１５において、プライオリティ値の設定規則が第１の規則ではないと判定した場合、プライオリティテーブル編集部１６４は、ステップＳ１６に処理を進め、ステップＳ４において設定されたプライオリティ値の設定規則が、JP２パケットの重要度が変化する毎に、設定するプライオリティ値をインクリメントする第２の規則であるか否かを判定する。
【０１０９】
第２の規則であると判定した場合、プライオリティテーブル編集部１６４は、処理をステップＳ１７に進め、対象となるJP２パケットの重要度が変数NLの値と等しいか否かを判定する。
【０１１０】
JP２パケットの重要度が変化し、前のJP２パケットの重要度と異なる値をとり、対象となるJP２パケットの重要度が変数NLの値と等しくないと判定された場合、プライオリティテーブル編集部１６４は、処理をステップＳ１８に進め、変数ＮＬに対象となるJP２パケットの重要度の値を代入した後、処理をステップＳ１９に進め、それ以降の処理を繰り返す。
【０１１１】
また、ステップＳ１７において、JP２パケットの重要度が変化せず、前のJP２パケットの重要度と同じ値をとり、対象となるJP２パケットの重要度が変数NLの値と等しいと判定された場合、プライオリティテーブル編集部１６４は、処理を図１４のステップＳ１２に戻し、それ以降の処理を繰り返す。
【０１１２】
すなわち、プライオリティテーブル編集部１６４は、プライオリティ値の設定規則が第２の規則の場合、抽出したデータをパケット化したJP２パケットの重要度が変化した場合、プライオリティ値を設定し、JP２パケットの重要度が変化しない場合、そのパケットの処理を保留し、次のJP２パケットの処理を進める。
【０１１３】
また、ステップＳ１６において、ステップＳ４において設定されたプライオリティ値の設定規則が、設定するプライオリティ値をインクリメントしない第３の規則であり、第２の規則ではないと判定した場合、プライオリティテーブル編集部１６４は、処理を図１４のステップＳ１２に戻し、それ以降の処理を繰り返す。
【０１１４】
すなわち、プライオリティテーブル編集部１６４は、プライオリティ値の設定規則が第３の規則の場合、プライオリティ値が指定されたJP２パケット以外のJP２パケットに対しては、全て処理を保留し、次のJP２パケットの処理を進める。
【０１１５】
以上のようにして、テーブル作成装置１０１は、プライオリティテーブル作成処理を実行する。これにより、テーブル作成装置１０１は、全てのJP２パケットに対してプライオリティ値が設定されていなくても、全てのJP２パケットに対してプライオリティ値を設定してあるプライオリティテーブルを作成することができる。
【０１１６】
図１７は、以上に説明したプライオリティテーブル作成処理により作成されたプライオリティ値の例を示す図である。
【０１１７】
図１７において、JPEG2000データは２つのタイルで構成されており、１つのタイルは６つのJP２パケット（JP２_０乃至JP２_５）に分割される。また、各JP２パケットの重要度は、図１７に示されるように、高、中、および低の３段階に設定される。
【０１１８】
このようなJPEG2000データにプライオリティ値を設定した結果をパターン１−１乃至１−５，２−１乃至２−３、および３−１乃至３−３に示す。なお、四角で囲まれた値は、設定情報に含まれるテーブルにおいて、ユーザにより予め指定されるプライオリティ値を示している。
【０１１９】
パターン１−１および１−２は、各タイルの第１番目のJP２パケット（JP２_０）のプライオリティ値として、値「１０」を設定し、第２番目のJP２パケット（JP２_１）のプライオリティ値として、値「２０」を設定し、第５番目のJP２パケット（JP２_４）のプライオリティ値として、値「３０」を設定した場合のプライオリティ値の例を示している。
【０１２０】
パターン１−１においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１２１】
パターン１−２においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２２】
パターン１−３乃至１−５は、各タイルの第１番目のJP２パケット（JP２_０）のプライオリティ値として、値「１０」を設定し、第２番目のJP２パケット（JP２_１）のプライオリティ値として、値「２０」を設定した場合のプライオリティ値の例を示している。
【０１２３】
パターン１−３においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１２４】
パターン１−４においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２５】
パターン１−５においては第２の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケットの重要度が変化する毎にインクリメントされており、JP２パケットの重要度が変化した場合、そのJP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２６】
パターン２−１乃至２−３は、各タイルの第１番目のJP２パケット（JP２_０）のプライオリティ値として、値「１０」を設定した場合のプライオリティ値の例を示している。
【０１２７】
パターン２−１においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１２８】
パターン２−２においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２９】
パターン２−３においては第２の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケットの重要度が変化する毎にインクリメントされており、JP２パケットの重要度が変化した場合、そのJP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１３０】
パターン３−１乃至３−３は、プライオリティ値を全く設定しない場合のプライオリティ値の例を示している。
【０１３１】
パターン３−１においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１３２】
パターン３−２においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１３３】
パターン３−３においては第２の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケットの重要度が変化する毎にインクリメントされており、JP２パケットの重要度が変化した場合、そのJP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１３４】
以上のように、設定されたプライオリティ値は、図１８乃至図２０に示すようなプライオリティテーブルとして記憶部１２３に作成されたテーブルデータベース３０３に記憶され、JPEG2000データをパケット化する際に、配信サーバ１０３により参照される。
【０１３５】
図１８は、テーブル作成装置１０１により作成されたプライオリティテーブルの例を示す図である。
【０１３６】
図１８において、プライオリティテーブル３６１は、上述した第３の規則により設定されたプライオリティ値により構成されるテーブルであり、プライオリティテーブル３６１においては、全てのJP２パケットに対するプライオリティ値が設定されている。
【０１３７】
図１８の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１」のとき、プライオリティ値は「２０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「２０」とされている。また、レイヤが「１」で、解像度が「０」のとき、プライオリティ値は、さらにインクリメントされず、「２０」とされ、解像度が「１」のとき、プライオリティ値は「３０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「３０」とされている。
【０１３８】
図１９は、テーブル作成装置１０１により作成されたプライオリティテーブルの他の例を示す図である。
【０１３９】
図１９において、プライオリティテーブル３６２は、上述した第１の規則により設定されたプライオリティ値により構成されるテーブルであり、プライオリティテーブル３６２においては、全てのJP２パケットに対するプライオリティ値が設定されている。
【０１４０】
図１９の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１」のとき、プライオリティ値は「２０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされて、「２１」とされている。また、レイヤが「１」で、解像度が「０」のとき、プライオリティ値は、さらにインクリメントされて、「２２」とされ、解像度が「１」のとき、プライオリティ値は「３０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされて、「３１」とされている。
【０１４１】
図２０は、テーブル作成装置１０１により作成されたプライオリティテーブルの、さらに他の例を示す図である。
【０１４２】
図２０において、プライオリティテーブル３６３は、上述した第２の規則により設定されたプライオリティ値により構成されるテーブルであり、プライオリティテーブル３６３においては、全てのJP２パケットに対するプライオリティ値が設定されている。
【０１４３】
図２０の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１」のとき、プライオリティ値は「２０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「２０」とされている。また、レイヤが「１」で、解像度が「０」のとき、プライオリティ値は、インクリメントされて、「２１」とされ、解像度が「１」のとき、プライオリティ値は「３０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「３０」とされている。
【０１４４】
以上のようにして、テーブル作成装置１０１は、ユーザが一部のJP２パケットに対してのみ指定したプライオリティ値より、全てのJP２パケットに対してプライオリティ値を設定するようにしたので、ユーザは、どのようなプライオリティテーブルでも容易に作成することができる。
【０１４５】
なお、以上において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４６】
また、図６においてテーブル作成装置１０１および配信サーバ１０３は、別体で構成されるように説明したが、これに限らず、１つの装置として構成されるようにしてもよい。
【０１４７】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１４８】
この記録媒体は、図７および図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１および２３１（フレキシブルディスクを含む）、光ディスク１３２および２３２（CD-ROM(Compact Disk - Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク１３３および２３３（ＭＤ（Mini-Disk）（商標）を含む）、または半導体メモリ１３４および２３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１１２および２１２や、記憶部１２３および２２３に含まれるハードディスクなどで構成される。
【０１４９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５０】
【発明の効果】
以上のように、本発明によれば、プライオリティテーブルを作成することができる。特に、その作成を容易に行うことができる。
【図面の簡単な説明】
【図１】 RTPパケットのフォーマットの例を示す図である。
【図２】図１に示されるRTPヘッダおよびRTPペイロードヘッダの詳細な構成例を示す図である。
【図３】従来のプライオリティテーブルの例を示す図である。
【図４】従来のプライオリティテーブルの他の例を示す図である。
【図５】従来のプライオリティテーブルの、さらに他の例を示す図である。
【図６】本発明を適用した画像情報配信システムの構成例を示す図である。
【図７】図６のテーブル作成装置の構成例を示す図である。
【図８】図７のテーブル作成部の内部の構成を示す図である。
【図９】図６の配信サーバの構成例を示す図である。
【図１０】 JPEG2000データの１フレームのデータ構造を示す図である。
【図１１】画像をM個のタイルに分割する例を示す図である。
【図１２】プライオリティテーブルを作成する様子の例を示す図である。
【図１３】図６のテーブル作成装置によるプライオリティテーブル作成処理について説明するフローチャートである。
【図１４】図６のテーブル作成装置によるプライオリティテーブル作成処理について説明する、図１３に続くフローチャートである。
【図１５】図６のテーブル作成装置によるプライオリティテーブル作成処理について説明する、図１４に続くフローチャートである。
【図１６】設定情報に含まれるテーブルの例を示す図である。
【図１７】プライオリティ値の例を示す図である。
【図１８】図６のテーブル作成装置により作成されたプライオリティテーブルの例を示す図である。
【図１９】図６のテーブル作成装置により作成されたプライオリティテーブルの他の例を示す図である。
【図２０】図６のテーブル作成装置により作成されたプライオリティテーブルの、さらに他の例を示す図である。
【符号の説明】
１０１ テーブル作成装置， １０２ ネットワーク， １０３ 配信サーバ， １０４および１０５ クライアント， １１１ CPU， １１２ ROM， １１３ RAM， １１４ テーブル作成部， １２３ 記憶部， １２４ 通信部， １６１ JPEG2000データ読み取り部， １６２ JP２パケット情報抜き出し部， １６３ 設定情報読み取り部， １６４ プライオリティテーブル編集部， １６５ プライオリティテーブル出力部， ２１１ CPU， ２１２ ROM，２１３ RAM， ２２３ 記憶部， ２２４ 通信部， ３０１ JPEG2000データベース， ３０２ 設定情報データベース， ３０３ テーブルデータベース， ３５１ テーブル， ３６１乃至３６３ プライオリティテーブル
【発明の属する技術分野】
本発明は情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、プライオリティ値が設定されていないパケットに対してもプライオリティ値を設定するようにすることにより、プライオリティテーブルを容易に作成することができるようにする情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、インターネットを介して、動画像等のデータを取得しながらリアルタイムに表示ができるストリーミングデータを配信するサービスが普及しつつある。
【０００３】
インターネットでストリーミング配信を行う場合に問題となるのは、パケットロスや到着遅延によるデータ品質劣化である。MPEG（Moving Picture Experts Group）やH.26x系のようなフレーム間差分を取るエンコード方式の場合、パケットロスにより、所定のフレームのデータが欠落すると、それ以降のフレームの画質に影響が出る、いわゆるエラーの伝搬が生じる。また、MPEG方式では、動き予測により圧縮率を高めているが、動き予測を行うとアルゴリズムが複雑になり、その処理時間はフレームサイズの2乗に比例して大きくなるため、原理的に数フレームの符号化遅延が発生する。その場合の遅延時間は、双方向実時間通信を行う際には、許容遅延時間である250msぎりぎりの遅延時間となり、無視できない大きさである。
【０００４】
一方、Motion JPEG2000は、JPEG（Joint Photographic Expert Group）の後継となる静止画圧縮アルゴリズムJPEG2000を連続的に再生することで動画として扱おうというものであり、ISO（International Organization for Standardization）で標準化されたJPEG2000規格のpart3にそのファイルフォーマットが定義されている。Motion JPEG2000は、フレーム間差分を取らない動画像フォーマットであるため、前述したような問題は発生しない。また、Motion JPEG2000の基礎となるJPEG2000は、ウェーブレット変換とエントロピー符号化により圧縮率を高めているため、フレーム間差分を取らない動画像フォーマットという点で同じMotion JPEGやDVコーデック（Digital Video codec）よりも高圧縮かつ高画質である。 また、JPEG2000には、様々なエラー耐性が図られており、インターネットのようなパケットロスが発生する環境では、フレーム間差分をとらないMotion JPEG2000のような動画像フォーマットが適していると考えられる。
【０００５】
このようなJPEG2000を用いて圧縮された動画像データのストリーミング配信を行う場合、動画像データはRTP（Realtime Transport Protocol）によりパケット化されて配信される。JPEG2000を用いたストリーミング配信におけるRTPフォーマットとして、「RTP Payload Format for JPEG 2000 Video Streams」がインターネットドラフトとして提案されている。図１および図２を参照して、このRTPフォーマットの例を説明する。なお、図１および図２に示されるRTPフォーマットは、「draft-ietf-avt-rtp-jpg2000-00.txt」の記載に基づいている。
【０００６】
図１において、RTPパケット１０は、IP（Internet Protocol）用のヘッダ情報を含むIPヘッダ１１、UDP（User Datagram Protocol）用のヘッダ情報を含むUDPヘッダ１２、通常のRTP用のヘッダ情報を含むRTPヘッダ１３、JPEG2000データをストリーミング配信するためのヘッダ情報を含むRTPペイロードヘッダ１４、および、ストリーミング配信されるJPEG2000データ１５により構成される。
【０００７】
RTPパケット１０において、IPヘッダ１１は２０バイト、UDPヘッダ１２は８バイト、RTPヘッダ１３は１２バイト、RTPペイロードヘッダ１４は８バイト、JPEG2000データは数１０乃至１４００バイト程度で構成される。
【０００８】
図２は、図１に示されるRTPヘッダ１３およびRTPペイロードヘッダ１４の詳細を示す図である。
【０００９】
図２において、RTPヘッダ１３は、２ビットで構成されるバージョンビット（Ｖ）２１、１ビットで構成されるパディングビット（Ｐ）２２、１ビットで構成される拡張ビット（Ｘ）２３、４ビットで構成される寄与送信元識別子（Contributing Sources）カウントビット（CC（CSRCcount））２４、１ビットで構成されるマーカ（M）２５、７ビットで構成されるペイロードタイプ（Payload type）２６、１６ビットで構成されるシーケンス番号（Sequence number）２７、３２ビットで構成されるRTPタイムスタンプ（RTP timestamp）２８、３２ビットで構成される同期送信元識別子（SSRC（Synchronization Sources））２９により構成される。
【００１０】
また、RTPヘッダ１３に続くRTPペイロードヘッダ１４は、１ビットで構成されるイネーブルビット（E）３１、１ビットで構成される拡張ビット（Ｘ）３２、１ビットで構成されるメインヘッダ（Ｍ）３３、１ビットで構成されるタイルヘッダ（Ｔ）３４、１ビットで構成される終端フラグ（Ｌ）３５、３ビットで構成されるメインヘッダID（Mh_id）３６、８ビットで構成されるプライオリティ（Priority）３７、１６ビットで構成されるタイルヘッダID（tile_id）３８、３２ビットで構成されるオフセット値（Fragment offset）３９により構成される。
【００１１】
RTPパケット１３のバージョンビット（Ｖ）２１は、RTPのバージョンを示すビットである。パディングビット（P）２２は、この値が「１」である場合、データの最後にパディングがあることを示し、拡張ビット２３は、この値が「１」である場合、拡張ヘッダがあることを示す。
【００１２】
また、寄与送信元識別子カウントビット（CC）２４は、RTPヘッダ１３中に含まれる寄与送信元識別子（CSRC）の数を示す。マーカ（M）２５はペイロードタイプに依存して様々に使用されるビットであり、ペイロードタイプ（Payload type）２６は伝送されるストリームの種別を表す。さらに、シーケンス番号（Sequence number）２７はパケット順序を示す番号により構成される。
【００１３】
また、RTPタイムスタンプ（RTP timestamp）２８はこのデータのクロック値を示し、同期送信元識別子（SSRC）２９は送信者を一意に決めるID（IDentification）である同期送信元識別子（Synchronization Sources）により構成される。
【００１４】
RTPペイロードヘッダ１４のイネーブルビット（Ｅ）３１は、JPEG2000ペイロードヘッダ有効ビットであり、このイネーブルビット（Ｅ）３１の値が「０」の場合、メインヘッダ（Ｍ）３３，タイルヘッダ（Ｔ）３４，終端フラグ（Ｌ）３５，メインヘッダID（Mh_id）３６，プライオリティ（Priority）３７、および、タイルヘッダID（tile_id）３８の各フィールドを使用していないことを示し、これらのフィールドの値は全て「０」に設定される。また、逆に、イネーブルビット（Ｅ）３１は、その値が「１」の場合、上述したフィールドの値が全て有効であることを示す。なお、拡張ビット（Ｘ）３２、および、オフセット値（Fragment offset）３９のフィールドは、イネーブルビット（Ｅ）３１の値に関わらず、常に有効である。
【００１５】
拡張ビット（Ｘ）３２は、この値が「１」である場合、拡張ヘッダが続くことを示す。
【００１６】
また、メインヘッダ（Ｍ）３３は、パケットにメインヘッダが存在することを示し、タイルヘッダ（Ｔ）３４は、パケットにタイルヘッダが存在することを示し、終端フラグ（Ｌ）３５は、パケットにメインヘッダ、または、タイルヘッダの最後が存在することを示す。
【００１７】
メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「１０１」の場合、図１のJPEG2000データ１５は、メインヘッダのみで構成されているか、若しくは、複数に分割されたメインヘッダの内、最後の部分のみで構成されており、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「０１１」の場合、図１のJPEG2000データ１５は、タイルヘッダおよびJPEG2000パケット（以下、JP２パケットと称する）により構成されているか、若しくは、複数に分割されたタイルヘッダの内、最後の部分のみで構成されている。
【００１８】
また、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「１００」の場合、図１のJPEG2000データ１５は、複数に分割されたメインヘッダの内、最初の部分か、若しくは、途中の部分のみで構成されており、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「０１０」の場合、図１のJPEG2000データ１５は、複数に分割されたタイルヘッダの内、最初の部分か、若しくは、途中の部分のみで構成されている。
【００１９】
さらに、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５の値の組み合わせが、順番に、「１１１」の場合、図１のJPEG2000データ１５は、メインヘッダおよびタイルヘッダにより構成されているか、若しくは、メインヘッダ、タイルヘッダ、およびJP２パケットにより構成されている。
【００２０】
すなわち、メインヘッダ（Ｍ）３３、タイルヘッダ（Ｔ）３４、および、終端フラグ（Ｌ）３５は、以上のように、それらの値の組み合わせにより、パケットにどのようなヘッダ部が構成されているかを示す。
【００２１】
図２のメインヘッダID（Mh_id）３６には、メインヘッダのIDを示しており、メインヘッダが変わるごとにインクリメントされる値（「１」乃至「７」）が含まれる。なお、未使用の場合は、値「０」が設定される。
【００２２】
プライオリティ（Priority）３７は、このRTPパケット中のJP２パケットの重要度（１乃至２５４）を表す。
【００２３】
タイルヘッダID（tile_id）３８は、ペイロード中にあるタイルヘッダおよびJP２パケットが属するタイルID（0x0000乃至0xffff）が設定される。なお、メインヘッダのみが存在する場合、タイルヘッダID３８には、値「０」が設定される。
【００２４】
オフセット値（Fragment offset）３９は、JPEG2000フレームデータ中のオフセット値、すなわち、フレームの先頭からのオクテット数を示す。
【００２５】
なお、図２に示されるRTPペイロードヘッダ１４のプライオリティ（Priority）３７に設定されるプライオリティ値は、「１」の場合の優先度が最も高く、値が増える毎に優先度は下がり、「２５４」の場合の優先度は最も低い。
【００２６】
プライオリティ値は、例えば、全方位映像のように広範囲の映像に対して、ユーザが全体の映像の一部分だけを見る場合に、全体の映像に対応する画像データではなく、要求された部分（必要に応じてその周囲の部分も含む）に対応する画像データだけをデコードする際に参照する値である。また、ストリーミング配信を行う配信サーバがこのプライオリティ値を参照することにより、一部分の映像に対応するデータのみを配信する部分配信を行うこともできる。
【００２７】
さらに、例えば、帯域の狭いネットワークに接続された端末や、再生能力の低い端末に対してストリーミング配信を行う場合、端末が、プライオリティ値を参照することにより、レイヤエンコーディングによりエンコードされた１つの画像フレーム中の最初の方のJPEG2000データだけをデコードし、解像度が低い画像や、画質の粗い画像を出力することができるので、オーバーフローを防ぐことができる。
【００２８】
さらに、配信サーバがJP２パケット毎のプライオリティ値を参照し、一部のデータだけを配信するスケーラブル配信を行うことも可能である。
【００２９】
また、このプライオリティ値は、そのセッション毎に用意されたプライオリティマッピングテーブルに基づいて設定される。プライオリティ値は、パケット中のJPEG2000データ（JP２パケット）がヘッダ部の場合、最も優先度の高い値「０」が設定され、データ部の場合、「１」乃至「２５４」の値が設定される。なお、プライオリティマッピングテーブルが存在しない場合、このフィールドが未使用であることを示す値「２５５」が設定される。
【００３０】
図３は、プライオリティテーブルの例を示す図である。
【００３１】
図３において、プライオリティテーブル４１は、レイヤ（L（layer））、解像度（R（resolution））、構成（C（component））、および区域（P（precinct））と、プライオリティ値（Priority）との対応表である。プライオリティテーブル４１は、レイヤを基準にプライオリティの値を設定する場合のテーブルである。
【００３２】
図４は、プライオリティテーブルの他の例を示す図である。
【００３３】
図４に示すプライオリティテーブル５１は、解像度を基準にプライオリティの値を設定する場合のテーブルである。
【００３４】
【発明が解決しようとする課題】
しかしながら、例えば、１つのJPEG2000フレームが多くのJP２パケットから構成されていたり、プライオリティ値を細かく設定したりする場合、上述したような方法では、全てのJP２パケットに対してプライオリティを設定しなければならず、そのためには、JP２パケットの個数を予め把握し、その個数分だけのプライオリティ値を設定しなければならないので、煩雑な作業を必要とするという課題があった。
【００３５】
図５は、このような場合における、プライオリティテーブルの例を示す図である。
【００３６】
プライオリティ値を細かく設定する場合、図５に示されるプライオリティテーブル６１のように、予め用意するプライオリティテーブルのデータ量が大きくなるので、このテーブルを作成する作業量が増えてしまう。
【００３７】
本発明はこのような状況に鑑みてなされたものであり、プライオリティテーブルを容易に作成することができるようにするものである。
【００３８】
【課題を解決するための手段】
本発明の情報処理装置は、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報を取得する設定情報取得手段と、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出し手段と、設定情報取得手段により取得された設定情報、およびパケット情報読み出し手段により読み出されたパケット情報に基づいて、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成手段とを備え、プライオリティテーブル作成手段は、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対してプライオリティ値を設定する場合、１つ前のパケットに設定された値より大きなプライオリティ値を設定することを特徴とする
【００３９】
前記パケット情報は、画像データに対応するパケットの個数および重要度を含むようにすることができる。
【００４４】
本発明の情報処理方法は、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、設定情報取得制御ステップの処理により取得された設定情報、およびパケット情報読み出しステップの処理により読み出されたパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成ステップとを含むことを特徴とする。
【００４５】
本発明の記録媒体のプログラムは、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、設定情報取得制御ステップの処理により取得された設定情報、およびパケット情報読み出しステップの処理により読み出されたパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成ステップとを含むことを特徴とする。
【００４６】
本発明のプログラムは、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、画像データより画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、設定情報取得制御ステップの処理により取得された設定情報、およびパケット情報読み出しステップの処理により読み出されたパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルを作成するプライオリティテーブル作成ステップとをコンピュータに実現させる。
【００４７】
本発明の情報処理装置および方法、記録媒体、並びにプログラムにおいては、パケット化された画像データの内、一部のパケットに対応するプライオリティ値が指定された設定情報が取得され、画像データより画像データのパケット化に関する情報を含むパケット情報が読み出され、その設定情報、およびパケット情報に基づいて、設定情報によりプライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値が設定され、全てのパケットに対するプライオリティ値が設定されたプライオリティテーブルが作成される。
【００４８】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
【００４９】
【発明の実施の形態】
図６は、本発明を適用した画像情報配信システムの構成例を示す図である。
【００５０】
図６において、プライオリティテーブルを作成するテーブル作成装置１０１は、ネットワーク１０２に接続されている。また、ストリーミング配信を行う配信サーバ１０３は、ネットワーク１０２に接続されるとともに、テーブル作成装置１０１にも接続されており、テーブル作成装置１０１より供給されたテーブルに基づいて動画像データをパケット化し、ネットワーク１０２を介して動画像データを配信する。さらに、クライアント１０４および１０５は、ネットワーク１０２に接続されており、配信サーバ１０３より配信されたコンテンツデータを、ネットワーク１０２を介して取得する。
【００５１】
テーブル作成装置１０１は、入力された設定情報、または、予め決められた設定情報に基づいて、配信サーバ１０３がストリーミング配信を行う動画像データに対応するプライオリティテーブルを作成する。
【００５２】
クライアント１０４または１０５から要求された場合、配信サーバ１０３は、要求された動画像データに対応するプライオリティテーブルをテーブル作成装置１０１から取得し、取得したプライオリティテーブルに基づいてプライオリティを割り当てながら、動画像データをRTPパケットに分割し、ネットワーク１０２を介して、要求元のクライアント１０４または１０５への配信を行う。
【００５３】
クライアント１０４または１０５は、ネットワーク１０２を介して配信サーバ１０１より供給されるRTPパケットを取得すると同時に、取得したRTPパケットより動画像データを再生し、対応する動画像をディスプレイ等に表示する。
【００５４】
この例においては、クライアントが２台のみ示されているが、ネットワーク１０２には、任意の台数のクライアントが接続される。また、ネットワーク１０２には、テーブル作成装置１０１および配信サーバ１０３が複数接続されているようにしてもよい。
【００５５】
図７は、テーブル作成装置１０１の構成例を示す図である。
【００５６】
図７において、CPU（Central Processing Unit）１１１は、ROM（Read Only Memory）１１２に記憶されているプログラム、または記憶部１２３からRAM（Random Access Memory）１１３にロードされたプログラムに従って各種の処理を実行する。RAM１１３にはまた、CPU１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００５７】
CPU１１１が実行するプログラムにより構成される（勿論、ハードウェアとして構成してもよい）テーブル作成部１１４は、ユーザが入力部１２１を操作して入力された設定情報、通信部１２４等を介して入力され、記憶部１２３に予め記憶されている設定情報等を用いて、配信サーバ１０３より配信される動画像データに対応するプライオリティテーブルを作成する。
【００５８】
CPU１１１，ROM１１２、およびRAM１１３は、バス１１５を介して相互に接続されている。このバス１１５にはまた、入出力インタフェース１２０も接続されている。
【００５９】
入出力インタフェース１２０には、キーボード、マウスなどよりなる入力部１２１、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部１２２、ハードディスクなどより構成される記憶部１２３、モデム、ターミナルアダプタなどより構成される通信部１２４が接続されている。通信部１２４は、配信サーバ１０３との間でアナログ信号またはデジタル信号の通信処理を行ったり、ネットワーク１０２を介して通信処理を行ったりする。
【００６０】
入出力インタフェース１２０にはまた、必要に応じてドライブ１３０が接続され、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、或いは半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１３３にインストールされる。
【００６１】
図８は、テーブル作成部１１４の内部の構成を示す図である。
【００６２】
図８において、JPEG2000データ読み取り部１６１は、入力され、記憶部１２３（またはRAM１１３）に記憶されているJPEG2000データ１５１を、所定のタイミングで読み取り、JP２パケット情報抜き出し部１６２に供給する。JP２パケット情報抜き出し部１６２は、JPEG2000データ読み取り部１６１より供給されたJPEG2000データ１５１より、パケット化に必要なJP２パケット情報を抜き出し、プライオリティテーブル編集部１６４に供給する。
【００６３】
設定情報読み取り部１６３は、外部より供給され、記憶部１２３（またはRAM１１３）に記憶されている設定情報１５２を、所定のタイミングで読み取り、プライオリティテーブル編集部１６４に供給する。
【００６４】
プライオリティテーブル編集部１６４は、JP２パケット情報抜き出し部１６２より供給されたJP２パケット情報、および、設定情報読み取り部１６３より供給された設定情報１５２に基づいて、プライオリティテーブル１７１を編集し、プライオリティテーブル出力部１６５に出力する。プライオリティテーブル出力部１６５は、供給されたプライオリティテーブル１７１を、所定のタイミングで外部に出力する。出力されたプライオリティテーブル１７１は、バス１１５を介して記憶部１２３等に記憶される。
【００６５】
図９は、配信サーバ１０３の構成例を示す図である。
【００６６】
図９において、CPU（Central Processing Unit）２１１は、ROM（Read Only Memory）２１２に記憶されているプログラム、または記憶部１２３からRAM（Random Access Memory）２１３にロードされたプログラムに従って各種の処理を実行する。RAM２１３にはまた、CPU２１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００６７】
CPU２１１，ROM２１２、およびRAM２１３は、バス２１５を介して相互に接続されている。このバス２１５にはまた、入出力インタフェース２２０も接続されている。
【００６８】
入出力インタフェース２２０には、キーボード、マウスなどよりなる入力部２２１、CRT、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部２２２、ハードディスクなどより構成される記憶部２２３、モデム、ターミナルアダプタなどより構成される通信部２２４が接続されている。通信部２２４は、ネットワーク１０２を介しての通信処理を行う。通信部２２４はまた、テーブル作成装置１０１との間で、アナログ信号またはデジタル信号の通信処理を行う。
【００６９】
入出力インタフェース２２０にはまた、必要に応じてドライブ２３０が接続され、磁気ディスク２３１、光ディスク２３２、光磁気ディスク２３３、或いは半導体メモリ２３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２３３にインストールされる。
【００７０】
次に、JPEG2000データのフォーマットについて説明する。
【００７１】
図１０は、JPEG2000データの１フレームのデータ構造を示す図である。
【００７２】
図１０において、１フレーム分のJPEG2000データであるデータ２５０は、１フレーム分のデータに対するヘッダ情報を含むヘッダ部であるメインヘッダ（MH）２５１、およびJPEG2000により圧縮された１フレーム分の動画像データからなるデータ部２５２により構成される。
【００７３】
また、JPEG2000では、画像をタイルと呼ばれる幾つかの任意領域に分割して一部のタイルだけをデコードすることが可能である。各タイルサイズはエンコード時に指定したサイズで一定となり、タイルサイズはJPEG2000のヘッダに記述されている。また各タイルには全体画像の左上から右下方向に向かってインデックス番号がついているため、そのタイルのインデックス番号が分かれば、そのタイル画像が全体画像のどの部分の画像かを容易に判断できるという利点がある。さらに、それぞれの部分に対して独立に符号化を行うことが可能であり、ユーザがあまり注目しない部分(たとえば円筒形にマッピングされた空間画像の上端や下端部分)は画質を落とし、圧縮率を上げることで、記憶領域やネットワーク帯域を更に節約することができる。
【００７４】
すなわち、JPEG2000には、TRUNCATE画像(エンコードされたデータの一部分)をデコーダ（クライアント１０４または１０５）に入力してもデコードできる機能を有するため、必要なタイルだけを配信することが可能になる。
【００７５】
図１１に画像をM＋１個のタイルに分割した例を示す。タイルには０からMまで順番に、インデックス番号が振られているため、例えば、インデックス３のタイル画像の左上の座標は、(tile_width×３，０)と容易に知ることができる。なお、tile_widthは、タイルの幅を表す。また、tile_heightは、タイルの高さを表すものとすると、インデックス番号をタイルの水平方向の数で割って得られる商の値と、tile_heightの値から、そのタイルの垂直方向の座標を知ることができる。
【００７６】
図１０に戻り、データ部２５２の動画像データは、以上に説明したタイル毎にタイルデータ２６０−０乃至２６０−Mとして構成されている。タイルデータ２６０−０は、ヘッダ部であるタイルヘッダ（TH）２６１−０および１タイル分の動画像データであるタイルデータ部２６２−０により構成される。タイルデータ部２６２−０は、RTPパケット化される際に分割される単位毎のデータ（JP２_０乃至JP２_N）により構成される。なお、タイルデータ２６２−１乃至２６２−Mもまたタイルデータ２６２−０と同様に構成されるのでその説明は省略する。
【００７７】
次に、以上のように構成されるJPEG2000データに対応するプライオリティテーブルを作成する方法について説明する。
【００７８】
図１２は、プライオリティテーブルを作成する様子の例を示す図である。
【００７９】
図１２において、最初に、配信サーバ１０３のCPU２１１は、記憶部２２３に構成されるJPEG2000データベース３１３に予め登録されているJPEG2000データ１５１を、通信部２２４を介してテーブル作成装置１０１に供給する。
【００８０】
テーブル作成装置１０１のテーブル作成部１１４は、配信サーバ１０３より供給されたJPEG2000データ１５１を、JPEG2000データ読み取り部１６１（通信部１２４）を介して取得する。そして、設定情報読み取り部１６３は、記憶部１２３に作成されている設定情報データベース３０２に予め登録されている、プライオリティテーブルを作成するための設定情報１５２を取得する。なお、設定情報データベース３０２に登録されている設定情報は、ユーザにより入力部１２１を操作されて作成された設定情報であってもよいし、通信部１２４を介して外部より入力された設定情報であってもよい。また、ドライブ１３０を介して記録媒体より入力された設定情報であってもよい。
【００８１】
プライオリティテーブル編集部１６４は、入力されたJPEG2000データ１５１および設定情報１５２に基づいて、入力されたJPEG2000データに対応するプライオリティテーブル１７１を作成する。そして、プライオリティテーブル出力部１６５は、作成されたプライオリティテーブル１７１を、記憶部１２３に構成されるテーブルデータベース３０１に供給し、登録させる。
【００８２】
配信サーバ１０３のCPU２１１は、例えば、クライアント１０４に要求されてストリーミング配信を行う場合、記憶部２２３のJPEG2000データベース３０１より、配信を要求されたJPEG2000データ３１１を取得し、さらに、通信部２２４を介して、テーブル作成装置１０１のテーブルデータベース３０３より、対応するプライオリティテーブル３１２を取得し、送信データ３１０として、RAM２１３等に保持させる。そして、CPU２１１は、所定のタイミングで送信データ３１０をパケット化し、ネットワーク１０２を介してクライアント１０４に供給する。
【００８３】
次に、図１３乃至図１５のフローチャートを参照して、テーブル作成装置１０１によるプライオリティテーブル作成処理について説明する。
【００８４】
テーブル作成装置１０１のJPEG2000データ読み取り部１６１は、最初に、図１３のステップＳ１において、テーブルを作成するJPEG2000データ１５１を、通信部１２４を介して、配信サーバ１０３より取得し、保持する。
【００８５】
JPEG2000データ読み取り部１６１は、保持しているJPEG2000データ１５１を、所定のタイミングで、JP２パケット情報抜き出し部１６２に供給する。JP２パケット情報抜き出し部１６２は、ステップＳ２において、供給されたJPEG2000データ１５１より、作成されるJP２パケットの個数（JP２NUM）および各JP２パケットの重要度を読み出し、プライオリティテーブル編集部１６４に供給する。
【００８６】
JPEG2000データ１５１の各フレームのデータ２５０は、図１０において説明したように、パケット化される単位毎にデータが構成されており、JP２パケット情報抜き出し部１６２は、それらの数をカウントしたり、タイルヘッダ（TH）２６１−０乃至２６１−Mまたはメインヘッダ（MH）２５１に含まれる情報を参照したりすることにより、作成されるJP２パケットの個数を読み出す。
【００８７】
また、図１７を参照して後述するように、JPEG2000データは、パケット化される単位毎にデータの重要度が予め指定されており、JP２パケット情報抜き出し部１６２は、タイルヘッダ（TH）２６１−０乃至２６１−Mまたはメインヘッダ（MH）２５１に含まれる情報を参照することにより、作成されるJP２パケットの重要度を読み出す。
【００８８】
ステップＳ３において、設定情報読み取り部１６３は、記憶部１２３（設定情報データベース３０２）に予め記憶されている、取得したJPEG2000データに対応する設定情報を取得し、保持する。
【００８９】
設定情報には、図１６に示されるようなテーブルが含まれている。
【００９０】
図１６において、設定情報に含まれるテーブル３５１は、レイヤ（L）、および解像度（R）の条件と、指定されるプライオリティ値の対応表である。図１６に示すように、テーブル３５１には、全てのJP２パケットに対するプライオリティ値は設定されておらず、ユーザが指定した任意の数の条件およびそれに対応するプライオリティ値のみが登録されている。図１６の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１以上」のとき、プライオリティ値は「２０」とされている。また、レイヤが「１」で、解像度が「０以上」のとき、プライオリティ値は、「３０」とされている。
【００９１】
設定情報読み取り部１６３は、図１６に示されるテーブル３５１を含む設定情報を保持し、所定のタイミングでプライオリティテーブル編集部１６４に供給する。
【００９２】
プライオリティテーブル編集部１６４は、ステップＳ４において、プライオリティテーブルを編集するために使用する各変数を初期化する。プライオリティテーブルを編集するために使用する変数として、対象となるJP２パケットの番号を示すNJP、現在のプライオリティ値を示すNP、現在のJP２パケットの重要度を示すNL、同じプライオリティ値を持つJP２パケットの開始番号を示すFJPが用意される。プライオリティテーブル編集部１６４は、NJPの値を「１」に設定し、NPの値を「１」に設定し、NLの値を最初のJP２パケットの重要度に設定し、FJPの値を「０」に設定することで初期化を行う。
【００９３】
また、このとき、プライオリティテーブル編集部１６４は、プライオリティ値の設定方法（規則）を決定する。プライオリティ値の設定きそくとしては、図１７を参照して後述するように、例えば、JP２パケット毎にプライオリティ値をインクリメントする規則、JP２パケットの重要度が変わる毎にインクリメントする規則、および、インクリメントしない規則の３つの規則が用意されており、プライオリティテーブル編集部１６４は、入力された設定情報に基づいて、或いは、ユーザが入力部１２１を操作して入力した指示に基づいて、設定規則を選択的に決定する。
【００９４】
なお、ここで用意されるプライオリティ値の設定規則は、上述した以外の規則であってもよいし、また、その数はいくつであってもよい。
【００９５】
ステップＳ４の処理を終了したプライオリティテーブル編集部１６４は、ステップＳ５において、取得したJPEG2000データより対象となる１パケット分のデータを抽出し、抽出したデータをパケット化したJP２パケットが、設定情報より指定されたプライオリティ値のJP２パケットであるか否かを判定する。
【００９６】
抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットであると判定した場合、プライオリティテーブル編集部１６４は、ステップＳ６に処理を進め、設定情報に基づいて、指定されたプライオリティ値を変数ＮＰに代入し、ステップＳ７に処理を進める。
【００９７】
また、ステップＳ４において、抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットではないと判定した場合、プライオリティテーブル編集部１６４は、ステップＳ６の処理を省略し、ステップＳ７に処理を進める。
【００９８】
プライオリティテーブル編集部１６４は、ステップＳ７において、変数NJPの値に「１」を加算し、図１４のステップＳ８に処理を進める。
【００９９】
図１４のステップＳ８において、プライオリティテーブル編集部１６４は、取得したJPEG2000データより対象となる１パケット分のデータ（次の１パケット分のデータ）を抽出し、抽出したデータをパケット化したJP２パケットが、設定情報によりプライオリティ値が指定されたJP２パケットであるか否かを判定する。そして、抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットであると判定した場合、プライオリティテーブル編集部１６４は、ステップＳ９に処理を進め、パケット番号がFJP乃至（NJP−１）の各JP２パケットのプライオリティ値を全て、変数NPの値に設定する。
【０１００】
そして、プライオリティテーブル編集部１６４は、ステップＳ１０において、設定情報に基づいて指定されたプライオリティ値を変数NPに代入し、ステップＳ１１において、変数NJPの値を変数FJPに代入し、ステップＳ１２において、変数NJPの値に１を加算する。
【０１０１】
ステップＳ１２の処理を終了したプライオリティテーブル編集部１６４は、ステップＳ１３において、変数NJPの値と、ステップＳ２において設定した変数JP２NUMの値を比較し、両者が一致するか否かを判定する。
【０１０２】
変数NJPの値が変数JP２NUMの値より小さい（一致していない）と判定した場合、プライオリティテーブル編集部１６４は、ステップＳ８に処理を戻し、それ以降の処理を繰り返す。すなわち、プライオリティテーブル編集部１６４は、プライオリティ値が指定されたJP２パケットを処理する場合、ステップＳ４において設定したプライオリティ値の設定規則に関わらず、それまで処理を保留していたJP２パケットとともに、プライオリティ値を設定する。そして、後述する図１５のステップＳ１５乃至Ｓ２１の処理を含む、ステップＳ８乃至ステップＳ１３の処理を繰り返すことにより、全てのJP２パケットについてプライオリティ値を設定する。
【０１０３】
ステップＳ１３において、変数NJPの値が変数JP２NUMの値と一致したと判定した場合、プライオリティテーブル編集部１６４は、ステップＳ１４に処理を進め、番号がFJP乃至NJPの各JP２パケットのプライオリティ値を全て、変数NPの値に設定し、プライオリティテーブル作成処理を終了する。
【０１０４】
また、プライオリティテーブル編集部１６４は、図１４のステップＳ８において、抽出したデータをパケット化したJP２パケットが、プライオリティ値が指定されたJP２パケットではないと判定した場合、図１５のステップＳ１５に処理を進める。
【０１０５】
図１５のステップＳ１５において、プライオリティテーブル編集部１６４は、ステップＳ４において設定されたプライオリティ値の設定規則が、JP２パケット毎に、設定するプライオリティ値をインクリメントする第１の規則であるか否かを判定する。
【０１０６】
設定規則が第１の規則であると判定した場合、プライオリティテーブル編集部１６４は、処理をステップＳ１９に進め、番号がFJP乃至（NJP−１）のJP２パケットのプライオリティ値として、変数NPの値を設定する。そして、プライオリティテーブル編集部１６４は、ステップＳ２０において、変数ＮＰの値に「１」を加算し、ステップＳ２１において、変数FJPに変数NJPの値を代入した後、図１４のステップＳ１２に戻り、それ以降の処理を繰り返す。
【０１０７】
すなわち、プライオリティテーブル編集部１６４は、プライオリティ値の設定規則が第１の規則の場合、抽出したデータをパケット化したJP２パケットがどのようなパケットであっても、プライオリティ値を設定し、次にプライオリティ値として設定される変数NPの値に「１」を加算してインクリメントする。
【０１０８】
また、図１５のステップＳ１５において、プライオリティ値の設定規則が第１の規則ではないと判定した場合、プライオリティテーブル編集部１６４は、ステップＳ１６に処理を進め、ステップＳ４において設定されたプライオリティ値の設定規則が、JP２パケットの重要度が変化する毎に、設定するプライオリティ値をインクリメントする第２の規則であるか否かを判定する。
【０１０９】
第２の規則であると判定した場合、プライオリティテーブル編集部１６４は、処理をステップＳ１７に進め、対象となるJP２パケットの重要度が変数NLの値と等しいか否かを判定する。
【０１１０】
JP２パケットの重要度が変化し、前のJP２パケットの重要度と異なる値をとり、対象となるJP２パケットの重要度が変数NLの値と等しくないと判定された場合、プライオリティテーブル編集部１６４は、処理をステップＳ１８に進め、変数ＮＬに対象となるJP２パケットの重要度の値を代入した後、処理をステップＳ１９に進め、それ以降の処理を繰り返す。
【０１１１】
また、ステップＳ１７において、JP２パケットの重要度が変化せず、前のJP２パケットの重要度と同じ値をとり、対象となるJP２パケットの重要度が変数NLの値と等しいと判定された場合、プライオリティテーブル編集部１６４は、処理を図１４のステップＳ１２に戻し、それ以降の処理を繰り返す。
【０１１２】
すなわち、プライオリティテーブル編集部１６４は、プライオリティ値の設定規則が第２の規則の場合、抽出したデータをパケット化したJP２パケットの重要度が変化した場合、プライオリティ値を設定し、JP２パケットの重要度が変化しない場合、そのパケットの処理を保留し、次のJP２パケットの処理を進める。
【０１１３】
また、ステップＳ１６において、ステップＳ４において設定されたプライオリティ値の設定規則が、設定するプライオリティ値をインクリメントしない第３の規則であり、第２の規則ではないと判定した場合、プライオリティテーブル編集部１６４は、処理を図１４のステップＳ１２に戻し、それ以降の処理を繰り返す。
【０１１４】
すなわち、プライオリティテーブル編集部１６４は、プライオリティ値の設定規則が第３の規則の場合、プライオリティ値が指定されたJP２パケット以外のJP２パケットに対しては、全て処理を保留し、次のJP２パケットの処理を進める。
【０１１５】
以上のようにして、テーブル作成装置１０１は、プライオリティテーブル作成処理を実行する。これにより、テーブル作成装置１０１は、全てのJP２パケットに対してプライオリティ値が設定されていなくても、全てのJP２パケットに対してプライオリティ値を設定してあるプライオリティテーブルを作成することができる。
【０１１６】
図１７は、以上に説明したプライオリティテーブル作成処理により作成されたプライオリティ値の例を示す図である。
【０１１７】
図１７において、JPEG2000データは２つのタイルで構成されており、１つのタイルは６つのJP２パケット（JP２_０乃至JP２_５）に分割される。また、各JP２パケットの重要度は、図１７に示されるように、高、中、および低の３段階に設定される。
【０１１８】
このようなJPEG2000データにプライオリティ値を設定した結果をパターン１−１乃至１−５，２−１乃至２−３、および３−１乃至３−３に示す。なお、四角で囲まれた値は、設定情報に含まれるテーブルにおいて、ユーザにより予め指定されるプライオリティ値を示している。
【０１１９】
パターン１−１および１−２は、各タイルの第１番目のJP２パケット（JP２_０）のプライオリティ値として、値「１０」を設定し、第２番目のJP２パケット（JP２_１）のプライオリティ値として、値「２０」を設定し、第５番目のJP２パケット（JP２_４）のプライオリティ値として、値「３０」を設定した場合のプライオリティ値の例を示している。
【０１２０】
パターン１−１においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１２１】
パターン１−２においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２２】
パターン１−３乃至１−５は、各タイルの第１番目のJP２パケット（JP２_０）のプライオリティ値として、値「１０」を設定し、第２番目のJP２パケット（JP２_１）のプライオリティ値として、値「２０」を設定した場合のプライオリティ値の例を示している。
【０１２３】
パターン１−３においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１２４】
パターン１−４においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２５】
パターン１−５においては第２の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケットの重要度が変化する毎にインクリメントされており、JP２パケットの重要度が変化した場合、そのJP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２６】
パターン２−１乃至２−３は、各タイルの第１番目のJP２パケット（JP２_０）のプライオリティ値として、値「１０」を設定した場合のプライオリティ値の例を示している。
【０１２７】
パターン２−１においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１２８】
パターン２−２においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１２９】
パターン２−３においては第２の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケットの重要度が変化する毎にインクリメントされており、JP２パケットの重要度が変化した場合、そのJP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１３０】
パターン３−１乃至３−３は、プライオリティ値を全く設定しない場合のプライオリティ値の例を示している。
【０１３１】
パターン３−１においては第３の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、プライオリティ値はインクリメントされておらず、各JP２パケットには、その直前に指定されたJP２パケットのプライオリティ値と同じ値が設定されている。
【０１３２】
パターン３−２においては第１の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいても、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケット毎にインクリメントされており、各JP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１３３】
パターン３−３においては第２の規則が用いられており、プライオリティ値が指定されたJP２パケット以外のJP２パケットにおいて、次に指定されたプライオリティ値を超えない限り、プライオリティ値はJP２パケットの重要度が変化する毎にインクリメントされており、JP２パケットの重要度が変化した場合、そのJP２パケットには、直前のJP２パケットのプライオリティ値と異なる値が設定されている。
【０１３４】
以上のように、設定されたプライオリティ値は、図１８乃至図２０に示すようなプライオリティテーブルとして記憶部１２３に作成されたテーブルデータベース３０３に記憶され、JPEG2000データをパケット化する際に、配信サーバ１０３により参照される。
【０１３５】
図１８は、テーブル作成装置１０１により作成されたプライオリティテーブルの例を示す図である。
【０１３６】
図１８において、プライオリティテーブル３６１は、上述した第３の規則により設定されたプライオリティ値により構成されるテーブルであり、プライオリティテーブル３６１においては、全てのJP２パケットに対するプライオリティ値が設定されている。
【０１３７】
図１８の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１」のとき、プライオリティ値は「２０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「２０」とされている。また、レイヤが「１」で、解像度が「０」のとき、プライオリティ値は、さらにインクリメントされず、「２０」とされ、解像度が「１」のとき、プライオリティ値は「３０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「３０」とされている。
【０１３８】
図１９は、テーブル作成装置１０１により作成されたプライオリティテーブルの他の例を示す図である。
【０１３９】
図１９において、プライオリティテーブル３６２は、上述した第１の規則により設定されたプライオリティ値により構成されるテーブルであり、プライオリティテーブル３６２においては、全てのJP２パケットに対するプライオリティ値が設定されている。
【０１４０】
図１９の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１」のとき、プライオリティ値は「２０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされて、「２１」とされている。また、レイヤが「１」で、解像度が「０」のとき、プライオリティ値は、さらにインクリメントされて、「２２」とされ、解像度が「１」のとき、プライオリティ値は「３０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされて、「３１」とされている。
【０１４１】
図２０は、テーブル作成装置１０１により作成されたプライオリティテーブルの、さらに他の例を示す図である。
【０１４２】
図２０において、プライオリティテーブル３６３は、上述した第２の規則により設定されたプライオリティ値により構成されるテーブルであり、プライオリティテーブル３６３においては、全てのJP２パケットに対するプライオリティ値が設定されている。
【０１４３】
図２０の例では、レイヤが「０」の場合、解像度が「０」のとき、プライオリティ値は「１０」とされ、解像度が「１」のとき、プライオリティ値は「２０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「２０」とされている。また、レイヤが「１」で、解像度が「０」のとき、プライオリティ値は、インクリメントされて、「２１」とされ、解像度が「１」のとき、プライオリティ値は「３０」とされ、解像度が「２」のとき、プライオリティ値は、インクリメントされず、「３０」とされている。
【０１４４】
以上のようにして、テーブル作成装置１０１は、ユーザが一部のJP２パケットに対してのみ指定したプライオリティ値より、全てのJP２パケットに対してプライオリティ値を設定するようにしたので、ユーザは、どのようなプライオリティテーブルでも容易に作成することができる。
【０１４５】
なお、以上において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４６】
また、図６においてテーブル作成装置１０１および配信サーバ１０３は、別体で構成されるように説明したが、これに限らず、１つの装置として構成されるようにしてもよい。
【０１４７】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１４８】
この記録媒体は、図７および図９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１３１および２３１（フレキシブルディスクを含む）、光ディスク１３２および２３２（CD-ROM(Compact Disk - Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク１３３および２３３（ＭＤ（Mini-Disk）（商標）を含む）、または半導体メモリ１３４および２３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１１２および２１２や、記憶部１２３および２２３に含まれるハードディスクなどで構成される。
【０１４９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５０】
【発明の効果】
以上のように、本発明によれば、プライオリティテーブルを作成することができる。特に、その作成を容易に行うことができる。
【図面の簡単な説明】
【図１】 RTPパケットのフォーマットの例を示す図である。
【図２】図１に示されるRTPヘッダおよびRTPペイロードヘッダの詳細な構成例を示す図である。
【図３】従来のプライオリティテーブルの例を示す図である。
【図４】従来のプライオリティテーブルの他の例を示す図である。
【図５】従来のプライオリティテーブルの、さらに他の例を示す図である。
【図６】本発明を適用した画像情報配信システムの構成例を示す図である。
【図７】図６のテーブル作成装置の構成例を示す図である。
【図８】図７のテーブル作成部の内部の構成を示す図である。
【図９】図６の配信サーバの構成例を示す図である。
【図１０】 JPEG2000データの１フレームのデータ構造を示す図である。
【図１１】画像をM個のタイルに分割する例を示す図である。
【図１２】プライオリティテーブルを作成する様子の例を示す図である。
【図１３】図６のテーブル作成装置によるプライオリティテーブル作成処理について説明するフローチャートである。
【図１４】図６のテーブル作成装置によるプライオリティテーブル作成処理について説明する、図１３に続くフローチャートである。
【図１５】図６のテーブル作成装置によるプライオリティテーブル作成処理について説明する、図１４に続くフローチャートである。
【図１６】設定情報に含まれるテーブルの例を示す図である。
【図１７】プライオリティ値の例を示す図である。
【図１８】図６のテーブル作成装置により作成されたプライオリティテーブルの例を示す図である。
【図１９】図６のテーブル作成装置により作成されたプライオリティテーブルの他の例を示す図である。
【図２０】図６のテーブル作成装置により作成されたプライオリティテーブルの、さらに他の例を示す図である。
【符号の説明】
１０１ テーブル作成装置， １０２ ネットワーク， １０３ 配信サーバ， １０４および１０５ クライアント， １１１ CPU， １１２ ROM， １１３ RAM， １１４ テーブル作成部， １２３ 記憶部， １２４ 通信部， １６１ JPEG2000データ読み取り部， １６２ JP２パケット情報抜き出し部， １６３ 設定情報読み取り部， １６４ プライオリティテーブル編集部， １６５ プライオリティテーブル出力部， ２１１ CPU， ２１２ ROM，２１３ RAM， ２２３ 記憶部， ２２４ 通信部， ３０１ JPEG2000データベース， ３０２ 設定情報データベース， ３０３ テーブルデータベース， ３５１ テーブル， ３６１乃至３６３ プライオリティテーブル
Claims (5)
- パケット化された画像データの各パケットと、前記パケットの優先度を示すプライオリティ値との対応表であるプライオリティテーブルを作成する情報処理装置であって、
前記パケット化された画像データの内、一部の前記パケットに対応する前記プライオリティ値が指定された設定情報を取得する設定情報取得手段と、
前記画像データより前記画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出し手段と、
前記設定情報取得手段により取得された前記設定情報、および前記パケット情報読み出し手段により読み出された前記パケット情報に基づいて、全ての前記パケットに対する前記プライオリティ値が設定された前記プライオリティテーブルを作成するプライオリティテーブル作成手段と
を備え、
前記プライオリティテーブル作成手段は、前記設定情報により前記プライオリティ値が設定されたパケット以外のパケットに対して前記プライオリティ値を設定する場合、１つ前のパケットに設定された値より大きなプライオリティ値を設定する
ことを特徴とする情報処理装置。 - 前記パケット情報は、前記画像データに対応する前記パケットの個数および重要度を含む
ことを特徴とする請求項１に記載の情報処理装置。 - パケット化された画像データの各パケットと、前記パケットの優先度を示すプライオリティ値との対応表であるプライオリティテーブルを作成する情報処理装置の情報処理方法であって、
前記パケット化された画像データの内、一部の前記パケットに対応する前記プライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、
前記画像データより前記画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、
前記設定情報取得制御ステップの処理により取得された前記設定情報、および前記パケット情報読み出しステップの処理により読み出された前記パケット情報に基づいて、前記設定情報により前記プライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全ての前記パケットに対する前記プライオリティ値が設定された前記プライオリティテーブルを作成するプライオリティテーブル作成ステップと
を含むことを特徴とする情報処理方法。 - パケット化された画像データの各パケットと、前記パケットの優先度を示すプライオリティ値との対応表であるプライオリティテーブルを作成する情報処理装置用のプログラムであって、
前記パケット化された画像データの内、一部の前記パケットに対応する前記プライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、
前記画像データより前記画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、
前記設定情報取得制御ステップの処理により取得された前記設定情報、および前記パケット情報読み出しステップの処理により読み出された前記パケット情報に基づいて、前記設定情報により前記プライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全ての前記パケットに対する前記プライオリティ値が設定された前記プライオリティテーブルを作成するプライオリティテーブル作成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - パケット化された画像データの各パケットと、前記パケットの優先度を示すプライオリティ値との対応表であるプライオリティテーブルを作成する情報処理装置を制御するコンピュータが実行可能なプログラムであって、
前記パケット化された画像データの内、一部の前記パケットに対応する前記プライオリティ値が指定された設定情報の取得を制御する設定情報取得制御ステップと、
前記画像データより前記画像データのパケット化に関する情報を含むパケット情報を読み出すパケット情報読み出しステップと、
前記設定情報取得制御ステップの処理により取得された前記設定情報、および前記パケット情報読み出しステップの処理により読み出された前記パケット情報に基づいて、前記設定情報により前記プライオリティ値が設定されたパケット以外のパケットに対して、１つ前のパケットに設定された値より大きなプライオリティ値を設定し、全ての前記パケットに対する前記プライオリティ値が設定された前記プライオリティテーブルを作成するプライオリティテーブル作成ステップと
を含むことを特徴とするプログラム。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145652A JP4000904B2 (ja) | 2002-05-21 | 2002-05-21 | 情報処理装置および方法、記録媒体、並びにプログラム |
| EP03717685A EP1507412A4 (en) | 2002-05-21 | 2003-04-22 | INFORMATION PROCESSING DEVICE AND METHOD, RECORDING MEDIUM AND PROGRAM |
| AU2003227452A AU2003227452A1 (en) | 2002-05-21 | 2003-04-22 | Information processing device and method, recording medium, and program |
| CNB038116987A CN1306812C (zh) | 2002-05-21 | 2003-04-22 | 信息处理装置和方法 |
| PCT/JP2003/005082 WO2003098930A1 (en) | 2002-05-21 | 2003-04-22 | Information processing device and method, recording medium, and program |
| KR1020047018707A KR100971051B1 (ko) | 2002-05-21 | 2003-04-22 | 정보 처리 장치 및 방법, 및 기록 매체 |
| US10/514,972 US7860366B2 (en) | 2002-05-21 | 2003-04-22 | Information processing device and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002145652A JP4000904B2 (ja) | 2002-05-21 | 2002-05-21 | 情報処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003338840A JP2003338840A (ja) | 2003-11-28 |
| JP4000904B2 true JP4000904B2 (ja) | 2007-10-31 |
Family
ID=29545092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002145652A Expired - Fee Related JP4000904B2 (ja) | 2002-05-21 | 2002-05-21 | 情報処理装置および方法、記録媒体、並びにプログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7860366B2 (ja) |
| EP (1) | EP1507412A4 (ja) |
| JP (1) | JP4000904B2 (ja) |
| KR (1) | KR100971051B1 (ja) |
| CN (1) | CN1306812C (ja) |
| AU (1) | AU2003227452A1 (ja) |
| WO (1) | WO2003098930A1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4549610B2 (ja) * | 2001-11-08 | 2010-09-22 | ソニー株式会社 | 通信システム、通信方法、送信装置および方法、受信装置および方法、並びにプログラム |
| US20070110166A1 (en) * | 2003-12-17 | 2007-05-17 | Sanyo Electric Co., Ltd. | Method and device for determining the position of at least one point of reflection of an obstacle |
| US8040875B2 (en) * | 2005-07-30 | 2011-10-18 | Alcatel Lucent | Network support for caller ID verification |
| JP2008048182A (ja) * | 2006-08-17 | 2008-02-28 | Sony Corp | 通信処理装置、および通信制御方法、並びにコンピュータ・プログラム |
| KR20090012814A (ko) * | 2007-07-31 | 2009-02-04 | 삼성전자주식회사 | Ｐｖｒ기능을 구비한 영상기기 및 그 제어방법 |
| JP5515758B2 (ja) * | 2010-01-18 | 2014-06-11 | ソニー株式会社 | 画像処理装置および方法 |
| KR101803303B1 (ko) * | 2010-12-21 | 2017-12-29 | 삼성전자주식회사 | 멀티미디어 아키텍처 패턴 결정 방법, 싱글코어에서 멀티코어 기반으로의 아키텍처 전환 장치 및 방법 |
| US9560160B1 (en) * | 2014-01-17 | 2017-01-31 | Instar Logic, Inc. | Prioritization of the delivery of different portions of an image file |
| US10013625B1 (en) | 2014-04-16 | 2018-07-03 | Instart Logic, Inc. | QoE-driven unsupervised image categorization for optimized web delivery |
| US10015503B1 (en) | 2015-09-24 | 2018-07-03 | Instart Logic, Inc. | Fast, real-time, estimation of content-sensitive encoding quality for optimized web delivery of images |
| WO2018025660A1 (ja) * | 2016-08-05 | 2018-02-08 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3151103B2 (ja) | 1994-03-30 | 2001-04-03 | 株式会社日立製作所 | 通信システムおよび通信方法 |
| JP3193947B2 (ja) | 1997-01-08 | 2001-07-30 | 株式会社ディジタル・ビジョン・ラボラトリーズ | データ送信システム及びデータ送信方法 |
| GB2322509B (en) * | 1997-02-21 | 2001-09-12 | Motorola Ltd | Communication system and method for transmitting information |
| JP3516585B2 (ja) * | 1997-03-17 | 2004-04-05 | 松下電器産業株式会社 | データ処理装置及びデータ処理方法 |
| WO1998042132A1 (en) | 1997-03-17 | 1998-09-24 | Matsushita Electric Industrial Co., Ltd. | Method of processing, transmitting and receiving dynamic image data and apparatus therefor |
| JP4037610B2 (ja) * | 1997-10-16 | 2008-01-23 | トムソン ライセンシング | 双方向ブロードキャストデータを優先度付けするシステム |
| JP2000078573A (ja) | 1998-09-03 | 2000-03-14 | Hitachi Ltd | 階層符号化データ配信装置 |
| JP4272322B2 (ja) | 1999-01-26 | 2009-06-03 | パナソニック株式会社 | 情報廃棄方法および情報廃棄装置 |
| JP3594296B2 (ja) | 2000-07-24 | 2004-11-24 | 松下電器産業株式会社 | 動画像符号化データの送信装置および送信方法 |
| JP2002141945A (ja) | 2000-11-06 | 2002-05-17 | Sony Corp | データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体 |
-
2002
- 2002-05-21 JP JP2002145652A patent/JP4000904B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-22 WO PCT/JP2003/005082 patent/WO2003098930A1/ja active Application Filing
- 2003-04-22 AU AU2003227452A patent/AU2003227452A1/en not_active Abandoned
- 2003-04-22 US US10/514,972 patent/US7860366B2/en not_active Expired - Fee Related
- 2003-04-22 EP EP03717685A patent/EP1507412A4/en not_active Withdrawn
- 2003-04-22 KR KR1020047018707A patent/KR100971051B1/ko not_active IP Right Cessation
- 2003-04-22 CN CNB038116987A patent/CN1306812C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1507412A1 (en) | 2005-02-16 |
| CN1306812C (zh) | 2007-03-21 |
| KR100971051B1 (ko) | 2010-07-20 |
| AU2003227452A1 (en) | 2003-12-02 |
| EP1507412A4 (en) | 2008-09-17 |
| KR20040111659A (ko) | 2004-12-31 |
| US20050226252A1 (en) | 2005-10-13 |
| US7860366B2 (en) | 2010-12-28 |
| JP2003338840A (ja) | 2003-11-28 |
| CN1656801A (zh) | 2005-08-17 |
| WO2003098930A1 (en) | 2003-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6590902B1 (en) | Layer-coded data transmitting apparatus | |
| KR100557103B1 (ko) | 데이터 처리방법 및 데이터 처리장치 | |
| CA2511914C (en) | System for secure decryption of streaming media using selective decryption of header information | |
| JP3516585B2 (ja) | データ処理装置及びデータ処理方法 | |
| JP3925218B2 (ja) | ストリーミングシステム及びストリーミング方法、ストリーミングサーバ及びデータ配信方法、クライアント端末及びデータ復号方法、並びにプログラム及び記録媒体 | |
| JP4000904B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| US6950467B2 (en) | Method and apparatus for streaming video data | |
| Willebeek-LeMair et al. | Bamba—Audio and video streaming over the Internet | |
| US20140321556A1 (en) | Reducing amount of data in video encoding | |
| JP2003023639A (ja) | データ伝送装置及び方法、データ伝送プログラム、並びに記録媒体 | |
| JP4102223B2 (ja) | データ処理装置及びデータ処理方法 | |
| KR100530919B1 (ko) | 동화상 데이터의 처리 및 송수신 방법 및 장치 | |
| Edwards | Standards and Specifications for Carriage of JPEG XS in RTP for IP Networks | |
| Cheng et al. | The Analysis of MPEG-4 Core Profile and its system design | |
| JP3511878B2 (ja) | 画像伝送システム | |
| KR100530920B1 (ko) | 화상 · 음성 송신장치 및 수신장치 | |
| KR100739308B1 (ko) | 비디오 스트림의 알티피 패킷화 방법 | |
| Fresia et al. | An encoding/packetization solution for mpeg-4 facial animations delivery over rtp | |
| KR20050042301A (ko) | 에러 보정을 이용한 복호화 방법 | |
| Rupp et al. | Video streaming test bed for UMTS network | |
| Snible | streaming over the Internet | |
| JP2004048657A (ja) | 画像・音声受信装置 | |
| JPH11187379A (ja) | 画像セキュリティシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050513 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070806 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |