JPH11231849A - 画像合成装置 - Google Patents

画像合成装置

Info

Publication number
JPH11231849A
JPH11231849A JP30319298A JP30319298A JPH11231849A JP H11231849 A JPH11231849 A JP H11231849A JP 30319298 A JP30319298 A JP 30319298A JP 30319298 A JP30319298 A JP 30319298A JP H11231849 A JPH11231849 A JP H11231849A
Authority
JP
Japan
Prior art keywords
data
image
slice
image data
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30319298A
Other languages
English (en)
Inventor
Satoru Kageyu
哲 勘解由
Takashi Matsuura
俊 松浦
Kayoko Asai
香葉子 浅井
Hitoshi Kato
等 加藤
Hiroaki Yoshio
宏明 由雄
Takeshi Kato
毅 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP30319298A priority Critical patent/JPH11231849A/ja
Priority to CA 2250445 priority patent/CA2250445C/en
Priority to EP19980120855 priority patent/EP0915622B1/en
Priority to DE1998636890 priority patent/DE69836890T2/de
Priority to US09/185,597 priority patent/US6457057B1/en
Priority to CN98122648A priority patent/CN1118767C/zh
Publication of JPH11231849A publication Critical patent/JPH11231849A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Abstract

(57)【要約】 【課題】 複数の画像を合成して同時に再生するシステ
ムにおいて、同時に表示する画面の数が増えても、ハー
ドウェアの規模を大きくしたり、復号器の処理を高速化
したりすることなく、滑らかに表示することを目的とす
る。 【解決手段】 画像縮小手段101と、画像符号化手段102
と、蓄積手段103と、符号化画像データ合成手段104と、
画像復号化手段105と、画像再生手段106とを備え、符号
化画像データ合成手段104が、符号化画像データから各
フレームの各スライスに対応するデータを取り出し、そ
れらを複数つなげることによって符号化画像合成データ
を生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、計算機上で複数の
画像を同時に表示する方式に関する。
【０００２】
【従来の技術】複数の画像を同時に表示する方法として
は、例えば特開平5-19731号公報に開示されているもの
がある。図１８に、この方式により実現したシステムの
構成を示す。図１８において、合成対象の各画像データ
は、画像符号化手段1801によりあらかじめ符号化し、所
定の形式によって記憶デバイス1802に蓄積している。
【０００３】複数の画像の同時表示は、以下の手順で実
現される。まず、識別コード判定器1803により、表示対
象のそれぞれの画像データ中の各フレームデータがもつ
識別コードを判定し、復号化の対象となるフレームであ
るかどうかを判定する。
【０００４】復号化の対象である判定したフレームは一
部データ復号器1804によって復号化する。復号化した各
フレームは、縮小器1805によって各画像データを一つの
動画像として表示するために同時表示可能なサイズに縮
小する。縮小したそれぞれのフレームは、表示装置1806
によって表示する。
【０００５】上記において復号化の対象となるフレーム
は、ＤＣＴ（離散コサイン変換）などにより一枚の静止
画として符号化したもので、原画像の情報を比較的良好
に保存しているものであり、予測符号化によって符号化
した予測フレームではないものを用いている。
【０００６】
【発明が解決しようとする課題】しかし、特開平5-1973
1号公報の方法は、同時に表示する画像の数だけ復号化
の処理が必要になるため、同時に表示する画面の数が増
える場合には、複数の画像を同時に、かつ滑らかに表示
することは難しく、これを実現するためにはハードウェ
アの規模を大きくしたり、復号器の処理を高速化したり
しなければならず、現実的ではない。
【０００７】本発明は、複数の画像を合成して同時に再
生するシステムにおいて上記の問題を解決するものであ
り、ハードウェアの規模を大きくしたり、復号器の処理
を高速化したりすることなく、同時に表示する画面の数
が増えても、複数の画像を同時に、かつ滑らかに表示
し、例えば、ＤＣＴと可変長符号化を用いた圧縮によっ
て符号化した不定長のデータを用いる場合にも、合成に
必要な要素を取り出す際にデータの内容すべてを走査す
る必要がなく合成処理をさらに高速に行ない、異なるフ
レームレートの画面を合成した場合にも、それぞれの画
像を正しい速度で再生することを目的としている。
【０００８】
【課題を解決するための手段】そこで、本発明では、図
１に示すように、第１に、１フレーム分の画像を縮小し
縮小画像データを生成する画像縮小手段101と、例え
ば、前記縮小画像データを所定の数のラインからなるス
ライスに分割し、前記スライスを画像の大きさに応じた
数のマクロブロックに分割する等して圧縮符号化し符号
化画像データを生成する画像符号化手段102と、前記符
号化画像データを蓄積する蓄積手段103と、前記蓄積手
段に蓄積した前記符号化画像データを１つ以上取り出
し、１フレーム分の新たな符号化画像合成データを生成
する画像合成手段104と、前記符号化画像合成データを
伸長して１フレーム分の合成画像を生成する画像復号化
手段105と、前記合成画像を再生する画像再生手段106と
を備えた画像合成装置であ（り、より具体的には、画像
合成手段104が、符号化画像データから各フレームの各
スライスに対応するデータを取り出し、それらを複数つ
なげることによって符号化画像合成データを生成するよ
うに構成してい）る。
【０００９】これにより、ハードウェアの規模を大きく
したり、復号器の処理を高速化したりすることなく、同
時に表示する画面の数が増えても、複数の画像を同時
に、かつ滑らかに表示することができる。
【００１０】第２に、画像符号化手段102が、（符号化
画像データの生成と同時に、）符号化画像データ中での
各スライスに関する情報を生成するスライス情報生成手
段を備え、画像合成手段104が、スライス情報生成手段
が生成したスライス情報を取り出し、この情報に基づい
て符号化画像データから各スライスに対応する部分を取
り出すように構成している。
【００１１】また、スライス情報生成手段が符号化画像
データ中での各スライスに対応するデータの配置に関す
るスライス配置情報を生成し、蓄積手段がスライス配置
情報を前記符号化画像データとは別々に保持し、画像合
成手段104が蓄積手段が保持するスライス配置情報を取
り出し、これに基づいて符号化画像データから各スライ
スに対応する部分を取り出すように構成している。
【００１２】これにより、ＤＣＴと可変長符号化を用い
た圧縮によって符号化した不定長のデータを用いる場合
にも、合成に必要な要素を取り出す際にデータの内容す
べてを走査する必要がなく合成処理をさらに高速に行な
うことができる。
【００１３】また、それぞれの符号化画像データを一般
的な画像復号化手段で復号化できる符号化形式（例え
ば、ＭＰＥＧ）で保持しておけば、それ自身も復号化手
段によって復号し、再生することができるため、合成用
データの再利用が可能である。
【００１４】第３に、スライス情報生成手段が符号化画
像データ中での各スライスに対応する部分の長さに関す
るスライス長情報を生成し、蓄積手段がスライス長情報
と符号化画像データ中の各スライスに対応する部分のみ
とをまとめて符号化スライスデータとして保持し、画像
合成手段104が蓄積手段が保持する符号化スライスデー
タ中のスライス長情報に基づいて各スライスに対応する
部分を取り出すように構成している。
【００１５】これにより、ＤＣＴと可変長符号化を用い
た圧縮によって符号化した不定長のデータを用いる場合
にも、合成に必要な要素を取り出す際にデータの内容す
べてを走査する必要がなく合成処理をさらに高速に行な
うことができる。
【００１６】また、それぞれの符号化画像データを一般
的な画像復号化手段で復号化できる符号化形式（例え
ば、ＭＰＥＧ）で保持する場合に比べて、蓄積するデー
タのサイズを削減することができる。
【００１７】第４に、画像符号化手段102が、（符号化
画像データの生成と同時に、）符号化画像データの単位
時間あたりに含まれるフレーム数に関するフレームレー
ト情報を生成するフレームレート情報生成手段を備え、
画像合成手段104が、フレームレート情報生成手段が生
成したフレームレート情報を取り出すフレームレート情
報取得手段と、フレームレート情報取得手段によって取
得したフレームレート情報に基づいて、フレームレート
の異なる複数の符号化画像データのフレームレートを所
定のフレームレートに統一するフレームレート整合手段
とを備え、所定のフレームレートで再生できる符号化画
像合成データを生成するように構成している。
【００１８】これにより、異なるフレームレートの画面
を合成した場合にも、それぞれの画像を時間的に間延び
したり短縮することなく、正しい速度で再生できる。
【００１９】第５に、画像符号化手段が、符号化画像デ
ータの生成と同時に当該符号化画像データ中での各スラ
イスに関する情報を生成するスライス情報生成手段と、
前記符号化画像データと前記スライス情報とを互いに異
なる識別ヘッダを持つ符号データグループに格納したの
ち、これら２つの符号データグループを１つのデータス
トリームとして多重化出力を行なう多重データ生成手段
とを備え、画像復号化手段が、前記データストリーム中
の符号データグループのうち、符号化画像データが格納
された識別ヘッダを持つもののみを復号再生し、スライ
ス情報が格納されている識別ヘッダをもつものは無視す
るように構成する。
【００２０】これにより、データストリーム中にスライ
ス情報を有した状態のままでも画像復号化手段は符号化
画像データの復号再生が可能であり、かつ、画像合成手
段は、データストリーム中にスライス情報から符号化画
像データの合成処理を円滑に行なうことが可能である。
【００２１】第６に、多重データ生成手段が、ダミー符
号列の生成を行ない、その際に前記符号化画像データと
前記スライス情報とは異なる識別ヘッダを持つ符号化デ
ータグループに当該ダミー符号列を格納するとともに、
符号化画像データとスライス情報とダミー符号列のそれ
ぞれを格納した符号データグループを１つのデータスト
リームとして多重化出力を行なうようにし、また、画像
復号化手段が、前記データストリーム中の符号データグ
ループのうち、符号化画像データが格納されている識別
ヘッダを持つもののみを復号再生し、スライス情報とダ
ミー符号列が格納されている識別ヘッダを持つものは無
視するように構成する。
【００２２】これにより、データストリーム中にスライ
ス情報とダミー符号列を有した状態のままでも画像復号
化手段は符号化画像データの復号再生が可能であり、か
つ、画像合成手段は、データストリーム中にスライス情
報から符号化画像データの合成処理を円滑に行なうこと
が可能である。
【００２３】また、蓄積手段に格納されたデータストリ
ームに対するアクセス負荷や、蓄積手段から読み出すデ
ータストリームの伝送負荷などが不均一になる場合に、
ダミー符号列を有することで、それを調整することが可
能になる。
【００２４】第７に、多重データ生成手段が、前記符号
化画像データと前記スライス情報と前記ダミー符号列の
それぞれを格納した符号データグループを１つの組（パ
ック）として多重化出力を行ない、この際、固定フレー
ム数分の符号化画像データおよびスライス情報をそれぞ
れの符号データグループに対して格納し、さらにパック
長が常に一定長になるように符号長の調整されたダミー
符号列を符号データグループに格納するように構成す
る。
【００２５】これにより、画像合成手段は、任意フレー
ム番号が与えられたときに、当該フレームの符号化画像
データおよびスライス情報の格納されている符号化デー
タグループの蓄積位置を、１パックあたりの固定フレー
ム数と１パックあたりのサイズから即座に算出すること
が可能であり、符号化画像データがランダムアクセスさ
れた場合や、途中フレームからの合成に対するアクセス
応答性能を高めることが可能となる。
【００２６】第８に、蓄積手段をＮ個の複数蓄積媒体か
ら構成するとともに、多重データ生成手段がＮフレーム
置きにパック化多重化処理を行ない、さらに、蓄積手段
が前記画像符号化手段の生成したパックを一定順序でそ
れぞれの蓄積媒体へ振り分けるような蓄積処理を行な
い、さらに、前記画像合成手段がパックを読み出す際
に、複数蓄積媒体へと蓄積された符号化画像データを前
記画像符号化手段により蓄積したときと同じ順序にアク
セスするように構成する。
【００２７】これにより、画像合成手段が、蓄積手段か
ら符号化画像データを取り出す際に各々の蓄積媒体への
アクセス負荷が分散することができ、画像合成装置全体
のハードウェア規模を大きくしたり、復号器の処理を高
速化したりすることなく、同時にアクセスする符号化画
像データの数が増えても、同時に、かつ滑らかに表示す
ることができる。
【００２８】第９に、画像合成手段が、少なくとも１つ
以上の前記蓄積手段から取り出した符号化画像データ
と、前記画像符号化手段が生成した符号化画像データあ
るいは前記画像符号化手段によって生成中である少なく
とも１つ以上の符号化画像データから合成画像ストリー
ムを生成出力するように構成する。
【００２９】これにより、画像合成手段が、蓄積手段ま
たは画像符号化手段のどちらかまたは両方から、少なく
とも１つ以上の符号化画像データを読み出し合成画像ス
トリームを生成することを可能とし、ライブ映像のよう
なリアルタイムに画像符号化した映像を直接リアルタイ
ムに合成処理を行なうことができる。
【００３０】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。なお、本発明はこれ
ら実施の形態に何等限定されるものではなく、その要旨
を逸脱しない範囲において、種々なる態様で実施し得
る。
【００３１】（第１の実施の形態）まず、請求項１に対
応する第１の実施の形態について、図２から図５を用い
て説明する。
【００３２】図２は、本発明による画像合成装置を示す
構成図の一例であり、図２において、201は伝送用ネッ
トワーク、202は複数の動画像を管理し合成処理を実行
する動画サーバ、203は各動画を所定のサイズに縮小す
る動画縮小手段、204は動画データを圧縮して符号化す
る動画符号化手段、205は合成用動画データを格納する
合成用データ格納ディスク、206は複数の合成用動画デ
ータを合成する動画合成手段、207は合成データを復号
し動画として再生する再生端末、208は合成した動画デ
ータを復号する動画復号化手段、209は復号した動画を
表示する動画表示手段である。
【００３３】伝送用ネットワーク201は、イーサネット
やトークンリングなどの高速データ伝送システムによっ
て構成したＬＡＮや、公衆回線などを介して広域での通
信を行なえるように構成したＷＡＮなどである。
【００３４】動画サーバ202、および再生端末207は、一
般的なオペレーティングシステムが動作する、例えばパ
ソコンやワークステーションなどの計算機であり、動画
縮小手段203、動画符号化手段204、動画合成手段206、
動画復号化手段208、動画表示手段209はそれぞれ、計算
機内において、汎用、あるいは専用のオペレーティング
システムのもとで動作するプログラム、あるいは専用の
ハードウェアである。
【００３５】以下、この画像合成装置における複数動画
の合成処理、および表示処理について説明する。
【００３６】オリジナルの動画データは、あらかじめ動
画縮小手段203によって所定のサイズに縮小され、縮小
動画データは動画符号化手段204によって圧縮・符号化
されて、合成用データとして合成用データ格納ディスク
205に格納される。
【００３７】図３は、動画符号化手段によって縮小動画
データを符号化する場合に、それぞれの縮小画像を小さ
なブロックに分割する例を示すものである。すなわち、
縮小画像を所定の数のスライスに分割し、各スライスを
所定の数のマクロブロックに分割する。その後、それぞ
れのマクロブロックを必要に応じてさらに小さなブロッ
クに分割し、それぞれのブロックに対してＤＣＴや可変
長符号化による圧縮・符号化処理を施す。このような画
像の圧縮・符号化の方法として、例えばＭＰＥＧやＪＰ
ＥＧと呼ばれる標準化された方式を用いることができ
る。
【００３８】この画像合成装置が複数の動画を横にＸ
個、縦にＹ個の並びで同時に表示することを要求される
と、動画合成手段206が図４のフローチャートに従って
動作し、１フレーム分の合成画面データを生成する。す
なわち、 ステップ 401： Ｊ＝１、すなわち一番上に表示するデ
ータから始める． ステップ 402： Ｋ＝１、すなわち各縮小画像の一番上
のスライスから始める． ステップ 403： Ｉ＝１、すなわち一番左に表示するデ
ータから始める． ステップ 404： 左からＩ番目に表示する動画のＫ番目
のスライスを取り出し、合成画面データとして出力す
る． ステップ 405： 右隣に表示する動画データへ． ステップ 406： 右隣に表示する動画データがあればス
テップ404へ． ステップ 407： 次のスライスへ． ステップ 408： 次のスライスがあればステップ403へ． ステップ 409： 下隣へ表示する動画データへ． ステップ 410： 下隣に表示する動画データがあればス
テップ402へ。
【００３９】この処理によって、複数の合成用データの
それぞれのフレームを一フレーム分の一つの画像データ
として合成し、この処理を繰り返すことによって、複数
の画像を一つの動画データとして出力することができ
る。
【００４０】図５に、図４の処理によってできる合成画
面データのイメージを示す。
【００４１】合成画面データとして生成されるデータ列
は、一番上の段に表示される縮小画像の一番目のスライ
スＸ個、二番目のスライスＸ個、の順番で出力され、最
下段のＮ番目のスライスＸが最後に出力される。この
時、各スライスに対応するデータ列の他に、合成画面デ
ータが正しく復号されるために必要な情報（例えば合成
したデータをＭＰＥＧストリームとして構成する場合に
は、シーケンス情報、ピクチャ情報、グループ情報な
ど）は、必要に応じて出力され、スライスに対応するデ
ータとともに用いられる。
【００４２】生成された合成画面データは伝送用ネット
ワーク201を介して再生端末207に送られ、動画復号化手
段208によって復号された後、動画表示手段209によって
表示される。動画復号化の方法は、合成画面データの形
式に応じたものを用いる。
【００４３】以上のように、本実施の形態では、それぞ
れの動画を動画縮小手段203によって縮小した後、動画
符号化手段204によって圧縮・符号化した形式で合成用
データ格納ディスク205に保持しておき、動画合成手段2
06によって表示が要求された複数の動画データからスラ
イスに相当するデータを取り出して一つの動画データに
合成し、合成したデータを動画復号化手段208によって
復号した後、動画表示手段209によって再生することに
より、その復号処理が、従来のように、合成したい画像
データの数だけ必要な場合と異なり、既に（縮小・）合
成済みの合成画像（１つ）のみに対して行なうだけなの
で、ハードウェアの規模を大きくしたり、復号器の処理
を高速化したりすることなく、同時に表示する画面の数
が増えても、複数の画像を同時に、かつ滑らかに表示す
ることができ、その実用的効果は大きい。
【００４４】なお、上記のように複数の動画を合成して
同時に表示する処理は、再生端末からの要求、あるいは
動画サーバ内部で発生するイベントなどによって行なわ
れ、例えば、再生端末207からの動画検索要求を動画サ
ーバ202が受信し、動画サーバ202内の検索処理によって
ヒットしたものに対して行なわれる。
【００４５】また、画像合成手段206の合成方法とし
て、例えば、64分割画面において、16枚の縮小・符号化
された蓄積画像が選ばれた場合、その予め所定の縮小サ
イズに対して、縦横それぞれを倍のサイズにした上
で、１フレームサイズに隙間なく配置・収納したり、
縦サイズ・横サイズのみを倍にした上で、又は、サイ
ズは変更しないで、上下左右にずらす、あるいは中央に
合わて配置・収納する等が考えられる。
【００４６】なお、ここで選択される蓄積画像は複数で
ある必要はなく、合成対象として縮小・符号化された１
つの蓄積画像を選び、そのサイズを変更した上で画面
に配置・収納したり、そのままのサイズで配置・収納
したり等といった合成方法もその一手法として十分にあ
り得ることは言うまでもない。
【００４７】このように、様々なバリエーションにて、
合成することで、よりユーザの要求に応じた多画面の同
時再生に柔軟に対応することができ、その実用的効果は
更に大きい。
【００４８】（第２の実施の形態）次に、請求項２及び
３に対応する第２の実施の形態について、図６、及び図
７を用いて説明する。
【００４９】図６は、本発明による画像合成装置を示す
構成図の一例であり、図６において、構成要素である60
1から609までは、図２で示した第１の実施の形態と同様
のものである。
【００５０】610は動画符号化手段604が縮小動画データ
を圧縮・符号化する際に、各スライスが符号化した合成
用データの中でどこに配置されているかを示すスライス
配置情報を出力するスライス配置情報出力手段であり、
計算機内において、汎用、あるいは専用のオペレーティ
ングシステムのもとで動作するプログラム、あるいは専
用のハードウェアによって実現する。
【００５１】図７は、スライス配置情報出力手段610が
出力するスライス配置情報の例であり、図７において、
701は、合成用データのフレーム番号、702は、各フレー
ムにおけるスライス番号、703は、合成用データ内での
各スライスの配置を示す先頭からのオフセット、704
は、各スライスの長さである。
【００５２】各合成用データに対応するスライス配置情
報は、合成用データとは別々に合成用データ格納ディス
ク605上に保持する。ただし、スライス配置情報と各合
成用データとでは容易に対応が取れるようにしておく必
要があり、例えば、拡張子のみを変えた同じ名前のファ
イルとして保持しておく。
【００５３】動画合成手段606は、合成処理を行なう
時、まず始めに、同時に表示が必要な全ての動画に対応
するスライス配置情報を読み込んで保持し、続いて、各
合成用データから合成に必要なスライスのデータを、保
持しているスライス配置情報を用いて取り出し、合成処
理に用いる。
【００５４】その他の処理については、第１の実施の形
態と同様に行なう。
【００５５】以上のように、本実施の形態では、動画符
号化手段604が圧縮・符号化処理によって縮小動画デー
タを出力する際に、スライス配置情報出力手段が各スラ
イスに関するスライス配置情報を出力し、蓄積手段がス
ライス配置情報を合成用データとは別々に保持し、動画
合成手段606が合成処理を行なう際に、合成する全ての
動画に対応するスライス配置情報を読み込んで保持し、
これに基づいて各合成用データから合成に必要なスライ
スのデータを取り出し、合成処理に用いることによっ
て、各合成用データの内容すべてを走査する必要がなく
合成処理をさらに高速に行なうことができ、その実用的
効果は大きい。
【００５６】また、スライス配置情報を各合成用データ
とは別々に保持するため、それぞれの符号化画像データ
を一般的な画像復号化手段で復号化できる符号化形式
（例えば、ＭＰＥＧ）で保持しておけば、それ自身も復
号化手段によって復号し、再生することができるため、
合成用データの再利用が可能である。
【００５７】（第３の実施の形態）次に、請求項４に対
応する第３の実施の形態について、図８、及び図９を用
いて説明する。
【００５８】図８は、本発明による画像合成装置を示す
構成図の一例であり、図８において、構成要素である80
1から809までは、図２で示した第１の実施の形態と同様
のものである。
【００５９】810は動画符号化手段804が縮小動画データ
を圧縮・符号化する際に、各スライスの長さを算出する
スライス長算出手段であり、計算機内において、汎用、
あるいは専用のオペレーティングシステムのもとで動作
するプログラム、あるいは専用のハードウェアによって
実現する。
【００６０】また、合成用データ格納ディスク805上
は、スライス長算出手段810が算出した各スライスの長
さと、符号化によって得たデータ中の各スライスのみを
合成用データとして保持する。
【００６１】図９は、合成用データ格納ディスク805上
に格納する合成用データの例であり、固定の長さを持つ
スライス長と、それに続くスライスデータとの繰り返し
によって構成している。
【００６２】動画合成手段806は、合成用データの先頭
から読み込みを開始し、固定の長さをもつスライス長に
基づいて、それに続くスライスデータを取り出し、合成
処理に用いる。
【００６３】その他の処理については、第１の実施の形
態と同様に行なう。
【００６４】以上のように、本実施の形態では、動画符
号化手段804が圧縮・符号化処理によって合成用データ
を出力する際に、スライス長算出手段が各スライスの長
さを算出し、蓄積手段が各スライスの長さと、符号化に
よって得たデータ中の各スライスのみを保持し、動画合
成手段806が合成処理を行なう際に、合成用データの先
頭から読み込みを開始し、固定の長さをもつスライス長
に基づいて、それに続くスライスデータを取り出し、合
成処理に用いることによって、各合成用データの内容す
べてを走査する必要がなく合成処理をさらに高速に行な
うことができ、その実用的効果は大きい。
【００６５】また、それぞれの合成用データを一般的な
画像復号化手段で復号化できる符号化形式（例えば、Ｍ
ＰＥＧ）で保持する場合に比べて、蓄積するデータのサ
イズを削減することができる。
【００６６】（第４の実施の形態）次に、請求項５から
請求項８に対応する第４の実施の形態について、図１０
から図１２を用いて説明する。
【００６７】図１０は、本発明による画像合成装置を示
す構成図の一例であり、図１０において、構成要素であ
る1001から1009までは、図２で示した第１の実施の形態
と同様のものである。
【００６８】1010は動画符号化手段1004が縮小動画デー
タを圧縮・符号化する際に、そのフレームレート情報を
生成するフレームレート情報生成手段、1011は動画合成
手段1006が符号化した合成用データを合成する際に、そ
れぞれの合成用データのフレームレートが異なる場合
に、ある時点での合成に用いるフレームを、それぞれの
合成用データについて決定するフレームレート整合手段
であり、それぞれは、計算機内において、汎用、あるい
は専用のオペレーティングシステムのもとで動作するプ
ログラム、あるいは専用のハードウェアによって実現す
る。
【００６９】各合成用データは、フレームレート情報生
成手段1010によって生成されたフレームレート情報をと
もに、合成用動画データ格納ディスク1005に格納する。
【００７０】以下で、フレームレート整合手段1011がフ
レームレートを統一する手順について説明する。
【００７１】まず、合成画面データのフレームレート
を、合成する合成用データのうちで最もフレームレート
の低いものに統一する方法について、図１１のフローチ
ャートを用いて説明する。
【００７２】１フレーム目の合成画面を生成する間、フ
レームレート整合手段1011は各縮小画面データが保持し
ているフレームレート情報を監視しており、最も低いフ
レームレートを合成画面のフレームレートＦとして記憶
する。
【００７３】２フレーム目移行の合成画面データを生成
する際、フレームレート整合手段1011は図１１のフロー
チャートに従って動作し、すべての合成用データについ
て、どのフレームを合成画面の生成に用いるかを決定す
る。すなわち、 ステップ 1101： Ｉ＝１、すなわち最初のデータから始
める． ステップ 1102： Ｆi＞Ｆ、すなわちＩ番目の動画のフ
レームレートが合成画面のフレームレートより大きい時
はステップ1106へ． ステップ 1103： 次のフレームを合成に用いることにす
る． ステップ 1104： Ｉ＝Ｉ＋１、すなわち次の動画データ
へ． ステップ 1105： 次の動画データがあればステップ1102
へ． ステップ 1106： Ｓi×(Ｆi／Ｆ)が整数でなければステ
ップ1109へ． ステップ 1107： Ｓi×(Ｆi／Ｆ)−１フレームスキップ
する． ステップ 1108： Ｓi＝１とし、ステップ1103へ． ステップ 1109： ［Ｓi×(Ｆi／Ｆ)］−１フレームスキ
ップする． ステップ 1110： Ｓi＝Ｓi＋１とし、ステップ1103へ。
【００７４】この処理によって決定された各合成用デー
タのフレームを用いて、合成画面データの各フレームを
生成する。
【００７５】その他の処理については、第１の実施の形
態と同様に行なう。
【００７６】なお、図１１のフローチャート、およびそ
の説明において、Ｍは合成する動画データの数、Ｆi（i
＝１〜Ｍ）は各合成用データのフレームレート、［Ａ］
は、Ａにもっとも近い最大の整数を示す。また、Ｓi（i
＝１〜Ｍ）は、１フレーム目の合成画面を生成する時に
すべて１に初期化する。
【００７７】次に、合成画面データのフレームレート
を、合成する合成用データのうちで最もフレームレート
の高いものに統一する方法について、図１２のフローチ
ャートを用いて説明する。
【００７８】１フレーム目の合成画面を生成する間、フ
レームレート整合手段1011は各縮小画面データが保持し
ているフレームレート情報を監視しており、最も高いフ
レームレートを合成画面のフレームレートＦとして記憶
する。
【００７９】２フレーム目移行の合成画面データを生成
する際、フレームレート整合手段1011は図１２のフロー
チャートに従って動作し、すべての合成用データについ
て、どのフレームを合成画面の生成に用いるかを決定す
る。すなわち、 ステップ 1201： Ｉ＝１、すなわち最初のデータから始
める． ステップ 1202： Ｆi＜Ｆ、すなわちＩ番目の動画のフ
レームレートが合成画面のフレームレートより小さい時
はステップ1206へ． ステップ 1203： 次のフレームを合成に用いることにす
る． ステップ 1204： Ｉ＝Ｉ＋１、すなわち次の動画データ
へ． ステップ 1205： 次の動画データがあればステップ1202
へ． ステップ 1206： Ｓi×(Ｆ／Ｆi)が整数でなければステ
ップ1209へ． ステップ 1207： Ｓi×(Ｆ／Ｆi)−１フレームスキップ
する． ステップ 1208： Ｓi＝１とし、ステップ1203へ． ステップ 1209： ［Ｓi×(Ｆ／Ｆi)］−１フレームスキ
ップする． ステップ 1210： Ｓi＝Ｓi＋１とし、ステップ1203へ。
【００８０】この処理によって決定された各合成用デー
タのフレームを用いて、合成画面データの各フレームを
生成する。
【００８１】その他の処理については、第１の実施の形
態と同様に行なう。
【００８２】なお、図１２のフローチャート、およびそ
の説明において、Ｍは合成する動画データの数、Ｆi（i
＝１〜Ｍ）は各合成用データのフレームレート、［Ａ］
は、Ａにもっとも近い最大の整数を示す。また、Ｓi（i
＝１〜Ｍ）は、１フレーム目の合成画面を生成する時に
すべて１に初期化する。
【００８３】また、再生端末などからの要求により、任
意のフレームレートによって合成画面データを生成する
場合には、決定された合成画面データのフレームレート
に対し、縮小画面データのフレームレートが大きければ
図１１のステップ1106からステップ1110を適用し、縮小
画面データのフレームレートが小さければ図１２のステ
ップ1206からステップ1210を適用することで対応でき
る。
【００８４】以上のように、本実施の形態では、画像符
号化手段1004がフレームレート情報生成手段1010を備
え、合成用データ格納ディスク1005がフレームレート情
報を含んだ各合成用データを保持し、動画合成手段1006
がフレームレート整合手段1011を備え、任意のフレーム
レートで合成動画データを生成することにより、異なる
フレームレートの画面を合成した場合にも、それぞれの
画像を時間に対して正しい速度で再生することができる
ため、その実用的効果は大きい。
【００８５】（第５の実施の形態）次に、請求項９〜１
１（、請求項１２・１３及び請求項１４・１５）に対応
する第５の実施の形態について図１３（から図１７）を
用いて説明する。なお、上記したそれぞれの実施の形態
と共通する部分についてはその説明を省略する。
【００８６】図１３において、1401１は、画像データを
圧縮、符号化する画像符号化手段、1402は、符号化画像
データ中での各スライスに関する情報を生成するスライ
ス情報生成手段、1403は、符号化画像データとスライス
情報、およびダミー符号列とを互いに異なる識別ヘッダ
を持つ符号データグループに格納したのちに１つの合成
画像ストリームとして出力する多重データ生成手段、14
04は、合成用画像データ（合成画像ストリーム）を蓄積
する蓄積手段、1405は、複数の合成用動画データを合成
する画像合成手段、1406は、合成した動画データ（合成
画像ストリーム）を復号再生する画像復号化手段、であ
る。
【００８７】画像符号化手段1401は、第１の実施の形態
において動画符号化手段204の動作説明で述べたような
符号化画像データの生成を行なう。
【００８８】また、スライス情報生成手段1402では、符
号化された画像データの各スライスに関する情報、例え
ば、符号化画像データ中でどの部位に当該スライスが配
置出力されたか（スライスの位置情報）、当該スライス
の符号長はどのくらいであるか（スライスの符号長情
報）、などを生成する。
【００８９】図１４に、多重データ生成手段1403が生成
する多重データストリームの例を示す。図１４（Ａ）に
おいて、１パックの符号長の固定サイズは（ここでは
例として＝8192バイト）、１パックあたりのフレーム
数をＦ（ここでは例としてＦ＝８）と示す。これらパッ
クの符号長およびフレーム数は任意の値を設定可能で
ある。
【００９０】また、図１４（Ｂ）で示されるように、パ
ックは符号化画像データ、スライス情報、ダミー符号列
のそれぞれを格納する３つの符号データグループから構
成されており、この場合は請求項１０、１１に相当す
る。また、ダミー符号列は必ずしもパック中に含める必
要はなく、この場合は請求項９に相当する。以下では、
ダミー符号列を含む場合について説明する。
【００９１】図１４（Ｂ）に示すように、多重データ生
成手段1403は、符号化画像データ、スライス情報、ダミ
ー符号列の順で各符号列が格納された符号データグルー
プを出力する。なお、この順序は任意の順序で構わな
い。
【００９２】多重データ生成手段1403は、各符号データ
グループを出力する際に、符号データグループに互いに
異なる識別ヘッダをつけて出力する。図１４（Ｂ）で
は、次のような識別ヘッダを書く符号データグループに
対して出力している。
【００９３】ＩＤ１： 符号化画像データ ＩＤ２： スライス情報 ＩＤ３： ダミー符号列 図１４（Ｂ）の、、は、各符号データグループの
符号長である。符号長は、符号化画像データの符号長
に依存するものであり、この例ではパック１の符号長
は、フレーム番号＃８から＃15までの８フレーム分の符
号化画像データ符号長に識別ヘッダを加えたものであ
る。
【００９４】また、の算出法であるが、例えばスライ
ス情報として、各スライスごとにスライスの位置情報お
よび符号長を格納し、このとき配置位置情報に４バイ
ト、長さ情報に４バイトを使用したとする。また、各フ
レームは６スライスから構成されていたとする。する
と、スライス情報として必要なバイト数は、 <符号長> ＝（ <位置情報> ＋ <符号長情報> ）＊ <
フレーム当りのスライス数> ＊ <パック当りのフレーム
数> ＋ 識別ヘッダＩＤ２長 となる。
【００９５】ダミー符号列を出力する場合、ダミー符号
列の符号長は次の式により算出する。
【００９６】<符号長> ＝ −（ ＋ ） したがって、実際にダミー符号列として出力する符号長
は、（符号長 − 識別ヘッダＩＤ３長）となる。
【００９７】さらに詳しく多重データ生成手段1403の生
成する符号データグループの識別ヘッダＩＤについて説
明する。識別ヘッダＩＤは、符号化画像データ、スライ
ス情報、ダミー符号列のそれぞれの符号データグループ
に対し一意な符号列である。符号化画像データを格納し
た符号データグループの識別ヘッダＩＤ１は、画像復号
化手段1406によって識別ヘッダ部分を除いた部分、すな
わち、符号化画像データ部分を復号し再生表示されるよ
うな符号列である。
【００９８】画像復号化手段1406は、スライス情報また
はダミー符号列のそれぞれの識別ヘッダＩＤのある符号
データグループの全符号列を破棄もしくは無視する。し
たがって、画像符号化手段1401が生成した合成用符号化
画像ストリームは、合成に必要なスライス情報を有した
状態で、画像復号化手段1406により単体表示再生が可能
となる。
【００９９】なお、上記説明は、合成用符号化画像デー
タストリームをＭＰＥＧ１（ＩＳＯ11172）としたとき
に、パックをＭＰＥＧシステムパック、符号化画像デー
タの格納された符号データグループをビデオパケット、
およびその識別ＩＤをＥ０ｈ〜ＥＦｈの内のいずれかの
値、スライス情報およびダミー符号列の格納された符号
データグループをプライベート２パケット、およびその
識別ＩＤをＢＦｈ、として格納するようにすることで適
用可能である。このとき、また適宜識別ヘッダＩＤの符
号列として、システムヘッダ、パケットヘッダに必要な
符号列を含めて出力するようにする。
【０１００】このような構成を取ることで、ＭＰＥＧの
復号器は合成用符号化画像データストリームを、合成に
必要なスライス情報を有した状態で再生可能となる。合
成用符号化画像データストリームをＭＰＥＧ１、ＭＰＥ
Ｇ２の他、ＡＶＩ（Audio Visual Interleaved）形式、
ＤＶ（ＤＶＣＰＲＯ）形式などを用いて圧縮符号化、多
重化した場合も同様のことを実現できる。
【０１０１】次に、画像合成手段1405について説明す
る。図１５に、画像合成手段1405により生成される合成
画面例を記す。図１５では、合成用符号化画像データス
トリームＡ１，Ａ２，Ｂ１，Ｂ２の４つを合成した例で
ある。また、図１６に、各合成用符号化画像データスト
リームをフレーム単位で合成するときに、データストリ
ーム毎に異なるフレーム位置から１つの合成画像ストリ
ームを合成する時の例を示す。
【０１０２】図１５では、各合成用符号化画像データス
トリームをそれぞれ Ａ１： フレーム番号＃０ 〜 ＃300 Ａ２： フレーム番号＃100 〜 ＃300 Ｂ１： フレーム番号＃０ 〜 ＃200 Ｂ２： フレーム番号＃０ 〜 ＃300 のフレーム番号のフレーム同士を合成し、合成画像スト
リームを生成することを示している。つまり、生成され
る合成画像ストリームの各フレームは、 フレーム番号＃０：（Ａ１の＃０，Ａ２の＃100，Ｂ１の＃０，Ｂ２の＃０） フレーム番号＃１：（Ａ１の＃１，Ａ２の＃101，Ｂ１の＃１，Ｂ２の＃１） フレーム番号＃２：（Ａ１の＃２，Ａ２の＃102，Ｂ１の＃２，Ｂ２の＃２） ： ： ： ： ： フレーム番号＃Ｎ：（Ａ１の＃N，Ａ２の＃100+N，Ｂ１の＃N，Ｂ２の＃Ｎ） ： ： ： ： ： のように、それぞれの合成用符号化画像データストリー
ムの各フレームを合成したものとする。図１６は、上記
設定において、合成画像ストリームのフレーム＃１を合
成する場合の様子を模式的に示したものである。
【０１０３】画像合成手段1405は、蓄積手段1404に蓄積
された各合成用符号化画像データをパック単位で読み出
し、フレーム単位で合成処理を行なう。
【０１０４】パック単位で合成用符号化画像データを読
み出すときの画像合成手段の処理について、例えば合成
動画ストリームのフレーム番号＃０を生成するために、
合成用符号化画像データＡ２のフレーム番号＃100を読
み出す場合を例にとり以下に説明する。
【０１０５】合成用符号化画像データ中の各パックは固
定フレーム数Ｆ（本例でのＡ２ではＦ＝８）から構成さ
れているので、フレーム番号ＦＮ（本例ではＦＮ＝＃10
0）が含まれるパック番号は、 <パック番号Ｐ> ＝ ［ＦＮ／Ｆ］ （但し、演算子［ ］は小数点以下切り捨てを意味す
る） となる。なお、パック番号Ｐは０以上の整数である。こ
の例では、 <パック番号Ｐ> ＝ ［100／８］ ＝ 12 と計算される。次に、画像合成手段1405は、目的とする
フレームが含まれたパックＰを蓄積手段1404からメモリ
に読み込む。蓄積手段1404からメモリへ読み込む場合
の、データの読み込み開始オフセットは次のように算出
される。
【０１０６】<オフセット> ＝ Ｐ＊<パック符号長> 本例では、 <オフセット> ＝ 12＊8192 ＝ 106496 である。したがって、画像合成手段1405は、蓄積手段14
04に蓄積されてある合成用符号化画像データＡ２の1064
96バイト目から8192バイトをメモリへ読み込む。各パッ
クには、そのパック中に格納されてある符号化画像デー
タに関するスライス情報が格納されており、画像合成手
段1405は上記した第１〜第４の実施の形態で述べた方法
にて画像合成処理を行ない、合成画像ストリームを生成
出力する。
【０１０７】以上のような構成を採ることで、１パック
あたりのフレーム数およびパック符号長から、任意フレ
ームに対するパック番号の算出、および蓄積手段から実
際に読み込みを開始するオフセットの算出を行なうこと
が可能となり、さらにパック中のスライス情報からスラ
イス位置を即座に読み出すことが実現できる。したがっ
て、符号化画像データに対してランダムアクセスがなさ
れた場合や、途中フレームからの合成に対する読み出し
要求がなされた場合などにおいて、その応答性を高める
ことが可能となる。
【０１０８】次に、請求項１２及び請求項１３に対応す
る、蓄積手段が複数の蓄積媒体から構成された場合につ
いての動作を説明する。図１７は、蓄積手段が複数（Ｓ
Ｎ個）の蓄積媒体から構成された場合の蓄積手段の動作
について示す。
【０１０９】多重データ生成手段1403が生成した符号化
画像データストリームは、蓄積手段1404によって複数蓄
積媒体へ蓄積される。本例では、蓄積手段は４個の蓄積
媒体（Ａ，Ｂ，Ｃ，Ｄ）から構成されているものとす
る。このとき多重データ生成手段1403は、それぞれのフ
レームを 蓄積媒体Ａ： ＃00，＃04，＃08，＃12，＃16，……… 蓄積媒体Ｂ： ＃01，＃05，＃09，＃13，＃17，……… 蓄積媒体Ｃ： ＃02，＃06，＃10，＃14，＃18，……… 蓄積媒体Ｄ： ＃03，＃07，＃11，＃15，＃19，……… のように、順番に蓄積媒体に振り分けてパック化を行な
う。（＃XXはフレーム番号XXを表す。）すなわち、パッ
ク中の固定フレーム数Ｆ＝８とすると、蓄積媒体Ａに蓄
積される各パックのフレーム構成は、 パックＡ０： ＃00、＃04、＃08、＃12、＃16、＃20、＃24、＃28 パックＡ１： ＃32、＃36、＃40、＃44、＃48、＃52、＃56、＃60 パックＡ２： ＃64、＃68、＃72、＃76、＃80、＃84、＃88、＃92 ： ： ： ： ： ： ： ： ： となり、蓄積媒体Ａへは次のパック順で蓄積される。
【０１１０】パックＡ０、パックＡ１、パックＡ２、…
……また、多重データ生成手段1403は、＃00から＃31ま
での符号化画像データおよびスライス情報、およびダミ
ー符号列からパックＡ０，パックＢ０，パックＣ０，パ
ックＤ０を生成し、蓄積手段1404は各々のパックをそれ
ぞれ蓄積媒体Ａ，蓄積媒体Ｂ，蓄積媒体Ｃ，蓄積媒体Ｄ
へ蓄積する。＃32〜＃63の場合はパックＡ１，パックＢ
１，パックＣ１，パックＤ１となり、以降についても同
様にそれぞれの蓄積媒体へ蓄積される。
【０１１１】蓄積手段1404は、画像合成手段1405により
読み出し要求がきた場合には、蓄積手段1404は各蓄積媒
体からフレーム符号列を取り出す。画像合成手段1405か
らの読み出し要求には、フレーム番号による指定と、パ
ック番号による指定がある。パック番号指定の場合は、
指定されたパックが蓄積された蓄積媒体からパックを読
み出す。
【０１１２】フレーム番号指定の場合は、例えばフレー
ム番号をＦＮとし、蓄積媒体数をＳＮ、１パック中のフ
レーム数をＮとすると、 蓄積媒体番号＝（ＦＮ ｍｏｄ ＳＮ）……ＦＮをＳＮで
割った余り。
【０１１３】（例えば、０=Ａ，１=Ｂ，２=Ｃ，３=Ｄに
割り当てる） パック番号＝ＦＮ／（ＳＮ＊Ｎ） ……（ＦＮをＳＮと
Ｎの積で割った商） で算出される。蓄積媒体から読み出されたパックは画像
合成手段1405へ渡される。
【０１１４】これにより、蓄積手段1404から符号化画像
データを取り出す際に、各々の蓄積媒体へのアクセス負
荷が分散することができ、画像合成装置全体のハードウ
ェア規模を大きくしたり、復号器の処理を高速化したり
することなく、同時にアクセスする符号化画像データの
数が増えても、同時に、かつ滑らかに表示することがで
きる。
【０１１５】次に、請求項１４及び請求項１５に対応す
る、画像合成手段1405が画像符号化手段1401により生成
された符号化画像データを蓄積手段1404を介さずに直接
合成処理を行なう場合についての動作を図１３を用いて
説明する。
【０１１６】この場合、画像符号化手段1405は、上記本
実施の形態で述べた方法を用いて生成した符号化画像デ
ータおよびスライス情報のそれぞれをフレーム毎に直接
画像合成手段1405へ渡す。もしくは上記した多重データ
生成手段1403を用いて符号化画像データとスライスデー
タを多重化し、多重化された符号列を画像合成手段1405
へ直接渡す。
【０１１７】画像合成手段1405では、蓄積手段1404から
のみ複数符号化画像データを読み出し合成処理を行なう
代わりに、蓄積手段1404または画像符号化手段1401のど
ちらか、または両方から、少なくとも１つ以上の符号化
画像データを読み出し合成処理を行なう。複数の符号化
画像データ同士の合成処理については、本実施の形態お
よび本実施の形態以前に述べた実施の形態のとおりであ
る。
【０１１８】つまり、スライス情報によって、データサ
イズを知ることができるので、直接伝送が可能となる。
また、ダミーデータを挿入した上、サイズを均一化する
ことによって合成時の計算などが更に簡便になる。
【０１１９】以上のような構成を採ることにより、ライ
ブ映像のようなリアルタイムに画像符号化した映像を直
接リアルタイムに合成処理を行なうことができる。
【０１２０】
【発明の効果】以上のように、第１の発明では、それぞ
れの動画を動画縮小手段によって縮小した後、動画符号
化手段によって圧縮・符号化した形式で合成用データ格
納ディスクに保持しておき、動画合成手段よって表示が
要求された一つ以上の動画データから一つの動画データ
に合成し、合成したデータを動画復号化手段によって復
号した後、動画表示手段によって再生する構成であるた
め、ハードウェアの規模を大きくしたり、復号器の処理
を高速化したりすることなく、同時に表示する画面の数
が増えても、複数の画像を同時に、かつ滑らかに表示す
ることができる。
【０１２１】第２の発明では、動画符号化手段が圧縮・
符号化処理によって合成用データを出力する際に、スラ
イス配置情報出力手段が各スライスに関するスライス配
置情報を出力し、蓄積手段がスライス配置情報を合成用
データとは別々に保持し、動画合成手段が合成処理を行
なう際に、合成する全ての動画に対応するスライス配置
情報を読み込んで保持し、これに基づいて各合成用デー
タから合成に必要なスライスのデータを取り出し、合成
処理に用いる構成であるため、各合成用データの内容す
べてを走査する必要がなく合成処理をさらに高速に行な
うことができる。
【０１２２】また、スライス配置情報を各合成用データ
とは別々に保持するため、それぞれの合成用データを一
般的な画像復号化手段で復号化できる符号化形式（例え
ば、ＭＰＥＧ）で保持しておけば、それ自身も復号化手
段によって復号し、再生することができるため、合成用
データの再利用が可能である。
【０１２３】第３の発明では、動画符号化手段が圧縮・
符号化処理によって合成用データを出力する際に、スラ
イス長算出手段が各スライスの長さ算出し、蓄積手段が
各スライスの長さと、符号化によって得たデータ中の各
スライスのみを保持し、動画合成手段が合成処理を行な
う際に、合成用データの先頭から読み込みを開始し、固
定の長さをもつスライス長に基づいて、それに続くスラ
イスデータを取り出し、合成処理に用いる構成であるた
め、各合成用データの内容すべてを走査する必要がなく
合成処理をさらに高速に行なうことがでる。
【０１２４】また、それぞれの合成用データを一般的な
画像復号化手段で復号化できる符号化形式（例えば、Ｍ
ＰＥＧ）で保持する場合に比べて、蓄積するデータのサ
イズを削減することができる。
【０１２５】第４の発明では、画像符号化手段がフレー
ムレート情報生成手段を備え、合成用データ格納ディス
クがフレームレート情報を含んだ各合成用データを保持
し、動画合成手段がフレームレート整合手段を備え、任
意のフレームレートで合成動画データを生成する構成で
あるため、異なるフレームレートの画面を合成した場合
にも、それぞれの画像を時間的に間延びしたり短縮した
りすることなく、正しい速度で再生できる。
【０１２６】なお、上で示した本発明の実施の形態は全
て、伝送用ネットワークを介して接続した動画サーバと
再生端末とによって構成したが、伝送用ネットワークが
ない構成によっても実現できることはいうまでもない。
【０１２７】第５の発明では、多重データ生成手段が、
画像合成に必要なスライス情報を、画像復号化手段によ
って無視されるような符号データグループに格納するよ
うに動作するため、データストリーム中にスライス情報
を有した状態のままでも画像復号化手段は符号化画像デ
ータの復号再生が可能であり、かつ、画像合成手段は、
データストリーム中にスライス情報から符号化画像デー
タの合成処理を円滑に行なうことが可能である。
【０１２８】第６の発明では、多重データ生成手段が、
画像合成に必要なスライス情報およびダミー符号列を、
画像復号化手段によって無視されるような符号データグ
ループに格納するように動作するため、データストリー
ム中にスライス情報とダミー符号列を有した状態のまま
でも画像復号化手段は符号化画像データの復号再生が可
能であり、かつ、画像合成手段は、データストリーム中
にスライス情報から符号化画像データの合成処理を円滑
に行なうことが可能である。
【０１２９】また、蓄積手段に格納されたデータストリ
ーム対するアクセス負荷や、蓄積手段から読み出すデー
タストリームの伝送負荷などが不均一になる場合に、ダ
ミー符号列を有することで、それを調整することが可能
になる。
【０１３０】第７の発明では、多重データ生成手段が、
固定フレーム数分の符号化画像データおよびスライス情
報をそれぞれの符号データグループに対して格納し、さ
らにパック長が常に一定長になるように符号長の調整さ
れたダミー符号列を符号データグループに格納するよう
に動作するため、画像合成手段は、任意フレーム番号が
与えられたときに、当該フレームの符号化画像データお
よびスライス情報の格納されている符号化データグルー
プの蓄積位置を、１パックあたりの固定フレーム数と１
パックあたりのサイズから即座に算出することが可能で
あり、符号化画像データがランダムアクセスされた場合
や、途中フレームからの合成に対するアクセス応答性能
を高めることが可能となる。
【０１３１】第８の発明では、蓄積手段をＮ個の複数蓄
積媒体から構成するとともに、多重データ生成手段がＮ
フレーム置きにパック化多重化処理を行ない、さらに、
蓄積手段が前記画像符号化手段の生成したパックを一定
順序でそれぞれの蓄積媒体へ振り分けるような蓄積処理
を行ない、さらに、前記画像合成手段がパックを読み出
す際に、複数蓄積媒体へと蓄積された符号化画像データ
を前記画像符号化手段により蓄積したときと同じ順序に
アクセスするように動作するため、画像合成手段が、蓄
積手段から符号化画像データを取り出す際に各々の蓄積
媒体へのアクセス負荷が分散することができ、画像合成
装置全体のハードウェア規模を大きくしたり、復号器の
処理を高速化したりすることなく、同時にアクセスする
符号化画像データの数が増えても、同時に、かつ滑らか
に表示することができる。
【０１３２】第９の発明では、画像合成手段が、少なく
とも１つ以上の前記蓄積手段から取り出した符号化画像
データと、前記画像符号化手段が生成した符号化画像デ
ータあるいは前記画像符号化手段によって生成中である
少なくとも1つ以上の符号化画像データから合成画像ス
トリームを生成出力するように動作するため、画像合成
手段が、蓄積手段または画像符号化手段のどちらかまた
は両方から、少なくとも１つ以上の符号化画像データを
読み出し合成画像ストリームを生成することを可能と
し、ライブ映像のようなリアルタイムに画像符号化した
映像を直接リアルタイムに合成処理を行なうことができ
る。
【図面の簡単な説明】
【図１】本発明の画像合成装置の構成を示す概略図、
【図２】本発明の第１の実施の形態における画像合成装
置の構成を示す概略図、
【図３】本発明の第１の実施の形態における縮小画面の
分割例を示す概略図、
【図４】本発明の第１の実施の形態における画像合成手
段の動作を示すフローチャート、
【図５】本発明の第１の実施の形態における合成画面デ
ータのイメージを示す概略図、
【図６】本発明の第２の実施の形態における画像合成装
置の構成を示す概略図、
【図７】本発明の第２の実施の形態におけるスライス配
置情報の例を示す概略図、
【図８】本発明の第３の実施の形態における画像合成装
置の構成を示す概略図、
【図９】本発明の第３の実施の形態における合成用デー
タの例を示す概略図、
【図１０】本発明の第４の実施の形態における画像合成
装置の構成を示す概略図、
【図１１】本発明の第４の実施の形態におけるフレーム
レート整合手段の動作を示すフローチャート、
【図１２】本発明の第４の実施の形態におけるフレーム
レート整合手段の動作を示すフローチャート、
【図１３】本発明の第５の実施の形態における画像合成
装置のブロック図、
【図１４】本発明の第５の実施の形態における多重デー
タストリームの例図、
【図１５】本発明の第５の実施の形態における合成画面
の例図、
【図１６】本発明の第５の実施の形態におけるフレーム
合成の例図、
【図１７】本発明の第５の実施の形態における蓄積手段
の例図、
【図１８】従来の画像合成装置の構成を示す概略図であ
る。
【符号の説明】
101 画像縮小手段 102 画像符号化手段 103 蓄積手段 104 画像合成手段 105 画像復号化手段 106 画像再生手段 201 伝送用ネットワーク 202 動画サーバ 203 動画縮小手段 204 動画符号化手段 205 合成用データ格納ディスク 206 動画合成手段 207 再生端末 208 動画復号化手段 209 動画表示手段 601 伝送用ネットワーク 602 動画サーバ 603 動画縮小手段 604 動画符号化手段 605 合成用データ格納ディスク 606 動画合成手段 607 再生端末 608 動画復号化手段 609 動画表示手段 610 スライス配置情報出力手段 701 フレーム番号 702 スライス番号 703 先頭からのオフセット 704 スライスの長さ 801 伝送用ネットワーク 802 動画サーバ 803 動画縮小手段 804 動画符号化手段 805 合成用データ格納ディスク 806 動画合成手段 807 再生端末 808 動画復号化手段 809 動画表示手段 810 スライス長算出手段 1001 伝送用ネットワーク 1002 動画サーバ 1003 動画縮小手段 1004 動画符号化手段 1005 合成用データ格納ディスク 1006 動画合成手段 1007 再生端末 1008 動画復号化手段 1009 動画表示手段 1010 フレームレート情報生成手段 1011 フレームレート整合手段 1401 画像符号化手段 1402 スライス情報生成手段 1403 多重データ生成手段 1404 蓄積手段 1405 画像合成手段 1406 画像復号化手段 1801 画像符号化手段 1802 記憶デバイス 1803 識別コード判定器 1804 一部データ復号器 1805 縮小器 1806 表示装置
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 1/41 Ｇ０６Ｆ 15/66 ４５０ 7/30 Ｈ０４Ｎ 7/133 Ｚ (72)発明者 加藤 等 大阪府門真市大字1006番地 松下電器産業 株式会社内 (72)発明者 由雄 宏明 大阪府門真市大字1006番地 松下電器産業 株式会社内 (72)発明者 加藤 毅 大阪府門真市大字1006番地 松下電器産業 株式会社内

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 画像を縮小し縮小画像データを生成する
    画像縮小手段と、前記縮小画像データを圧縮符号化し符
    号化画像データを生成する画像符号化手段と、前記符号
    化画像データを蓄積する蓄積手段と、前記蓄積手段に蓄
    積した符号化画像データを１つ以上取り出し、１フレー
    ムに配置・収納できるように、前記符号化画像データを
    合成して、１フレーム分の新たな符号化画像合成データ
    を生成する画像合成手段と、前記符号化画像合成データ
    を伸長して、１フレーム分の合成画像を生成する画像復
    号化手段と、前記合成画像を再生する画像再生手段と、
    を備えた画像合成装置。
  2. 【請求項２】 画像符号化手段が、符号化画像データ中
    での各スライスに関する情報を生成するスライス情報生
    成手段を有し、画像合成手段が、前記スライスに関する
    情報に基づいて符号化画像データから各スライスに対応
    する部分を取り出すことを特徴とする、請求項１に記載
    の画像合成装置。
  3. 【請求項３】 スライス情報生成手段が、符号化画像デ
    ータ中での各スライスに対応するデータの配置に関する
    スライス配置情報を生成し、蓄積手段が前記スライス配
    置情報を符号化画像データとは別々に保持し、画像合成
    手段が、前記蓄積手段が保持する前記スライス配置情報
    を取り出し、これに基づいて前記符号化画像データから
    各スライスに対応する部分を取り出すことを特徴とす
    る、請求項２に記載の画像合成装置。
  4. 【請求項４】 スライス情報生成手段が、符号化画像デ
    ータ中での各スライスに対応する部分の長さに関するス
    ライス長情報を生成し、蓄積手段が、前記スライス長情
    報と前記符号化画像データ中の各スライスに対応する部
    分のみをまとめて符号化スライスデータとして保持し、
    画像合成手段が、前記蓄積手段が保持する前記符号化ス
    ライスデータ中の前記スライス長情報に基づいて各スラ
    イスに対応する部分を取り出すことを特徴とする、請求
    項２に記載の画像合成装置。
  5. 【請求項５】 画像符号化手段が、符号化画像データの
    単位時間あたりに含まれるフレーム数に関するフレーム
    レート情報を生成するフレームレート情報生成手段を有
    し、画像合成手段が、前記フレームレート情報生成手段
    が生成した前記フレームレート情報を取り出すフレーム
    レート情報取得手段と、前記フレームレート情報取得手
    段によって取得した前記フレームレート情報に基づい
    て、フレームレートの異なる複数の符号化画像データの
    フレームレートを所定のフレームレートに統一するフレ
    ームレート整合手段とを有し、所定のフレームレートで
    再生できる符号化画像合成データを生成することを特徴
    とする、請求項１から４のいずれかに記載の画像合成装
    置。
  6. 【請求項６】 フレームレート整合手段が、合成するす
    べての符号化画像データのうちで、最もフレームレート
    の高い画像のフレームレートで再生できる符号化画像合
    成データを自動的に生成することを特徴とする、請求項
    ５に記載の画像合成装置。
  7. 【請求項７】 フレームレート整合手段が、合成するす
    べての符号化画像データのうちで、最もフレームレート
    の低い画像のフレームレートで再生できる符号化画像合
    成データを自動的に生成することを特徴とする、請求項
    ５に記載の画像合成装置。
  8. 【請求項８】 フレームレート整合手段が、画像再生手
    段の要求するフレームレートで再生できる符号化画像合
    成データを生成することを特徴とする、請求項５に記載
    の画像合成装置。
  9. 【請求項９】 前記画像符号化手段が、符号化画像デー
    タの生成と同時に前記符号化画像データ中での各スライ
    スに関する情報を生成するスライス情報生成手段と、前
    記符号化画像データと前記スライス情報とを互いに異な
    る識別ヘッダを持つ符号データグループに格納したの
    ち、これら２つの符号データグループを１つのデータス
    トリームとして多重化出力を行なう多重データ生成手段
    とを備え、また、前記画像復号化手段が、前記データス
    トリーム中の符号データグループのうち、符号化画像デ
    ータが格納された識別ヘッダを持つもののみを復号再生
    し、スライス情報が格納されている識別ヘッダを持つも
    のは無視することを特徴とする請求項２記載の画像合成
    装置。
  10. 【請求項１０】 前記多重データ生成手段が、ダミー符
    号列の生成を行ない、その際に前記符号化画像データと
    前記スライス情報とは異なる識別ヘッダを持つ符号化デ
    ータグループに当該ダミー符号列を格納するとともに、
    符号化画像データとスライス情報とダミー符号列のそれ
    ぞれを格納した符号データグループを１つのデータスト
    リームとして多重化出力を行ない、前記画像復号化手段
    が、前記データストリーム中の符号データグループのう
    ち、符号化画像データが格納されている識別ヘッダを持
    つもののみを復号再生し、スライス情報とダミー符号列
    が格納されている識別ヘッダを持つものは無視すること
    を特徴とする請求項２記載の画像合成装置。
  11. 【請求項１１】 前記多重データ生成手段が、前記符号
    化画像データと前記スライス情報と前記ダミー符号列の
    それぞれを格納した符号データグループを１つの組（パ
    ック）として多重化出力を行ない、この際、固定フレー
    ム数分の符号化画像データおよびスライス情報をそれぞ
    れの符号データグループに対して格納し、さらに、パッ
    ク長が常に一定長になるように符号長の調整されたダミ
    ー符号列を符号データグループに格納することを特徴と
    する請求項１０記載の画像合成装置。
  12. 【請求項１２】 前記蓄積手段をＮ個の複数蓄積媒体か
    ら構成し、前記多重データ生成手段が、Ｎフレーム置き
    にパック化多重化処理を行ない、さらに、蓄積手段が、
    前記画像符号化手段の生成したパックを一定順序でそれ
    ぞれの蓄積媒体へ振り分けるような蓄積処理を行ない、
    さらに、前記画像合成手段が、パックを読み出す際に、
    複数蓄積媒体へと蓄積された符号化画像データを、前記
    画像符号化手段により蓄積したときと同じ順序に取り出
    すことを特徴とする請求項９記載の画像合成装置。
  13. 【請求項１３】 蓄積手段が、フレーム単位で符号化画
    像データを各々の蓄積媒体へ蓄積することを特徴とする
    請求項１２記載の画像合成装置。
  14. 【請求項１４】 前記画像合成手段が、前記蓄積手段か
    ら取り出した符号化画像データを合成するのではなく、
    前記画像符号化手段が生成した符号化画像データあるい
    は前記画像符号化手段によって生成中の符号化画像デー
    タから合成画像ストリームを生成出力することを特徴と
    する請求項２記載の画像合成装置。
  15. 【請求項１５】 前記画像合成手段が、少なくとも１つ
    以上の前記蓄積手段から取り出した符号化画像データ
    と、前記画像符号化手段が生成した符号化画像データあ
    るいは前記画像符号化手段によって生成中である少なく
    とも1つ以上の符号化画像データから合成画像ストリー
    ムを生成出力することを特徴とする請求項２、又は請求
    項９から１１のいずれかに記載の画像合成装置。
JP30319298A 1997-11-04 1998-10-12 画像合成装置 Pending JPH11231849A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP30319298A JPH11231849A (ja) 1997-11-04 1998-10-12 画像合成装置
CA 2250445 CA2250445C (en) 1997-11-04 1998-11-03 System for displaying a plurality of pictures and apparatuses incorporating the same
EP19980120855 EP0915622B1 (en) 1997-11-04 1998-11-03 System for coding and displaying a plurality of pictures
DE1998636890 DE69836890T2 (de) 1997-11-04 1998-11-03 System zur Kodierung und Aufzeichnung einer Vielzahl von Bildern
US09/185,597 US6457057B1 (en) 1997-11-04 1998-11-04 System for displaying a plurality of pictures and apparatuses incorporating the same
CN98122648A CN1118767C (zh) 1997-11-04 1998-11-04 用于在显示屏幕上显示多个图像的方法和系统以及使用该方法的服务器和远程监控系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9-301488 1997-11-04
JP30148897 1997-11-04
JP30319298A JPH11231849A (ja) 1997-11-04 1998-10-12 画像合成装置

Publications (1)

Publication Number Publication Date
JPH11231849A true JPH11231849A (ja) 1999-08-27

Family

ID=26562705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30319298A Pending JPH11231849A (ja) 1997-11-04 1998-10-12 画像合成装置

Country Status (6)

Country Link
US (1) US6457057B1 (ja)
EP (1) EP0915622B1 (ja)
JP (1) JPH11231849A (ja)
CN (1) CN1118767C (ja)
CA (1) CA2250445C (ja)
DE (1) DE69836890T2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037565A1 (en) * 1999-11-12 2001-05-25 Matsushita Electric Industrial Co., Ltd. Method and apparatus for controlling moving picture synthesis
JP2006508557A (ja) * 2002-03-28 2006-03-09 インテル コーポレイション トランスコーディングを行う装置、システム及び方法
JP2007336036A (ja) * 2006-06-13 2007-12-27 Kddi Corp 動画像合成装置及びプログラム
JP2011210223A (ja) * 2010-03-09 2011-10-20 Toshiba Corp コンテンツ編集配信システム及びコンテンツ編集装置
JP2013172374A (ja) * 2012-02-22 2013-09-02 Sony Corp 画像処理装置、画像処理方法、および画像処理システム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748421B1 (en) * 1998-12-23 2004-06-08 Canon Kabushiki Kaisha Method and system for conveying video messages
WO2001075884A2 (en) * 2000-04-05 2001-10-11 Sony United Kingdom Limited Audio/video reproducing apparatus and method
JP3738353B2 (ja) * 2001-04-20 2006-01-25 カシオ計算機株式会社 動画再生装置及び動画再生プログラム
US20060212903A1 (en) * 2003-04-03 2006-09-21 Akihiko Suzuki Moving picture processing device, information processing device, and program thereof
US8675059B2 (en) 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
US9311540B2 (en) * 2003-12-12 2016-04-12 Careview Communications, Inc. System and method for predicting patient falls
US9318012B2 (en) 2003-12-12 2016-04-19 Steve Gail Johnson Noise correcting patient fall risk state system and method for predicting patient falls
US7477285B1 (en) 2003-12-12 2009-01-13 Careview Communication, Inc. Non-intrusive data transmission network for use in an enterprise facility and method for implementing
CN100498761C (zh) * 2004-05-24 2009-06-10 株式会社东芝 医疗图像显示设备
JP2006287596A (ja) * 2005-03-31 2006-10-19 Toshiba Corp 複数画像選択画面における動画再生機能を有するカメラ装置
JP4926601B2 (ja) * 2005-10-28 2012-05-09 キヤノン株式会社 映像配信システム、クライアント端末及びその制御方法
US8238420B1 (en) * 2008-01-24 2012-08-07 Adobe Systems Incorporated Video content transcoding for mobile devices
US8484299B2 (en) 2008-02-28 2013-07-09 Hitachi Consumer Electronics Co., Ltd. Content delivery system, delivery server, receiving terminal, and content delivery method
US9579047B2 (en) 2013-03-15 2017-02-28 Careview Communications, Inc. Systems and methods for dynamically identifying a patient support surface and patient monitoring
US9959471B2 (en) 2008-05-06 2018-05-01 Careview Communications, Inc. Patient video monitoring systems and methods for thermal detection of liquids
US9794523B2 (en) 2011-12-19 2017-10-17 Careview Communications, Inc. Electronic patient sitter management system and method for implementing
US10645346B2 (en) 2013-01-18 2020-05-05 Careview Communications, Inc. Patient video monitoring systems and methods having detection algorithm recovery from changes in illumination
US9866797B2 (en) 2012-09-28 2018-01-09 Careview Communications, Inc. System and method for monitoring a fall state of a patient while minimizing false alarms
US20100122165A1 (en) * 2008-11-10 2010-05-13 Google Inc. Mechanism for displaying external video in playback engines
US8471899B2 (en) 2008-12-02 2013-06-25 Careview Communications, Inc. System and method for documenting patient procedures
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4780709A (en) * 1986-02-10 1988-10-25 Intel Corporation Display processor
US5189516A (en) 1990-04-23 1993-02-23 The Grass Valley Group, Inc. Video preview system for allowing multiple outputs to be viewed simultaneously on the same monitor
IE910049A1 (en) * 1991-01-07 1992-07-15 Zandar Res Ltd Multiple video monitoring
JPH0519731A (ja) 1991-07-16 1993-01-29 Canon Inc 動画像情報表示装置
US5257113A (en) * 1991-09-20 1993-10-26 International Business Machines Corporation Video mixing technique using JPEG compressed data
US5414455A (en) * 1993-07-07 1995-05-09 Digital Equipment Corporation Segmented video on demand system
US5517605A (en) 1993-08-11 1996-05-14 Ast Research Inc. Method and apparatus for managing browsing, and selecting graphic images
US5631693A (en) * 1993-10-25 1997-05-20 Antec Corporation Method and apparatus for providing on demand services in a subscriber system
DE69523321T2 (de) * 1994-04-15 2002-07-04 Koninkl Philips Electronics Nv Vorrichtung zur dekodierung von digitalen videosignalen
US5586264A (en) * 1994-09-08 1996-12-17 Ibm Corporation Video optimized media streamer with cache management
US5592612A (en) * 1995-04-28 1997-01-07 Birk; Yitzhak Method and apparatus for supplying data streams
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
JPH1023348A (ja) * 1996-05-02 1998-01-23 Matsushita Electric Ind Co Ltd テレビ放送番組送信装置，受信装置
US5995146A (en) * 1997-01-24 1999-11-30 Pathway, Inc. Multiple video screen display system
EP0903676A3 (en) 1997-09-17 2002-01-02 Sun Microsystems, Inc. Identifying optimal thumbnail images for video search hitlist
US6181693B1 (en) * 1998-10-08 2001-01-30 High Speed Video, L.L.C. High speed video transmission over telephone lines

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001037565A1 (en) * 1999-11-12 2001-05-25 Matsushita Electric Industrial Co., Ltd. Method and apparatus for controlling moving picture synthesis
US6525801B1 (en) 1999-11-12 2003-02-25 Matsushita Electric Industrial Co., Ltd. Method and apparatus for controlling moving picture synthesis
JP2006508557A (ja) * 2002-03-28 2006-03-09 インテル コーポレイション トランスコーディングを行う装置、システム及び方法
JP2007336036A (ja) * 2006-06-13 2007-12-27 Kddi Corp 動画像合成装置及びプログラム
JP4569968B2 (ja) * 2006-06-13 2010-10-27 Ｋｄｄｉ株式会社 動画像合成装置及びプログラム
JP2011210223A (ja) * 2010-03-09 2011-10-20 Toshiba Corp コンテンツ編集配信システム及びコンテンツ編集装置
JP2013172374A (ja) * 2012-02-22 2013-09-02 Sony Corp 画像処理装置、画像処理方法、および画像処理システム

Also Published As

Publication number Publication date
CN1118767C (zh) 2003-08-20
CA2250445A1 (en) 1999-05-04
DE69836890T2 (de) 2007-10-18
US6457057B1 (en) 2002-09-24
EP0915622A3 (en) 2001-11-14
CA2250445C (en) 2003-01-07
EP0915622A2 (en) 1999-05-12
DE69836890D1 (de) 2007-03-08
EP0915622B1 (en) 2007-01-17
CN1248022A (zh) 2000-03-22

Similar Documents

Publication Publication Date Title
JPH11231849A (ja) 画像合成装置
JP3662129B2 (ja) マルチメディア情報編集装置
US7359006B1 (en) Audio module supporting audio signature
US20020076194A1 (en) Methods of recording/reproducing moving image data and the devices using the methods
US20010048721A1 (en) Decoding method and apparatus and recording method and apparatus for moving picture data
JPH10511526A (ja) 圧縮されたビデオデータを復号化し、表示するメモリコントローラ
JP2004508777A (ja) ビデオマテリアルとデータの結合
JP2001512648A (ja) ビデオプログラムを表すデータを符号化、フォーマット化してビデオプログラムの複数のオーバラップしたプレゼンテーションを提供する方法および装置
US9264756B2 (en) Production apparatus and content distribution system
JPH11122610A (ja) 画像符号化方法及び画像復号化方法並びにこれらの装置
JPH09509297A (ja) ビット像シーケンス符号化および複合化方法および装置
JP2004015457A5 (ja)
JP3547210B2 (ja) 音声付き動画データ作成装置
JP3800819B2 (ja) 画像合成装置
JP2001016582A (ja) 画像処理装置およびその方法
JP2002232887A (ja) 画像符号化方法および画像符号化装置並びに画像復号化方法および画像復号化装置
JP3894362B2 (ja) 複数動画像の閲覧装置および記録媒体
JP4993390B2 (ja) 複数動画像の閲覧装置
JP2001024983A (ja) 映像信号多重化装置、映像信号多重化方法、映像信号記録装置、映像信号記録方法、及び映像記録媒体
JP3880597B2 (ja) マルチメディア情報編集装置
JP2006074759A (ja) 複数動画像の閲覧装置および配信装置
JP3380517B2 (ja) 特殊再生データ作成装置、及び媒体
JP3214616B2 (ja) デジタル圧縮映像の倍速再生方法
JP2003134517A (ja) 画像符号装置、画像復号装置、画像符号復号ユニット、画像符号方法、画像復号方法およびその方法をコンピュータに実行させるプログラム
JP4151122B2 (ja) 動画像合成装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040615