JP3684525B2 - 多画面合成方法及び多画面合成装置 - Google Patents
多画面合成方法及び多画面合成装置 Download PDFInfo
- Publication number
- JP3684525B2 JP3684525B2 JP03712598A JP3712598A JP3684525B2 JP 3684525 B2 JP3684525 B2 JP 3684525B2 JP 03712598 A JP03712598 A JP 03712598A JP 3712598 A JP3712598 A JP 3712598A JP 3684525 B2 JP3684525 B2 JP 3684525B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- screen composition
- screen
- memory
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画面を合成して伝送する多画面合成方法及び多画面合成装置に関する。
テレビ会議システムや遠隔監視システム等に於いて、複数の画面を伝送し、受信側で多画面表示を行うシステムが知られている。その場合の伝送路として、高速伝送路を使用できる場合は映像信号をそのまま伝送できるが、通常は低速伝送路を使用する場合が一般的であり、映像信号を圧縮符号化して伝送することになる。又複数の撮像装置からの映像信号を同期化して処理するシステムと、非同期の映像信号を処理するシステムとがあり、後者の構成が廉価である利点がある。従って、非同期の映像信号による多画面の合成を効率良く行うことが要望されている。
【０００２】
【従来の技術】
図４０は同期映像信号合成遠隔監視システムの説明図であり、２０１はテレビカメラ、２０２は多画面合成装置、２０２ａは同期信号分配部、２０３，２０５は符号化，復号化等の機能を含む伝送装置、２０４は無線衛星回線，ＩＳＤＮ，ＡＴＭ網，ＬＡＮ等のネットワーク、２０６はモニタを示す。
【０００３】
各テレビカメラ２０１は、多画面合成装置２０２の同期信号分配部２０２ａからの同期信号に従って水平走査及び垂直走査によって被監視対象物の火山，河川，電線，工場等を撮像する。従って、各テレビカメラ２０１からの被監視対象物を撮像した映像信号＃１，＃２，＃３，・・・は同期化されており、多画面合成装置２０２は、各映像信号を同期信号に基づいて合成し、この合成映像信号を伝送装置２０３に入力する。
【０００４】
伝送装置２０３は、ネットワーク２０４の伝送帯域等に対応して合成映像信号を圧縮符号化して送出する。無線衛星回線，ＩＳＤＮ回線，ＡＴＭ回線，ＬＡＮ（ローカル・エリア・ネットワーク）等のネットワーク２０４を介して圧縮符号化された合成映像信号を受信した伝送装置２０５は、圧縮符号化の逆の処理により合成映像信号を復元し、モニタ２０６に、被監視対象物の火山，河川，電線，工場等の合成画面を表示する。
【０００５】
多画面合成装置２０２は、テレビ放送システムに於ける映像編集機能を適用した構成であり、複数のテレビカメラ２０１の同期化を行う同期信号分配部２０２ａを含み、高機能の構成が実用化されているが、高価である問題がある。又伝送装置２０３，２０５は、ネットワーク２０４の伝送帯域に対応した映像信号の圧縮符号化，復号化を行う構成を有し、例えば、Ｈ．３２０（Ｈ．２６１），ＭＰＲＧ１，２，４，ＭＯＴＩＯＮ−ＪＰＥＧ，Ｈ．３２４（Ｈ．２６３）等の標準化された手段を適用することができるものである。
【０００６】
又各テレビカメラ２０１をそれぞれのテレビ会議室に設けた場合、ネットワーク２０４の一部に多地点接続装置を介して伝送装置２０３，２０５を相互に接続し、映像信号の分配制御を行うことにより、テレビ会議システムを構成することができる。
【０００７】
図４１は多画面合成の説明図であり、遠隔監視システムに於ける受信側のモニタ画面を示し、（Ａ）は図４０に示すモニタ２０６の表示画面と同一の４画面合成の場合を示す。又（Ｂ）は（Ａ）の河川監視画面がなく、その河川監視画面の位置に工場監視画面を配置した３画面合成の場合を示す。又（Ｃ）は、電線監視画面と工場監視画面と共に、現在の火山監視画面と、過去に撮影して録画した火山監視画面とを表示し、その差を観測し易いように表示した場合を示す。又（Ｄ）は、電線監視画面と工場監視画面と共に、火山監視画面と、その噴火口等の状態を拡大した監視画面とを表示した場合を示す。
【０００８】
図４２は非同期映像信号合成遠隔監視システムの説明図であり、２１１はテレビカメラ、２１３，２１５は符号化，復号化等の機能を含む伝送装置、２１３ａは非同期多画面合成部、２１４は無線衛星回線，ＩＳＤＮ，ＡＴＭ網，ＬＡＮ等のネットワーク、２１６はモニタを示す。
【０００９】
火山監視，河川監視，電線監視，工場監視等の各テレビカメラ２１１は、独立同期による映像信号を伝送装置２１３の非同期多画面合成部２１３ａに入力して合成し、ネットワーク２１４の伝送速度に対応した圧縮符号化を行い、このネットワーク２１４を介して符号化映像信号を受信した伝送装置２１５に於いて復号化し、モニタ２１６に、図４０のモニタ２０６或いは図４１に示すように、多画面表示を行うことができる。
【００１０】
又伝送装置２１３，２１５に於ける圧縮符号化，復号化については、ネットワーク２１４の伝送帯域が同一であれば、図４０に於ける伝送装置２０３，２０５の機能と同一とすることができる。又伝送装置２１３に於いて非同期合成を行うものであるから、図４０に於ける同期信号分配部２０２ａを含む多画面合成装置２０２を省略することができる。そして、伝送装置２１３内の比較的簡単な構成の非同期多画面合成部２１３ａによって、各テレビカメラ２１１からの映像信号を合成することができるから、図４０に示すシステム構成に比較して廉価な構成とすることができる。
【００１１】
図４３は伝送帯域とフレームレートとの関係説明図であり、例えば、映像信号のフレームレートを通常の３０枚／ｓｅｃとすると、伝送路の帯域は６Ｍｂｐｓを必要とし、各種の圧縮符号化を行った映像信号を、ＩＳＤＮのＢチャネルのような６４ｋｂｐｓの伝送路の帯域により伝送する場合のフレームレートは２枚／ｓｅｃ程度となる。前述のような遠隔監視システム或いはテレビ会議システム等に於いては、比較的動きの少ない画面を撮像しており、従って、低フレームレートによる符号化映像信号を受信して再生表示させても遠隔監視画像表示或いはテレビ会議参加者画像表示には充分に機能することになる。
【００１２】
又複数の端末装置に対して画像伝送装置を共用化する為に、多画面合成として伝送し、受信側では各画面対応に分離して各端末装置に転送するシステムも知られている（例えば、特開平４−７９９０号公報参照）。又非同期の映像信号を、共通化したメモリに、アドレス制御によって書込み、恰も共通化したメモリの縦方向に分割して多画面合成を行った状態とする合成装置が知られている（例えば、特開昭５４−１４８４２６号公報参照）。
【００１３】
【発明が解決しようとする課題】
同期映像信号合成は、各映像信号が同期化されているから、合成処理は比較的容易となるが、前述のように、装置構成が高価となる問題がある。又非同期映像信号合成は、同期映像信号合成の場合に比較して廉価な構成となるが、多画面合成の制御が容易でなく、又メモリを共通化して合成する従来例に於いては、縦方向に分割した合成画面となり、適用範囲が限られたものとなる問題がある。
【００１４】
又符号化，復号化について、単一画面の映像信号の伝送システムに於ける前述の標準化された手段を適用することが可能であるが、多画面合成に於いては、重要度が画面対応に異なる場合があり、一律に合成処理する場合に充分な監視等を行うことができない問題がある。
本発明は、低速伝送帯域にも適用可能とした多画面合成方法及び多画面合成装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の多画面合成方法は、相互に非同期で動作する複数の映像信号源からの映像信号を合成する多画面合成方法であって、映像信号源からの映像信号を順次選択し、且つ水平，垂直同期をとってフレーム単位で取込み、このフレーム単位の映像信号を画面合成割当エリアに対応して縮小し、画面合成用メモリの画面合成割当エリア対応のブロックに書込んで、画面合成用メモリ上で画面合成し、この画面合成された映像信号の符号化処理若しくは送信処理を行う過程を含むものである。又フレーム単位の映像信号を取込む毎に、符号化処理若しくは送信処理を行い、又は符号化処理若しくは送信処理中に、複数の映像信号源からのフレーム単位の映像信号を順次取込んで、画面合成用メモリに書込み、符号化処理若しくは送信処理の完了により、画面合成用メモリに書込まれた映像信号の符号化処理若しくは送信処理を開始する過程を含むことができる。
【００１６】
又重み付けしたチャネルの映像信号の優先的な取込み回数の制御、無効エリアを利用した拡大表示やズームアップ表示、優先的な量子値の制御、動き補償探索範囲の制御、フレーム内符号化とフレーム間予測符号化との切替制御、ループ内フィルタの接続制御等を行うことができる。
【００１７】
又映像信号の有無を判定し、無しと判定されて無効エリアとなった画面合成用メモリのブロックに、固定パターン、受信復号化データ等を合成することができる。又遠隔制御用としてのガイダンスと画面合成レイアウトとを送出して、遠隔指定を行わせることができる。
【００１８】
又本発明の多画面合成装置は、相互に非同期で動作する複数の映像信号源からの映像信号を合成する多画面合成装置であって、複数の映像信号源を選択する映像信号セレクタと、この映像信号セレクタを介して取込んだ映像信号の垂直，水平同期をとる入力信号Ｖ・Ｈ監視部と、この入力信号Ｖ・Ｈ監視部により同期をとったフレーム単位の映像信号を、画面合成該当エリアに対応して縮小する水平方向縮小化部と、この水平方向縮小化部により縮小された映像信号をライン単位で書込む画面合成用メモリと、映像信号の取込み及び画面合成用メモリ上に於ける画面合成とを制御する画面合成制御部と、画面合成用メモリ上で合成された映像信号の符号化処理を行う符号化部とを備えている。
【００１９】
又映像信号源からの映像信号をフレーム単位で取込む毎に、符号化部に於ける符号化処理を行わせる符号化制御部を有し、又この符号化制御部は、符号化部に於ける重み付けしたチャネル対応の映像信号に対する量子化値、フレーム内符号化とフレーム間予測符号化との切替え、ループ内フィルタの接続切替えの少なくとも何れか一つの制御構成を備えることができる。
【００２０】
又画面合成制御部は、重み付けしたチャネルの映像信号を他のチャネルの映像信号の取込みの回数を多くするように、映像信号セレクタを制御する構成又重み付けしたチャネルの映像信号を特殊データ格納用メモリに一旦取込み、この特殊データ格納用メモリに取込んだ映像信号をズームアップ表示するように、画面合成用メモリに書込む制御構成を備えることができる。又無効エリアに固定パターンの挿入、受信復号化したデータの挿入等の制御を行う構成とすることができる。又遠隔制御用のガイダンスの送出構成を設けることもできる。
【００２１】
【発明の実施の形態】
図１は本発明の第１の実施の形態の説明図であり、非同期映像信号を合成して符号化する伝送装置の要部の機能を示し、１−１〜１−ｎはテレビカメラ（ディジタル・カメラや録画再生装置等を含む映像信号源）、２は映像信号セレクタ、３は入力信号Ｖ・Ｈ監視部、４は水平方向縮小部、５はラインメモリ（ＬＩＮＥＦＩＦＯ）、６は画面合成用メモリ、７は符号化用メモリ、８は符号化部、９は画面合成制御部、１０は符号化制御部、１１は割込ハンドラ、１２は割込コントーラ、１３，１４は第１，第２のダイレクト・メモリ・アクセス・コントローラ（ＤＭＡＣ，以下「ＤＭＡコントローラ」と称する）である。
【００２２】
テレビカメラ１−１〜１−ｎは、それぞれ独立同期により被監視対象物等の被写体を撮像し、映像信号セレクタ２は、画面合成制御部９からの制御に従ってテレビカメラ１−１〜１−ｎを順次選択して映像信号を入力Ｖ・Ｈ監視部３に入力する。この場合の映像信号は、ＮＴＳＣ方式，ＰＡＬ方式，ＳＥＣＡＭ方式等の各種の方式を適用した映像信号とすることができる。又アナログ・コンポジット信号，輝度信号と色信号とからなるアナログ・コンポーネント信号，アナログ映像信号をディジタル化したディジタル・コンポジット信号，輝度信号Ｙと色差信号Ｃｂ，Ｃｒとからなるディジタル・コンポーネント信号等を適用することができる。
【００２３】
又図示の状態は、テレビカメラ１−２からの映像信号を映像信号セレクタ２によって選択した場合を示す。又入力信号Ｖ・Ｈ監視部３は、入力された映像信号の垂直同期信号Ｖと水平同期信号Ｈとを監視するもので、垂直同期と水平同期とをとって１フレーム分の映像信号を取込む為のものである。そして、割込コントローラ１２から指定された垂直位置を検出すると、割込コントローラ１２に通知する。割込コントローラ１２は、予め登録されている割込ハンドラ１１を呼び出す。
【００２４】
又第１のＤＭＡコントローラ１３は、ラインメモリ５からのリクエスト信号により、このラインメモリ５内のデータを指定されたメモリのアドレスに転送するもので、この場合は画面合成用メモリ６に転送されることになる。そして、１ライン分のデータの転送終了により、垂直方向のメモリアドレスを指定ライン数分だけインクリメントする。又第２のＤＭＡコントローラ１４は、画面合成制御部９からの命令に従って、指定されたメモリアドレスから指定された他のメモリアドレスにデータを転送するものである。
【００２５】
又水平方向縮小化部４は、ライン上の画素を間引くことにより、水平方向の縮小化を行うもので、縮小化された１ラインのデータがラインメモリ５に書込まれる。このラインメモリ５に１ライン分（水平方向に縮小化された）データが書込まれると、第１のＤＭＡコントローラ１３にＤＭＡ要求を送出する。ＤＭＡコントローラ１３は、ラインメモリ５から画面合成用メモリ６に転送する制御を行うものである。
【００２６】
この画面合成用メモリ６は、画面合成数に対応して分割されたブロックにより構成され、この画面合成用メモリ６上に於いて画面合成される。画面合成された映像信号を符号化用メモリ７に転送し、符号化部８に於いてフレーム内符号化やフレーム間符号化等による圧縮符号化を行って送出する。この場合、画面合成用メモリ６と符号化用メモリ７とは、ダブルバッファ構成を適用して、交互にそれぞれの機能を実現するように切替える構成とすることができる。又送信処理する送信部は図示を省略している。
【００２７】
図２は縮小化処理の説明図であり、（Ａ）は７０５（画素）×５２５（ライン）の１画面を示し、単純間引きにより、（Ｂ）の黒丸を間引き画素とすると、１画面を垂直方向と水平方向とにそれぞれ１／２とすることができる。従って、ＣＣＩＲ６０１による有効エリアの７０４画素×４８０ラインの場合、前述の単純間引きにより、３５２画素×２４０ラインに縮小することができる。なお、垂直方向は、奇数フィールドと偶数フィールドとの何れかのフィールドのみ取込むことによって縮小化することができる。
【００２８】
図３は初期化処理のフローチャートであり、図１の各部の初期化処理を示し、割込コントローラ１２とＤＭＡコントローラ１３，１４との動作を無効（停止）とする為にマスクする（Ａ１）。そして、映像信号源数（テレビカメラ１−１〜１−ｎの数）ｎ及びその配列（多画面合成上の配置位置）の情報を取得する（Ａ２）。この情報は、ユーザからの指定或いは予めシステムとして設定することができる。
【００２９】
次に画面合成用メモリ６上のブロック番号をＡとし、これに１を代入する（Ａ３）。この場合のブロック番号Ａは１〜ｎの整数値を有し、４画面合成の場合は、１〜４となる。そして、映像信号源チャネル番号ＣA を取得し（Ａ４）、奇偶フィールド取込み変数ＯA を取得し（Ａ５）、画面合成用メモリ６のインクリメント値ＶA を取得し（Ａ６）、水平方向縮小値ＨA を取得し（Ａ７）、画面合成先頭アドレスＸＳA ，ＹＳA 、即ち、画面合成用メモリ６内の水平方向取込み開始位置と水平方向取込み終了位置とを設定する（Ａ８）。又画面合成終了アドレスＸＥA ，ＹＥA 、即ち、画面合成用メモリ６内の垂直方向取込み開始位置と垂直方向取込み終了位置とを設定する（Ａ９）。又割込発生条件ＶＳA ，ＶＥA を取得する（Ａ１０）。そして、Ａ＝ｎか否かを判定し、Ａ≠ｎの場合は、Ａを１インクリメントとして（Ａ１１）、ステップ（Ａ４）移行することにより、Ａ＝１〜ｎについての初期設定を行う。
【００３０】
なお、前述のステップ（Ａ６）のインクリメント値ＶA は、ラインメモリ５から画面合成用メモリ６に転送する時に、１ライン分のＤＭＡ転送完了後に、ＤＭＡコントローラ１３が垂直方向にアドレスを自動インクリメントする値である。又ステップ（Ａ５）のＯA は、割込ハンドラ１１内で偶数フィールドのみ取り込むか、偶数フィールドと奇数フィールドとを取り込むかの判定条件である。又ステップ（Ａ１０）のＶＳA ，ＶＥA は、割込みを発生させる条件として設定するものであり、これらの値は、システムに応じて予め設定しておくことができる。又映像信号源チャネル番号ＣA についてはユーザから設定可能とすることができる。例えば、Ｃ4 ＝２の場合、画面合成用メモリ６内の４番のブロックに映像信号源２の映像信号を取り込むことを意味するものである。
【００３１】
前述の初期化処理に於いて、映像信号源数ｎを取得すれば、それに応じた配列を同時に取得する。続いて、Ａ＝１からＡ＝ｎまで順次取得した配列から、ＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。映像信号源チャネル番号ＣA の初期値は、例えば、ＣA ＝Ａとする。
【００３２】
図４は画面合成配列の説明図であり、（Ａ）〜（Ｄ）は、ｎ＝１〜４の場合について示し、合成画面上のエリアと画面合成用メモリ６の映像信号を書込むブロックとを対応させているもので、（Ａ）のｎ＝１（画面合成を行わない場合）の前述の初期値は、
ＸＳ1 ＝ＸＳ
ＸＥ1 ＝ＸＳ＋Ｘ
ＹＳ1 ＝ＹＳ
ＹＥ1 ＝ＹＳ＋Ｙ
Ｈ1 ＝１
Ｖ1 ＝２
Ｏ1 ＝１
ＶＳ1 ＝ＶSTART
ＶＥ1 ＝ＶEND
となる。
【００３３】
又（Ｂ）〜（Ｄ）のｎ＝２〜４の場合の前述の初期値は、
ＸＳ1 ＝ＸＳ2 ＝ＸＳ
ＸＳ3 ＝ＸＳ4 ＝ＸＳ＋Ｘ／２
ＸＥ1 ＝ＸＥ2 ＝ＸＳ＋Ｘ／２
ＸＥ3 ＝ＸＥ4 ＝ＸＳ＋Ｘ
ＹＳ1 ＝ＹＳ3 ＝ＹＳ
ＹＳ2 ＝ＹＳ4 ＝ＹＳ＋Ｙ／２
ＹＥ1 ＝ＹＥ4 ＝ＹＳ＋Ｙ／２
ＹＥ2 ＝ＹＥ3 ＝ＹＳ＋Ｙ
Ｈ1 〜Ｈ4 ＝１／２
Ｖ1 〜Ｖ4 ＝１
Ｏ1 〜Ｏ4 ＝０
ＶＳ1 〜ＶＳ4 ＝ＶSTART
ＶＥ1 〜ＶＥ4 ＝ＶEND
となる。
【００３４】
図４の（Ａ）のｎ＝１の場合、即ち、画面合成を行わない場合は、奇数フィールドと偶数フィールドとを共に取込み、それらを画面合成用メモリ６上では交互に格納する為、インクリメント値ＶA は２、奇偶フィールド取込み変数ＯA は１となる。又図４の（Ｂ）〜（Ｄ）のｎ＝２〜４の場合、即ち、画面合成を行う場合は、偶数フィールドのみ取込み、画面合成用メモリ６上では、連続的に格納する為、インクリメント値ＶA は１、奇偶フィールド取込み変数ＯA は０となる。この場合、水平方向の縮小は、水平方向縮小化部４のハードウェア構成により行うものであるが、垂直方向の縮小は、奇偶フィールドの一方のフィールドのみを取込むことにより実現している。又ＶSTART は映像信号源の映像有効領域のスタート・アドレスを示し、又ＶEND は映像信号源の映像有効領域のエンド・アドレスを示す。
【００３５】
初期化処理完了後に、映像信号源からの映像信号取込み処理を開始する。先ずＡ＝１とし、映像信号セレクタ２にＣ1 を設定する。この場合、Ｃ1 の値は１であり、映像信号源１−１の映像信号が映像信号セレクタ２によって選択される。又ＤＭＡコントコーラ１３に画面合成用メモリのインクリメント値Ｖ1 を設定し、水平方向縮小化部４に水平方向縮小値Ｈ1 を設定し、同時に転送先アドレスＸＯ，ＹＯに、画面合成用メモリ６の取込み開始位置ＸＳ1 ，ＹＳ1 を代入する。この転送先アドレスＸＯ，ＹＯは、割込ハンドラ１１内で、ＤＭＡコントローラ１３に転送先アドレスを設定する時に使用する変数である。前述の処理が完了すると、映像信号取込み完了認識用変数ＦＬＡＧに１を代入し、割込発生条件にＶＳ1 を設定し、割込マスクを解除する。即ち、割込コントローラ１２の動作が可能の状態とする。
【００３６】
入力信号Ｖ・Ｈ監視部３は、映像信号源（テレビカメラ）から映像信号セレクタ２を介して入力される映像信号の垂直同期信号を監視し、この垂直同期信号から数えてＶＳ1 ライン目に到達した時に、割込信号を割込コントローラ１２に入力する。それによって、割込コントローラ１２は、割込信号に従って割込ハンドラ１１を呼出す。
【００３７】
図５及び図６は割込処理のフローチャートであり、割込ハンドラ１１の処理を示す。以下、ｎ＝１の場合と、ｎ＝２〜４の場合とにわけて説明する。最初のｎ＝１の場合、映像信号取込み完了認識用変数ＦＬＡＧが１であるか否かを判定し（Ｂ１）、ＦＬＡＧ＝１の場合は、偶フィールドか否かを判定し（Ｂ２）、偶フィールドの場合、転送先アドレスＸＯ，ＹＯをＤＭＡコントローラに設定し（Ｂ３）、ＤＭＡ１のマスクを解除し（Ｂ６）、次の割込発生条件にＶＥ1 を設定し（Ｂ７）、ＦＬＡＧに２を代入し（Ｂ８）、処理を終了する。
【００３８】
又ステップ（Ｂ１）に於いてＦＬＡＧ≠１の場合、ＦＬＡＧ＝２か否かを判定し（Ｂ９）、ＦＬＡＧ≠２の場合は処理を終了する。又ＦＬＡＧ＝２の場合、ＤＭＡ１（ＤＭＡコントローラ１３）をマスクし（Ｂ１０）、ＯA ＝１か否かを判定し（Ｂ１１）、ＯA ≠１の場合は、ＦＬＡＧに０を代入し（Ｂ１５）、処理を終了する。又ＯA ＝１の場合、奇偶フィールドの取込み完了か否かを判定し（Ｂ１２）、取込み完了によりステップ（Ｂ１５）に移行し、取込み完了でない場合は、ＦＬＡＧに１を代入し（Ｂ１３）、割込発生条件ＶＳA を設定し（Ｂ１４）、処理を終了する。
【００３９】
又ステップ（Ｂ２）に於いて、偶フィールドでない場合、ＯA ＝１か否かを判定し（Ｂ４）、ＯA ≠１の場合は処理を終了し、ＯA ＝１の場合は、転送先アドレスをＸＯ，ＹＯ＋１に設定し（Ｂ５）、次のステップ（Ｂ６）に移行する。
【００４０】
更に具体的に説明すると、ラインメモリ５には、水平方向縮小化部４を経由して映像信号が入力される。その水平方向縮小化部４の縮小値は１であり、映像信号の縮小化処理は行われない。そして、１ライン分のデータがラインメモリ５に格納されると、ＤＭＡ要求信号をＤＭＡコントローラ１３に送出する。ＤＭＡコントローラ１３は、転送先アドレスＸＯ，ＹＯにラインメモリ５の１ライン分のデータを転送し、転送先アドレスＹＯを２インクリメントする。
【００４１】
次に、ラインメモリ５に１ライン分のデータが格納されると、再びＤＭＡ要求信号をＤＭＡコントローラ１３に送出するから、それによる転送先アドレスＸＯ，ＹＯ＋２にラインメモリ５の１ライン分のデータを転送し、転送先アドレスＹＯを２インクリメントする。従って、画面合成用メモリ６の垂直方向アドレスＹＯの一つおきに１ライン分のデータが格納されることになる。又割込発生条件ＶＳ1 は、映像信号の有効領域の先頭ラインを示しているので、映像信号源の映像信号の先頭からデータ転送を開始させることになる。
【００４２】
又入力信号Ｖ・Ｈ判定部３では、映像信号源からの映像信号が映像信号セレクタ２を介して入力されており、その映像信号の垂直同期信号から数えてＶＥ1 ライン目に到達した時に、割込信号を割込コントローラ１２に対して通知し、割込コントローラ１２は、割込発生条件に従って割込ハンドラ１１を呼出す。
【００４３】
この時、ＦＬＡＧ＝２（図５のステップ（Ｂ８）によりＦＬＡＧに２が代入されている）であるので、割込ハンドラ１１は、ステップ（Ｂ１）に於いてＦＬＡＧ≠１であるから、ステップ（Ｂ９）に移行し、ＦＬＡＧ＝２となるから、ＤＭＡコントローラ１３をマスクし、ＤＭＡコントローラ１３の動作を終了させる。又Ｏ1 は１であり、偶フィールドの取込みを行ったが、奇フィールドの取込みを行っていないので、ステップ（Ｂ１３）に於いて再度映像信号取込み完了認識用変数ＦＬＡＧに１を代入し、割込発生条件ＶＥ1 を設定し（Ｂ１４）、処理を終了する。この割込発生条件ＶＥ1 は、映像信号の有効領域の最終ラインを示しているので、映像信号源の映像信号１フィールド分のデータ転送を完了させたことを示す。
【００４４】
又映像信号源からの映像信号が垂直同期信号から数えてＶＳ1 ライン目に到達した時、割込ハンドラ１１が呼出される。この時、ＦＬＡＧ＝１（Ｂ１）であり、奇フィールドのデータが入力中であるので（Ｂ２）、転送先アドレスＸＯ，ＹＯ＋１をＤＭＡコントローラ１３に設定し（Ｂ５）、ＤＭＡ１のマスクを解除し（Ｂ６）、次の割込発生条件にＶＥ1 を設定し（Ｂ７）、ＦＬＡＧに２を代入して（Ｂ８）、処理を終了する。
【００４５】
ＤＭＡコントローラ１３は、ＤＭＡ要求信号を受信すると、転送先アドレスＸＯ，ＹＯ＋１にラインメモリ５内の１ライン分のデータを転送し、転送先垂直方向アドレスＹＯを２インクリメントする。即ち、次の１ライン分のデータは、ＸＯ，ＹＯ＋３に格納される。このようにして順次偶フィールドのデータとは対になるように、すだれ状に画面合成用メモリ６に格納される。
【００４６】
又前述の場合と同様に、映像信号が垂直同期信号から数えてＶＥ1 ライン目に到達した時に、割込ハンドラ１１が呼出される。この時、ＦＬＡＧ＝２であるから、ＤＭＡ１をマスクし、ＤＭＡコントローラ１３の動作を終了させる。又Ｏ1 は１であり（Ｂ１１）、且つ奇偶フィールドの取込みを完了させたので（Ｂ１２）、ＦＬＡＧに０を代入し（Ｂ１５）、処理を終了する。そして、割込発生条件ＶＥ1 が、映像信号の有効領域の最終ラインを示すことにより、映像信号源の映像信号の１フレーム分のデータ転送を完了させたになる。
【００４７】
又ｎ＝２〜４の場合、ＦＬＡＧ＝１（Ｂ１）であり、現在奇フィールドのデータが入力中であれば、即座に割込ハンドラ１１の処理を終了させ、偶フィールドのデータの入力を待つことになる。又偶フィールドのデータが入力中であれば、転送先アドレスＸＯ，ＹＯをＤＭＡコントローラ１３に設定し（Ｂ３）、ＤＭＡ１のマスクを解除し（Ｂ６）、次の割込発生条件ＶＥ1 の設定を行い（Ｂ７）、ＦＬＡＧに２を代入し（Ｂ８）、処理を終了する。
【００４８】
この時、縮小値を１／２とすると、ラインメモリ５には１／２に水平方向縮小化部４により間引きされた映像信号が入力され、１ライン分のデータが格納され次第、ＤＭＡ要求信号をＤＭＡコントローラ１３に対して通知する。ＤＭＡコントローラ１３は、ＤＭＡ要求信号を受信すると、転送先アドレスＸＯ，ＹＯに、ラインメモリ６の１ライン分のデータを転送し、垂直方向アドレスＹＯを１インクリメントする。
【００４９】
次の１ライン分のデータがラインメモリ５に格納されると、再びＤＭＡ要求信号を送出する。その時の転送先アドレスはＸＯ，ＹＯ＋１となり、ラインメモリ５からの１ライン分のデータが転送される。そして、垂直方向アドレスＹＯを１インクリメントする。又割込発生条件ＶＳ1 は、映像信号の有効領域の先頭ラインを示すから、映像信号源からの映像信号の先頭からデータ転送を開始させたことになる。
【００５０】
前述と同様に、映像信号源からの映像信号が垂直同期信号から数えてＶＥ1 ライン目に到達した時に、割込ハンドラ１１が呼出され、割込ハンドラ１１は、今回のＦＬＡＧが２であるから（Ｂ９）、ＤＭＡ１をマスクし（Ｂ１０）、ＤＭＡコントローラ１３の動作を終了させる。又Ｏ1 は０であるから、ＦＬＡＧに０を代入し（Ｂ１５）、処理を終了する。又割込発生条件ＶＥ1 は、有効領域の最終ラインを示した時、映像信号源からの映像信号の水平方向を１／２に縮小し、その１フィールド分のデータの転送を完了させたことになる。
【００５１】
前述の割込ハンドラ１１による処理を行っている間、画面合成制御部９は、映像取込み完了認識用変数ＦＬＡＧの値を監視し、その値が０になることを待つことになる。そして、ＦＬＡＧ＝０となると、映像信号を１フレーム分取込み完了となるから、割込みをマスクし、Ａ＝１をＡ＝２に更新して、前述の処理を繰り返し行うことになる。
【００５２】
前述の処理をＡ＝１からＡ＝ｎまで行い、その処理の完了により、画面合成用メモリ６に１フレーム分のデータの取込みを完了したことになる。そして、画面合成用メモリ６からのデータに対して、符号化制御部１０により制御される符号化用メモリ７と符号化部８とにより符号化処理し、符号化映像信号の送信処理を行う。この符号化処理若しくは送信処理は、システムに対応した処理であり、例えば、Ｈ．２６１，Ｈ．２６３，ＭＰＥＧ１，ＪＰＥＧ等の符号化処理や、ビットマップ・データの低速ＬＡＮ，低速ＰＰＰ（Ｐoint to Ｐoint Ｐrotocol ）等に対する送信処理等を行うことになる。又符号化処理若しくは送信処理の完了により、再度Ａ＝１からＡ＝ｎまで映像信号の取込みにより、前述の処理を繰り返し行うことになる。前述のＡ＝１〜Ａ＝４とすると、多画面合成結果は、例えば、図４１の（Ａ），（Ｃ），（Ｄ）に示すものとなる。
【００５３】
図７は本発明の第１の実施の形態の画面合成処理のフローチャートであり、前述の画面合成処理を示すもので、先ず、図３に示す初期化処理を行い（Ｃ１）、Ａに１を代入し（Ｃ２）、映像信号セレクタ２（図１参照）にＣA を設定し（Ｃ３）、画面合成用メモリ６のインクリメント値ＶA を設定し（Ｃ４）、水平方向縮小化部４に於ける水平方向縮小値ＨA を設定し（Ｃ５）、画像転送先アドレスＸＯ，ＹＯにＸＳA ，ＹＳA を代入し（Ｃ６）、ＦＬＡＧに１を代入し（Ｃ７）、割込発生条件ＶＳA を設定し（Ｃ８）、割込マスクを解除する（Ｃ９）。
【００５４】
そして、ＦＬＡＧ＝０か否かを判定し（Ｃ１０）、０の場合は、割込マスクし（Ｃ１１）、Ａ＝ｎか否かを判定し（Ｃ１２）、Ａ＝ｎの場合は取込み完了であるから、符号化処理若しくは送信処理を行い（Ｃ１３）、Ａを１インクリメントし、その結果、Ａ＞ｎならば、Ａ＝１とし（Ｃ１４）、ステップ（Ｃ３）に移行する。又ステップ（Ｃ１２）に於いてＡ≠ｎの場合はステップ（Ｃ１４）に移行する。それによって、前述のように、ｎ個の非同期の映像信号を合成して、符号化し、受信側に送出することができる。
【００５５】
図８は非同期映像信号合成の説明図であり、映像信号＃１〜＃４はそれぞれ非同期であり、(1),(2),(3),・・・・はフレーム番号を示す。そして、映像信号＃１〜＃４の順序で合成する場合、合成された映像信号は、＃１(1) ，＃２(2) ，＃３(4) ，＃４(5) となり、次は図示を省略しているが、＃１(7) となる。１映像信号のフレームレートは２９．９７Ｈｚであるから、前述の場合の全体の取込みフレームレートは、２９．９７Ｈｚと、その半分の１４．９８５Ｈｚとの間となる。又４画面合成の場合の映像信号＃１の取込みフレームレートは、フレームレート２９．９７Ｈｚの１／４の７．４９２５Ｈｚと、その半分の３．７４６２５Ｈｚとの間となる。そして、１取込みフレーム当たりの取込み時間は、（１／２９．９７）〜（２／２９．９７）〔ｓｅｃ〕となる。
【００５６】
このような非同期の映像信号を合成する場合、フレームの先頭を待つ必要があるから、例えば、９画面合成を行う場合には、３００ｍｓｅｃ〜６００ｍｓｅｃ程度の空き時間が発生し、この間、符号化処理，送信処理を行うことができないことになる。例えば、１フレームの符号化に多大な時間（１ｓｅｃ〜数１０ｓｅｃ）を要する静止画伝送や６４ｋｂｐｓ未満程度の通信帯域の狭いネットワークを介した伝送に於いては、前述の図１に示す実施の形態による非同期映像信号を用いた多画面合成の手段を充分に適用することができる。しかし、数１０ｍｓｅｃ〜数１００ｍｓｅｃで１フレームの符号化を完了させる６４ｋｂｐｓ〜１．５Ｍｂｐｓ等の中間の伝送帯域のネットワークを介して伝送する場合、空き時間が問題となる。
【００５７】
図９は本発明の第２の実施の形態の画面合成処理のフローチャートであり、１フレーム分取込む毎に符号化を行う場合を示し、ステップ（Ｄ１）〜（Ｄ１０）は、図７に於けるステップ（Ｃ１）〜（Ｃ１０）と同様である。図７に於いては、Ａ＝１として映像信号源１−１からの映像信号の取込みを完了した後、順次Ａ＝２，３，・・・ｎとして、映像信号源１−２〜１−ｎからの映像信号の取込みを行い、各映像信号源１−１〜１−ｎからの映像信号を１フレーム分取込み完了した後に、符号化処理若しくは送信処理を行うものである。
【００５８】
これに対して、この実施の形態に於いては、ステップ（Ｄ１１）〜（Ｄ１３）により、例えば、Ａ＝１の映像信号源１−１からの映像信号の取込みを完了することにより、ステップ（Ｄ１２）により符号化処理若しくは送信処理を行い、次にステップ（Ｄ１３）によりＡを１インクリメントすることにより、Ａ＝２の映像信号源１−２からの映像信号の取込みを行い、その取込みの完了により符号化処理若しくは送信処理を行い、これをＡ＝ｎとなるまで繰り返し、Ａ＞ｎとなると、Ａ＝１として最初に戻ることになる。
【００５９】
従って、Ａ＝１の時の映像信号源１−１からの映像信号を格納する画面合成用メモリ６（図１参照）のブロック以外は初期値が格納されており、符号化処理若しくは送信処理が完了した後、Ａ＝２として、映像信号源１−２からの映像信号の取込みを開始し、この取込み完了により、画面合成用メモリ６に格納されたデータの符号化処理若しくは送信処理を行う。
【００６０】
この時点では、画面合成用メモリ６には、映像信号源１−１，１−２からの映像信号を格納するブロック以外のブロックには初期値が格納された状態となり、又映像信号源１−１からの映像信号を格納したブロックは前回の符号化処理若しくは送信処理に於けるものと同一の内容のものである。従って、Ａ＝１からＡ＝ｎまでの処理を繰り返すことにより、画面合成用メモリ６内の１ブロック毎に更新されたものとなる。この場合、映像信号源数ｎを大きな値としても、非同期映像信号を用いた画面合成に於ける空き時間は、約３３ｍｓｅｃ〜６６ｍｓｅｃ程度の間に納まることになり、１５フレーム／ｓｅｃで符号化処理若しくは送信処理を行うシステムに於いても充分に適用することができる。
【００６１】
図１０は本発明の第３の実施の形態の画面合成処理のフローチャートであり、ステップ（Ｅ１）〜（Ｅ７）については、図７のステップ（Ｃ１）〜（Ｃ７）又は図９のステップ（Ｄ１）〜（Ｄ７）の処理と同様であり、重複した説明は省略する。この実施の形態は、画面合成用メモリ６から符号化用メモリ７にデータをＤＭＡによって転送する処理を含み、又映像取込み完了認識用変数ＦＬＡＧ２を追加したものである。
【００６２】
即ち、ステップ（Ｅ７）に於いてＦＬＡＧに１を代入し、次にＦＬＡＧ２に１を代入し（Ｅ８）、割込発生条件ＶＳA を設定し（Ｅ９）、割込マスク解除を行い（Ｅ１０）、ＦＬＡＧ２＝０か否かを判定し（Ｅ１１）、０の場合は、割込マスクを行い（Ｅ１２）、画面合成用メモリ６から符号化用メモリ７にＤＭＡコントローラ１４によるＤＭＡ２によって転送開始し（Ｅ１３）、割込マスクを解除して（Ｅ１４）、符号化処理若しくは送信処理を行い（Ｅ１５）、ステップ（Ｅ１１）に移行する。
【００６３】
図１１及び図１２は本発明の第３の実施の形態の割込処理のフローチャートであり、ステップ（Ｆ１）〜（Ｆ５）は、図５に於けるステップ（Ｂ１）〜（Ｂ５）と同様であり、重複した説明は省略する。ステップ（Ｆ３）又は（Ｆ５）の次のＤＭＡ１マスク解除（Ｆ７）の前に、ＦＬＡＧ２に１を代入する（Ｆ６）。そして、ＤＭＡ１マスク解除を行って、割込発生条件ＶＥA を設定し（Ｆ８）、ＦＬＡＧに１を代入し（Ｆ９）、処理を終了する。
【００６４】
又ステップ（Ｆ１）に於いてＦＬＡＧ≠１の場合、ＦＬＡＧ＝２か否かを判定し（Ｆ１０）、ＦＬＡＧ≠２の場合は処理を終了し、ＦＬＡＧ＝２の場合は、ＤＭＡ１マスク（Ｆ１１）、ＯA ＝１か否かの判定（Ｆ１２）、取込み完了か否かの判定（Ｆ１３）、ＦＬＡＧに１代入（Ｆ１４）、割込発生条件ＶＳA 設定（Ｆ１５）については、図６のステップ（Ｂ９）〜（Ｂ１４）と同様であり、重複した説明は省略する。
【００６５】
又この実施の形態に於いては、ＯA ≠１（Ｆ１２）又は取込み完了の場合（Ｆ１３）、例えば、Ａ＝１の時のＯ1 が１で且つ１フレーム分の映像信号の取込みが完了した時、若しくは、Ｏ1 が０で映像信号の取込みが完了した時に、割込ハンドラ１１内でＡ＝１からＡ＝２への変更を行う。即ち、Ａを１インクリメントし、Ａ＞ｎの場合は１を代入する（Ｆ１６）。そして、映像信号セレクタ２にＣA を設定する（Ｆ１７）。この場合、Ａ＝２となるから、映像信号セレクタ２にＣ2 を設定することになり、それにより、映像信号源１−２からの映像信号が選択される。
【００６６】
又画面合成用メモリのインクリメント値ＶA を設定し（Ｆ１８）、水平方向縮小値ＨA を設定し（Ｆ１９）、画像転送先アドレスＸＯ，ＹＯにＸＳA ，ＹＳA を代入する（Ｆ２０）。この場合、ＤＭＡコントローラ１３に設定するインクリメント値はＶ1 、水平方向縮小部４に設定する縮小値はＨ1 、転送先アドレスＸＯ，ＹＯには、ＸＳ1 ，ＹＳ1 を代入することになる。以上の処理が完了すると、ＦＬＡＧ２に０を代入して（Ｆ２１）、ステップ（Ｆ１４）に移行して、ＦＬＡＧに１を代入し、割込発生条件にＶＳ2 を設定し（Ｆ１５）、処理を終了することになる。
【００６７】
割込ハンドラ１１が処理を行っている間、画面合成制御部９は、映像取込み完了認識用変数ＦＬＡＧ２の値を監視し、その値が０になるのを待つことになる。そして、その値が０になると、映像信号源１−１からの映像信号を１フレーム分取込み完了したことを意味するから、割込みをマスクした後、画面合成用メモリ６から符号化用メモリ７へＤＭＡコントローラ１４によってデータ転送を行う。このＤＭＡ転送の完了により、割込マスクを解除し、符号化部８に於ける符号化処理若しくは送信処理を実行する。
【００６８】
この符号化処理若しくは送信処理の間、割込マスクは解除された状態を継続し、その間の割込信号があれば、割込ハンドラ１１が呼出され、映像信号源１−１の次の映像信号源１−２からの映像信号が画面合成用メモリ６に取り込まれる。この取込み完了後、続いて、映像信号源１−３からの映像信号取込み用の設定が行われる。更に割込信号があれば、割込ハンドラ１１が呼出され、今度は映像信号源１−３からの映像信号が画面合成用メモリ６に取り込まれる。このような処理を繰り返して、映像信号の取込みや符号化処理若しくは送信処理が行われ、画面合成されて符号化された合成映像信号が受信側に送信される。
【００６９】
又画面合成制御部９により制御する符号化処理若しくは送信処理が終了すると、映像取込み完了認識用変数ＦＬＡＧ２の値を監視する。この値が１であることは、現在何れかの映像データを画面合成用メモリ６にＤＭＡ転送中であることを示し、０であることは、現在映像データをＤＭＡ転送していないことを示す。ここで、映像データの画面合成用メモリ６へのＤＭＡ転送中に、画面合成用メモリ６から符号化用メモリ７へのＤＭＡ転送を行うと、符号化用メモリ７で現在取込み中の映像信号は、途中で切れたものとなる。そこで、ＦＬＡＧ２の値が０になるまで、割込マスクを行うものである。
【００７０】
この映像取込み完了認識用変数ＦＬＡＧ２の値が０になると、割込マスクを行い、画面合成用メモリ６から符号化用メモリ７へＤＭＡ転送を行う。このＤＭＡ転送が完了すると、割込マスクを解除し、符号化処理若しくは送信処理を行うことになり、前述の一連の動作を繰り返すことになる。この実施の形態の場合、符号化処理若しくは送信処理中に、映像信号を取込み続けるから、符号化効率を低下させることなく、取込み可能な分の映像信号を取込むことができる。従って、効率良く画面合成を行うことができる。
【００７１】
図１３は取込みフレームの説明図であり、（Ａ）は従来例を示し、（Ｂ）は本発明の実施の形態を示す。又＃１〜＃４は４台の映像信号源からの映像信号を示す。（Ａ）の従来例は、図４０に示すような同期映像信号合成の場合を示し、１フレーム画面を４分割し、４台の映像信号源からの映像信号＃１〜＃４に割付けて合成し、伝送装置に於いて符号化して送信する。その場合、伝送帯域が狭いネットワークを介して伝送する場合、圧縮符号化を行うことになるが、その符号化処理に要する時間や発生情報量等により、破棄されるフレームが生じることになる。従って、圧縮・伝送に採用されたフレームは、間引きされたものとなり、フレームレートは低いものとなる。
【００７２】
又（Ｂ）は、各映像信号源からの非同期の映像信号＃１〜＃４を順次取込み、画面合成を行って符号化処理する本発明の実施の形態を示す。伝送帯域が狭いネットワークを介して伝送する場合、前述のように、間引きの状態となり、フレームレートを高くすることができないものであるから、例えば、映像信号＃１の１フレーム分を取込んだ後、次の映像信号＃２の１フレーム分を取込むように、順次映像信号＃３，＃４，＃１，＃２，・・・をフレーム単位で取込むことにより、画面合成前にフレームの間引きを行った状態とし、画面合成を行って符号化処理するものである。
【００７３】
図１４は符号化処理フレームの説明図であり、（Ａ）は図１３の（Ａ）に対応した従来例、（Ｂ）は図１３の（Ｂ）に対応した本発明の実施の形態を示し、且つ図１３に於ける圧縮・伝送に採用されたフレーム(1),(4),(6),(7) について示す。従来例に於いては、（Ａ）に示すように、映像信号＃１〜＃４を合成して１フレームを構成し、符号化処理を行うことから、各フレーム(1),(4),(6),(7) は、総て更新された内容となる。
【００７４】
これに対して、本発明の実施の形態に於いては、（Ｂ）に示すように、フレーム(1) は映像信号＃１を取込んで合成して符号化することにより、映像信号＃１の部分のみ更新ありとなる。次のフレーム(4) は、映像信号＃２〜＃４を取込んで合成して符号化することにより、映像信号＃１の部分は更新なしとなるが、他の映像信号＃２〜＃４の部分は更新ありとなる。
【００７５】
次のフレーム(6) は、映像信号＃１，＃２を取込んで合成して符号化することにより、映像信号＃１，＃２の部分は更新あり、映像信号＃３，＃４の部分は更新なしとなる。次のフレーム(7) は、映像信号＃３を取込んで合成して符号化することにより、映像信号＃３の部分のみ更新ありとなる。従って、更新なしの部分はフレーム間差分が零であり、更新ありの部分のみフレーム間差分が生じることになり、符号化処理は合成画面の１フレーム全体を符号化処理する場合に比較して簡単となる。
【００７６】
図１５は受信表示フレームの説明図であり、（Ａ）は図１３の（Ａ）及び図１４の（Ａ）の従来例に対応し、（Ｂ）は図１３の（Ｂ）及び図１４の（Ｂ）の本発明の実施の形態に対応する。即ち、（Ａ）に示す従来例に於いては、フレーム(1),(4),(6),(7) を受信することになるから、フレーム(2),(3) の時間は、その前のフレーム(1) の復号化処理による内容が繰り返し表示され、フレーム(5) の時間は、その前のフレーム(4) の復号化処理による内容が表示される。
【００７７】
又（Ｂ）に示す本発明の実施の形態に於いては、（Ａ）の従来例に類似したものとなるが、例えば、映像信号＃１については、フレーム(1) の内容が、更新ありのフレーム(6) まで繰り返し表示される。又映像信号＃２については、フレーム(1) の内容が、更新ありのフレーム(4) まで繰り返し表示される。
【００７８】
例えば、有効エリアが７０４（画素）×４８０（ライン）のＣＣＩＲ６０１による画面合成の場合、１画素当たりのデータ量は１バイトであり、ラインメモリ５（図１参照）は、１ライン当たり７０４バイトのデータを格納する必要があり、データ書換えの余裕をみて、２ｋバイト程度の容量とすることが望ましい。又画面合成用メモリ６（図１参照）は、色差信号等を考慮して、７０４×４８０×１．５（バイト）程度、例えば、５１２ｋバイト程度の容量とすることが望ましい。なお、この画面合成用メモリ６の記憶容量は、画面合成数には依存しないことになる。
【００７９】
図１６は本発明の第４の実施の形態の説明図であり、図１と同一符号は同一部分を示し、２１は映像信号源入力有無判定部、２２−１〜２２−ｎは映像信号源対応部、２３は水平・垂直方向縮小化部、２４は復号化用メモリ、２５は復号化部、２６は復号化制御部、２７は特殊データ格納用メモリを示す。
【００８０】
この実施の形態は、複数の映像信号源（テレビカメラ）１−１〜１−ｎから映像信号が出力されているか否かを映像信号源入力有無判定部２１に於いて判定するものであり、映像信号源の障害，電源なし，接続不良等により映像信号を出力していない場合、その映像信号源対応の画面合成を行わないようにし、不安定映像信号の混入等によるシステムの不安定条件を除去すると共に、画面合成の効率を向上するものである。
【００８１】
この映像信号源入力有無判定部２１の各映像信号源対応部２２−１〜２２−ｎは、例えば、垂直同期信号や水平同期信号或いはカラーバースト信号やクロミナンス信号が一定期間中に出力されているか否かにより判定することができる。又映像信号のレベル検出によって判定する構成とすることも可能である。
【００８２】
又復号化部２５は受信した符号化映像信号を復号化制御部２６の制御に従って復号し、復号化用メモリ２４に復号化映像信号を格納する。又特殊データ格納用メモリ２７は、画面合成制御部９から特殊データを書込む構成を有し、又水平・垂直方向縮小化部２３は、指定されたサイズとなるように、画素又はラインの間引きにより縮小化処理を行うものである。
【００８３】
図１７は本発明の第４の実施の形態の画面合成処理のフローチャートであり、前述の各実施の形態に於ける画面合成処理に対しても、映像入力有無判定を適用できるものである。先ず、初期化処理を行い（Ｇ１）、Ａに１を代入し（Ｇ２）、映像信号セレクタ２にＣA を設定し（Ｇ３）、奇偶フィールド取込変数ＯA を設定し（Ｇ４）、画面合成用メモリのインクリメント値ＶA を設定し（Ｇ５）、水平方向縮小値ＨA を設定し（Ｇ６）、画像転送先アドレスＸＯ，ＹＯにＸＳA ，ＹＳA を代入し（Ｇ７）、ＦＬＡＧに１を代入し（Ｇ８）、割込発生条件ＶＳA を設定し（Ｇ９）、割込マスクを解除する（Ｇ１０）。
【００８４】
そして、ＦＬＡＧ＝０か否かを判定し（Ｇ１１）、ＦＬＡＧ＝０となると、割込みをマスクし（Ｇ１２）、符号化処理若しくは送信処理を行う（Ｇ１３）。そして、Ａ＝ｎか否かを判定し（Ｇ１４）、Ａ≠ｎの場合は、ステップ（Ｇ１７）に移行してＡを１インクリメントし、それによりＡ＞ｎとなる場合はＡに１を代入する。
【００８５】
又Ａ＝ｎの場合は、映像入力有無判定処理を行い（Ｇ１５）、映像入力無しの場合の無効エリア処理を行う（Ｇ１６）。そして、ステップ（Ｇ１７）に移行し、Ａを１インクリメントするか、或いはＡに１を代入して、ステップ（Ｇ３）に移行して前述の処理を繰り返す。
【００８６】
図１８は本発明の実施の形態の映像入力有無判定処理のフローチャートであり、先ず、割込みのマスクを行い（Ｈ１）、映像入力有数保持用変数ＶＩ及び映像入力無数保持用変数ＶＤにそれぞれ０を代入し（Ｈ２）、入力有無判定数チェック用変数Ｄに０を代入する（Ｈ３）。そして、映像信号源ＣN-D の映像入力有無チェックを行い（Ｈ４）、入力有りか否かを判定し（Ｈ５）、入力有りの場合は、ＶＩを１インクリメントし（Ｈ６）、入力無しの場合は、ＣN-D ，ＣN-VDを入替えて、ＶＤを１インクリメントする（Ｈ７）。
【００８７】
そして、Ｄを１インクリメントし（Ｈ８）、Ｄ＝Ｎか否かを判定し（Ｈ９）、Ｄ≠Ｎの場合は、ステップ（Ｈ４）に移行する。又Ｄ＝Ｎの場合は、ｎにＶＩを代入し（Ｈ１０）、初期化処理を行う（Ｈ１１）。即ち、映像入力有数保持用変数ＶＩの値を映像信号源数ｎとして、画面合成処理を行うことができる。
【００８８】
例えば、映像信号源１−１〜１−４の場合、映像入力有無判定前、Ｃ1 ＝１−１、Ｃ2 ＝１−２、Ｃ3 ＝１−３、Ｃ4 ＝１−４、ｎ＝４、Ｎ＝４とすると、映像信号源入力有無判定部２１により、映像信号源１−１，１−３からの映像信号が入力されない場合、Ｃ1 ＝１−４、Ｃ2 ＝１−２、Ｃ3 ＝１−１、Ｃ4 ＝１−３、ｎ＝２、Ｎ＝４となるから、画面合成処理に於いては、映像信号源１−２，１−４からの映像信号を用いた２画面合成を行うことになる。
【００８９】
図１９は本発明の実施の形態の無効エリア用処理のフローチャートであり、前述の映像入力有無判定により入力無しに対応する画面合成メモリ６上のブロックが、合成画面に於ける無効エリアとなる。そこで、この無効エリア内に特殊データを挿入する場合を示すもので、先ず、映像入力有無判定により、ｎが２又は３になったか否かを判定し（Ｊ１）、ｎが２又は３でない場合は処理を終了する。又ｎが２又は３の場合、Ｎ用配列及びそのデータ群を取得する（Ｊ２）。
【００９０】
次に特殊データ格納用メモリ２７（図１６参照）に固定パターンを書込み（Ｊ３）、垂直方向縮小値ＶN ／２を設定し（Ｊ４）、水平方向縮小値ＨN ／２を設定し（Ｊ５）、画面合成先頭アドレスＸＳN ，ＹＳN を設定し（Ｊ６）、特殊データ格納アドレスを設定し（Ｊ７）、ＤＭＡコントローラ１４によるＤＭＡ２データ転送を行う（Ｊ８）。
【００９１】
Ｎ＝４とし、ｎ＝４用の配列からＮ番目（４番目）のデータを取り出す。この場合、
ＸＳN ＝ＸＳ＋Ｘ／２
ＸＥN ＝ＸＳ＋Ｘ
ＹＳN ＝ＹＳ＋Ｙ／２
ＹＥN ＝ＹＳ＋Ｙ
ＨN ＝１／２
ＯN ＝０
ＶＳN ＝ＶSTART
ＶＥN ＝ＶEND
の代入を行う。
【００９２】
ここで、特殊データ格納用メモリ２７の水平・垂直方向の先頭アドレスをそれぞれＸＤ，ＹＤとし、このアドレスＸＤ，ＹＤに対して何らかの固定パターンデータの書込処理を行う。例えば、黒固定、青固定等の色固定データ、メーカロゴ等の固定ビットマップデータ、「画面合成中」，「映像信号源１，４の入力無」等のメッセージ、その他のユーザデータ等を用いることができる。
【００９３】
前述の特殊データ格納用メモリ２７に特殊データを書込んだ後、水平・垂直方向縮小化部２３に、水平方向縮小値ＨN 及び垂直方向縮小値ＶN ／２を設定する。なお、このＶN は、間引き無しの１フレーム取込みの時は２、間引き有りの１フィールド取込みの時は１となるインクリメント値に相当する。そして、ＤＭＡコントローラ１４に、転送先アドレスとして、画面合成用メモリ６の先頭アドレスＸＳN ，ＹＳN を指示し、転送元アドレスとして特殊データ格納用メモリ２７の先頭アドレスＸＤ，ＹＤを指示し、Ｘ×Ｙ分のデータ転送を行わせる。
【００９４】
このＤＭＡコントローラ１４により転送制御されるＸ×Ｙ分のデータは、水平・垂直方向縮小化部２３により、水平及び垂直方向にそれぞれ１／２に間引かれて画面合成用メモリ６のＮ番目（４番目）のブロックに格納される。この無効エリア用処理は、映像信号源のチャネル切替えが一周する度に呼出されるから、アクティブに特殊データ内容を変更して受信側へ送出することが可能となる。
【００９５】
図２０は本発明の他の実施の形態の無効エリア用処理のフローチャートであり、無効エリアに受信復号化したデータを挿入して返送する場合に適用できるもので、ステップ（Ｋ１），（Ｋ２）は、図１９のステップ（Ｊ１），（Ｊ２）と同様であり、ｎ＝２又は３の場合についてステップ（Ｋ２）に移行し、次に復号化フレーム更新管理用変数ＲＣＶの値をチェックする（Ｋ３）。これは、復号化制御部２６により１フレーム復号化される毎に１に変更され、復号化処理結果を画面合成用メモリ６に転送すると０に変更される。即ち、前回、この処理が動作を開始してから復号化用メモリ２４の内容が更新されたか否かを管理する変数である。従って、ＲＣＶ＝０の場合は、前回と同様のデータが復号化用メモリ２４に格納されているので、上書きする必要がないから、処理を終了する。
【００９６】
又ＲＣＶ＝１の場合は、図１９のステップ（Ｊ４）〜（Ｊ６）と同様のステップ（Ｋ４）〜（Ｋ６）により、垂直方向縮小値ＶN ／２、水平方向縮小値ＨN 、画面合成先頭アドレスＸＳN ，ＹＳN を設定し、特殊データ格納アドレスの代わりに、復号化受信データ格納アドレスを設定し（Ｋ７）、ＤＭＡコントローラ１４によりデータ転送を行い（Ｋ８）、このデータ転送完了によりＲＣＶに０を代入する（Ｋ９）。この場合、受信復調したデータが、水平・垂直方向縮小部２３により縮小されて、画面合成用メモリ６の無効エリアのブロックに書込まれ、映像信号源からの映像信号と共に合成されて送信される。
【００９７】
この場合も、映像信号源のチャネル切替えが一周する度に無効エリア用処理が呼出されるから、受信復号化したデータを常に更新して送信することができる。従って、相手側には、送信画像が折返されることになるから、送信画像の確認を行うことができる。又予め他のメモリに格納してある符号化済み録画データを復号化処理できるシステムの場合、生映像と録画再生映像との画面合成を行うことも容易である。この場合、例えば、図４１の（Ｃ）に示すような合成画面を容易に形成することができる。
【００９８】
図２１は本発明の更に他の実施の形態の無効エリア用処理のフローチャートであり、合成画面内の無効エリアを利用して、重要な画像を拡大表示可能に合成する場合を示す。この場合、重要な画像を撮像する映像信号源のチャネル番号をＦ1 として重み付けした場合を説明する。先ず、ｎ＝２か否かを判定し（Ｌ１）、ｎ≠２の場合は、ｎ＝３か否かを判定し（Ｌ４）、Ｌ≠３の場合は、ｎが２又は３でない場合であるから、処理を終了する。
【００９９】
又ｎ＝２の場合、例えば、図２２の（Ａ）に示すように、画面合成用メモリ６のブロックｂ１，ｂ２を用いた画面合成を行う。この場合、ブロックｂ１，ｂ２は、（Ｃ）に示すように、上下Ｙ／４を除くＹ／２の画像取込領域に相当する大きさとなる。又ブロックｂ１，ｂ２を同一の大きさとすることにより、重み付けをしたチャネル番号を考慮する必要はない。
【０１００】
従って、画面合成用メモリ１の拡大合成用配列を取得し（Ｌ２）、画面合成用メモリ２の拡大合成用配列を取得する（Ｌ３）。この場合の拡大合成用配列は、映像信号源等に対応して予め設定しておくものである。この場合、例えば、Ａ＝１，２に関して取得した配列からＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。具体的な設定例として、
ＸＳ1 ＝ＸＳ2 ＝ＸＳ
ＸＥ1 ＝ＸＥ2 ＝ＸＳ＋Ｘ
ＹＳ1 ＝ＹＳ
ＹＳ2 ＝ＹＳ＋Ｙ／２
ＹＥ1 ＝ＸＳ＋Ｙ／２
ＹＥ2 ＝ＹＳ＋Ｙ
Ｈ1 ，Ｈ2 ＝１
Ｖ1 ，Ｖ2 ＝２
Ｏ1 ，Ｏ2 ＝１
ＶＳ1 ，ＶＳ2 ＝ＶSTART ＋１Ｙ／４
ＶＥ1 ，ＶＥ2 ＝ＶSTART ＋３Ｙ／４
となる。
【０１０１】
映像信号は、奇数フィールドと偶数フィールドとを取込み、画面合成用メモリ上では交互に格納する。従って、画面合成用メモリのインクリメントチャネルＶA は２、奇偶フィールド取込み変数ＯA は１となる。
【０１０２】
又ｎ＝３の場合は、例えば、図２２の（Ｂ）に示すような画面合成を行う。この場合、ブロックｂ２に格納する映像信号のチャネルにＦ1 の重み付けを行った場合である。即ち、Ｄに１を代入し（Ｌ５）、ＣD ＝Ｆ1 か否かを判定し（Ｌ６）、ＣD ≠Ｆ1 の場合は、Ｄを１インクリメントし（Ｌ７）、Ｄ＞ｎか否かを判定し（Ｌ８）、Ｄ＞ｎでない場合はステップ（Ｌ６）に移行し、Ｄ＞ｎの場合は、Ｄ＝１〜Ｄ＝ｎの間に重み付けした映像信号チャネルがない場合であるから、処理を終了する。又ＣD ＝Ｆ1 の場合、映像信号源Ｃ2 ，ＣD を入れ替え（Ｌ９）、画面合成用メモリ２の拡大合成用配列を取得する（Ｌ１０）。
【０１０３】
即ち、Ｄ＝１からＤ＝ｎまでＣD とＦ1 とを比較し、ＣD ＝Ｆ1 の場合に、このＣD とブロックｂ２に対応するＣ2 とを入れ替える。それにより、ブロックｂ２（図２２の（Ｂ）のｂ２参照）にチャネルＦ1 を割付けて、映像信号を格納する。そして、ｎ＝２の場合と同様に、画面合成用メモリ２の拡大合成用配列を取得する（Ｌ１０）。そして、Ａ＝２に関して取得した配列からＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。具体的な設定例は、ｎ＝２の場合と同様である。
【０１０４】
ブロックｂ２の映像取込みは、奇数フィールドと偶数フィールドとを共に行い、且つ画面合成用メモリ上では交互に格納する。従って、画面合成用メモリのインクリメントチャネルＶA は２、奇偶フィールド取込み変数ＯA は１となる。又割込信号は、映像信号の（ＹＳ＋Ｙ／４）ラインと、（ＹＳ＋３Ｙ／４）ラインとに於いて発生し、ＤＭＡ転送開始、終了処理を行うことになる。なお、図２２の（Ｂ）のブロックｂ１，ｂ２については、先に説明した各実施の形態に於ける４画面合成の場合と同様であり、例えば、偶数フィールドのみを取込み、画面合成用メモリ上では連続的に格納する。
【０１０５】
図２３及び図２４は本発明の実施の形態のズームアップ処理を含む無効エリア処理のフローチャートであり、合成画面内の無効エリアにズームアップ表示させる為に重み付けしたチャネル番号をＦ2 とする。図１９のステップ（Ｊ１）及び図２０のステップ（Ｋ１）と同様に、ｎ＝２又は３かを判定し（Ｍ１）、ｎが２又は３でない場合は処理を終了する。
【０１０６】
又ｎが２又は３の場合、Ｄに１を代入し（Ｍ２）、ＣD ＝Ｆ2 か否かを判定する（Ｍ３）。ＣD ≠Ｆ2 の場合は、Ｄを１インクリメントし（Ｍ４）、Ｄ＞ｎか否かを判定し（Ｍ５）、Ｄ＞ｎの場合は処理を終了し、Ｄ＞ｎでない場合はステップ（Ｍ３）に移行する。
【０１０７】
ＣD ＝Ｆ2 の場合、映像信号源Ｃ2 ，ＣD の入れ替えを行い（Ｍ６）、画面合成用メモリＮの拡大合成用配列を取得し（Ｍ７）、ＡにＮを代入し（Ｍ８）、映像信号セレクタ２（図１６参照）にＣA を設定し（Ｍ９）、画面合成用メモリのインクリメントチャネルＶA を設定し（Ｍ１０）、水平方向縮小値ＨA を設定し（Ｍ１１）、画像転送先アドレスＸＯ，ＹＯにＸＤ，ＹＤを代入し（Ｍ１２）、ＦＬＡＧに１を代入し（Ｍ１３）、割込発生条件ＶＳA を設定し（Ｍ１４）、割込マスクを解除する（Ｍ１５）。
【０１０８】
そして、ＦＬＡＧ＝０となるか否かを判定し（Ｍ１６）、０となると、割込みをマスクし（Ｍ１７）、垂直方向縮小値ＶA ／２を設定し（Ｍ１８）、水平方向縮小値ＨA を設定し（Ｍ１９）、画面合成先頭アドレスＸＳA ，ＹＳA を設定し（Ｍ２０）、データ転送先アドレスＸＤ＋ＸＺ，ＹＤ＋ＹＺを設定し（Ｍ２１）、ＤＭＡコントローラ１４によるＤＭＡ２転送を行う（Ｍ２２）。
【０１０９】
重み付けしてズームアップ表示を行うことを示すチャネルＦ2 は、例えば、図２２の（Ｄ）に示すように、アドレス（ＸＺ，ＹＺ）からアドレス（ＸＺ＋Ｘ／２，ＹＺ＋Ｙ／２）の領域を画像取込領域とし、等倍で画面合成用メモリに取込むようにＤＭＡ転送する。即ち、他のブロックは間引き処理した映像信号を合成するから、この無効エリアに合成する映像信号については、見かけ上拡大したものとなる。
【０１１０】
又ステップ（Ｍ６）に於けるＣD とＣn との入れ替えの理由は、次の２点がある。先ず（１）．無効エリア用処理が呼出される時、映像信号源のチャネルは画面合成用メモリ内ブロックｎに取込まれるものであり、再取込みを行う際に、チャネルの切替えによる時間的損失を少なくする為である。又（２）．ズームアップしている映像とズームアップしない映像とが隣接している方が、ユーザの観測に好都合である為である。
【０１１１】
又ズームアップ取込み用配列及び設定値群は、適用するシステムに対応して予め設定しておくことができる。そして、Ａ＝Ｎに関して取得した配列から、ＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。その具体例を次に示す。
ＸＳN ＝ＸＳ＋Ｘ／２
ＸＥN ＝ＸＳ＋Ｘ
ＹＳN ＝ＹＳ＋Ｙ／２
ＹＥN ＝ＹＳ＋Ｙ
ＨN ＝１
ＶN ＝２
ＯN ＝１
ＶＳN ＝ＶSTART
ＶＥN ＝ＶEND
【０１１２】
前述のように、奇数フィールドと偶数フィールドとを共に取込み、且つ画面合成用メモリ上には交互に格納する。従って、インクリメント値ＶN は２、奇偶フィールド取込み変数ＯN は１となる。
【０１１３】
前述の処理が完了した後、映像信号源からの映像信号取込み処理を開始する。先ず、Ａ＝Ｎとして、特殊データ格納用メモリ２７（図１６参照）を用いる。又映像信号セレクタ２にＣA を設定する。このＣA の値がＦ2 であると、映像信号源Ｆ2 の映像信号が映像信号セレクタ２によって選択される。又ＤＭＡコントローラ１３に画面合成用イクリメント値ＶN を設定し、水平方向縮小化部４に水平方向縮小値ＨN を設定し、同時に画像転送先アドレスＸＯ，ＹＯに特殊データ格納用メモリ２７内の取込み位置ＸＤ，ＹＤを代入する。即ち、映像信号源からの映像信号を画面合成用メモリ６ではなく、一旦、特殊データ格納用メモリ２７に格納する。
【０１１４】
前述の処理が完了すると、映像取込み完了認識用変数ＦＬＡＧに１を代入し、割込発生条件にＶＳN を設定し、割込マスクを解除する。それにより、割込ハンドラ１１内の処理によって、ｎ＝１の場合と同様の映像信号取込み手段によって、特殊データ格納用メモリ２７に１フレーム分の間引き処理されていないデータが取込まれ、それにより、ＦＬＡＧが０になる。
【０１１５】
割込ハンドラ１１の処理中は、ＦＬＡＧの値を監視し、その値が０になるのを待つことになる。そして、０になると、映像信号源の映像信号を１フレーム分取込み完了したことを意味するから、割込みをマスクし、ＤＭＡコントローラ１４に、転送先アドレスとして、画面合成用メモリ６の先頭アドレスＸＳA ，ＹＳA を指定し、転送元アドレスとして、特殊データ格納用メモリ２７の先頭アドレスＸＤ＋ＸＺ，ＹＤ＋ＹＺを指定し、Ｘ×Ｙ分のデータ転送を行わせる。このＤＭＡコントローラ１４により転送されたＸ×Ｙ分のデータは、水平方向及び垂直方向に間引きなしに、即ち、等倍で、画面合成用メモリ６内のＮ番目のブロックに格納される。前述の処理により、受信再生画像は、例えば、図４１の（Ｄ）の右上のような拡大画像となる。
【０１１６】
図２５は本発明の第５の実施の形態の画面合成処理のフローチャートであり、重み付けしたチャネルの映像信号を優先的に取込んで処理する場合を示す。前述の画面合成処理を要約すると次のようになる。（ａ）総ての映像信号を完全に取込み処理を完了してから符号化処理若しくは送信処理を行う。（ｂ）符号化処理中に取込み可能な映像信号の取込み処理を行う。（ｃ）１映像信号源からの映像信号の取込み完了毎に符号化処理若しくは送信処理を行う。従って、受信再生画像は、ブロック単位で更新された合成画面となる。
【０１１７】
例えば、１秒間に３０フレームを符号化して送信するシステムに於いては、４画面合成を行った時、１ブロック当たりのフレームレートは、約３〜７．５となる。このようなシステムに於いて、或る映像信号源による画像について、その動きが良く判るようにすることが要望されることがある。そこで、この実施の形態は、このような映像信号源について重み付けを行い、その映像信号源からの映像信号を重点的に取込むようにして、フレームレートを大きくし、動きが良く判る受信再生画像が得られるようにするものである。
【０１１８】
前述の重み付けを行ったチャネル番号をＦ3 として説明する。先ず、初期化処理を行い（Ｎ１）、変数Ａ，Ｂに１を代入し（Ｎ２）、Ｄに１を代入し（Ｎ３）、ＣD ＝Ｆ3 か否かを判定し（Ｎ４）、ＣD ≠Ｆ3 の場合は、Ｄを１インクリメントし（Ｎ５）、Ｄ＞ｎか否かを判定し（Ｎ６）、Ｄ＞ｎでない場合はステップ（Ｎ４）に移行し、Ｄ＞ｎの場合は次のステップ（Ｎ８）に移行する。
【０１１９】
又ＣD ＝Ｆ3 の場合は、映像信号源Ｃ1 とＣD との入れ替えを行う（Ｎ７）。即ち、Ｄ＝１からＤ＝ｎまでＣD とＦ3 との比較を行い、ＣD とＦ3 とが同一の場合、その時のＣD とＣ1 とを入れ替える。この入れ替えにより、Ｆ3 と同一のチャネルの映像信号を、チャネル番号１に対応する合成画面のブロック１に格納し、チャネル番号Ｆ3 に対応する合成画面のブロックにチャネル番号１の映像信号を格納する。
【０１２０】
次に、前述の各実施の形態に於ける設定処理と同様に、ＣA の設定（Ｎ８）、ＶA の設定（Ｎ９）、ＨA の設定（Ｎ１０）、ＸＳA ，ＹＳA の代入（Ｎ１１）、ＦＬＡＧに１代入（Ｎ１２）、ＶＳA 設定（Ｎ１３）、割込マスク解除（Ｎ１４）を行い、ＦＬＡＧ＝０か否かを監視し（Ｎ１５）、０となると、割込みをマスクし（Ｎ１６）、符号化処理若しくは送信処理を行う（Ｎ１７）。
【０１２１】
そして、Ａ＝１か否かを判定し（Ｎ１８）、Ａ≠１の場合はＡに１を代入して（Ｎ２０）、ステップ（Ｎ８）に移行する。又Ａ＝１の場合は、Ｂを１インクリメントし、Ｂ＞ｎの場合はＢに２を代入する。又Ｂの値をＡに代入する（Ｎ１９）。例えば、チャネルＣ1 （＝Ｆ3 ）の映像信号の取込みを行い、Ａ＝１か否かを判定すると（Ｎ１８）、最初はＡ＝１，Ｂ＝１であるから、ステップ（Ｎ１９）に移行して、Ｂを１インクリメントし、そのＢをＡに代入するから、Ａ＝Ｂ＝２となる。そして、再度変数の設定を行い、チャネルＣ2 の映像信号の取込みを行い、再度Ａ＝１か否かを判定する（Ｎ１８）。この場合はＡ≠１であるから、ステップ（Ｎ２０）に於いてＡに１を代入する。そして、Ａ＝１対応の変数を設定した後、チャネルＣ1 （＝Ｆ3 ）の映像信号の取込みを行うことになる。
【０１２２】
従って、４画面合成の場合、Ｃ1 →Ｃ2 →Ｃ1 →Ｃ3 →Ｃ1 →Ｃ4 →Ｃ1 ・・・のように、２回に１回は重み付けしたチャネルＣ1 （＝Ｆ3 ）の映像信号を取込み、画面合成を行うことができるから、このチャネルＣ1 のフレームレートを高くすることができる。例えば、前述の例に対応させると、フレームレートは、１秒間に７〜１５フレームとすることができる。
【０１２３】
前述のように、画面合成と符号化処理とが直接的に関連を持っているから、例えば、合成画面のブロック毎に量子化ステップを設定して、重要なブロックの解像度を高くすることができる。又ブロック毎に動きベクトルの探索範囲を設定して、再生画像の画質を向上することができる。
【０１２４】
図２６はＣＩＦの説明図であり、Ｈ．２６１符号化に於いては、画像データをＣＩＦ（Ｃommon Ｉntermediate Ｆormat ）又はＱＣＩＦ（Ｑuarter Ｃommon Ｉntermediate Ｆormat ）によるサイズとして取扱うものであり、ＣＩＦの場合は、図示のように、３５２×２８８（画素）を１フレームとしている。このＣＩＦフレームは、１２個のブロックＧＯＢからなり、各ブロックＧＯＢは、下方に拡大して示すように３３個のマクロブロックからなる。又各マクロブロックは、４個の輝度ブロックＹと、２個の色差ブロックＵ，Ｖとにより構成されており、輝度ブロックＹは４ブロックから構成されている。このＣＩＦフレームの符号化は、基本的にはマクロブロック単位で行われるものである。
【０１２５】
図２７は符号化部の説明図であり、図１及び図１６に於ける符号化部８を、ハイブリッド符号化構成とした場合を示すものであり、各図と同一符号は同一部分を示し、３１は画面合成部、３２は差分処理部、３３，３４はセレクタ、３５は離散コサイン変換部（ＤＣＴ）、３６は量子化部、３７は送信バッファ、３８は逆量子化部、３９は逆離散コサイン変換部（ＩＤＣＴ）、４０は加算処理部、４１は動き補償部、４２はループ内フィルタ、５１は送受信処理部、５２は受信バッファ、５３は逆量子化部、５４は逆離散コサイン変換部（ＩＤＣＴ）、５５は加算処理部、５６はループ内フィルタ、５７は動き補償部、５８はセレクタである。
【０１２６】
画面合成部３１は、図１又は図１６に於ける画面合成用メモリ６等を含み、複数の映像信号源１−１〜１−ｎからの映像信号を合成する機能部分を示し、画面合成された映像信号を符号化用メモリ７に転送し、この符号化用メモリ７に格納された合成１画面分について、例えば、８×８画素のブロック単位に符号化処理を行うものである。
【０１２７】
この符号化処理に於いて、セレクタ３３，３４を図示の状態とすることにより、フレーム間予測符号化を行うことになり、その場合のブロックはインターブロックと称されるものである。又セレクタ３３，３４を図示状態から切替えると、フレーム内符号化を行うことになり、その場合のブロックはイントラブロックと称されるものである。
【０１２８】
又セレクタ３３を介して離散コサイン変換部３５に入力された８×８画素のブロックに離散コサイン変換処理を施し、それによるＤＣＴ係数を量子化部３６に入力する。この場合、映像信号の性質により、ＤＣＴ係数は直流成分を含む低周波成分が大半を占めることになるから、高周波成分を切り捨てることが可能となる。従って、この離散コサイン変換処理によっても情報量を圧縮することができる。更に、量子化部３６に於いてＤＣＴ係数を量子化し、送信バッファ３７に転送する。この場合、量子化部３６に於ける量子化値（量子化ステップ）を小さくすると、発生情報量が多くなるが、受信再生画像の画質は良好となる。反対に、量子化値を大きくすると、発生情報量は少なくなるが、受信再生画像の画質は劣化する。
【０１２９】
又送受信処理部５１は、送信バッファ３７に蓄積されたデータをネットワーク等の伝送帯域に従った一定の速度で送信処理を行うものである。又符号化制御部１０は、送信バッファ３７の蓄積量を監視し、オーバーフロー又はアンダーフローが生じないように、量子化部３６の量子化値（量子化ステップ）を制御するものである。
【０１３０】
又逆量子化部３８，逆離散コサイン変換部３９，加算処理部４０，動き補償部４１，ループ内フィルタ４２等を含む構成により、符号化フレームを再生し、差分処理部３２に於けるフレーム間差分を求める。又動き補償部４１は、或る大きさのブロックが、前回のフレームと今回のフレームとに於いて差分が最小となる位置を求め、その移動先を動きベクトルとし、フレーム間差分が小さくなるように処理するものである。又ループ内フィルタ４２は、量子化によって発生した歪みが蓄積されて、フレーム間予測効率の低下を少なくするもので、ブロック単位の空間的なローパスフィルタである。
【０１３１】
又送受信処理部５１を介して受信したデータは、受信バッファ５２を介して逆量子化部５３に入力されて逆量子化され、逆離散コサイン変換部５４により逆離散コサイン変換され、加算処理部５５とループ内フィルタ５６と動き補償部５７とセレクタ５８とにより、フレーム内復号化又はフレーム間復号化を行って、復号化用メモリ２４に格納する。
【０１３２】
前述の量子化部３６に於いて、Ｈ．２６１符号化の場合、１マクロブロック当たり一つの量子化値を割当てることができる。この量子化値は１〜３１の値とすることができるものである。前述のように、この量子化値が小さいと、発生情報量が多くなり、反対に量子化値が大きいと、発生情報量は少なくなる。即ち、全体的に量子化値が小さければ、画質が良好で動きの滑らかな画像を送信することができ、又量子化値が大きければ、画質が粗く動きが飛び飛びの状態の画像を送信することができる。
【０１３３】
一連の符号化処理を終えたデータは送信バッファ３７に蓄積され、送受信処理部５１によってネットワークの伝送帯域に対応した一定速度で送信され、蓄積される速度は符号化処理による発生情報量に従ったものとなる。そこで、送信バッファ３７のオーバーフローを防止する為に、蓄積量が増加して所定値を超えると、量子化値を大きくし、反対に、送信バッファ３７のアンダーフローを防止する為に、蓄積量が所定値以下に減少すると、量子化値を小さくするように、符号化制御部１０により量子化部３６を制御する。
【０１３４】
今、使用可能な量子化値のうちの一番小さい量子化値をＱｍｉｎ、一番大きい量子化値をＱｍａｘ、実際に選択されている量子化値をＱとする。例えば、Ｑｍｉｎ＝３，Ｑｍａｘ＝１２とし、送信バッファ２７の容量が１ｋバイトであるとすると、送信バッファ２７の占有量と量子化値との関係を次のように制御することができる。
占有量が９００バイト以上の時、Ｑ＝１２
占有量が８００バイト以上９００バイト未満の時、Ｑ＝１１
占有量が７００バイト以上８００バイト未満の時、Ｑ＝１０
占有量が６００バイト以上７００バイト未満の時、Ｑ＝９
占有量が５００バイト以上６００バイト未満の時、Ｑ＝８
占有量が４００バイト以上５００バイト未満の時、Ｑ＝７
占有量が３００バイト以上４００バイト未満の時、Ｑ＝６
占有量が２００バイト以上３００バイト未満の時、Ｑ＝５
占有量が１００バイト以上２００バイト未満の時、Ｑ＝４
占有量が１００バイト未満の時、Ｑ＝３
【０１３５】
この量子化部３６に於ける量子化値を、重み付けしたチャネルに対しては、他のチャネルと異なる制御を行って、重み付けしたチャネルの受信再生画像の画質を良好なものとすることができる。
【０１３６】
図２８は本発明の実施の形態の量子化値決定処理のフローチャートであり、重み付けしたチャネル番号をＦ4 とする。先ずＤに１を代入し（Ｐ１）、次にＣD ＝Ｆ4 か否かを判定し（Ｐ２）、ＣD ≠Ｆ4 の場合は、Ｄを１インクリメントし（Ｐ５）、Ｄ＞ｎか否かを判定し（Ｐ６）、Ｄ＞ｎでない場合はステップ（Ｐ２）に移行し、Ｄ＞ｎの場合は、最小量子化値Ｑｍｉｎと最大量子化値Ｑｍａｘとを使用可能量子化範囲として設定する（Ｐ９）。
【０１３７】
又ＣD ＝Ｆ4 の場合、画面合成用メモリ内のＤエリア情報を獲得し（Ｐ３）、Ｄエリア内か否かを判定し（Ｐ４）、Ｄエリア内の符号化を行っている場合、αだけ小さい値の最小量子化値Ｑｍｉｎ−αと最大量子化値Ｑｍａｘ−αとを使用可能量子化範囲とて設定する（Ｐ７）。又Ｄエリア以外は、全体の発生情報量を一定に保つ為に、βだけ大きい値の最小量子化値Ｑｍｉｎ＋βと最大量子化値Ｑｍａｘ＋βとを使用可能量子化範囲として設定する（Ｐ８）。この場合のα及びβは、１〜５程度とすることができる。そして、送信バッファ３７の占有量に応じて、使用可能量子化範囲内で量子化値を決定し（Ｐ１０）、量子化を行う（Ｐ１１）。
【０１３８】
例えば、最小量子化値Ｑｍｉｎを３、最大量子化値Ｑｍａｘを１２とし、α及びβを２とすると、重み付けしたチャネルの映像信号に対しての最小量子化値Ｑｍｉｎは１、最大量子化値Ｑｍａｘは１０となり、他のチャネルの映像信号に対しての最小量子化値Ｑｍｉｎは５、最大量子化値Ｑｍａｘは１５となり、合成画面全体としての発生情報量は、優先的量子化値制御を行わない場合とほぼ同一となる。
【０１３９】
なお、４画面合成の場合は、図２６のＣＩＦのブロック１〜１２をＧＯＢ１〜ＧＯＢ１２とすると、Ｄ＝１の時に、ＧＯＢ１，ＧＯＢ３，ＧＯＢ５を使用可能量子化範囲をステップ（Ｐ７）により量子化値を小さくするエリアとし、同様に、Ｄ＝２の時、ＧＯＢ７，ＧＯＢ９，ＧＯＢ１１を量子化値を小さくするエリアとする。又Ｄ＝３の時は、ＧＯＢ２，ＧＯＧ４，ＧＯＢ６、Ｄ＝４の時は、ＧＯＢ８，ＧＯＢ１０，ＧＯＢ１２をそれぞれ量子化値を小さくするエリアとする。従って、全体の情報発生量をほぼ一定として、重み付けしたチャネルの映像信号のみを量子化値を小さくして良好な画質の画像として送信することができる。
【０１４０】
前述の実施の形態は、重み付けしたチャネルの優先的量子化値制御についてのものであるが、フレーム間の予測符号化を行うか否かについても同様に制御することができる。即ち、フレーム内符号化は、符号化による歪みは小さいが、発生情報量が多くなる。又フレーム間予測符号化は、前フレーム内のエリアとの差分を用いて符号化を行うもので、符号化による歪みが大きくなるが、発生情報量は少なくなる。
【０１４１】
そこで、優先的量子化値制御に於ける重み付けしたチャネル番号Ｆ4 と同様な重み付けを行ったチャネルの映像信号に対しては、フレーム内符号化処理を行い、他のチャネルの映像信号に対しては、フレーム間予測符号化処理を行うように切替えることができる。即ち、前述の優先的量子化値制御の場合と同様に、画面合成用メモリ内のＤエリア情報を取得し、Ｄエリア（重み付けしたチャネル対応のブロック）であれば、フレーム内符号化処理を行い、それ以外のブロックに対しては、フレーム間予測符号化処理を行うように切替える。このような処理によって、重要な画面の精細度を保持する優先的予測符号化制御を行うことができる。
【０１４２】
又動き補償についても、その探索範囲について、重み付けしたチャネルの映像に対して広くするように制御することができる。例えば、Ｈ．２６１の動き補償は、マクロブロック単位で輝度信号に対してのみ行うもので、探索範囲が広い場合、現ブロックに近い値のブロックが見つかる可能性が高くなる為、符号化による歪みが小さくなるが、探索時間が長くなり、符号化処理全体の時間が長くなる。反対に、探索範囲が狭い場合、現ブロックに近い値のブロックが見つかる可能性が低くなる為、符号化による歪みが大きくなるが、探索時間が短く、符号化処理全体の時間が長くなることはない。
【０１４３】
そこで、画面合成用メモリ内のＤエリア情報を取得し、Ｄエリア内（重み付けしたチャネル対応のブロック）であれば、±αの範囲を探索範囲とし、それ以外のブロックに対しては、±βの範囲を探索範囲とする優先的動き補償探索範囲制御を行うことができる。その場合のαは例えば１５、βは７若しくは０（探索を行わない）とすることができる。それによって、重み付けしたチャネルの映像信号に対してのみ符号化歪みの小さい画像として伝送することができる。
【０１４４】
又ループ内フィルタ４２（図２７参照）は、量子化によって発生した歪みを、動き補償用メモリ（動き補償部４１内）に蓄積された量子化誤差を低減させる為のローパス・フィルタである。従って、ループ内フィルタ４２によりシャープな画像もぼけたものとなる。そこで、量子化値が小さく、量子化誤差が少ない場合に、ループ内フィルタ４２を切り離し、量子化値が大きく、量子化誤差が多い場合に、ループ内フィルタ４２を接続するように制御する優先的ループ内フィルタ制御を行うことができる。即ち、前述の優先的量子化値制御と連動してループ内フィルタ４２の切替制御を行うことができる。
【０１４５】
又前述の予測符号化決定制御に於いて、画面合成用メモリ内のＤエリア情報を取得し、Ｄエリア内（重み付けしたチャネル対応のブロック）であれば、フレーム内符号化を行い、符号化による歪みが小さくなることから、ループ内フィルタ４２を切り離し、又Ｄエリア以外のブロックに対しては、フレーム間予測符号化を行い、符号化による歪みが大きくなることから、ループ内フィルタ４２を接続するように、切替制御を行うことができる。
【０１４６】
図２９は映像信号情報取得部の説明図であり、映像信号源１−１〜１−ｎからの映像信号は、映像信号セレクタ２を介して、図１又は図１６に示す入力信号Ｖ・Ｈ監視部３に入力される。又各映像信号源１−１〜１−ｎからの拡張データを情報取得部６１により収集して、画面合成制御部９に転送する。
【０１４７】
拡張データは、解像度情報やフレームレート情報等を含むものである。映像信号源１−１〜１−ｎは、この拡張データの伝送機能を有するディジタルカメラや、ＭＰＥＧ１，Ｈ．２６１，ＪＰＥＧ等の復号化部を含む構成を有するものである。解像度情報としては、ディジタルカメラの場合、その有効エリア領域、ＭＰＥＧ復号化部の場合、符号化フレームの解像度（７０４×４８０等）、Ｈ．２６１復号化部の場合、ＣＩＦ（３５２×２８８）又はＱＣＩＦ（１７６×１４４）、ＪＰＥＧ復号化部の場合、その解像度等とすることができる。又フレームレート情報は、ディジタルカメラの場合、２９．９７Ｈｚ、復号化部の場合、デコードフレームレートとすることができる。
【０１４８】
情報取得部６１或いは画面合成制御部９は、映像信号源１−１〜１−ｎからの拡張データを基に重み付けするチャネルを決定し、前述の各実施の形態に従った画面合成処理を行うことができる。例えば、画面合成を行う為の映像信号源からのフレームレート情報を基に、最も大きいフレームレートのチャネルに重み付けし、そのチャネルの映像信号を優先的に取込むように制御することができる。又解像度情報を基に、最も解像度を高いチャネルに重み付けし、そのチャネルの映像信号をズームアップする画面合成処理を行うことができる。
【０１４９】
又重み付けとして、符号化部８に於ける情報を用いて行うことができる。例えば、ハイブリッド符号化部を有するシステムの場合、動き補償を利用することができる。即ち、動き補償により発生した動きベクトル（符号化ブロックと参照ブロックとのアドレス差）が大きければ、そのエリアは前フレームとの差分が大きいことを意味し、その映像信号源から動きの大きい映像信号を取込んだことになる。このように動きの大きい場合は、何らかのイベントが発生したものと推定することができる。そこで、この映像信号源に重み付けし、優先的取込みやズームアップ処理を行うことができる。
【０１５０】
或る時間の符号化フレームｔからｓフレーム分の動き量をサンプリングする場合、符号化フレームｔに於ける水平方向ｘ、垂直方向ｙの動きベクトルのスカラー量をｕt,x,y とすると、画面合成用メモリ内のＡブロックの動きベクトルの総和ＵA は、
ＵA ＝ΣT=t t+s Σx=xj xhΣy=yj yh ｕT,x,y
と表すことができる。ここで、４画面合成の場合、
ｘｊ＝０，ｙｊ＝０，ｘｈ＝１７６，ｙｈ＝１４４（ブロック１）
ｘｊ＝０，ｙｊ＝１４４，ｘｈ＝１７６，ｙｈ＝２８８（ブロック２）
ｘｊ＝１７６，ｙｊ＝０，ｘｈ＝３５２，ｙｈ＝１４４（ブロック３）
ｘｊ＝１７６，ｙｊ＝１４４，ｘｈ＝３５２，ｙｈ＝２８８（ブロック４）
となる。
【０１５１】
このようにして得られた画面合成用メモリ内のＡブロックの動きベクトルの総和ＵA を、Ａ＝１からＡ＝ｎまで比較し、最も総和ＵA が大きくなるＡの映像信号源チャネルＣA を重み付けするチャネルとする。又拡大，ズームアップの切り出し部分は、最も動きベクトルが大きかったブロックが中央に来るように指定する。この動きベクトルが最も大きくなるブロックを求める演算は、ｓフレーム毎に行い、常にどのチャネルの映像信号が最も動き量が大きいかを監視し、変更があれば、その都度入れ替えることができる。
【０１５２】
又前述の映像信号の取込み直後に於いて各種の制御を行うことができる。例えば、ネットワークに対しては一定速度でデータを送出することになり、従って、符号化処理を最適化することが有効となる。例えば、６４ｋｂｐｓの回線に対して、１秒間に１０フレームを送信したい場合、１フレーム当たりのデータ量は、８００バイトとなり、１マクロブロック当たりのデータ量は２バイトとなる。即ち、符号化処理により、２バイトとなるような量子化値を設定することが望ましいことになる。
【０１５３】
しかし、４画面合成を行い、１ブロックの映像信号の取込み毎に全体の符号化を行うと、新規映像信号取込みのブロックに対しては通常の差分データが発生するが、それ以外のブロックに対しては映像信号が更新されていないから、差分データは発生しない。即ち、差分データが発生しない場合、１マクロブロック当たりのデータ量は０バイトとなる。そこで、映像信号が更新されたブロックに対しては、１マクロブロック当たり８バイトを割当てることが可能となる。
【０１５４】
このような点を利用して、映像信号取込み直後の量子化値制御を行うことができる。例えば、図７の画面合成処理に於ける変数Ａは、量子化を行う際の画面合成用メモリ６内のＡブロックのみが映像信号を新規に取込むことを示し、このＡのブロックのみ差分量が存在し、それ以外の差分量は零となる。そこで、Ａのブロックの符号化を行う際に、量子化後のデータ量を通常の４倍に許容できる量子化値を割当てる。このような量子化値制御により、全体としての発生情報量をほぼ一定に維持して画面合成符号化を行うことができる。
【０１５５】
又シーンチェンジ等のフレーム間の相関が低い場合、フレーム内符号化が選択され、静止画のようなフレーム間の相関が高い場合、フレーム間予測符号化が選択される。前述のように、新規に映像信号を取込んだ場合は、前フレームとの間の相関は低いが、それ以外の映像信号については、前フレームとの相関が高いことになる。
【０１５６】
そこで、前述の量子化値制御の場合と同様に、画面合成用メモリ６のＡブロックのみが映像信号を新規に取込んでいるから、このＡのブロックはフレーム内符号化を行い、それ以外のブロックはフレーム間予測符号化を行うことができる。それにより、新規に取込んだフレームのみ、フレーム内符号化によって良好な画質として伝送する映像信号取込み直後の優先的予測符号化制御を行うことができる。
【０１５７】
又動き補償は、前述のように、前フレーム内で、現在符号化しているブロックと最も近い値を探索するものであり、画面合成に於ける新規に取込んだ映像信号に関しては、前フレームとは移動したブロックが存在する可能性が高いが、他のブロックは前フレームと同一で動きがないものである。そこで、前述の画面合成用メモリ６のＡブロックについてのみ動き補償処理を行い、その他のブロックは動き補償処理を省略する映像信号取込み直後の優先的動き補償探索範囲制御を行うことができ、符号化処理時間を短縮することができる。
【０１５８】
又映像信号取込み直後の優先的ループ内フィルタの切替制御を行うことができる。例えば、新規に取込んだ映像信号に関しては、フレーム間差分が大きく、量子化誤差が大きい可能性が高いが、それ以外の映像信号に関してはフレーム間差分が小さく、量子化誤差も小さくなるから、前述の画面合成用メモリ６のＡブロックの符号化に於いては、ループ内フィルタ４２（図２７参照）を接続し、それ以外のブロックの符号化時には、ループ内フィルタ４２を切り離すように切替制御することができる。
【０１５９】
図３０は動き補償及び画面合成配置の説明図であり、動き補償は、前述のように、Ｈ．２６１ではマクロブロック単位で輝度信号について行うものである。或るフレームｔの動き補償を行う際には、前に符号化したフレームｔ−１を用いるもので、（Ａ）はフレームｔの先頭アドレス（ｘ，ｙ）と最終アドレス（ｘ＋１６，ｙ＋１６）とのマクロブロックを示し、（Ｂ）はアドレス（ＸＬ，ＹＬ），（ＸＨ，ＹＨ）の探索範囲を示す。
【０１６０】
フレームｔのマクロブロックのアドレスを前述のように（ｘ，ｙ）、画素の輝度をｋt,x,y とし、フレームｔ−１の参照用マクロブロックのアドレスを（ｘ’，ｙ’）として、フレームｔのアドレス（ｘ，ｙ）とフレームｔ−１のアドレス（ｘ’，ｙ’）とに於ける輝度値の絶対差分の和Ｋx',y' は、ｉ＝０〜１５，ｊ＝０〜１５として、
Ｋx',y' ＝Σ｜ｋt,x+i,y+i −ｋt-1,x'+i,y'+i ｜
で表される。動き補償は１６×１６（マクロブロックの輝度データ４個分）のエリアに対して行うことから、（ｉ，ｊ）について０〜１５としている。
【０１６１】
又参照用マクロブロックのアドレス（ｘ’，ｙ’）は、システム対応に選択することが可能であり、全範囲若しくはアドレス（ｘ，ｙ）に対して±Ｚの範囲とすることができる。この場合、アドレス（ｘ’，ｙ’）は、
（ＸＬ，ＹＬ）≦（ｘ’，ｙ’）≦（ＸＨ，ＹＨ）
ＸＬ＝０，ＹＬ＝０，ＸＨ＝３５２−１６，ＹＨ＝２８８−１６（全範囲探索
時）
ＸＬ＝ｘ−Ｚ，ＹＬ＝ｙ−Ｚ，ＸＨ＝ｘ＋Ｚ，ＹＨ＝ｙ＋Ｚ（部分探索時）
の関係となる。なお、Ｚは７若しくは１５とすることができる。
【０１６２】
前述の（ｘ’，ｙ’）に於いて演算した輝度値の絶対差分の和Ｋx',y' の中で、最小の値となる時の（ｘ’，ｙ’）を、参照すべき前フレームのデータのアドレスとする。従って、その時の動きベクトルは、（ｘ’−ｘ，ｙ’−ｙ）となる。
【０１６３】
又それぞれ別個の映像信号源から入力された映像信号を合成する場合、互いに独立したものであり、動き補償を行う場合、最も小さいＫx',y' が選択されるのは、画面合成メモリ上の同一ブロック内にあることが予測される。従って、他のブロックにまたがった動き補償を行うことは無意味である。そこで、前述の参照用マクロブロックのアドレス（ｘ’，ｙ’）を、同一ブロック内に限定することにより、効率的な符号化が可能となる。
【０１６４】
例えば、４画面合成時の各ブロックの先頭アドレスを（ｘｌ，ｙｌ）、最終アドレスを（ｘｈ，ｙｈ）とすると、図３０の（Ｂ）を参照して、
（ＸＬ，ＹＬ）≦（ｘ’，ｙ’）≦（ＸＨ，ＹＨ）
ＸＬ＝ｘｌ，ＹＬ＝ｙｌ，ＸＨ＝ｘｈ−１６，ＹＨ＝ｙｈ−１６
（全範囲探索時）
ＸＬ＝ｍａｘ（ｘ−Ｚ，ｘｌ），ＹＬ＝ｍａｘ（ｙ−Ｚ，ｙｌ）
ＸＨ＝ｍｉｎ（ｘ＋Ｚ，ｘｈ），ＹＨ＝ｍｉｎ（ｙ＋ｚ，ｙｈ）
（部分探索時）
ｘｌ＝０，ｙｌ＝０，ｘｈ＝１７６，ｙｈ＝１４４（ブロック１）
ｘｌ＝０，ｙｌ＝１４４，ｘｈ＝１７６，ｙｈ＝２８８（ブロック２）
ｘｌ＝１７６，ｙｌ＝０，ｘｈ＝３５２，ｙｈ＝１４４（ブロック３）
ｘｌ＝１７６，ｙｌ＝１４４，ｘｈ＝３５２，ｙｈ＝２８８（ブロック４）
のエリアに対してのみ動き補償処理を行う。このように、画面合成中に動き補償の探索範囲を限定し、符号化効率を向上させることができる。
【０１６５】
又前述の各実施の形態は、主に４画面合成の場合を示すが、画面合成数を更に多くすることも可能である。例えば、図３０の（Ｃ）は９画面合成の場合を示し、又同図の（Ｄ）は１６画面合成の場合を示す。一般的には、合成１画面を等分割して、それぞれの映像信号源に割付けることになる。
【０１６６】
又画面合成数をＮ、画面分割数をｎとし、この画面分割数ｎを画面合成用メモリ６のブロック数とすると、Ｎ＝ｎの場合は、前述のように、均等に分割して、Ｎチャネル分の映像信号を取込んで合成することができる。又Ｎ＞ｎの場合は、一度に取込みを行う映像信号はｎチャネル分であり、一定時間毎に取込みを行うチャネル番号を切替える。
【０１６７】
例えば、Ｎ＝６，ｎ＝４とし、一定時間を１０秒として画面合成を行う場合、それらを初期値とし、且つＣ1 〜Ｃ6 までの映像信号源チャネル番号を取得する。これはシステム対応に予め指定することができる。この場合、画面分割数ｎが４であるから、Ｃ1 〜Ｃ4 のチャネルの映像信号を順番に取込み、前述の各実施の形態に従って画面合成を行う。その後、一定時間（１０秒）経過すると、ＣA の値をＣA+1 に代入し、Ｃ1 にあった値をＣN に代入する。即ち、（Ｃ1 ＝１，Ｃ2 ＝２，Ｃ3 ＝３，Ｃ4 ＝４，Ｃ5 ＝５，Ｃ6 ＝６）→（Ｃ1 ＝２，Ｃ2 ＝３，Ｃ3 ＝４，Ｃ4 ＝５，Ｃ5 ＝６，Ｃ6 ＝１）のように変更される。
【０１６８】
又次の１０秒後に、（Ｃ1 ＝２，Ｃ2 ＝３，Ｃ3 ＝４，Ｃ4 ＝５，Ｃ5 ＝６，Ｃ6 ＝１）→（Ｃ1 ＝３，Ｃ2 ＝４，Ｃ3 ＝５，Ｃ4 ＝６，Ｃ5 ＝１，Ｃ6 ＝２）のように変更される。従って、画面合成用メモリ上の例えば左上のブロックには、最初チャネルＣ1 の映像信号が合成され、次にチャネルＣ2 の映像信号が合成され、次にチャネルＣ3 の映像信号が合成され、４画面合成の各ブロック位置は、順次ローテーションに従って切替えられる。即ち、映像信号源数が多く、画面分割数を少なくした場合に於いても、総ての映像信号源からの映像信号を順次合成して送信することができる。従って、受信再生表示することにより、映像信号源からの総ての映像信号による合成画像を観察することができる。
【０１６９】
前述の各実施の形態に於いて、画面合成部と符号化部とが密結合の構成であるから、遠隔制御も容易となる。例えば、Ｈ．３２０のデータパスについて、ユーザデータ用に、ＬＳＤ（Ｌow Ｓpeed Ｄata ），ＭＬＰ（Ｍulti Ｌayer Ｐrotocol ），ＨＳＤ（Ｈigh Ｓpeed Ｄata ），Ｎｏ−Ｓtandard ＢＡＳメッセージ等が規定されており、これらを利用して遠隔制御を行うことができる。
【０１７０】
図３１は本発明の実施の形態の遠隔制御の概要説明図であり、７１−１〜７１−ｎ，８１−１〜８１−ｎはテレビカメラ、７２，８２は蓄積映像再生部、７３，８３はＴＶモニタ、７４，８４はキーボード，赤外線キーパット，マウス，テンキー等の入力デバイス、７５，８５はビデオ信号圧縮伝送装置（ＣＯＤＥＣ）、７６，８６はＦａｒＳｉｔｅ用画面合成情報格納メモリ、７７，８７はＮｅａｒＳｉｔｅ用画面合成情報格納メモリである。
【０１７１】
ビデオ信号圧縮伝送装置７５，８５は、相互間で命令（コマンド），応答（レスポンス），通知（インディケーション）をそれぞれ行い、又テレビカメラ７１−１〜７１−ｎ，８１−１〜８１−ｎからの映像信号を前述の実施の形態に対応して合成して符号化する機能を備えている。又画面合成情報の管理は、それぞれのＦａｒＳｉｔｅ用画面合成情報格納メモリ７６，８６と、ＮｅａｒＳｉｔｅ用画面合成情報格納メモリ７７，８７とにより行い、一方の変更内容を他方に通知するものである。
【０１７２】
画面合成についての遠隔制御を行う為に、各種のガイダンスを用意することができる。例えば、（１）．入力デバイス７４，８４からのガイダンス表示指示に従って、遠隔メニュー設定／解除コマンドを被監視側に送信した時の被監視側からのガイダンスの例について説明する。
（ａ）．如何なる場合でも有効となる映像信号源数Ｎについて総て画面合成させ、予め登録しておいた被監視画像としての火山，河川，工場，電線等の文字データ及びシリアル番号を重ね合わせ表示する状態とし、表示されたシリアル番号の中の１個或いは複数個を入力デバイスによって指示し、遠隔制御による画面合成を行う（ガイダンス例ａ）。
（ｂ）．遠隔制御メニューを作成し、メニュー画面のみ符号化して伝送し、表示されたメニューに従って、（ａ）の場合と同様に入力デバイスにより指示する（ガイダンス例ｂ）。
（ｃ）．如何なる場合でも有効となる映像信号源数Ｎについて総て画面合成させ、遠隔制御メニューを作成し、オーバレイ後に符号化して伝送し、表示されたメニューに従って、前述のように入力デバイスにより指示する（ガイダンス例ｃ）。
【０１７３】
又（２）．入力デバイスからのガイダンス表示指示に従って、監視側で付加するガイダンス例について説明する。
（ｄ）．遠隔制御メニューを作成し、メニュー画面のみを符号化して伝送し、表示されたメニューに付加されているシリアル数字を、入力デバイスにより指示する（ガイダンス例ｄ）。
【０１７４】
図３２は遠隔操作用ガイダンスの説明図であり、（Ａ）は前述のガイダンス例ｂに相当した表示内容を示し、（Ｂ）は前述のガイダンス例ａに相当した表示内容を示す。又（Ｃ）は前述のガイダンス例ｃに相当した表示内容を示し、（Ａ），（Ｂ）の表示内容を合成したものとなる。このような（Ａ）又は（Ｂ）又は（Ｃ）の表示内容は、それぞれＴＶモニタ７３，８３に表示することができるものである。なお、ガイダンス内容のみ、ＴＶモニタ７３，８３とは別個の液晶表示部等に表示させる構成とすることも可能である。
【０１７５】
図３３は遠隔制御により画面切替えの説明図であり、ガイダンス例ｃに相当する表示画面９１により、ＮｅａｒＳｉｔｅからシリアル番号の「４」を指示して単一映像信号源選択を入力すると、このコマンドがＦａｒＳｉｔｅに送出され、それに対するレスポンスがＦａｒＳｉｔｅからＮｅａｒＳｉｔｅに送出される。従って、火山監視の表示画面９２となる。なお、メニューも表示されているものであるが、簡略化の為に図示を省略している。
【０１７６】
次に、メニューのシリアル番号「５」を指示して４画面合成を選択すると、多画面合成設定コマンドがＦａｒＳｉｔｅに送出され、それに対するレスポンスを受信し、表示画面９３は最初の表示画面９１と同様の４画面合成となる。
【０１７７】
図３４は画面合成モード決定シーケンス説明図であり、監視側（ＮｅａｒＳｉｔｅ）の操作者により入力によって、被監視側（ＦａｒＳｉｔｅ）の画面合成モードを設定する場合を示す。操作者が入力デバイスからガイダンス（Ｇｕｉｄａｎｃｅ）設定要求を入力すると、監視側（ＮｅａｒＳｉｔｅ）から被監視側（ＦａｒＳｉｔｅ）に遠隔ガイダンス（Ｇｕｉｄａｎｃｅ）設定コマンドが送出され、これに対するレスポンスを被監視側から監視側へ送出し、且つガイダンス（親画面）オンとする。
【０１７８】
このガイダンス（親画面）に基づいて操作者はガイダンス設定要求を入力すると、監視側から被監視側へ遠隔ガイダンス設定コマンドが送出され、これに対するレスポンスと、次のガイダンス（子画面）が送出される。このガイダンス（子画面）を基に操作者が決定の入力を行うと、多画面合成設定コマンドが監視側から被監視側へ送出され、それに対するレスポンスと、指定した画面合成の内容が被監視側から監視側へ送出され、操作者がガイダンス解除要求を入力すると、監視側から被監視側へ遠隔ガイダンス解除コマンドが送出され、これに対するレスポンスと、ガイダンスをオフとした画面合成の内容が被監視側から監視側へ送出される。
【０１７９】
図３５は遠隔制御プロトコルの説明図であり、画面合成に関する遠隔制御プロトコル１００の一例について、命令（コマンド）と応答（レスポンス）と通知（インディケーション）とに大別し、レスポンスｒｓｐの有無と、種別とその内容とを示す。又種別（詳細）の識別子は１６進（ｈｅｘ）として示している。なお、ｈｅｘの記号を省略している後述のコマンド等の識別子やパラメータ等も１６進表示を示す。
【０１８０】
命令（コマンド）は、単一映像信号源選択コマンド（識別子０１）、多画面合成設定コマンド（識別子０２）、多画面合成問い合わせコマンド（識別子０３）、映像入力源状態要求コマンド（識別子０４）、遠隔メニュー（Ｍｅｎｕ）設定／解除コマンド（識別子０５）を含むものであり、レスポンスｒｓｐは有りとなる。
【０１８１】
又応答（レスポンス）は、命令（コマンド）に対するものであり、例えば、単一映像信号源選択レスポンスの識別子は８１（ｈｅｘ）、多画面合成設定レスポンスの識別子は８２（ｈｅｘ）となる。それに対するレスポンスｒｓｐは無しとなる。又通知（インディケーション）は、映像信号異常インディケーション（識別子ｆ１）、多画面合成変更インディケーション（識別子ｆ２）を含み、これらに対するレスポンスｒｓｐは無しとなる。
【０１８２】
図３６はコマンド及びレスポンスの説明図であり、単一映像信号源選択コマンド１０１は、１バイトの識別子（０１）と、１バイトのパラメータ長と、パラメータとしての１バイトの映像信号源チャネル総数と１バイトの指定映像信号源チャネル番号とを含むものである。又単一映像信号源選択レスポンス１０２は、１バイトの識別子（８１）と、１バイトのパラメータ長と、１バイトの選択チャネル番号を示すパラメータとを含むものである。
【０１８３】
又多画面合成設定コマンド１０３は、図３６と図３７とにわたって示すものであり、１バイトの識別子（０２）と、１バイトのパラメータ長と、１バイト或いは２バイトのパラメータとを含み、パラメータとしては、画面合成数Ｎ、画面分割数ｎ、インターバル時間、画面合成モード、画面合成モード用優先チャネル指定、符号化モード、符号化モード用優先チャネル指定等を含むものである。又座標情報やズームアップ座標及びその比率の情報等も含むものである。
【０１８４】
図３８はコマンド及びレスポンスの説明図であり、多画面合成レスポンス１０４（識別子８２）と、多画面合成問い合わせコマンド１０５（識別子０３）と、多画面合成問い合わせレスポンス１０６（識別子８３）と、映像入力状態要求コマンド１０７（識別子０４）と、映像入力源状態要求レスポンス１０８（識別子８４）とを示す。多画面合成レスポンス１０４は、図３６及び図３７に示す多画面合成設定コマンド１０３に対するレスポンスである。
【０１８５】
又映像入力源状態要求コマンド１０７は、テレビカメラ等の映像信号源の状態を問い合わせるコマンドであり、それに対する映像入力源状態要求レスポンス１０８は、映像信号源対応に正常（００）か異常（ｆｆ）かを示すパラメータが付加される。
【０１８６】
図３９はコマンド及びレスポンス及びインディケーションの説明図であり、遠隔ガイダンス設定／解除コマンド１０９（識別子０５）と、遠隔ガイダンス設定／解除レスポンス１１０（識別子８５）と、映像信号異常インディケーション１１１（識別子ｆ１）と、多画面合成変更インディケーション１１２（識別子ｆ２）とを示す。遠隔ガイダンス設定／解除コマンド１０９及び遠隔ガイダンス設定／解除レスポンスは、図３４に於ける遠隔ガイダンス設定コマンド及び遠隔ガイダンス設定レスポンスに相当する。又映像信号異常インディケーション１１１及び多画面合成変更インディケーション１１２は、図３５の通知（インディケーション）の詳細を示す。
【０１８７】
前述のようなコマンド，レスポンス，インディケーションにより、図３１或いは図４２に示すシステムに於いて、多画面合成の遠隔制御を行うことができる。従って、遠隔監視システム等に於いて、被監視物の画像の選択やズームアップ等の各種の多画面合成制御が可能となる。
【０１８８】
本発明は、前述の各実施の形態にのみ限定されるものではなく、例えば、各実施の形態をそれぞれ組合せることも可能であり、又映像信号源としては、テレビカメラのみでなく、録画再生装置やディジタル・カメラのようなスチールカメラによる映像信号を送出する装置を用いることができる。又遠隔監視システムのみでなく、テレビ会議システム等の他のシステムの多画面合成にも適用できるものである。
【０１８９】
【発明の効果】
以上説明したように、本発明は、相互に非同期で動作する複数のテレビカメラや録画再生装置等の映像信号源からの映像信号を合成する多画面合成方法及び多画面合成装置に於いて、映像信号源１−１〜１−ｎからの映像信号を順次選択して、入力信号Ｖ・Ｈ監視部３により垂直，水平同期をとってフレーム単位で取込み、画面合成割当エリアの大きさに対応して縮小して画面合成用メモリ６の画面合成割当エリア対応のブロックに書込み、符号化部８による符号化処理若しくは送信処理を行うもので、映像信号をフレーム単位で取込む毎に符号化処理若しくは送信処理が行われるから、非同期動作の映像信号源を用いることによるシステム構成のコストダウンと、画面合成処理と符号化処理若しくは送信処理とを関連させることにより、制御構成の簡単化とを図ることができる利点がある。
【０１９０】
又重み付けしたチャネルの映像信号に対して、優先的に量子化値、取込み回数、符号化処理等を行うことにより、受信再生画像の中の重要な部分の明瞭度を良くして、遠隔監視等の精度を向上させることができる。又合成画面上の無効エリアとなる部分を利用して、拡大表示、ズームアップ表示、特定のパターンや受信復号化画像の返送を行わせることができる。又遠隔制御の為の情報の送受信を行って、多画面合成の遠隔制御を行わせることもできる。従って、各種のシステムに適用して、経済的且つ効率の良い多画面処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の説明図である。
【図２】縮小化処理の説明図である。
【図３】初期化処理のフローチャートである。
【図４】画面合成配列の説明図である。
【図５】割込処理のフローチャートである。
【図６】割込処理のフローチャートである。
【図７】本発明の第１の実施の形態の画面合成処理のフローチャートである。
【図８】非同期映像信号合成の説明図である。
【図９】本発明の第２の実施の形態の画面合成処理のフローチャートである。
【図１０】本発明の第３の実施の形態の画面合成処理のフローチャートである。
【図１１】本発明の第３の実施の形態の割込処理のフローチャートである。
【図１２】本発明の第３の実施の形態の割込処理のフローチャートである。
【図１３】取込みフレームの説明図である。
【図１４】符号化処理フレームの説明図である。
【図１５】受信表示フレームの説明図である。
【図１６】本発明の第４の実施の形態の説明図である。
【図１７】本発明の第４の実施の形態の画面合成処理のフローチャートである。
【図１８】本発明の実施の形態の映像入力有無判定処理のフローチャートである。
【図１９】本発明の実施の形態の無効エリア用処理のフローチャートである。
【図２０】本発明の他の実施の形態の無効エリア用処理のフローチャートである。
【図２１】本発明の更に他の実施の形態の無効エリア用処理のフローチャートである。
【図２２】画面合成配列の説明図である。
【図２３】本発明の実施の形態のズームアップ処理を含む無効エリア用処理のフローチャートである。
【図２４】本発明の実施の形態のズームアップ処理を含む無効エリア用処理のフローチャートである。
【図２５】本発明の第５の実施の形態の画面合成処理のフローチャートである。
【図２６】ＣＩＦの説明図である。
【図２７】符号化部の説明図である。
【図２８】本発明の実施の形態の量子化値決定処理のフローチャートである。
【図２９】映像信号源情報取得部の説明図である。
【図３０】動き補償及び画面合成配置の説明図である。
【図３１】本発明の実施の形態の遠隔制御の概要説明図である。
【図３２】遠隔操作用ガイダンスの説明図である。
【図３３】遠隔制御による画面切替えの説明図である。
【図３４】画面合成モード決定シーケンス説明図である。
【図３５】遠隔制御プロトコルの説明図である。
【図３６】コマンド及びレスポンスの説明図である。
【図３７】コマンドの説明図である。
【図３８】コマンド及びレスポンスの説明図である。
【図３９】コマンド及びレスポンス及びインディケーションの説明図である。
【図４０】同期映像信号合成遠隔監視システムの説明図である。
【図４１】多画面合成の説明図である。
【図４２】非同期映像信号合成遠隔監視システムの説明図である。
【図４３】伝送帯域とフレームレートとの関係説明図である。
【符号の説明】
１−１〜１−ｎ テレビカメラ（映像信号源）
２ 映像信号セレクタ
３ 入力信号Ｖ・Ｈ監視部
４ 水平方向縮小化部
５ ラインメモリ（ＬＩＮＥ ＦＩＦＯ）
６ 画面合成用メモリ
７ 符号化用メモリ
８ 符号化部
９ 画面合成制御部
１０ 符号化制御部
【発明の属する技術分野】
本発明は、複数の画面を合成して伝送する多画面合成方法及び多画面合成装置に関する。
テレビ会議システムや遠隔監視システム等に於いて、複数の画面を伝送し、受信側で多画面表示を行うシステムが知られている。その場合の伝送路として、高速伝送路を使用できる場合は映像信号をそのまま伝送できるが、通常は低速伝送路を使用する場合が一般的であり、映像信号を圧縮符号化して伝送することになる。又複数の撮像装置からの映像信号を同期化して処理するシステムと、非同期の映像信号を処理するシステムとがあり、後者の構成が廉価である利点がある。従って、非同期の映像信号による多画面の合成を効率良く行うことが要望されている。
【０００２】
【従来の技術】
図４０は同期映像信号合成遠隔監視システムの説明図であり、２０１はテレビカメラ、２０２は多画面合成装置、２０２ａは同期信号分配部、２０３，２０５は符号化，復号化等の機能を含む伝送装置、２０４は無線衛星回線，ＩＳＤＮ，ＡＴＭ網，ＬＡＮ等のネットワーク、２０６はモニタを示す。
【０００３】
各テレビカメラ２０１は、多画面合成装置２０２の同期信号分配部２０２ａからの同期信号に従って水平走査及び垂直走査によって被監視対象物の火山，河川，電線，工場等を撮像する。従って、各テレビカメラ２０１からの被監視対象物を撮像した映像信号＃１，＃２，＃３，・・・は同期化されており、多画面合成装置２０２は、各映像信号を同期信号に基づいて合成し、この合成映像信号を伝送装置２０３に入力する。
【０００４】
伝送装置２０３は、ネットワーク２０４の伝送帯域等に対応して合成映像信号を圧縮符号化して送出する。無線衛星回線，ＩＳＤＮ回線，ＡＴＭ回線，ＬＡＮ（ローカル・エリア・ネットワーク）等のネットワーク２０４を介して圧縮符号化された合成映像信号を受信した伝送装置２０５は、圧縮符号化の逆の処理により合成映像信号を復元し、モニタ２０６に、被監視対象物の火山，河川，電線，工場等の合成画面を表示する。
【０００５】
多画面合成装置２０２は、テレビ放送システムに於ける映像編集機能を適用した構成であり、複数のテレビカメラ２０１の同期化を行う同期信号分配部２０２ａを含み、高機能の構成が実用化されているが、高価である問題がある。又伝送装置２０３，２０５は、ネットワーク２０４の伝送帯域に対応した映像信号の圧縮符号化，復号化を行う構成を有し、例えば、Ｈ．３２０（Ｈ．２６１），ＭＰＲＧ１，２，４，ＭＯＴＩＯＮ−ＪＰＥＧ，Ｈ．３２４（Ｈ．２６３）等の標準化された手段を適用することができるものである。
【０００６】
又各テレビカメラ２０１をそれぞれのテレビ会議室に設けた場合、ネットワーク２０４の一部に多地点接続装置を介して伝送装置２０３，２０５を相互に接続し、映像信号の分配制御を行うことにより、テレビ会議システムを構成することができる。
【０００７】
図４１は多画面合成の説明図であり、遠隔監視システムに於ける受信側のモニタ画面を示し、（Ａ）は図４０に示すモニタ２０６の表示画面と同一の４画面合成の場合を示す。又（Ｂ）は（Ａ）の河川監視画面がなく、その河川監視画面の位置に工場監視画面を配置した３画面合成の場合を示す。又（Ｃ）は、電線監視画面と工場監視画面と共に、現在の火山監視画面と、過去に撮影して録画した火山監視画面とを表示し、その差を観測し易いように表示した場合を示す。又（Ｄ）は、電線監視画面と工場監視画面と共に、火山監視画面と、その噴火口等の状態を拡大した監視画面とを表示した場合を示す。
【０００８】
図４２は非同期映像信号合成遠隔監視システムの説明図であり、２１１はテレビカメラ、２１３，２１５は符号化，復号化等の機能を含む伝送装置、２１３ａは非同期多画面合成部、２１４は無線衛星回線，ＩＳＤＮ，ＡＴＭ網，ＬＡＮ等のネットワーク、２１６はモニタを示す。
【０００９】
火山監視，河川監視，電線監視，工場監視等の各テレビカメラ２１１は、独立同期による映像信号を伝送装置２１３の非同期多画面合成部２１３ａに入力して合成し、ネットワーク２１４の伝送速度に対応した圧縮符号化を行い、このネットワーク２１４を介して符号化映像信号を受信した伝送装置２１５に於いて復号化し、モニタ２１６に、図４０のモニタ２０６或いは図４１に示すように、多画面表示を行うことができる。
【００１０】
又伝送装置２１３，２１５に於ける圧縮符号化，復号化については、ネットワーク２１４の伝送帯域が同一であれば、図４０に於ける伝送装置２０３，２０５の機能と同一とすることができる。又伝送装置２１３に於いて非同期合成を行うものであるから、図４０に於ける同期信号分配部２０２ａを含む多画面合成装置２０２を省略することができる。そして、伝送装置２１３内の比較的簡単な構成の非同期多画面合成部２１３ａによって、各テレビカメラ２１１からの映像信号を合成することができるから、図４０に示すシステム構成に比較して廉価な構成とすることができる。
【００１１】
図４３は伝送帯域とフレームレートとの関係説明図であり、例えば、映像信号のフレームレートを通常の３０枚／ｓｅｃとすると、伝送路の帯域は６Ｍｂｐｓを必要とし、各種の圧縮符号化を行った映像信号を、ＩＳＤＮのＢチャネルのような６４ｋｂｐｓの伝送路の帯域により伝送する場合のフレームレートは２枚／ｓｅｃ程度となる。前述のような遠隔監視システム或いはテレビ会議システム等に於いては、比較的動きの少ない画面を撮像しており、従って、低フレームレートによる符号化映像信号を受信して再生表示させても遠隔監視画像表示或いはテレビ会議参加者画像表示には充分に機能することになる。
【００１２】
又複数の端末装置に対して画像伝送装置を共用化する為に、多画面合成として伝送し、受信側では各画面対応に分離して各端末装置に転送するシステムも知られている（例えば、特開平４−７９９０号公報参照）。又非同期の映像信号を、共通化したメモリに、アドレス制御によって書込み、恰も共通化したメモリの縦方向に分割して多画面合成を行った状態とする合成装置が知られている（例えば、特開昭５４−１４８４２６号公報参照）。
【００１３】
【発明が解決しようとする課題】
同期映像信号合成は、各映像信号が同期化されているから、合成処理は比較的容易となるが、前述のように、装置構成が高価となる問題がある。又非同期映像信号合成は、同期映像信号合成の場合に比較して廉価な構成となるが、多画面合成の制御が容易でなく、又メモリを共通化して合成する従来例に於いては、縦方向に分割した合成画面となり、適用範囲が限られたものとなる問題がある。
【００１４】
又符号化，復号化について、単一画面の映像信号の伝送システムに於ける前述の標準化された手段を適用することが可能であるが、多画面合成に於いては、重要度が画面対応に異なる場合があり、一律に合成処理する場合に充分な監視等を行うことができない問題がある。
本発明は、低速伝送帯域にも適用可能とした多画面合成方法及び多画面合成装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の多画面合成方法は、相互に非同期で動作する複数の映像信号源からの映像信号を合成する多画面合成方法であって、映像信号源からの映像信号を順次選択し、且つ水平，垂直同期をとってフレーム単位で取込み、このフレーム単位の映像信号を画面合成割当エリアに対応して縮小し、画面合成用メモリの画面合成割当エリア対応のブロックに書込んで、画面合成用メモリ上で画面合成し、この画面合成された映像信号の符号化処理若しくは送信処理を行う過程を含むものである。又フレーム単位の映像信号を取込む毎に、符号化処理若しくは送信処理を行い、又は符号化処理若しくは送信処理中に、複数の映像信号源からのフレーム単位の映像信号を順次取込んで、画面合成用メモリに書込み、符号化処理若しくは送信処理の完了により、画面合成用メモリに書込まれた映像信号の符号化処理若しくは送信処理を開始する過程を含むことができる。
【００１６】
又重み付けしたチャネルの映像信号の優先的な取込み回数の制御、無効エリアを利用した拡大表示やズームアップ表示、優先的な量子値の制御、動き補償探索範囲の制御、フレーム内符号化とフレーム間予測符号化との切替制御、ループ内フィルタの接続制御等を行うことができる。
【００１７】
又映像信号の有無を判定し、無しと判定されて無効エリアとなった画面合成用メモリのブロックに、固定パターン、受信復号化データ等を合成することができる。又遠隔制御用としてのガイダンスと画面合成レイアウトとを送出して、遠隔指定を行わせることができる。
【００１８】
又本発明の多画面合成装置は、相互に非同期で動作する複数の映像信号源からの映像信号を合成する多画面合成装置であって、複数の映像信号源を選択する映像信号セレクタと、この映像信号セレクタを介して取込んだ映像信号の垂直，水平同期をとる入力信号Ｖ・Ｈ監視部と、この入力信号Ｖ・Ｈ監視部により同期をとったフレーム単位の映像信号を、画面合成該当エリアに対応して縮小する水平方向縮小化部と、この水平方向縮小化部により縮小された映像信号をライン単位で書込む画面合成用メモリと、映像信号の取込み及び画面合成用メモリ上に於ける画面合成とを制御する画面合成制御部と、画面合成用メモリ上で合成された映像信号の符号化処理を行う符号化部とを備えている。
【００１９】
又映像信号源からの映像信号をフレーム単位で取込む毎に、符号化部に於ける符号化処理を行わせる符号化制御部を有し、又この符号化制御部は、符号化部に於ける重み付けしたチャネル対応の映像信号に対する量子化値、フレーム内符号化とフレーム間予測符号化との切替え、ループ内フィルタの接続切替えの少なくとも何れか一つの制御構成を備えることができる。
【００２０】
又画面合成制御部は、重み付けしたチャネルの映像信号を他のチャネルの映像信号の取込みの回数を多くするように、映像信号セレクタを制御する構成又重み付けしたチャネルの映像信号を特殊データ格納用メモリに一旦取込み、この特殊データ格納用メモリに取込んだ映像信号をズームアップ表示するように、画面合成用メモリに書込む制御構成を備えることができる。又無効エリアに固定パターンの挿入、受信復号化したデータの挿入等の制御を行う構成とすることができる。又遠隔制御用のガイダンスの送出構成を設けることもできる。
【００２１】
【発明の実施の形態】
図１は本発明の第１の実施の形態の説明図であり、非同期映像信号を合成して符号化する伝送装置の要部の機能を示し、１−１〜１−ｎはテレビカメラ（ディジタル・カメラや録画再生装置等を含む映像信号源）、２は映像信号セレクタ、３は入力信号Ｖ・Ｈ監視部、４は水平方向縮小部、５はラインメモリ（ＬＩＮＥＦＩＦＯ）、６は画面合成用メモリ、７は符号化用メモリ、８は符号化部、９は画面合成制御部、１０は符号化制御部、１１は割込ハンドラ、１２は割込コントーラ、１３，１４は第１，第２のダイレクト・メモリ・アクセス・コントローラ（ＤＭＡＣ，以下「ＤＭＡコントローラ」と称する）である。
【００２２】
テレビカメラ１−１〜１−ｎは、それぞれ独立同期により被監視対象物等の被写体を撮像し、映像信号セレクタ２は、画面合成制御部９からの制御に従ってテレビカメラ１−１〜１−ｎを順次選択して映像信号を入力Ｖ・Ｈ監視部３に入力する。この場合の映像信号は、ＮＴＳＣ方式，ＰＡＬ方式，ＳＥＣＡＭ方式等の各種の方式を適用した映像信号とすることができる。又アナログ・コンポジット信号，輝度信号と色信号とからなるアナログ・コンポーネント信号，アナログ映像信号をディジタル化したディジタル・コンポジット信号，輝度信号Ｙと色差信号Ｃｂ，Ｃｒとからなるディジタル・コンポーネント信号等を適用することができる。
【００２３】
又図示の状態は、テレビカメラ１−２からの映像信号を映像信号セレクタ２によって選択した場合を示す。又入力信号Ｖ・Ｈ監視部３は、入力された映像信号の垂直同期信号Ｖと水平同期信号Ｈとを監視するもので、垂直同期と水平同期とをとって１フレーム分の映像信号を取込む為のものである。そして、割込コントローラ１２から指定された垂直位置を検出すると、割込コントローラ１２に通知する。割込コントローラ１２は、予め登録されている割込ハンドラ１１を呼び出す。
【００２４】
又第１のＤＭＡコントローラ１３は、ラインメモリ５からのリクエスト信号により、このラインメモリ５内のデータを指定されたメモリのアドレスに転送するもので、この場合は画面合成用メモリ６に転送されることになる。そして、１ライン分のデータの転送終了により、垂直方向のメモリアドレスを指定ライン数分だけインクリメントする。又第２のＤＭＡコントローラ１４は、画面合成制御部９からの命令に従って、指定されたメモリアドレスから指定された他のメモリアドレスにデータを転送するものである。
【００２５】
又水平方向縮小化部４は、ライン上の画素を間引くことにより、水平方向の縮小化を行うもので、縮小化された１ラインのデータがラインメモリ５に書込まれる。このラインメモリ５に１ライン分（水平方向に縮小化された）データが書込まれると、第１のＤＭＡコントローラ１３にＤＭＡ要求を送出する。ＤＭＡコントローラ１３は、ラインメモリ５から画面合成用メモリ６に転送する制御を行うものである。
【００２６】
この画面合成用メモリ６は、画面合成数に対応して分割されたブロックにより構成され、この画面合成用メモリ６上に於いて画面合成される。画面合成された映像信号を符号化用メモリ７に転送し、符号化部８に於いてフレーム内符号化やフレーム間符号化等による圧縮符号化を行って送出する。この場合、画面合成用メモリ６と符号化用メモリ７とは、ダブルバッファ構成を適用して、交互にそれぞれの機能を実現するように切替える構成とすることができる。又送信処理する送信部は図示を省略している。
【００２７】
図２は縮小化処理の説明図であり、（Ａ）は７０５（画素）×５２５（ライン）の１画面を示し、単純間引きにより、（Ｂ）の黒丸を間引き画素とすると、１画面を垂直方向と水平方向とにそれぞれ１／２とすることができる。従って、ＣＣＩＲ６０１による有効エリアの７０４画素×４８０ラインの場合、前述の単純間引きにより、３５２画素×２４０ラインに縮小することができる。なお、垂直方向は、奇数フィールドと偶数フィールドとの何れかのフィールドのみ取込むことによって縮小化することができる。
【００２８】
図３は初期化処理のフローチャートであり、図１の各部の初期化処理を示し、割込コントローラ１２とＤＭＡコントローラ１３，１４との動作を無効（停止）とする為にマスクする（Ａ１）。そして、映像信号源数（テレビカメラ１−１〜１−ｎの数）ｎ及びその配列（多画面合成上の配置位置）の情報を取得する（Ａ２）。この情報は、ユーザからの指定或いは予めシステムとして設定することができる。
【００２９】
次に画面合成用メモリ６上のブロック番号をＡとし、これに１を代入する（Ａ３）。この場合のブロック番号Ａは１〜ｎの整数値を有し、４画面合成の場合は、１〜４となる。そして、映像信号源チャネル番号ＣA を取得し（Ａ４）、奇偶フィールド取込み変数ＯA を取得し（Ａ５）、画面合成用メモリ６のインクリメント値ＶA を取得し（Ａ６）、水平方向縮小値ＨA を取得し（Ａ７）、画面合成先頭アドレスＸＳA ，ＹＳA 、即ち、画面合成用メモリ６内の水平方向取込み開始位置と水平方向取込み終了位置とを設定する（Ａ８）。又画面合成終了アドレスＸＥA ，ＹＥA 、即ち、画面合成用メモリ６内の垂直方向取込み開始位置と垂直方向取込み終了位置とを設定する（Ａ９）。又割込発生条件ＶＳA ，ＶＥA を取得する（Ａ１０）。そして、Ａ＝ｎか否かを判定し、Ａ≠ｎの場合は、Ａを１インクリメントとして（Ａ１１）、ステップ（Ａ４）移行することにより、Ａ＝１〜ｎについての初期設定を行う。
【００３０】
なお、前述のステップ（Ａ６）のインクリメント値ＶA は、ラインメモリ５から画面合成用メモリ６に転送する時に、１ライン分のＤＭＡ転送完了後に、ＤＭＡコントローラ１３が垂直方向にアドレスを自動インクリメントする値である。又ステップ（Ａ５）のＯA は、割込ハンドラ１１内で偶数フィールドのみ取り込むか、偶数フィールドと奇数フィールドとを取り込むかの判定条件である。又ステップ（Ａ１０）のＶＳA ，ＶＥA は、割込みを発生させる条件として設定するものであり、これらの値は、システムに応じて予め設定しておくことができる。又映像信号源チャネル番号ＣA についてはユーザから設定可能とすることができる。例えば、Ｃ4 ＝２の場合、画面合成用メモリ６内の４番のブロックに映像信号源２の映像信号を取り込むことを意味するものである。
【００３１】
前述の初期化処理に於いて、映像信号源数ｎを取得すれば、それに応じた配列を同時に取得する。続いて、Ａ＝１からＡ＝ｎまで順次取得した配列から、ＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。映像信号源チャネル番号ＣA の初期値は、例えば、ＣA ＝Ａとする。
【００３２】
図４は画面合成配列の説明図であり、（Ａ）〜（Ｄ）は、ｎ＝１〜４の場合について示し、合成画面上のエリアと画面合成用メモリ６の映像信号を書込むブロックとを対応させているもので、（Ａ）のｎ＝１（画面合成を行わない場合）の前述の初期値は、
ＸＳ1 ＝ＸＳ
ＸＥ1 ＝ＸＳ＋Ｘ
ＹＳ1 ＝ＹＳ
ＹＥ1 ＝ＹＳ＋Ｙ
Ｈ1 ＝１
Ｖ1 ＝２
Ｏ1 ＝１
ＶＳ1 ＝ＶSTART
ＶＥ1 ＝ＶEND
となる。
【００３３】
又（Ｂ）〜（Ｄ）のｎ＝２〜４の場合の前述の初期値は、
ＸＳ1 ＝ＸＳ2 ＝ＸＳ
ＸＳ3 ＝ＸＳ4 ＝ＸＳ＋Ｘ／２
ＸＥ1 ＝ＸＥ2 ＝ＸＳ＋Ｘ／２
ＸＥ3 ＝ＸＥ4 ＝ＸＳ＋Ｘ
ＹＳ1 ＝ＹＳ3 ＝ＹＳ
ＹＳ2 ＝ＹＳ4 ＝ＹＳ＋Ｙ／２
ＹＥ1 ＝ＹＥ4 ＝ＹＳ＋Ｙ／２
ＹＥ2 ＝ＹＥ3 ＝ＹＳ＋Ｙ
Ｈ1 〜Ｈ4 ＝１／２
Ｖ1 〜Ｖ4 ＝１
Ｏ1 〜Ｏ4 ＝０
ＶＳ1 〜ＶＳ4 ＝ＶSTART
ＶＥ1 〜ＶＥ4 ＝ＶEND
となる。
【００３４】
図４の（Ａ）のｎ＝１の場合、即ち、画面合成を行わない場合は、奇数フィールドと偶数フィールドとを共に取込み、それらを画面合成用メモリ６上では交互に格納する為、インクリメント値ＶA は２、奇偶フィールド取込み変数ＯA は１となる。又図４の（Ｂ）〜（Ｄ）のｎ＝２〜４の場合、即ち、画面合成を行う場合は、偶数フィールドのみ取込み、画面合成用メモリ６上では、連続的に格納する為、インクリメント値ＶA は１、奇偶フィールド取込み変数ＯA は０となる。この場合、水平方向の縮小は、水平方向縮小化部４のハードウェア構成により行うものであるが、垂直方向の縮小は、奇偶フィールドの一方のフィールドのみを取込むことにより実現している。又ＶSTART は映像信号源の映像有効領域のスタート・アドレスを示し、又ＶEND は映像信号源の映像有効領域のエンド・アドレスを示す。
【００３５】
初期化処理完了後に、映像信号源からの映像信号取込み処理を開始する。先ずＡ＝１とし、映像信号セレクタ２にＣ1 を設定する。この場合、Ｃ1 の値は１であり、映像信号源１−１の映像信号が映像信号セレクタ２によって選択される。又ＤＭＡコントコーラ１３に画面合成用メモリのインクリメント値Ｖ1 を設定し、水平方向縮小化部４に水平方向縮小値Ｈ1 を設定し、同時に転送先アドレスＸＯ，ＹＯに、画面合成用メモリ６の取込み開始位置ＸＳ1 ，ＹＳ1 を代入する。この転送先アドレスＸＯ，ＹＯは、割込ハンドラ１１内で、ＤＭＡコントローラ１３に転送先アドレスを設定する時に使用する変数である。前述の処理が完了すると、映像信号取込み完了認識用変数ＦＬＡＧに１を代入し、割込発生条件にＶＳ1 を設定し、割込マスクを解除する。即ち、割込コントローラ１２の動作が可能の状態とする。
【００３６】
入力信号Ｖ・Ｈ監視部３は、映像信号源（テレビカメラ）から映像信号セレクタ２を介して入力される映像信号の垂直同期信号を監視し、この垂直同期信号から数えてＶＳ1 ライン目に到達した時に、割込信号を割込コントローラ１２に入力する。それによって、割込コントローラ１２は、割込信号に従って割込ハンドラ１１を呼出す。
【００３７】
図５及び図６は割込処理のフローチャートであり、割込ハンドラ１１の処理を示す。以下、ｎ＝１の場合と、ｎ＝２〜４の場合とにわけて説明する。最初のｎ＝１の場合、映像信号取込み完了認識用変数ＦＬＡＧが１であるか否かを判定し（Ｂ１）、ＦＬＡＧ＝１の場合は、偶フィールドか否かを判定し（Ｂ２）、偶フィールドの場合、転送先アドレスＸＯ，ＹＯをＤＭＡコントローラに設定し（Ｂ３）、ＤＭＡ１のマスクを解除し（Ｂ６）、次の割込発生条件にＶＥ1 を設定し（Ｂ７）、ＦＬＡＧに２を代入し（Ｂ８）、処理を終了する。
【００３８】
又ステップ（Ｂ１）に於いてＦＬＡＧ≠１の場合、ＦＬＡＧ＝２か否かを判定し（Ｂ９）、ＦＬＡＧ≠２の場合は処理を終了する。又ＦＬＡＧ＝２の場合、ＤＭＡ１（ＤＭＡコントローラ１３）をマスクし（Ｂ１０）、ＯA ＝１か否かを判定し（Ｂ１１）、ＯA ≠１の場合は、ＦＬＡＧに０を代入し（Ｂ１５）、処理を終了する。又ＯA ＝１の場合、奇偶フィールドの取込み完了か否かを判定し（Ｂ１２）、取込み完了によりステップ（Ｂ１５）に移行し、取込み完了でない場合は、ＦＬＡＧに１を代入し（Ｂ１３）、割込発生条件ＶＳA を設定し（Ｂ１４）、処理を終了する。
【００３９】
又ステップ（Ｂ２）に於いて、偶フィールドでない場合、ＯA ＝１か否かを判定し（Ｂ４）、ＯA ≠１の場合は処理を終了し、ＯA ＝１の場合は、転送先アドレスをＸＯ，ＹＯ＋１に設定し（Ｂ５）、次のステップ（Ｂ６）に移行する。
【００４０】
更に具体的に説明すると、ラインメモリ５には、水平方向縮小化部４を経由して映像信号が入力される。その水平方向縮小化部４の縮小値は１であり、映像信号の縮小化処理は行われない。そして、１ライン分のデータがラインメモリ５に格納されると、ＤＭＡ要求信号をＤＭＡコントローラ１３に送出する。ＤＭＡコントローラ１３は、転送先アドレスＸＯ，ＹＯにラインメモリ５の１ライン分のデータを転送し、転送先アドレスＹＯを２インクリメントする。
【００４１】
次に、ラインメモリ５に１ライン分のデータが格納されると、再びＤＭＡ要求信号をＤＭＡコントローラ１３に送出するから、それによる転送先アドレスＸＯ，ＹＯ＋２にラインメモリ５の１ライン分のデータを転送し、転送先アドレスＹＯを２インクリメントする。従って、画面合成用メモリ６の垂直方向アドレスＹＯの一つおきに１ライン分のデータが格納されることになる。又割込発生条件ＶＳ1 は、映像信号の有効領域の先頭ラインを示しているので、映像信号源の映像信号の先頭からデータ転送を開始させることになる。
【００４２】
又入力信号Ｖ・Ｈ判定部３では、映像信号源からの映像信号が映像信号セレクタ２を介して入力されており、その映像信号の垂直同期信号から数えてＶＥ1 ライン目に到達した時に、割込信号を割込コントローラ１２に対して通知し、割込コントローラ１２は、割込発生条件に従って割込ハンドラ１１を呼出す。
【００４３】
この時、ＦＬＡＧ＝２（図５のステップ（Ｂ８）によりＦＬＡＧに２が代入されている）であるので、割込ハンドラ１１は、ステップ（Ｂ１）に於いてＦＬＡＧ≠１であるから、ステップ（Ｂ９）に移行し、ＦＬＡＧ＝２となるから、ＤＭＡコントローラ１３をマスクし、ＤＭＡコントローラ１３の動作を終了させる。又Ｏ1 は１であり、偶フィールドの取込みを行ったが、奇フィールドの取込みを行っていないので、ステップ（Ｂ１３）に於いて再度映像信号取込み完了認識用変数ＦＬＡＧに１を代入し、割込発生条件ＶＥ1 を設定し（Ｂ１４）、処理を終了する。この割込発生条件ＶＥ1 は、映像信号の有効領域の最終ラインを示しているので、映像信号源の映像信号１フィールド分のデータ転送を完了させたことを示す。
【００４４】
又映像信号源からの映像信号が垂直同期信号から数えてＶＳ1 ライン目に到達した時、割込ハンドラ１１が呼出される。この時、ＦＬＡＧ＝１（Ｂ１）であり、奇フィールドのデータが入力中であるので（Ｂ２）、転送先アドレスＸＯ，ＹＯ＋１をＤＭＡコントローラ１３に設定し（Ｂ５）、ＤＭＡ１のマスクを解除し（Ｂ６）、次の割込発生条件にＶＥ1 を設定し（Ｂ７）、ＦＬＡＧに２を代入して（Ｂ８）、処理を終了する。
【００４５】
ＤＭＡコントローラ１３は、ＤＭＡ要求信号を受信すると、転送先アドレスＸＯ，ＹＯ＋１にラインメモリ５内の１ライン分のデータを転送し、転送先垂直方向アドレスＹＯを２インクリメントする。即ち、次の１ライン分のデータは、ＸＯ，ＹＯ＋３に格納される。このようにして順次偶フィールドのデータとは対になるように、すだれ状に画面合成用メモリ６に格納される。
【００４６】
又前述の場合と同様に、映像信号が垂直同期信号から数えてＶＥ1 ライン目に到達した時に、割込ハンドラ１１が呼出される。この時、ＦＬＡＧ＝２であるから、ＤＭＡ１をマスクし、ＤＭＡコントローラ１３の動作を終了させる。又Ｏ1 は１であり（Ｂ１１）、且つ奇偶フィールドの取込みを完了させたので（Ｂ１２）、ＦＬＡＧに０を代入し（Ｂ１５）、処理を終了する。そして、割込発生条件ＶＥ1 が、映像信号の有効領域の最終ラインを示すことにより、映像信号源の映像信号の１フレーム分のデータ転送を完了させたになる。
【００４７】
又ｎ＝２〜４の場合、ＦＬＡＧ＝１（Ｂ１）であり、現在奇フィールドのデータが入力中であれば、即座に割込ハンドラ１１の処理を終了させ、偶フィールドのデータの入力を待つことになる。又偶フィールドのデータが入力中であれば、転送先アドレスＸＯ，ＹＯをＤＭＡコントローラ１３に設定し（Ｂ３）、ＤＭＡ１のマスクを解除し（Ｂ６）、次の割込発生条件ＶＥ1 の設定を行い（Ｂ７）、ＦＬＡＧに２を代入し（Ｂ８）、処理を終了する。
【００４８】
この時、縮小値を１／２とすると、ラインメモリ５には１／２に水平方向縮小化部４により間引きされた映像信号が入力され、１ライン分のデータが格納され次第、ＤＭＡ要求信号をＤＭＡコントローラ１３に対して通知する。ＤＭＡコントローラ１３は、ＤＭＡ要求信号を受信すると、転送先アドレスＸＯ，ＹＯに、ラインメモリ６の１ライン分のデータを転送し、垂直方向アドレスＹＯを１インクリメントする。
【００４９】
次の１ライン分のデータがラインメモリ５に格納されると、再びＤＭＡ要求信号を送出する。その時の転送先アドレスはＸＯ，ＹＯ＋１となり、ラインメモリ５からの１ライン分のデータが転送される。そして、垂直方向アドレスＹＯを１インクリメントする。又割込発生条件ＶＳ1 は、映像信号の有効領域の先頭ラインを示すから、映像信号源からの映像信号の先頭からデータ転送を開始させたことになる。
【００５０】
前述と同様に、映像信号源からの映像信号が垂直同期信号から数えてＶＥ1 ライン目に到達した時に、割込ハンドラ１１が呼出され、割込ハンドラ１１は、今回のＦＬＡＧが２であるから（Ｂ９）、ＤＭＡ１をマスクし（Ｂ１０）、ＤＭＡコントローラ１３の動作を終了させる。又Ｏ1 は０であるから、ＦＬＡＧに０を代入し（Ｂ１５）、処理を終了する。又割込発生条件ＶＥ1 は、有効領域の最終ラインを示した時、映像信号源からの映像信号の水平方向を１／２に縮小し、その１フィールド分のデータの転送を完了させたことになる。
【００５１】
前述の割込ハンドラ１１による処理を行っている間、画面合成制御部９は、映像取込み完了認識用変数ＦＬＡＧの値を監視し、その値が０になることを待つことになる。そして、ＦＬＡＧ＝０となると、映像信号を１フレーム分取込み完了となるから、割込みをマスクし、Ａ＝１をＡ＝２に更新して、前述の処理を繰り返し行うことになる。
【００５２】
前述の処理をＡ＝１からＡ＝ｎまで行い、その処理の完了により、画面合成用メモリ６に１フレーム分のデータの取込みを完了したことになる。そして、画面合成用メモリ６からのデータに対して、符号化制御部１０により制御される符号化用メモリ７と符号化部８とにより符号化処理し、符号化映像信号の送信処理を行う。この符号化処理若しくは送信処理は、システムに対応した処理であり、例えば、Ｈ．２６１，Ｈ．２６３，ＭＰＥＧ１，ＪＰＥＧ等の符号化処理や、ビットマップ・データの低速ＬＡＮ，低速ＰＰＰ（Ｐoint to Ｐoint Ｐrotocol ）等に対する送信処理等を行うことになる。又符号化処理若しくは送信処理の完了により、再度Ａ＝１からＡ＝ｎまで映像信号の取込みにより、前述の処理を繰り返し行うことになる。前述のＡ＝１〜Ａ＝４とすると、多画面合成結果は、例えば、図４１の（Ａ），（Ｃ），（Ｄ）に示すものとなる。
【００５３】
図７は本発明の第１の実施の形態の画面合成処理のフローチャートであり、前述の画面合成処理を示すもので、先ず、図３に示す初期化処理を行い（Ｃ１）、Ａに１を代入し（Ｃ２）、映像信号セレクタ２（図１参照）にＣA を設定し（Ｃ３）、画面合成用メモリ６のインクリメント値ＶA を設定し（Ｃ４）、水平方向縮小化部４に於ける水平方向縮小値ＨA を設定し（Ｃ５）、画像転送先アドレスＸＯ，ＹＯにＸＳA ，ＹＳA を代入し（Ｃ６）、ＦＬＡＧに１を代入し（Ｃ７）、割込発生条件ＶＳA を設定し（Ｃ８）、割込マスクを解除する（Ｃ９）。
【００５４】
そして、ＦＬＡＧ＝０か否かを判定し（Ｃ１０）、０の場合は、割込マスクし（Ｃ１１）、Ａ＝ｎか否かを判定し（Ｃ１２）、Ａ＝ｎの場合は取込み完了であるから、符号化処理若しくは送信処理を行い（Ｃ１３）、Ａを１インクリメントし、その結果、Ａ＞ｎならば、Ａ＝１とし（Ｃ１４）、ステップ（Ｃ３）に移行する。又ステップ（Ｃ１２）に於いてＡ≠ｎの場合はステップ（Ｃ１４）に移行する。それによって、前述のように、ｎ個の非同期の映像信号を合成して、符号化し、受信側に送出することができる。
【００５５】
図８は非同期映像信号合成の説明図であり、映像信号＃１〜＃４はそれぞれ非同期であり、(1),(2),(3),・・・・はフレーム番号を示す。そして、映像信号＃１〜＃４の順序で合成する場合、合成された映像信号は、＃１(1) ，＃２(2) ，＃３(4) ，＃４(5) となり、次は図示を省略しているが、＃１(7) となる。１映像信号のフレームレートは２９．９７Ｈｚであるから、前述の場合の全体の取込みフレームレートは、２９．９７Ｈｚと、その半分の１４．９８５Ｈｚとの間となる。又４画面合成の場合の映像信号＃１の取込みフレームレートは、フレームレート２９．９７Ｈｚの１／４の７．４９２５Ｈｚと、その半分の３．７４６２５Ｈｚとの間となる。そして、１取込みフレーム当たりの取込み時間は、（１／２９．９７）〜（２／２９．９７）〔ｓｅｃ〕となる。
【００５６】
このような非同期の映像信号を合成する場合、フレームの先頭を待つ必要があるから、例えば、９画面合成を行う場合には、３００ｍｓｅｃ〜６００ｍｓｅｃ程度の空き時間が発生し、この間、符号化処理，送信処理を行うことができないことになる。例えば、１フレームの符号化に多大な時間（１ｓｅｃ〜数１０ｓｅｃ）を要する静止画伝送や６４ｋｂｐｓ未満程度の通信帯域の狭いネットワークを介した伝送に於いては、前述の図１に示す実施の形態による非同期映像信号を用いた多画面合成の手段を充分に適用することができる。しかし、数１０ｍｓｅｃ〜数１００ｍｓｅｃで１フレームの符号化を完了させる６４ｋｂｐｓ〜１．５Ｍｂｐｓ等の中間の伝送帯域のネットワークを介して伝送する場合、空き時間が問題となる。
【００５７】
図９は本発明の第２の実施の形態の画面合成処理のフローチャートであり、１フレーム分取込む毎に符号化を行う場合を示し、ステップ（Ｄ１）〜（Ｄ１０）は、図７に於けるステップ（Ｃ１）〜（Ｃ１０）と同様である。図７に於いては、Ａ＝１として映像信号源１−１からの映像信号の取込みを完了した後、順次Ａ＝２，３，・・・ｎとして、映像信号源１−２〜１−ｎからの映像信号の取込みを行い、各映像信号源１−１〜１−ｎからの映像信号を１フレーム分取込み完了した後に、符号化処理若しくは送信処理を行うものである。
【００５８】
これに対して、この実施の形態に於いては、ステップ（Ｄ１１）〜（Ｄ１３）により、例えば、Ａ＝１の映像信号源１−１からの映像信号の取込みを完了することにより、ステップ（Ｄ１２）により符号化処理若しくは送信処理を行い、次にステップ（Ｄ１３）によりＡを１インクリメントすることにより、Ａ＝２の映像信号源１−２からの映像信号の取込みを行い、その取込みの完了により符号化処理若しくは送信処理を行い、これをＡ＝ｎとなるまで繰り返し、Ａ＞ｎとなると、Ａ＝１として最初に戻ることになる。
【００５９】
従って、Ａ＝１の時の映像信号源１−１からの映像信号を格納する画面合成用メモリ６（図１参照）のブロック以外は初期値が格納されており、符号化処理若しくは送信処理が完了した後、Ａ＝２として、映像信号源１−２からの映像信号の取込みを開始し、この取込み完了により、画面合成用メモリ６に格納されたデータの符号化処理若しくは送信処理を行う。
【００６０】
この時点では、画面合成用メモリ６には、映像信号源１−１，１−２からの映像信号を格納するブロック以外のブロックには初期値が格納された状態となり、又映像信号源１−１からの映像信号を格納したブロックは前回の符号化処理若しくは送信処理に於けるものと同一の内容のものである。従って、Ａ＝１からＡ＝ｎまでの処理を繰り返すことにより、画面合成用メモリ６内の１ブロック毎に更新されたものとなる。この場合、映像信号源数ｎを大きな値としても、非同期映像信号を用いた画面合成に於ける空き時間は、約３３ｍｓｅｃ〜６６ｍｓｅｃ程度の間に納まることになり、１５フレーム／ｓｅｃで符号化処理若しくは送信処理を行うシステムに於いても充分に適用することができる。
【００６１】
図１０は本発明の第３の実施の形態の画面合成処理のフローチャートであり、ステップ（Ｅ１）〜（Ｅ７）については、図７のステップ（Ｃ１）〜（Ｃ７）又は図９のステップ（Ｄ１）〜（Ｄ７）の処理と同様であり、重複した説明は省略する。この実施の形態は、画面合成用メモリ６から符号化用メモリ７にデータをＤＭＡによって転送する処理を含み、又映像取込み完了認識用変数ＦＬＡＧ２を追加したものである。
【００６２】
即ち、ステップ（Ｅ７）に於いてＦＬＡＧに１を代入し、次にＦＬＡＧ２に１を代入し（Ｅ８）、割込発生条件ＶＳA を設定し（Ｅ９）、割込マスク解除を行い（Ｅ１０）、ＦＬＡＧ２＝０か否かを判定し（Ｅ１１）、０の場合は、割込マスクを行い（Ｅ１２）、画面合成用メモリ６から符号化用メモリ７にＤＭＡコントローラ１４によるＤＭＡ２によって転送開始し（Ｅ１３）、割込マスクを解除して（Ｅ１４）、符号化処理若しくは送信処理を行い（Ｅ１５）、ステップ（Ｅ１１）に移行する。
【００６３】
図１１及び図１２は本発明の第３の実施の形態の割込処理のフローチャートであり、ステップ（Ｆ１）〜（Ｆ５）は、図５に於けるステップ（Ｂ１）〜（Ｂ５）と同様であり、重複した説明は省略する。ステップ（Ｆ３）又は（Ｆ５）の次のＤＭＡ１マスク解除（Ｆ７）の前に、ＦＬＡＧ２に１を代入する（Ｆ６）。そして、ＤＭＡ１マスク解除を行って、割込発生条件ＶＥA を設定し（Ｆ８）、ＦＬＡＧに１を代入し（Ｆ９）、処理を終了する。
【００６４】
又ステップ（Ｆ１）に於いてＦＬＡＧ≠１の場合、ＦＬＡＧ＝２か否かを判定し（Ｆ１０）、ＦＬＡＧ≠２の場合は処理を終了し、ＦＬＡＧ＝２の場合は、ＤＭＡ１マスク（Ｆ１１）、ＯA ＝１か否かの判定（Ｆ１２）、取込み完了か否かの判定（Ｆ１３）、ＦＬＡＧに１代入（Ｆ１４）、割込発生条件ＶＳA 設定（Ｆ１５）については、図６のステップ（Ｂ９）〜（Ｂ１４）と同様であり、重複した説明は省略する。
【００６５】
又この実施の形態に於いては、ＯA ≠１（Ｆ１２）又は取込み完了の場合（Ｆ１３）、例えば、Ａ＝１の時のＯ1 が１で且つ１フレーム分の映像信号の取込みが完了した時、若しくは、Ｏ1 が０で映像信号の取込みが完了した時に、割込ハンドラ１１内でＡ＝１からＡ＝２への変更を行う。即ち、Ａを１インクリメントし、Ａ＞ｎの場合は１を代入する（Ｆ１６）。そして、映像信号セレクタ２にＣA を設定する（Ｆ１７）。この場合、Ａ＝２となるから、映像信号セレクタ２にＣ2 を設定することになり、それにより、映像信号源１−２からの映像信号が選択される。
【００６６】
又画面合成用メモリのインクリメント値ＶA を設定し（Ｆ１８）、水平方向縮小値ＨA を設定し（Ｆ１９）、画像転送先アドレスＸＯ，ＹＯにＸＳA ，ＹＳA を代入する（Ｆ２０）。この場合、ＤＭＡコントローラ１３に設定するインクリメント値はＶ1 、水平方向縮小部４に設定する縮小値はＨ1 、転送先アドレスＸＯ，ＹＯには、ＸＳ1 ，ＹＳ1 を代入することになる。以上の処理が完了すると、ＦＬＡＧ２に０を代入して（Ｆ２１）、ステップ（Ｆ１４）に移行して、ＦＬＡＧに１を代入し、割込発生条件にＶＳ2 を設定し（Ｆ１５）、処理を終了することになる。
【００６７】
割込ハンドラ１１が処理を行っている間、画面合成制御部９は、映像取込み完了認識用変数ＦＬＡＧ２の値を監視し、その値が０になるのを待つことになる。そして、その値が０になると、映像信号源１−１からの映像信号を１フレーム分取込み完了したことを意味するから、割込みをマスクした後、画面合成用メモリ６から符号化用メモリ７へＤＭＡコントローラ１４によってデータ転送を行う。このＤＭＡ転送の完了により、割込マスクを解除し、符号化部８に於ける符号化処理若しくは送信処理を実行する。
【００６８】
この符号化処理若しくは送信処理の間、割込マスクは解除された状態を継続し、その間の割込信号があれば、割込ハンドラ１１が呼出され、映像信号源１−１の次の映像信号源１−２からの映像信号が画面合成用メモリ６に取り込まれる。この取込み完了後、続いて、映像信号源１−３からの映像信号取込み用の設定が行われる。更に割込信号があれば、割込ハンドラ１１が呼出され、今度は映像信号源１−３からの映像信号が画面合成用メモリ６に取り込まれる。このような処理を繰り返して、映像信号の取込みや符号化処理若しくは送信処理が行われ、画面合成されて符号化された合成映像信号が受信側に送信される。
【００６９】
又画面合成制御部９により制御する符号化処理若しくは送信処理が終了すると、映像取込み完了認識用変数ＦＬＡＧ２の値を監視する。この値が１であることは、現在何れかの映像データを画面合成用メモリ６にＤＭＡ転送中であることを示し、０であることは、現在映像データをＤＭＡ転送していないことを示す。ここで、映像データの画面合成用メモリ６へのＤＭＡ転送中に、画面合成用メモリ６から符号化用メモリ７へのＤＭＡ転送を行うと、符号化用メモリ７で現在取込み中の映像信号は、途中で切れたものとなる。そこで、ＦＬＡＧ２の値が０になるまで、割込マスクを行うものである。
【００７０】
この映像取込み完了認識用変数ＦＬＡＧ２の値が０になると、割込マスクを行い、画面合成用メモリ６から符号化用メモリ７へＤＭＡ転送を行う。このＤＭＡ転送が完了すると、割込マスクを解除し、符号化処理若しくは送信処理を行うことになり、前述の一連の動作を繰り返すことになる。この実施の形態の場合、符号化処理若しくは送信処理中に、映像信号を取込み続けるから、符号化効率を低下させることなく、取込み可能な分の映像信号を取込むことができる。従って、効率良く画面合成を行うことができる。
【００７１】
図１３は取込みフレームの説明図であり、（Ａ）は従来例を示し、（Ｂ）は本発明の実施の形態を示す。又＃１〜＃４は４台の映像信号源からの映像信号を示す。（Ａ）の従来例は、図４０に示すような同期映像信号合成の場合を示し、１フレーム画面を４分割し、４台の映像信号源からの映像信号＃１〜＃４に割付けて合成し、伝送装置に於いて符号化して送信する。その場合、伝送帯域が狭いネットワークを介して伝送する場合、圧縮符号化を行うことになるが、その符号化処理に要する時間や発生情報量等により、破棄されるフレームが生じることになる。従って、圧縮・伝送に採用されたフレームは、間引きされたものとなり、フレームレートは低いものとなる。
【００７２】
又（Ｂ）は、各映像信号源からの非同期の映像信号＃１〜＃４を順次取込み、画面合成を行って符号化処理する本発明の実施の形態を示す。伝送帯域が狭いネットワークを介して伝送する場合、前述のように、間引きの状態となり、フレームレートを高くすることができないものであるから、例えば、映像信号＃１の１フレーム分を取込んだ後、次の映像信号＃２の１フレーム分を取込むように、順次映像信号＃３，＃４，＃１，＃２，・・・をフレーム単位で取込むことにより、画面合成前にフレームの間引きを行った状態とし、画面合成を行って符号化処理するものである。
【００７３】
図１４は符号化処理フレームの説明図であり、（Ａ）は図１３の（Ａ）に対応した従来例、（Ｂ）は図１３の（Ｂ）に対応した本発明の実施の形態を示し、且つ図１３に於ける圧縮・伝送に採用されたフレーム(1),(4),(6),(7) について示す。従来例に於いては、（Ａ）に示すように、映像信号＃１〜＃４を合成して１フレームを構成し、符号化処理を行うことから、各フレーム(1),(4),(6),(7) は、総て更新された内容となる。
【００７４】
これに対して、本発明の実施の形態に於いては、（Ｂ）に示すように、フレーム(1) は映像信号＃１を取込んで合成して符号化することにより、映像信号＃１の部分のみ更新ありとなる。次のフレーム(4) は、映像信号＃２〜＃４を取込んで合成して符号化することにより、映像信号＃１の部分は更新なしとなるが、他の映像信号＃２〜＃４の部分は更新ありとなる。
【００７５】
次のフレーム(6) は、映像信号＃１，＃２を取込んで合成して符号化することにより、映像信号＃１，＃２の部分は更新あり、映像信号＃３，＃４の部分は更新なしとなる。次のフレーム(7) は、映像信号＃３を取込んで合成して符号化することにより、映像信号＃３の部分のみ更新ありとなる。従って、更新なしの部分はフレーム間差分が零であり、更新ありの部分のみフレーム間差分が生じることになり、符号化処理は合成画面の１フレーム全体を符号化処理する場合に比較して簡単となる。
【００７６】
図１５は受信表示フレームの説明図であり、（Ａ）は図１３の（Ａ）及び図１４の（Ａ）の従来例に対応し、（Ｂ）は図１３の（Ｂ）及び図１４の（Ｂ）の本発明の実施の形態に対応する。即ち、（Ａ）に示す従来例に於いては、フレーム(1),(4),(6),(7) を受信することになるから、フレーム(2),(3) の時間は、その前のフレーム(1) の復号化処理による内容が繰り返し表示され、フレーム(5) の時間は、その前のフレーム(4) の復号化処理による内容が表示される。
【００７７】
又（Ｂ）に示す本発明の実施の形態に於いては、（Ａ）の従来例に類似したものとなるが、例えば、映像信号＃１については、フレーム(1) の内容が、更新ありのフレーム(6) まで繰り返し表示される。又映像信号＃２については、フレーム(1) の内容が、更新ありのフレーム(4) まで繰り返し表示される。
【００７８】
例えば、有効エリアが７０４（画素）×４８０（ライン）のＣＣＩＲ６０１による画面合成の場合、１画素当たりのデータ量は１バイトであり、ラインメモリ５（図１参照）は、１ライン当たり７０４バイトのデータを格納する必要があり、データ書換えの余裕をみて、２ｋバイト程度の容量とすることが望ましい。又画面合成用メモリ６（図１参照）は、色差信号等を考慮して、７０４×４８０×１．５（バイト）程度、例えば、５１２ｋバイト程度の容量とすることが望ましい。なお、この画面合成用メモリ６の記憶容量は、画面合成数には依存しないことになる。
【００７９】
図１６は本発明の第４の実施の形態の説明図であり、図１と同一符号は同一部分を示し、２１は映像信号源入力有無判定部、２２−１〜２２−ｎは映像信号源対応部、２３は水平・垂直方向縮小化部、２４は復号化用メモリ、２５は復号化部、２６は復号化制御部、２７は特殊データ格納用メモリを示す。
【００８０】
この実施の形態は、複数の映像信号源（テレビカメラ）１−１〜１−ｎから映像信号が出力されているか否かを映像信号源入力有無判定部２１に於いて判定するものであり、映像信号源の障害，電源なし，接続不良等により映像信号を出力していない場合、その映像信号源対応の画面合成を行わないようにし、不安定映像信号の混入等によるシステムの不安定条件を除去すると共に、画面合成の効率を向上するものである。
【００８１】
この映像信号源入力有無判定部２１の各映像信号源対応部２２−１〜２２−ｎは、例えば、垂直同期信号や水平同期信号或いはカラーバースト信号やクロミナンス信号が一定期間中に出力されているか否かにより判定することができる。又映像信号のレベル検出によって判定する構成とすることも可能である。
【００８２】
又復号化部２５は受信した符号化映像信号を復号化制御部２６の制御に従って復号し、復号化用メモリ２４に復号化映像信号を格納する。又特殊データ格納用メモリ２７は、画面合成制御部９から特殊データを書込む構成を有し、又水平・垂直方向縮小化部２３は、指定されたサイズとなるように、画素又はラインの間引きにより縮小化処理を行うものである。
【００８３】
図１７は本発明の第４の実施の形態の画面合成処理のフローチャートであり、前述の各実施の形態に於ける画面合成処理に対しても、映像入力有無判定を適用できるものである。先ず、初期化処理を行い（Ｇ１）、Ａに１を代入し（Ｇ２）、映像信号セレクタ２にＣA を設定し（Ｇ３）、奇偶フィールド取込変数ＯA を設定し（Ｇ４）、画面合成用メモリのインクリメント値ＶA を設定し（Ｇ５）、水平方向縮小値ＨA を設定し（Ｇ６）、画像転送先アドレスＸＯ，ＹＯにＸＳA ，ＹＳA を代入し（Ｇ７）、ＦＬＡＧに１を代入し（Ｇ８）、割込発生条件ＶＳA を設定し（Ｇ９）、割込マスクを解除する（Ｇ１０）。
【００８４】
そして、ＦＬＡＧ＝０か否かを判定し（Ｇ１１）、ＦＬＡＧ＝０となると、割込みをマスクし（Ｇ１２）、符号化処理若しくは送信処理を行う（Ｇ１３）。そして、Ａ＝ｎか否かを判定し（Ｇ１４）、Ａ≠ｎの場合は、ステップ（Ｇ１７）に移行してＡを１インクリメントし、それによりＡ＞ｎとなる場合はＡに１を代入する。
【００８５】
又Ａ＝ｎの場合は、映像入力有無判定処理を行い（Ｇ１５）、映像入力無しの場合の無効エリア処理を行う（Ｇ１６）。そして、ステップ（Ｇ１７）に移行し、Ａを１インクリメントするか、或いはＡに１を代入して、ステップ（Ｇ３）に移行して前述の処理を繰り返す。
【００８６】
図１８は本発明の実施の形態の映像入力有無判定処理のフローチャートであり、先ず、割込みのマスクを行い（Ｈ１）、映像入力有数保持用変数ＶＩ及び映像入力無数保持用変数ＶＤにそれぞれ０を代入し（Ｈ２）、入力有無判定数チェック用変数Ｄに０を代入する（Ｈ３）。そして、映像信号源ＣN-D の映像入力有無チェックを行い（Ｈ４）、入力有りか否かを判定し（Ｈ５）、入力有りの場合は、ＶＩを１インクリメントし（Ｈ６）、入力無しの場合は、ＣN-D ，ＣN-VDを入替えて、ＶＤを１インクリメントする（Ｈ７）。
【００８７】
そして、Ｄを１インクリメントし（Ｈ８）、Ｄ＝Ｎか否かを判定し（Ｈ９）、Ｄ≠Ｎの場合は、ステップ（Ｈ４）に移行する。又Ｄ＝Ｎの場合は、ｎにＶＩを代入し（Ｈ１０）、初期化処理を行う（Ｈ１１）。即ち、映像入力有数保持用変数ＶＩの値を映像信号源数ｎとして、画面合成処理を行うことができる。
【００８８】
例えば、映像信号源１−１〜１−４の場合、映像入力有無判定前、Ｃ1 ＝１−１、Ｃ2 ＝１−２、Ｃ3 ＝１−３、Ｃ4 ＝１−４、ｎ＝４、Ｎ＝４とすると、映像信号源入力有無判定部２１により、映像信号源１−１，１−３からの映像信号が入力されない場合、Ｃ1 ＝１−４、Ｃ2 ＝１−２、Ｃ3 ＝１−１、Ｃ4 ＝１−３、ｎ＝２、Ｎ＝４となるから、画面合成処理に於いては、映像信号源１−２，１−４からの映像信号を用いた２画面合成を行うことになる。
【００８９】
図１９は本発明の実施の形態の無効エリア用処理のフローチャートであり、前述の映像入力有無判定により入力無しに対応する画面合成メモリ６上のブロックが、合成画面に於ける無効エリアとなる。そこで、この無効エリア内に特殊データを挿入する場合を示すもので、先ず、映像入力有無判定により、ｎが２又は３になったか否かを判定し（Ｊ１）、ｎが２又は３でない場合は処理を終了する。又ｎが２又は３の場合、Ｎ用配列及びそのデータ群を取得する（Ｊ２）。
【００９０】
次に特殊データ格納用メモリ２７（図１６参照）に固定パターンを書込み（Ｊ３）、垂直方向縮小値ＶN ／２を設定し（Ｊ４）、水平方向縮小値ＨN ／２を設定し（Ｊ５）、画面合成先頭アドレスＸＳN ，ＹＳN を設定し（Ｊ６）、特殊データ格納アドレスを設定し（Ｊ７）、ＤＭＡコントローラ１４によるＤＭＡ２データ転送を行う（Ｊ８）。
【００９１】
Ｎ＝４とし、ｎ＝４用の配列からＮ番目（４番目）のデータを取り出す。この場合、
ＸＳN ＝ＸＳ＋Ｘ／２
ＸＥN ＝ＸＳ＋Ｘ
ＹＳN ＝ＹＳ＋Ｙ／２
ＹＥN ＝ＹＳ＋Ｙ
ＨN ＝１／２
ＯN ＝０
ＶＳN ＝ＶSTART
ＶＥN ＝ＶEND
の代入を行う。
【００９２】
ここで、特殊データ格納用メモリ２７の水平・垂直方向の先頭アドレスをそれぞれＸＤ，ＹＤとし、このアドレスＸＤ，ＹＤに対して何らかの固定パターンデータの書込処理を行う。例えば、黒固定、青固定等の色固定データ、メーカロゴ等の固定ビットマップデータ、「画面合成中」，「映像信号源１，４の入力無」等のメッセージ、その他のユーザデータ等を用いることができる。
【００９３】
前述の特殊データ格納用メモリ２７に特殊データを書込んだ後、水平・垂直方向縮小化部２３に、水平方向縮小値ＨN 及び垂直方向縮小値ＶN ／２を設定する。なお、このＶN は、間引き無しの１フレーム取込みの時は２、間引き有りの１フィールド取込みの時は１となるインクリメント値に相当する。そして、ＤＭＡコントローラ１４に、転送先アドレスとして、画面合成用メモリ６の先頭アドレスＸＳN ，ＹＳN を指示し、転送元アドレスとして特殊データ格納用メモリ２７の先頭アドレスＸＤ，ＹＤを指示し、Ｘ×Ｙ分のデータ転送を行わせる。
【００９４】
このＤＭＡコントローラ１４により転送制御されるＸ×Ｙ分のデータは、水平・垂直方向縮小化部２３により、水平及び垂直方向にそれぞれ１／２に間引かれて画面合成用メモリ６のＮ番目（４番目）のブロックに格納される。この無効エリア用処理は、映像信号源のチャネル切替えが一周する度に呼出されるから、アクティブに特殊データ内容を変更して受信側へ送出することが可能となる。
【００９５】
図２０は本発明の他の実施の形態の無効エリア用処理のフローチャートであり、無効エリアに受信復号化したデータを挿入して返送する場合に適用できるもので、ステップ（Ｋ１），（Ｋ２）は、図１９のステップ（Ｊ１），（Ｊ２）と同様であり、ｎ＝２又は３の場合についてステップ（Ｋ２）に移行し、次に復号化フレーム更新管理用変数ＲＣＶの値をチェックする（Ｋ３）。これは、復号化制御部２６により１フレーム復号化される毎に１に変更され、復号化処理結果を画面合成用メモリ６に転送すると０に変更される。即ち、前回、この処理が動作を開始してから復号化用メモリ２４の内容が更新されたか否かを管理する変数である。従って、ＲＣＶ＝０の場合は、前回と同様のデータが復号化用メモリ２４に格納されているので、上書きする必要がないから、処理を終了する。
【００９６】
又ＲＣＶ＝１の場合は、図１９のステップ（Ｊ４）〜（Ｊ６）と同様のステップ（Ｋ４）〜（Ｋ６）により、垂直方向縮小値ＶN ／２、水平方向縮小値ＨN 、画面合成先頭アドレスＸＳN ，ＹＳN を設定し、特殊データ格納アドレスの代わりに、復号化受信データ格納アドレスを設定し（Ｋ７）、ＤＭＡコントローラ１４によりデータ転送を行い（Ｋ８）、このデータ転送完了によりＲＣＶに０を代入する（Ｋ９）。この場合、受信復調したデータが、水平・垂直方向縮小部２３により縮小されて、画面合成用メモリ６の無効エリアのブロックに書込まれ、映像信号源からの映像信号と共に合成されて送信される。
【００９７】
この場合も、映像信号源のチャネル切替えが一周する度に無効エリア用処理が呼出されるから、受信復号化したデータを常に更新して送信することができる。従って、相手側には、送信画像が折返されることになるから、送信画像の確認を行うことができる。又予め他のメモリに格納してある符号化済み録画データを復号化処理できるシステムの場合、生映像と録画再生映像との画面合成を行うことも容易である。この場合、例えば、図４１の（Ｃ）に示すような合成画面を容易に形成することができる。
【００９８】
図２１は本発明の更に他の実施の形態の無効エリア用処理のフローチャートであり、合成画面内の無効エリアを利用して、重要な画像を拡大表示可能に合成する場合を示す。この場合、重要な画像を撮像する映像信号源のチャネル番号をＦ1 として重み付けした場合を説明する。先ず、ｎ＝２か否かを判定し（Ｌ１）、ｎ≠２の場合は、ｎ＝３か否かを判定し（Ｌ４）、Ｌ≠３の場合は、ｎが２又は３でない場合であるから、処理を終了する。
【００９９】
又ｎ＝２の場合、例えば、図２２の（Ａ）に示すように、画面合成用メモリ６のブロックｂ１，ｂ２を用いた画面合成を行う。この場合、ブロックｂ１，ｂ２は、（Ｃ）に示すように、上下Ｙ／４を除くＹ／２の画像取込領域に相当する大きさとなる。又ブロックｂ１，ｂ２を同一の大きさとすることにより、重み付けをしたチャネル番号を考慮する必要はない。
【０１００】
従って、画面合成用メモリ１の拡大合成用配列を取得し（Ｌ２）、画面合成用メモリ２の拡大合成用配列を取得する（Ｌ３）。この場合の拡大合成用配列は、映像信号源等に対応して予め設定しておくものである。この場合、例えば、Ａ＝１，２に関して取得した配列からＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。具体的な設定例として、
ＸＳ1 ＝ＸＳ2 ＝ＸＳ
ＸＥ1 ＝ＸＥ2 ＝ＸＳ＋Ｘ
ＹＳ1 ＝ＹＳ
ＹＳ2 ＝ＹＳ＋Ｙ／２
ＹＥ1 ＝ＸＳ＋Ｙ／２
ＹＥ2 ＝ＹＳ＋Ｙ
Ｈ1 ，Ｈ2 ＝１
Ｖ1 ，Ｖ2 ＝２
Ｏ1 ，Ｏ2 ＝１
ＶＳ1 ，ＶＳ2 ＝ＶSTART ＋１Ｙ／４
ＶＥ1 ，ＶＥ2 ＝ＶSTART ＋３Ｙ／４
となる。
【０１０１】
映像信号は、奇数フィールドと偶数フィールドとを取込み、画面合成用メモリ上では交互に格納する。従って、画面合成用メモリのインクリメントチャネルＶA は２、奇偶フィールド取込み変数ＯA は１となる。
【０１０２】
又ｎ＝３の場合は、例えば、図２２の（Ｂ）に示すような画面合成を行う。この場合、ブロックｂ２に格納する映像信号のチャネルにＦ1 の重み付けを行った場合である。即ち、Ｄに１を代入し（Ｌ５）、ＣD ＝Ｆ1 か否かを判定し（Ｌ６）、ＣD ≠Ｆ1 の場合は、Ｄを１インクリメントし（Ｌ７）、Ｄ＞ｎか否かを判定し（Ｌ８）、Ｄ＞ｎでない場合はステップ（Ｌ６）に移行し、Ｄ＞ｎの場合は、Ｄ＝１〜Ｄ＝ｎの間に重み付けした映像信号チャネルがない場合であるから、処理を終了する。又ＣD ＝Ｆ1 の場合、映像信号源Ｃ2 ，ＣD を入れ替え（Ｌ９）、画面合成用メモリ２の拡大合成用配列を取得する（Ｌ１０）。
【０１０３】
即ち、Ｄ＝１からＤ＝ｎまでＣD とＦ1 とを比較し、ＣD ＝Ｆ1 の場合に、このＣD とブロックｂ２に対応するＣ2 とを入れ替える。それにより、ブロックｂ２（図２２の（Ｂ）のｂ２参照）にチャネルＦ1 を割付けて、映像信号を格納する。そして、ｎ＝２の場合と同様に、画面合成用メモリ２の拡大合成用配列を取得する（Ｌ１０）。そして、Ａ＝２に関して取得した配列からＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。具体的な設定例は、ｎ＝２の場合と同様である。
【０１０４】
ブロックｂ２の映像取込みは、奇数フィールドと偶数フィールドとを共に行い、且つ画面合成用メモリ上では交互に格納する。従って、画面合成用メモリのインクリメントチャネルＶA は２、奇偶フィールド取込み変数ＯA は１となる。又割込信号は、映像信号の（ＹＳ＋Ｙ／４）ラインと、（ＹＳ＋３Ｙ／４）ラインとに於いて発生し、ＤＭＡ転送開始、終了処理を行うことになる。なお、図２２の（Ｂ）のブロックｂ１，ｂ２については、先に説明した各実施の形態に於ける４画面合成の場合と同様であり、例えば、偶数フィールドのみを取込み、画面合成用メモリ上では連続的に格納する。
【０１０５】
図２３及び図２４は本発明の実施の形態のズームアップ処理を含む無効エリア処理のフローチャートであり、合成画面内の無効エリアにズームアップ表示させる為に重み付けしたチャネル番号をＦ2 とする。図１９のステップ（Ｊ１）及び図２０のステップ（Ｋ１）と同様に、ｎ＝２又は３かを判定し（Ｍ１）、ｎが２又は３でない場合は処理を終了する。
【０１０６】
又ｎが２又は３の場合、Ｄに１を代入し（Ｍ２）、ＣD ＝Ｆ2 か否かを判定する（Ｍ３）。ＣD ≠Ｆ2 の場合は、Ｄを１インクリメントし（Ｍ４）、Ｄ＞ｎか否かを判定し（Ｍ５）、Ｄ＞ｎの場合は処理を終了し、Ｄ＞ｎでない場合はステップ（Ｍ３）に移行する。
【０１０７】
ＣD ＝Ｆ2 の場合、映像信号源Ｃ2 ，ＣD の入れ替えを行い（Ｍ６）、画面合成用メモリＮの拡大合成用配列を取得し（Ｍ７）、ＡにＮを代入し（Ｍ８）、映像信号セレクタ２（図１６参照）にＣA を設定し（Ｍ９）、画面合成用メモリのインクリメントチャネルＶA を設定し（Ｍ１０）、水平方向縮小値ＨA を設定し（Ｍ１１）、画像転送先アドレスＸＯ，ＹＯにＸＤ，ＹＤを代入し（Ｍ１２）、ＦＬＡＧに１を代入し（Ｍ１３）、割込発生条件ＶＳA を設定し（Ｍ１４）、割込マスクを解除する（Ｍ１５）。
【０１０８】
そして、ＦＬＡＧ＝０となるか否かを判定し（Ｍ１６）、０となると、割込みをマスクし（Ｍ１７）、垂直方向縮小値ＶA ／２を設定し（Ｍ１８）、水平方向縮小値ＨA を設定し（Ｍ１９）、画面合成先頭アドレスＸＳA ，ＹＳA を設定し（Ｍ２０）、データ転送先アドレスＸＤ＋ＸＺ，ＹＤ＋ＹＺを設定し（Ｍ２１）、ＤＭＡコントローラ１４によるＤＭＡ２転送を行う（Ｍ２２）。
【０１０９】
重み付けしてズームアップ表示を行うことを示すチャネルＦ2 は、例えば、図２２の（Ｄ）に示すように、アドレス（ＸＺ，ＹＺ）からアドレス（ＸＺ＋Ｘ／２，ＹＺ＋Ｙ／２）の領域を画像取込領域とし、等倍で画面合成用メモリに取込むようにＤＭＡ転送する。即ち、他のブロックは間引き処理した映像信号を合成するから、この無効エリアに合成する映像信号については、見かけ上拡大したものとなる。
【０１１０】
又ステップ（Ｍ６）に於けるＣD とＣn との入れ替えの理由は、次の２点がある。先ず（１）．無効エリア用処理が呼出される時、映像信号源のチャネルは画面合成用メモリ内ブロックｎに取込まれるものであり、再取込みを行う際に、チャネルの切替えによる時間的損失を少なくする為である。又（２）．ズームアップしている映像とズームアップしない映像とが隣接している方が、ユーザの観測に好都合である為である。
【０１１１】
又ズームアップ取込み用配列及び設定値群は、適用するシステムに対応して予め設定しておくことができる。そして、Ａ＝Ｎに関して取得した配列から、ＸＳA ，ＸＥA ，ＹＳA ，ＹＥA ，ＨA ，ＶA ，ＯA ，ＶＳA ，ＶＥA を取得する。その具体例を次に示す。
ＸＳN ＝ＸＳ＋Ｘ／２
ＸＥN ＝ＸＳ＋Ｘ
ＹＳN ＝ＹＳ＋Ｙ／２
ＹＥN ＝ＹＳ＋Ｙ
ＨN ＝１
ＶN ＝２
ＯN ＝１
ＶＳN ＝ＶSTART
ＶＥN ＝ＶEND
【０１１２】
前述のように、奇数フィールドと偶数フィールドとを共に取込み、且つ画面合成用メモリ上には交互に格納する。従って、インクリメント値ＶN は２、奇偶フィールド取込み変数ＯN は１となる。
【０１１３】
前述の処理が完了した後、映像信号源からの映像信号取込み処理を開始する。先ず、Ａ＝Ｎとして、特殊データ格納用メモリ２７（図１６参照）を用いる。又映像信号セレクタ２にＣA を設定する。このＣA の値がＦ2 であると、映像信号源Ｆ2 の映像信号が映像信号セレクタ２によって選択される。又ＤＭＡコントローラ１３に画面合成用イクリメント値ＶN を設定し、水平方向縮小化部４に水平方向縮小値ＨN を設定し、同時に画像転送先アドレスＸＯ，ＹＯに特殊データ格納用メモリ２７内の取込み位置ＸＤ，ＹＤを代入する。即ち、映像信号源からの映像信号を画面合成用メモリ６ではなく、一旦、特殊データ格納用メモリ２７に格納する。
【０１１４】
前述の処理が完了すると、映像取込み完了認識用変数ＦＬＡＧに１を代入し、割込発生条件にＶＳN を設定し、割込マスクを解除する。それにより、割込ハンドラ１１内の処理によって、ｎ＝１の場合と同様の映像信号取込み手段によって、特殊データ格納用メモリ２７に１フレーム分の間引き処理されていないデータが取込まれ、それにより、ＦＬＡＧが０になる。
【０１１５】
割込ハンドラ１１の処理中は、ＦＬＡＧの値を監視し、その値が０になるのを待つことになる。そして、０になると、映像信号源の映像信号を１フレーム分取込み完了したことを意味するから、割込みをマスクし、ＤＭＡコントローラ１４に、転送先アドレスとして、画面合成用メモリ６の先頭アドレスＸＳA ，ＹＳA を指定し、転送元アドレスとして、特殊データ格納用メモリ２７の先頭アドレスＸＤ＋ＸＺ，ＹＤ＋ＹＺを指定し、Ｘ×Ｙ分のデータ転送を行わせる。このＤＭＡコントローラ１４により転送されたＸ×Ｙ分のデータは、水平方向及び垂直方向に間引きなしに、即ち、等倍で、画面合成用メモリ６内のＮ番目のブロックに格納される。前述の処理により、受信再生画像は、例えば、図４１の（Ｄ）の右上のような拡大画像となる。
【０１１６】
図２５は本発明の第５の実施の形態の画面合成処理のフローチャートであり、重み付けしたチャネルの映像信号を優先的に取込んで処理する場合を示す。前述の画面合成処理を要約すると次のようになる。（ａ）総ての映像信号を完全に取込み処理を完了してから符号化処理若しくは送信処理を行う。（ｂ）符号化処理中に取込み可能な映像信号の取込み処理を行う。（ｃ）１映像信号源からの映像信号の取込み完了毎に符号化処理若しくは送信処理を行う。従って、受信再生画像は、ブロック単位で更新された合成画面となる。
【０１１７】
例えば、１秒間に３０フレームを符号化して送信するシステムに於いては、４画面合成を行った時、１ブロック当たりのフレームレートは、約３〜７．５となる。このようなシステムに於いて、或る映像信号源による画像について、その動きが良く判るようにすることが要望されることがある。そこで、この実施の形態は、このような映像信号源について重み付けを行い、その映像信号源からの映像信号を重点的に取込むようにして、フレームレートを大きくし、動きが良く判る受信再生画像が得られるようにするものである。
【０１１８】
前述の重み付けを行ったチャネル番号をＦ3 として説明する。先ず、初期化処理を行い（Ｎ１）、変数Ａ，Ｂに１を代入し（Ｎ２）、Ｄに１を代入し（Ｎ３）、ＣD ＝Ｆ3 か否かを判定し（Ｎ４）、ＣD ≠Ｆ3 の場合は、Ｄを１インクリメントし（Ｎ５）、Ｄ＞ｎか否かを判定し（Ｎ６）、Ｄ＞ｎでない場合はステップ（Ｎ４）に移行し、Ｄ＞ｎの場合は次のステップ（Ｎ８）に移行する。
【０１１９】
又ＣD ＝Ｆ3 の場合は、映像信号源Ｃ1 とＣD との入れ替えを行う（Ｎ７）。即ち、Ｄ＝１からＤ＝ｎまでＣD とＦ3 との比較を行い、ＣD とＦ3 とが同一の場合、その時のＣD とＣ1 とを入れ替える。この入れ替えにより、Ｆ3 と同一のチャネルの映像信号を、チャネル番号１に対応する合成画面のブロック１に格納し、チャネル番号Ｆ3 に対応する合成画面のブロックにチャネル番号１の映像信号を格納する。
【０１２０】
次に、前述の各実施の形態に於ける設定処理と同様に、ＣA の設定（Ｎ８）、ＶA の設定（Ｎ９）、ＨA の設定（Ｎ１０）、ＸＳA ，ＹＳA の代入（Ｎ１１）、ＦＬＡＧに１代入（Ｎ１２）、ＶＳA 設定（Ｎ１３）、割込マスク解除（Ｎ１４）を行い、ＦＬＡＧ＝０か否かを監視し（Ｎ１５）、０となると、割込みをマスクし（Ｎ１６）、符号化処理若しくは送信処理を行う（Ｎ１７）。
【０１２１】
そして、Ａ＝１か否かを判定し（Ｎ１８）、Ａ≠１の場合はＡに１を代入して（Ｎ２０）、ステップ（Ｎ８）に移行する。又Ａ＝１の場合は、Ｂを１インクリメントし、Ｂ＞ｎの場合はＢに２を代入する。又Ｂの値をＡに代入する（Ｎ１９）。例えば、チャネルＣ1 （＝Ｆ3 ）の映像信号の取込みを行い、Ａ＝１か否かを判定すると（Ｎ１８）、最初はＡ＝１，Ｂ＝１であるから、ステップ（Ｎ１９）に移行して、Ｂを１インクリメントし、そのＢをＡに代入するから、Ａ＝Ｂ＝２となる。そして、再度変数の設定を行い、チャネルＣ2 の映像信号の取込みを行い、再度Ａ＝１か否かを判定する（Ｎ１８）。この場合はＡ≠１であるから、ステップ（Ｎ２０）に於いてＡに１を代入する。そして、Ａ＝１対応の変数を設定した後、チャネルＣ1 （＝Ｆ3 ）の映像信号の取込みを行うことになる。
【０１２２】
従って、４画面合成の場合、Ｃ1 →Ｃ2 →Ｃ1 →Ｃ3 →Ｃ1 →Ｃ4 →Ｃ1 ・・・のように、２回に１回は重み付けしたチャネルＣ1 （＝Ｆ3 ）の映像信号を取込み、画面合成を行うことができるから、このチャネルＣ1 のフレームレートを高くすることができる。例えば、前述の例に対応させると、フレームレートは、１秒間に７〜１５フレームとすることができる。
【０１２３】
前述のように、画面合成と符号化処理とが直接的に関連を持っているから、例えば、合成画面のブロック毎に量子化ステップを設定して、重要なブロックの解像度を高くすることができる。又ブロック毎に動きベクトルの探索範囲を設定して、再生画像の画質を向上することができる。
【０１２４】
図２６はＣＩＦの説明図であり、Ｈ．２６１符号化に於いては、画像データをＣＩＦ（Ｃommon Ｉntermediate Ｆormat ）又はＱＣＩＦ（Ｑuarter Ｃommon Ｉntermediate Ｆormat ）によるサイズとして取扱うものであり、ＣＩＦの場合は、図示のように、３５２×２８８（画素）を１フレームとしている。このＣＩＦフレームは、１２個のブロックＧＯＢからなり、各ブロックＧＯＢは、下方に拡大して示すように３３個のマクロブロックからなる。又各マクロブロックは、４個の輝度ブロックＹと、２個の色差ブロックＵ，Ｖとにより構成されており、輝度ブロックＹは４ブロックから構成されている。このＣＩＦフレームの符号化は、基本的にはマクロブロック単位で行われるものである。
【０１２５】
図２７は符号化部の説明図であり、図１及び図１６に於ける符号化部８を、ハイブリッド符号化構成とした場合を示すものであり、各図と同一符号は同一部分を示し、３１は画面合成部、３２は差分処理部、３３，３４はセレクタ、３５は離散コサイン変換部（ＤＣＴ）、３６は量子化部、３７は送信バッファ、３８は逆量子化部、３９は逆離散コサイン変換部（ＩＤＣＴ）、４０は加算処理部、４１は動き補償部、４２はループ内フィルタ、５１は送受信処理部、５２は受信バッファ、５３は逆量子化部、５４は逆離散コサイン変換部（ＩＤＣＴ）、５５は加算処理部、５６はループ内フィルタ、５７は動き補償部、５８はセレクタである。
【０１２６】
画面合成部３１は、図１又は図１６に於ける画面合成用メモリ６等を含み、複数の映像信号源１−１〜１−ｎからの映像信号を合成する機能部分を示し、画面合成された映像信号を符号化用メモリ７に転送し、この符号化用メモリ７に格納された合成１画面分について、例えば、８×８画素のブロック単位に符号化処理を行うものである。
【０１２７】
この符号化処理に於いて、セレクタ３３，３４を図示の状態とすることにより、フレーム間予測符号化を行うことになり、その場合のブロックはインターブロックと称されるものである。又セレクタ３３，３４を図示状態から切替えると、フレーム内符号化を行うことになり、その場合のブロックはイントラブロックと称されるものである。
【０１２８】
又セレクタ３３を介して離散コサイン変換部３５に入力された８×８画素のブロックに離散コサイン変換処理を施し、それによるＤＣＴ係数を量子化部３６に入力する。この場合、映像信号の性質により、ＤＣＴ係数は直流成分を含む低周波成分が大半を占めることになるから、高周波成分を切り捨てることが可能となる。従って、この離散コサイン変換処理によっても情報量を圧縮することができる。更に、量子化部３６に於いてＤＣＴ係数を量子化し、送信バッファ３７に転送する。この場合、量子化部３６に於ける量子化値（量子化ステップ）を小さくすると、発生情報量が多くなるが、受信再生画像の画質は良好となる。反対に、量子化値を大きくすると、発生情報量は少なくなるが、受信再生画像の画質は劣化する。
【０１２９】
又送受信処理部５１は、送信バッファ３７に蓄積されたデータをネットワーク等の伝送帯域に従った一定の速度で送信処理を行うものである。又符号化制御部１０は、送信バッファ３７の蓄積量を監視し、オーバーフロー又はアンダーフローが生じないように、量子化部３６の量子化値（量子化ステップ）を制御するものである。
【０１３０】
又逆量子化部３８，逆離散コサイン変換部３９，加算処理部４０，動き補償部４１，ループ内フィルタ４２等を含む構成により、符号化フレームを再生し、差分処理部３２に於けるフレーム間差分を求める。又動き補償部４１は、或る大きさのブロックが、前回のフレームと今回のフレームとに於いて差分が最小となる位置を求め、その移動先を動きベクトルとし、フレーム間差分が小さくなるように処理するものである。又ループ内フィルタ４２は、量子化によって発生した歪みが蓄積されて、フレーム間予測効率の低下を少なくするもので、ブロック単位の空間的なローパスフィルタである。
【０１３１】
又送受信処理部５１を介して受信したデータは、受信バッファ５２を介して逆量子化部５３に入力されて逆量子化され、逆離散コサイン変換部５４により逆離散コサイン変換され、加算処理部５５とループ内フィルタ５６と動き補償部５７とセレクタ５８とにより、フレーム内復号化又はフレーム間復号化を行って、復号化用メモリ２４に格納する。
【０１３２】
前述の量子化部３６に於いて、Ｈ．２６１符号化の場合、１マクロブロック当たり一つの量子化値を割当てることができる。この量子化値は１〜３１の値とすることができるものである。前述のように、この量子化値が小さいと、発生情報量が多くなり、反対に量子化値が大きいと、発生情報量は少なくなる。即ち、全体的に量子化値が小さければ、画質が良好で動きの滑らかな画像を送信することができ、又量子化値が大きければ、画質が粗く動きが飛び飛びの状態の画像を送信することができる。
【０１３３】
一連の符号化処理を終えたデータは送信バッファ３７に蓄積され、送受信処理部５１によってネットワークの伝送帯域に対応した一定速度で送信され、蓄積される速度は符号化処理による発生情報量に従ったものとなる。そこで、送信バッファ３７のオーバーフローを防止する為に、蓄積量が増加して所定値を超えると、量子化値を大きくし、反対に、送信バッファ３７のアンダーフローを防止する為に、蓄積量が所定値以下に減少すると、量子化値を小さくするように、符号化制御部１０により量子化部３６を制御する。
【０１３４】
今、使用可能な量子化値のうちの一番小さい量子化値をＱｍｉｎ、一番大きい量子化値をＱｍａｘ、実際に選択されている量子化値をＱとする。例えば、Ｑｍｉｎ＝３，Ｑｍａｘ＝１２とし、送信バッファ２７の容量が１ｋバイトであるとすると、送信バッファ２７の占有量と量子化値との関係を次のように制御することができる。
占有量が９００バイト以上の時、Ｑ＝１２
占有量が８００バイト以上９００バイト未満の時、Ｑ＝１１
占有量が７００バイト以上８００バイト未満の時、Ｑ＝１０
占有量が６００バイト以上７００バイト未満の時、Ｑ＝９
占有量が５００バイト以上６００バイト未満の時、Ｑ＝８
占有量が４００バイト以上５００バイト未満の時、Ｑ＝７
占有量が３００バイト以上４００バイト未満の時、Ｑ＝６
占有量が２００バイト以上３００バイト未満の時、Ｑ＝５
占有量が１００バイト以上２００バイト未満の時、Ｑ＝４
占有量が１００バイト未満の時、Ｑ＝３
【０１３５】
この量子化部３６に於ける量子化値を、重み付けしたチャネルに対しては、他のチャネルと異なる制御を行って、重み付けしたチャネルの受信再生画像の画質を良好なものとすることができる。
【０１３６】
図２８は本発明の実施の形態の量子化値決定処理のフローチャートであり、重み付けしたチャネル番号をＦ4 とする。先ずＤに１を代入し（Ｐ１）、次にＣD ＝Ｆ4 か否かを判定し（Ｐ２）、ＣD ≠Ｆ4 の場合は、Ｄを１インクリメントし（Ｐ５）、Ｄ＞ｎか否かを判定し（Ｐ６）、Ｄ＞ｎでない場合はステップ（Ｐ２）に移行し、Ｄ＞ｎの場合は、最小量子化値Ｑｍｉｎと最大量子化値Ｑｍａｘとを使用可能量子化範囲として設定する（Ｐ９）。
【０１３７】
又ＣD ＝Ｆ4 の場合、画面合成用メモリ内のＤエリア情報を獲得し（Ｐ３）、Ｄエリア内か否かを判定し（Ｐ４）、Ｄエリア内の符号化を行っている場合、αだけ小さい値の最小量子化値Ｑｍｉｎ−αと最大量子化値Ｑｍａｘ−αとを使用可能量子化範囲とて設定する（Ｐ７）。又Ｄエリア以外は、全体の発生情報量を一定に保つ為に、βだけ大きい値の最小量子化値Ｑｍｉｎ＋βと最大量子化値Ｑｍａｘ＋βとを使用可能量子化範囲として設定する（Ｐ８）。この場合のα及びβは、１〜５程度とすることができる。そして、送信バッファ３７の占有量に応じて、使用可能量子化範囲内で量子化値を決定し（Ｐ１０）、量子化を行う（Ｐ１１）。
【０１３８】
例えば、最小量子化値Ｑｍｉｎを３、最大量子化値Ｑｍａｘを１２とし、α及びβを２とすると、重み付けしたチャネルの映像信号に対しての最小量子化値Ｑｍｉｎは１、最大量子化値Ｑｍａｘは１０となり、他のチャネルの映像信号に対しての最小量子化値Ｑｍｉｎは５、最大量子化値Ｑｍａｘは１５となり、合成画面全体としての発生情報量は、優先的量子化値制御を行わない場合とほぼ同一となる。
【０１３９】
なお、４画面合成の場合は、図２６のＣＩＦのブロック１〜１２をＧＯＢ１〜ＧＯＢ１２とすると、Ｄ＝１の時に、ＧＯＢ１，ＧＯＢ３，ＧＯＢ５を使用可能量子化範囲をステップ（Ｐ７）により量子化値を小さくするエリアとし、同様に、Ｄ＝２の時、ＧＯＢ７，ＧＯＢ９，ＧＯＢ１１を量子化値を小さくするエリアとする。又Ｄ＝３の時は、ＧＯＢ２，ＧＯＧ４，ＧＯＢ６、Ｄ＝４の時は、ＧＯＢ８，ＧＯＢ１０，ＧＯＢ１２をそれぞれ量子化値を小さくするエリアとする。従って、全体の情報発生量をほぼ一定として、重み付けしたチャネルの映像信号のみを量子化値を小さくして良好な画質の画像として送信することができる。
【０１４０】
前述の実施の形態は、重み付けしたチャネルの優先的量子化値制御についてのものであるが、フレーム間の予測符号化を行うか否かについても同様に制御することができる。即ち、フレーム内符号化は、符号化による歪みは小さいが、発生情報量が多くなる。又フレーム間予測符号化は、前フレーム内のエリアとの差分を用いて符号化を行うもので、符号化による歪みが大きくなるが、発生情報量は少なくなる。
【０１４１】
そこで、優先的量子化値制御に於ける重み付けしたチャネル番号Ｆ4 と同様な重み付けを行ったチャネルの映像信号に対しては、フレーム内符号化処理を行い、他のチャネルの映像信号に対しては、フレーム間予測符号化処理を行うように切替えることができる。即ち、前述の優先的量子化値制御の場合と同様に、画面合成用メモリ内のＤエリア情報を取得し、Ｄエリア（重み付けしたチャネル対応のブロック）であれば、フレーム内符号化処理を行い、それ以外のブロックに対しては、フレーム間予測符号化処理を行うように切替える。このような処理によって、重要な画面の精細度を保持する優先的予測符号化制御を行うことができる。
【０１４２】
又動き補償についても、その探索範囲について、重み付けしたチャネルの映像に対して広くするように制御することができる。例えば、Ｈ．２６１の動き補償は、マクロブロック単位で輝度信号に対してのみ行うもので、探索範囲が広い場合、現ブロックに近い値のブロックが見つかる可能性が高くなる為、符号化による歪みが小さくなるが、探索時間が長くなり、符号化処理全体の時間が長くなる。反対に、探索範囲が狭い場合、現ブロックに近い値のブロックが見つかる可能性が低くなる為、符号化による歪みが大きくなるが、探索時間が短く、符号化処理全体の時間が長くなることはない。
【０１４３】
そこで、画面合成用メモリ内のＤエリア情報を取得し、Ｄエリア内（重み付けしたチャネル対応のブロック）であれば、±αの範囲を探索範囲とし、それ以外のブロックに対しては、±βの範囲を探索範囲とする優先的動き補償探索範囲制御を行うことができる。その場合のαは例えば１５、βは７若しくは０（探索を行わない）とすることができる。それによって、重み付けしたチャネルの映像信号に対してのみ符号化歪みの小さい画像として伝送することができる。
【０１４４】
又ループ内フィルタ４２（図２７参照）は、量子化によって発生した歪みを、動き補償用メモリ（動き補償部４１内）に蓄積された量子化誤差を低減させる為のローパス・フィルタである。従って、ループ内フィルタ４２によりシャープな画像もぼけたものとなる。そこで、量子化値が小さく、量子化誤差が少ない場合に、ループ内フィルタ４２を切り離し、量子化値が大きく、量子化誤差が多い場合に、ループ内フィルタ４２を接続するように制御する優先的ループ内フィルタ制御を行うことができる。即ち、前述の優先的量子化値制御と連動してループ内フィルタ４２の切替制御を行うことができる。
【０１４５】
又前述の予測符号化決定制御に於いて、画面合成用メモリ内のＤエリア情報を取得し、Ｄエリア内（重み付けしたチャネル対応のブロック）であれば、フレーム内符号化を行い、符号化による歪みが小さくなることから、ループ内フィルタ４２を切り離し、又Ｄエリア以外のブロックに対しては、フレーム間予測符号化を行い、符号化による歪みが大きくなることから、ループ内フィルタ４２を接続するように、切替制御を行うことができる。
【０１４６】
図２９は映像信号情報取得部の説明図であり、映像信号源１−１〜１−ｎからの映像信号は、映像信号セレクタ２を介して、図１又は図１６に示す入力信号Ｖ・Ｈ監視部３に入力される。又各映像信号源１−１〜１−ｎからの拡張データを情報取得部６１により収集して、画面合成制御部９に転送する。
【０１４７】
拡張データは、解像度情報やフレームレート情報等を含むものである。映像信号源１−１〜１−ｎは、この拡張データの伝送機能を有するディジタルカメラや、ＭＰＥＧ１，Ｈ．２６１，ＪＰＥＧ等の復号化部を含む構成を有するものである。解像度情報としては、ディジタルカメラの場合、その有効エリア領域、ＭＰＥＧ復号化部の場合、符号化フレームの解像度（７０４×４８０等）、Ｈ．２６１復号化部の場合、ＣＩＦ（３５２×２８８）又はＱＣＩＦ（１７６×１４４）、ＪＰＥＧ復号化部の場合、その解像度等とすることができる。又フレームレート情報は、ディジタルカメラの場合、２９．９７Ｈｚ、復号化部の場合、デコードフレームレートとすることができる。
【０１４８】
情報取得部６１或いは画面合成制御部９は、映像信号源１−１〜１−ｎからの拡張データを基に重み付けするチャネルを決定し、前述の各実施の形態に従った画面合成処理を行うことができる。例えば、画面合成を行う為の映像信号源からのフレームレート情報を基に、最も大きいフレームレートのチャネルに重み付けし、そのチャネルの映像信号を優先的に取込むように制御することができる。又解像度情報を基に、最も解像度を高いチャネルに重み付けし、そのチャネルの映像信号をズームアップする画面合成処理を行うことができる。
【０１４９】
又重み付けとして、符号化部８に於ける情報を用いて行うことができる。例えば、ハイブリッド符号化部を有するシステムの場合、動き補償を利用することができる。即ち、動き補償により発生した動きベクトル（符号化ブロックと参照ブロックとのアドレス差）が大きければ、そのエリアは前フレームとの差分が大きいことを意味し、その映像信号源から動きの大きい映像信号を取込んだことになる。このように動きの大きい場合は、何らかのイベントが発生したものと推定することができる。そこで、この映像信号源に重み付けし、優先的取込みやズームアップ処理を行うことができる。
【０１５０】
或る時間の符号化フレームｔからｓフレーム分の動き量をサンプリングする場合、符号化フレームｔに於ける水平方向ｘ、垂直方向ｙの動きベクトルのスカラー量をｕt,x,y とすると、画面合成用メモリ内のＡブロックの動きベクトルの総和ＵA は、
ＵA ＝ΣT=t t+s Σx=xj xhΣy=yj yh ｕT,x,y
と表すことができる。ここで、４画面合成の場合、
ｘｊ＝０，ｙｊ＝０，ｘｈ＝１７６，ｙｈ＝１４４（ブロック１）
ｘｊ＝０，ｙｊ＝１４４，ｘｈ＝１７６，ｙｈ＝２８８（ブロック２）
ｘｊ＝１７６，ｙｊ＝０，ｘｈ＝３５２，ｙｈ＝１４４（ブロック３）
ｘｊ＝１７６，ｙｊ＝１４４，ｘｈ＝３５２，ｙｈ＝２８８（ブロック４）
となる。
【０１５１】
このようにして得られた画面合成用メモリ内のＡブロックの動きベクトルの総和ＵA を、Ａ＝１からＡ＝ｎまで比較し、最も総和ＵA が大きくなるＡの映像信号源チャネルＣA を重み付けするチャネルとする。又拡大，ズームアップの切り出し部分は、最も動きベクトルが大きかったブロックが中央に来るように指定する。この動きベクトルが最も大きくなるブロックを求める演算は、ｓフレーム毎に行い、常にどのチャネルの映像信号が最も動き量が大きいかを監視し、変更があれば、その都度入れ替えることができる。
【０１５２】
又前述の映像信号の取込み直後に於いて各種の制御を行うことができる。例えば、ネットワークに対しては一定速度でデータを送出することになり、従って、符号化処理を最適化することが有効となる。例えば、６４ｋｂｐｓの回線に対して、１秒間に１０フレームを送信したい場合、１フレーム当たりのデータ量は、８００バイトとなり、１マクロブロック当たりのデータ量は２バイトとなる。即ち、符号化処理により、２バイトとなるような量子化値を設定することが望ましいことになる。
【０１５３】
しかし、４画面合成を行い、１ブロックの映像信号の取込み毎に全体の符号化を行うと、新規映像信号取込みのブロックに対しては通常の差分データが発生するが、それ以外のブロックに対しては映像信号が更新されていないから、差分データは発生しない。即ち、差分データが発生しない場合、１マクロブロック当たりのデータ量は０バイトとなる。そこで、映像信号が更新されたブロックに対しては、１マクロブロック当たり８バイトを割当てることが可能となる。
【０１５４】
このような点を利用して、映像信号取込み直後の量子化値制御を行うことができる。例えば、図７の画面合成処理に於ける変数Ａは、量子化を行う際の画面合成用メモリ６内のＡブロックのみが映像信号を新規に取込むことを示し、このＡのブロックのみ差分量が存在し、それ以外の差分量は零となる。そこで、Ａのブロックの符号化を行う際に、量子化後のデータ量を通常の４倍に許容できる量子化値を割当てる。このような量子化値制御により、全体としての発生情報量をほぼ一定に維持して画面合成符号化を行うことができる。
【０１５５】
又シーンチェンジ等のフレーム間の相関が低い場合、フレーム内符号化が選択され、静止画のようなフレーム間の相関が高い場合、フレーム間予測符号化が選択される。前述のように、新規に映像信号を取込んだ場合は、前フレームとの間の相関は低いが、それ以外の映像信号については、前フレームとの相関が高いことになる。
【０１５６】
そこで、前述の量子化値制御の場合と同様に、画面合成用メモリ６のＡブロックのみが映像信号を新規に取込んでいるから、このＡのブロックはフレーム内符号化を行い、それ以外のブロックはフレーム間予測符号化を行うことができる。それにより、新規に取込んだフレームのみ、フレーム内符号化によって良好な画質として伝送する映像信号取込み直後の優先的予測符号化制御を行うことができる。
【０１５７】
又動き補償は、前述のように、前フレーム内で、現在符号化しているブロックと最も近い値を探索するものであり、画面合成に於ける新規に取込んだ映像信号に関しては、前フレームとは移動したブロックが存在する可能性が高いが、他のブロックは前フレームと同一で動きがないものである。そこで、前述の画面合成用メモリ６のＡブロックについてのみ動き補償処理を行い、その他のブロックは動き補償処理を省略する映像信号取込み直後の優先的動き補償探索範囲制御を行うことができ、符号化処理時間を短縮することができる。
【０１５８】
又映像信号取込み直後の優先的ループ内フィルタの切替制御を行うことができる。例えば、新規に取込んだ映像信号に関しては、フレーム間差分が大きく、量子化誤差が大きい可能性が高いが、それ以外の映像信号に関してはフレーム間差分が小さく、量子化誤差も小さくなるから、前述の画面合成用メモリ６のＡブロックの符号化に於いては、ループ内フィルタ４２（図２７参照）を接続し、それ以外のブロックの符号化時には、ループ内フィルタ４２を切り離すように切替制御することができる。
【０１５９】
図３０は動き補償及び画面合成配置の説明図であり、動き補償は、前述のように、Ｈ．２６１ではマクロブロック単位で輝度信号について行うものである。或るフレームｔの動き補償を行う際には、前に符号化したフレームｔ−１を用いるもので、（Ａ）はフレームｔの先頭アドレス（ｘ，ｙ）と最終アドレス（ｘ＋１６，ｙ＋１６）とのマクロブロックを示し、（Ｂ）はアドレス（ＸＬ，ＹＬ），（ＸＨ，ＹＨ）の探索範囲を示す。
【０１６０】
フレームｔのマクロブロックのアドレスを前述のように（ｘ，ｙ）、画素の輝度をｋt,x,y とし、フレームｔ−１の参照用マクロブロックのアドレスを（ｘ’，ｙ’）として、フレームｔのアドレス（ｘ，ｙ）とフレームｔ−１のアドレス（ｘ’，ｙ’）とに於ける輝度値の絶対差分の和Ｋx',y' は、ｉ＝０〜１５，ｊ＝０〜１５として、
Ｋx',y' ＝Σ｜ｋt,x+i,y+i −ｋt-1,x'+i,y'+i ｜
で表される。動き補償は１６×１６（マクロブロックの輝度データ４個分）のエリアに対して行うことから、（ｉ，ｊ）について０〜１５としている。
【０１６１】
又参照用マクロブロックのアドレス（ｘ’，ｙ’）は、システム対応に選択することが可能であり、全範囲若しくはアドレス（ｘ，ｙ）に対して±Ｚの範囲とすることができる。この場合、アドレス（ｘ’，ｙ’）は、
（ＸＬ，ＹＬ）≦（ｘ’，ｙ’）≦（ＸＨ，ＹＨ）
ＸＬ＝０，ＹＬ＝０，ＸＨ＝３５２−１６，ＹＨ＝２８８−１６（全範囲探索
時）
ＸＬ＝ｘ−Ｚ，ＹＬ＝ｙ−Ｚ，ＸＨ＝ｘ＋Ｚ，ＹＨ＝ｙ＋Ｚ（部分探索時）
の関係となる。なお、Ｚは７若しくは１５とすることができる。
【０１６２】
前述の（ｘ’，ｙ’）に於いて演算した輝度値の絶対差分の和Ｋx',y' の中で、最小の値となる時の（ｘ’，ｙ’）を、参照すべき前フレームのデータのアドレスとする。従って、その時の動きベクトルは、（ｘ’−ｘ，ｙ’−ｙ）となる。
【０１６３】
又それぞれ別個の映像信号源から入力された映像信号を合成する場合、互いに独立したものであり、動き補償を行う場合、最も小さいＫx',y' が選択されるのは、画面合成メモリ上の同一ブロック内にあることが予測される。従って、他のブロックにまたがった動き補償を行うことは無意味である。そこで、前述の参照用マクロブロックのアドレス（ｘ’，ｙ’）を、同一ブロック内に限定することにより、効率的な符号化が可能となる。
【０１６４】
例えば、４画面合成時の各ブロックの先頭アドレスを（ｘｌ，ｙｌ）、最終アドレスを（ｘｈ，ｙｈ）とすると、図３０の（Ｂ）を参照して、
（ＸＬ，ＹＬ）≦（ｘ’，ｙ’）≦（ＸＨ，ＹＨ）
ＸＬ＝ｘｌ，ＹＬ＝ｙｌ，ＸＨ＝ｘｈ−１６，ＹＨ＝ｙｈ−１６
（全範囲探索時）
ＸＬ＝ｍａｘ（ｘ−Ｚ，ｘｌ），ＹＬ＝ｍａｘ（ｙ−Ｚ，ｙｌ）
ＸＨ＝ｍｉｎ（ｘ＋Ｚ，ｘｈ），ＹＨ＝ｍｉｎ（ｙ＋ｚ，ｙｈ）
（部分探索時）
ｘｌ＝０，ｙｌ＝０，ｘｈ＝１７６，ｙｈ＝１４４（ブロック１）
ｘｌ＝０，ｙｌ＝１４４，ｘｈ＝１７６，ｙｈ＝２８８（ブロック２）
ｘｌ＝１７６，ｙｌ＝０，ｘｈ＝３５２，ｙｈ＝１４４（ブロック３）
ｘｌ＝１７６，ｙｌ＝１４４，ｘｈ＝３５２，ｙｈ＝２８８（ブロック４）
のエリアに対してのみ動き補償処理を行う。このように、画面合成中に動き補償の探索範囲を限定し、符号化効率を向上させることができる。
【０１６５】
又前述の各実施の形態は、主に４画面合成の場合を示すが、画面合成数を更に多くすることも可能である。例えば、図３０の（Ｃ）は９画面合成の場合を示し、又同図の（Ｄ）は１６画面合成の場合を示す。一般的には、合成１画面を等分割して、それぞれの映像信号源に割付けることになる。
【０１６６】
又画面合成数をＮ、画面分割数をｎとし、この画面分割数ｎを画面合成用メモリ６のブロック数とすると、Ｎ＝ｎの場合は、前述のように、均等に分割して、Ｎチャネル分の映像信号を取込んで合成することができる。又Ｎ＞ｎの場合は、一度に取込みを行う映像信号はｎチャネル分であり、一定時間毎に取込みを行うチャネル番号を切替える。
【０１６７】
例えば、Ｎ＝６，ｎ＝４とし、一定時間を１０秒として画面合成を行う場合、それらを初期値とし、且つＣ1 〜Ｃ6 までの映像信号源チャネル番号を取得する。これはシステム対応に予め指定することができる。この場合、画面分割数ｎが４であるから、Ｃ1 〜Ｃ4 のチャネルの映像信号を順番に取込み、前述の各実施の形態に従って画面合成を行う。その後、一定時間（１０秒）経過すると、ＣA の値をＣA+1 に代入し、Ｃ1 にあった値をＣN に代入する。即ち、（Ｃ1 ＝１，Ｃ2 ＝２，Ｃ3 ＝３，Ｃ4 ＝４，Ｃ5 ＝５，Ｃ6 ＝６）→（Ｃ1 ＝２，Ｃ2 ＝３，Ｃ3 ＝４，Ｃ4 ＝５，Ｃ5 ＝６，Ｃ6 ＝１）のように変更される。
【０１６８】
又次の１０秒後に、（Ｃ1 ＝２，Ｃ2 ＝３，Ｃ3 ＝４，Ｃ4 ＝５，Ｃ5 ＝６，Ｃ6 ＝１）→（Ｃ1 ＝３，Ｃ2 ＝４，Ｃ3 ＝５，Ｃ4 ＝６，Ｃ5 ＝１，Ｃ6 ＝２）のように変更される。従って、画面合成用メモリ上の例えば左上のブロックには、最初チャネルＣ1 の映像信号が合成され、次にチャネルＣ2 の映像信号が合成され、次にチャネルＣ3 の映像信号が合成され、４画面合成の各ブロック位置は、順次ローテーションに従って切替えられる。即ち、映像信号源数が多く、画面分割数を少なくした場合に於いても、総ての映像信号源からの映像信号を順次合成して送信することができる。従って、受信再生表示することにより、映像信号源からの総ての映像信号による合成画像を観察することができる。
【０１６９】
前述の各実施の形態に於いて、画面合成部と符号化部とが密結合の構成であるから、遠隔制御も容易となる。例えば、Ｈ．３２０のデータパスについて、ユーザデータ用に、ＬＳＤ（Ｌow Ｓpeed Ｄata ），ＭＬＰ（Ｍulti Ｌayer Ｐrotocol ），ＨＳＤ（Ｈigh Ｓpeed Ｄata ），Ｎｏ−Ｓtandard ＢＡＳメッセージ等が規定されており、これらを利用して遠隔制御を行うことができる。
【０１７０】
図３１は本発明の実施の形態の遠隔制御の概要説明図であり、７１−１〜７１−ｎ，８１−１〜８１−ｎはテレビカメラ、７２，８２は蓄積映像再生部、７３，８３はＴＶモニタ、７４，８４はキーボード，赤外線キーパット，マウス，テンキー等の入力デバイス、７５，８５はビデオ信号圧縮伝送装置（ＣＯＤＥＣ）、７６，８６はＦａｒＳｉｔｅ用画面合成情報格納メモリ、７７，８７はＮｅａｒＳｉｔｅ用画面合成情報格納メモリである。
【０１７１】
ビデオ信号圧縮伝送装置７５，８５は、相互間で命令（コマンド），応答（レスポンス），通知（インディケーション）をそれぞれ行い、又テレビカメラ７１−１〜７１−ｎ，８１−１〜８１−ｎからの映像信号を前述の実施の形態に対応して合成して符号化する機能を備えている。又画面合成情報の管理は、それぞれのＦａｒＳｉｔｅ用画面合成情報格納メモリ７６，８６と、ＮｅａｒＳｉｔｅ用画面合成情報格納メモリ７７，８７とにより行い、一方の変更内容を他方に通知するものである。
【０１７２】
画面合成についての遠隔制御を行う為に、各種のガイダンスを用意することができる。例えば、（１）．入力デバイス７４，８４からのガイダンス表示指示に従って、遠隔メニュー設定／解除コマンドを被監視側に送信した時の被監視側からのガイダンスの例について説明する。
（ａ）．如何なる場合でも有効となる映像信号源数Ｎについて総て画面合成させ、予め登録しておいた被監視画像としての火山，河川，工場，電線等の文字データ及びシリアル番号を重ね合わせ表示する状態とし、表示されたシリアル番号の中の１個或いは複数個を入力デバイスによって指示し、遠隔制御による画面合成を行う（ガイダンス例ａ）。
（ｂ）．遠隔制御メニューを作成し、メニュー画面のみ符号化して伝送し、表示されたメニューに従って、（ａ）の場合と同様に入力デバイスにより指示する（ガイダンス例ｂ）。
（ｃ）．如何なる場合でも有効となる映像信号源数Ｎについて総て画面合成させ、遠隔制御メニューを作成し、オーバレイ後に符号化して伝送し、表示されたメニューに従って、前述のように入力デバイスにより指示する（ガイダンス例ｃ）。
【０１７３】
又（２）．入力デバイスからのガイダンス表示指示に従って、監視側で付加するガイダンス例について説明する。
（ｄ）．遠隔制御メニューを作成し、メニュー画面のみを符号化して伝送し、表示されたメニューに付加されているシリアル数字を、入力デバイスにより指示する（ガイダンス例ｄ）。
【０１７４】
図３２は遠隔操作用ガイダンスの説明図であり、（Ａ）は前述のガイダンス例ｂに相当した表示内容を示し、（Ｂ）は前述のガイダンス例ａに相当した表示内容を示す。又（Ｃ）は前述のガイダンス例ｃに相当した表示内容を示し、（Ａ），（Ｂ）の表示内容を合成したものとなる。このような（Ａ）又は（Ｂ）又は（Ｃ）の表示内容は、それぞれＴＶモニタ７３，８３に表示することができるものである。なお、ガイダンス内容のみ、ＴＶモニタ７３，８３とは別個の液晶表示部等に表示させる構成とすることも可能である。
【０１７５】
図３３は遠隔制御により画面切替えの説明図であり、ガイダンス例ｃに相当する表示画面９１により、ＮｅａｒＳｉｔｅからシリアル番号の「４」を指示して単一映像信号源選択を入力すると、このコマンドがＦａｒＳｉｔｅに送出され、それに対するレスポンスがＦａｒＳｉｔｅからＮｅａｒＳｉｔｅに送出される。従って、火山監視の表示画面９２となる。なお、メニューも表示されているものであるが、簡略化の為に図示を省略している。
【０１７６】
次に、メニューのシリアル番号「５」を指示して４画面合成を選択すると、多画面合成設定コマンドがＦａｒＳｉｔｅに送出され、それに対するレスポンスを受信し、表示画面９３は最初の表示画面９１と同様の４画面合成となる。
【０１７７】
図３４は画面合成モード決定シーケンス説明図であり、監視側（ＮｅａｒＳｉｔｅ）の操作者により入力によって、被監視側（ＦａｒＳｉｔｅ）の画面合成モードを設定する場合を示す。操作者が入力デバイスからガイダンス（Ｇｕｉｄａｎｃｅ）設定要求を入力すると、監視側（ＮｅａｒＳｉｔｅ）から被監視側（ＦａｒＳｉｔｅ）に遠隔ガイダンス（Ｇｕｉｄａｎｃｅ）設定コマンドが送出され、これに対するレスポンスを被監視側から監視側へ送出し、且つガイダンス（親画面）オンとする。
【０１７８】
このガイダンス（親画面）に基づいて操作者はガイダンス設定要求を入力すると、監視側から被監視側へ遠隔ガイダンス設定コマンドが送出され、これに対するレスポンスと、次のガイダンス（子画面）が送出される。このガイダンス（子画面）を基に操作者が決定の入力を行うと、多画面合成設定コマンドが監視側から被監視側へ送出され、それに対するレスポンスと、指定した画面合成の内容が被監視側から監視側へ送出され、操作者がガイダンス解除要求を入力すると、監視側から被監視側へ遠隔ガイダンス解除コマンドが送出され、これに対するレスポンスと、ガイダンスをオフとした画面合成の内容が被監視側から監視側へ送出される。
【０１７９】
図３５は遠隔制御プロトコルの説明図であり、画面合成に関する遠隔制御プロトコル１００の一例について、命令（コマンド）と応答（レスポンス）と通知（インディケーション）とに大別し、レスポンスｒｓｐの有無と、種別とその内容とを示す。又種別（詳細）の識別子は１６進（ｈｅｘ）として示している。なお、ｈｅｘの記号を省略している後述のコマンド等の識別子やパラメータ等も１６進表示を示す。
【０１８０】
命令（コマンド）は、単一映像信号源選択コマンド（識別子０１）、多画面合成設定コマンド（識別子０２）、多画面合成問い合わせコマンド（識別子０３）、映像入力源状態要求コマンド（識別子０４）、遠隔メニュー（Ｍｅｎｕ）設定／解除コマンド（識別子０５）を含むものであり、レスポンスｒｓｐは有りとなる。
【０１８１】
又応答（レスポンス）は、命令（コマンド）に対するものであり、例えば、単一映像信号源選択レスポンスの識別子は８１（ｈｅｘ）、多画面合成設定レスポンスの識別子は８２（ｈｅｘ）となる。それに対するレスポンスｒｓｐは無しとなる。又通知（インディケーション）は、映像信号異常インディケーション（識別子ｆ１）、多画面合成変更インディケーション（識別子ｆ２）を含み、これらに対するレスポンスｒｓｐは無しとなる。
【０１８２】
図３６はコマンド及びレスポンスの説明図であり、単一映像信号源選択コマンド１０１は、１バイトの識別子（０１）と、１バイトのパラメータ長と、パラメータとしての１バイトの映像信号源チャネル総数と１バイトの指定映像信号源チャネル番号とを含むものである。又単一映像信号源選択レスポンス１０２は、１バイトの識別子（８１）と、１バイトのパラメータ長と、１バイトの選択チャネル番号を示すパラメータとを含むものである。
【０１８３】
又多画面合成設定コマンド１０３は、図３６と図３７とにわたって示すものであり、１バイトの識別子（０２）と、１バイトのパラメータ長と、１バイト或いは２バイトのパラメータとを含み、パラメータとしては、画面合成数Ｎ、画面分割数ｎ、インターバル時間、画面合成モード、画面合成モード用優先チャネル指定、符号化モード、符号化モード用優先チャネル指定等を含むものである。又座標情報やズームアップ座標及びその比率の情報等も含むものである。
【０１８４】
図３８はコマンド及びレスポンスの説明図であり、多画面合成レスポンス１０４（識別子８２）と、多画面合成問い合わせコマンド１０５（識別子０３）と、多画面合成問い合わせレスポンス１０６（識別子８３）と、映像入力状態要求コマンド１０７（識別子０４）と、映像入力源状態要求レスポンス１０８（識別子８４）とを示す。多画面合成レスポンス１０４は、図３６及び図３７に示す多画面合成設定コマンド１０３に対するレスポンスである。
【０１８５】
又映像入力源状態要求コマンド１０７は、テレビカメラ等の映像信号源の状態を問い合わせるコマンドであり、それに対する映像入力源状態要求レスポンス１０８は、映像信号源対応に正常（００）か異常（ｆｆ）かを示すパラメータが付加される。
【０１８６】
図３９はコマンド及びレスポンス及びインディケーションの説明図であり、遠隔ガイダンス設定／解除コマンド１０９（識別子０５）と、遠隔ガイダンス設定／解除レスポンス１１０（識別子８５）と、映像信号異常インディケーション１１１（識別子ｆ１）と、多画面合成変更インディケーション１１２（識別子ｆ２）とを示す。遠隔ガイダンス設定／解除コマンド１０９及び遠隔ガイダンス設定／解除レスポンスは、図３４に於ける遠隔ガイダンス設定コマンド及び遠隔ガイダンス設定レスポンスに相当する。又映像信号異常インディケーション１１１及び多画面合成変更インディケーション１１２は、図３５の通知（インディケーション）の詳細を示す。
【０１８７】
前述のようなコマンド，レスポンス，インディケーションにより、図３１或いは図４２に示すシステムに於いて、多画面合成の遠隔制御を行うことができる。従って、遠隔監視システム等に於いて、被監視物の画像の選択やズームアップ等の各種の多画面合成制御が可能となる。
【０１８８】
本発明は、前述の各実施の形態にのみ限定されるものではなく、例えば、各実施の形態をそれぞれ組合せることも可能であり、又映像信号源としては、テレビカメラのみでなく、録画再生装置やディジタル・カメラのようなスチールカメラによる映像信号を送出する装置を用いることができる。又遠隔監視システムのみでなく、テレビ会議システム等の他のシステムの多画面合成にも適用できるものである。
【０１８９】
【発明の効果】
以上説明したように、本発明は、相互に非同期で動作する複数のテレビカメラや録画再生装置等の映像信号源からの映像信号を合成する多画面合成方法及び多画面合成装置に於いて、映像信号源１−１〜１−ｎからの映像信号を順次選択して、入力信号Ｖ・Ｈ監視部３により垂直，水平同期をとってフレーム単位で取込み、画面合成割当エリアの大きさに対応して縮小して画面合成用メモリ６の画面合成割当エリア対応のブロックに書込み、符号化部８による符号化処理若しくは送信処理を行うもので、映像信号をフレーム単位で取込む毎に符号化処理若しくは送信処理が行われるから、非同期動作の映像信号源を用いることによるシステム構成のコストダウンと、画面合成処理と符号化処理若しくは送信処理とを関連させることにより、制御構成の簡単化とを図ることができる利点がある。
【０１９０】
又重み付けしたチャネルの映像信号に対して、優先的に量子化値、取込み回数、符号化処理等を行うことにより、受信再生画像の中の重要な部分の明瞭度を良くして、遠隔監視等の精度を向上させることができる。又合成画面上の無効エリアとなる部分を利用して、拡大表示、ズームアップ表示、特定のパターンや受信復号化画像の返送を行わせることができる。又遠隔制御の為の情報の送受信を行って、多画面合成の遠隔制御を行わせることもできる。従って、各種のシステムに適用して、経済的且つ効率の良い多画面処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の説明図である。
【図２】縮小化処理の説明図である。
【図３】初期化処理のフローチャートである。
【図４】画面合成配列の説明図である。
【図５】割込処理のフローチャートである。
【図６】割込処理のフローチャートである。
【図７】本発明の第１の実施の形態の画面合成処理のフローチャートである。
【図８】非同期映像信号合成の説明図である。
【図９】本発明の第２の実施の形態の画面合成処理のフローチャートである。
【図１０】本発明の第３の実施の形態の画面合成処理のフローチャートである。
【図１１】本発明の第３の実施の形態の割込処理のフローチャートである。
【図１２】本発明の第３の実施の形態の割込処理のフローチャートである。
【図１３】取込みフレームの説明図である。
【図１４】符号化処理フレームの説明図である。
【図１５】受信表示フレームの説明図である。
【図１６】本発明の第４の実施の形態の説明図である。
【図１７】本発明の第４の実施の形態の画面合成処理のフローチャートである。
【図１８】本発明の実施の形態の映像入力有無判定処理のフローチャートである。
【図１９】本発明の実施の形態の無効エリア用処理のフローチャートである。
【図２０】本発明の他の実施の形態の無効エリア用処理のフローチャートである。
【図２１】本発明の更に他の実施の形態の無効エリア用処理のフローチャートである。
【図２２】画面合成配列の説明図である。
【図２３】本発明の実施の形態のズームアップ処理を含む無効エリア用処理のフローチャートである。
【図２４】本発明の実施の形態のズームアップ処理を含む無効エリア用処理のフローチャートである。
【図２５】本発明の第５の実施の形態の画面合成処理のフローチャートである。
【図２６】ＣＩＦの説明図である。
【図２７】符号化部の説明図である。
【図２８】本発明の実施の形態の量子化値決定処理のフローチャートである。
【図２９】映像信号源情報取得部の説明図である。
【図３０】動き補償及び画面合成配置の説明図である。
【図３１】本発明の実施の形態の遠隔制御の概要説明図である。
【図３２】遠隔操作用ガイダンスの説明図である。
【図３３】遠隔制御による画面切替えの説明図である。
【図３４】画面合成モード決定シーケンス説明図である。
【図３５】遠隔制御プロトコルの説明図である。
【図３６】コマンド及びレスポンスの説明図である。
【図３７】コマンドの説明図である。
【図３８】コマンド及びレスポンスの説明図である。
【図３９】コマンド及びレスポンス及びインディケーションの説明図である。
【図４０】同期映像信号合成遠隔監視システムの説明図である。
【図４１】多画面合成の説明図である。
【図４２】非同期映像信号合成遠隔監視システムの説明図である。
【図４３】伝送帯域とフレームレートとの関係説明図である。
【符号の説明】
１−１〜１−ｎ テレビカメラ（映像信号源）
２ 映像信号セレクタ
３ 入力信号Ｖ・Ｈ監視部
４ 水平方向縮小化部
５ ラインメモリ（ＬＩＮＥ ＦＩＦＯ）
６ 画面合成用メモリ
７ 符号化用メモリ
８ 符号化部
９ 画面合成制御部
１０ 符号化制御部
Claims (8)
- 複数の映像信号源からの映像信号を合成する多画面合成方法に於いて、
前記複数の映像信号源の解像度情報及びフレームレート情報を基に、重み付けするチャネルを選定し、前記複数の映像信号源からのそれぞれの映像信号に対して、前記重み付けしたチャネルの映像信号を他のチャネルの映像信号より取込み回数を多くして、水平、垂直同期をとってフレーム単位で取り込み、該フレーム単位の映像信号を画面合成割当エリアに対応して縮小し、画面合成用メモリの前記画面合成割当エリア対応のブロックに書込んで画面合成し、該画面合成用メモリ上で画面合成した映像信号の符号化処理若しくは送信処理を行う過程を含む
ことを特徴とする多画面合成方法。 - 前記画面合成過程に於ける無効エリアとなる前記画面合成用メモリのブロックを含む複数のブロックに、前記重み付けしたチャネルの映像信号を拡大合成するように書込む過程を含むことを特徴とする請求項１記載の多画面合成方法。
- 前記重み付けしたチャネルの映像信号に対する量子化値を優先的に小さい値として符号化処理する過程を含むことを特徴とする請求項１記載の多画面合成方法。
- 前記重み付けしたチャネルの映像信号に対してはフレーム内符号化を行い、他のチャネルの映像信号に対してはフレーム間符号化を行うように切替えて符号化処理する過程を含むことを特徴とする請求項１記載の多画面合成方法。
- 前記重み付けしたチャネルの映像信号に対する動き補償探索範囲を広くし，他のチャネルの映像信号に対する動き補償探索範囲を狭く又は動き補償を中止するように切替えて符号化処理する過程を含むことを特徴とする請求項１記載の多画面合成方法。
- 前記重み付けしたチャネルの映像信号に対する符号化処理過程に於いてはループ内フィルタを切り離し、他のチャネルの映像信号に対する符号化処理過程に於いてはループ内フィルタを接続するように切替制御する過程を含むことを特徴とする請求項１記載の多画面合成方法。
- 複数の映像信号源からの映像信号を合成する多画面合成装置に於いて、
前記複数の映像信号源を選択する映像信号セレクタと、
該映像信号セレクタを介して取込んだ映像信号の垂直，水平同期をとる入力信号Ｖ・Ｈ監視部と、
該入力信号Ｖ・Ｈ監視部により同期をとったフレーム単位の映像信号を、画面合成該当エリアに対応して縮小する水平方向縮小化部と、
該水平方向縮小化部により縮小された映像信号をライン単位で書込む画面合成用メモリと、
前記複数の映像信号源の解像度情報及びフレームレート情報を基に、重み付けするチャネルを選定し、前記複数の映像信号源からのそれぞれの映像信号に対して、前記重み付けしたチャネルの映像信号を他のチャネルの映像信号より取込み回数を多くする取込み及び前記画面合成用メモリ上に於ける画面合成を制御する画面合成制御部と、
前記画面合成用メモリ上で合成された映像信号の符号化処理を行う符号化部と
を備えたことを特徴とする多画面合成装置。 - 前記符号化部に於ける前記重み付けしたチャネル対応の映像信号に対する量子化値、フレーム内符号化とフレーム間予測符号化との切替え、ループ内フィルタの接続切替えの少なくとも何れか一つの制御構成を有する符号化制御部を備えたこと特徴とする請求項８記 載の多画面合成装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03712598A JP3684525B2 (ja) | 1998-02-19 | 1998-02-19 | 多画面合成方法及び多画面合成装置 |
| US09/167,432 US6456335B1 (en) | 1998-02-19 | 1998-10-06 | Multiple picture composing method and multiple picture composing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03712598A JP3684525B2 (ja) | 1998-02-19 | 1998-02-19 | 多画面合成方法及び多画面合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11234654A JPH11234654A (ja) | 1999-08-27 |
| JP3684525B2 true JP3684525B2 (ja) | 2005-08-17 |
Family
ID=12488897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03712598A Expired - Fee Related JP3684525B2 (ja) | 1998-02-19 | 1998-02-19 | 多画面合成方法及び多画面合成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6456335B1 (ja) |
| JP (1) | JP3684525B2 (ja) |
Families Citing this family (84)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6744472B1 (en) | 1998-11-09 | 2004-06-01 | Broadcom Corporation | Graphics display system with video synchronization feature |
| US6798420B1 (en) | 1998-11-09 | 2004-09-28 | Broadcom Corporation | Video and graphics system with a single-port RAM |
| US6768774B1 (en) * | 1998-11-09 | 2004-07-27 | Broadcom Corporation | Video and graphics system with video scaling |
| US7982740B2 (en) | 1998-11-09 | 2011-07-19 | Broadcom Corporation | Low resolution graphics mode support using window descriptors |
| US6853385B1 (en) * | 1999-11-09 | 2005-02-08 | Broadcom Corporation | Video, audio and graphics decode, composite and display system |
| JP4501167B2 (ja) * | 1998-11-09 | 2010-07-14 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理システム |
| US6661422B1 (en) * | 1998-11-09 | 2003-12-09 | Broadcom Corporation | Video and graphics system with MPEG specific data transfer commands |
| JP3976942B2 (ja) * | 1998-12-18 | 2007-09-19 | キヤノン株式会社 | 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体 |
| JP4208315B2 (ja) * | 1998-12-25 | 2009-01-14 | キヤノン株式会社 | データ通信制御装置及びその制御方法、データ通信システム、記録媒体 |
| US6686955B1 (en) * | 1999-01-29 | 2004-02-03 | International Business Machines Corporation | Lightweight image manipulation for maximizing the capacity of digital photo storage media |
| US7275256B1 (en) * | 2001-08-28 | 2007-09-25 | Music Choice | System and method for providing an interactive, visual complement to an audio program |
| US7337463B1 (en) * | 2000-03-09 | 2008-02-26 | Intel Corporation | Displaying heterogeneous video |
| JP2001282215A (ja) * | 2000-03-28 | 2001-10-12 | Nec Viewtechnology Ltd | 映像表示システムの表示制御方法及び映像表示システム |
| JP2001346193A (ja) * | 2000-05-31 | 2001-12-14 | Hitachi Kokusai Electric Inc | 監視テレビカメラシステム |
| JP2002027393A (ja) * | 2000-07-04 | 2002-01-25 | Teac Corp | 画像処理装置、画像記録装置および画像再生装置 |
| US7023492B2 (en) * | 2000-10-19 | 2006-04-04 | Microsoft Corporation | Method and apparatus for encoding video content |
| IL156210A0 (en) * | 2000-12-01 | 2003-12-23 | Ginganet Corp | Video terminal, video terminal communication system, and video conferencing system |
| US7034791B1 (en) | 2000-12-14 | 2006-04-25 | Gary Odom | Digital video display employing minimal visual conveyance |
| JP4226231B2 (ja) * | 2001-06-13 | 2009-02-18 | 株式会社日立国際電気 | 映像信号処理システム |
| KR20030009669A (ko) * | 2001-07-23 | 2003-02-05 | 삼성전자주식회사 | 다채널 영상 부호화기 및 그 부호화 방법 |
| KR100488915B1 (ko) * | 2001-10-04 | 2005-05-10 | 주식회사 대우일렉트로닉스 | 타임랩스 브이시알의 장기 녹화장치 및 그 방법 |
| GB2398696B (en) * | 2001-12-21 | 2005-03-09 | Nec Corp | Portable communication terminal with camera device |
| JP2003189168A (ja) * | 2001-12-21 | 2003-07-04 | Nec Corp | 携帯電話用カメラ |
| EP1491038A2 (en) * | 2001-12-26 | 2004-12-29 | YEDA RESEARCH AND DEVELOPMENT CO., Ltd. | A system and method for increasing space or time resolution in video |
| JP2003319374A (ja) * | 2002-04-24 | 2003-11-07 | Sony Corp | 遠隔監視装置及び遠隔監視システム |
| US20040075741A1 (en) * | 2002-10-17 | 2004-04-22 | Berkey Thomas F. | Multiple camera image multiplexer |
| US20040150748A1 (en) * | 2003-01-31 | 2004-08-05 | Qwest Communications International Inc. | Systems and methods for providing and displaying picture-in-picture signals |
| US8490129B2 (en) | 2003-01-31 | 2013-07-16 | Qwest Communications International Inc. | Methods, systems and apparatus for selectively distributing urgent public information |
| US20040150749A1 (en) * | 2003-01-31 | 2004-08-05 | Qwest Communications International Inc. | Systems and methods for displaying data over video |
| US10142023B2 (en) | 2003-01-31 | 2018-11-27 | Centurylink Intellectual Property Llc | Antenna system and methods for wireless optical network termination |
| US7921443B2 (en) | 2003-01-31 | 2011-04-05 | Qwest Communications International, Inc. | Systems and methods for providing video and data services to a customer premises |
| US8713617B2 (en) | 2003-01-31 | 2014-04-29 | Qwest Communications International Inc. | Systems and methods for providing television signals using a network interface device |
| US7194249B2 (en) | 2003-01-31 | 2007-03-20 | Qwest Communications International Inc. | Methods, systems and apparatus for providing urgent public information |
| US7158169B1 (en) * | 2003-03-07 | 2007-01-02 | Music Choice | Method and system for displaying content while reducing burn-in of a display |
| US7626609B1 (en) | 2003-03-07 | 2009-12-01 | Music Choice | Method and system for displaying content while reducing burn-in of a display |
| CN1571508B (zh) * | 2003-07-19 | 2010-05-12 | 华为技术有限公司 | 一种实现多画面的方法 |
| US8112449B2 (en) | 2003-08-01 | 2012-02-07 | Qwest Communications International Inc. | Systems and methods for implementing a content object access point |
| WO2005027518A1 (ja) | 2003-09-11 | 2005-03-24 | Fujitsu Limited | 画像伝送装置及び画像伝送システム |
| US7809655B1 (en) | 2003-09-17 | 2010-10-05 | Starsat, Llc | Method for scheduling and usage of satellite bandwidth |
| US8063916B2 (en) | 2003-10-22 | 2011-11-22 | Broadcom Corporation | Graphics layer reduction for video composition |
| US20050097620A1 (en) * | 2003-10-30 | 2005-05-05 | Honeywell International Inc. | Architecture for multi-channel video processing |
| JP4561353B2 (ja) * | 2004-12-24 | 2010-10-13 | 日産自動車株式会社 | 映像信号処理装置とその方法及び車載カメラシステム |
| CN100466720C (zh) * | 2005-01-17 | 2009-03-04 | 株式会社东芝 | 视频合成设备及视频合成方法 |
| JP2006279893A (ja) * | 2005-03-30 | 2006-10-12 | Victor Co Of Japan Ltd | 画像処理装置及び画像処理方法 |
| US7817180B2 (en) | 2005-04-28 | 2010-10-19 | Apple Inc. | Video processing in a multi-participant video conference |
| US7692682B2 (en) | 2005-04-28 | 2010-04-06 | Apple Inc. | Video encoding in a video conference |
| US7899170B2 (en) | 2005-04-28 | 2011-03-01 | Apple Inc. | Multi-participant conference setup |
| US7949117B2 (en) | 2005-04-28 | 2011-05-24 | Apple Inc. | Heterogeneous video conferencing |
| US8861701B2 (en) | 2005-04-28 | 2014-10-14 | Apple Inc. | Multi-participant conference adjustments |
| WO2006116659A2 (en) * | 2005-04-28 | 2006-11-02 | Apple Computer, Inc. | Video processing in a multi-participant video conference |
| JP4346591B2 (ja) | 2005-08-25 | 2009-10-21 | 株式会社東芝 | 映像処理装置、映像処理方法およびプログラム |
| JP4680087B2 (ja) * | 2006-02-15 | 2011-05-11 | 三菱電機株式会社 | 画像伝送装置 |
| JP4915552B2 (ja) * | 2006-03-23 | 2012-04-11 | パナソニック株式会社 | 映像伝送システム |
| JP4250648B2 (ja) | 2006-09-21 | 2009-04-08 | 株式会社東芝 | 情報処理装置 |
| KR100836616B1 (ko) * | 2006-11-14 | 2008-06-10 | (주)케이티에프테크놀로지스 | 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법 |
| JP4804378B2 (ja) * | 2007-02-19 | 2011-11-02 | パナソニック株式会社 | 映像表示装置及び映像表示方法 |
| US8515194B2 (en) | 2007-02-21 | 2013-08-20 | Microsoft Corporation | Signaling and uses of windowing information for images |
| US8316089B2 (en) * | 2008-05-06 | 2012-11-20 | Microsoft Corporation | Techniques to manage media content for a multimedia conference event |
| US9204086B2 (en) * | 2008-07-17 | 2015-12-01 | Broadcom Corporation | Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor |
| US8091290B1 (en) | 2008-08-12 | 2012-01-10 | William Drakes | Geodesic entertainment sphere |
| US7973684B2 (en) | 2008-10-27 | 2011-07-05 | Microchip Technology Incorporated | Self auto-calibration of analog circuits in a mixed signal integrated circuit device |
| WO2011070904A1 (ja) * | 2009-12-07 | 2011-06-16 | Hoya株式会社 | 内視鏡装置 |
| US8692937B2 (en) * | 2010-02-25 | 2014-04-08 | Silicon Image, Inc. | Video frame synchronization |
| JP2011199735A (ja) * | 2010-03-23 | 2011-10-06 | Toshiba Corp | 画像処理装置および画像処理システム |
| JP5735227B2 (ja) * | 2010-07-16 | 2015-06-17 | ルネサスエレクトロニクス株式会社 | 画像変換装置及び画像変換システム |
| FR2965692B1 (fr) * | 2010-10-01 | 2013-06-28 | Euro Media France | Traitement de signaux video issus de cameras de surveillance urbaine |
| JP5649429B2 (ja) * | 2010-12-14 | 2015-01-07 | パナソニックＩｐマネジメント株式会社 | 映像処理装置、カメラ装置および映像処理方法 |
| US8773993B2 (en) | 2011-01-31 | 2014-07-08 | Apple Inc. | Adaptive bandwidth estimation |
| JP5701707B2 (ja) * | 2011-07-25 | 2015-04-15 | 株式会社ソニー・コンピュータエンタテインメント | 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法 |
| KR101543712B1 (ko) * | 2011-08-25 | 2015-08-12 | 한국전자통신연구원 | 증강현실을 이용한 보안 감시 장치 및 방법 |
| JP5541264B2 (ja) * | 2011-11-09 | 2014-07-09 | 横河電機株式会社 | 運転監視装置および運転監視方法 |
| KR101352001B1 (ko) * | 2012-04-06 | 2014-01-16 | 주식회사 에스원 | 영상 감시 시스템 및 그 방법 |
| JP6116192B2 (ja) * | 2012-11-07 | 2017-04-19 | 株式会社イマジオム | 動画処理装置、カメラ監視システム、プログラム |
| JP6582644B2 (ja) * | 2014-08-11 | 2019-10-02 | セイコーエプソン株式会社 | 撮像装置、撮像表示装置、及び、車両 |
| US20160373799A1 (en) * | 2015-06-16 | 2016-12-22 | Telefonaktiebolaget Lm Ericsson (Publ) | Remote monitoring and control of multiple iptv client devices |
| US20170078618A1 (en) * | 2015-09-11 | 2017-03-16 | Kabushiki Kaisha Toshiba | Display control device, display control system, and display control method |
| JP6168672B1 (ja) * | 2016-03-24 | 2017-07-26 | 株式会社日立国際電気 | 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法 |
| JP2018061181A (ja) * | 2016-10-07 | 2018-04-12 | 万弘 坂入 | 情報処理システム |
| CN109891875B (zh) * | 2016-11-08 | 2021-11-16 | 索尼公司 | 图像传送设备、方法、系统和存储介质 |
| CN107172400B (zh) * | 2017-06-19 | 2023-03-24 | 厦门视诚科技有限公司 | 实现32路画面轮巡的装置及方法 |
| CN107222688B (zh) * | 2017-06-19 | 2023-03-03 | 厦门视诚科技有限公司 | 32路画面轮巡的显示系统及方法 |
| EP3468187A1 (en) | 2017-10-03 | 2019-04-10 | Axis AB | Method and system for encoding video streams |
| JP7178035B2 (ja) * | 2020-08-11 | 2022-11-25 | コンテンツライツ合同会社 | 情報処理装置、情報処理プログラムおよび記録媒体 |
| JPWO2023017578A1 (ja) * | 2021-08-11 | 2023-02-16 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6026350B2 (ja) | 1978-05-15 | 1985-06-22 | 日本電気株式会社 | 複数画像画面合成装置 |
| JPH01181389A (ja) * | 1988-01-14 | 1989-07-19 | Hitachi Ltd | 画像処理装置 |
| JPH047991A (ja) | 1990-04-25 | 1992-01-13 | Sony Corp | 暗視カラー撮像装置 |
| JP2775542B2 (ja) * | 1991-12-16 | 1998-07-16 | 富士写真フイルム株式会社 | ディジタル電子スチル・カメラおよびその制御方法 |
| JPH08149130A (ja) * | 1994-11-25 | 1996-06-07 | Canon Inc | 映像コミュニケーションシステム |
| US5781788A (en) * | 1995-05-08 | 1998-07-14 | Avc Technology, Inc. | Full duplex single clip video codec |
| US5724475A (en) * | 1995-05-18 | 1998-03-03 | Kirsten; Jeff P. | Compressed digital video reload and playback system |
| JPH09116821A (ja) * | 1995-10-18 | 1997-05-02 | Toshiba Corp | テレビジョン受像機 |
| JP3801242B2 (ja) * | 1995-10-31 | 2006-07-26 | 株式会社日立製作所 | 縮小画像表示装置 |
| JPH09149396A (ja) * | 1995-11-27 | 1997-06-06 | Fujitsu Ltd | 多地点テレビ会議システム |
| US5847771A (en) * | 1996-08-14 | 1998-12-08 | Bell Atlantic Network Services, Inc. | Digital entertainment terminal providing multiple digital pictures |
| US5995146A (en) * | 1997-01-24 | 1999-11-30 | Pathway, Inc. | Multiple video screen display system |
| JPH10304328A (ja) * | 1997-04-25 | 1998-11-13 | Fujitsu Ltd | テレビ会議システムにおいて、多画面合成信号を生成する方式 |
| GB2329542B (en) * | 1997-09-17 | 2002-03-27 | Sony Uk Ltd | Security control system and method of operation |
-
1998
- 1998-02-19 JP JP03712598A patent/JP3684525B2/ja not_active Expired - Fee Related
- 1998-10-06 US US09/167,432 patent/US6456335B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11234654A (ja) | 1999-08-27 |
| US6456335B1 (en) | 2002-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3684525B2 (ja) | 多画面合成方法及び多画面合成装置 | |
| JP4295441B2 (ja) | ビデオ通信システム、デコーダ回路、ビデオディスプレイシステム、エンコーダ回路、及びビデオデータ受信方法 | |
| TWI403174B (zh) | 視訊處理系統、視訊處理方法、及視訊傳送方法 | |
| US7006575B2 (en) | Picture and sound decoding apparatus picture and sound encoding apparatus and information transmission system | |
| US6931658B1 (en) | Image on-demand transmitting device and a method thereof | |
| JP2008118271A (ja) | 撮像装置の遠隔制御システム | |
| JP2008515273A (ja) | 部分的ビデオ画像を符号化する方法 | |
| JP4799191B2 (ja) | 通信端末、通信システムおよび通信方法 | |
| EP0940993A2 (en) | Method and apparatus for generating selected image views from a larger image | |
| JPH11239329A (ja) | 画像伝送装置およびそれを使用した画像伝送システム | |
| JP4328582B2 (ja) | 遠隔画像監視システム | |
| JP3927606B2 (ja) | 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法 | |
| JPH08256315A (ja) | 多地点同時モニタ制御方法 | |
| JP4798594B2 (ja) | 画像信号処理装置および画像配信システム | |
| JPS62200883A (ja) | 電子会議システムにおける図形表示装置 | |
| JP2001346207A (ja) | 画像情報変換装置及び方法 | |
| JPH11187383A (ja) | 映像監視システム及び映像監視方法 | |
| JPH09130799A (ja) | 画像圧縮加工方法及びテレビ会議システム | |
| JPH0484585A (ja) | 静止画伝送表示装置 | |
| JPH08289296A (ja) | 画像通信システムおよびその伝送方法 | |
| JP2006165664A (ja) | 画像送受信システム | |
| JP2002051345A (ja) | 画像情報変換装置及び方法 | |
| JPH09205628A (ja) | 画像情報伝送装置 | |
| JP2000333156A (ja) | 動画像伝送装置 | |
| JPH0686277A (ja) | テレビ会議装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050519 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090610 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100610 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110610 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120610 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130610 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140610 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |