JP3928485B2 - 映像信号表示装置 - Google Patents
映像信号表示装置 Download PDFInfo
- Publication number
- JP3928485B2 JP3928485B2 JP2002159593A JP2002159593A JP3928485B2 JP 3928485 B2 JP3928485 B2 JP 3928485B2 JP 2002159593 A JP2002159593 A JP 2002159593A JP 2002159593 A JP2002159593 A JP 2002159593A JP 3928485 B2 JP3928485 B2 JP 3928485B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- data
- display
- signal
- screen data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、映像信号を複数に分割して伝送し、複数の画面上に表示する映像信号表示装置に関するものである。
【０００２】
【従来の技術】
図１４は例えば、特開２００１−２６４３１３に示された従来の映像信号表示装置のブロック図である。
この例は、異なる方式（例えば動画と静止画）で伝送された画像信号にかかわる画像を少ない回路規模で表示可能にすることを目的としており、画面全体に表示される静止画の一部に動画を重ねて表示する場合のように、伝送した１画面分の画面データ（例えば静止画）に対して、その一部を例えば動画に書き換える際に、新たに一画面分の静止画および動画のデータを伝送をするのではなく、書き換え部分の画像データのみを伝送するものである。
【０００３】
以下に動作の説明をする。
まず、ＰＣ（パーソナルコンピュータ）１００１が画面の書き換え命令を発行して，画像データ受信部１００２でその書き換え情報を受信する。
次に、フォーマット検出回路１００３が書き換え情報のフォーマット（動画もしくは静止画など）を検出し、この検出結果を制御回路１００４が画像データ生成部１００５に通知する。
画像データ生成部１００５は，静止画像であれば画面内の変更の場所のみを出力処理回路１００６に伝達する。また動画像であれば，動画像の全体を出力処理回路１００６に伝達する。
表示部１００７で書き換えが必要な部分の画像を書き換えることによって，画像の表示を行う。
ここで、動画データはＰＣ１００１によって符号化されており、画像データ生成部１００５で復号されてから出力処理回路１００６に送られる。
【０００４】
【発明が解決しようとする課題】
以上の構成においては、動画信号と静止画信号を分離して側で復号化するが、この構成では図１５のような複数の静止画面に渡る動画ウインドウ１０１５で動画像を表示するには、全ての画面（画面（１）１０１１〜画面（４）１０１４）毎に別々の動映像を送信する必要があり、そのため画面ごとの再符号化処理が必要になるという問題点があった。
【０００５】
この発明は上記のような問題点を解決するためになされたものであり、複数画面にまたがる動画像を表示する映像信号表示装置において、動画信号を一部の静止画面に重畳して送信することにより、複数画面で動画像を表示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る映像信号表示装置は、静止画と動画が合成された元画像をＮ個（Ｎは自然数）の表示装置に分割して表示し、該Ｎ個の表示装置の集合により上記元画像と同一の画像を表示する映像信号表示装置であり、画面データ生成手段と、動画生成手段と、動画符号化手段と、信号合成手段と、信号分離手段と、動画復号化手段と、Ｎ個の表示映像合成手段と、Ｎ個の表示装置とを備え、上記画面データ生成手段は、１フレームの静止画データを分割して上記Ｎ個の表示装置に対応したＮ個の分割画面データを生成し、上記動画生成手段は、動画情報から動画データを生成し、上記動画符号化手段は、上記動画生成手段が生成した動画データを符号化して符号化動画データを生成し、上記信号合成手段は、上記画面データ生成手段が生成したＮ個の分割画面データのうちのＭ個（１≦Ｍ≦Ｎ）に上記符号化動画データを重畳してＭ個の動画重畳分割画面データを生成し、上記信号分離手段は、上記Ｍ個の動画重畳分割画面データのそれぞれからＭ個の上記分割画面データと上記符号化動画データとを分離し、上記動画復号化手段は、上記信号分離手段が分離した符号化動画データを復号して復号動画データを生成し、上記Ｎ個の表示映像合成手段は、該表示映像合成手段のうちのＭ個は上記信号分離手段が分離したＭ個の分割画面データと上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、該表示映像合成手段のうちのＮ−Ｍ個は上記画面データ生成手段が生成したＮ個の分割画面データのうちの上記信号合成手段において上記符号化動画データを重畳されなかったＮ−Ｍ個の分割画面データと、上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、上記Ｎ個の表示装置は上記Ｎ個の表示映像合成手段のうちの対応する表示映像合成手段から上記合成映像データを受信して表示するものである。
【０００７】
またこの発明に係る映像信号表示装置は、上記信号合成手段において上記分割画面データに重畳される符号化動画データは、上記分割画面データの上記表示装置において表示されない部分に重畳されるようにしたものである。
【０００８】
またこの発明に係る映像信号表示装置は、上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における垂直帰線期間に対応するデータであるようにしたものである。
【０００９】
またこの発明に係る映像信号表示装置は、上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における水平帰線期間に対応するデータであるものである。
【００１０】
またこの発明に係る映像信号表示装置は、動画蓄積手段と読出指示手段とをさらに備え、上記動画蓄積手段は、上記動画符号化手段が生成した符号化動画データを格納し、上記読出指示手段からの指示により符号化動画データを上記信号合成手段に伝送するようにしたものである。
【００１１】
またこの発明に係る映像信号表示装置は、上記動画復号化手段が復号した復号動画データから時間情報を抽出し、上記Ｎ個の表示装置間相互の同期信号として該Ｎ個の表示装置に伝送する複数画面同期手段をさらに備えたものである。
【００１２】
またこの発明に係る映像信号表示装置は、上記元画像における動画の位置と大きさの少なくとも一方を動画位置情報として指定する動画位置情報入力手段をさらに備え、上記信号合成手段は上記符号化動画データとともに上記動画位置情報を上記分割画面データに重畳して動画位置情報重畳分割画面データを生成し、上記信号分離手段は上記動画位置情報重畳分割画面データから上記動画位置情報を分離し、上記動画復号化手段は上記信号分離手段が分離した動画位置情報に基づいて上記復号動画データを各表示映像合成手段に伝送するようにしたものである。
【００１３】
【発明の実施の形態】
実施の形態１．
図１はこの発明の映像信号表示装置を用いたシステムの概略構成図の１例であり、１はパソコン（ＰＣ）であり、図示しない動画取込み用のカメラとマウスを備えている。モニタ２上に静止画とともにカメラで撮影した動画を表示する動画ウインドウ３が開かれてており、この動画ウインドウ３の位置および大きさはマウスにより変更可能である。
また４は４台の表示装置Ａ５Ａ〜表示装置Ｄ５Ｄからなる大画面装置であり、これら４台の表示装置に表示された静止画と動画ウインドウ６とから、パソコン１のモニタ２上の表示と同じ静止画と動画を表示している。
表示装置Ａ５Ａ〜表示装置Ｄ５Ｄは例えばそれぞれ５０インチサイズの表示装置であり、４台で１００インチサイズの大画面装置を形成している。
モニタ２上に表示されている静止画と動画が合成された画像がこの発明における元画像である。
【００１４】
図２は図１の構成の内部構成を示すブロック図である。
図２において、７は動画データおよび静止画データを生成し、所定の処理を行った後、送信する送信側装置、８は上記送信側装置から送信された動画データおよび静止画データに所定の処理を行って表示する受信側装置であり、上記送信側装置７が図１におけるＰＣ、上記受信側装置８が大画面装置に相当する。
【００１５】
図２において、１１はカメラなどの画像入力機器から取りこんだ動画像から動画像データを生成する動画生成手段、１２はこの動画生成手段が生成した動画像データを例えばＭＰＥＧなどの符号化方式で符号化・圧縮し、符号化動画データを生成する動画符号化手段、１３はＷＩＮＤＯＷシステムなどの静止画データ（画面データ）を生成し、複数に分割して、複数の分割画面データを生成する画面データ生成手段であり、この例では静止画データを図１の大画面装置で表示するように、４つの画面データに分割する。
１４はマウスなどであり、表示画面上の動画ウインドウの位置、サイズを変更する動画位置情報入力手段、１５Ａ、１５Ｂ、１５Ｃ、１５Ｄはそれぞれ画面データ生成手段１３が生成した分割画面データを伝送する伝送路であり、このうち、伝送路Ａ１５Ａと伝送路Ｂ１５Ｂは後述の信号分離手段２１に入力され、伝送路Ｃ１５Ｃと伝送路Ｄ１５Ｄは信号合成手段１６に入力される。
【００１６】
１６の信号合成手段は、動画符号化手段１２で生成された符号化動画データと、動画位置情報入力手段１４から入力される動画位置情報とを、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送されてくる分割画面データに重畳して合成信号（動画重畳分割画面データ、動画位置情報重畳分割画面データ）を生成し、伝送路Ｅ１７Ｅ、伝送路Ｆ１７Ｆを経由して信号分離手段２１に伝送する。
【００１７】
信号分離手段２１は、上記信号合成手段から送信されてくる合成信号から符号化動画データと動画位置情報を抽出し、符号化動画データを復号して復号動画データを生成する動画復号化手段２２に伝送する。また合成信号に含まれている静止画データを表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
２３Ａ、２３Ｂ、２３Ｃ、２３Ｄはそれぞれ表示映像合成手段Ａ、表示映像合成手段Ｂ、表示映像合成手段Ｃ、表示映像合成手段Ｄであり、上記画面データ生成手段１３または上記信号分離手段２１から伝送されて来る静止画データと、動画復号化手段２２から伝送されてくる動画データを合成して合成画像データを生成してそれぞれ表示装置Ａ５Ａ、表示装置Ｂ５Ｂ、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに伝送し、それぞれの表示装置が画像として表示する。
図２における表示装置Ａ５Ａ〜表示装置Ｄ５Ｄは図１における同じ符号を付した表示装置に相当する。
【００１８】
次に動作について説明する。
まず、動画生成手段１１がカメラなどの画像入力機器から取り込んだ動画像から動画データを生成し、例えば輝度、色差形式のデジタルまたはアナログ信号に変換する。
この動画データは、動画符号化手段１２により解像度に応じた伝送レートで例えばＭＰＥＧ形式で符号化され、符号化動画データ（ＭＰＥＧストリーム）として信号合成手段１６に伝送される。伝送レートに関しての詳細は後述するが、例えば、ＶＧＡの場合には２０Ｍｂｐｓ、ＵＸＧＡの際には６０Ｍｂｐｓ相当の伝送レートとなる。
【００１９】
画面データ生成手段１３は、ＷＩＮＤＯＷシステムなどのＧＵＩを元にプロセッサが静止画データである画面データを生成し、これを４つの表示装置である表示装置Ａ５Ａ〜表示装置Ｄ５Ｄに対応するように４分割して、たとえばＲＧＢ形式のデジタル信号である４つの分割画面データを生成する。
このうち、表示装置Ａ５Ａと表示装置Ｂ５Ｂに対応する分割画面データＡ、分割画面データＢ（図示せず）は、それぞれ伝送路Ａ１５Ａ、伝送路Ｂ１５Ｂにより表示映像合成手段Ａ２３Ａ、表示映像合成手段Ｂ２３Ｂに伝送され、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに対応する分割画面データＣ、分割画面データＤ（図示せず）はそれぞれ伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄにより信号合成手段１６に伝送される。
【００２０】
操作者は図１に示したパソコン１のモニタ２または大画面装置４を見ながらマウスなどである動画位置情報入力手段１４を操作して、画面上の動画ウインドウ３または動画ウインドウ６の位置やサイズを変化させる。
動画位置情報入力手段１４は、この動画ウインドウの画面上の位置およびサイズをデジタル情報である動画位置情報として信号合成手段１６に伝送する。
【００２１】
信号合成手段は１６は、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送される分割画面データＣ、分割画面データＤに、動画符号化手段１２から伝送される符号化動画データと動画位置情報入力手段１４から伝送される動画位置情報を重畳する。
符号化動画データは例えばＭＰＥＧストリームであって、記録法はＭＰＥＧのＴＳやＰＳとする。
２つの分割画面データに対して、符号化動画データと動画位置情報をどのように配分して重畳するかは特に制限はないが、符号化動画データのデータ量のほうが動画位置情報に対して圧倒的に大きいので、符号化動画データは２つの分割画面データに均等に配分し、動画位置情報は一方の分割画面データのみに重畳してもよい。
信号合成手段１６は符号化動画データと動画位置情報を重畳した分割画面データＣ、分割画面データＤを信号分離手段２１に伝送する。
【００２２】
信号分離手段２１は、受信した２つの分割画面データから符号化動画データと動画位置情報を分離し、２つの符号化動画データを合成して１つの符号化動画データとして動画復号化手段２２に伝送する。同時に動画位置情報も動画復号手段に伝送する。
また信号分離手段２１は受信した２つの分割画面データに含まれる分割画面データを、それぞれ対応する表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
【００２３】
動画復号化手段２２は、受信した符号化動画データを復号して動画データを生成する。さらに、受信した動画位置情報に基づいて、各表示装置（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）には動画のどの部分を表示するかを決定し、それぞれの表示装置に対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄに分割動画データとして例えばＲＧＢ形式のデジタル信号として送信する。
【００２４】
表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄは、それぞれ画面データ生成手段１３または信号分離手段２１から受信した分割画面データと、動画復号化手段２２から受信した分割動画データとを合成してそれぞれ表示装置Ａ５Ａ〜表示装置Ｄ５Ｄで表示する形式である合成映像データとして、各伝送各表示装置に伝送する。
【００２５】
ここで、信号合成手段１６における符号化動画データ（動画符号化手段１２が生成）と分割画面データ（画面データ生成手段１３が生成）の重畳方法について説明する。
たとえば動画がＶＧＡサイズの際には、一般的なＳＤＴＶの符号化レートである１０〜２０Ｍｂｐｓ、ＵＸＧＡサイズの際には一般的なＨＤＴＶの符号化レートである２０Ｍｂｐｓから放送素材伝送にも耐えうる６０Ｍｂｐｓなどまでで符号化することが必要である。
また静止画については、ＶＧＡの場合伝送レートは６４０ピクセル×４８０ライン×毎秒６０フレーム×２４ビット×１．０５（ブランキング用、制御用などに５％を割り当てる）＝４４２．９Ｍｂｐｓとなる。
【００２６】
ＭＰＥＧのＳＤＴＶのストリームデータの最大を上記より２０Ｍｂｐｓと仮定すると、ＶＧＡ（静止画）とＭＰＥＧストリーム（動画）を重畳した際の送信側装置７から受信側装置８へのトータルの伝送レートは、
４４２．９Ｍｂｐｓ＋２０Ｍｂｐｓ＝４６２．９Ｍｂｐｓ
となる。
必要なＶＧＡの解像度を維持してこの伝送レートを確保するためには、ＶＧＡは４８０ラインで４４２．９Mｂｐｓであるから
４８０×４６２．９／４４２．９＝５０１．７
より、伝送データの伝送レートは１フレーム当たり５０２本のライン数を伝送するのに相当する。
従って１フレーム当たり５０２−４８０＝２２ラインを増やすことに相当する伝送レートとすることによってＶＧＡの映像とＳＤＴＶの動画を重畳して、送信側装置７から受信側装置８へ送ることができるようになる。
なお動画位置情報は数バイト程度と小さいデータ量なので、計算からは除外している。
【００２７】
この２２ラインに相当するデータは、図２における信号合成手段１６において、伝送路Ｃ１５Ｃと伝送路Ｄ１５Ｄから伝送される分割画面データＣおよび分割画面データＤに図３に示すようにストリーム部Ｃ、ストリーム部Ｄとして重畳される。重畳される位置は表示装置Ｃ５Ｃと表示装置Ｄ５Ｄの垂直ブランキング期間である。
【００２８】
また、例えばＵＸＧＡ（２７６８．６Ｍｂｐｓ）でＨＤＴＶ（６０Ｍｂｐｓ）の表示をするには同じ計算をすることで、１２２７ライン必要となる。よって、１２２７−１２００＝２７ライン増やすことによってＵＸＧＡの映像とＨＤＴＶの動画を重畳して送ることができるようになる。
【００２９】
以上の説明では擬似的にライン数を増加させることによりストリームデータを重畳している例を説明したが、、ライン数に限らず画面の横方向のピクセル数を擬似的に増加させてもよい。
擬似的に増加させるピクセル数はＶＧＡの場合
６４０×４６２．９／４４２．９−６４０＝２８．９
より２９ピクセルである。
図４のように分割画面データＢと分割画面データＤにそれぞれストリームデータＢ、Ｄを重畳させる場合、図２の構成において、伝送路Ｂ１５Ｂは信号合成手段１６、信号分離手段２１を経由して表示画像合成手段Ｂ２３Ｂに接続され、伝送路Ｃ１５Ｃは表示画像合成手段Ｃ２３Ｃに直結される。
【００３０】
ライン数またはピクセル数を擬似的に増加させるのは、上記図３、図４に示した以外であってもよく、図５、図６のように１つの分割画面データにストリームデータを集中させてもよく、さらに図７のように４つの分割画面データの垂直ブランキング期間にストリーム部を均一に重畳してもよい。図５〜図７はＶＧＡの例である。また図５、図６の場合、ストリームデータが重畳される分割画面データが伝送される伝送路のみが信号合成手段１６経由で信号分離手段２１に接続され、他の伝送路は表示画像合成手段に直結される。図７の場合はすべての伝送路が信号合成手段１６経由で信号分離手段２１に接続される。
【００３１】
上記の図３〜図７のいずれにおいても、ストリーム部は各表示装置５Ａ〜５Ｄに表示されない領域に重畳されている。
【００３２】
また、ストリーム部のデータのみを含むフレームを挿入してもよい。
この場合は、ＶＧＡであれば、通常毎秒６０フレームであるから
６０×４６２．９／４４２．９＝６２．７
より、伝送データの伝送レートは毎秒６３フレームのフレームを伝送するのに相当する。
従って毎秒通常６０フレームに対して３フレーム増加させることに相当する伝送レートであるから、例えば図８のように、２０フレーム毎に１フレームずつストリームデータのみのストリーム対応擬似フレームを挿入すればよい。
この場合は、図９のように、画面データ生成手段１３が生成した同一のフレームに対応する４つの分割画面データが１つのフレーム信号として伝送路Ｇ１５Ｇを通して信号合成手段１６に２０フレーム分伝送されて伝送路Ｈ１７Ｈから伝送され、次の１フレームとして動画符号化手段１２が生成した符号化画像データと動画位置情報入力手段１４から入力された動画位置情報が伝送路Ｈ１７Ｈから伝送される。
信号分離手段２１は、各フレームのフレーム信号を４つの分割画面データに分割して表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２４Ｄに伝送するとともに、ストリーム対応擬似フレームを動画復号化手段２２に伝送する。
表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄは、受信した分割画面データと、動画復号化手段２２から受信した分割動画データとを合成してそれぞれ表示装置Ａ５Ａ〜表示装置Ｄ５Ｄで表示する形式にして、毎秒６０フレームずつ各伝送各表示装置に伝送する。
【００３３】
またこのストリーム対応擬似フレーム３個を６０フレーム分の表示用データの最後に付加してもよい。
【００３４】
また、動画の位置情報を映像信号の動画エリアの特殊な色や矩形の形から推定するいわゆる「スーパーインポーズ」を利用しても良い．また、動画は１つに限るものではない。
【００３５】
以上のように、また、特定の画面データのみに符号化動画データ（ストリームデータ）を重畳しているため再符号化の処理を削減することができるようになる。
また符号化動画データの復号処理を行うことのできない従来の表示装置でも、重畳したストリーム部が例えばＣＲＴやＬＣＤの見えない部分（水平帰線期間または垂直帰線期間）に重畳されるため、そのまま表示することが可能となる。
上記の例において、一部にアナログ信号を用いてもよい。アナログを用いる場合は、必要に応じてＤＡ変換、ＡＤ変換が間に入る。また光通信でもかまわない。
【００３６】
なお以上の説明において、動画符号化手段１２は、再符号化の際の劣化を鑑みて、符号化動画信号と同時に符号化パラメータを信号合成手段１６に伝送してもよい。
【００３７】
また以上の説明においては表示装置が４台（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）の例を示したが、表示装置の数はこれに限らず、４台より多くても少なくてもよい。この場合、画面データ生成手段１３が表示装置の数に応じた分割画面データを生成し、動画符号化手段１２は符号化動画データを所定の数の分割画面データに重畳すればよい。
【００３８】
また動画ウインドウの位置、大きさが固定である場合は、動画位置情報入力手段をもうけなくてもよい。
【００３９】
実施の形態２．
実施の形態１では、動画符号化手段１２が生成した符号化動画データを画面データ生成手段１３が生成した分割画面データにリアルタイムで重畳する例を説明したが、この実施の形態では符号化動画データを一時的に格納する例を説明する。
【００４０】
図１０において、３１は動画符号化手段１２が生成した符号化動画データを蓄積する動画蓄積手段であってハードディスク装置などの記憶手段からなる。３２はこの動画蓄積手段３１に蓄積された符号化動画データの読出しを指示する読出指示手段である。他の部分は図２に示した実施の形態１の構成と同様であるので、同じ符号を付して説明を省略する。
【００４１】
実施の形態１と同様に、動画符号化手段１２が符号化動画データを生成し、動画蓄積手段３１がこの符号化動画データを蓄積する。
読出指示手段３２は操作者の操作により読出指示を動画蓄積手段３１に出す。この読出指示を受けた動画蓄積手段３１が読出指示に含まれる動画特定情報により特定される符号化動画データを信号合成手段１６に送信する。
【００４２】
以後実施の形態１と同様であり、符号化動画データと、動画位置情報入力手段１４から入力される動画位置情報とを、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送されてくる分割画面データに重畳して合成信号を生成し、伝送路Ｅ１７Ｅ、伝送路Ｆ１７Ｆを経由して信号分離手段２１に伝送する。
【００４３】
信号分離手段２１は、上記信号合成手段から送信されてくる合成信号から符号化動画データと動画位置情報を抽出し、符号化動画データを復号し、動画データを生成する動画復号化手段２２に伝送する。また合成信号に含まれている静止画データを表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
表示映像合成手段Ａ２３Ａ、表示映像合成手段Ｂ２３Ｂ、表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄは上記画面データ生成手段１３または上記信号分離手段２１から伝送されて来る静止画データと、動画復号化手段２２から伝送されてくる動画データを合成して、それぞれ表示装置Ａ５Ａ、表示装置Ｂ５Ｂ、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに伝送し、それぞれの表示装置が画像として表示する。
【００４４】
以上のように、動画蓄積手段を設けることにより過去に蓄積した動画情報を画面データに重ねて表示することが可能になる。
また読出手段３２が出す読出指示に含まれる動画特定情報を変化させることにより、動画情報を変化させることが可能になる。
【００４５】
この実施の形態においても、分割画面データと符号化動画データの重畳の仕方には実施の形態１で説明した各種の形式が採用可能である。
【００４６】
実施の形態３．
実施の形態１では、動画符号化手段１２が符号化動画データを生成するとともに２つの分割画面データに符号化動画データを分割して重畳する例を示したが、図１１のように動画符号化手段１２が生成した符号化動画データを分割する符号化信号分割手段４１を設けてもよい。
図１１は、この符号化信号分割手段４１と次に説明する符号化信号合成手段４２以外は図２で示した実施の形態１の例と同様であるので、同一の符号を付して説明を省略する。
【００４７】
図１１において、符号化信号分割手段４１は動画符号化手段１２が生成した符号化動画データを４分割して分割符号化動画データとして信号合成手段１６に伝送する。符号化動画データを４分割する際に、動画位置情報入力手段１４から入力される動画位置情報により、各表示装置Ａ５Ａ〜表示装置Ｄ５Ｄのどの位置にどれだけの大きさの動画を表示するかを判定して分割する。
信号合成手段１６は、画面データ生成手段１３が生成した４つの分割画面データに対して、それぞれ対応する上記分割符号化動画データを重畳し、信号分離手段２１に伝送する。
信号分離手段２１は受信した４つの分割画面データから符号化動画データと動画位置情報を分離し、符号化信号合成手段４２に伝送する。
また信号分離手段２１は受信した４つの分割画面データに含まれる分割画面データを、それぞれ対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ３２Ｄに伝送する。
【００４８】
符号化信号合成手段４２は、信号分離手段２１から伝送された４つの符号化データを合成して１つの合成符号化データを生成し、動画復号手段２２がこの合成符号化データを復号して動画データを生成する。
動画復号手段２２はさらに受信した動画位置情報に基づいて、各表示装置（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）に動画のどの部分を表示するかを決定し、それぞれの表示装置に対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄに分割動画データとして例えばＲＧＢ形式のデジタル信号として送信する。
【００４９】
以上のように、符号化信号分割手段４１を設け、動画データの分割を行うの動画符号化手段の負荷が軽減され、処理が高速化されるという効果がある。
また、符号化信号合成手段４２を設け、信号分離手段２１が分離した動画データを合成するので、動画復号化手段２２の負荷が軽減され、処理が高速化されるという効果がある。
【００５０】
さらに図１１の構成に、実施の形態２で図１０を用いて説明したように、動画蓄積手段３１と読出指示手段３２を付加し、図１２のような構成にしてもよい。
【００５１】
また以上の例では、複数の画面間での同期をより正確にとるために、図１３のように複数画面同期手段５１を設けてもよい。
この複数画面同期手段５１は、動画復号化手段２２が復号した動画情報から時間情報を抽出し、この時間情報を各表示装置Ａ５Ａから表示装置Ｄ５Ｄに伝送することにより、各表示装置に表示される動画同士の同期をとる機能を有する。
【００５２】
【発明の効果】
以上のように、この発明によれば、分割した静止画像データに符号化した動画データを重畳するので、伝送レートが小さくて済むという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の映像信号表示装置を用いたシステムの概略構成図。
【図２】 この発明の実施の形態１の構成を示すブロック図。
【図３】 この発明の実施の形態１における分割画面データとストリーム部の例を示す図。
【図４】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図５】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図６】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図７】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図８】 この発明の実施の形態１におけるフレームデータとストリーム部の例を示す図。
【図９】 この発明の実施の形態１の他の構成を示すブロック図。
【図１０】 この発明の実施の形態２の構成を示すブロック図。
【図１１】 この発明の実施の形態３の構成を示すブロック図。
【図１２】 この発明の実施の形態３の他の構成を示すブロック図。
【図１３】 この発明の実施の形態３の他の構成を示すブロック図。
【図１４】 従来の映像信号表示装置の構成を示すブロック図。
【図１５】 静止画と動画を重ねて表示した状態を示す図。
【符号の説明】
１ ＰＣ、 ２ モニタ、 ３ 動画ウインドウ、 ４ 大画面装置、 ５Ａ 表示装置Ａ、 ５Ｂ 表示装置Ｂ、 ５Ｃ 表示装置Ｃ、５Ｄ 表示装置Ｄ、 ６ 動画ウインドウ、 ７ 送信側装置、 ８ 受信側装置、 １１ 動画生成手段、 １２ 動画符号化手段、 １３ 画面データ生成手段、 １４ 動画位置情報入力手段、 １５Ａ 伝送路Ａ、 １５Ｂ 伝送路Ｂ、 １５Ｃ 伝送路Ｃ、 １５Ｄ 伝送路Ｄ、 １５Ｇ 伝送路Ｇ、 １６信号合成手段、 １７Ｅ 伝送路Ｅ、１７Ｆ 伝送路Ｆ、１７Ｈ 伝送路Ｈ、２１ 信号分離手段、２２ 動画復号化手段、 ２３Ａ 表示映像合成手段Ａ、２３Ｂ 表示映像合成手段Ｂ、 ２３Ｃ 表示映像合成手段Ｃ、 ２３Ｄ 表示映像合成手段Ｄ、 ３１ 動画蓄積手段、 ３２ 読出指示手段、 ４１ 符号化信号分割手段、 ４２ 符号化信号合成手段、 １００１ ＰＣ（パーソナルコンピュータ）、 １００２ 画像データ受信部、 １００３ フォーマット検出回路、 １００４ 制御回路、 １００５ 画像データ生成部、 １００６出力処理回路、 １００７ 表示部、 １０１０ ディスプレイ、 １０１１画面（１）、 １０１２ 画面（２）、 １０１３ 画面（３）、 １０１４画面（４）。
【発明の属する技術分野】
この発明は、映像信号を複数に分割して伝送し、複数の画面上に表示する映像信号表示装置に関するものである。
【０００２】
【従来の技術】
図１４は例えば、特開２００１−２６４３１３に示された従来の映像信号表示装置のブロック図である。
この例は、異なる方式（例えば動画と静止画）で伝送された画像信号にかかわる画像を少ない回路規模で表示可能にすることを目的としており、画面全体に表示される静止画の一部に動画を重ねて表示する場合のように、伝送した１画面分の画面データ（例えば静止画）に対して、その一部を例えば動画に書き換える際に、新たに一画面分の静止画および動画のデータを伝送をするのではなく、書き換え部分の画像データのみを伝送するものである。
【０００３】
以下に動作の説明をする。
まず、ＰＣ（パーソナルコンピュータ）１００１が画面の書き換え命令を発行して，画像データ受信部１００２でその書き換え情報を受信する。
次に、フォーマット検出回路１００３が書き換え情報のフォーマット（動画もしくは静止画など）を検出し、この検出結果を制御回路１００４が画像データ生成部１００５に通知する。
画像データ生成部１００５は，静止画像であれば画面内の変更の場所のみを出力処理回路１００６に伝達する。また動画像であれば，動画像の全体を出力処理回路１００６に伝達する。
表示部１００７で書き換えが必要な部分の画像を書き換えることによって，画像の表示を行う。
ここで、動画データはＰＣ１００１によって符号化されており、画像データ生成部１００５で復号されてから出力処理回路１００６に送られる。
【０００４】
【発明が解決しようとする課題】
以上の構成においては、動画信号と静止画信号を分離して側で復号化するが、この構成では図１５のような複数の静止画面に渡る動画ウインドウ１０１５で動画像を表示するには、全ての画面（画面（１）１０１１〜画面（４）１０１４）毎に別々の動映像を送信する必要があり、そのため画面ごとの再符号化処理が必要になるという問題点があった。
【０００５】
この発明は上記のような問題点を解決するためになされたものであり、複数画面にまたがる動画像を表示する映像信号表示装置において、動画信号を一部の静止画面に重畳して送信することにより、複数画面で動画像を表示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る映像信号表示装置は、静止画と動画が合成された元画像をＮ個（Ｎは自然数）の表示装置に分割して表示し、該Ｎ個の表示装置の集合により上記元画像と同一の画像を表示する映像信号表示装置であり、画面データ生成手段と、動画生成手段と、動画符号化手段と、信号合成手段と、信号分離手段と、動画復号化手段と、Ｎ個の表示映像合成手段と、Ｎ個の表示装置とを備え、上記画面データ生成手段は、１フレームの静止画データを分割して上記Ｎ個の表示装置に対応したＮ個の分割画面データを生成し、上記動画生成手段は、動画情報から動画データを生成し、上記動画符号化手段は、上記動画生成手段が生成した動画データを符号化して符号化動画データを生成し、上記信号合成手段は、上記画面データ生成手段が生成したＮ個の分割画面データのうちのＭ個（１≦Ｍ≦Ｎ）に上記符号化動画データを重畳してＭ個の動画重畳分割画面データを生成し、上記信号分離手段は、上記Ｍ個の動画重畳分割画面データのそれぞれからＭ個の上記分割画面データと上記符号化動画データとを分離し、上記動画復号化手段は、上記信号分離手段が分離した符号化動画データを復号して復号動画データを生成し、上記Ｎ個の表示映像合成手段は、該表示映像合成手段のうちのＭ個は上記信号分離手段が分離したＭ個の分割画面データと上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、該表示映像合成手段のうちのＮ−Ｍ個は上記画面データ生成手段が生成したＮ個の分割画面データのうちの上記信号合成手段において上記符号化動画データを重畳されなかったＮ−Ｍ個の分割画面データと、上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、上記Ｎ個の表示装置は上記Ｎ個の表示映像合成手段のうちの対応する表示映像合成手段から上記合成映像データを受信して表示するものである。
【０００７】
またこの発明に係る映像信号表示装置は、上記信号合成手段において上記分割画面データに重畳される符号化動画データは、上記分割画面データの上記表示装置において表示されない部分に重畳されるようにしたものである。
【０００８】
またこの発明に係る映像信号表示装置は、上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における垂直帰線期間に対応するデータであるようにしたものである。
【０００９】
またこの発明に係る映像信号表示装置は、上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における水平帰線期間に対応するデータであるものである。
【００１０】
またこの発明に係る映像信号表示装置は、動画蓄積手段と読出指示手段とをさらに備え、上記動画蓄積手段は、上記動画符号化手段が生成した符号化動画データを格納し、上記読出指示手段からの指示により符号化動画データを上記信号合成手段に伝送するようにしたものである。
【００１１】
またこの発明に係る映像信号表示装置は、上記動画復号化手段が復号した復号動画データから時間情報を抽出し、上記Ｎ個の表示装置間相互の同期信号として該Ｎ個の表示装置に伝送する複数画面同期手段をさらに備えたものである。
【００１２】
またこの発明に係る映像信号表示装置は、上記元画像における動画の位置と大きさの少なくとも一方を動画位置情報として指定する動画位置情報入力手段をさらに備え、上記信号合成手段は上記符号化動画データとともに上記動画位置情報を上記分割画面データに重畳して動画位置情報重畳分割画面データを生成し、上記信号分離手段は上記動画位置情報重畳分割画面データから上記動画位置情報を分離し、上記動画復号化手段は上記信号分離手段が分離した動画位置情報に基づいて上記復号動画データを各表示映像合成手段に伝送するようにしたものである。
【００１３】
【発明の実施の形態】
実施の形態１．
図１はこの発明の映像信号表示装置を用いたシステムの概略構成図の１例であり、１はパソコン（ＰＣ）であり、図示しない動画取込み用のカメラとマウスを備えている。モニタ２上に静止画とともにカメラで撮影した動画を表示する動画ウインドウ３が開かれてており、この動画ウインドウ３の位置および大きさはマウスにより変更可能である。
また４は４台の表示装置Ａ５Ａ〜表示装置Ｄ５Ｄからなる大画面装置であり、これら４台の表示装置に表示された静止画と動画ウインドウ６とから、パソコン１のモニタ２上の表示と同じ静止画と動画を表示している。
表示装置Ａ５Ａ〜表示装置Ｄ５Ｄは例えばそれぞれ５０インチサイズの表示装置であり、４台で１００インチサイズの大画面装置を形成している。
モニタ２上に表示されている静止画と動画が合成された画像がこの発明における元画像である。
【００１４】
図２は図１の構成の内部構成を示すブロック図である。
図２において、７は動画データおよび静止画データを生成し、所定の処理を行った後、送信する送信側装置、８は上記送信側装置から送信された動画データおよび静止画データに所定の処理を行って表示する受信側装置であり、上記送信側装置７が図１におけるＰＣ、上記受信側装置８が大画面装置に相当する。
【００１５】
図２において、１１はカメラなどの画像入力機器から取りこんだ動画像から動画像データを生成する動画生成手段、１２はこの動画生成手段が生成した動画像データを例えばＭＰＥＧなどの符号化方式で符号化・圧縮し、符号化動画データを生成する動画符号化手段、１３はＷＩＮＤＯＷシステムなどの静止画データ（画面データ）を生成し、複数に分割して、複数の分割画面データを生成する画面データ生成手段であり、この例では静止画データを図１の大画面装置で表示するように、４つの画面データに分割する。
１４はマウスなどであり、表示画面上の動画ウインドウの位置、サイズを変更する動画位置情報入力手段、１５Ａ、１５Ｂ、１５Ｃ、１５Ｄはそれぞれ画面データ生成手段１３が生成した分割画面データを伝送する伝送路であり、このうち、伝送路Ａ１５Ａと伝送路Ｂ１５Ｂは後述の信号分離手段２１に入力され、伝送路Ｃ１５Ｃと伝送路Ｄ１５Ｄは信号合成手段１６に入力される。
【００１６】
１６の信号合成手段は、動画符号化手段１２で生成された符号化動画データと、動画位置情報入力手段１４から入力される動画位置情報とを、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送されてくる分割画面データに重畳して合成信号（動画重畳分割画面データ、動画位置情報重畳分割画面データ）を生成し、伝送路Ｅ１７Ｅ、伝送路Ｆ１７Ｆを経由して信号分離手段２１に伝送する。
【００１７】
信号分離手段２１は、上記信号合成手段から送信されてくる合成信号から符号化動画データと動画位置情報を抽出し、符号化動画データを復号して復号動画データを生成する動画復号化手段２２に伝送する。また合成信号に含まれている静止画データを表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
２３Ａ、２３Ｂ、２３Ｃ、２３Ｄはそれぞれ表示映像合成手段Ａ、表示映像合成手段Ｂ、表示映像合成手段Ｃ、表示映像合成手段Ｄであり、上記画面データ生成手段１３または上記信号分離手段２１から伝送されて来る静止画データと、動画復号化手段２２から伝送されてくる動画データを合成して合成画像データを生成してそれぞれ表示装置Ａ５Ａ、表示装置Ｂ５Ｂ、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに伝送し、それぞれの表示装置が画像として表示する。
図２における表示装置Ａ５Ａ〜表示装置Ｄ５Ｄは図１における同じ符号を付した表示装置に相当する。
【００１８】
次に動作について説明する。
まず、動画生成手段１１がカメラなどの画像入力機器から取り込んだ動画像から動画データを生成し、例えば輝度、色差形式のデジタルまたはアナログ信号に変換する。
この動画データは、動画符号化手段１２により解像度に応じた伝送レートで例えばＭＰＥＧ形式で符号化され、符号化動画データ（ＭＰＥＧストリーム）として信号合成手段１６に伝送される。伝送レートに関しての詳細は後述するが、例えば、ＶＧＡの場合には２０Ｍｂｐｓ、ＵＸＧＡの際には６０Ｍｂｐｓ相当の伝送レートとなる。
【００１９】
画面データ生成手段１３は、ＷＩＮＤＯＷシステムなどのＧＵＩを元にプロセッサが静止画データである画面データを生成し、これを４つの表示装置である表示装置Ａ５Ａ〜表示装置Ｄ５Ｄに対応するように４分割して、たとえばＲＧＢ形式のデジタル信号である４つの分割画面データを生成する。
このうち、表示装置Ａ５Ａと表示装置Ｂ５Ｂに対応する分割画面データＡ、分割画面データＢ（図示せず）は、それぞれ伝送路Ａ１５Ａ、伝送路Ｂ１５Ｂにより表示映像合成手段Ａ２３Ａ、表示映像合成手段Ｂ２３Ｂに伝送され、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに対応する分割画面データＣ、分割画面データＤ（図示せず）はそれぞれ伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄにより信号合成手段１６に伝送される。
【００２０】
操作者は図１に示したパソコン１のモニタ２または大画面装置４を見ながらマウスなどである動画位置情報入力手段１４を操作して、画面上の動画ウインドウ３または動画ウインドウ６の位置やサイズを変化させる。
動画位置情報入力手段１４は、この動画ウインドウの画面上の位置およびサイズをデジタル情報である動画位置情報として信号合成手段１６に伝送する。
【００２１】
信号合成手段は１６は、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送される分割画面データＣ、分割画面データＤに、動画符号化手段１２から伝送される符号化動画データと動画位置情報入力手段１４から伝送される動画位置情報を重畳する。
符号化動画データは例えばＭＰＥＧストリームであって、記録法はＭＰＥＧのＴＳやＰＳとする。
２つの分割画面データに対して、符号化動画データと動画位置情報をどのように配分して重畳するかは特に制限はないが、符号化動画データのデータ量のほうが動画位置情報に対して圧倒的に大きいので、符号化動画データは２つの分割画面データに均等に配分し、動画位置情報は一方の分割画面データのみに重畳してもよい。
信号合成手段１６は符号化動画データと動画位置情報を重畳した分割画面データＣ、分割画面データＤを信号分離手段２１に伝送する。
【００２２】
信号分離手段２１は、受信した２つの分割画面データから符号化動画データと動画位置情報を分離し、２つの符号化動画データを合成して１つの符号化動画データとして動画復号化手段２２に伝送する。同時に動画位置情報も動画復号手段に伝送する。
また信号分離手段２１は受信した２つの分割画面データに含まれる分割画面データを、それぞれ対応する表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
【００２３】
動画復号化手段２２は、受信した符号化動画データを復号して動画データを生成する。さらに、受信した動画位置情報に基づいて、各表示装置（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）には動画のどの部分を表示するかを決定し、それぞれの表示装置に対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄに分割動画データとして例えばＲＧＢ形式のデジタル信号として送信する。
【００２４】
表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄは、それぞれ画面データ生成手段１３または信号分離手段２１から受信した分割画面データと、動画復号化手段２２から受信した分割動画データとを合成してそれぞれ表示装置Ａ５Ａ〜表示装置Ｄ５Ｄで表示する形式である合成映像データとして、各伝送各表示装置に伝送する。
【００２５】
ここで、信号合成手段１６における符号化動画データ（動画符号化手段１２が生成）と分割画面データ（画面データ生成手段１３が生成）の重畳方法について説明する。
たとえば動画がＶＧＡサイズの際には、一般的なＳＤＴＶの符号化レートである１０〜２０Ｍｂｐｓ、ＵＸＧＡサイズの際には一般的なＨＤＴＶの符号化レートである２０Ｍｂｐｓから放送素材伝送にも耐えうる６０Ｍｂｐｓなどまでで符号化することが必要である。
また静止画については、ＶＧＡの場合伝送レートは６４０ピクセル×４８０ライン×毎秒６０フレーム×２４ビット×１．０５（ブランキング用、制御用などに５％を割り当てる）＝４４２．９Ｍｂｐｓとなる。
【００２６】
ＭＰＥＧのＳＤＴＶのストリームデータの最大を上記より２０Ｍｂｐｓと仮定すると、ＶＧＡ（静止画）とＭＰＥＧストリーム（動画）を重畳した際の送信側装置７から受信側装置８へのトータルの伝送レートは、
４４２．９Ｍｂｐｓ＋２０Ｍｂｐｓ＝４６２．９Ｍｂｐｓ
となる。
必要なＶＧＡの解像度を維持してこの伝送レートを確保するためには、ＶＧＡは４８０ラインで４４２．９Mｂｐｓであるから
４８０×４６２．９／４４２．９＝５０１．７
より、伝送データの伝送レートは１フレーム当たり５０２本のライン数を伝送するのに相当する。
従って１フレーム当たり５０２−４８０＝２２ラインを増やすことに相当する伝送レートとすることによってＶＧＡの映像とＳＤＴＶの動画を重畳して、送信側装置７から受信側装置８へ送ることができるようになる。
なお動画位置情報は数バイト程度と小さいデータ量なので、計算からは除外している。
【００２７】
この２２ラインに相当するデータは、図２における信号合成手段１６において、伝送路Ｃ１５Ｃと伝送路Ｄ１５Ｄから伝送される分割画面データＣおよび分割画面データＤに図３に示すようにストリーム部Ｃ、ストリーム部Ｄとして重畳される。重畳される位置は表示装置Ｃ５Ｃと表示装置Ｄ５Ｄの垂直ブランキング期間である。
【００２８】
また、例えばＵＸＧＡ（２７６８．６Ｍｂｐｓ）でＨＤＴＶ（６０Ｍｂｐｓ）の表示をするには同じ計算をすることで、１２２７ライン必要となる。よって、１２２７−１２００＝２７ライン増やすことによってＵＸＧＡの映像とＨＤＴＶの動画を重畳して送ることができるようになる。
【００２９】
以上の説明では擬似的にライン数を増加させることによりストリームデータを重畳している例を説明したが、、ライン数に限らず画面の横方向のピクセル数を擬似的に増加させてもよい。
擬似的に増加させるピクセル数はＶＧＡの場合
６４０×４６２．９／４４２．９−６４０＝２８．９
より２９ピクセルである。
図４のように分割画面データＢと分割画面データＤにそれぞれストリームデータＢ、Ｄを重畳させる場合、図２の構成において、伝送路Ｂ１５Ｂは信号合成手段１６、信号分離手段２１を経由して表示画像合成手段Ｂ２３Ｂに接続され、伝送路Ｃ１５Ｃは表示画像合成手段Ｃ２３Ｃに直結される。
【００３０】
ライン数またはピクセル数を擬似的に増加させるのは、上記図３、図４に示した以外であってもよく、図５、図６のように１つの分割画面データにストリームデータを集中させてもよく、さらに図７のように４つの分割画面データの垂直ブランキング期間にストリーム部を均一に重畳してもよい。図５〜図７はＶＧＡの例である。また図５、図６の場合、ストリームデータが重畳される分割画面データが伝送される伝送路のみが信号合成手段１６経由で信号分離手段２１に接続され、他の伝送路は表示画像合成手段に直結される。図７の場合はすべての伝送路が信号合成手段１６経由で信号分離手段２１に接続される。
【００３１】
上記の図３〜図７のいずれにおいても、ストリーム部は各表示装置５Ａ〜５Ｄに表示されない領域に重畳されている。
【００３２】
また、ストリーム部のデータのみを含むフレームを挿入してもよい。
この場合は、ＶＧＡであれば、通常毎秒６０フレームであるから
６０×４６２．９／４４２．９＝６２．７
より、伝送データの伝送レートは毎秒６３フレームのフレームを伝送するのに相当する。
従って毎秒通常６０フレームに対して３フレーム増加させることに相当する伝送レートであるから、例えば図８のように、２０フレーム毎に１フレームずつストリームデータのみのストリーム対応擬似フレームを挿入すればよい。
この場合は、図９のように、画面データ生成手段１３が生成した同一のフレームに対応する４つの分割画面データが１つのフレーム信号として伝送路Ｇ１５Ｇを通して信号合成手段１６に２０フレーム分伝送されて伝送路Ｈ１７Ｈから伝送され、次の１フレームとして動画符号化手段１２が生成した符号化画像データと動画位置情報入力手段１４から入力された動画位置情報が伝送路Ｈ１７Ｈから伝送される。
信号分離手段２１は、各フレームのフレーム信号を４つの分割画面データに分割して表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２４Ｄに伝送するとともに、ストリーム対応擬似フレームを動画復号化手段２２に伝送する。
表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄは、受信した分割画面データと、動画復号化手段２２から受信した分割動画データとを合成してそれぞれ表示装置Ａ５Ａ〜表示装置Ｄ５Ｄで表示する形式にして、毎秒６０フレームずつ各伝送各表示装置に伝送する。
【００３３】
またこのストリーム対応擬似フレーム３個を６０フレーム分の表示用データの最後に付加してもよい。
【００３４】
また、動画の位置情報を映像信号の動画エリアの特殊な色や矩形の形から推定するいわゆる「スーパーインポーズ」を利用しても良い．また、動画は１つに限るものではない。
【００３５】
以上のように、また、特定の画面データのみに符号化動画データ（ストリームデータ）を重畳しているため再符号化の処理を削減することができるようになる。
また符号化動画データの復号処理を行うことのできない従来の表示装置でも、重畳したストリーム部が例えばＣＲＴやＬＣＤの見えない部分（水平帰線期間または垂直帰線期間）に重畳されるため、そのまま表示することが可能となる。
上記の例において、一部にアナログ信号を用いてもよい。アナログを用いる場合は、必要に応じてＤＡ変換、ＡＤ変換が間に入る。また光通信でもかまわない。
【００３６】
なお以上の説明において、動画符号化手段１２は、再符号化の際の劣化を鑑みて、符号化動画信号と同時に符号化パラメータを信号合成手段１６に伝送してもよい。
【００３７】
また以上の説明においては表示装置が４台（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）の例を示したが、表示装置の数はこれに限らず、４台より多くても少なくてもよい。この場合、画面データ生成手段１３が表示装置の数に応じた分割画面データを生成し、動画符号化手段１２は符号化動画データを所定の数の分割画面データに重畳すればよい。
【００３８】
また動画ウインドウの位置、大きさが固定である場合は、動画位置情報入力手段をもうけなくてもよい。
【００３９】
実施の形態２．
実施の形態１では、動画符号化手段１２が生成した符号化動画データを画面データ生成手段１３が生成した分割画面データにリアルタイムで重畳する例を説明したが、この実施の形態では符号化動画データを一時的に格納する例を説明する。
【００４０】
図１０において、３１は動画符号化手段１２が生成した符号化動画データを蓄積する動画蓄積手段であってハードディスク装置などの記憶手段からなる。３２はこの動画蓄積手段３１に蓄積された符号化動画データの読出しを指示する読出指示手段である。他の部分は図２に示した実施の形態１の構成と同様であるので、同じ符号を付して説明を省略する。
【００４１】
実施の形態１と同様に、動画符号化手段１２が符号化動画データを生成し、動画蓄積手段３１がこの符号化動画データを蓄積する。
読出指示手段３２は操作者の操作により読出指示を動画蓄積手段３１に出す。この読出指示を受けた動画蓄積手段３１が読出指示に含まれる動画特定情報により特定される符号化動画データを信号合成手段１６に送信する。
【００４２】
以後実施の形態１と同様であり、符号化動画データと、動画位置情報入力手段１４から入力される動画位置情報とを、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送されてくる分割画面データに重畳して合成信号を生成し、伝送路Ｅ１７Ｅ、伝送路Ｆ１７Ｆを経由して信号分離手段２１に伝送する。
【００４３】
信号分離手段２１は、上記信号合成手段から送信されてくる合成信号から符号化動画データと動画位置情報を抽出し、符号化動画データを復号し、動画データを生成する動画復号化手段２２に伝送する。また合成信号に含まれている静止画データを表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
表示映像合成手段Ａ２３Ａ、表示映像合成手段Ｂ２３Ｂ、表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄは上記画面データ生成手段１３または上記信号分離手段２１から伝送されて来る静止画データと、動画復号化手段２２から伝送されてくる動画データを合成して、それぞれ表示装置Ａ５Ａ、表示装置Ｂ５Ｂ、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに伝送し、それぞれの表示装置が画像として表示する。
【００４４】
以上のように、動画蓄積手段を設けることにより過去に蓄積した動画情報を画面データに重ねて表示することが可能になる。
また読出手段３２が出す読出指示に含まれる動画特定情報を変化させることにより、動画情報を変化させることが可能になる。
【００４５】
この実施の形態においても、分割画面データと符号化動画データの重畳の仕方には実施の形態１で説明した各種の形式が採用可能である。
【００４６】
実施の形態３．
実施の形態１では、動画符号化手段１２が符号化動画データを生成するとともに２つの分割画面データに符号化動画データを分割して重畳する例を示したが、図１１のように動画符号化手段１２が生成した符号化動画データを分割する符号化信号分割手段４１を設けてもよい。
図１１は、この符号化信号分割手段４１と次に説明する符号化信号合成手段４２以外は図２で示した実施の形態１の例と同様であるので、同一の符号を付して説明を省略する。
【００４７】
図１１において、符号化信号分割手段４１は動画符号化手段１２が生成した符号化動画データを４分割して分割符号化動画データとして信号合成手段１６に伝送する。符号化動画データを４分割する際に、動画位置情報入力手段１４から入力される動画位置情報により、各表示装置Ａ５Ａ〜表示装置Ｄ５Ｄのどの位置にどれだけの大きさの動画を表示するかを判定して分割する。
信号合成手段１６は、画面データ生成手段１３が生成した４つの分割画面データに対して、それぞれ対応する上記分割符号化動画データを重畳し、信号分離手段２１に伝送する。
信号分離手段２１は受信した４つの分割画面データから符号化動画データと動画位置情報を分離し、符号化信号合成手段４２に伝送する。
また信号分離手段２１は受信した４つの分割画面データに含まれる分割画面データを、それぞれ対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ３２Ｄに伝送する。
【００４８】
符号化信号合成手段４２は、信号分離手段２１から伝送された４つの符号化データを合成して１つの合成符号化データを生成し、動画復号手段２２がこの合成符号化データを復号して動画データを生成する。
動画復号手段２２はさらに受信した動画位置情報に基づいて、各表示装置（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）に動画のどの部分を表示するかを決定し、それぞれの表示装置に対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄに分割動画データとして例えばＲＧＢ形式のデジタル信号として送信する。
【００４９】
以上のように、符号化信号分割手段４１を設け、動画データの分割を行うの動画符号化手段の負荷が軽減され、処理が高速化されるという効果がある。
また、符号化信号合成手段４２を設け、信号分離手段２１が分離した動画データを合成するので、動画復号化手段２２の負荷が軽減され、処理が高速化されるという効果がある。
【００５０】
さらに図１１の構成に、実施の形態２で図１０を用いて説明したように、動画蓄積手段３１と読出指示手段３２を付加し、図１２のような構成にしてもよい。
【００５１】
また以上の例では、複数の画面間での同期をより正確にとるために、図１３のように複数画面同期手段５１を設けてもよい。
この複数画面同期手段５１は、動画復号化手段２２が復号した動画情報から時間情報を抽出し、この時間情報を各表示装置Ａ５Ａから表示装置Ｄ５Ｄに伝送することにより、各表示装置に表示される動画同士の同期をとる機能を有する。
【００５２】
【発明の効果】
以上のように、この発明によれば、分割した静止画像データに符号化した動画データを重畳するので、伝送レートが小さくて済むという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の映像信号表示装置を用いたシステムの概略構成図。
【図２】 この発明の実施の形態１の構成を示すブロック図。
【図３】 この発明の実施の形態１における分割画面データとストリーム部の例を示す図。
【図４】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図５】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図６】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図７】 この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図８】 この発明の実施の形態１におけるフレームデータとストリーム部の例を示す図。
【図９】 この発明の実施の形態１の他の構成を示すブロック図。
【図１０】 この発明の実施の形態２の構成を示すブロック図。
【図１１】 この発明の実施の形態３の構成を示すブロック図。
【図１２】 この発明の実施の形態３の他の構成を示すブロック図。
【図１３】 この発明の実施の形態３の他の構成を示すブロック図。
【図１４】 従来の映像信号表示装置の構成を示すブロック図。
【図１５】 静止画と動画を重ねて表示した状態を示す図。
【符号の説明】
１ ＰＣ、 ２ モニタ、 ３ 動画ウインドウ、 ４ 大画面装置、 ５Ａ 表示装置Ａ、 ５Ｂ 表示装置Ｂ、 ５Ｃ 表示装置Ｃ、５Ｄ 表示装置Ｄ、 ６ 動画ウインドウ、 ７ 送信側装置、 ８ 受信側装置、 １１ 動画生成手段、 １２ 動画符号化手段、 １３ 画面データ生成手段、 １４ 動画位置情報入力手段、 １５Ａ 伝送路Ａ、 １５Ｂ 伝送路Ｂ、 １５Ｃ 伝送路Ｃ、 １５Ｄ 伝送路Ｄ、 １５Ｇ 伝送路Ｇ、 １６信号合成手段、 １７Ｅ 伝送路Ｅ、１７Ｆ 伝送路Ｆ、１７Ｈ 伝送路Ｈ、２１ 信号分離手段、２２ 動画復号化手段、 ２３Ａ 表示映像合成手段Ａ、２３Ｂ 表示映像合成手段Ｂ、 ２３Ｃ 表示映像合成手段Ｃ、 ２３Ｄ 表示映像合成手段Ｄ、 ３１ 動画蓄積手段、 ３２ 読出指示手段、 ４１ 符号化信号分割手段、 ４２ 符号化信号合成手段、 １００１ ＰＣ（パーソナルコンピュータ）、 １００２ 画像データ受信部、 １００３ フォーマット検出回路、 １００４ 制御回路、 １００５ 画像データ生成部、 １００６出力処理回路、 １００７ 表示部、 １０１０ ディスプレイ、 １０１１画面（１）、 １０１２ 画面（２）、 １０１３ 画面（３）、 １０１４画面（４）。
Claims (7)
- 静止画と動画が合成された元画像をＮ個（Ｎは自然数）の表示装置に分割して表示し、該Ｎ個の表示装置の集合により上記元画像と同一の画像を表示する映像信号表示装置であり、
画面データ生成手段と、動画生成手段と、動画符号化手段と、信号合成手段と、信号分離手段と、動画復号化手段と、Ｎ個の表示映像合成手段と、Ｎ個の表示装置とを備え、
上記画面データ生成手段は、
１フレームの静止画データを分割して上記Ｎ個の表示装置に対応したＮ個の分割画面データを生成し、
上記動画生成手段は、
動画情報から動画データを生成し、
上記動画符号化手段は、
上記動画生成手段が生成した動画データを符号化して符号化動画データを生成し
上記信号合成手段は、
上記画面データ生成手段が生成したＮ個の分割画面データのうちのＭ個（１≦Ｍ≦Ｎ）に上記符号化動画データを重畳してＭ個の動画重畳分割画面データを生成し、
上記信号分離手段は、
上記Ｍ個の動画重畳分割画面データのそれぞれからＭ個の上記分割画面データと上記符号化動画データとを分離し、
上記動画復号化手段は、
上記信号分離手段が分離した符号化動画データを復号して復号動画データを生成し、
上記Ｎ個の表示映像合成手段は、
該表示映像合成手段のうちのＭ個は上記信号分離手段が分離したＭ個の分割画面データと上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、
該表示映像合成手段のうちのＮ−Ｍ個は上記画面データ生成手段が生成したＮ個の分割画面データのうちの上記信号合成手段において上記符号化動画データを重畳されなかったＮ−Ｍ個の分割画面データと、上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、
上記Ｎ個の表示装置は
上記Ｎ個の表示映像合成手段のうちの対応する表示映像合成手段から上記合成映像データを受信して表示する
ことを特徴とする映像信号表示手段。 - 上記信号合成手段において上記分割画面データに重畳される符号化動画データは、上記分割画面データの上記表示装置において表示されない部分に重畳される
ことを特徴とする請求項１に記載の映像信号表示装置。 - 上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における垂直帰線期間に対応するデータである
ことを特徴とする請求項２に記載の映像信号表示装置。 - 上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における水平帰線期間に対応するデータである
ことを特徴とする請求項２に記載の映像信号表示装置。 - 動画蓄積手段と読出指示手段とをさらに備え、
上記動画蓄積手段は、
上記動画符号化手段が生成した符号化動画データを格納し、上記読出指示手段からの指示により符号化動画データを上記信号合成手段に伝送する
ことを特徴とする請求項１に記載の映像信号表示装置。 - 上記動画復号化手段が復号した復号動画データから時間情報を抽出し、上記Ｎ個の表示装置間相互の同期信号として該Ｎ個の表示装置に伝送する複数画面同期手段をさらに備えたことを特徴とする請求項１に記載の映像信号表示装置。
- 上記元画像における動画の位置と大きさの少なくとも一方を動画位置情報として指定する動画位置情報入力手段をさらに備え、
上記信号合成手段は上記符号化動画データとともに上記動画位置情報を上記分割画面データに重畳して動画位置情報重畳分割画面データを生成し、
上記信号分離手段は上記動画位置情報重畳分割画面データから上記動画位置情報を分離し、
上記動画復号化手段は上記信号分離手段が分離した動画位置情報に基づいて上記復号動画データを各表示映像合成手段に伝送する
ことを特徴とする請求項１から請求項６のいずれか１項に記載の映像信号表示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159593A JP3928485B2 (ja) | 2002-05-31 | 2002-05-31 | 映像信号表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002159593A JP3928485B2 (ja) | 2002-05-31 | 2002-05-31 | 映像信号表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004007199A JP2004007199A (ja) | 2004-01-08 |
| JP3928485B2 true JP3928485B2 (ja) | 2007-06-13 |
Family
ID=30429306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002159593A Expired - Fee Related JP3928485B2 (ja) | 2002-05-31 | 2002-05-31 | 映像信号表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3928485B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009109894A (ja) * | 2007-10-31 | 2009-05-21 | Aisin Aw Co Ltd | 表示装置 |
| CN111654644A (zh) * | 2020-05-15 | 2020-09-11 | 西安万像电子科技有限公司 | 图像传输方法及系统 |
-
2002
- 2002-05-31 JP JP2002159593A patent/JP3928485B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004007199A (ja) | 2004-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8564642B2 (en) | Communication method, communication system, transmission method, transmission apparatus, receiving method and receiving apparatus | |
| CN1697490B (zh) | 影像装置 | |
| CN101690190B (zh) | 成像设备和成像方法 | |
| JP5018515B2 (ja) | 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム | |
| US7659934B2 (en) | Recording/reproduction apparatus, and recording/reproduction method as well as stereoscopic images visual effects confirmation apparatus and stereoscopic image visual effects confirmation method | |
| US5459477A (en) | Display control device | |
| JP5162845B2 (ja) | 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置 | |
| KR100750779B1 (ko) | 신호 송신 장치 및 신호 수신 장치 | |
| CN100505889C (zh) | 图像声音输出系统、装置、声音处理程序和记录介质 | |
| US8724912B2 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
| US7417633B2 (en) | Workstation for processing and producing a video signal | |
| US6885381B1 (en) | System and method for producing a video signal | |
| JP2013125141A (ja) | 表示装置、表示方法、送信装置および送信方法 | |
| US20050151745A1 (en) | Video card with interchangeable connector module | |
| JP4100359B2 (ja) | 信号伝送システム、データ送信装置、及びデータ受信装置 | |
| JP3928485B2 (ja) | 映像信号表示装置 | |
| KR101856177B1 (ko) | 다중 신호 처리 시스템 | |
| KR20070077381A (ko) | 고해상도 화면 분할장치 | |
| JP4329072B2 (ja) | テストパターン発生装置、撮像装置、画像出力装置、及び高精細画像表示システム | |
| US7663646B2 (en) | Device, system and method for realizing on screen display | |
| TWI812003B (zh) | 影像預覽方法及預覽系統 | |
| KR20110068784A (ko) | 영상 송신 장치, 영상 수신 장치, 이를 포함하는 영상 전송 시스템과 그 방법 | |
| WO2022137326A1 (ja) | 映像音響合成装置、方法及びプログラム | |
| JP2007174097A (ja) | 映像信号処理装置 | |
| KR20070091874A (ko) | 고해상도 멀티채널 디스플레이 기능을 구비한 ｄｖｒ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040707 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |