JP4612779B2 - 通信装置及び通信装置の映像表示制御方法 - Google Patents
通信装置及び通信装置の映像表示制御方法 Download PDFInfo
- Publication number
- JP4612779B2 JP4612779B2 JP2001180432A JP2001180432A JP4612779B2 JP 4612779 B2 JP4612779 B2 JP 4612779B2 JP 2001180432 A JP2001180432 A JP 2001180432A JP 2001180432 A JP2001180432 A JP 2001180432A JP 4612779 B2 JP4612779 B2 JP 4612779B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- display
- communication device
- video data
- communication terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4135—Peripherals receiving signals from specially adapted client devices external recorder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、テレビ電話やテレビ会議システム等に用いられる、通信装置、及び通信装置の映像表示制御方法に関するものである。
【０００２】
【従来の技術】
近年では、例えば、動画データや音声データ等のようなリアルタイム性を要求されるデータと、静止画データや制御データ等のような転送の信頼性が要求されるデータとを、混在した状態で転送することが可能な高速ディジタル通信技術が実現されている。また、このような高速ディジタル通信技術を使用して、従来では単独で或いは機器独自の接続により動作していた家庭内のオーディオ／ビジュアル（ＡＶ）機器や家電機器を、１つの家庭内ネットワーク上に接続する要求が高まり実現されている。
【０００３】
さらに、テレビ電話においても、家庭内ネットワーク上に接続されたビデオカセットレコーダ（ＶＣＲ）やディジタルカメラ等で得られた映像を、通話相手に対して表示する要求が高まってきている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のテレビ電話では、例えば、ＶＣＲの映像とディジタルカメラの映像を同時に通話相手に表示可能なように転送した場合、通話相手側における表示形態の一貫性が欠けており、通話相手が、何れがＶＣＲの映像であるのかディジタルカメラの映像であるのか等を認識しづらい、といった問題があった。
【０００５】
また、複数の映像を転送するための構成としては、複数の通信手段を備える構成がとられていたので、これらの通信手段を備えるためのコスト的な問題があった。
【０００６】
また、通話相手のＶＣＲ等の映像を見ることが可能であるのならば、これを遠隔操作したいという、ユーザの要求が生じることが予想される。
【０００７】
そこで、本発明は、上記の欠点を除去するために成されたもので、コストダウンを図りつつ、通信相手から転送される映像の表示内容を容易に認識等することができ、また、通信相手側の遠隔操作をも行える、通信装置、及び通信装置の映像表示制御方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
斯かる目的下において、第１の発明は、通信装置と接続された表示部に映像を表示する機能を有する通信装置であって、当該通信装置と通信可能なリモート通信装置から、当該通信装置に対して送信される映像データと、当該映像データの数を示す第１の映像数情報とを受信する通信手段と、前記第１の映像数情報及び前記リモート通信装置以外から入力され、前記表示部に表示するための映像データの数を示す第２の映像数情報に基づいて、前記通信手段が受信した映像データ及び前記入力された映像データを前記表示部に表示するための第１の表示レイアウト情報を決定する決定手段と、前記決定手段によって決定された前記第１の表示レイアウト情報に従って、前記通信手段で受信した映像データと前記入力された映像データとを同一画面上に表示するように合成し、合成映像データを生成する第１の合成手段と、前記第１の合成手段によって生成された合成映像データに対応する映像を前記表示部に表示する表示手段と、を有することを特徴とする。
【０００９】
第２の発明は、前記第１の発明において、前記通信手段は、前記第２の映像数情報を前記リモート通信装置に送信するとともに、前記リモート通信装置から送信される第２の表示レイアウト情報を受信し、さらに、前記通信装置は、前記通信手段によって受信した前記第２の表示レイアウト情報に基づいて、当該通信装置に前記リモート通信装置以外から入力された映像データを合成する第２の合成手段を有し、前記第２の合成手段で合成された映像データを前記通信手段が前記リモート通信装置に送信することを特徴とする。
【００１０】
第３の発明は、前記第２の発明において、前記第１の合成手段は、前記第２の合成手段で合成された映像データと、前記リモート通信装置から送信された映像データとを合成することを特徴とする。
【００１１】
第４の発明は、前記第１の発明において、前記決定手段は、前記第１の映像数情報または前記第２の映像数情報の少なくともいずれか一方が変化した場合には、表示レイアウト情報を再度決定することを特徴とする。
【００１２】
第５の発明は、複数の映像を、通信装置と接続された表示部の画面上に表示する機能を有する通信装置の映像表示制御方法であって、当該通信装置と通信可能なリモート通信装置から、当該通信装置に対して送信される映像データと、当該映像データの数を示す第１の映像数情報とを受信する受信ステップと、前記第１の映像数情報及び前記リモート通信装置以外から入力され、前記表示部に表示するための映像データの数を示す第２の映像数情報に基づいて、前記受信ステップで受信した映像データ及び前記入力された映像データを前記表示部に表示するための第１の表示レイアウト情報を決定する決定ステップと、前記決定ステップによって決定された前記第１の表示レイアウト情報に従って、前記受信ステップで受信した映像データと前記入力された映像データとを同一画面上に表示するように合成し、合成映像データを生成する第１の合成ステップと、前記第１の合成ステップによって生成された合成映像データに対応する映像を前記表示部に表示する表示ステップと、を有することを特徴とする。
【００１３】
第６の発明は、前記第５の発明において、前記第２の映像数情報を前記リモート通信装置に送信する第１の送信ステップと、前記リモート通信装置から送信される第２の表示レイアウト情報を受信するレイアウト情報受信ステップと、受信した前記第２の表示レイアウト情報に基づいて、当該通信装置に前記リモート通信装置以外から入力された映像データを合成する第２の合成ステップと、前記第２の合成ステップで合成された映像データを前記リモート通信装置に送信する第２の送信ステップと、を有することとを特徴とする。
【００１４】
第７の発明は、前記第６の発明において、前記第１の合成ステップでは、前記第２の合成ステップで合成された映像データと、前記リモート通信装置から送信された映像データとを合成することを特徴とする。
【００１５】
第８の発明は、前記第５の発明において、前記決定ステップでは、前記第１の映像数情報または前記第２の映像数情報の少なくともいずれか一方が変化した場合には、表示レイアウト情報を再度決定することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３３】
[第１の実施の形態]
本発明は、例えば、図１に示すような通信システム１００に適用される。
本実施の形態の通信システム１００は、ユーザＡ側の通信端末装置１１０（Ａ）と、ユーザＢ側の通信端末装置１１０（Ｂ）とが、通信回線１２０を介して互いに通信可能なように接続された構成としている。
【００３４】
尚、上記図１では、説明の簡単のため、２つの通信端末装置１１０（Ａ）、１１０（Ｂ）の接続構成を示しているが、この接続数に限られることはない。
【００３５】
通信端末装置１１０（Ａ）は、セットトップボックス（ＳＴＢ）１１１（Ａ）、ビデオカセットレコーダ（ＶＣＲ）１１２（Ａ）、映像合成部１１３（Ａ）、ＣＯＤＥＣ部１１４（Ａ）、ネットワークコントロールユニット（ＮＣＵ）部１１５（Ａ）、レイアウト生成部１１６（Ａ）、映像合成部１１７（Ａ）、表示部１１８（Ａ）、及びテレビカメラ１１９（Ａ）を備えている。
【００３６】
テレビカメラ１１９（Ａ）は、主にユーザＡ自信を撮影するようになされている。
ＳＴＢ１１１（Ａ）は、不図示のアンテナにより放送波を受信し、テレビ番組を出力する。
ＶＣＲ１１２（Ａ）は、カセットテープ等の記録媒体に対して、テレビ番組等の録画や再生を行う。
【００３７】
尚、ＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）は、ここでは映像ソースとして使用しており、映像を出力可能であれば、レーザディスクプレイヤーやＤＶＤプレーヤー等の任意の機器を適用可能である。また、ＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）として、ディジタルカメラ等の静止画を出力する機器をも適用可能である。
【００３８】
映像合成部１１３（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）からの映像をディジタル化し、レイアウト生成部１１６（Ａ）からのの指示に従って、それぞれの映像データに対して、拡大、縮小、及び合成等の処理を施し、１つの映像データを生成して出力する。
【００３９】
映像合成部１１７（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、ＶＣＲ１１２（Ａ）、及びＣＯＤＥＣ部１１４（Ａ）からの映像をディジタル化して映像データを生成し、レイアウト生成部１１６（Ａ）からの指示に従って、それぞれの映像データに対して、拡大、縮小、及び合成等の処理を施し、１つの映像データを生成して出力する。
【００４０】
ＣＯＤＥＣ部１１４（Ａ）は、映像データや音声データの圧縮伸張処理を実行する。
例えば、ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で得られた映像データを符号化することによりその情報量を圧縮し、当該圧縮映像データをＮＣＵ１１５（Ａ）に対して出力する。また、ＣＯＤＥＣ部１１４（Ａ）は、ＮＣＵ１１５（Ａ）からの圧縮映像データを復号してその情報量を伸張する。
【００４１】
ＮＣＵ１１５（Ａ）は、通信回線１２０を介した通信端末装置１１０（Ｂ）との各種データの通信制御を行う。
【００４２】
レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ａ）の表示部１１８（Ａ）で表示する映像数と、通信端末装置１１０（Ｂ）の表示部１１８（Ｂ）で表示する映像数とから、表示レイアウトを生成及び決定し、当該表示レイアウトに基づいて、映像合成部１１３（Ａ）、１１７（Ａ）を制御する。
通信端末装置１１０（Ｂ）の表示部１１８（Ｂ）で表示する映像数については、通信端末装置１１０（Ｂ）から通信端末装置１１０（Ａ）に対して、通信回線１２０を介して通知される。
また、レイアウト生成部１１６（Ａ）は、上記の表示レイアウトに関する情報を、通信回線１２０を介して通信端末装置１１０（Ｂ）に通知する。
【００４３】
表示部１１８（Ａ）は、映像合成部１１７（Ａ）で得られた映像をユーザＡに対して表示出力する。
【００４４】
一方、通信端末装置１１０（Ｂ）は、セットトップボックス（ＳＴＢ）１１１（Ｂ）、ビデオカセットレコーダ（ＶＣＲ）１１２（Ｂ）、映像合成部１１３（Ｂ）、ＣＯＤＥＣ部１１４（Ｂ）、ネットワークコントロールユニット（ＮＣＵ）部１１５（Ｂ）、レイアウト制御部１１６（Ｂ）、映像合成部１１７（Ｂ）、表示部１１８（Ｂ）、及びテレビカメラ１１９（Ｂ）を備えている。
通信端末装置１１０（Ｂ）は、通信端末装置１１０（Ａ）と同様の構成としているが、以下の構成が異なる。
【００４５】
レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ｂ）の表示部１１８（Ｂ）で表示する映像数を、通信回線１２０介して通信端末装置１１０（Ａ）に通知する。
また、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から通信回線１２０介して通知される表示レイアウト情報を受信し、当該表示レイアウト情報に基づいて、映像合成部１１３（Ｂ）、１１７（Ｂ）を制御する。
【００４６】
通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の通信のための、ＮＣＵ１１５（Ａ）、１１５（Ｂ）及び通信回線１２０は、例えば、ＩＳＤＮに対応したものであり、ＩＴＵによるＨ３２０規格等に従って、ＣＯＤＥＣ部１１４（Ａ）、１１４（Ｂ）で得られる圧縮映像データと、表示部１１８（Ａ）、１１８（Ｂ）で表示する映像数、及びその表示レイアウト情報等を転送可能に構成されている。
【００４７】
以下、上述のような通信システム１００の動作について説明する。
ここでは、その一例として、通信端末装置１１０（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）で得られる３つの映像を表示しようとしているものとし、通信端末装置１１０（Ｂ）は、テレビカメラ１１９（Ｂ）及びＶＣＲ１１２（Ｂ）で得られる２つの映像を表示しようとしているものとする。
【００４８】
先ず、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の間で、通信回線１２０を介した接続が完了すると、通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわち映像数“２”を、通信端末装置１１０（Ａ）に対して通知する。
【００４９】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から通知された映像数“２”と、表示部１１８（Ａ）で表示しようとしている映像数、すなわち映像数“３”との合計数“５”に基づいて、表示レイアウトを生成及び決定する。
【００５０】
図２は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト２０１の一例を示したものである。
表示レイアウト２０１は、５つの表示領域１−１〜１−３及び２−１、２−２を含んでいる。
表示領域１−１は、通信端末装置１１０（Ａ）のテレビカメラ１１９（Ａ）の映像を表示する領域であり、表示領域１−２は、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）の映像を表示する領域であり、表示領域１−３は、通信端末装置１１０（Ａ）のＶＣＲ１１２（Ａ）の映像を表示する領域である。また、表示領域２−１及び２−２は、通信端末装置１１０（Ｂ）で得られた映像を表示する領域である。
【００５１】
上記図２の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）に関するもの、すなわち表示領域２−１及び２−２を示す情報を、表示レイアウト情報として、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１：Ｘ１Ｓ、Ｙ１Ｓ、Ｘ１Ｅ、Ｙ１Ｅ
２：Ｘ２Ｓ、Ｙ２Ｓ、Ｘ２Ｅ、Ｙ２Ｅ
となる。
【００５２】
上記の表示レイアウト情報において、例えば、図３に示すように、“Ｘ１Ｓ”及び“Ｙ１Ｓ”は、表示領域２−１の左上の座標を示し、“Ｘ１Ｅ”及び“Ｙ１Ｅ”は、表示領域２−１の右下の座標を示す。“Ｘ２Ｓ”、“Ｙ２Ｓ”、“Ｘ２Ｅ”、及び“Ｙ２Ｅ”は、表示領域２−２の左上の座標と右下の座標を示す。
【００５３】
レイアウト生成部１１６（Ａ）は、上記図２に示したような表示レイアウト２０１に基づいて、映像合成部１１３（Ａ）を制御する。
例えば、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）で得られた映像を表示領域１−１のサイズに合わせて拡大／縮小し、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２のサイズ合わせて拡大／縮小し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３のサイズに合わせて拡大／縮小するように、映像合成部１１３（Ａ）を制御する。また、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）で得られた映像を表示領域１−１の位置に配置し、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２の位置に配置し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３の位置に配置して、１つの合成映像を生成するように、映像合成部１１３（Ａ）を制御する。
【００５４】
映像合成部１１３（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図４に示すような、テレビカメラ１１９（Ａ）で得られた映像、ＳＴＢ１１１（Ａ）で得られた映像、及びＶＣＲ１１２（Ａ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図４の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００５５】
ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ｂ）に対して転送する。
【００５６】
通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から送信されてきた表示レイアウト情報（上記図３参照）に基づいて、映像合成部１１３（Ｂ）を制御する。
例えば、レイアウト制御部１１６（Ｂ）は、表示レイアウト情報により示される表示領域２−１をテレビカメラ１１９（Ｂ）で得られた映像を表示する領域とし、表示レイアウト情報により示される表示領域２−２をＶＣＲ１１２（Ｂ）で得られた映像を表示する領域として割り当てる。そして、レイアウト制御部１１６（Ｂ）は、テレビカメラ１１９（Ｂ）で得られた映像を表示領域２−１のサイズに合わせて拡大／縮小し、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２のサイズに合わせて拡大／縮小し、さらにテレビカメラ１１９（Ｂ）で得られた映像を表示領域２−１の位置に配置し、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２の位置に配置するように、映像合成部１１３（Ｂ）を制御する。
【００５７】
映像合成部１１３（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図５に示すような、テレビカメラ１１９（Ｂ）で得られた映像、及びＶＣＲ１１２（Ｂ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図５の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００５８】
ＣＯＤＥＣ部１１４（Ｂ）は、映像合成部１１３（Ｂ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ａ）に対して転送する。
【００５９】
通信端末装置１１０（Ａ）において、ＣＯＤＥＣ部１１４（Ａ）は、通信端末装置１１０（Ｂ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図５参照）を復元して、映像合成部１１７（Ａ）に供給する。
【００６０】
レイアウト生成部１１６（Ａ）は、上述したようにして決定した表示レイアウト（上記図２参照）に基づいて、映像合成部１１７（Ａ）を制御する。
すなわち、テレビカメラ１１９（Ａ）で得られた映像を表示領域１−１のサイズに合わせて拡大／縮小し、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２のサイズ合わせて拡大／縮小し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３のサイズに合わせて拡大／縮小するように、映像合成部１１７（Ａ）を制御する。また、レイアウト生成部１１６（Ａ）は、ＣＯＤＥＣ部１１４（Ａ）で復元された、通信端末装置１１０（Ｂ）から転送されてきた映像上の、表示領域１−１にテレビカメラ１１９（Ａ）で得られた映像を配置し、表示領域１−２の位置にＳＴＢ１１１（Ａ）で得られた映像を配置し、表示領域１−３の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する。
また、図３６に示すような構成にし、レイアウト生成部１１６（Ａ）が、映像合成部１１３（Ａ）で先に生成された映像データ（上記図４参照）と、ＣＯＤＥＣ部１１４（Ａ）で得られた映像データ、すなわち通信端末装置１１０（Ｂ）から転送されてきた映像データ（上記図５参照）とを重ね合わせるように、映像合成部１１７（Ａ）を制御しても同様の結果となる。
【００６１】
映像合成部１１７（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図６に示すような映像データ、すなわち通信端末装置１１０（Ａ）での３つの映像と、通信端末装置１１０（Ｂ）での２つの映像とを合成した映像を生成する。
【００６２】
表示部１１０（Ａ）は、映像合成部１１７（Ａ）で得られた映像を、ユーザＡに対して画面表示する。
【００６３】
一方の通信端末装置１１０（Ｂ）においても、ＣＯＤＥＣ部１１４（Ｂ）は、通信端末装置１１０（Ａ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図４参照）を復元して、映像合成部１１７（Ｂ）に供給する。
【００６４】
レイアウト制御部１１６（Ｂ）は、上述したようにして通信端末装置１１０（Ａ）から通知された表示レイアウト情報（上記図３参照）に基づいて、映像合成部１１７（Ｂ）を制御する。
すなわち、テレビカメラ１１９（Ｂ）で得られた映像を表示領域２−１のサイズに合わせて拡大／縮小し、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２のサイズに合わせて拡大／縮小し、さらに、ＣＯＤＥＣ部１１４（Ｂ）で復元された、通信端末装置１１０（Ａ）から転送されてきた映像上の、表示領域２−１にテレビカメラ１１９（Ｂ）で得られた映像を配置し、表示領域２−２の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する。
【００６５】
映像合成部１１７（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、上記図６に示したような映像データ、すなわち通信端末装置１１０（Ａ）で得られた合成映像と同様の合成映像を生成する。
【００６６】
表示部１１０（Ｂ）は、映像合成部１１７（Ｂ）で得られた映像を、ユーザＢに対して画面表示する。
【００６７】
上述のような動作により、通信端末装置１１０（Ａ）での３つの映像（テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）の各画像）と、通信端末装置１１０（Ｂ）での２つの映像（テレビカメラ１１９（Ｂ）及びＶＣＲ１１２（Ｂ）の各画像）との合成画像が、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）のそれぞれで表示出力される。
【００６８】
このとき、例えば、ユーザＢが、不図示のリモコン或いは操作部等により、通信端末装置１１０（Ｂ）のＳＴＢ１１１（Ｂ）の映像を追加表示したい場合、以下のような動作が実施される。
【００６９】
ＳＴＢ１１１（Ｂ）の映像の追加に関する情報（上記のユーザ操作による情報）は、通信端末装置１１０（Ｂ）のレイアウト制御部１１６（Ｂ）に通知される。
レイアウト制御部１１６（Ｂ）は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわちＳＴＢ１１１（Ｂ）の映像を追加した映像数“３”を、通信端末装置１１０（Ａ）に通知する。
【００７０】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から新たに映像数“３”が通知されたことを認識すると、表示部１１８（Ａ）で表示しようとしている映像数、すなわち映像数“３”と、今回新たに通信端末装置１１０（Ｂ）から通知された映像数“３”とから合計数“６”を新たに認識し、新たな表示レイアウトを生成及び決定する。
【００７１】
図７は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト２０２の一例を示したものである。
表示レイアウト２０２は、６つの表示領域１−１〜１−３及び２−１〜２−３を含んでいる。
表示レイアウト２０２では、前回の表示レイアウト２０１（上記図２参照）に対して表示領域２−３が新たに追加されており、この表示領域２−３は、通信端末装置１１０（Ｂ）のＳＴＢ１１１（Ｂ）の映像を表示する領域である。
【００７２】
したがって、上記図７の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）に関するもの、すなわち表示領域２−１〜２−３を示す情報を、表示レイアウト情報として、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１：Ｘ１Ｓ、Ｙ１Ｓ、Ｘ１Ｅ、Ｙ１Ｅ
２：Ｘ２Ｓ、Ｙ２Ｓ、Ｘ２Ｅ、Ｙ２Ｅ
３：Ｘ３Ｓ、Ｙ３Ｓ、Ｘ３Ｅ、Ｙ３Ｅ
となる。
【００７３】
レイアウト生成部１１６（Ａ）は、上記図７に示したような新たな表示レイアウト２０２に基づいて、映像合成部１１３（Ａ）を制御する。
尚、ここでの制御については、上記図２に示したような表示レイアウト２０１の場合の制御と同様であるため、その詳細な説明は省略する。
【００７４】
映像合成部１１３（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図９に示すような、テレビカメラ１１９（Ａ）で得られた映像、ＳＴＢ１１１（Ａ）で得られた映像、及びＶＣＲ１１２（Ａ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図９の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００７５】
ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ｂ）に対して転送する。
【００７６】
通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から送信されてきた新たな表示レイアウト情報（上記図８参照）に基づいて、映像合成部１１３（Ｂ）を制御する。
尚、ここでの制御については、上記図３に示したような表示レイアウト２０１の場合の制御と、新たな表示領域２−３に対する動作制御（ＳＴＢ１１１（Ｂ）の映像の縮小／拡大及び配置等に関わる制御）が加わる以外は同様であるため、その詳細な説明は省略する。
【００７７】
映像合成部１１３（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図１０に示すような、テレビカメラ１１９（Ｂ）で得られた映像、ＶＣＲ１１２（Ｂ）で得られた映像、及びＳＴＢ１１１（Ｂ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図１０の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００７８】
ＣＯＤＥＣ部１１４（Ｂ）は、映像合成部１１３（Ｂ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ａ）に対して転送する。
【００７９】
したがって、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）では、上記図２の表示レイアウト２０１の場合と同様にして、通信端末装置１１０（Ａ）の３つの映像の合成映像（上記図９参照）と、通信端末装置１１０（Ｂ）の３つの映像の合成映像（上記図１０参照）とを合成した、図１１に示すような映像が生成されて、それぞれのユーザＡ及びユーザＢに対して表示出力される。
【００８０】
本実施の形態によれば、ユーザＡ側のテレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）と、ユーザＡに対して通信回線１２０の反対側のユーザＢ側のテレビカメラ１１９（Ｂ）、ＳＴＢ１１１（Ｂ）、及びＶＣＲ１１２（Ａ）との複数の機器の合成映像を、表示レイアウトを含め同じ映像としてユーザＡ及びユーザＢに提供することが可能となり、ユーザＡ及びユーザＢは、合成映像から、１つ或いは複数の映像の指示、識別、及び認識等が容易になる。
また、複数の通信回線を必要とせず、さらに時分割多重手段や多重分離手段をも必要としないため、通信システム１００を安価に実現できる。
【００８１】
尚、本実施の形態では、通信端末装置１１０（Ｂ）の映像を追加表示する場合としたが、これに限られることはなく、例えば、通信端末装置１１０（Ｂ）において、映像数の削減、或いは表示サイズ（ウィンドゥサイズ）の変更等のレイアウトの変更をも同様の構成及び動作により実現可能であることは言うまでもない。
【００８２】
また、通信端末装置１１０（Ａ）の映像を追加表示する場合については、通信端末装置１１０（Ｂ）との接続後、レイアウト生成部１１６（Ａ）が、通信端末装置１１０（Ｂ）から通知された映像数と、通信端末装置１１０（Ａ）で表示しようとしている新たな映像数とから、表示レイアウトを生成及び決定し、その後、上述した通信端末装置１１０（Ｂ）の映像を追加表示する場合と同様の動作を実行すればよい。
【００８３】
[第２の実施の形態]
本発明は、例えば、図１２に示すような通信システム３００に適用される。
本実施の形態の通信システム３００は、上記図１の通信システム１００の構成に対して、通信端末装置１１０（Ａ）のテレビカメラ１１９（Ａ）が映像合成部１１３（Ａ）のみに接続され、通信端末装置１１０（Ｂ）のテレビカメラ１１９（Ｂ）も同様に映像合成部１１３（Ｂ）のみに接続された構成としている。これは、例えば、通信端末装置１１０（Ａ）、１１０（Ｂ）がテレビ電話として機能する場合に、通話相手の顔のみ表示し、自分の顔は表示しない場合を想定しているためである。
以下、本実施の形態の通信システム３００の構成及び動作について具体的に説明する。
【００８４】
尚、上記図１２の通信システム３００において、上記図１の通信システム１００と同様に機能する個所には同じ符号を付し、その詳細な説明は省略する。
【００８５】
ここでは、通信端末装置１１０（Ａ）は、テレビカメラ１１９（Ａ）の映像を、通話相手のために通信端末装置１１０（Ｂ）でのみ表示し、ＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）の２つの映像を、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）の両方で表示しようとしているものとする。また、通信端末装置１１０（Ｂ）も同様に、テレビカメラ１１９（Ｂ）の映像を、通話相手のために通信端末装置１１０（Ａ）でのみ表示し、ＶＣＲ１１２（Ｂ）の１つの映像を、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）の両方で表示しようとしているものとする。
【００８６】
先ず、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の間で、通信回線１２０を介した接続が完了すると、通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ｂ）が通信端末装置１１０（Ａ）との両方で表示しようとしている映像数、すなわち映像数“１”を、通信端末装置１１０（Ａ）に対して通知する。
【００８７】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から通知された映像数“１”と、通信端末装置１１０（Ａ）が通信端末装置１１０（Ｂ）との両方で表示しようとしている映像数、すなわち映像数“２”と、それぞれの通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）で通話相手の顔を表示するための１つ映像を合計した合計映像数“４”に基づいて、表示レイアウトを生成及び決定する。
【００８８】
図１３は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト３０１の一例を示したものである。
表示レイアウト３０１は、４つの表示領域（１−１、２−１）〜１−３及び２−２を含んでいる。
表示領域（１−１、２−１）は、通話相手の映像（テレビカメラ１１９（Ａ）又は１１９（Ｂ））を表示する領域であり、表示領域１−２は、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）の映像を表示する領域であり、表示領域１−３は、通信端末装置１１０（Ａ）のＶＣＲ１１２（Ａ）の映像を表示する領域である。また、表示領域２−２は、通信端末装置１１０（Ｂ）で得られた映像を表示する領域である。
【００８９】
上記図１３に示すように、特に、表示領域（１−１、２−１）が、それぞれの通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）で通話相手の顔を表示するために、意図的に重ねる構成としている。
【００９０】
上記図１３の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）に関するもの、すなわち表示領域２−１及び２−２を示す情報を、表示レイアウト情報として、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
Ｍ：ＸＭＳ、ＹＭＳ、ＸＭＥ、ＹＭＥ
２：Ｘ２Ｓ、Ｙ２Ｓ、Ｘ２Ｅ、Ｙ２Ｅ
となる。図１４は、当該表示レイアウト情報のイメージを表したものである。
【００９１】
ここで、特に、領域が重なっている表示領域１−１と２−１を“Ｍ”で表していることに注意されたい。
通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）は、“Ｍ”により示される領域については、詳細は後述するが、特殊な処理が必要であることを判断する。
【００９２】
尚、表示領域（１−１、２−１）については、“Ｍ”に限らず、例えば、“１”や、他の数値、或いは他の文字、或いは文字列等を用いて表すようにしてもよい。
【００９３】
レイアウト生成部１１６（Ａ）は、上記図１３に示したような表示レイアウト３０１に基づいて、映像合成部１１３（Ａ）を制御する。
例えば、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）の映像を通信端末装置１１０（Ｂ）に表示領域“Ｍ”として通知した表示領域１−１のサイズに合わせて拡大或いは縮小し、ＳＴＢ１１１（Ａ）の映像を表示領域１−２のサイズに合わせて拡大或いは縮小し、ＶＣＲ１１２（Ａ）の映像を表示領域１−３のサイズに合わせて拡大或いは縮小するように、映像合成部１１３（Ａ）を制御する。また、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）の映像を表示領域１−１の位置に配置し、ＳＴＢ１１１（Ａ）の映像を表示領域１−２の位置に配置し、ＶＣＲ１１２（Ａ）の映像を表示領域１−３の位置に配置するように、映像合成部１１３（Ａ）を制御する。
【００９４】
映像合成部１１３（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図１５に示すような、テレビカメラ１１９（Ａ）で得られた映像、ＳＴＢ１１１（Ａ）で得られた映像、及びＶＣＲ１１２（Ａ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図１５の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００９５】
ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ｂ）に対して転送する。
【００９６】
通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から送信されてきた表示レイアウト情報（上記図１４参照）に基づいて、映像合成部１１３（Ｂ）を制御する。
例えば、レイアウト制御部１１６（Ｂ）は、表示レイアウト情報に含まれる表示領域“Ｍ”をテレビカメラ１１９（Ｂ）の映像を表示する領域と割り当て、残る表示領域２−２をＶＣＲ１１２（Ｂ）の映像を表示する領域と割り当てる。そして、レイアウト制御部１１６（Ｂ）は、テレビカメラ１１９（Ｂ）の映像を表示領域“Ｍ”のサイズに合わせて拡大或いは縮小し、ＶＣＲ１１２（Ｂ）の映像を表示領域２−２のサイズに合わせて拡大或いは縮小するように、映像合成部１１３（Ｂ）を制御する。また、レイアウト制御部１１６（Ｂ）は、テレビカメラ１１９（Ｂ）の映像を表示領域“Ｍ”の位置に配置し、ＶＣＲ１１２（Ｂ）の映像を表示領域２−２の位置に配置するように、映像合成部１１３（Ｂ）を制御する。
【００９７】
映像合成部１１３（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図１６に示すような、テレビカメラ１１９（Ｂ）で得られた映像、及びＶＣＲ１１２（Ｂ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図１６の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００９８】
ＣＯＤＥＣ部１１４（Ｂ）は、映像合成部１１３（Ｂ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ａ）に対して転送する。
【００９９】
通信端末装置１１０（Ａ）において、ＣＯＤＥＣ部１１４（Ａ）は、通信端末装置１１０（Ｂ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図１６参照）を復元して、映像合成部１１７（Ａ）に供給する。
【０１００】
レイアウト生成部１１６（Ａ）は、上述したようにして決定した表示レイアウト（上記図１３参照）に基づいて、映像合成部１１７（Ａ）を制御する。
すなわち、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２のサイズ合わせて拡大／縮小し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３のサイズに合わせて拡大／縮小し、さらにＣＯＤＥＣ部１１４（Ａ）で復元された、通信端末装置１１０（Ｂ）から転送されてきた映像上の、表示領域１−２の位置にＳＴＢ１１１（Ａ）で得られた映像を配置し、表示領域１−３の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する。
ここでは、テレビカメラ１１９（Ａ）で得られた映像の拡大／縮小、配置が行われないことに注意されたい。
【０１０１】
映像合成部１１７（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図１７に示すような映像データ、すなわち通信端末装置１１０（Ａ）での２つの映像と、通信端末装置１１０（Ｂ）での１つの映像と、通信相手の映像とを合成した映像を生成する。
【０１０２】
表示部１１０（Ａ）は、映像合成部１１７（Ａ）で得られた映像を、ユーザＡに対して画面表示する。
【０１０３】
一方の通信端末装置１１０（Ｂ）においても、ＣＯＤＥＣ部１１４（Ｂ）は、通信端末装置１１０（Ａ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図１５参照）を復元して、映像合成部１１７（Ｂ）に供給する。
【０１０４】
レイアウト制御部１１６（Ｂ）は、上述したようにして通信端末装置１１０（Ａ）から通知された表示レイアウト情報（上記図１４参照）に基づいて、映像合成部１１７（Ｂ）を制御する。
すなわち、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２のサイズに合わせて拡大／縮小し、さらに、ＣＯＤＥＣ部１１４（Ｂ）で復元された、通信端末装置１１０（Ａ）から転送されてきた映像上の、表示領域２−２の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する
ここでも、テレビカメラ１１９（Ｂ）で得られた映像の拡大／縮小、配置が行われないことに注意されたい。
【０１０５】
映像合成部１１７（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図１８に示すような映像データ、すなわち通信端末装置１１０（Ａ）での２つの映像と、通信端末装置１１０（Ｂ）での１つの映像と、通信相手の映像とを合成した映像を生成する。
【０１０６】
表示部１１０（Ｂ）は、映像合成部１１７（Ｂ）で得られた映像を、ユーザＢに対して画面表示する。
【０１０７】
したがって、ユーザＡとユーザＢに対しては、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）の各映像と、通信端末装置１１０（Ｂ）のＶＣＲ１１２（Ｂ）の映像と、通信相手のユーザＡ又はＢの映像とが提供される。
【０１０８】
尚、通信端末装置１１０（Ａ）又は通信端末装置１１０（Ｂ）で映像を追加表示する場合、或いは表示レイアウトを変更する場合の構成及び動作については、第１の実施の形態で説明した構成及び動作と同様であるため、その詳細な説明を省略する。
【０１０９】
本実施の形態によれば、ユーザＡにとって不要な映像と、ユーザＢにとって不要な映像とを、必要とするユーザにのみ表示することができ、この結果、表示部１１８（Ａ）、１１８（Ｂ）の表示領域を有効に使用することができる。また、これにより、映像合成時における映像の縮小率を大きくすることを回避することができ、ユーザＡ又はＢに提供する合成映像内の各映像を、小さい縮尺の映像として提供することができる。
【０１１０】
[第３の実施の形態]
本発明は、例えば、図１９に示すような通信システム４００に適用される。
本実施の形態の通信システム４００は、上記図１の通信システム１００の構成に対して、通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）の代わりに、通信端末装置１１０（Ａ）のレイアウト生成部１１６（Ａ）と同様に機能するレイアウト生成部１１６（Ｂ）´を設けた構成が異なる。
【０１１１】
以下、本実施の形態の通信システム４００の構成及び動作について具体的に説明する。
【０１１２】
尚、上記図１９の通信システム３００において、上記図１の通信システム１００と同様に機能する個所には同じ符号を付し、その詳細な説明は省略する。
【０１１３】
ここでは、通信端末装置１１０（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）で得られる３つの映像を表示しようとしているものとし、通信端末装置１１０（Ｂ）は、テレビカメラ１１９（Ｂ）及びＶＣＲ１１２（Ｂ）で得られる２つの映像を表示しようとしているものとする。
【０１１４】
先ず、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の間で、通信回線１２０を介した接続が完了すると、通信端末装置１１０（Ｂ）において、レイアウト生成部１１６（Ｂ）´は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわち映像数“２”を、通信端末装置１１０（Ａ）に対して通知する。
【０１１５】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から通知された映像数“２”と、表示部１１８（Ａ）で表示しようとしている映像数、すなわち映像数“３”との合計数“５”に基づいて、表示レイアウトを生成及び決定する。
【０１１６】
尚、ここでは一例として、通信端末装置１１０（Ａ）が発信側、通信端末装置１１０（Ｂ）が着信側とし、着信側である通信端末装置１１０（Ｂ）が通信端末装置１１０（Ａ）に対して、表示する映像数を通知するように構成しているが、以下の説明から明らかとなるように、発信側である通信端末装置１１０（Ａ）が通信端末装置１１０（Ｂ）に対して、表示する映像数を通知するように構成してもよい。また、他のネゴシエーションに従って、映像数を通知する側を決定するように構成してもよい。
【０１１７】
図２０は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト５０１の一例を示したものである。
表示レイアウト５０１は、５つの表示領域１−１〜１−３及び２−１、２−２を含んでいる。
表示領域１−１は、通信端末装置１１０（Ａ）のテレビカメラ１１９（Ａ）の映像を表示する領域であり、表示領域１−２は、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）の映像を表示する領域であり、表示領域１−３は、通信端末装置１１０（Ａ）のＶＣＲ１１２（Ａ）の映像を表示する領域である。また、表示領域２−１及び２−２は、通信端末装置１１０（Ｂ）で得られた映像を表示する領域である。
【０１１８】
上記図２０の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、当該表示レイアウト情報を、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１−１：Ｘ１１Ｓ、Ｙ１１Ｓ、Ｘ１１Ｅ、Ｙ１１Ｅ
１−２：Ｘ１２Ｓ、Ｙ１２Ｓ、Ｘ１２Ｅ、Ｙ１２Ｅ
１−３：Ｘ１３Ｓ、Ｙ１３Ｓ、Ｘ１３Ｅ、Ｙ１３Ｅ
２−１：Ｘ２１Ｓ、Ｙ２１Ｓ、Ｘ２１Ｅ、Ｙ２１Ｅ
２−２：Ｘ２２Ｓ、Ｙ２２Ｓ、Ｘ２２Ｅ、Ｙ２２Ｅ
となる。
【０１１９】
“１”で始まる表示領域１−１、１−２、１−３は、本レイアウト情報の送信者である通信端末装置１１０（Ａ）が用いる領域であり、“２”で始まる表示領域２−１、２−２は、本レイアウト情報の受信者である通信端末装置１１０（Ｂ）が用いる領域であることを意味する。
【０１２０】
以降、通信端末装置１１０（Ａ）のレイアウト生成部１１６（Ａ）が、第１の実施の形態と同様に動作し、また、通信端末装置１１０（Ｂ）のレイアウト生成部１１６（Ｂ）´が、第１の実施の形態でのレイアウト制御部１１６（Ｂ）と同様に動作することで、ユーザＡとユーザＢに対して、上記図６に示したような同一の映像が提供されることになる。
【０１２１】
このとき、例えば、ユーザＢが、不図示のリモコン或いは操作部等により、通信端末装置１１０（Ｂ）のＳＴＢ１１１（Ｂ）の映像を追加表示したい場合、以下のような動作が実施される。
【０１２２】
ＳＴＢ１１１（Ｂ）の映像の追加に関する情報（上記のユーザ操作による情報）は、通信端末装置１１０（Ｂ）のレイアウト生成部１１６（Ｂ）´に通知される。
レイアウト制御部１１６（Ｂ）‘は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわちＳＴＢ１１１（Ｂ）の映像を追加した映像数“３”と、先に受信した表示レイアウト情報から得られる通信端末装置１１０（Ａ）が表示しようとしている映像数、すなわち映像数“３”とから、合計の映像数を“６”とし、新たな表示レイアウトを生成及び決定する。
【０１２３】
図２１は、レイアウト生成部１１６（Ｂ）´で得られた表示レイアウト５０２の一例を示したものである。
表示レイアウト５０２は、通信端末装置１１０（Ｂ）用の表示領域１−１〜１−３と、通信端末装置１１０（Ａ）用の表示領域２−１〜２−３とを含んでいる。
“１”で始まる表示領域１−１、１−２、１−３は、本レイアウト情報の送信者である通信端末装置１１０（Ｂ）が用いる領域であり、“２”で始まる表示領域２−１、２−２は、本レイアウト情報の受信者である通信端末装置１１０（Ａ）が用いる領域であることを意味する。
【０１２４】
上記図２１の表示レイアウトの場合、レイアウト生成部１１６（Ｂ）´は、当該表示レイアウト情報を、通信端末装置１１０（Ａ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１―１：Ｘ１１Ｓ、Ｙ１１Ｓ、Ｘ１１Ｅ、Ｙ１１Ｅ
１−２：Ｘ１２Ｓ、Ｙ１２Ｓ、Ｘ１２Ｅ、Ｙ１２Ｅ
１−３：Ｘ１３Ｓ、Ｙ１３Ｓ、Ｘ１３Ｅ、Ｙ１３Ｅ
２―１：Ｘ２１Ｓ、Ｙ２１Ｓ、Ｘ２１Ｅ、Ｙ２１Ｅ
２−２：Ｘ２２Ｓ、Ｙ２２Ｓ、Ｘ２２Ｅ、Ｙ２２Ｅ
２−３：Ｘ２３Ｓ、Ｙ２３Ｓ、Ｘ２３Ｅ、Ｙ２３Ｅ
となる。図２２は、当該表示レイアウト情報のイメージを表したものである。
【０１２５】
以降、通信端末装置１１０（Ａ）のレイアウト生成部１１６（Ａ）が、第１の実施の形態と同様に動作し、また、通信端末装置１１０（Ｂ）のレイアウト生成部１１６（Ｂ）´が、第１の実施の形態でのレイアウト制御部１１６（Ｂ）と同様に動作することで、ユーザＡとユーザＢに対して、上記図１１に示したような同一の映像が提供されることになる。
【０１２６】
尚、通信端末装置１１０（Ａ）又は通信端末装置１１０（Ｂ）で映像を追加表示する場合、或いは表示レイアウトを変更する場合の構成及び動作については、第１の実施の形態で説明した構成及び動作と同様であるため、その詳細な説明を省略する。
【０１２７】
本実施の形態によれば、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）とを、同じ構成としても、第１の実施の形態と同様の効果が得られる。
【０１２８】
[第４の実施の形態]
本実施の形態では、例えば、第３の実施の形態における通信システム４００（上記図１９参照）において、通信端末装置１１０（Ａ）の構成を、図２３に示すような構成とする。
【０１２９】
尚、ここでは、第３の実施の形態と異なる構成及び動作についてのみ、具体的に説明する。
【０１３０】
通信端末装置１１０（Ａ）は、上記図２３に示すように、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）の出力形態として、例えば、ＩＥＥＥ１３９４−１９９５規格に準拠したインターフェース（以下、「１３９４シリアルバス」とも言う）の構成を適用している。
【０１３１】
このため、通信端末装置１１０（Ａ）は、１３９４インターフェース（Ｉ／Ｆ）制御部５００を備えており、この１３９４インターフェース（Ｉ／Ｆ）制御部５００と、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）とは、１３９４シリアルバス５５０で接続されている。
【０１３２】
ここで、１３９４シリアルバスの基本的な機能について説明する。
尚、１３９４シリアルバスの詳細については、例えば、アメリカ電子電機学会（The Institute of Electrical and Electronics Engineers, Inc.）から発行されている「IEEE Standard for a High Performance Serial Bus」等に記載されている。
【０１３３】
１３９４シリアルバスは、自由度の高い接続方式、自動設定、及びリアルタイム転送等の特徴を有する。また、１３９４シリアルバスは、自動設定の機能を有する。
【０１３４】
自動設定の機能とは、１３９４シリアルバスに接続された機器（以下、「ノード」とも言う）の電源がＯＮ／ＯＦＦされた場合や、新たなノードが接続された場合、これを検知し、自動的にバスリセットを行い、その後、トポロジの認識、及び各ノードへのＩＤの割り当て等を自動的に行う機能である。
【０１３５】
データ転送モードとしては、コマンド等の制御信号や、ファイルデータ等の転送に適するアシンクロナス転送と、動画データや音声データ等の時間的に連続性を持つデータの転送に適したアイソクロナス転送との２つの転送モードがある。
【０１３６】
１３９４シリアルバスは、例えば、図２４に示すような階層構造で構成される。
上記図２４に示す階層構造において、物理層６０２は、ケーブル／コネクタの機械的／電気的仕様、入出力信号の符号／復号化、バスの初期化、及びバス使用権の調停等を行う。
リンク層６０５は、物理層６０２とトランザクション層６１０の間で、パケットデータの送受信を実現するためのサービスを提供する。
トランザクション層６１０は、リンク層６０５とアプリケーション等の上位層間で、“read”、“write”、及び“lock”の3種類のアシンクロナス転送を実現するためのサービスを提供する。
【０１３７】
１３９４シリアルバスには、バス・マネージャとアイソクロナス・リソース・マネージャ（IRM）の２つのバス管理ノードが存在する。これらは同一ノードであってもよい。
【０１３８】
バス管理層６０１は、ノード制御、アイソクロナス・リソース管理、及びバス管理を行う。
ノード制御は、１３９４シリアルバスの各ノードに存在し、ＩＥＥＥ１２１２規格で規定される“control status register（CSR）”を備え、ノード間でのアシンクロナス転送の管理を行う。
アイソクロナス・リソース管理は、IRMであるノードによってのみ行なわれ、アイソクロナス転送を行おうとするノードに対しチャンネル番号と帯域を与え、該アイソクロナス転送に使用するチャンネル番号と保証された帯域を確保する。
バス管理は、バス・マネージャ・ノードによってのみ行なわれ、接続情報の管理（トポロジーマップの作成）、速度情報の管理（速度マップの作成）、及び電源管理等を行う。
【０１３９】
Function Control Protocol（FCP）６２０は、アシンクロナス転送を使用してコマンド・フレーム及びレスポンス・フレームと呼ばれる５１２ｂｙｔｅ以下のデータの送受信を行い、ノード間での制御を可能とする。
コマンド・フレームは、制御ノードから被制御ノードのコマンド・レジスタへ書き込まれるデータである。
レスポンス・フレームは、コマンド・フレームの応答として、被制御ノードから制御ノードのレスポンス・レジスタへ書き込まれるデータである。
【０１４０】
図２５は、上記のコマンド・フレーム及びレスポンス・フレームのデータ送受信の様子を示したものであり、図２６は、FCP６２０で使用するアシンクロナス転送パケットの構造を示したものである。当該パケットのデータ部に対して、コマンド・フレーム・データ、或いはレスポンス・フレーム・データが設定される。
【０１４１】
AV/C command set６２５は、FCP６２０の上位層であり、コマンド・フレーム、レスポンス・フレームに、及びAV/Cアイソクロナス転送のコネクション制御と、テレビ、モニター、及びＶＣＲ等の所謂ＡＶ機器の制御コマンドとを適用するものである。
【０１４２】
図２７は、AV/C command set６２５のコマンド・フレームの構造を示したものであり、図２８は、レスポンス・フレームの構造を示したものである。
【０１４３】
制御コマンドの内容は、上記図２７における“opcode”及び“subfunction”によって区別される。図２９〜図３１は、このようなコマンドの中で、ＶＣＲで使用される“ＶＣＲ subunit command set”の一部を示したものである。ここでは、通常の制御に必要な再生、記録、停止、巻き戻し、及び早送り等が定義されている。
【０１４４】
上述のような機能を有するＩＥＥＥ１３９４シリアルバス５５０により、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）は、映像を当該ＩＥＥＥ１３９４シリアルバスのアイソクロナスデータとして出力する。
【０１４５】
１３９４Ｉ／Ｆ制御部５００は、１３９４シリアルバス５５０から、時分割多重で入力されるアイソクロナスデータを受信して分離し、デコーダ５５０〜５７０に対して出力する。
また、１３９４Ｉ／Ｆ制御部５００は、上述したAV/Cコマンドを発行する機能を有する。
【０１４６】
デコーダ５５０〜５７０は、１３９４Ｉ／Ｆ制御部５００からのアイソクロナスデータをデコードすることで、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）の出力映像を各々復元し、映像合成部１１３（Ａ）、１１７（Ａ）に供給する。
【０１４７】
ＣＯＤＥＣ部１１４（Ａ）、ＮＣＵ１１５（Ａ）、レイアウト生成部１１６（Ａ）、及び表示部１１８（Ａ）は、第３の実施の形態と同様に動作する。
【０１４８】
カーソル付加部５８０は、映像合成部１１７（Ａ）からの映像データに対してカーソルを付加し、表示部１１８（Ａ）に対して出力する。
【０１４９】
上述のような通信端末装置１１０（Ａ）と同様の構成を、一方の通信端末装置１１０（Ｂ）にも持たせるている。
このような構成においても、通信端末装置１１０（Ａ）、１１０（Ｂ）はそれぞれ、第３の実施の形態と同様に動作することは明らかである。
【０１５０】
通信端末装置１１０（Ａ）は、レイアウト生成部１１６（Ａ）が表示レイアウトを生成及び決定した場合はもとより、通信端末装置１１０（Ｂ）内のレイアウト生成部１１６（Ｂ）´が表示レイアウトを生成及び決定した場合にも、通信端末装置１１０（Ｂ）から表示レイアウト情報が通知されるため、常に表示領域の数と、そのサイズを判別可能である。したがって、カーソル付加部５８０は、表示領域のハイライトを示すカーソルを付加することが可能となる。
【０１５１】
図３２は、カーソル付加部５８０により、例えば、上記図６に示した映像に対してカーソルが付加された状態の一例を示したものである。
ここでのカーソルは、ＶＣＲ１１２（Ａ）の映像の表示領域の太枠線として表示されている。これにより、ユーザは、ＶＣＲ１１２（Ａ）の映像がハイライトされていることの認識が可能となる。
【０１５２】
図３３は、カーソル付加部５８０により、例えば、上記図１１に示した映像に対してカーソルが付加された状態の一例を示したものである。
ここでのカーソルは、ＶＣＲ１１２（Ｂ）の映像の表示領域の太枠線として表示されている。これにより、ユーザは、ＶＣＲ１１２（Ｂ）の映像がハイライトされていることの認識が可能となる。
【０１５３】
上述のようなカーソルは、ユーザが、不図示のリモコン、或いは不図示の操作部を操作することで、上下左右に移動可能なように構成されている。
【０１５４】
以下、第４の実施の形態における特徴的な動作を説明する。
【０１５５】
例えば、通信端末装置１１０（Ａ）内のレイアウト生成部１１６（Ａ）が表示レイアウトを生成及び決定し、表示部１１８（Ａ）での表示状態が、上記図３２に示したような状態、すなわちカーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあるものとする。
【０１５６】
上記の状態において、ユーザＡが、不図示のリモコン、或いは不図示の操作部により、ＶＣＲ１１２（Ｂ）の早送り再生のための操作を行う。
通信端末装置１１０（Ａ）は、当該早送り再生に相当するAV/Cコマンドを発行する。具体的には、カーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあり、上記図２０に示した表示レイアウト情報から明らかなように、当該表示領域が表示領域１−３であり、当該表示領域１−３がＶＣＲ１１２（Ａ）の映像を表示する領域と決定していることより、ＶＣＲ１１２（Ａ）に対して、１３９４Ｉ／Ｆ制御部５００が、ユーザＡの操作による早送り再生に相当するAV/Cコマンド発行する。ＶＣＲ１１２（Ａ）は、当該AV/Cコマンドに従って動作する。
【０１５７】
また、例えば、通信端末装置１１０（Ａ）内のレイアウト生成部１１６（Ａ）が表示レイアウトを生成及び決定し、表示部１１８（Ａ）での表示状態が、上記図３４に示したような状態、すなわちカーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあるものとする。
【０１５８】
上記の状態において、ユーザＡが、不図示のリモコン、或いは不図示の操作部により、カーソルを右に移動させるための操作を行う。
通信端末装置１１０（Ａ）は、カーソルがＶＣＲ１１２（Ｂ）の映像の表示領域に移動したことを認識し、これを示す情報を、例えば、操作情報“２−２：ＣＵＲＳＯＲ”として、通信端末装置１１０（Ｂ）に通知する。
【０１５９】
尚、通信端末装置１１０（Ｂ）に通知される情報としての、表示レイアウト情報と、カーソルの操作情報との識別は、引数の長さで識別可能であるが、もちろん任意の方法によって識別可能としてもよい。
【０１６０】
通信端末装置１１０（Ｂ）は、通信端末装置１１０（Ａ）からの操作情報を受信し、通信端末装置１１０（Ａ）でカーソルが表示領域２−２に移動したと識別し、当該操作情報の内容に従って、表示部１１８（Ｂ）における表示領域２−２にカーソルを移動させる。
したがって、ユーザＡ及びユーザＢに対して、カーソルの位置を含めて同じ映像が提供されることになる。
【０１６１】
また、例えば、通信端末装置１１０（Ｂ）内のレイアウト生成部１１６（Ｂ）´が表示レイアウトを生成及び決定し、表示部１１８（Ｂ）での表示状態が、図３４に示すような状態、すなわちカーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあるものとする。
【０１６２】
上記の状態において、ユーザＢが、不図示のリモコン、或いは不図示の操作部により、ＶＣＲ１１２（Ａ）の早送り再生のための操作を行う。
通信端末装置１１０（Ｂ）は、当該早送り再生に相当するAV/Cコマンド発行する。具体的には、カーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあり、上記図２２に示した表示レイアウト情報から明らかなように、当該表示領域が表示領域２−３であり、当該表示領域２−３、すなわち“２”で始まる表示領域が表示レイアウト情報の受信者（通信端末装置１１０（Ａ））が表示に使用する領域であることより、当該受信者（通信端末装置１１０（Ａ））に対して、ユーザＢの操作情報（早送り再生の操作情報）“２−３：ＶＣＲ、Ｆ−ＰＬＡＹＥ”を通知する。
【０１６３】
尚、通信端末装置１１０（Ａ）に通知される情報としての、表示レイアウト情報と、カーソルの操作情報との識別は、引数の長さで識別可能であるが、もちろん任意の方法によって識別可能としてもよい。
【０１６４】
通信端末装置１１０（Ａ）は、通信端末装置１１０（Ｂ）からの操作情報により、表示領域２−３に対するＶＣＲ１１２（Ａ）の早送り再生を行うことを認識し、１３９４Ｉ／Ｆ制御部５００により、ＶＣＲ１１２（Ａ）に対して、当該早送り再生に相当するAV/Cコマンド発行する。ＶＣＲ１１２（Ａ）は、当該AV/Cコマンドに従って動作する。
このような構成により、ユーザＢは、通信端末装置１１０（Ａ）側のＶＣＲ１１２（Ａ）を操作可能となる。
【０１６５】
本実施の形態によれば、第３の実施の形態と同様に、ユーザＡ又はＢに提供する合成映像上にカーソルを表示することができ、ユーザＡのカーソル操作も、ユーザＢのカーソル操作も合成映像上に反映可能となるうえ、カーソル位置を含め同じ映像としてユーザに提供することができる。したがって、ユーザＡ及びユーザＢは、合成映像から１つあるいは複数の映像の指示、識別、及び認識等を、さらに容易に行うことができる。
また、ユーザＡは、ユーザＢ側の機器（ＶＣＲ１１２（Ｂ）等）の操作が可能となり、逆に、ユーザＢについても同様に、ユーザＡ側の機器（ＶＣＲ１１２（Ａ）等）の操作が可能となる。さらに、このとき、カーソル位置で操作対象の自動識別ができ、ユーザＡ及びユーザＢは、操作対象機器が通信回線１２０のどちら側のものであるのかを意識することなく、機器操作を行うことができる。
【０１６６】
尚、本発明の目的は、第１〜第４の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第４の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第４の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１６７】
図３５は、上記コンピュータの機能７００を示したものである。
コンピュータ機能７００は、上記図３５に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、キーボード（ＫＢ）７０９のキーボードコントローラ（ＫＢＣ）７０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）７１０のＣＲＴコントローラ（ＣＲＴＣ）７０６と、ハードディスク（ＨＤ）７１１及びフレキシブルディスク（ＦＤ）７１２のディスクコントローラ（ＤＫＣ）７０７と、ネットワーク７２０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）７０８とが、システムバス７０４を介して互いに通信可能に接続された構成としている。
【０１６８】
ＣＰＵ７０１は、ＲＯＭ７０２或いはＨＤ７１１に記憶されたソフトウェア、或いはＦＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ７０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ７０２、或いはＨＤ７１１、或いはＦＤ７１２から読み出して実行することで、第１〜第４の実施の形態での動作を実現するための制御を行う。
【０１６９】
ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ７０５は、ＫＢ７０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ７０６は、ＣＲＴ７１０の表示を制御する。
ＤＫＣ７０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ７１１及びＦＤ７１２とのアクセスを制御する。
ＮＩＣ７０８は、ネットワーク７２０上の装置或いはシステムと双方向にデータをやりとりする。
【０１７０】
【発明の効果】
以上説明したように本発明では、通信相手側で表示する映像数と、自側で表示する映像数とに基づき決定された、通信相手側と自側の共通の表示レイアウトに従って、通信相手側と自側の複数の映像を合成して表示するように構成した。これにより、通信相手側及び自側のそれぞれにおいて、合成映像から１つ或いは複数の映像の指示、識別、及び認識等が容易となる。
【０１７１】
また、通信相手側へ複数の映像を送信する際には、上記の表示レイアウトに従って当該複数の映像を合成したものを送信するように構成した場合、或いは通信相手側から複数の映像を受信する際には、上記の表示レイアウトに従って当該複数の映像が合成されたものを受信するように構成した場合、複数の映像の送受信のための複数の通信手段を必要とせず、さらに時分割多重手段や多重分離手段をも必要ないため、コストダウンを図ることができる。
【０１７２】
また、合成映像上にカーソルを移動可能なように表示させ、通信相手側のカーソル操作も、自側のカーソル操作も合成映像上に反映可能となるように構成した場合、合成映像から１つあるいは複数の映像の指示、識別、及び認識等を、さらに容易に行うことができる。
さらに、上記のカーソル移動に基づいて、合成映像上の映像を制御するように構成した場合、自側と共に通信相手側の映像操作が可能となる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した通信システムの構成を示すブロック図である。
【図２】上記通信システムにおける表示レイアウトの一例を説明するための図である。
【図３】上記表示レイアウトにおいて、上記表示レイアウト情報の受信側の表示領域を説明するための図である。
【図４】上記表示レイアウトにおいて、上記表示レイアウト情報の送信側の表示領域を説明するための図である。
【図５】上記受信側の表示領域の映像を説明するための図である。
【図６】上記受信側及び上記送信側の上記表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図７】上記映像の表示状態において、映像の追加のための操作がなされた場合の新たな表示レイアウトを説明するための図である。
【図８】上記新たな表示レイアウトにおいて、当該表示レイアウト情報の受信側の表示領域を説明するための図である。
【図９】上記新たな表示レイアウトにおいて、当該表示レイアウト情報の送信側の表示領域の映像を説明するための図である。
【図１０】上記新たな表示レイアウトにおいて、当該表示レイアウト情報の受信側の表示領域の映像を説明するための図である。
【図１１】上記受信側及び上記送信側の上記新たな表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図１２】第２の実施の形態において、本発明を適用した通信システムの構成を示すブロック図である。
【図１３】上記通信システムにおける表示レイアウトの一例を説明するための図である。
【図１４】上記表示レイアウトにおいて、上記表示レイアウト情報の受信側の表示領域を説明するための図である。
【図１５】上記表示レイアウトにおいて、上記表示レイアウト情報の送信側の表示領域の映像を説明するための図である。
【図１６】上記表示レイアウトにおいて、上記表示レイアウト情報の受信側の表示領域の映像を説明するための図である。
【図１７】上記送信側の上記表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図１８】上記受信側の上記表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図１９】第３の実施の形態において、本発明を適用した通信システムの構成を示すブロック図である。
【図２０】上記通信システムにおける表示レイアウトの一例を説明するための図である。
【図２１】上記表示レイアウト情報に基づいた映像の表示状態において、映像の追加のための操作がなされた場合の新たな表示レイアウトを説明するための図である。
【図２２】上記表示レイアウトを示す情報を説明するための図である。
【図２３】第４の実施の形態において、本発明を適用した通信システムの通信端末装置の構成を示すブロック図である。
【図２４】上記通信システムで適用する１３９４シリアルバスの階層構造を説明するための図である。
【図２５】上記１３９４シリアルバスにおけるＦＣＰを説明するための図である。
【図２６】上記ＦＣＰ frameのフォーマットを説明するための図である。
【図２７】上記１３９４シリアルバスにおけるＡＶ／Ｃ command frameのフォーマットを説明するための図である。
【図２８】上記１３９４シリアルバスにおけるＡＶ／Ｃ Response frameのフォーマットを説明するための図である。
【図２９】上記１３９４シリアルバスにおけるＡＶ／Ｃ command set のコマンド（例１）を説明するための図である。
【図３０】上記１３９４シリアルバスにおけるＡＶ／Ｃ command set のコマンド（例２）を説明するための図である。
【図３１】上記１３９４シリアルバスにおけるＡＶ／Ｃ command set のコマンド（例３）を説明するための図である。
【図３２】上記通信システムにおける表示レイアウトに基づいた映像の表示上のカーソルを説明するための図である。
【図３３】上記映像の表示状態において、映像の追加のための操作がなされた場合の新たな表示レイアウトに基づいた映像の表示上のカーソルを説明するための図である。
【図３４】上記カーソルの移動を説明するための図である。
【図３５】上記通信システムの機能をコンピュータに実現させるためのプログラムをコンピュータ読出可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【図３６】第１の実施の形態における、本発明の他の適用を示した通信システムの構成を示すブロック図である。
【符号の説明】
１００ 通信システム
１１０（Ａ）、１１０（Ｂ） 通信端末装置
１１１（Ａ）、１１１（Ｂ） セットトップボックス（ＳＴＢ）
１１２（Ａ）、１１２（Ｂ） ビデオカセットレコーダ（ＶＣＲ）
１１３（Ａ）、１１３（Ｂ） 映像合成部
１１４（Ａ）、１１４（Ｂ） ＣＯＤＥＣ部
１１５（Ａ）、１１５（Ｂ） ネットワークコントロールユニット（ＮＣＵ）
１１６（Ａ） レイアウト生成部
１１６（Ｂ）、１１６（Ｂ）‘ レイアウト制御部
１１７（Ａ）、１１７（Ｂ） 映像合成部
１１８（Ａ）、１１８（Ｂ） 表示部
１１９（Ａ）、１１９（Ｂ） テレビカメラ
１２０ 通信回線
【発明の属する技術分野】
本発明は、例えば、テレビ電話やテレビ会議システム等に用いられる、通信装置、及び通信装置の映像表示制御方法に関するものである。
【０００２】
【従来の技術】
近年では、例えば、動画データや音声データ等のようなリアルタイム性を要求されるデータと、静止画データや制御データ等のような転送の信頼性が要求されるデータとを、混在した状態で転送することが可能な高速ディジタル通信技術が実現されている。また、このような高速ディジタル通信技術を使用して、従来では単独で或いは機器独自の接続により動作していた家庭内のオーディオ／ビジュアル（ＡＶ）機器や家電機器を、１つの家庭内ネットワーク上に接続する要求が高まり実現されている。
【０００３】
さらに、テレビ電話においても、家庭内ネットワーク上に接続されたビデオカセットレコーダ（ＶＣＲ）やディジタルカメラ等で得られた映像を、通話相手に対して表示する要求が高まってきている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のテレビ電話では、例えば、ＶＣＲの映像とディジタルカメラの映像を同時に通話相手に表示可能なように転送した場合、通話相手側における表示形態の一貫性が欠けており、通話相手が、何れがＶＣＲの映像であるのかディジタルカメラの映像であるのか等を認識しづらい、といった問題があった。
【０００５】
また、複数の映像を転送するための構成としては、複数の通信手段を備える構成がとられていたので、これらの通信手段を備えるためのコスト的な問題があった。
【０００６】
また、通話相手のＶＣＲ等の映像を見ることが可能であるのならば、これを遠隔操作したいという、ユーザの要求が生じることが予想される。
【０００７】
そこで、本発明は、上記の欠点を除去するために成されたもので、コストダウンを図りつつ、通信相手から転送される映像の表示内容を容易に認識等することができ、また、通信相手側の遠隔操作をも行える、通信装置、及び通信装置の映像表示制御方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
斯かる目的下において、第１の発明は、通信装置と接続された表示部に映像を表示する機能を有する通信装置であって、当該通信装置と通信可能なリモート通信装置から、当該通信装置に対して送信される映像データと、当該映像データの数を示す第１の映像数情報とを受信する通信手段と、前記第１の映像数情報及び前記リモート通信装置以外から入力され、前記表示部に表示するための映像データの数を示す第２の映像数情報に基づいて、前記通信手段が受信した映像データ及び前記入力された映像データを前記表示部に表示するための第１の表示レイアウト情報を決定する決定手段と、前記決定手段によって決定された前記第１の表示レイアウト情報に従って、前記通信手段で受信した映像データと前記入力された映像データとを同一画面上に表示するように合成し、合成映像データを生成する第１の合成手段と、前記第１の合成手段によって生成された合成映像データに対応する映像を前記表示部に表示する表示手段と、を有することを特徴とする。
【０００９】
第２の発明は、前記第１の発明において、前記通信手段は、前記第２の映像数情報を前記リモート通信装置に送信するとともに、前記リモート通信装置から送信される第２の表示レイアウト情報を受信し、さらに、前記通信装置は、前記通信手段によって受信した前記第２の表示レイアウト情報に基づいて、当該通信装置に前記リモート通信装置以外から入力された映像データを合成する第２の合成手段を有し、前記第２の合成手段で合成された映像データを前記通信手段が前記リモート通信装置に送信することを特徴とする。
【００１０】
第３の発明は、前記第２の発明において、前記第１の合成手段は、前記第２の合成手段で合成された映像データと、前記リモート通信装置から送信された映像データとを合成することを特徴とする。
【００１１】
第４の発明は、前記第１の発明において、前記決定手段は、前記第１の映像数情報または前記第２の映像数情報の少なくともいずれか一方が変化した場合には、表示レイアウト情報を再度決定することを特徴とする。
【００１２】
第５の発明は、複数の映像を、通信装置と接続された表示部の画面上に表示する機能を有する通信装置の映像表示制御方法であって、当該通信装置と通信可能なリモート通信装置から、当該通信装置に対して送信される映像データと、当該映像データの数を示す第１の映像数情報とを受信する受信ステップと、前記第１の映像数情報及び前記リモート通信装置以外から入力され、前記表示部に表示するための映像データの数を示す第２の映像数情報に基づいて、前記受信ステップで受信した映像データ及び前記入力された映像データを前記表示部に表示するための第１の表示レイアウト情報を決定する決定ステップと、前記決定ステップによって決定された前記第１の表示レイアウト情報に従って、前記受信ステップで受信した映像データと前記入力された映像データとを同一画面上に表示するように合成し、合成映像データを生成する第１の合成ステップと、前記第１の合成ステップによって生成された合成映像データに対応する映像を前記表示部に表示する表示ステップと、を有することを特徴とする。
【００１３】
第６の発明は、前記第５の発明において、前記第２の映像数情報を前記リモート通信装置に送信する第１の送信ステップと、前記リモート通信装置から送信される第２の表示レイアウト情報を受信するレイアウト情報受信ステップと、受信した前記第２の表示レイアウト情報に基づいて、当該通信装置に前記リモート通信装置以外から入力された映像データを合成する第２の合成ステップと、前記第２の合成ステップで合成された映像データを前記リモート通信装置に送信する第２の送信ステップと、を有することとを特徴とする。
【００１４】
第７の発明は、前記第６の発明において、前記第１の合成ステップでは、前記第２の合成ステップで合成された映像データと、前記リモート通信装置から送信された映像データとを合成することを特徴とする。
【００１５】
第８の発明は、前記第５の発明において、前記決定ステップでは、前記第１の映像数情報または前記第２の映像数情報の少なくともいずれか一方が変化した場合には、表示レイアウト情報を再度決定することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００３３】
[第１の実施の形態]
本発明は、例えば、図１に示すような通信システム１００に適用される。
本実施の形態の通信システム１００は、ユーザＡ側の通信端末装置１１０（Ａ）と、ユーザＢ側の通信端末装置１１０（Ｂ）とが、通信回線１２０を介して互いに通信可能なように接続された構成としている。
【００３４】
尚、上記図１では、説明の簡単のため、２つの通信端末装置１１０（Ａ）、１１０（Ｂ）の接続構成を示しているが、この接続数に限られることはない。
【００３５】
通信端末装置１１０（Ａ）は、セットトップボックス（ＳＴＢ）１１１（Ａ）、ビデオカセットレコーダ（ＶＣＲ）１１２（Ａ）、映像合成部１１３（Ａ）、ＣＯＤＥＣ部１１４（Ａ）、ネットワークコントロールユニット（ＮＣＵ）部１１５（Ａ）、レイアウト生成部１１６（Ａ）、映像合成部１１７（Ａ）、表示部１１８（Ａ）、及びテレビカメラ１１９（Ａ）を備えている。
【００３６】
テレビカメラ１１９（Ａ）は、主にユーザＡ自信を撮影するようになされている。
ＳＴＢ１１１（Ａ）は、不図示のアンテナにより放送波を受信し、テレビ番組を出力する。
ＶＣＲ１１２（Ａ）は、カセットテープ等の記録媒体に対して、テレビ番組等の録画や再生を行う。
【００３７】
尚、ＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）は、ここでは映像ソースとして使用しており、映像を出力可能であれば、レーザディスクプレイヤーやＤＶＤプレーヤー等の任意の機器を適用可能である。また、ＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）として、ディジタルカメラ等の静止画を出力する機器をも適用可能である。
【００３８】
映像合成部１１３（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）からの映像をディジタル化し、レイアウト生成部１１６（Ａ）からのの指示に従って、それぞれの映像データに対して、拡大、縮小、及び合成等の処理を施し、１つの映像データを生成して出力する。
【００３９】
映像合成部１１７（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、ＶＣＲ１１２（Ａ）、及びＣＯＤＥＣ部１１４（Ａ）からの映像をディジタル化して映像データを生成し、レイアウト生成部１１６（Ａ）からの指示に従って、それぞれの映像データに対して、拡大、縮小、及び合成等の処理を施し、１つの映像データを生成して出力する。
【００４０】
ＣＯＤＥＣ部１１４（Ａ）は、映像データや音声データの圧縮伸張処理を実行する。
例えば、ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で得られた映像データを符号化することによりその情報量を圧縮し、当該圧縮映像データをＮＣＵ１１５（Ａ）に対して出力する。また、ＣＯＤＥＣ部１１４（Ａ）は、ＮＣＵ１１５（Ａ）からの圧縮映像データを復号してその情報量を伸張する。
【００４１】
ＮＣＵ１１５（Ａ）は、通信回線１２０を介した通信端末装置１１０（Ｂ）との各種データの通信制御を行う。
【００４２】
レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ａ）の表示部１１８（Ａ）で表示する映像数と、通信端末装置１１０（Ｂ）の表示部１１８（Ｂ）で表示する映像数とから、表示レイアウトを生成及び決定し、当該表示レイアウトに基づいて、映像合成部１１３（Ａ）、１１７（Ａ）を制御する。
通信端末装置１１０（Ｂ）の表示部１１８（Ｂ）で表示する映像数については、通信端末装置１１０（Ｂ）から通信端末装置１１０（Ａ）に対して、通信回線１２０を介して通知される。
また、レイアウト生成部１１６（Ａ）は、上記の表示レイアウトに関する情報を、通信回線１２０を介して通信端末装置１１０（Ｂ）に通知する。
【００４３】
表示部１１８（Ａ）は、映像合成部１１７（Ａ）で得られた映像をユーザＡに対して表示出力する。
【００４４】
一方、通信端末装置１１０（Ｂ）は、セットトップボックス（ＳＴＢ）１１１（Ｂ）、ビデオカセットレコーダ（ＶＣＲ）１１２（Ｂ）、映像合成部１１３（Ｂ）、ＣＯＤＥＣ部１１４（Ｂ）、ネットワークコントロールユニット（ＮＣＵ）部１１５（Ｂ）、レイアウト制御部１１６（Ｂ）、映像合成部１１７（Ｂ）、表示部１１８（Ｂ）、及びテレビカメラ１１９（Ｂ）を備えている。
通信端末装置１１０（Ｂ）は、通信端末装置１１０（Ａ）と同様の構成としているが、以下の構成が異なる。
【００４５】
レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ｂ）の表示部１１８（Ｂ）で表示する映像数を、通信回線１２０介して通信端末装置１１０（Ａ）に通知する。
また、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から通信回線１２０介して通知される表示レイアウト情報を受信し、当該表示レイアウト情報に基づいて、映像合成部１１３（Ｂ）、１１７（Ｂ）を制御する。
【００４６】
通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の通信のための、ＮＣＵ１１５（Ａ）、１１５（Ｂ）及び通信回線１２０は、例えば、ＩＳＤＮに対応したものであり、ＩＴＵによるＨ３２０規格等に従って、ＣＯＤＥＣ部１１４（Ａ）、１１４（Ｂ）で得られる圧縮映像データと、表示部１１８（Ａ）、１１８（Ｂ）で表示する映像数、及びその表示レイアウト情報等を転送可能に構成されている。
【００４７】
以下、上述のような通信システム１００の動作について説明する。
ここでは、その一例として、通信端末装置１１０（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）で得られる３つの映像を表示しようとしているものとし、通信端末装置１１０（Ｂ）は、テレビカメラ１１９（Ｂ）及びＶＣＲ１１２（Ｂ）で得られる２つの映像を表示しようとしているものとする。
【００４８】
先ず、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の間で、通信回線１２０を介した接続が完了すると、通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわち映像数“２”を、通信端末装置１１０（Ａ）に対して通知する。
【００４９】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から通知された映像数“２”と、表示部１１８（Ａ）で表示しようとしている映像数、すなわち映像数“３”との合計数“５”に基づいて、表示レイアウトを生成及び決定する。
【００５０】
図２は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト２０１の一例を示したものである。
表示レイアウト２０１は、５つの表示領域１−１〜１−３及び２−１、２−２を含んでいる。
表示領域１−１は、通信端末装置１１０（Ａ）のテレビカメラ１１９（Ａ）の映像を表示する領域であり、表示領域１−２は、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）の映像を表示する領域であり、表示領域１−３は、通信端末装置１１０（Ａ）のＶＣＲ１１２（Ａ）の映像を表示する領域である。また、表示領域２−１及び２−２は、通信端末装置１１０（Ｂ）で得られた映像を表示する領域である。
【００５１】
上記図２の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）に関するもの、すなわち表示領域２−１及び２−２を示す情報を、表示レイアウト情報として、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１：Ｘ１Ｓ、Ｙ１Ｓ、Ｘ１Ｅ、Ｙ１Ｅ
２：Ｘ２Ｓ、Ｙ２Ｓ、Ｘ２Ｅ、Ｙ２Ｅ
となる。
【００５２】
上記の表示レイアウト情報において、例えば、図３に示すように、“Ｘ１Ｓ”及び“Ｙ１Ｓ”は、表示領域２−１の左上の座標を示し、“Ｘ１Ｅ”及び“Ｙ１Ｅ”は、表示領域２−１の右下の座標を示す。“Ｘ２Ｓ”、“Ｙ２Ｓ”、“Ｘ２Ｅ”、及び“Ｙ２Ｅ”は、表示領域２−２の左上の座標と右下の座標を示す。
【００５３】
レイアウト生成部１１６（Ａ）は、上記図２に示したような表示レイアウト２０１に基づいて、映像合成部１１３（Ａ）を制御する。
例えば、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）で得られた映像を表示領域１−１のサイズに合わせて拡大／縮小し、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２のサイズ合わせて拡大／縮小し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３のサイズに合わせて拡大／縮小するように、映像合成部１１３（Ａ）を制御する。また、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）で得られた映像を表示領域１−１の位置に配置し、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２の位置に配置し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３の位置に配置して、１つの合成映像を生成するように、映像合成部１１３（Ａ）を制御する。
【００５４】
映像合成部１１３（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図４に示すような、テレビカメラ１１９（Ａ）で得られた映像、ＳＴＢ１１１（Ａ）で得られた映像、及びＶＣＲ１１２（Ａ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図４の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００５５】
ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ｂ）に対して転送する。
【００５６】
通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から送信されてきた表示レイアウト情報（上記図３参照）に基づいて、映像合成部１１３（Ｂ）を制御する。
例えば、レイアウト制御部１１６（Ｂ）は、表示レイアウト情報により示される表示領域２−１をテレビカメラ１１９（Ｂ）で得られた映像を表示する領域とし、表示レイアウト情報により示される表示領域２−２をＶＣＲ１１２（Ｂ）で得られた映像を表示する領域として割り当てる。そして、レイアウト制御部１１６（Ｂ）は、テレビカメラ１１９（Ｂ）で得られた映像を表示領域２−１のサイズに合わせて拡大／縮小し、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２のサイズに合わせて拡大／縮小し、さらにテレビカメラ１１９（Ｂ）で得られた映像を表示領域２−１の位置に配置し、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２の位置に配置するように、映像合成部１１３（Ｂ）を制御する。
【００５７】
映像合成部１１３（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図５に示すような、テレビカメラ１１９（Ｂ）で得られた映像、及びＶＣＲ１１２（Ｂ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図５の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００５８】
ＣＯＤＥＣ部１１４（Ｂ）は、映像合成部１１３（Ｂ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ａ）に対して転送する。
【００５９】
通信端末装置１１０（Ａ）において、ＣＯＤＥＣ部１１４（Ａ）は、通信端末装置１１０（Ｂ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図５参照）を復元して、映像合成部１１７（Ａ）に供給する。
【００６０】
レイアウト生成部１１６（Ａ）は、上述したようにして決定した表示レイアウト（上記図２参照）に基づいて、映像合成部１１７（Ａ）を制御する。
すなわち、テレビカメラ１１９（Ａ）で得られた映像を表示領域１−１のサイズに合わせて拡大／縮小し、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２のサイズ合わせて拡大／縮小し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３のサイズに合わせて拡大／縮小するように、映像合成部１１７（Ａ）を制御する。また、レイアウト生成部１１６（Ａ）は、ＣＯＤＥＣ部１１４（Ａ）で復元された、通信端末装置１１０（Ｂ）から転送されてきた映像上の、表示領域１−１にテレビカメラ１１９（Ａ）で得られた映像を配置し、表示領域１−２の位置にＳＴＢ１１１（Ａ）で得られた映像を配置し、表示領域１−３の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する。
また、図３６に示すような構成にし、レイアウト生成部１１６（Ａ）が、映像合成部１１３（Ａ）で先に生成された映像データ（上記図４参照）と、ＣＯＤＥＣ部１１４（Ａ）で得られた映像データ、すなわち通信端末装置１１０（Ｂ）から転送されてきた映像データ（上記図５参照）とを重ね合わせるように、映像合成部１１７（Ａ）を制御しても同様の結果となる。
【００６１】
映像合成部１１７（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図６に示すような映像データ、すなわち通信端末装置１１０（Ａ）での３つの映像と、通信端末装置１１０（Ｂ）での２つの映像とを合成した映像を生成する。
【００６２】
表示部１１０（Ａ）は、映像合成部１１７（Ａ）で得られた映像を、ユーザＡに対して画面表示する。
【００６３】
一方の通信端末装置１１０（Ｂ）においても、ＣＯＤＥＣ部１１４（Ｂ）は、通信端末装置１１０（Ａ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図４参照）を復元して、映像合成部１１７（Ｂ）に供給する。
【００６４】
レイアウト制御部１１６（Ｂ）は、上述したようにして通信端末装置１１０（Ａ）から通知された表示レイアウト情報（上記図３参照）に基づいて、映像合成部１１７（Ｂ）を制御する。
すなわち、テレビカメラ１１９（Ｂ）で得られた映像を表示領域２−１のサイズに合わせて拡大／縮小し、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２のサイズに合わせて拡大／縮小し、さらに、ＣＯＤＥＣ部１１４（Ｂ）で復元された、通信端末装置１１０（Ａ）から転送されてきた映像上の、表示領域２−１にテレビカメラ１１９（Ｂ）で得られた映像を配置し、表示領域２−２の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する。
【００６５】
映像合成部１１７（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、上記図６に示したような映像データ、すなわち通信端末装置１１０（Ａ）で得られた合成映像と同様の合成映像を生成する。
【００６６】
表示部１１０（Ｂ）は、映像合成部１１７（Ｂ）で得られた映像を、ユーザＢに対して画面表示する。
【００６７】
上述のような動作により、通信端末装置１１０（Ａ）での３つの映像（テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）の各画像）と、通信端末装置１１０（Ｂ）での２つの映像（テレビカメラ１１９（Ｂ）及びＶＣＲ１１２（Ｂ）の各画像）との合成画像が、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）のそれぞれで表示出力される。
【００６８】
このとき、例えば、ユーザＢが、不図示のリモコン或いは操作部等により、通信端末装置１１０（Ｂ）のＳＴＢ１１１（Ｂ）の映像を追加表示したい場合、以下のような動作が実施される。
【００６９】
ＳＴＢ１１１（Ｂ）の映像の追加に関する情報（上記のユーザ操作による情報）は、通信端末装置１１０（Ｂ）のレイアウト制御部１１６（Ｂ）に通知される。
レイアウト制御部１１６（Ｂ）は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわちＳＴＢ１１１（Ｂ）の映像を追加した映像数“３”を、通信端末装置１１０（Ａ）に通知する。
【００７０】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から新たに映像数“３”が通知されたことを認識すると、表示部１１８（Ａ）で表示しようとしている映像数、すなわち映像数“３”と、今回新たに通信端末装置１１０（Ｂ）から通知された映像数“３”とから合計数“６”を新たに認識し、新たな表示レイアウトを生成及び決定する。
【００７１】
図７は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト２０２の一例を示したものである。
表示レイアウト２０２は、６つの表示領域１−１〜１−３及び２−１〜２−３を含んでいる。
表示レイアウト２０２では、前回の表示レイアウト２０１（上記図２参照）に対して表示領域２−３が新たに追加されており、この表示領域２−３は、通信端末装置１１０（Ｂ）のＳＴＢ１１１（Ｂ）の映像を表示する領域である。
【００７２】
したがって、上記図７の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）に関するもの、すなわち表示領域２−１〜２−３を示す情報を、表示レイアウト情報として、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１：Ｘ１Ｓ、Ｙ１Ｓ、Ｘ１Ｅ、Ｙ１Ｅ
２：Ｘ２Ｓ、Ｙ２Ｓ、Ｘ２Ｅ、Ｙ２Ｅ
３：Ｘ３Ｓ、Ｙ３Ｓ、Ｘ３Ｅ、Ｙ３Ｅ
となる。
【００７３】
レイアウト生成部１１６（Ａ）は、上記図７に示したような新たな表示レイアウト２０２に基づいて、映像合成部１１３（Ａ）を制御する。
尚、ここでの制御については、上記図２に示したような表示レイアウト２０１の場合の制御と同様であるため、その詳細な説明は省略する。
【００７４】
映像合成部１１３（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図９に示すような、テレビカメラ１１９（Ａ）で得られた映像、ＳＴＢ１１１（Ａ）で得られた映像、及びＶＣＲ１１２（Ａ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図９の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００７５】
ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ｂ）に対して転送する。
【００７６】
通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から送信されてきた新たな表示レイアウト情報（上記図８参照）に基づいて、映像合成部１１３（Ｂ）を制御する。
尚、ここでの制御については、上記図３に示したような表示レイアウト２０１の場合の制御と、新たな表示領域２−３に対する動作制御（ＳＴＢ１１１（Ｂ）の映像の縮小／拡大及び配置等に関わる制御）が加わる以外は同様であるため、その詳細な説明は省略する。
【００７７】
映像合成部１１３（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図１０に示すような、テレビカメラ１１９（Ｂ）で得られた映像、ＶＣＲ１１２（Ｂ）で得られた映像、及びＳＴＢ１１１（Ｂ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図１０の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００７８】
ＣＯＤＥＣ部１１４（Ｂ）は、映像合成部１１３（Ｂ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ａ）に対して転送する。
【００７９】
したがって、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）では、上記図２の表示レイアウト２０１の場合と同様にして、通信端末装置１１０（Ａ）の３つの映像の合成映像（上記図９参照）と、通信端末装置１１０（Ｂ）の３つの映像の合成映像（上記図１０参照）とを合成した、図１１に示すような映像が生成されて、それぞれのユーザＡ及びユーザＢに対して表示出力される。
【００８０】
本実施の形態によれば、ユーザＡ側のテレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）と、ユーザＡに対して通信回線１２０の反対側のユーザＢ側のテレビカメラ１１９（Ｂ）、ＳＴＢ１１１（Ｂ）、及びＶＣＲ１１２（Ａ）との複数の機器の合成映像を、表示レイアウトを含め同じ映像としてユーザＡ及びユーザＢに提供することが可能となり、ユーザＡ及びユーザＢは、合成映像から、１つ或いは複数の映像の指示、識別、及び認識等が容易になる。
また、複数の通信回線を必要とせず、さらに時分割多重手段や多重分離手段をも必要としないため、通信システム１００を安価に実現できる。
【００８１】
尚、本実施の形態では、通信端末装置１１０（Ｂ）の映像を追加表示する場合としたが、これに限られることはなく、例えば、通信端末装置１１０（Ｂ）において、映像数の削減、或いは表示サイズ（ウィンドゥサイズ）の変更等のレイアウトの変更をも同様の構成及び動作により実現可能であることは言うまでもない。
【００８２】
また、通信端末装置１１０（Ａ）の映像を追加表示する場合については、通信端末装置１１０（Ｂ）との接続後、レイアウト生成部１１６（Ａ）が、通信端末装置１１０（Ｂ）から通知された映像数と、通信端末装置１１０（Ａ）で表示しようとしている新たな映像数とから、表示レイアウトを生成及び決定し、その後、上述した通信端末装置１１０（Ｂ）の映像を追加表示する場合と同様の動作を実行すればよい。
【００８３】
[第２の実施の形態]
本発明は、例えば、図１２に示すような通信システム３００に適用される。
本実施の形態の通信システム３００は、上記図１の通信システム１００の構成に対して、通信端末装置１１０（Ａ）のテレビカメラ１１９（Ａ）が映像合成部１１３（Ａ）のみに接続され、通信端末装置１１０（Ｂ）のテレビカメラ１１９（Ｂ）も同様に映像合成部１１３（Ｂ）のみに接続された構成としている。これは、例えば、通信端末装置１１０（Ａ）、１１０（Ｂ）がテレビ電話として機能する場合に、通話相手の顔のみ表示し、自分の顔は表示しない場合を想定しているためである。
以下、本実施の形態の通信システム３００の構成及び動作について具体的に説明する。
【００８４】
尚、上記図１２の通信システム３００において、上記図１の通信システム１００と同様に機能する個所には同じ符号を付し、その詳細な説明は省略する。
【００８５】
ここでは、通信端末装置１１０（Ａ）は、テレビカメラ１１９（Ａ）の映像を、通話相手のために通信端末装置１１０（Ｂ）でのみ表示し、ＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）の２つの映像を、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）の両方で表示しようとしているものとする。また、通信端末装置１１０（Ｂ）も同様に、テレビカメラ１１９（Ｂ）の映像を、通話相手のために通信端末装置１１０（Ａ）でのみ表示し、ＶＣＲ１１２（Ｂ）の１つの映像を、通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）の両方で表示しようとしているものとする。
【００８６】
先ず、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の間で、通信回線１２０を介した接続が完了すると、通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ｂ）が通信端末装置１１０（Ａ）との両方で表示しようとしている映像数、すなわち映像数“１”を、通信端末装置１１０（Ａ）に対して通知する。
【００８７】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から通知された映像数“１”と、通信端末装置１１０（Ａ）が通信端末装置１１０（Ｂ）との両方で表示しようとしている映像数、すなわち映像数“２”と、それぞれの通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）で通話相手の顔を表示するための１つ映像を合計した合計映像数“４”に基づいて、表示レイアウトを生成及び決定する。
【００８８】
図１３は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト３０１の一例を示したものである。
表示レイアウト３０１は、４つの表示領域（１−１、２−１）〜１−３及び２−２を含んでいる。
表示領域（１−１、２−１）は、通話相手の映像（テレビカメラ１１９（Ａ）又は１１９（Ｂ））を表示する領域であり、表示領域１−２は、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）の映像を表示する領域であり、表示領域１−３は、通信端末装置１１０（Ａ）のＶＣＲ１１２（Ａ）の映像を表示する領域である。また、表示領域２−２は、通信端末装置１１０（Ｂ）で得られた映像を表示する領域である。
【００８９】
上記図１３に示すように、特に、表示領域（１−１、２−１）が、それぞれの通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）で通話相手の顔を表示するために、意図的に重ねる構成としている。
【００９０】
上記図１３の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）に関するもの、すなわち表示領域２−１及び２−２を示す情報を、表示レイアウト情報として、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
Ｍ：ＸＭＳ、ＹＭＳ、ＸＭＥ、ＹＭＥ
２：Ｘ２Ｓ、Ｙ２Ｓ、Ｘ２Ｅ、Ｙ２Ｅ
となる。図１４は、当該表示レイアウト情報のイメージを表したものである。
【００９１】
ここで、特に、領域が重なっている表示領域１−１と２−１を“Ｍ”で表していることに注意されたい。
通信端末装置１１０（Ａ）及び通信端末装置１１０（Ｂ）は、“Ｍ”により示される領域については、詳細は後述するが、特殊な処理が必要であることを判断する。
【００９２】
尚、表示領域（１−１、２−１）については、“Ｍ”に限らず、例えば、“１”や、他の数値、或いは他の文字、或いは文字列等を用いて表すようにしてもよい。
【００９３】
レイアウト生成部１１６（Ａ）は、上記図１３に示したような表示レイアウト３０１に基づいて、映像合成部１１３（Ａ）を制御する。
例えば、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）の映像を通信端末装置１１０（Ｂ）に表示領域“Ｍ”として通知した表示領域１−１のサイズに合わせて拡大或いは縮小し、ＳＴＢ１１１（Ａ）の映像を表示領域１−２のサイズに合わせて拡大或いは縮小し、ＶＣＲ１１２（Ａ）の映像を表示領域１−３のサイズに合わせて拡大或いは縮小するように、映像合成部１１３（Ａ）を制御する。また、レイアウト生成部１１６（Ａ）は、テレビカメラ１１９（Ａ）の映像を表示領域１−１の位置に配置し、ＳＴＢ１１１（Ａ）の映像を表示領域１−２の位置に配置し、ＶＣＲ１１２（Ａ）の映像を表示領域１−３の位置に配置するように、映像合成部１１３（Ａ）を制御する。
【００９４】
映像合成部１１３（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図１５に示すような、テレビカメラ１１９（Ａ）で得られた映像、ＳＴＢ１１１（Ａ）で得られた映像、及びＶＣＲ１１２（Ａ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図１５の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００９５】
ＣＯＤＥＣ部１１４（Ａ）は、映像合成部１１３（Ａ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ｂ）に対して転送する。
【００９６】
通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）は、通信端末装置１１０（Ａ）から送信されてきた表示レイアウト情報（上記図１４参照）に基づいて、映像合成部１１３（Ｂ）を制御する。
例えば、レイアウト制御部１１６（Ｂ）は、表示レイアウト情報に含まれる表示領域“Ｍ”をテレビカメラ１１９（Ｂ）の映像を表示する領域と割り当て、残る表示領域２−２をＶＣＲ１１２（Ｂ）の映像を表示する領域と割り当てる。そして、レイアウト制御部１１６（Ｂ）は、テレビカメラ１１９（Ｂ）の映像を表示領域“Ｍ”のサイズに合わせて拡大或いは縮小し、ＶＣＲ１１２（Ｂ）の映像を表示領域２−２のサイズに合わせて拡大或いは縮小するように、映像合成部１１３（Ｂ）を制御する。また、レイアウト制御部１１６（Ｂ）は、テレビカメラ１１９（Ｂ）の映像を表示領域“Ｍ”の位置に配置し、ＶＣＲ１１２（Ｂ）の映像を表示領域２−２の位置に配置するように、映像合成部１１３（Ｂ）を制御する。
【００９７】
映像合成部１１３（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図１６に示すような、テレビカメラ１１９（Ｂ）で得られた映像、及びＶＣＲ１１２（Ｂ）で得られた映像を合成した映像データ（合成映像データ）を生成する。
尚、上記図１６の映像データにおいて、その背景に関しては、黒や、灰、或いは青等の背景色となるようしてもよい。
【００９８】
ＣＯＤＥＣ部１１４（Ｂ）は、映像合成部１１３（Ｂ）で生成された合成映像データを圧縮して圧縮映像データとして、通信回線１２０を介して通信端末装置１１０（Ａ）に対して転送する。
【００９９】
通信端末装置１１０（Ａ）において、ＣＯＤＥＣ部１１４（Ａ）は、通信端末装置１１０（Ｂ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図１６参照）を復元して、映像合成部１１７（Ａ）に供給する。
【０１００】
レイアウト生成部１１６（Ａ）は、上述したようにして決定した表示レイアウト（上記図１３参照）に基づいて、映像合成部１１７（Ａ）を制御する。
すなわち、ＳＴＢ１１１（Ａ）で得られた映像を表示領域１−２のサイズ合わせて拡大／縮小し、ＶＣＲ１１２（Ａ）で得られた映像を表示領域１−３のサイズに合わせて拡大／縮小し、さらにＣＯＤＥＣ部１１４（Ａ）で復元された、通信端末装置１１０（Ｂ）から転送されてきた映像上の、表示領域１−２の位置にＳＴＢ１１１（Ａ）で得られた映像を配置し、表示領域１−３の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する。
ここでは、テレビカメラ１１９（Ａ）で得られた映像の拡大／縮小、配置が行われないことに注意されたい。
【０１０１】
映像合成部１１７（Ａ）は、レイアウト生成部１１６（Ａ）からの制御に従って動作することで、図１７に示すような映像データ、すなわち通信端末装置１１０（Ａ）での２つの映像と、通信端末装置１１０（Ｂ）での１つの映像と、通信相手の映像とを合成した映像を生成する。
【０１０２】
表示部１１０（Ａ）は、映像合成部１１７（Ａ）で得られた映像を、ユーザＡに対して画面表示する。
【０１０３】
一方の通信端末装置１１０（Ｂ）においても、ＣＯＤＥＣ部１１４（Ｂ）は、通信端末装置１１０（Ａ）から転送されてきた映像データ（圧縮映像データ）を伸張して、元の映像データ（上記図１５参照）を復元して、映像合成部１１７（Ｂ）に供給する。
【０１０４】
レイアウト制御部１１６（Ｂ）は、上述したようにして通信端末装置１１０（Ａ）から通知された表示レイアウト情報（上記図１４参照）に基づいて、映像合成部１１７（Ｂ）を制御する。
すなわち、ＶＣＲ１１２（Ｂ）で得られた映像を表示領域２−２のサイズに合わせて拡大／縮小し、さらに、ＣＯＤＥＣ部１１４（Ｂ）で復元された、通信端末装置１１０（Ａ）から転送されてきた映像上の、表示領域２−２の位置にＶＣＲ１１２（Ａ）で得られた映像を配置して、１つの合成映像を生成するように、映像合成部１１７（Ａ）を制御する
ここでも、テレビカメラ１１９（Ｂ）で得られた映像の拡大／縮小、配置が行われないことに注意されたい。
【０１０５】
映像合成部１１７（Ｂ）は、レイアウト制御部１１６（Ｂ）からの制御に従って動作することで、図１８に示すような映像データ、すなわち通信端末装置１１０（Ａ）での２つの映像と、通信端末装置１１０（Ｂ）での１つの映像と、通信相手の映像とを合成した映像を生成する。
【０１０６】
表示部１１０（Ｂ）は、映像合成部１１７（Ｂ）で得られた映像を、ユーザＢに対して画面表示する。
【０１０７】
したがって、ユーザＡとユーザＢに対しては、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）及びＶＣＲ１１２（Ａ）の各映像と、通信端末装置１１０（Ｂ）のＶＣＲ１１２（Ｂ）の映像と、通信相手のユーザＡ又はＢの映像とが提供される。
【０１０８】
尚、通信端末装置１１０（Ａ）又は通信端末装置１１０（Ｂ）で映像を追加表示する場合、或いは表示レイアウトを変更する場合の構成及び動作については、第１の実施の形態で説明した構成及び動作と同様であるため、その詳細な説明を省略する。
【０１０９】
本実施の形態によれば、ユーザＡにとって不要な映像と、ユーザＢにとって不要な映像とを、必要とするユーザにのみ表示することができ、この結果、表示部１１８（Ａ）、１１８（Ｂ）の表示領域を有効に使用することができる。また、これにより、映像合成時における映像の縮小率を大きくすることを回避することができ、ユーザＡ又はＢに提供する合成映像内の各映像を、小さい縮尺の映像として提供することができる。
【０１１０】
[第３の実施の形態]
本発明は、例えば、図１９に示すような通信システム４００に適用される。
本実施の形態の通信システム４００は、上記図１の通信システム１００の構成に対して、通信端末装置１１０（Ｂ）において、レイアウト制御部１１６（Ｂ）の代わりに、通信端末装置１１０（Ａ）のレイアウト生成部１１６（Ａ）と同様に機能するレイアウト生成部１１６（Ｂ）´を設けた構成が異なる。
【０１１１】
以下、本実施の形態の通信システム４００の構成及び動作について具体的に説明する。
【０１１２】
尚、上記図１９の通信システム３００において、上記図１の通信システム１００と同様に機能する個所には同じ符号を付し、その詳細な説明は省略する。
【０１１３】
ここでは、通信端末装置１１０（Ａ）は、テレビカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）で得られる３つの映像を表示しようとしているものとし、通信端末装置１１０（Ｂ）は、テレビカメラ１１９（Ｂ）及びＶＣＲ１１２（Ｂ）で得られる２つの映像を表示しようとしているものとする。
【０１１４】
先ず、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）の間で、通信回線１２０を介した接続が完了すると、通信端末装置１１０（Ｂ）において、レイアウト生成部１１６（Ｂ）´は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわち映像数“２”を、通信端末装置１１０（Ａ）に対して通知する。
【０１１５】
通信端末装置１１０（Ａ）において、レイアウト生成部１１６（Ａ）は、通信端末装置１１０（Ｂ）から通知された映像数“２”と、表示部１１８（Ａ）で表示しようとしている映像数、すなわち映像数“３”との合計数“５”に基づいて、表示レイアウトを生成及び決定する。
【０１１６】
尚、ここでは一例として、通信端末装置１１０（Ａ）が発信側、通信端末装置１１０（Ｂ）が着信側とし、着信側である通信端末装置１１０（Ｂ）が通信端末装置１１０（Ａ）に対して、表示する映像数を通知するように構成しているが、以下の説明から明らかとなるように、発信側である通信端末装置１１０（Ａ）が通信端末装置１１０（Ｂ）に対して、表示する映像数を通知するように構成してもよい。また、他のネゴシエーションに従って、映像数を通知する側を決定するように構成してもよい。
【０１１７】
図２０は、レイアウト生成部１１６（Ａ）で得られた表示レイアウト５０１の一例を示したものである。
表示レイアウト５０１は、５つの表示領域１−１〜１−３及び２−１、２−２を含んでいる。
表示領域１−１は、通信端末装置１１０（Ａ）のテレビカメラ１１９（Ａ）の映像を表示する領域であり、表示領域１−２は、通信端末装置１１０（Ａ）のＳＴＢ１１１（Ａ）の映像を表示する領域であり、表示領域１−３は、通信端末装置１１０（Ａ）のＶＣＲ１１２（Ａ）の映像を表示する領域である。また、表示領域２−１及び２−２は、通信端末装置１１０（Ｂ）で得られた映像を表示する領域である。
【０１１８】
上記図２０の表示レイアウトの場合、レイアウト生成部１１６（Ａ）は、当該表示レイアウト情報を、通信端末装置１１０（Ｂ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１−１：Ｘ１１Ｓ、Ｙ１１Ｓ、Ｘ１１Ｅ、Ｙ１１Ｅ
１−２：Ｘ１２Ｓ、Ｙ１２Ｓ、Ｘ１２Ｅ、Ｙ１２Ｅ
１−３：Ｘ１３Ｓ、Ｙ１３Ｓ、Ｘ１３Ｅ、Ｙ１３Ｅ
２−１：Ｘ２１Ｓ、Ｙ２１Ｓ、Ｘ２１Ｅ、Ｙ２１Ｅ
２−２：Ｘ２２Ｓ、Ｙ２２Ｓ、Ｘ２２Ｅ、Ｙ２２Ｅ
となる。
【０１１９】
“１”で始まる表示領域１−１、１−２、１−３は、本レイアウト情報の送信者である通信端末装置１１０（Ａ）が用いる領域であり、“２”で始まる表示領域２−１、２−２は、本レイアウト情報の受信者である通信端末装置１１０（Ｂ）が用いる領域であることを意味する。
【０１２０】
以降、通信端末装置１１０（Ａ）のレイアウト生成部１１６（Ａ）が、第１の実施の形態と同様に動作し、また、通信端末装置１１０（Ｂ）のレイアウト生成部１１６（Ｂ）´が、第１の実施の形態でのレイアウト制御部１１６（Ｂ）と同様に動作することで、ユーザＡとユーザＢに対して、上記図６に示したような同一の映像が提供されることになる。
【０１２１】
このとき、例えば、ユーザＢが、不図示のリモコン或いは操作部等により、通信端末装置１１０（Ｂ）のＳＴＢ１１１（Ｂ）の映像を追加表示したい場合、以下のような動作が実施される。
【０１２２】
ＳＴＢ１１１（Ｂ）の映像の追加に関する情報（上記のユーザ操作による情報）は、通信端末装置１１０（Ｂ）のレイアウト生成部１１６（Ｂ）´に通知される。
レイアウト制御部１１６（Ｂ）‘は、表示部１１８（Ｂ）で表示しようとしている映像数、すなわちＳＴＢ１１１（Ｂ）の映像を追加した映像数“３”と、先に受信した表示レイアウト情報から得られる通信端末装置１１０（Ａ）が表示しようとしている映像数、すなわち映像数“３”とから、合計の映像数を“６”とし、新たな表示レイアウトを生成及び決定する。
【０１２３】
図２１は、レイアウト生成部１１６（Ｂ）´で得られた表示レイアウト５０２の一例を示したものである。
表示レイアウト５０２は、通信端末装置１１０（Ｂ）用の表示領域１−１〜１−３と、通信端末装置１１０（Ａ）用の表示領域２−１〜２−３とを含んでいる。
“１”で始まる表示領域１−１、１−２、１−３は、本レイアウト情報の送信者である通信端末装置１１０（Ｂ）が用いる領域であり、“２”で始まる表示領域２−１、２−２は、本レイアウト情報の受信者である通信端末装置１１０（Ａ）が用いる領域であることを意味する。
【０１２４】
上記図２１の表示レイアウトの場合、レイアウト生成部１１６（Ｂ）´は、当該表示レイアウト情報を、通信端末装置１１０（Ａ）に対して通知する。このときの表示レイアウト情報の一例を挙げると、
１―１：Ｘ１１Ｓ、Ｙ１１Ｓ、Ｘ１１Ｅ、Ｙ１１Ｅ
１−２：Ｘ１２Ｓ、Ｙ１２Ｓ、Ｘ１２Ｅ、Ｙ１２Ｅ
１−３：Ｘ１３Ｓ、Ｙ１３Ｓ、Ｘ１３Ｅ、Ｙ１３Ｅ
２―１：Ｘ２１Ｓ、Ｙ２１Ｓ、Ｘ２１Ｅ、Ｙ２１Ｅ
２−２：Ｘ２２Ｓ、Ｙ２２Ｓ、Ｘ２２Ｅ、Ｙ２２Ｅ
２−３：Ｘ２３Ｓ、Ｙ２３Ｓ、Ｘ２３Ｅ、Ｙ２３Ｅ
となる。図２２は、当該表示レイアウト情報のイメージを表したものである。
【０１２５】
以降、通信端末装置１１０（Ａ）のレイアウト生成部１１６（Ａ）が、第１の実施の形態と同様に動作し、また、通信端末装置１１０（Ｂ）のレイアウト生成部１１６（Ｂ）´が、第１の実施の形態でのレイアウト制御部１１６（Ｂ）と同様に動作することで、ユーザＡとユーザＢに対して、上記図１１に示したような同一の映像が提供されることになる。
【０１２６】
尚、通信端末装置１１０（Ａ）又は通信端末装置１１０（Ｂ）で映像を追加表示する場合、或いは表示レイアウトを変更する場合の構成及び動作については、第１の実施の形態で説明した構成及び動作と同様であるため、その詳細な説明を省略する。
【０１２７】
本実施の形態によれば、通信端末装置１１０（Ａ）と通信端末装置１１０（Ｂ）とを、同じ構成としても、第１の実施の形態と同様の効果が得られる。
【０１２８】
[第４の実施の形態]
本実施の形態では、例えば、第３の実施の形態における通信システム４００（上記図１９参照）において、通信端末装置１１０（Ａ）の構成を、図２３に示すような構成とする。
【０１２９】
尚、ここでは、第３の実施の形態と異なる構成及び動作についてのみ、具体的に説明する。
【０１３０】
通信端末装置１１０（Ａ）は、上記図２３に示すように、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）の出力形態として、例えば、ＩＥＥＥ１３９４−１９９５規格に準拠したインターフェース（以下、「１３９４シリアルバス」とも言う）の構成を適用している。
【０１３１】
このため、通信端末装置１１０（Ａ）は、１３９４インターフェース（Ｉ／Ｆ）制御部５００を備えており、この１３９４インターフェース（Ｉ／Ｆ）制御部５００と、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）とは、１３９４シリアルバス５５０で接続されている。
【０１３２】
ここで、１３９４シリアルバスの基本的な機能について説明する。
尚、１３９４シリアルバスの詳細については、例えば、アメリカ電子電機学会（The Institute of Electrical and Electronics Engineers, Inc.）から発行されている「IEEE Standard for a High Performance Serial Bus」等に記載されている。
【０１３３】
１３９４シリアルバスは、自由度の高い接続方式、自動設定、及びリアルタイム転送等の特徴を有する。また、１３９４シリアルバスは、自動設定の機能を有する。
【０１３４】
自動設定の機能とは、１３９４シリアルバスに接続された機器（以下、「ノード」とも言う）の電源がＯＮ／ＯＦＦされた場合や、新たなノードが接続された場合、これを検知し、自動的にバスリセットを行い、その後、トポロジの認識、及び各ノードへのＩＤの割り当て等を自動的に行う機能である。
【０１３５】
データ転送モードとしては、コマンド等の制御信号や、ファイルデータ等の転送に適するアシンクロナス転送と、動画データや音声データ等の時間的に連続性を持つデータの転送に適したアイソクロナス転送との２つの転送モードがある。
【０１３６】
１３９４シリアルバスは、例えば、図２４に示すような階層構造で構成される。
上記図２４に示す階層構造において、物理層６０２は、ケーブル／コネクタの機械的／電気的仕様、入出力信号の符号／復号化、バスの初期化、及びバス使用権の調停等を行う。
リンク層６０５は、物理層６０２とトランザクション層６１０の間で、パケットデータの送受信を実現するためのサービスを提供する。
トランザクション層６１０は、リンク層６０５とアプリケーション等の上位層間で、“read”、“write”、及び“lock”の3種類のアシンクロナス転送を実現するためのサービスを提供する。
【０１３７】
１３９４シリアルバスには、バス・マネージャとアイソクロナス・リソース・マネージャ（IRM）の２つのバス管理ノードが存在する。これらは同一ノードであってもよい。
【０１３８】
バス管理層６０１は、ノード制御、アイソクロナス・リソース管理、及びバス管理を行う。
ノード制御は、１３９４シリアルバスの各ノードに存在し、ＩＥＥＥ１２１２規格で規定される“control status register（CSR）”を備え、ノード間でのアシンクロナス転送の管理を行う。
アイソクロナス・リソース管理は、IRMであるノードによってのみ行なわれ、アイソクロナス転送を行おうとするノードに対しチャンネル番号と帯域を与え、該アイソクロナス転送に使用するチャンネル番号と保証された帯域を確保する。
バス管理は、バス・マネージャ・ノードによってのみ行なわれ、接続情報の管理（トポロジーマップの作成）、速度情報の管理（速度マップの作成）、及び電源管理等を行う。
【０１３９】
Function Control Protocol（FCP）６２０は、アシンクロナス転送を使用してコマンド・フレーム及びレスポンス・フレームと呼ばれる５１２ｂｙｔｅ以下のデータの送受信を行い、ノード間での制御を可能とする。
コマンド・フレームは、制御ノードから被制御ノードのコマンド・レジスタへ書き込まれるデータである。
レスポンス・フレームは、コマンド・フレームの応答として、被制御ノードから制御ノードのレスポンス・レジスタへ書き込まれるデータである。
【０１４０】
図２５は、上記のコマンド・フレーム及びレスポンス・フレームのデータ送受信の様子を示したものであり、図２６は、FCP６２０で使用するアシンクロナス転送パケットの構造を示したものである。当該パケットのデータ部に対して、コマンド・フレーム・データ、或いはレスポンス・フレーム・データが設定される。
【０１４１】
AV/C command set６２５は、FCP６２０の上位層であり、コマンド・フレーム、レスポンス・フレームに、及びAV/Cアイソクロナス転送のコネクション制御と、テレビ、モニター、及びＶＣＲ等の所謂ＡＶ機器の制御コマンドとを適用するものである。
【０１４２】
図２７は、AV/C command set６２５のコマンド・フレームの構造を示したものであり、図２８は、レスポンス・フレームの構造を示したものである。
【０１４３】
制御コマンドの内容は、上記図２７における“opcode”及び“subfunction”によって区別される。図２９〜図３１は、このようなコマンドの中で、ＶＣＲで使用される“ＶＣＲ subunit command set”の一部を示したものである。ここでは、通常の制御に必要な再生、記録、停止、巻き戻し、及び早送り等が定義されている。
【０１４４】
上述のような機能を有するＩＥＥＥ１３９４シリアルバス５５０により、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）は、映像を当該ＩＥＥＥ１３９４シリアルバスのアイソクロナスデータとして出力する。
【０１４５】
１３９４Ｉ／Ｆ制御部５００は、１３９４シリアルバス５５０から、時分割多重で入力されるアイソクロナスデータを受信して分離し、デコーダ５５０〜５７０に対して出力する。
また、１３９４Ｉ／Ｆ制御部５００は、上述したAV/Cコマンドを発行する機能を有する。
【０１４６】
デコーダ５５０〜５７０は、１３９４Ｉ／Ｆ制御部５００からのアイソクロナスデータをデコードすることで、ビデオカメラ１１９（Ａ）、ＳＴＢ１１１（Ａ）、及びＶＣＲ１１２（Ａ）の出力映像を各々復元し、映像合成部１１３（Ａ）、１１７（Ａ）に供給する。
【０１４７】
ＣＯＤＥＣ部１１４（Ａ）、ＮＣＵ１１５（Ａ）、レイアウト生成部１１６（Ａ）、及び表示部１１８（Ａ）は、第３の実施の形態と同様に動作する。
【０１４８】
カーソル付加部５８０は、映像合成部１１７（Ａ）からの映像データに対してカーソルを付加し、表示部１１８（Ａ）に対して出力する。
【０１４９】
上述のような通信端末装置１１０（Ａ）と同様の構成を、一方の通信端末装置１１０（Ｂ）にも持たせるている。
このような構成においても、通信端末装置１１０（Ａ）、１１０（Ｂ）はそれぞれ、第３の実施の形態と同様に動作することは明らかである。
【０１５０】
通信端末装置１１０（Ａ）は、レイアウト生成部１１６（Ａ）が表示レイアウトを生成及び決定した場合はもとより、通信端末装置１１０（Ｂ）内のレイアウト生成部１１６（Ｂ）´が表示レイアウトを生成及び決定した場合にも、通信端末装置１１０（Ｂ）から表示レイアウト情報が通知されるため、常に表示領域の数と、そのサイズを判別可能である。したがって、カーソル付加部５８０は、表示領域のハイライトを示すカーソルを付加することが可能となる。
【０１５１】
図３２は、カーソル付加部５８０により、例えば、上記図６に示した映像に対してカーソルが付加された状態の一例を示したものである。
ここでのカーソルは、ＶＣＲ１１２（Ａ）の映像の表示領域の太枠線として表示されている。これにより、ユーザは、ＶＣＲ１１２（Ａ）の映像がハイライトされていることの認識が可能となる。
【０１５２】
図３３は、カーソル付加部５８０により、例えば、上記図１１に示した映像に対してカーソルが付加された状態の一例を示したものである。
ここでのカーソルは、ＶＣＲ１１２（Ｂ）の映像の表示領域の太枠線として表示されている。これにより、ユーザは、ＶＣＲ１１２（Ｂ）の映像がハイライトされていることの認識が可能となる。
【０１５３】
上述のようなカーソルは、ユーザが、不図示のリモコン、或いは不図示の操作部を操作することで、上下左右に移動可能なように構成されている。
【０１５４】
以下、第４の実施の形態における特徴的な動作を説明する。
【０１５５】
例えば、通信端末装置１１０（Ａ）内のレイアウト生成部１１６（Ａ）が表示レイアウトを生成及び決定し、表示部１１８（Ａ）での表示状態が、上記図３２に示したような状態、すなわちカーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあるものとする。
【０１５６】
上記の状態において、ユーザＡが、不図示のリモコン、或いは不図示の操作部により、ＶＣＲ１１２（Ｂ）の早送り再生のための操作を行う。
通信端末装置１１０（Ａ）は、当該早送り再生に相当するAV/Cコマンドを発行する。具体的には、カーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあり、上記図２０に示した表示レイアウト情報から明らかなように、当該表示領域が表示領域１−３であり、当該表示領域１−３がＶＣＲ１１２（Ａ）の映像を表示する領域と決定していることより、ＶＣＲ１１２（Ａ）に対して、１３９４Ｉ／Ｆ制御部５００が、ユーザＡの操作による早送り再生に相当するAV/Cコマンド発行する。ＶＣＲ１１２（Ａ）は、当該AV/Cコマンドに従って動作する。
【０１５７】
また、例えば、通信端末装置１１０（Ａ）内のレイアウト生成部１１６（Ａ）が表示レイアウトを生成及び決定し、表示部１１８（Ａ）での表示状態が、上記図３４に示したような状態、すなわちカーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあるものとする。
【０１５８】
上記の状態において、ユーザＡが、不図示のリモコン、或いは不図示の操作部により、カーソルを右に移動させるための操作を行う。
通信端末装置１１０（Ａ）は、カーソルがＶＣＲ１１２（Ｂ）の映像の表示領域に移動したことを認識し、これを示す情報を、例えば、操作情報“２−２：ＣＵＲＳＯＲ”として、通信端末装置１１０（Ｂ）に通知する。
【０１５９】
尚、通信端末装置１１０（Ｂ）に通知される情報としての、表示レイアウト情報と、カーソルの操作情報との識別は、引数の長さで識別可能であるが、もちろん任意の方法によって識別可能としてもよい。
【０１６０】
通信端末装置１１０（Ｂ）は、通信端末装置１１０（Ａ）からの操作情報を受信し、通信端末装置１１０（Ａ）でカーソルが表示領域２−２に移動したと識別し、当該操作情報の内容に従って、表示部１１８（Ｂ）における表示領域２−２にカーソルを移動させる。
したがって、ユーザＡ及びユーザＢに対して、カーソルの位置を含めて同じ映像が提供されることになる。
【０１６１】
また、例えば、通信端末装置１１０（Ｂ）内のレイアウト生成部１１６（Ｂ）´が表示レイアウトを生成及び決定し、表示部１１８（Ｂ）での表示状態が、図３４に示すような状態、すなわちカーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあるものとする。
【０１６２】
上記の状態において、ユーザＢが、不図示のリモコン、或いは不図示の操作部により、ＶＣＲ１１２（Ａ）の早送り再生のための操作を行う。
通信端末装置１１０（Ｂ）は、当該早送り再生に相当するAV/Cコマンド発行する。具体的には、カーソルがＶＣＲ１１２（Ａ）の映像の表示領域にあり、上記図２２に示した表示レイアウト情報から明らかなように、当該表示領域が表示領域２−３であり、当該表示領域２−３、すなわち“２”で始まる表示領域が表示レイアウト情報の受信者（通信端末装置１１０（Ａ））が表示に使用する領域であることより、当該受信者（通信端末装置１１０（Ａ））に対して、ユーザＢの操作情報（早送り再生の操作情報）“２−３：ＶＣＲ、Ｆ−ＰＬＡＹＥ”を通知する。
【０１６３】
尚、通信端末装置１１０（Ａ）に通知される情報としての、表示レイアウト情報と、カーソルの操作情報との識別は、引数の長さで識別可能であるが、もちろん任意の方法によって識別可能としてもよい。
【０１６４】
通信端末装置１１０（Ａ）は、通信端末装置１１０（Ｂ）からの操作情報により、表示領域２−３に対するＶＣＲ１１２（Ａ）の早送り再生を行うことを認識し、１３９４Ｉ／Ｆ制御部５００により、ＶＣＲ１１２（Ａ）に対して、当該早送り再生に相当するAV/Cコマンド発行する。ＶＣＲ１１２（Ａ）は、当該AV/Cコマンドに従って動作する。
このような構成により、ユーザＢは、通信端末装置１１０（Ａ）側のＶＣＲ１１２（Ａ）を操作可能となる。
【０１６５】
本実施の形態によれば、第３の実施の形態と同様に、ユーザＡ又はＢに提供する合成映像上にカーソルを表示することができ、ユーザＡのカーソル操作も、ユーザＢのカーソル操作も合成映像上に反映可能となるうえ、カーソル位置を含め同じ映像としてユーザに提供することができる。したがって、ユーザＡ及びユーザＢは、合成映像から１つあるいは複数の映像の指示、識別、及び認識等を、さらに容易に行うことができる。
また、ユーザＡは、ユーザＢ側の機器（ＶＣＲ１１２（Ｂ）等）の操作が可能となり、逆に、ユーザＢについても同様に、ユーザＡ側の機器（ＶＣＲ１１２（Ａ）等）の操作が可能となる。さらに、このとき、カーソル位置で操作対象の自動識別ができ、ユーザＡ及びユーザＢは、操作対象機器が通信回線１２０のどちら側のものであるのかを意識することなく、機器操作を行うことができる。
【０１６６】
尚、本発明の目的は、第１〜第４の実施の形態のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が第１〜第４の実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
また、コンピュータが読みだしたプログラムコードを実行することにより、第１〜第４の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって第１〜第４の実施の形態の機能が実現される場合も含まれることは言うまでもない。
【０１６７】
図３５は、上記コンピュータの機能７００を示したものである。
コンピュータ機能７００は、上記図３５に示すように、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、キーボード（ＫＢ）７０９のキーボードコントローラ（ＫＢＣ）７０５と、表示部としてのＣＲＴディスプレイ（ＣＲＴ）７１０のＣＲＴコントローラ（ＣＲＴＣ）７０６と、ハードディスク（ＨＤ）７１１及びフレキシブルディスク（ＦＤ）７１２のディスクコントローラ（ＤＫＣ）７０７と、ネットワーク７２０との接続のためのネットワークインターフェースコントローラ（ＮＩＣ）７０８とが、システムバス７０４を介して互いに通信可能に接続された構成としている。
【０１６８】
ＣＰＵ７０１は、ＲＯＭ７０２或いはＨＤ７１１に記憶されたソフトウェア、或いはＦＤ７１２より供給されるソフトウェアを実行することで、システムバス７０４に接続された各構成部を総括的に制御する。
すなわち、ＣＰＵ７０１は、所定の処理シーケンスに従った処理プログラムを、ＲＯＭ７０２、或いはＨＤ７１１、或いはＦＤ７１２から読み出して実行することで、第１〜第４の実施の形態での動作を実現するための制御を行う。
【０１６９】
ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ或いはワークエリア等として機能する。
ＫＢＣ７０５は、ＫＢ７０９や図示していないポインティングデバイス等からの指示入力を制御する。
ＣＲＴＣ７０６は、ＣＲＴ７１０の表示を制御する。
ＤＫＣ７０７は、ブートプログラム、種々のアプリケーション、編集ファイル、ユーザファイル、ネットワーク管理プログラム、及び本実施の形態における所定の処理プログラム等を記憶するＨＤ７１１及びＦＤ７１２とのアクセスを制御する。
ＮＩＣ７０８は、ネットワーク７２０上の装置或いはシステムと双方向にデータをやりとりする。
【０１７０】
【発明の効果】
以上説明したように本発明では、通信相手側で表示する映像数と、自側で表示する映像数とに基づき決定された、通信相手側と自側の共通の表示レイアウトに従って、通信相手側と自側の複数の映像を合成して表示するように構成した。これにより、通信相手側及び自側のそれぞれにおいて、合成映像から１つ或いは複数の映像の指示、識別、及び認識等が容易となる。
【０１７１】
また、通信相手側へ複数の映像を送信する際には、上記の表示レイアウトに従って当該複数の映像を合成したものを送信するように構成した場合、或いは通信相手側から複数の映像を受信する際には、上記の表示レイアウトに従って当該複数の映像が合成されたものを受信するように構成した場合、複数の映像の送受信のための複数の通信手段を必要とせず、さらに時分割多重手段や多重分離手段をも必要ないため、コストダウンを図ることができる。
【０１７２】
また、合成映像上にカーソルを移動可能なように表示させ、通信相手側のカーソル操作も、自側のカーソル操作も合成映像上に反映可能となるように構成した場合、合成映像から１つあるいは複数の映像の指示、識別、及び認識等を、さらに容易に行うことができる。
さらに、上記のカーソル移動に基づいて、合成映像上の映像を制御するように構成した場合、自側と共に通信相手側の映像操作が可能となる。
【図面の簡単な説明】
【図１】第１の実施の形態において、本発明を適用した通信システムの構成を示すブロック図である。
【図２】上記通信システムにおける表示レイアウトの一例を説明するための図である。
【図３】上記表示レイアウトにおいて、上記表示レイアウト情報の受信側の表示領域を説明するための図である。
【図４】上記表示レイアウトにおいて、上記表示レイアウト情報の送信側の表示領域を説明するための図である。
【図５】上記受信側の表示領域の映像を説明するための図である。
【図６】上記受信側及び上記送信側の上記表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図７】上記映像の表示状態において、映像の追加のための操作がなされた場合の新たな表示レイアウトを説明するための図である。
【図８】上記新たな表示レイアウトにおいて、当該表示レイアウト情報の受信側の表示領域を説明するための図である。
【図９】上記新たな表示レイアウトにおいて、当該表示レイアウト情報の送信側の表示領域の映像を説明するための図である。
【図１０】上記新たな表示レイアウトにおいて、当該表示レイアウト情報の受信側の表示領域の映像を説明するための図である。
【図１１】上記受信側及び上記送信側の上記新たな表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図１２】第２の実施の形態において、本発明を適用した通信システムの構成を示すブロック図である。
【図１３】上記通信システムにおける表示レイアウトの一例を説明するための図である。
【図１４】上記表示レイアウトにおいて、上記表示レイアウト情報の受信側の表示領域を説明するための図である。
【図１５】上記表示レイアウトにおいて、上記表示レイアウト情報の送信側の表示領域の映像を説明するための図である。
【図１６】上記表示レイアウトにおいて、上記表示レイアウト情報の受信側の表示領域の映像を説明するための図である。
【図１７】上記送信側の上記表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図１８】上記受信側の上記表示レイアウト情報に基づいた映像の表示状態を説明するための図である。
【図１９】第３の実施の形態において、本発明を適用した通信システムの構成を示すブロック図である。
【図２０】上記通信システムにおける表示レイアウトの一例を説明するための図である。
【図２１】上記表示レイアウト情報に基づいた映像の表示状態において、映像の追加のための操作がなされた場合の新たな表示レイアウトを説明するための図である。
【図２２】上記表示レイアウトを示す情報を説明するための図である。
【図２３】第４の実施の形態において、本発明を適用した通信システムの通信端末装置の構成を示すブロック図である。
【図２４】上記通信システムで適用する１３９４シリアルバスの階層構造を説明するための図である。
【図２５】上記１３９４シリアルバスにおけるＦＣＰを説明するための図である。
【図２６】上記ＦＣＰ frameのフォーマットを説明するための図である。
【図２７】上記１３９４シリアルバスにおけるＡＶ／Ｃ command frameのフォーマットを説明するための図である。
【図２８】上記１３９４シリアルバスにおけるＡＶ／Ｃ Response frameのフォーマットを説明するための図である。
【図２９】上記１３９４シリアルバスにおけるＡＶ／Ｃ command set のコマンド（例１）を説明するための図である。
【図３０】上記１３９４シリアルバスにおけるＡＶ／Ｃ command set のコマンド（例２）を説明するための図である。
【図３１】上記１３９４シリアルバスにおけるＡＶ／Ｃ command set のコマンド（例３）を説明するための図である。
【図３２】上記通信システムにおける表示レイアウトに基づいた映像の表示上のカーソルを説明するための図である。
【図３３】上記映像の表示状態において、映像の追加のための操作がなされた場合の新たな表示レイアウトに基づいた映像の表示上のカーソルを説明するための図である。
【図３４】上記カーソルの移動を説明するための図である。
【図３５】上記通信システムの機能をコンピュータに実現させるためのプログラムをコンピュータ読出可能な記憶媒体から読み出して実行する当該コンピュータの構成を示すブロック図である。
【図３６】第１の実施の形態における、本発明の他の適用を示した通信システムの構成を示すブロック図である。
【符号の説明】
１００ 通信システム
１１０（Ａ）、１１０（Ｂ） 通信端末装置
１１１（Ａ）、１１１（Ｂ） セットトップボックス（ＳＴＢ）
１１２（Ａ）、１１２（Ｂ） ビデオカセットレコーダ（ＶＣＲ）
１１３（Ａ）、１１３（Ｂ） 映像合成部
１１４（Ａ）、１１４（Ｂ） ＣＯＤＥＣ部
１１５（Ａ）、１１５（Ｂ） ネットワークコントロールユニット（ＮＣＵ）
１１６（Ａ） レイアウト生成部
１１６（Ｂ）、１１６（Ｂ）‘ レイアウト制御部
１１７（Ａ）、１１７（Ｂ） 映像合成部
１１８（Ａ）、１１８（Ｂ） 表示部
１１９（Ａ）、１１９（Ｂ） テレビカメラ
１２０ 通信回線
Claims (8)
- 通信装置と接続された表示部に映像を表示する機能を有する通信装置であって、
当該通信装置と通信可能なリモート通信装置から、当該通信装置に対して送信される映像データと、当該映像データの数を示す第１の映像数情報とを受信する通信手段と、
前記第１の映像数情報及び前記リモート通信装置以外から入力され、前記表示部に表示するための映像データの数を示す第２の映像数情報に基づいて、前記通信手段が受信した映像データ及び前記入力された映像データを前記表示部に表示するための第１の表示レイアウト情報を決定する決定手段と、
前記決定手段によって決定された前記第１の表示レイアウト情報に従って、前記通信手段で受信した映像データと前記入力された映像データとを同一画面上に表示するように合成し、合成映像データを生成する第１の合成手段と、
前記第１の合成手段によって生成された合成映像データに対応する映像を前記表示部に表示する表示手段と、
を有することを特徴とする通信装置。 - 前記通信手段は、前記第２の映像数情報を前記リモート通信装置に送信するとともに、前記リモート通信装置から送信される第２の表示レイアウト情報を受信し、
さらに、前記通信装置は、前記通信手段によって受信した前記第２の表示レイアウト情報に基づいて、当該通信装置に前記リモート通信装置以外から入力された映像データを合成する第２の合成手段を有し、
前記第２の合成手段で合成された映像データを前記通信手段が前記リモート通信装置に送信することを特徴とする請求項１に記載の通信装置。 - 前記第１の合成手段は、前記第２の合成手段で合成された映像データと、前記リモート通信装置から送信された映像データとを合成することを特徴とする請求項２に記載の通信装置。
- 前記決定手段は、前記第１の映像数情報または前記第２の映像数情報の少なくともいずれか一方が変化した場合には、表示レイアウト情報を再度決定することを特徴とする請求項１に記載の通信装置。
- 複数の映像を、通信装置と接続された表示部の画面上に表示する機能を有する通信装置の映像表示制御方法であって、
当該通信装置と通信可能なリモート通信装置から、当該通信装置に対して送信される映像データと、当該映像データの数を示す第１の映像数情報とを受信する受信ステップと、
前記第１の映像数情報及び前記リモート通信装置以外から入力され、前記表示部に表示するための映像データの数を示す第２の映像数情報に基づいて、前記受信ステップで受信した映像データ及び前記入力された映像データを前記表示部に表示するための第１の表示レイアウト情報を決定する決定ステップと、
前記決定ステップによって決定された前記第１の表示レイアウト情報に従って、前記受信ステップで受信した映像データと前記入力された映像データとを同一画面上に表示するように合成し、合成映像データを生成する第１の合成ステップと、
前記第１の合成ステップによって生成された合成映像データに対応する映像を前記表示部に表示する表示ステップと、
を有することを特徴とする通信装置の映像表示制御方法。 - 前記第２の映像数情報を前記リモート通信装置に送信する第１の送信ステップと、
前記リモート通信装置から送信される第２の表示レイアウト情報を受信するレイアウト情報受信ステップと、
受信した前記第２の表示レイアウト情報に基づいて、当該通信装置に前記リモート通信装置以外から入力された映像データを合成する第２の合成ステップと、
前記第２の合成ステップで合成された映像データを前記リモート通信装置に送信する第２の送信ステップと、を有することとを特徴とする請求項５に記載の通信装置の映像表示制御方法。 - 前記第１の合成ステップでは、前記第２の合成ステップで合成された映像データと、前記リモート通信装置から送信された映像データとを合成することを特徴とする請求項６に記載の通信装置の映像表示制御方法。
- 前記決定ステップでは、前記第１の映像数情報または前記第２の映像数情報の少なくともいずれか一方が変化した場合には、表示レイアウト情報を再度決定することを特徴とする請求項５に記載の通信装置の映像表示制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001180432A JP4612779B2 (ja) | 2001-06-14 | 2001-06-14 | 通信装置及び通信装置の映像表示制御方法 |
| US10/165,320 US7231603B2 (en) | 2001-06-14 | 2002-06-10 | Communication apparatus, communication system, video image display control method, storage medium and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001180432A JP4612779B2 (ja) | 2001-06-14 | 2001-06-14 | 通信装置及び通信装置の映像表示制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002374508A JP2002374508A (ja) | 2002-12-26 |
| JP2002374508A5 JP2002374508A5 (ja) | 2008-03-21 |
| JP4612779B2 true JP4612779B2 (ja) | 2011-01-12 |
Family
ID=19020852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001180432A Expired - Fee Related JP4612779B2 (ja) | 2001-06-14 | 2001-06-14 | 通信装置及び通信装置の映像表示制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7231603B2 (ja) |
| JP (1) | JP4612779B2 (ja) |
Families Citing this family (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2386303C (en) | 2001-05-14 | 2005-07-05 | At&T Corp. | Method for content-based non-linear control of multimedia playback |
| EP1383317A1 (en) * | 2002-07-17 | 2004-01-21 | Thomson Licensing S.A. | Video apparatus |
| JP4401721B2 (ja) * | 2002-09-26 | 2010-01-20 | キヤノン株式会社 | 映像受信装置 |
| JP5197910B2 (ja) * | 2002-09-26 | 2013-05-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | デジタル情報信号を受信する装置 |
| JP2004133733A (ja) * | 2002-10-11 | 2004-04-30 | Sony Corp | 表示装置および方法、並びにプログラム |
| JP3840183B2 (ja) * | 2003-01-10 | 2006-11-01 | 株式会社東芝 | 情報再生装置及び情報再生方法 |
| JP4275629B2 (ja) | 2003-01-14 | 2009-06-10 | パナソニック株式会社 | データ送受信装置、画像処理装置、及び、画像処理方法 |
| JP4016388B2 (ja) | 2003-01-21 | 2007-12-05 | 日本電気株式会社 | テレビ電話機能付き携帯電話端末 |
| US20040207723A1 (en) * | 2003-04-15 | 2004-10-21 | Davis Jeffrey Alan | UI remoting with synchronized out-of-band media |
| US20050143843A1 (en) * | 2003-11-25 | 2005-06-30 | Zohar Bogin | Command pacing |
| WO2006025326A1 (ja) * | 2004-08-31 | 2006-03-09 | Sharp Kabushiki Kaisha | 視野角制御デバイス、表示装置、視野角制御デバイスの制御方法、視野角制御プログラム、および該プログラムを記録した記録媒体 |
| US20060107294A1 (en) * | 2004-11-16 | 2006-05-18 | Rivlin Ze Ev | Integrated video processing circuit and method for providing a displayed visual user interface for the display, selection and setup of video input sources |
| US7432916B2 (en) * | 2004-12-09 | 2008-10-07 | Universal Electronics, Inc. | Controlling device with dual-mode, touch-sensitive display |
| US7593064B2 (en) * | 2005-07-26 | 2009-09-22 | Siemens Medical Solutions Health Services Corporation | System for adaptive display of video image segments |
| US8046709B2 (en) * | 2005-08-05 | 2011-10-25 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
| JP2007208458A (ja) * | 2006-01-31 | 2007-08-16 | Fujifilm Corp | 通信システム、通信端末および通信方法 |
| US8392947B2 (en) * | 2006-06-30 | 2013-03-05 | At&T Intellectual Property I, Lp | System and method for home audio and video communication |
| KR20080014329A (ko) * | 2006-08-10 | 2008-02-14 | 삼성전자주식회사 | 영상표시장치 및 그 제어방법과 프로그램이 기록된 기록매체 |
| US8244824B2 (en) * | 2006-09-06 | 2012-08-14 | Stereotaxis, Inc. | Coordinated control for multiple computer-controlled medical systems |
| US7747960B2 (en) * | 2006-09-06 | 2010-06-29 | Stereotaxis, Inc. | Control for, and method of, operating at least two medical systems |
| JP2008067082A (ja) * | 2006-09-07 | 2008-03-21 | Matsushita Electric Ind Co Ltd | 放送システム、受信装置、及び放送装置 |
| KR20080043621A (ko) * | 2006-11-14 | 2008-05-19 | 삼성전자주식회사 | 디스플레이장치와, 셋탑박스와, 디스플레이 시스템 및디스플레이 시스템의 디스플레이방법 |
| US20080172693A1 (en) * | 2007-01-16 | 2008-07-17 | Microsoft Corporation | Representing Television Programs Using Video Objects |
| US8358327B2 (en) * | 2007-07-19 | 2013-01-22 | Trinity Video Communications, Inc. | CODEC-driven touch screen video conferencing control system |
| JP2009044510A (ja) * | 2007-08-09 | 2009-02-26 | Ntt Docomo Inc | 移動機、サーバ、および、移動機における映像再生方法 |
| US8413204B2 (en) * | 2008-03-31 | 2013-04-02 | At&T Intellectual Property I, Lp | System and method of interacting with home automation systems via a set-top box device |
| US8473979B2 (en) | 2008-09-30 | 2013-06-25 | Echostar Technologies L.L.C. | Systems and methods for graphical adjustment of an electronic program guide |
| US8937687B2 (en) | 2008-09-30 | 2015-01-20 | Echostar Technologies L.L.C. | Systems and methods for graphical control of symbol-based features in a television receiver |
| US8582957B2 (en) * | 2008-09-22 | 2013-11-12 | EchoStar Technologies, L.L.C. | Methods and apparatus for visually displaying recording timer information |
| US8572651B2 (en) | 2008-09-22 | 2013-10-29 | EchoStar Technologies, L.L.C. | Methods and apparatus for presenting supplemental information in an electronic programming guide |
| US8763045B2 (en) | 2008-09-30 | 2014-06-24 | Echostar Technologies L.L.C. | Systems and methods for providing customer service features via a graphical user interface in a television receiver |
| US9357262B2 (en) * | 2008-09-30 | 2016-05-31 | Echostar Technologies L.L.C. | Systems and methods for graphical control of picture-in-picture windows |
| US8793735B2 (en) | 2008-09-30 | 2014-07-29 | EchoStar Technologies, L.L.C. | Methods and apparatus for providing multiple channel recall on a television receiver |
| US8397262B2 (en) | 2008-09-30 | 2013-03-12 | Echostar Technologies L.L.C. | Systems and methods for graphical control of user interface features in a television receiver |
| US20100083319A1 (en) * | 2008-09-30 | 2010-04-01 | Echostar Technologies Llc | Methods and apparatus for locating content in an electronic programming guide |
| US9100614B2 (en) | 2008-10-31 | 2015-08-04 | Echostar Technologies L.L.C. | Graphical interface navigation based on image element proximity |
| US20110222676A1 (en) * | 2008-11-20 | 2011-09-15 | Panasonic Corporation | Image display apparatus, teleconferencing device, and image display method |
| JP5497768B2 (ja) * | 2009-08-24 | 2014-05-21 | パナソニック株式会社 | テレビ会議システム、テレビ会議装置、テレビ会議制御方法およびプログラム |
| JP5290425B2 (ja) * | 2009-09-29 | 2013-09-18 | シャープ株式会社 | 周辺機器制御システム、表示装置、及び周辺機器 |
| CN102577361B (zh) * | 2009-09-29 | 2015-07-01 | 夏普株式会社 | 周边设备信息显示系统、显示装置及周边设备 |
| JP5335641B2 (ja) * | 2009-10-19 | 2013-11-06 | キヤノン株式会社 | 情報処理装置及び画像表示方法 |
| CN101742221B (zh) * | 2009-11-09 | 2012-06-13 | 中兴通讯股份有限公司 | 一种会议电视系统中的多画面合成方法及装置 |
| US20110119719A1 (en) * | 2009-11-13 | 2011-05-19 | Echostar Technologies L.L.C. | Mosaic Application for Generating Output Utilizing Content from Multiple Television Receivers |
| CN102893312B (zh) * | 2010-05-19 | 2014-03-12 | 夏普株式会社 | 信源设备、信宿设备、系统、程序以及记录介质 |
| WO2011149558A2 (en) | 2010-05-28 | 2011-12-01 | Abelow Daniel H | Reality alternate |
| USD803227S1 (en) * | 2010-10-08 | 2017-11-21 | Oath (Americas) Inc. | Display apparatus including a computer generated icon |
| JP5351198B2 (ja) * | 2011-03-23 | 2013-11-27 | シャープ株式会社 | マルチディスプレイシステム |
| JP5509284B2 (ja) * | 2012-09-14 | 2014-06-04 | 株式会社東芝 | マルチフォーマット出力装置、マルチフォーマット出力装置の制御方法 |
| JP6116213B2 (ja) * | 2012-11-30 | 2017-04-19 | 株式会社第一興商 | 合成動画コンテンツの生成システム |
| KR102058041B1 (ko) * | 2012-12-26 | 2019-12-20 | 엘지전자 주식회사 | 영상표시장치, 및 그 동작방법 |
| GB2522453A (en) | 2014-01-24 | 2015-07-29 | Barco Nv | Dynamic display layout |
| US9762966B2 (en) * | 2015-01-15 | 2017-09-12 | Mediatek Inc. | Video displaying method and video decoding method which can operate in multiple display mode and electronic system applying the method |
| KR20170025400A (ko) * | 2015-08-28 | 2017-03-08 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| US9866592B2 (en) * | 2015-09-28 | 2018-01-09 | BlueTalon, Inc. | Policy enforcement system |
| US10776887B2 (en) * | 2017-02-07 | 2020-09-15 | Enseo, Inc. | System and method for making reservations in a hospitality establishment |
| JP7225631B2 (ja) * | 2018-09-21 | 2023-02-21 | ヤマハ株式会社 | 画像処理装置、カメラ装置、および画像処理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5764277A (en) * | 1995-11-08 | 1998-06-09 | Bell Communications Research, Inc. | Group-of-block based video signal combining for multipoint continuous presence video conferencing |
| JP2000184346A (ja) * | 1998-12-17 | 2000-06-30 | Toshiba Corp | 情報端末装置及び情報通信システム並びに表示状態制御方法 |
| JP2001086475A (ja) * | 1999-09-16 | 2001-03-30 | Mega Chips Corp | 画像表示装置および制御装置 |
| JP2001242848A (ja) * | 2000-02-29 | 2001-09-07 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
Family Cites Families (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4742350A (en) * | 1986-02-14 | 1988-05-03 | International Business Machines Corporation | Software managed video synchronization generation |
| KR900008072B1 (ko) * | 1986-07-15 | 1990-10-31 | 미쓰비시전기 주식회사 | 표시장치 |
| JPH01280977A (ja) * | 1988-03-31 | 1989-11-13 | Toshiba Corp | テレビジョンシステムの子画面表示方法及びその装置 |
| CA1337132C (en) * | 1988-07-15 | 1995-09-26 | Robert Filepp | Reception system for an interactive computer network and method of operation |
| US5602983A (en) * | 1989-02-28 | 1997-02-11 | Canon Kabushiki Kaisha | Image display system using a common video memory for phased terminals |
| JP2603347B2 (ja) * | 1989-12-19 | 1997-04-23 | キヤノン株式会社 | 情報処理装置及びこれを用いた表示装置 |
| US5258837A (en) * | 1991-01-07 | 1993-11-02 | Zandar Research Limited | Multiple security video display |
| KR960009528B1 (en) * | 1991-01-08 | 1996-07-20 | Samsung Electronics Co Ltd | 2 signal simultaneous display circuit & method through screen division |
| DE4290947T1 (ja) * | 1991-04-08 | 1993-04-01 | Hitachi, Ltd., Tokio/Tokyo, Jp | |
| JP3171891B2 (ja) * | 1991-11-08 | 2001-06-04 | キヤノン株式会社 | 表示制御装置 |
| KR950001570B1 (ko) * | 1991-12-27 | 1995-02-25 | 주식회사금성사 | 씨씨 티브이의 쌍방향 통신 시스템 |
| US6215515B1 (en) * | 1992-02-19 | 2001-04-10 | Netergy Networks, Inc. | Videocommunicating device with an on-screen telephone keypad user-interface method and arrangement |
| JPH05336516A (ja) * | 1992-05-29 | 1993-12-17 | Canon Inc | 画像通信装置 |
| US5375068A (en) * | 1992-06-03 | 1994-12-20 | Digital Equipment Corporation | Video teleconferencing for networked workstations |
| JP2750646B2 (ja) * | 1992-07-16 | 1998-05-13 | キヤノン株式会社 | 表示制御装置 |
| US5757418A (en) * | 1992-07-31 | 1998-05-26 | Canon Kabushiki Kaisha | Television conference system and method therefor |
| EP0591682B1 (en) * | 1992-09-04 | 1997-12-17 | Canon Kabushiki Kaisha | Display control apparatus |
| US5537153A (en) * | 1992-11-16 | 1996-07-16 | Kabushiki Kaisha Toshiba | Television signal transmission and reception system with multi-screen display for tuning operation |
| US6469746B1 (en) * | 1992-12-28 | 2002-10-22 | Sanyo Electric Co., Ltd. | Multi-vision screen adapter |
| JP3334211B2 (ja) * | 1993-02-10 | 2002-10-15 | 株式会社日立製作所 | ディスプレイ |
| JPH06274305A (ja) * | 1993-03-18 | 1994-09-30 | Hitachi Ltd | 画面表示装置及びその制御方法 |
| JPH06303607A (ja) * | 1993-04-15 | 1994-10-28 | Canon Inc | テレビ会議システムおよびその制御方法 |
| US5508736A (en) * | 1993-05-14 | 1996-04-16 | Cooper; Roger D. | Video signal processing apparatus for producing a composite signal for simultaneous display of data and video information |
| US5745161A (en) * | 1993-08-30 | 1998-04-28 | Canon Kabushiki Kaisha | Video conference system |
| JPH07135594A (ja) * | 1993-11-11 | 1995-05-23 | Canon Inc | 撮像制御装置 |
| US5579239A (en) * | 1994-02-16 | 1996-11-26 | Freeman; Mitchael C. | Remote video transmission system |
| US5488385A (en) * | 1994-03-03 | 1996-01-30 | Trident Microsystems, Inc. | Multiple concurrent display system |
| US6549178B2 (en) * | 1994-03-11 | 2003-04-15 | Canon Kabushiki Kaisha | Communication terminal apparatus |
| JPH08195944A (ja) * | 1994-11-18 | 1996-07-30 | Casio Comput Co Ltd | テレビ電話装置 |
| US5854898A (en) * | 1995-02-24 | 1998-12-29 | Apple Computer, Inc. | System for automatically adding additional data stream to existing media connection between two end points upon exchange of notifying and confirmation messages therebetween |
| US5517257A (en) * | 1995-03-28 | 1996-05-14 | Microsoft Corporation | Video control user interface for interactive television systems and method for controlling display of a video movie |
| JP3110991B2 (ja) * | 1995-09-22 | 2000-11-20 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 画面表示制御方法及び装置 |
| JPH09160745A (ja) * | 1995-12-11 | 1997-06-20 | Tsubasa Syst Kk | コンピュータシステム |
| US5805118A (en) * | 1995-12-22 | 1998-09-08 | Research Foundation Of The State Of New York | Display protocol specification with session configuration and multiple monitors |
| JP3996960B2 (ja) * | 1996-01-30 | 2007-10-24 | キヤノン株式会社 | カメラ制御システム |
| JP3689473B2 (ja) * | 1996-01-30 | 2005-08-31 | キヤノン株式会社 | 通信装置、画像処理装置、通信方法及び画像処理方法 |
| JPH09214804A (ja) * | 1996-01-30 | 1997-08-15 | Canon Inc | 映像通信端末及びそれを用いた多地点映像表示システム |
| DE59701135D1 (de) * | 1996-03-12 | 2000-03-23 | Siemens Nixdorf Inf Syst | Betrieb mehrerer sichtgeräte an einer bildschirmsteuerung |
| JP3862315B2 (ja) * | 1996-03-13 | 2006-12-27 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
| US5956081A (en) * | 1996-10-23 | 1999-09-21 | Katz; Barry | Surveillance system having graphic video integration controller and full motion video switcher |
| US6208376B1 (en) * | 1996-04-22 | 2001-03-27 | Canon Kabushiki Kaisha | Communication system and method and storage medium for storing programs in communication system |
| US5838336A (en) * | 1996-04-29 | 1998-11-17 | Microsoft Corporation | Method and system for displaying images on a display device |
| US5793366A (en) * | 1996-11-12 | 1998-08-11 | Sony Corporation | Graphical display of an animated data stream between devices on a bus |
| KR100200616B1 (ko) * | 1996-09-02 | 1999-06-15 | 윤종용 | 감시 화면 분할 표시장치 및 그 방법 |
| US6003093A (en) * | 1996-12-19 | 1999-12-14 | Canon Kabushiki Kaisha | Architecture for image processing application |
| US7031391B1 (en) * | 1997-02-18 | 2006-04-18 | Harris Corporation | Narrowband video codec |
| US6262713B1 (en) * | 1997-03-31 | 2001-07-17 | Compaq Computer Corporation | Mechanism and method for focusing remote control input in a PC/TV convergence system |
| US6118493A (en) * | 1997-04-01 | 2000-09-12 | Ati Technologies, Inc. | Method and apparatus for selecting a channel from a multiple channel display |
| US5900868A (en) * | 1997-04-01 | 1999-05-04 | Ati International | Method and apparatus for multiple channel display |
| US6166772A (en) * | 1997-04-01 | 2000-12-26 | Compaq Computer Corporation | Method and apparatus for display of interlaced images on non-interlaced display |
| JP3615905B2 (ja) * | 1997-05-12 | 2005-02-02 | 株式会社東京放送 | デジタル映像分配装置 |
| US5946051A (en) * | 1997-06-02 | 1999-08-31 | Telecruz Technology, Inc. | Method and apparatus for enabling a user to access data network applications from a television system |
| US6714172B2 (en) | 1997-07-14 | 2004-03-30 | Canon Kabushiki Kaisha | Display control system and its control method, switching device, connection device, peripheral device, peripheral device system, and their control method, and computer readable memory |
| US6421069B1 (en) * | 1997-07-31 | 2002-07-16 | Sony Corporation | Method and apparatus for including self-describing information within devices |
| US6091771A (en) * | 1997-08-01 | 2000-07-18 | Wells Fargo Alarm Services, Inc. | Workstation for video security system |
| US6667992B1 (en) * | 1997-08-04 | 2003-12-23 | Matsushita Electric Industrial Co., Ltd. | Network control system |
| JP3052682U (ja) * | 1998-03-27 | 1998-09-29 | 船井電機株式会社 | 映像装置 |
| US6313853B1 (en) * | 1998-04-16 | 2001-11-06 | Nortel Networks Limited | Multi-service user interface |
| US6233611B1 (en) * | 1998-05-08 | 2001-05-15 | Sony Corporation | Media manager for controlling autonomous media devices within a network environment and managing the flow and format of data between the devices |
| US6209025B1 (en) * | 1998-11-09 | 2001-03-27 | John C Bellamy | Integrated video system |
| US6332139B1 (en) * | 1998-11-09 | 2001-12-18 | Mega Chips Corporation | Information communication system |
| US6456334B1 (en) * | 1999-06-29 | 2002-09-24 | Ati International Srl | Method and apparatus for displaying video in a data processing system |
| JP2001069474A (ja) * | 1999-08-25 | 2001-03-16 | Nec Corp | 多地点制御装置及びそれに用いる映像表示方法 |
| US6816129B1 (en) * | 1999-12-21 | 2004-11-09 | International Business Machines Corporation | Multiple display device for use with existing personal computer systems |
| JP2001325206A (ja) | 2000-05-12 | 2001-11-22 | Canon Inc | 表示装置、表示システム及びコンピュータ読み取り可能な記憶媒体 |
| KR100350019B1 (ko) * | 2000-05-19 | 2002-08-24 | 탑헤드 주식회사 | 다수의 모니터를 구동하기 위한 비디오 신호 처리 시스템 |
| JP2002175068A (ja) * | 2000-09-22 | 2002-06-21 | Canon Inc | 画像表示システム、画像表示方法、記憶媒体及び画像表示装置 |
| US6646647B1 (en) * | 2000-09-29 | 2003-11-11 | Intel Corporation | Display of images from tiled memory |
| US6915347B2 (en) * | 2000-10-17 | 2005-07-05 | Sun Microsystems, Inc. | Associating multiple display units in a grouped server environment |
| US6710753B2 (en) * | 2000-10-17 | 2004-03-23 | Sun Micosystems, Inc. | Multi-screen session mobility between terminal groups |
| US7174512B2 (en) * | 2000-12-01 | 2007-02-06 | Thomson Licensing S.A. | Portal for a communications system |
| US6943845B2 (en) * | 2000-12-15 | 2005-09-13 | Canon Kabushiki Kaisha | Apparatus and method for data processing, and storage medium |
| US7006154B2 (en) * | 2001-02-21 | 2006-02-28 | Edmond Louis Dudkowski | Portable system for live television signal editing |
| US6833874B2 (en) * | 2001-03-27 | 2004-12-21 | Sony Corporation | Ticker tape picture-in-picture system |
| US6937266B2 (en) * | 2001-06-14 | 2005-08-30 | Microsoft Corporation | Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network |
| US7003795B2 (en) * | 2001-06-26 | 2006-02-21 | Digeo, Inc. | Webcam-based interface for initiating two-way video communication |
| US6941575B2 (en) * | 2001-06-26 | 2005-09-06 | Digeo, Inc. | Webcam-based interface for initiating two-way video communication and providing access to cached video |
| US6535240B2 (en) * | 2001-07-16 | 2003-03-18 | Chih-Lung Yang | Method and apparatus for continuously receiving frames from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual frames containing information concerning each of said video channels |
| US6696945B1 (en) * | 2001-10-09 | 2004-02-24 | Diamondback Vision, Inc. | Video tripwire |
| US7656461B2 (en) * | 2003-03-27 | 2010-02-02 | Sony Corporation | Method of and apparatus for utilizing video buffer in a multi-purpose fashion to extend the video buffer to multiple windows |
| US7098868B2 (en) * | 2003-04-08 | 2006-08-29 | Microsoft Corporation | Display source divider |
| US7176957B2 (en) * | 2004-05-25 | 2007-02-13 | Seiko Epson Corporation | Local video loopback method for a multi-participant conference system using a back-channel video interface |
-
2001
- 2001-06-14 JP JP2001180432A patent/JP4612779B2/ja not_active Expired - Fee Related
-
2002
- 2002-06-10 US US10/165,320 patent/US7231603B2/en not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5764277A (en) * | 1995-11-08 | 1998-06-09 | Bell Communications Research, Inc. | Group-of-block based video signal combining for multipoint continuous presence video conferencing |
| JP2000184346A (ja) * | 1998-12-17 | 2000-06-30 | Toshiba Corp | 情報端末装置及び情報通信システム並びに表示状態制御方法 |
| JP2001086475A (ja) * | 1999-09-16 | 2001-03-30 | Mega Chips Corp | 画像表示装置および制御装置 |
| JP2001242848A (ja) * | 2000-02-29 | 2001-09-07 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030001878A1 (en) | 2003-01-02 |
| US7231603B2 (en) | 2007-06-12 |
| JP2002374508A (ja) | 2002-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4612779B2 (ja) | 通信装置及び通信装置の映像表示制御方法 | |
| JP4532712B2 (ja) | 電子機器 | |
| JP4642231B2 (ja) | アイソクロナスデータ伝送フォーマットを用いた分散型ｉｅｅｅ１３９４ネットワークにおいて広帯域の画面表示グラフィックスデータを扱う方法及び装置 | |
| US8321576B2 (en) | Method and apparatus of data transfer controlling data transfer among a plurality of equipments connected to a network and medium recording the program thereof | |
| JP4388125B2 (ja) | 中継装置、および中継方法 | |
| US6839071B1 (en) | Data communication apparatus and method for receiving and displaying information from first and second devices | |
| US6684110B1 (en) | Control system, apparatus, and method in which display characteristics of an operation panel are changeable | |
| JP2000350270A (ja) | 通信システム、装置及び方法、並びにコンピュータ読み取り可能な記憶媒体 | |
| US7000039B2 (en) | Information processing apparatus for recording streaming data in a storage device | |
| US7310808B2 (en) | Method of and apparatus for supporting and enabling the selection and mixing of multiple streams of audio/video data from multiple sources within a receiving device allowing external control | |
| CN102572583B (zh) | 一种多媒体播放系统及播放方法 | |
| US7110018B2 (en) | Communication terminal device and control method thereof | |
| WO2008144995A1 (fr) | Dispositif de commande à distance, système multimédia et procédé servant à utiliser un appareil de stockage amovible | |
| JP3912841B2 (ja) | データ通信装置 | |
| KR101480402B1 (ko) | 네트워크에서 오디오/비디오 소스 디바이스들로부터오디오/비디오 싱크 디바이스들로 데이터를 제공하는 방법및 시스템 | |
| US20050013585A1 (en) | Communication apparatus, communication information recording method and memory medium | |
| JP2002186060A (ja) | リモート制御装置、被制御装置、ネットワークリモート制御システム、リモート制御方法、及び記憶媒体 | |
| JP2000181860A (ja) | 分割設置型情報処理システム、情報処理端末およびパーソナルコンピュータ | |
| KR20000057102A (ko) | 데이터 송수신 방법, 전자 기기, 및 데이터 송수신프로그램 공급 매체 | |
| JP4940279B2 (ja) | 中継装置 | |
| JP4652584B2 (ja) | 制御装置、方法およびプログラム | |
| JP3985010B2 (ja) | データ通信装置 | |
| JP2000278294A (ja) | 通信装置及び通信方法 | |
| JP5171880B2 (ja) | 電子機器及びコンピュータ読み取り可能な記憶媒体 | |
| JP2005347953A (ja) | 制御システム、制御装置、及び被制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080130 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100927 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101016 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131022 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4612779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |