JPH07162831A - Control method for video conference communication equipment - Google Patents
Control method for video conference communication equipmentInfo
- Publication number
- JPH07162831A JPH07162831A JP5341054A JP34105493A JPH07162831A JP H07162831 A JPH07162831 A JP H07162831A JP 5341054 A JP5341054 A JP 5341054A JP 34105493 A JP34105493 A JP 34105493A JP H07162831 A JPH07162831 A JP H07162831A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- display
- data
- moving image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、表示全画面中に所定の
小領域画面を形成し、この小領域画面に表示全画面と別
の画像を表示する表示機能を備えたテレビ会議通信装置
の制御方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video conference communication device having a display function of forming a predetermined small area screen in a display full screen and displaying an image different from the display full screen on the small area screen. Regarding control method.
【0002】[0002]
【従来の技術】例えば、CCITT勧告H.320で規
定されているテレビ会議通信機能などを備え、遠隔地間
で映像と音声をやりとりして会議通信を実現するテレビ
会議通信装置が提案されている。とくに、近年では、回
線としてISDNを用いた通信アプリケーションとし
て、テレビ会議通信装置が重要視されており、徐々に普
及しつつある。2. Description of the Related Art For example, CCITT Recommendation H.264. A video conference communication device has been proposed which has a video conference communication function defined by 320 and which realizes conference communication by exchanging video and audio between remote places. In recent years, in particular, as a communication application using ISDN as a line, a video conference communication device has been regarded as important and is gradually becoming popular.
【0003】また、このようなテレビ会議通信装置に
は、表示全画面中に所定の小領域画面を形成し、この小
領域画面に表示全画面と別の画像を表示する表示機能を
備えたものが実用されている。例えで、表示全画面に相
手端末から受信した受信動画像を表示し、小領域画面に
自端末から相手端末に送信している送信動画像を表示す
ると、ユーザは送信動画像の状態を確認しながら受信動
画像を見ることができ、テレビ会議通信セッションを円
滑に実行することができるようになる。Further, such a video conference communication device is provided with a display function of forming a predetermined small area screen in the entire display screen and displaying an image different from the entire display screen on the small area screen. Is in practical use. For example, if the received moving image received from the other terminal is displayed on the entire display screen and the transmitted moving image being transmitted from the own terminal to the other terminal is displayed on the small area screen, the user confirms the state of the transmitted moving image. While receiving the received moving image, the video conference communication session can be smoothly performed.
【0004】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うな従来装置には、次のような不都合を生じていた。However, such a conventional device has the following disadvantages.
【0005】すなわち、表示全画面中に表示する小領域
画面の表示位置は、ユーザが指定し対置、または、装置
固有の位置に設定されるため、表示全画面に表示してい
る画像のうち、小領域画面によって隠される部分に有効
な画像領域(例えば、会話中の人物の顔の部分の画像
や、人物が資料の参照位置を指示している場合の画面の
指示位置など)が含まれているときには、円滑な議事進
行が損なわれるという不都合を生じる。That is, the display position of the small area screen displayed on the full display screen is set by the user so as to be opposed to or set to a position peculiar to the apparatus. Therefore, among the images displayed on the full display screen, A small area contains an effective image area that is hidden by the screen (for example, an image of the face part of a person in conversation or the pointing position of the screen when the person points the reference position of the material). If there is, there is an inconvenience that smooth proceedings are impaired.
【0006】本発明は、かかる実情に鑑みてなされたも
のであり、円滑な議事進行を実現できるテレビ会議通信
装置の制御方法を提供することを目的としている。The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a control method of a video conference communication device capable of realizing smooth proceedings of proceedings.
【0007】[0007]
【課題を解決するための手段】本発明は、表示全画面中
に所定の小領域画面を形成し、この小領域画面に表示全
画面と別の画像を表示する表示機能を備えたテレビ会議
通信装置の制御方法において、小領域画面の表示位置
を、表示全画面に表示している画像の有効情報の表示領
域を避けた部分に設定するようにしたものである。ま
た、前記表示全画面に表示している画像の有効情報は、
その画像の動きベクトル情報に基づいて形成するとよ
い。DISCLOSURE OF THE INVENTION The present invention is a videoconference communication having a display function of forming a predetermined small area screen in a display full screen and displaying an image different from the display full screen on the small area screen. In the control method of the apparatus, the display position of the small area screen is set to a portion avoiding the display area of the effective information of the image displayed on the entire display screen. Also, the valid information of the image displayed on the display full screen is
It may be formed based on the motion vector information of the image.
【0008】また、表示全画面に受信動画像を表示する
とともに、その表示全画面中に所定の小領域画面を形成
し、この小領域画面に送信動画像を表示する表示機能を
備えたテレビ会議通信装置の制御方法において、小領域
画面の表示位置を、表示全画面に表示している受信動画
像の有効情報の表示領域を避けた部分に設定するように
したものである。また、前記受信動画像の有効情報は、
その受信動画像を形成するための受信動画情報を復号化
するときに得られる動きベクトル情報を用いるとよい。In addition, a video conference having a display function of displaying a received moving image on the entire display screen, forming a predetermined small area screen in the entire display screen, and displaying the transmitted moving image on the small area screen. In the control method of the communication device, the display position of the small area screen is set to a portion avoiding the display area of the valid information of the received moving image displayed on the entire display screen. The valid information of the received moving image is
The motion vector information obtained when decoding the received moving image information for forming the received moving image may be used.
【0009】また、表示全画面に送信動画像を表示する
とともに、その表示全画面中に所定の小領域画面を形成
し、この小領域画面に受信動画像を表示する表示機能を
備えたテレビ会議通信装置の制御方法において、小領域
画面の表示位置を、表示全画面に表示している送信動画
像の有効情報の表示領域を避けた部分に設定するように
したものである。また、前記送信動画像の有効情報は、
その送信動画像を符号化圧縮するときに得られる動きベ
クトル情報を用いることができる。Further, a video conference having a display function of displaying a transmission moving image on the entire display screen, forming a predetermined small area screen in the entire display screen, and displaying the receiving moving image on the small area screen. In the control method of the communication device, the display position of the small area screen is set to a portion avoiding the display area of the valid information of the transmission moving image displayed on the entire display screen. Further, the valid information of the transmission moving image is
The motion vector information obtained when the transmitted moving image is encoded and compressed can be used.
【0010】また、テレライティング通信機能を備える
とともに、テレライティング表示全画面中に所定の小領
域画面を形成し、この小領域画面にテレライティング表
示全画面と別の画像を表示する表示機能を備えたテレビ
会議通信装置の制御方法において、小領域画面の表示位
置を、テレライティング表示全画面に表示している画像
の有効情報の表示領域を避けた部分に設定するようにし
たものである。また、前記テレライティング表示全画面
に表示している画像の有効情報は、テレライティング描
画情報に基づいて形成することができる。In addition to the telewriting communication function, a predetermined small area screen is formed in the telewriting display full screen, and a display function for displaying a different image from the telewriting display full screen is provided on the small area screen. In the control method of the video conference communication device, the display position of the small area screen is set to a portion avoiding the effective information display area of the image displayed on the full telewriting display screen. Further, the effective information of the image displayed on the full screen of the telewriting display can be formed based on the telewriting drawing information.
【0011】[0011]
【作用】したがって、表示全画面に表示されている画像
のうち、隠されても影響のない部分に小領域画面が表示
されるため、小領域画面を参照しながらテレビ会議通信
を適切に行うことができ、その議事進行が円滑になる。
また、テレライティング表示全画面に表示されている画
像のうち、隠されても影響のない部分に小領域画面が表
示されるため、テレライティング機能を活用し、かつ、
小領域画面を参照しながらテレビ会議通信を適切に行う
ことができるので、その議事進行が円滑になる。Therefore, the small area screen is displayed in a portion of the image displayed on the entire display screen that is not affected even if it is hidden. Therefore, the video conference communication can be appropriately performed while referring to the small area screen. And the proceedings will be smooth.
Also, of the images displayed on the full screen of the telewriting display, the small area screen is displayed in the part that is not affected even when hidden, so the telewriting function is used and
Since the video conference communication can be appropriately performed while referring to the small area screen, the proceeding of the proceedings becomes smooth.
【0012】[0012]
【実施例】以下、添付図面を参照しながら、本発明の実
施例を詳細に説明する。Embodiments of the present invention will now be described in detail with reference to the accompanying drawings.
【0013】図1は、本発明の一実施例にかかるテレビ
会議通信装置の一例を示している。ここで、このテレビ
会議通信装置は、CCITT勧告H.320で規定され
ているテレビ会議通信機能およびテレライティング通信
機能を備え、また、伝送回線としてISDNを用いるも
のである。FIG. 1 shows an example of a video conference communication device according to an embodiment of the present invention. Here, this video conference communication device is CCITT recommendation H.264. The video conference communication function and the telewriting communication function defined by 320 are provided, and ISDN is used as a transmission line.
【0014】同図において、システム制御部1は、この
テレビ会議通信装置の各部の動作制御、および、情報チ
ャネル(Bチャネル)におけるテレビ会議通信制御手順
処理などの実行するためのものであり、ROM(リード
・オンリ・メモリ)2は、システム制御部1が実行する
制御処理プログラムの一部やこのプログラムを実行する
ときに参照する種々のデータなどを記憶するためのもの
であり、RAM(ランダム・アクセス・メモリ)3は、
システム制御部1のワークエリアなどを構成するもので
ある。In FIG. 1, a system control unit 1 is used to control the operation of each unit of the video conference communication device and to execute a video conference communication control procedure process in the information channel (B channel). The (read only memory) 2 is for storing a part of the control processing program executed by the system control unit 1 and various data referred to when executing this program, and is a RAM (random memory). Access memory) 3
The work area of the system control unit 1 is configured.
【0015】時計回路4は、現在時刻情報を出力するた
めのものであり、画像処理部5は、例えば、画像の縮小
/拡大処理、撮影画面の静止画化処理、静止画像の符号
化/復号化処理(JPEG方式)、画像の統計的処理な
ど、このテレビ会議通信装置が提供する装置機能のため
に必要な種々の画像処理を実行するためのものである。The clock circuit 4 is for outputting the current time information, and the image processing section 5 is, for example, an image reduction / enlargement process, a still image of a photographic screen, and a still image encoding / decoding process. This is for executing various image processes necessary for the device functions provided by the video conference communication device, such as the digitizing process (JPEG system) and the statistical process of images.
【0016】磁気ディスク装置6は、システム制御部1
が実行する他の制御プログラムやアプリケーションプロ
グラムなどのプログラムデータ、または、その他の種々
のデータを保存するためのものであり、操作表示部7
は、このテレビ会議通信装置を操作するためのものであ
り、手書き入力装置8は、テレライティング通信機能の
ための手書き入力および画面の指示(マーカ)を実現す
るためのものであり、静止画入力装置9は、静止画を入
力するためのものであり、例えば、静止画カメラ装置な
どからる。The magnetic disk device 6 includes a system controller 1
The operation display unit 7 is for storing program data such as other control programs and application programs executed by the computer, or other various data.
Is for operating the video conference communication device, and the handwriting input device 8 is for realizing handwriting input and a screen instruction (marker) for the telewriting communication function. The device 9 is for inputting a still image, and comprises, for example, a still image camera device.
【0017】スキャナ10は、所定の解像度で原稿画像
を画像を読取入力するためのものであり、プリンタ11
は、所定の解像度で記録画像を記録出力するためのもの
である。The scanner 10 is for reading and inputting an original image at a predetermined resolution, and the printer 11
Is for recording and outputting a recorded image at a predetermined resolution.
【0018】音声入出力装置12は、相手端末との間で
音声情報をやりとりして、ユーザ間の会話を実現するた
めのものであり、音声CODEC13は、音声入出力装
置12から入力したアナログ音声信号を対応するデジタ
ル音声データに変換するとともに、受信したデジタル音
声データを対応するアナログ音声信号に変換して、音声
入出力装置12に出力するものである。音声制御部14
は、音声入出力装置12の動作を制御するためのもので
ある。The voice input / output device 12 is for exchanging voice information with a partner terminal to realize a conversation between users. The voice CODEC 13 is an analog voice input from the voice input / output device 12. The signal is converted into corresponding digital audio data, the received digital audio data is converted into corresponding analog audio signal, and the analog audio signal is output to the audio input / output device 12. Voice control unit 14
Are for controlling the operation of the voice input / output device 12.
【0019】ビデオカメラ装置15は、自端末側の参加
者などの様子を撮影するものであり、ビデオCODEC
16は、ビデオカメラ装置15から出力されるNTSC
型式のビデオ信号を対応するデジタルデータのビデオデ
ータに変換し、そのビデオデータを所定のCIF形式ま
たはQCIF型式のビデオデータに変換し、さらに、C
CITT勧告H.261の符号化方式で符号化圧縮して
ビデオ情報を形成するとともに、符号化圧縮された状態
のビデオ情報を元のCIFまたはQCIF型式のビデオ
データに変換し、そのビデオデータを対応するアナログ
信号のビデオ信号に変換し、そのビデオ信号をNTSC
型式のビデオ信号に変換するものである。The video camera device 15 is for taking a picture of a participant or the like on the side of the own terminal, and is a video CODEC.
16 is an NTSC output from the video camera device 15.
A video signal of a type is converted to video data of corresponding digital data, the video data is converted to a video data of a predetermined CIF format or QCIF type, and C
CITT Recommendation H.264 In addition to encoding and compressing video information by the encoding method of H.261, the video information in the encoded and compressed state is converted into original CIF or QCIF type video data, and the video data is converted into a corresponding analog signal. Convert to video signal and then convert the video signal to NTSC
It is to be converted into a type video signal.
【0020】このビデオCODEC16によって変換さ
れて形成されたビデオ信号は、表示制御部17に出力さ
れている。また、ビデオカメラ装置15から出力される
ビデオ信号は、表示制御部17にも加えられている。表
示制御部17は、ビデオモニタ装置18の表示画面の内
容を制御するためのものである。また、ビデオカメラ制
御部19は、ビデオカメラ装置15のカメラアングルな
どを制御するためのものである。The video signal converted and formed by the video CODEC 16 is output to the display controller 17. The video signal output from the video camera device 15 is also added to the display controller 17. The display control unit 17 is for controlling the content of the display screen of the video monitor device 18. Further, the video camera control unit 19 is for controlling the camera angle and the like of the video camera device 15.
【0021】ISDNインタフェース制御部20は、こ
のテレビ会議通信装置をISDNに接続するとともに、
レイヤ1の信号処理機能、Dチャネル(信号チャネル)
の信号と2つのBチャネル(情報チャネル)の信号の統
合/分離機能を備えたものである。The ISDN interface control section 20 connects this video conference communication device to ISDN, and
Layer 1 signal processing function, D channel (signal channel)
Signal and two B channel (information channel) signals are integrated / separated.
【0022】Dチャネル伝送制御部21は、信号チャネ
ルで行う呼制御手順機能、および、多重呼制御機能を備
えたものであり、多重化/分離制御装置22は、CCI
TT勧告H.221に準拠したデータ多重化/分離機
能、および、データのフレーム同期機能を備えたもので
あり、その分離側の接続端には、デジタル音声データ、
デジタルビデオデータ、および、汎用データが加えられ
ており、また、多重化側の接続端は、ISDNインタフ
ェース制御部20に接続されている。The D-channel transmission control unit 21 has a call control procedure function performed in a signal channel and a multiplex call control function. The multiplexing / demultiplexing control unit 22 uses the CCI.
TT Recommendation H. 221 is provided with a data multiplexing / separation function conforming to 221 and a data frame synchronization function, and digital audio data,
Digital video data and general-purpose data are added, and the connection end on the multiplexing side is connected to the ISDN interface control unit 20.
【0023】これらのシステム制御部1、ROM2、R
AM3、時計回路4、画像処理部5、磁気ディスク装置
6、操作表示部7、手書き入力装置8、静止画入力装置
9、スキャナ10、プリンタ11、音声CODEC1
3、音声制御部14、ビデオCODEC16、表示制御
部17、ビデオカメラ制御部19、Dチャネル伝送制御
部21、および、多重化/分離装置22は、システムバ
ス23に接続されており、これらの各要素間でのデータ
のやりとりは、主としてこのシステムバス23を介して
行われる。These system control unit 1, ROM 2 and R
AM3, clock circuit 4, image processing unit 5, magnetic disk device 6, operation display unit 7, handwriting input device 8, still image input device 9, scanner 10, printer 11, voice CODEC1
3, the audio control unit 14, the video CODEC 16, the display control unit 17, the video camera control unit 19, the D channel transmission control unit 21, and the multiplexing / demultiplexing device 22 are connected to the system bus 23, and each of them is connected. Data is exchanged between the elements mainly via the system bus 23.
【0024】また、多重化/分離装置22と音声COD
EC13との間で音声データのやりとりが行われ、多重
化/分離装置22とビデオCODEC16との間でビデ
オデータのやりとりが行われている。Also, the multiplexer / demultiplexer 22 and the voice COD
Audio data is exchanged with the EC 13, and video data is exchanged with the multiplexer / demultiplexer 22 and the video CODEC 16.
【0025】さて、CCITT勧告H.320で規定さ
れているテレビ会議通信機能では、ビデオCODEC1
6の符号化方式として、CCITT勧告H.261で規
定されている動画符号化方式を適用する。このCCIT
T勧告H.261の動画符号化方式について、次に説明
する。ここで、動画情報としては、CIFとQCIFの
2種類のフォーマットが定められているが、以下の説明
では、CIFについてのみ記述する。Now, CCITT Recommendation H.264. In the video conference communication function defined by 320, the video CODEC1
As a coding method of CCITT Recommendation H.6. The moving picture coding method defined by H.261 is applied. This CCIT
Recommendation H.T. The moving picture coding method of H.261 will be described next. Here, as the moving image information, two types of formats, CIF and QCIF, are defined, but in the following description, only CIF will be described.
【0026】CIF(Common Intermed
iate Format;共通中間フォーマット)形式
は、動画情報の基本フォーマットであり、このCIF
は、1秒間に29.97フレームの画面を表示し、輝度
成分(Y)については、1つのフレーム(画像フレー
ム)を288ラインで、かつ、1ラインを360画素か
ら構成するとともに、色差成分(Cb,Cr)について
は、1つのフレームを144ラインで、かつ、1ライン
を180画素から構成する。CIF (Common Intermed)
The iate Format (Common Intermediate Format) format is a basic format of moving image information, and is a CIF.
Displays a screen of 29.97 frames per second, and for the luminance component (Y), one frame (image frame) is composed of 288 lines, one line is composed of 360 pixels, and the color difference component ( For Cb and Cr), one frame is made up of 144 lines and one line is made up of 180 pixels.
【0027】そして、そのフレームを、図2(a)に示
すように12個のGOB(Group Of Bloc
k)に分割し、おのおののGOBを、同図(b)に示す
ように、11×3の33個のマクロブロックに分割す
る。Then, the frame is divided into 12 GOBs (Group Of Blocks) as shown in FIG.
k), and each GOB is divided into 33 macroblocks of 11 × 3 as shown in FIG.
【0028】さらに、1つのマクロブロックは、同図
(c)に示すように、輝度成分については、2×2の4
つのブロックに分割するとともに、色差成分については
1×1のブロックに分割する。したがって、輝度成分お
よび色差成分の1つのブロックは、同図(d)に示すよ
うに、それぞれ8画素×8ラインから構成される。Further, as shown in FIG. 7C, one macroblock has 2 × 2 4 pixels for the luminance component.
The color difference component is divided into 1 × 1 blocks. Therefore, each block of the luminance component and the color difference component is composed of 8 pixels × 8 lines, as shown in FIG.
【0029】この動画情報は、上述したようなフレーム
/GOB/マクロブロック/ブロックの階層構造に対応
しており、その一例を図3(a)〜(d)に示す。な
お、以下の説明は、CCITT勧告H.261に対応し
た国内標準であるTTC標準JT−H261に基づいて
いる。This moving picture information corresponds to the hierarchical structure of frame / GOB / macroblock / block as described above, an example of which is shown in FIGS. The following description is based on CCITT Recommendation H.264. It is based on TTC standard JT-H261 which is a domestic standard corresponding to 261.
【0030】まず、1フレームの動画情報は、同図
(a)に示すように、フレームの開始をあらわす所定ビ
ットパターンの20ビットデータからなるフレーム開始
符号PSC、フレームの順序番号をあらわすフレーム番
号TR、1フレーム全体に関する情報をあらわすタイプ
情報PTYPE、拡張用データ挿入情報PEI、予備情
報PSPARE、および、GOBデータからなる。ここ
で、拡張用データ挿入情報PEIは少なくとも1つが含
まれ、予備情報PSPAREは含まれないことがある。
また、フレーム開始符号PSC、フレーム番号TR、タ
イプ情報PTYPE、拡張用データ挿入情報PEI、お
よび、予備情報PSPAREは、フレームヘッダと呼ば
れる。First, the moving picture information of one frame is, as shown in FIG. 9A, a frame start code PSC consisting of 20-bit data of a predetermined bit pattern representing the start of the frame, and a frame number TR representing the sequence number of the frame. 1. Type information PTYPE, which represents information about the entire frame, extension data insertion information PEI, preliminary information PSPARE, and GOB data. Here, the extension data insertion information PEI may include at least one and the preliminary information PSPARE may not be included.
The frame start code PSC, the frame number TR, the type information PTYPE, the extension data insertion information PEI, and the spare information PSPARE are called a frame header.
【0031】GOBデータは、各GOBについて、それ
ぞれ1つが配置される。1つのGOBデータは、同図
(b)に示すように、GOBデータの開始をあらわすG
OB開始符号GBSC、GOBの位置を示すGOB番号
GN、量子化特性の情報を示す量子化特性情報GQUA
NT、拡張用データ領域(予備情報)の有無を示す拡張
用データ挿入情報GEI、予備情報GSPARE、およ
び、マクロブロックデータからなる。ここで、拡張用デ
ータ挿入情報GEIは少なくとも1つが含まれ、予備情
報GSPAREは含まれないことがある。また、GOB
開始符号GBSC、GOB番号GN、量子化特性情報G
QUANT、拡張用データ挿入情報GEI、および、予
備情報GSPAREは、GOBヘッダと呼ばれる。One GOB data is arranged for each GOB. One GOB data indicates the start of GOB data, as shown in FIG.
OB start code GBSC, GOB number GN indicating the position of GOB, and quantization characteristic information GQUA indicating information on the quantization characteristic.
NT, extension data insertion information GEI indicating presence / absence of extension data area (preliminary information), preliminary information GSPARE, and macroblock data. Here, the extension data insertion information GEI may include at least one and the preliminary information GSPARE may not be included. Also, GOB
Start code GBSC, GOB number GN, quantization characteristic information G
QUANT, extension data insertion information GEI, and spare information GSPARE are called GOB headers.
【0032】マクロブロックデータは、各マクロブロッ
クについて、それぞれ1つが配置される。ただし、フレ
ームのその部分に情報がない場合には、伝送されない。One macroblock data is arranged for each macroblock. However, if there is no information in that part of the frame, it will not be transmitted.
【0033】1つのマクロブロックデータは、同図
(c)に示すように、マクロブロックの位置をあらわす
ためのマクロブロックアドレスMBA、マクロブロック
の種別およびどのデータ要素があらわれるのかを表示す
るためのタイプ情報MTYPE、量子化特性をあらわす
量子化特性情報MQUANT、動きベクトル情報MV
D、少なくとも1つの変換係数が伝送されるマクロブロ
ックであることをあらわす有意ブロックパターンCB
P、および、ブロックデータからなる。ここで、量子化
特性MQUANT、動きベクトル情報MVDおよび有意
ブロックパターンCBPは、タイプ情報MTYPEで指
示されたときにあらわれる。また、マクロブロックアド
レスMBA、タイプ情報MTYPE、量子化特性情報M
QUANT、動きベクトル情報MVD、および、有意ブ
ロックパターンCBPは、マクロブロックヘッダ呼ばれ
る。One macroblock data is, as shown in FIG. 3C, a macroblock address MBA for indicating the position of the macroblock, a type of the macroblock, and a type for indicating which data element appears. Information MTYPE, quantization characteristic information MQUANT representing the quantization characteristic, motion vector information MV
D, a significant block pattern CB representing that it is a macroblock in which at least one transform coefficient is transmitted
It consists of P and block data. Here, the quantization characteristic MQUANT, the motion vector information MVD, and the significant block pattern CBP appear when instructed by the type information MTYPE. Also, the macro block address MBA, the type information MTYPE, the quantization characteristic information M
QUANT, motion vector information MVD, and significant block pattern CBP are called macroblock headers.
【0034】ブロックデータは、同図(d)に示すよう
に、例えば、そのブロックの画像データをDCT(離散
コサイン変換)処理して得られた変換係数データをあら
わす変換係数TCOEFF、および、ブロックの終了を
あらわすブロック終了符号EOBからなる。As shown in FIG. 3D, the block data includes, for example, a transform coefficient TCOEFF representing transform coefficient data obtained by DCT (discrete cosine transform) processing of image data of the block, and a block coefficient. It is composed of a block end code EOB indicating the end.
【0035】ここで、この実施例では、ビデオモニタ装
置18およびビデオカメラ装置15として、それぞれN
TSC(National TV System Co
mmitee)方式のものを用いているので、ビデオC
ODEC16は、例えば、図4に示したように構成され
る。In this embodiment, the video monitor device 18 and the video camera device 15 are N
TSC (National TV System Co)
The video C
The ODEC 16 is configured, for example, as shown in FIG.
【0036】同図において、NTSC/CIF変換部2
5は、ビデオカメラ装置15からのビデオ撮影信号VV
を、上述したNTSC形式の信号からCIF形式の信号
に変換するものであり、その出力は、信号VCとして符
号化処理部26に加えられている。In the figure, the NTSC / CIF converter 2
5 is a video shooting signal VV from the video camera device 15.
Is converted from the above-mentioned NTSC format signal into a CIF format signal, and its output is added to the encoding processing unit 26 as a signal VC.
【0037】符号化処理部26は、入力した信号VCに
ついて、TTC標準JT−H.261に規定されている
画像符号化方式の符号化処理を適用するものであり、そ
の出力のうち、符号部分は信号SVとして誤り訂正符号
化部27に出力されるとともに、所定領域のマクロブロ
ック単位に算出される動きベクトルの値をあらわす信号
は、送信動きベクトル信号Smcとして、システムバス
28を介してシステム制御部1に出力されている。The encoding processing unit 26 receives the input signal VC from the TTC standard JT-H. In this case, the coding process of the image coding system defined in H.261 is applied, and the code portion of the output is output to the error correction coding unit 27 as the signal SV, and at the same time, in macroblock units of a predetermined area. The signal representing the value of the motion vector calculated in (1) is output to the system control unit 1 via the system bus 28 as the transmission motion vector signal Smc.
【0038】誤り訂正符号化部27は、信号SVをバッ
ファリングするとともに、例えば、(511,493)
BCHなどの所定の誤り訂正符号を付加した形式に信号
SVを変換するものであり、その出力は、送信映像信号
SVaとして多重化/分離装置22に出力される。The error correction coding unit 27 buffers the signal SV and, for example, (511,493)
The signal SV is converted into a format in which a predetermined error correction code such as BCH is added, and its output is output to the multiplexer / demultiplexer 22 as a transmission video signal SVa.
【0039】また、誤り訂正復号化部28は、多重化/
分離装置22から入力される受信映像信号RVaをバッ
ファリングするとともに、所定の誤り訂正復号化処理を
適用するものであり、その処理結果は、復号化受信映像
信号RVとして復号化処理部29に加えられている。Further, the error correction decoding unit 28 performs multiplexing / decoding.
The received video signal RVa input from the separation device 22 is buffered and a predetermined error correction decoding process is applied. The processing result is added to the decoding processing unit 29 as the decoded reception video signal RV. Has been.
【0040】復号化処理部29は、入力した復号化受信
映像信号RVについて、上述した画像符号化方式の復号
化処理を適用するものであり、その出力は、信号VRと
してCIF/NTSC変換部30に加えられている。ま
た、復号化処理部29により、所定領域のマクロブロッ
ク単位に算出される動きベクトルの値をあらわす信号
は、受信動きベクトル信号Rmcとして、システムバス
28を介してシステム制御部1に出力されている。The decoding processing section 29 applies the decoding processing of the above-mentioned image coding method to the input decoded reception video signal RV, and the output thereof is the CIF / NTSC conversion section 30 as the signal VR. Has been added to. A signal representing the value of the motion vector calculated by the decoding processing unit 29 in units of macroblocks in a predetermined area is output to the system control unit 1 via the system bus 28 as a reception motion vector signal Rmc. .
【0041】CIF/NTSC変換部30は、入力した
CIF形式の信号VRをNTSC形式の信号に変換する
ものであり、その変換出力は、信号VMとして表示制御
部17に加えられている。The CIF / NTSC converter 30 converts the input CIF format signal VR into an NTSC format signal, and the converted output is added to the display controller 17 as a signal VM.
【0042】さて、このテレビ会議通信装置では、Bチ
ャネルにおいては、CCITT勧告H.221で規定さ
れるマルチフレーム形式でデータをやりとりする。In this video conference communication device, CCITT Recommendation H.264 is used for the B channel. Data is exchanged in the multi-frame format defined by 221.
【0043】図5に示すように、1つのマルチフレーム
MFLは、8個のサブマルチフレームSMF1〜SMF
8からなり、おのおののサブマルチフレームSMF1〜
SMF8は、それぞれ2つのフレームから構成されてい
る。すなわち、1つのマルチフレームMFLは、16個
のフレームFLM0〜FLM15からなる。As shown in FIG. 5, one multi-frame MFL includes eight sub-multi-frames SMF1 to SMF.
8 sub-multiframes SMF1 to 8
Each SMF 8 is composed of two frames. That is, one multi-frame MFL is composed of 16 frames FLM0 to FLM15.
【0044】それぞれのフレームFLM0〜FLM15
は、図6に示すように、80オクテットのデータからな
り、それらのオクテットをビット順に配置したそれぞれ
のビット位置は、サブチャネルSCH1〜SCH8を構
成している。Each frame FLM0 to FLM15
As shown in FIG. 6, each octet is composed of data of 80 octets, and the bit positions in which these octets are arranged in bit order form subchannels SCH1 to SCH8.
【0045】また、第1オクテット〜第8オクテットの
第8ビットは、フレーム同期信号(Frame Ali
gnment Signal)FASを構成し、第9オ
クテット〜第16オクテットの第8ビットは、ビットレ
ート割当信号(Bit rate Allocatio
n Signal)BASを構成する。また、サブチャ
ネルSCH8の第17オクテット〜第80オクテットの
第8ビットの部分には、その一部に、データを暗号化す
るためのキー情報などをやりとりするための暗号チャネ
ルのデータがセットされることがある(オプション)。The 8th bit of the 1st octet to the 8th octet is the frame synchronization signal (Frame Ali).
The 8th bit of the 9th octet to the 16th octet constitutes a bit rate allocation signal (Bit rate Allocatio).
n Signal) BAS. Further, in the portion of the 8th bit of the 17th octet to the 80th octet of the sub-channel SCH8, the data of the encryption channel for exchanging key information for encrypting the data is set in a part thereof. Sometimes (optional).
【0046】このようにして、フレーム同期信号FAS
は、1つのフレームFLM0〜FLM15に8ビット配
置されており、そのビット割り当ては、図7に示すよう
に、マルチフレームMFLを単位として構成されてい
る。In this way, the frame synchronization signal FAS
8 bits are arranged in one frame FLM0 to FLM15, and the bit allocation is configured in units of multi-frame MFL as shown in FIG.
【0047】すなわち、偶数フレームFLM0,FLM
2,…,FLM14の第2オクテット〜第8オクテット
と、それに続く奇数フレームFLM1,FLM3,…,
FLM15には、「00110111」なる8ビットの
データパターンからなる水平同期信号が配置され、奇数
フレームFLM1,FLM3,…,FLM11の第1オ
クテットには、「001011」なる6ビットのデータ
パターンからなる垂直同期信号が配置されている。That is, even frames FLM0, FLM
2, ..., The second to eighth octets of the FLM 14, and the odd frames FLM1, FLM3 ,.
A horizontal synchronization signal composed of an 8-bit data pattern "001101111" is arranged in the FLM 15, and a vertical synchronization composed of a 6-bit data pattern "001011" is arranged in the first octet of the odd-numbered frames FLM1, FLM3, ..., FLM11. A sync signal is placed.
【0048】この水平同期信号と垂直同期信号を検出す
ることにより、1つのマルチフレームMFLの同期を検
出することができる。By detecting the horizontal synchronizing signal and the vertical synchronizing signal, the synchronization of one multi-frame MFL can be detected.
【0049】また、第0フレーム、第2フレーム、第4
フレーム、第6フレームおよび第8フレームの第1オク
テットのビットN1,N2,N3,N4,N5は、マル
チフレーム番号の表示に用いられる。このうち、ビット
N5は、マルチフレーム番号が使用されているか否かの
表示に用いられる。このように、マルチフレーム番号の
ために使用されるデータが4ビットなので、マルチフレ
ーム番号は0〜15までの値で降順に変化し、16マル
チフレーム毎に同じマルチフレーム番号があらわれる。The 0th frame, the 2nd frame, the 4th frame
Bits N1, N2, N3, N4, N5 of the first octet of the frame, the sixth frame and the eighth frame are used to indicate the multi-frame number. Of these, the bit N5 is used to indicate whether or not the multiframe number is used. In this way, since the data used for the multi-frame number is 4 bits, the multi-frame number changes in descending order with a value of 0 to 15, and the same multi-frame number appears every 16 multi-frames.
【0050】また、第10フレーム、第12フレーム、
および、第13フレームの第1オクテットのビットL
1,L2,L3は、現在使用されている情報チャネルの
うち、そのフレームを運んでいる情報チャネルの接続さ
れた順番をあらわすコネクション番号を表示するために
用いられる。また、第15フレームの第1オクテットの
ビットRは、将来の勧告のために確保(予約)されてお
り、通常は、0がセットされる。The tenth frame, the twelfth frame,
And bit L of the 1st octet of the 13th frame
1, L2, L3 are used to display the connection number indicating the order in which the information channels carrying the frame among the currently used information channels are connected. The bit R of the first octet of the fifteenth frame is reserved (reserved) for future recommendation and is normally set to 0.
【0051】また、第14フレームの第1オクテットの
ビットTEAは、データ端末装置の内部的な障害によ
り、データ伝送できない状態であることを表示するため
に用いられる。The bit TEA of the first octet of the 14th frame is used to indicate that data transmission is impossible due to an internal failure of the data terminal device.
【0052】また、奇数フレームFLM1,FLM3,
…,FLM15の第3オクテットのビットAは、フレー
ム同期またはマルチフレーム同期が確立しているか、あ
るいは、同期はずれを生じているかを表示するために用
いられる。Also, odd-numbered frames FLM1, FLM3
.., bit A of the third octet of the FLM 15 is used to indicate whether frame synchronization or multi-frame synchronization is established or out of synchronization.
【0053】また、奇数フレームFLM1,FLM3,
…,FLM15の第5オクテット、第6オクテット、第
7オクテット、および、第8オクテットのビットC1,
C2,C3,C4は、連続した2つのフレーム(すなわ
ち、サブマルチフレーム)のデータエラー検出(すなわ
ち、伝送路品質検出)のために参照されるCRC(巡回
冗長検査)符号を表示するためのものであり、この奇数
フレームFLM1,FLM3,…,FM15の第4オク
テットのビットEは、受信側で伝送エラーを検出したこ
とを表示するために用いられる。Also, odd-numbered frames FLM1, FLM3
..., bit C1 of the fifth octet, sixth octet, seventh octet, and eighth octet of FLM15
C2, C3 and C4 are for displaying a CRC (Cyclic Redundancy Check) code that is referred to for data error detection (that is, channel quality detection) of two consecutive frames (that is, sub-multiframe). , And the bit E of the fourth octet of the odd frames FLM1, FLM3, ..., FM15 is used to indicate that a transmission error has been detected on the receiving side.
【0054】また、ビットレート割当信号BASは、図
8に示すように、偶数フレームFLM0,FLM2,
…,FLM14では、能力BASあるいはBASコマン
ドをあらわす8ビットデータが配置され、それに続く奇
数フレームFLM1,FLM3,…,FLM15には、
直前のフレームで送出した能力BASあるいはBASコ
マンドの値を誤り訂正するための二重誤り訂正符号が配
置される。The bit rate allocation signal BAS is, as shown in FIG. 8, even-numbered frames FLM0, FLM2,
.., FLM14, 8-bit data representing the capability BAS or BAS command is arranged, and in the subsequent odd numbered frames FLM1, FLM3 ,.
A double error correction code for error correcting the value of the capability BAS or BAS command transmitted in the immediately preceding frame is arranged.
【0055】また、マルチフレームMFLのデータの送
信は、フレーム番号順に行なわれ、おのおののフレーム
FLM0〜FLM15は、図9に示すように、第1オク
テットから第80オクテットのオクテット順序に送出さ
れ、それぞれのオクテットは、第1ビットが最初に送出
される。The multi-frame MFL data is transmitted in the order of frame numbers, and each of the frames FLM0 to FLM15 is transmitted in the octet order from the first octet to the 80th octet, as shown in FIG. The first bit of the octet is sent first.
【0056】すなわち、おのおののフレームFLM0〜
FLM15においては、第1オクテットの第1ビットが
最初に送出され、第80オクテットの第8ビットが最後
に送出される。That is, each frame FLM0 to FLM0
In the FLM 15, the first bit of the first octet is transmitted first and the eighth bit of the 80th octet is transmitted last.
【0057】また、このテレビ会議通信装置では、通
常、2つの情報チャネルを用いて、データ伝送を行って
おり、そのときの伝送手順の一例を図10に示す。な
お、この伝送手順は、CCITT勧告H.242、およ
び、CCITT勧告H.320に従う。Also, in this video conference communication device, data transmission is normally performed using two information channels, and an example of the transmission procedure at that time is shown in FIG. Note that this transmission procedure is based on CCITT Recommendation H.264. 242 and CCITT Recommendation H.264. Follow 320.
【0058】まず、発呼端末が宛先端末を発呼して信号
チャネル上で呼設定手順を行い、1つの情報チャネル
(以下、第1チャネルという)を確保し(フェーズ
A)、その設定した第1チャネル上でPCM音声データ
(A則またはμ則、64Kbps)をセットしたフレー
ムデータをやりとりしながらフレーム同期を行ない(フ
レームモード)、フレーム同期が確立すると、相互に能
力BASデータおよびコマンドBASデータをやりとり
し(フェーズB1−1)、そのときに使用する伝送モー
ドを決定して、2つ目の情報チャネルを確保するための
付加呼設定要求を開始する(フェーズB1−2)。First, the calling terminal calls the destination terminal and performs a call setup procedure on the signaling channel to secure one information channel (hereinafter referred to as the first channel) (Phase A). Frame synchronization is performed while exchanging frame data in which PCM audio data (A-law or μ-law, 64 Kbps) is set on one channel (frame mode). When frame synchronization is established, the capability BAS data and command BAS data are mutually exchanged. Exchanges (phase B1-1), decides a transmission mode to be used at that time, and initiates an additional call setup request for securing the second information channel (phase B1-2).
【0059】そして、伝送モードをそのときに相互に交
換した内容から互いに共通で最も機能の高いモードを選
択し(フェーズB1−3)、発呼端末からその選択した
動作モードで着呼端末に機能を動作させるよう端末機能
を指定するBASコマンドを送信して、発呼端末と着呼
端末の装置機能に共通するパラメータを設定する(フェ
ーズB2)。これにより、第1チャネルでは、そのとき
に選択した伝送モードに対応した、例えば、音声データ
(16Kbps)のデータ伝送、および、動画像データ
(46.4Kbps)のデータ伝送が行われる(フェー
ズC)。Then, from the contents of the exchange of the transmission modes at that time, the common and highest function mode is selected (phase B1-3), and the calling terminal functions as the called terminal in the selected operation mode. A BAS command for designating a terminal function is operated to operate, and parameters common to the device functions of the calling terminal and the called terminal are set (phase B2). Thereby, in the first channel, for example, data transmission of audio data (16 Kbps) and data transmission of moving image data (46.4 Kbps) corresponding to the transmission mode selected at that time are performed (phase C). .
【0060】第1チャネルがフレームモードでデータ伝
送を開始すると、2つ目の情報チャネル(以下、第2チ
ャネルという)について信号チャネル上で呼設定手順を
行い(フェーズCA)、第2チャネルが確立すると、第
2チャネルを使ってフレーム同期信号FASおよびビッ
ト割当信号BASのみを含むフレームデータをやりとり
してフレーム同期およびマルチフレーム同期を確立し
(フェーズCB1−11)、次いで、第1チャネルと第
2チャネル間の同期を確立する(フェーズCB1−1
2)。When the first channel starts data transmission in the frame mode, the call setup procedure is performed on the signaling channel for the second information channel (hereinafter referred to as the second channel) (phase CA), and the second channel is established. Then, frame data including only the frame synchronization signal FAS and the bit allocation signal BAS is exchanged using the second channel to establish frame synchronization and multi-frame synchronization (phase CB1-11), and then the first channel and the second channel. Establish synchronization between channels (Phase CB1-1
2).
【0061】2つの情報チャネルの同期が完了すると、
発呼端末側からBASコマンドを送出して伝送モードを
設定し(フェーズCB1−2)、その設定した内容に伝
送モードを切換え(フェーズCB1−3)、共通パラメ
ータを設定する(フェーズCB3)。When the synchronization of the two information channels is completed,
The BAS command is sent from the calling terminal side to set the transmission mode (phase CB1-2), the transmission mode is switched to the set contents (phase CB1-3), and the common parameter is set (phase CB3).
【0062】このようにして、第2チャネルの初期化が
終了すると、それ以降は、第1チャネルでやりとりする
フレームデータ、および、第2チャネルでやりとりする
フレームデータが同期された状態で、例えば、2つの情
報チャネルを用いて、音声データ、動画データ、およ
び、汎用データが、それぞれ56Kbps,62.4K
bps、および、6.4Kbpsの伝送速度が割り当て
られてデータ伝送される(図11参照)。In this way, when the initialization of the second channel is completed, after that, the frame data exchanged in the first channel and the frame data exchanged in the second channel are synchronized, for example, Audio data, moving image data, and general-purpose data are 56 Kbps and 62.4 K, respectively, using two information channels.
Data transmission is performed by allocating the transmission rate of bps and 6.4 Kbps (see FIG. 11).
【0063】このようなデータ伝送を終了するときに
は、まず、第2チャネルから切断する。このとき、第1
チャネルのみで行なう音声データ伝送のために、共通モ
ードを設定するための手順が行われて(フェーズCD
1)、第2チャネルはフレームモードのモード0Fへの
モード切換えが行われる(フェーズCD2)。このとき
には、第1チャネルと第2チャネルが非同期であり、か
つ、第2チャネルではフレーム同期信号FASとビット
割当信号BASのみの伝送状態で呼が保持されている状
態であり、信号チャネルの呼切断解放手順により第2チ
ャネルの呼を解放できる状態になっている。To end such data transmission, first, the second channel is disconnected. At this time, the first
For voice data transmission on the channel only, the procedure for setting the common mode is performed (Phase CD
1), the mode of the second channel is switched to the mode 0F of the frame mode (phase CD2). At this time, the first channel and the second channel are asynchronous, and the second channel is in a state where the call is held in the transmission state of only the frame synchronization signal FAS and the bit allocation signal BAS, and the call disconnection of the signal channel is performed. The call for the second channel can be released by the release procedure.
【0064】また、第1チャネルでは、フェーズCD1
およびフェーズCD2の間、フレームモードで、例え
ば、音声データと動画データが合計62.4Kbpsの
伝送速度で伝送されており、さらに、一方の端末のオペ
レータが通話終了する場合は動画データの伝送を終了
し、この動画データの伝送容量を含めて、全ての第1チ
ャネルの伝送容量を音声伝送に使用するためにモード0
Fに切り換え(フェーズD2)、この後、信号チャネル
の呼切断解放手順により第1チャネルの呼を解放できる
状態になっている。In the first channel, phase CD1
During phase CD2, in the frame mode, for example, voice data and moving image data are transmitted at a total transmission rate of 62.4 Kbps, and when the operator of one terminal ends the call, the transmission of the moving image data is ended. However, in order to use the transmission capacity of all the first channels including the transmission capacity of this moving image data for audio transmission, mode 0
After switching to F (Phase D2), the call of the first channel can be released by the call disconnection release procedure of the signaling channel.
【0065】これにより、第1チャネルおよび第2チャ
ネルについて、信号チャネル上で呼切断解放手順が実行
されて(フェーズE)、2つの端末間のテレビ会議通信
が終了する。As a result, the call disconnection release procedure is executed on the signaling channel for the first channel and the second channel (phase E), and the video conference communication between the two terminals is completed.
【0066】このように、テレビ会議通信装置では、最
初に1つの情報チャネル(第1チャネル)を確保してフ
レームモードを確立した後に、この第1チャネルで音声
データと動画データの伝送速度の割り当てを行なって過
渡的なモードでデータ伝送を行ないつつ、同時に互いに
2つ目の情報チャネル(第2チャネル)の設定が可能な
らば、信号チャネルの呼設定手順により第2チャネルを
確保する。そして、過渡的なモードで伝送している第1
チャネルと、新たに確保した第2チャネルをチャネル同
期させ、そのチャネル同期が確立した時点で、音声デー
タと動画データの伝送速度の割り当てを再設定し、増大
した情報チャネルの伝送容量を活用するために、音声デ
ータおよび動画データの符号化則(符号化方式)を変更
して、より高品質な音声データおよび動画データのやり
とりを行なうようにしている。As described above, in the video conference communication device, first, one information channel (first channel) is secured and the frame mode is established, and then the transmission rates of the audio data and the moving image data are assigned to the first channel. If the second information channel (second channel) can be set at the same time while performing the data transmission in the transient mode, the second channel is secured by the call setting procedure of the signal channel. And the first transmitting in the transient mode
In order to utilize the increased transmission capacity of the information channel by synchronizing the channel with the newly secured second channel and resetting the allocation of the transmission rate of audio data and video data when the channel synchronization is established. In addition, the encoding rules (encoding method) of audio data and moving image data are changed so that higher quality audio data and moving image data can be exchanged.
【0067】また、データ伝送を終了するときには、い
ったん、第1チャネルと第2チャネルの両方を同期させ
た伝送路を使用していたモードから、第1チャネルだけ
を使用するモードへ変更する必要がある。そこで、この
場合では、まず、音声データおよび動画データの各符号
化則を、第1チャネルの62.4Kbpsの伝送容量に
最適化する方式に設定して第1チャネルのみの伝送モー
ドに変更する一方、第2チャネルでは、第1チャネルと
の同期状態を停止するとともに、ユーザデータが空き伝
送状態になっているモード0Fに移行した後に、信号チ
ャネルの呼切断解放手順を実行して、呼を切断/解放す
る。また、第1チャネルは、音声データと動画データの
2種類のメディア伝送から、音声データだけの伝送モー
ドであるモード0Fへ変更した後、信号チャネルの呼切
断解放手順により、呼を切断/解放する。なお、第1チ
ャネルは、音声データと動画データの2種類のメディア
伝送へモードを切り換えずに、モード0Fへ直接モード
変更した後に、呼切断/解放することもできる。また、
呼切断解放手順で得た課金情報などは、チャネル毎に管
理する。Further, when the data transmission is completed, it is necessary to temporarily change the mode in which the transmission path in which both the first channel and the second channel are synchronized is used to the mode in which only the first channel is used. is there. Therefore, in this case, first, the encoding rules of the audio data and the moving image data are set to a method that optimizes the transmission capacity of the first channel of 62.4 Kbps, and the transmission mode of only the first channel is changed. , In the second channel, the state of synchronization with the first channel is stopped, and after transitioning to mode 0F in which user data is in an idle transmission state, the call disconnection release procedure of the signal channel is executed to disconnect the call. /release. Also, the first channel disconnects / releases the call by the call disconnection release procedure of the signal channel after changing from two types of media transmission of audio data and moving image data to mode 0F which is a transmission mode of only audio data. . The first channel can also be disconnected / released after the mode is directly changed to the mode 0F without switching the mode to the two types of media transmission of the audio data and the moving image data. Also,
The billing information obtained in the call disconnection / release procedure is managed for each channel.
【0068】さて、この実施例では、図12に示すよう
に、ビデオモニタ装置18の表示画面に、小さな画面を
重ねて表示する画面内画面表示機能を備えている。ここ
で、表示画面の全面を占める画面を親画面PPと称し、
また、この親画面PPに重ねて表示される小さな画面を
子画面PCと称す。Now, in this embodiment, as shown in FIG. 12, an in-screen screen display function for displaying a small screen on the display screen of the video monitor device 18 is provided. Here, a screen that occupies the entire display screen is referred to as a parent screen PP,
Further, a small screen displayed on the parent screen PP is referred to as a child screen PC.
【0069】この子画面PCは、例えば、図13に示す
ように、親画面PPの4ヶ所に設定された表示位置PL
1,PL2,PL3,PL4のいずれか1つに表示され
る。子画面PCの表示位置は、基本的には、ユーザによ
り指定されるが、本実施例では、親画面PPに表示され
ている画像の有効な部分をなるべく隠さない位置に、子
画面PCを自動的に移動する動作モードを備えている。This child screen PC is, for example, as shown in FIG. 13, a display position PL set at four positions on the parent screen PP.
It is displayed on any one of 1, PL2, PL3 and PL4. The display position of the child screen PC is basically designated by the user, but in the present embodiment, the child screen PC is automatically placed at a position where the effective portion of the image displayed on the parent screen PP is not hidden. It is equipped with an operating mode that moves automatically.
【0070】ここで、親画面PPと子画面PCの画像合
成について説明する。この画像合成処理は、表示制御部
17によって実行される。The image composition of the parent screen PP and the child screen PC will now be described. This image synthesizing process is executed by the display control unit 17.
【0071】表示制御部17は、内部的に仮想画面を構
成し、その仮想画面に対応した仮想画像メモリを図14
(a)に示したように設定する。この仮想画像メモリ
は、RAM3の所定領域に設定される。The display control unit 17 internally forms a virtual screen, and stores a virtual image memory corresponding to the virtual screen in FIG.
Set as shown in (a). This virtual image memory is set in a predetermined area of the RAM 3.
【0072】仮想画像メモリには、ビデオモニタ装置1
8の親画面PPに表示する表示データを保存するための
領域VP、子画面PCに表示する表示データを保存する
ためのダブルバッファを構成する領域VCa,VCbが
形成される。この場合、領域VCa,VCbに保存され
る表示データは、元の画面から等倍に画像を切り取った
状態(クリッピング)の表示データ、または、元の画面
を縮小した状態の表示データのいずれかが用いられる。
また、領域VCa,VCbに保存される表示データの種
別の選択は、ユーザの設定により、適宜に行われる。In the virtual image memory, the video monitor device 1
A region VP for storing the display data displayed on the parent screen PP of 8 and regions VCa, VCb forming a double buffer for storing the display data displayed on the child screen PC are formed. In this case, the display data stored in the areas VCa and VCb is either display data in a state in which an image is cut out from the original screen at the same size (clipping) or display data in a state in which the original screen is reduced. Used.
Further, the selection of the type of the display data stored in the areas VCa and VCb is appropriately performed according to the user setting.
【0073】ここで、子画面PCの表示データは、領域
VCaと領域VCbにフレーム単位に交互に書き込ま
れ、領域VCa,VCbのうち、そのときに表示データ
が書き込まれていない領域から読み出された表示データ
が、領域VPから読み出された表示データと合成され
る。Here, the display data of the child screen PC is alternately written in the area VCa and the area VCb in frame units, and is read from the area VCa, VCb in which the display data is not written at that time. The displayed display data is combined with the display data read from the area VP.
【0074】この合成方法は、例えば、領域VPに対す
る表示データの書き込み位置APと、領域VPからの表
示データの読み出し位置BPが、同図(b)に示すよう
な関係にあって、かつ、領域VCaから子画面PCのデ
ータを読み出すとき、領域VPからの読み出し位置BP
が、子画面PCの合成位置に対応した領域に含まれる状
態になったときには、同図(c)に示したように、読み
出し位置BPを領域VCaの対応した位置に移動して、
領域VCaから表示データを読み出す。In this synthesizing method, for example, the display data writing position AP to the area VP and the display data reading position BP from the area VP have a relationship as shown in FIG. When reading the data of the small screen PC from VCa, the read position BP from the area VP
However, when it is in a state of being included in the area corresponding to the composite position of the child screen PC, as shown in FIG. 7C, the read position BP is moved to the corresponding position of the area VCa,
Display data is read from the area VCa.
【0075】これにより、親画面PPに子画面PCを重
ね合わせた画面(図12参照)が、ビデオモニタ装置1
8に表示される。As a result, the screen in which the child screen PC is superimposed on the parent screen PP (see FIG. 12) is displayed on the video monitor device 1.
8 is displayed.
【0076】さて、親画面PPに表示している画像の有
効領域に子画面PCが合成されると、発言者の意図が分
からなくなったり、指示している資料が隠されたりする
ので、議事進行上の妨げとなる。Now, when the child screen PC is combined with the effective area of the image displayed on the parent screen PP, the intention of the speaker is lost and the instructed material is hidden. Hinders the top.
【0077】そこで、本実施例では、親画面PPの表示
内容が変化している画像部分(動画像部分)はそのとき
の画像の有効領域であると判断して、その有効領域から
なるべく外れた部分に子画面PCを表示するようにして
いる。なお、この場合の子画面PCの表示位置は、図1
3に示した表示位置PL1,PL2,PL3,PL4の
4ヶ所のうち1つである。Therefore, in this embodiment, it is determined that the image portion (moving image portion) in which the display content of the main screen PP is changed is the effective area of the image at that time, and it is deviated from the effective area as much as possible. The small screen PC is displayed on the part. The display position of the child screen PC in this case is as shown in FIG.
This is one of the four display positions PL1, PL2, PL3, PL4 shown in FIG.
【0078】この有効領域の判断は、例えば、親画面P
Pが受信画像である場合、ビデオCODEC16から出
力される受信動きベクトル信号Rmcを用いる。この受
信動きベクトル信号Rmcは、図15に示すように、1
画面を横11×縦9に分割した領域単位(4×4のマク
ロブロック単位に相当する)に、1つが得られるから、
おのおのの表示位置PL1,PL2,PL3,PL4に
相当する領域から得られた複数の受信ベクトル信号Rm
cの絶対値(スカラ)の総和を算出し、その総和に所定
の係数を乗じておのおのの表示位置PL1,PL2,P
L3,PL4の評価値を算出し、その評価値が最も小さ
い表示位置PL1,PL2,PL3,PL4を、子画面
PCの表示位置として判定する。The judgment of the effective area is made by, for example, the parent screen P.
When P is a received image, the received motion vector signal Rmc output from the video CODEC 16 is used. This reception motion vector signal Rmc is 1 as shown in FIG.
One can be obtained for each area unit (corresponding to a 4 × 4 macroblock unit) obtained by dividing the screen into 11 × 9 screen areas.
A plurality of reception vector signals Rm obtained from areas corresponding to the respective display positions PL1, PL2, PL3, PL4
The sum of the absolute values (scalar) of c is calculated, and the sum is multiplied by a predetermined coefficient to display positions PL1, PL2, P.
The evaluation values of L3 and PL4 are calculated, and the display positions PL1, PL2, PL3 and PL4 having the smallest evaluation values are determined as the display positions of the child screen PC.
【0079】ところで、テレライティング通信機能を利
用しているとき、親画面PPに子画面PCを合成してい
るときには、ビデオモニタ装置18の表示画面には、図
16に示したような画面が表示される。この場合、親画
面PPには、テレライティング画面が表示され、子画面
PCには受信動画像が表示されている。By the way, when the telewriting communication function is used and the child screen PC is combined with the parent screen PP, the screen as shown in FIG. 16 is displayed on the display screen of the video monitor device 18. To be done. In this case, a telewriting screen is displayed on the parent screen PP, and a received moving image is displayed on the child screen PC.
【0080】この場合には、表示制御部17は、図17
に示したように、仮想画面に対応した仮想画像メモリを
設定する。In this case, the display control unit 17 displays the information shown in FIG.
As shown in, the virtual image memory corresponding to the virtual screen is set.
【0081】すなわち、仮想画像メモリには、ビデオモ
ニタ装置18の親画面PPに表示する表示データを保存
するための領域VP、子画面PCに表示する表示データ
を保存するためのダブルバッファを構成する領域VC
a,VCbの他に、テレライティング通信機能の描画デ
ータおよびマーカ(画面指示子)の表示データを保存す
るための領域VTが形成される。That is, in the virtual image memory, an area VP for storing the display data displayed on the parent screen PP of the video monitor device 18 and a double buffer for storing the display data displayed on the child screen PC are formed. Area VC
In addition to a and VCb, a region VT for storing drawing data of the telewriting communication function and display data of the marker (screen indicator) is formed.
【0082】この場合の画像の合成方法は、例えば、領
域VPに対する表示データの書き込み位置APと、領域
VPからの表示データの読み出し位置BP、および、領
域VTからの読み出し位置CPが、図18(a)に示す
ような関係にあるとき、領域VPからの読み出し位置B
Pが、描画データの座標に一致するときには、同図
(b)に示すように、領域VTからデータを読み出す。
また、読み出し位置BPが子画面PCの合成位置に対応
した領域に含まれる状態になったときには、上述と同様
に、読み出し位置BPを領域VCaの対応した位置に移
動して、領域VCaから表示データを読み出す。In the image synthesizing method in this case, for example, the display data writing position AP to the region VP, the display data reading position BP from the region VP, and the reading position CP from the region VT are shown in FIG. When the relationship is as shown in a), the read position B from the area VP
When P coincides with the coordinates of the drawing data, the data is read from the area VT as shown in FIG.
Further, when the read position BP is in a state of being included in the area corresponding to the composite position of the small screen PC, the read position BP is moved to the position corresponding to the area VCa to display data from the area VCa in the same manner as described above. Read out.
【0083】これにより、テレライティング画面の親画
面PPに子画面PCを重ね合わせた画面(図16参照)
が、ビデオモニタ装置18に表示される。As a result, a screen in which the child screen PC is superimposed on the parent screen PP of the telewriting screen (see FIG. 16)
Is displayed on the video monitor device 18.
【0084】さて、この場合に、テレライティング画面
の描画位置を子画面PCが隠すと、テレライティング通
信に支障を来す。そこで、本実施例では、描画データが
含まれている表示位置PL1,PL2,PL3,PL4
を除いた部分に、子画面PCを表示することで、テレラ
イティング画面の描画位置を子画面PCが隠すような事
態を回避している。In this case, if the child screen PC hides the drawing position of the telewriting screen, the telewriting communication will be hindered. Therefore, in this embodiment, the display positions PL1, PL2, PL3, PL4 including the drawing data are included.
By displaying the child screen PC in the part excluding, the situation where the child screen PC hides the drawing position of the telewriting screen is avoided.
【0085】図19は、子画面PCを表示する表示位置
PL1,PL2,PL3,PL4を設定するためにシス
テム制御部1が実行する処理の一例を示している。な
お、この処理は、動画表示のフレーム単位に実行され
る。FIG. 19 shows an example of processing executed by the system control unit 1 to set the display positions PL1, PL2, PL3, PL4 for displaying the small screen PC. It should be noted that this process is executed for each frame of the moving image display.
【0086】まず、そのときにテレライティング通信機
能が使用されているかどうかを調べ(判断101)、判
断101の結果がYESになるときには、そのテレライ
ティング画面が親画面PPに設定されているかどうかを
調べる(判断102)。First, it is checked whether or not the telewriting communication function is being used at that time (decision 101). When the result of the judgment 101 is YES, it is determined whether or not the telewriting screen is set as the main screen PP. Check (decision 102).
【0087】判断102の結果がYESになるときに
は、子画面PCのおのおのの表示位置PL1,PL2,
PL3,PL4について、そのときに相手端末との間で
やりとりしている描画データが含まれている割合をあら
わす評価値を算出するテレライティング描画評価値算出
処理(処理103)を実行する。When the result of the determination 102 is YES, the display positions PL1, PL2 of the child screen PCs are displayed.
For PL3 and PL4, a telewriting drawing evaluation value calculation process (process 103) for calculating an evaluation value representing the ratio of the drawing data exchanged with the partner terminal at that time is executed.
【0088】また、判断101の結果がNOになると
き、および、判断102の結果がNOになるときには、
親画面PPには送信動画像または受信動画像が表示され
ている場合である。この場合、親画面PPに表示してい
る画像が送信動画像であるかどうかを調べ(判断10
4)、判断104の結果がYESになるときには、おの
おのの表示位置PL1,PL2,PL3,PL4に相当
する領域から得られた複数の送信ベクトル信号Smcの
絶対値(スカラ)の総和を算出し、その総和に所定の係
数を乗じておのおのの表示位置PL1,PL2,PL
3,PL4の評価値を算出する符号化側動き評価値算出
処理(処理105)を実行する。Further, when the result of the judgment 101 is NO and when the result of the judgment 102 is NO,
This is a case where the transmission moving image or the reception moving image is displayed on the main screen PP. In this case, it is checked whether or not the image displayed on the main screen PP is a transmission moving image (decision 10
4) When the result of determination 104 is YES, the sum of absolute values (scalar) of the plurality of transmission vector signals Smc obtained from the areas corresponding to the respective display positions PL1, PL2, PL3, PL4 is calculated, Multiplying the sum by a predetermined coefficient, each display position PL1, PL2, PL
3, a coding side motion evaluation value calculation process (process 105) for calculating the evaluation value of PL4 is executed.
【0089】また、判断104の結果がNOになるとき
には、おのおのの表示位置PL1,PL2,PL3,P
L4に相当する領域から得られた複数の受信ベクトル信
号Rmcの絶対値(スカラ)の総和を算出し、その総和
に所定の係数を乗じておのおのの表示位置PL1,PL
2,PL3,PL4の評価値を算出する復号化側動き評
価値算出処理(処理106)を実行する。When the result of the judgment 104 is NO, the display positions PL1, PL2, PL3, P respectively.
The sum of absolute values (scalars) of the plurality of reception vector signals Rmc obtained from the area corresponding to L4 is calculated, and the sum is multiplied by a predetermined coefficient to display positions PL1, PL.
Decoding side motion evaluation value calculation processing (processing 106) for calculating evaluation values of 2, PL3 and PL4 is executed.
【0090】このようにして、1フレーム分の評価値を
算出すると、その評価値が最も小さい表示位置PL1,
PL2,PL3,PL4を、子画面PCの表示位置とし
て判定する合成領域判定処理(処理107)を実行す
る。これにより、子画面PCの表示位置を判定すると、
その判定結果を表示制御部17に出力し(処理10
8)、子画面PCの表示位置を指定する。When the evaluation value for one frame is calculated in this way, the display position PL1, which has the smallest evaluation value,
A combined area determination process (process 107) for determining PL2, PL3, and PL4 as display positions of the child screen PC is executed. As a result, when the display position of the child screen PC is determined,
The determination result is output to the display control unit 17 (process 10
8) Specify the display position of the small screen PC.
【0091】図20は、テレライティング描画評価値算
出処理の一例を示している。FIG. 20 shows an example of the telewriting drawing evaluation value calculation processing.
【0092】まず、そのとき描画中であるかどうかを調
べ(判断201)、判断201の結果がNOになるとき
には、この処理を即終了する。また、判断201の結果
がYESになるときには、子画面PCを表示する表示位
置(領域)を1つ選択し(処理202)、その表示位置
の座標領域に、そのときの一連の描画データが含まれて
いるかどうかを調べる(判断203)。First, it is checked whether or not drawing is being performed at that time (decision 201). If the result of the judgment 201 is NO, this process is immediately terminated. When the result of determination 201 is YES, one display position (area) for displaying the child screen PC is selected (process 202), and the coordinate area of the display position includes a series of drawing data at that time. It is checked whether or not it is determined (decision 203).
【0093】判断203の結果がYESになるときは、
その表示位置に対応した領域に描画中であることを記憶
するための描画中マークをセットし(処理204)、そ
の領域に含まれる描画データのデータ量に所定の係数を
乗じて評価値を算出し(処理205)、その算出した評
価値を、その表示位置に関連付けて保存する(処理20
6)。When the result of judgment 203 is YES,
An in-drawing mark for storing that the image is being drawn is set in the area corresponding to the display position (process 204), and the evaluation value is calculated by multiplying the data amount of the drawing data included in the area by a predetermined coefficient. (Processing 205), the calculated evaluation value is stored in association with the display position (Processing 20).
6).
【0094】また、判断203の結果がNOになるとき
には、そのときに選択した表示位置に対応した描画中マ
ークがセットされているかどうかを調べる(判断20
7)。判断207の結果がYESになるときには、描画
位置がその表示位置の外に出た直後の状態である。この
場合、描画中マークをリセットする(処理208)。When the result of judgment 203 is NO, it is checked whether or not the drawing mark corresponding to the display position selected at that time is set (decision 20).
7). When the result of the determination 207 is YES, it means that the drawing position is right outside the display position. In this case, the drawing mark is reset (process 208).
【0095】また、判断207の結果がNOになるとき
には、そのときに選択した表示位置には、描画がされて
いない場合なので、その表示位置に対応して保存してい
る評価値を「0」にクリアする(処理209)。Further, when the result of the judgment 207 is NO, it means that there is no drawing at the display position selected at that time, so the evaluation value stored corresponding to the display position is "0". (Process 209).
【0096】このようにして、1つの表示位置について
の処理を終了すると、全ての表示位置についての処理を
終了したかどうかを調べ(判断210)、判断210の
結果がNOになるときには、処理202に戻って、次の
表示位置についての処理を実行する。また、判断210
の結果がYESになるときには、この処理を終了する。In this way, when the processing for one display position is completed, it is checked whether or not the processing for all display positions is completed (decision 210). If the result of the judgment 210 is NO, the process 202 Then, the process for the next display position is executed. Also, the decision 210
When the result of is YES, this process ends.
【0097】図21は、符号化側動き評価値算出処理の
一例を示している。FIG. 21 shows an example of the coding side motion evaluation value calculation process.
【0098】まず、ビデオCODEC16の符号化処理
部26が動きベクトルを算出する1処理単位ブロック
(4×4のマクロブロックに相当する)を選択し(処理
301)、その処理単位ブロックについて符号化が終了
するまで待ち(判断302のNOループ)、判断302
の結果がYESになると、そのときの送信動きベクトル
信号Smcの値を入力し(処理303)、その入力値
を、そのときの処理単位ブロックに関連付けて保存する
(処理304)。First, the encoding processing unit 26 of the video CODEC 16 selects one processing unit block (corresponding to a 4 × 4 macro block) for calculating a motion vector (processing 301), and the processing unit block is encoded. Wait until the end (NO loop of decision 302), decision 302
If the result is YES, the value of the transmission motion vector signal Smc at that time is input (process 303), and the input value is stored in association with the processing unit block at that time (process 304).
【0099】そして、そのときに全ての処理単位ブロッ
クについての処理を終了したかどうかを調べ(判断30
5)、判断305の結果がNOになるときには、処理3
01に戻って、次の処理単位ブロックの処理を実行す
る。At that time, it is checked whether or not the processing for all processing unit blocks has been completed (determination 30
5) If the result of determination 305 is NO, process 3
Returning to 01, the processing of the next processing unit block is executed.
【0100】全ての処理単位ブロックについての処理を
終了し、判断305の結果がYESになるときには、各
表示位置PL1,PL2,PL3,PL4について、含
まれてる複数の処理単位ブロックについて保存されてい
る送信動きベクトル信号Smcの絶対値の総和を算出
し、その総和に所定の係数を乗じて、評価値を算出し、
その評価値を保存する(処理306)。When the processing is completed for all processing unit blocks and the result of determination 305 is YES, the display positions PL1, PL2, PL3, PL4 are saved for the plurality of processing unit blocks included. The sum of absolute values of the transmission motion vector signal Smc is calculated, and the sum is multiplied by a predetermined coefficient to calculate an evaluation value,
The evaluation value is saved (process 306).
【0101】図22は、復号化側動き評価値算出処理の
一例を示している。FIG. 22 shows an example of the decoding side motion evaluation value calculation process.
【0102】まず、ビデオCODEC16の復号化処理
部29が動きベクトルを算出する1処理単位ブロック
(4×4のマクロブロックに相当する)を選択し(処理
401)、その処理単位ブロックについて復号化が終了
するまで待ち(判断402のNOループ)、判断402
の結果がYESになると、そのときの受信動きベクトル
信号Rmcの値を入力し(処理403)、その入力値
を、そのときの処理単位ブロックに関連付けて保存する
(処理404)。First, the decoding processing unit 29 of the video CODEC 16 selects one processing unit block (corresponding to a 4 × 4 macro block) for calculating a motion vector (processing 401), and decoding is performed on the processing unit block. Wait until the end (NO loop of decision 402), decision 402
If the result is YES, the value of the received motion vector signal Rmc at that time is input (process 403), and the input value is stored in association with the processing unit block at that time (process 404).
【0103】そして、そのときに全ての処理単位ブロッ
クについての処理を終了したかどうかを調べ(判断40
5)、判断405の結果がNOになるときには、処理4
01に戻って、次の処理単位ブロックの処理を実行す
る。At that time, it is checked whether or not the processing has been completed for all processing unit blocks (decision 40
5), when the result of determination 405 is NO, process 4
Returning to 01, the processing of the next processing unit block is executed.
【0104】全ての処理単位ブロックについての処理を
終了し、判断405の結果がYESになるときには、各
表示位置PL1,PL2,PL3,PL4について、含
まれてる複数の処理単位ブロックについて保存されてい
る受信動きベクトル信号Rmcの絶対値の総和を算出
し、その総和に所定の係数を乗じて、評価値を算出し、
その評価値を保存する(処理406)。When all the processing unit blocks have been processed and the result of the determination 405 is YES, the display positions PL1, PL2, PL3, PL4 have been saved for the plurality of processing unit blocks included. The sum of absolute values of the reception motion vector signal Rmc is calculated, and the sum is multiplied by a predetermined coefficient to calculate an evaluation value.
The evaluation value is saved (process 406).
【0105】図23は、合成領域判定処理の一例を示し
ている。FIG. 23 shows an example of the combined area determination process.
【0106】まず、各表示位置PL1,PL2,PL
3,PL4について保存されている評価値を読み出し
(処理501)、その評価値が最小の表示位置PL1,
PL2,PL3,PL4を判定し(処理502)、その
判定結果を出力する(処理503)。First, each display position PL1, PL2, PL
3, the evaluation value stored for PL4 is read (process 501), and the evaluation value is displayed at the minimum display position PL1,
PL2, PL3 and PL4 are determined (process 502), and the determination result is output (process 503).
【0107】以上のようにして、本実施例では、画面内
画面機能が適用されるときには、親画面の表示内容の有
効領域(動画部分)からなるべく外れた部分に子画面を
表示するようにしているので、重要な画面の画像が隠さ
れるような自体が回避でき、したがって、テレビ会議通
信を円滑に運営することができる。As described above, in the present embodiment, when the in-screen screen function is applied, the child screen is displayed in a portion as far as possible from the effective area (moving image portion) of the display contents of the parent screen. Therefore, it is possible to avoid the fact that the image of the important screen is hidden, and thus it is possible to smoothly operate the video conference communication.
【0108】また、テレライティング通信機能を使用し
ているときには、テレライティング通信で参照されてい
る位置を除いた部分に子画面を表示しているので、テレ
ライティング通信で書き込みや参照がされている部分が
隠されることがなく、したがって、テレライティング通
信機能を利用したテレビ会議通信をより円滑に実行する
ことができる。Further, when the telewriting communication function is used, the sub-picture is displayed in the portion excluding the position referred to in the telewriting communication, so that writing or reference is performed in the telewriting communication. The part is not hidden, and therefore, the video conference communication using the telewriting communication function can be executed more smoothly.
【0109】ところで、上述した実施例では、親画面の
動画部分を検出するために、ビデオCODECの動き検
出機能(動き補償機能)を利用しているが、これ以外の
手段を用いた場合でも、動画部分の検出を行うことがで
きる。例えば、そのためのブロックマッチング検出手段
を設けたり、または、周知のグラジエント法を用いて動
画部分を検出する手段を用いることができる。By the way, in the above-described embodiment, the motion detecting function (motion compensation function) of the video CODEC is used to detect the moving image portion of the main screen. However, even when other means is used, The moving image part can be detected. For example, a block matching detection means for that purpose may be provided, or a means for detecting a moving image portion using a well-known gradient method may be used.
【0110】また、上述した実施例では、画像の動いて
いる部分を、画像の有効部分として判定しているが、例
えば、人物の顔や手などの動いている部分、あるいは、
原稿の文字など、有意な画像部分を画像認識の方法によ
り検出し、その検出した部分を画像の有効部分として判
定することもできる。Further, in the above-mentioned embodiment, the moving part of the image is determined as the effective part of the image. However, for example, the moving part of the person's face or hand, or
It is also possible to detect a significant image portion such as a character of a document by an image recognition method and determine the detected portion as an effective portion of the image.
【0111】[0111]
【発明の効果】以上説明したように、本発明によれば、
表示全画面に表示されている画像のうち、隠されても影
響のない部分に小領域画面が表示されるため、小領域画
面を参照しながらテレビ会議通信を適切に行うことがで
き、その議事進行が円滑になる。また、テレライティン
グ表示全画面に表示されている画像のうち、隠されても
影響のない部分に小領域画面が表示されるため、テレラ
イティング機能を活用し、かつ、小領域画面を参照しな
がらテレビ会議通信を適切に行うことができるので、そ
の議事進行が円滑になるという効果を得る。As described above, according to the present invention,
Of the images displayed on the full screen, the small area screen is displayed in the part that is not affected even if it is hidden, so it is possible to properly perform video conference communication while referring to the small area screen. Progress will be smooth. In addition, since the small area screen is displayed in the part of the image displayed on the full screen of the telewriting display that is not affected even when it is hidden, the telewriting function can be used while referring to the small area screen. Since the video conference communication can be appropriately performed, the proceeding of the proceedings can be smoothly performed.
【図1】本発明の一実施例にかかるテレビ会議通信装置
を示したブロック図。FIG. 1 is a block diagram showing a video conference communication device according to an embodiment of the present invention.
【図2】動画情報の信号形式の一例を示した概略図。FIG. 2 is a schematic diagram showing an example of a signal format of moving image information.
【図3】動画情報のデータ形式の一例を示した概略図。FIG. 3 is a schematic diagram showing an example of a data format of moving image information.
【図4】ビデオCODECの一例を示したブロック図。FIG. 4 is a block diagram showing an example of a video CODEC.
【図5】マルチフレームのフレーム構成の一例を示す概
略図。FIG. 5 is a schematic diagram showing an example of a frame configuration of multi-frame.
【図6】1つのフレームの信号構成の一例を示す概略
図。FIG. 6 is a schematic diagram showing an example of a signal configuration of one frame.
【図7】フレーム調整信号の一例を示す概略図。FIG. 7 is a schematic diagram showing an example of a frame adjustment signal.
【図8】ビットレート割当信号の一例を示す概略図。FIG. 8 is a schematic diagram showing an example of a bit rate allocation signal.
【図9】信号の送出順序を説明するための概略図。FIG. 9 is a schematic diagram for explaining a signal transmission order.
【図10】CCITT勧告H.242の一般的な手順例
を示したタイムチャート。FIG. 10 CCITT Recommendation H. The time chart which showed the example of the general procedure of 242.
【図11】2つの情報チャネルを確保して、フレームモ
ードのデータ転送を実行しているときに、音声データ、
汎用データ、および、動画データの伝送速度の割り当て
の一例を示した概略図。FIG. 11 shows audio data when two data channels are secured and frame mode data transfer is executed.
FIG. 3 is a schematic diagram showing an example of allocation of transmission rates of general-purpose data and moving image data.
【図12】画面内画面の表示例を示した概略図。FIG. 12 is a schematic diagram showing a display example of an in-screen screen.
【図13】子画面の表示位置の一例を示した概略図。FIG. 13 is a schematic diagram showing an example of a display position of a child screen.
【図14】画面合成の一例を示した概略図。FIG. 14 is a schematic diagram showing an example of screen synthesis.
【図15】動きベクトルの算出単位について説明するた
めの概略図。FIG. 15 is a schematic diagram for explaining a motion vector calculation unit.
【図16】テレライティング通信機能を使用していると
きの画面内画面の表示例を示した概略図。FIG. 16 is a schematic diagram showing a display example of an in-screen screen when using a telewriting communication function.
【図17】図16の場合の仮想画面の一例を示した概略
図。FIG. 17 is a schematic diagram showing an example of a virtual screen in the case of FIG.
【図18】図16の場合の画面合成を説明するための概
略図。FIG. 18 is a schematic diagram for explaining screen composition in the case of FIG. 16;
【図19】子画面を表示する表示位置を設定するために
システム制御部が実行する処理の一例を示したフローチ
ャート。FIG. 19 is a flowchart showing an example of processing executed by the system control unit to set a display position for displaying a child screen.
【図20】テレライティング描画評価値算出処理の一例
を示したフローチャート。FIG. 20 is a flowchart showing an example of a telewriting drawing evaluation value calculation process.
【図21】符号化側動き評価値算出処理の一例を示した
フローチャート。FIG. 21 is a flowchart showing an example of a coding side motion evaluation value calculation process.
【図22】復号化側動き評価値算出処理の一例を示した
フローチャート。FIG. 22 is a flowchart showing an example of decoding-side motion evaluation value calculation processing.
【図23】合成領域判定処理の一例を示したフローチャ
ート。FIG. 23 is a flowchart showing an example of a combined area determination process.
Claims (8)
し、この小領域画面に表示全画面と別の画像を表示する
表示機能を備えたテレビ会議通信装置の制御方法におい
て、 小領域画面の表示位置を、表示全画面に表示している画
像の有効情報の表示領域を避けた部分に設定することを
特徴とするテレビ会議通信装置の制御方法。1. A control method for a video conference communication device, comprising: a display function of forming a predetermined small area screen in the entire display screen and displaying an image different from the entire display screen on the small area screen. A method for controlling a video conference communication device, wherein the display position of the screen is set in a portion avoiding the display area of the valid information of the image displayed on the entire display screen.
効情報は、その画像の動きベクトル情報に基づいて形成
することを特徴とする請求項1記載のテレビ会議通信装
置の制御方法。2. The method of controlling a video conference communication device according to claim 1, wherein the valid information of the image displayed on the full-screen display is formed based on motion vector information of the image.
もに、その表示全画面中に所定の小領域画面を形成し、
この小領域画面に送信動画像を表示する表示機能を備え
たテレビ会議通信装置の制御方法において、 小領域画面の表示位置を、表示全画面に表示している受
信動画像の有効情報の表示領域を避けた部分に設定する
ことを特徴とするテレビ会議通信装置の制御方法。3. A reception moving image is displayed on the entire display screen, and a predetermined small area screen is formed in the entire display screen,
In the control method of the video conference communication device having the display function of displaying the transmission moving image on the small area screen, the display position of the small area screen is changed to the display area of the valid information of the reception moving image displayed on the entire display screen. A method for controlling a video conferencing communication device, characterized in that it is set in a portion avoiding.
動画像を形成するための受信動画情報を復号化するとき
に得られる動きベクトル情報を用いることを特徴とする
請求項3記載のテレビ会議通信装置の制御方法。4. The television according to claim 3, wherein the valid information of the received moving image uses motion vector information obtained when decoding the received moving image information for forming the received moving image. A method for controlling a conference communication device.
もに、その表示全画面中に所定の小領域画面を形成し、
この小領域画面に受信動画像を表示する表示機能を備え
たテレビ会議通信装置の制御方法において、 小領域画面の表示位置を、表示全画面に表示している送
信動画像の有効情報の表示領域を避けた部分に設定する
ことを特徴とするテレビ会議通信装置の制御方法。5. A transmission moving image is displayed on the entire display screen, and a predetermined small area screen is formed in the entire display screen.
In the control method of the video conference communication device having the display function of displaying the received moving image on the small area screen, the display position of the small area screen is changed to the display area of the valid information of the transmitted moving image displayed on the entire display screen. A method for controlling a video conferencing communication device, characterized in that it is set in a portion avoiding.
動画像を符号化圧縮するときに得られる動きベクトル情
報を用いることを特徴とする請求項3記載のテレビ会議
通信装置の制御方法。6. The method of controlling a video conference communication device according to claim 3, wherein the valid information of the transmission moving image uses motion vector information obtained when the transmission moving image is encoded and compressed.
もに、テレライティング表示全画面中に所定の小領域画
面を形成し、この小領域画面にテレライティング表示全
画面と別の画像を表示する表示機能を備えたテレビ会議
通信装置の制御方法において、 小領域画面の表示位置を、テレライティング表示全画面
に表示している画像の有効情報の表示領域を避けた部分
に設定することを特徴とするテレビ会議通信装置の制御
方法。7. A telewriting communication function is provided, and a predetermined small area screen is formed in the telewriting display full screen, and a display function for displaying a different image from the telewriting display full screen on the small area screen is provided. In the video conference communication device control method described above, the display position of the small area screen is set to a portion avoiding the display area of the effective information of the image displayed on the full telewriting display screen. Device control method.
している画像の有効情報は、テレライティング描画情報
に基づいて形成することを特徴とする請求項7記載のテ
レビ会議通信装置の制御方法。8. The control method of the video conference communication device according to claim 7, wherein the effective information of the image displayed on the full screen of the telewriting display is formed based on the telewriting drawing information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5341054A JPH07162831A (en) | 1993-12-10 | 1993-12-10 | Control method for video conference communication equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5341054A JPH07162831A (en) | 1993-12-10 | 1993-12-10 | Control method for video conference communication equipment |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07162831A true JPH07162831A (en) | 1995-06-23 |
Family
ID=18342814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5341054A Pending JPH07162831A (en) | 1993-12-10 | 1993-12-10 | Control method for video conference communication equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07162831A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145759A (en) * | 1996-11-05 | 1998-05-29 | Toshiba Corp | Interactive system and interactive method |
WO2001033835A1 (en) * | 1999-10-29 | 2001-05-10 | Matsushita Electric Industrial Co., Ltd. | Picture generating device, picture generating method and communication device with picture generating device |
WO2002080537A2 (en) * | 2001-03-30 | 2002-10-10 | Koninklijke Philips Electronics N.V. | Picture-in-picture display |
JP2006235897A (en) * | 2005-02-24 | 2006-09-07 | Sony Corp | Information processing system, reproduction terminal equipment, reproduction method, information processor and information processing method, and program |
JP2011066745A (en) * | 2009-09-18 | 2011-03-31 | Brother Industries Ltd | Terminal apparatus, communication method and communication system |
-
1993
- 1993-12-10 JP JP5341054A patent/JPH07162831A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10145759A (en) * | 1996-11-05 | 1998-05-29 | Toshiba Corp | Interactive system and interactive method |
WO2001033835A1 (en) * | 1999-10-29 | 2001-05-10 | Matsushita Electric Industrial Co., Ltd. | Picture generating device, picture generating method and communication device with picture generating device |
WO2002080537A2 (en) * | 2001-03-30 | 2002-10-10 | Koninklijke Philips Electronics N.V. | Picture-in-picture display |
WO2002080537A3 (en) * | 2001-03-30 | 2003-04-24 | Koninkl Philips Electronics Nv | Picture-in-picture display |
US6697124B2 (en) | 2001-03-30 | 2004-02-24 | Koninklijke Philips Electronics N.V. | Smart picture-in-picture |
JP2006235897A (en) * | 2005-02-24 | 2006-09-07 | Sony Corp | Information processing system, reproduction terminal equipment, reproduction method, information processor and information processing method, and program |
JP4706278B2 (en) * | 2005-02-24 | 2011-06-22 | ソニー株式会社 | Information processing system, playback terminal device and playback method, information processing device and method, and program |
JP2011066745A (en) * | 2009-09-18 | 2011-03-31 | Brother Industries Ltd | Terminal apparatus, communication method and communication system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH07162830A (en) | Control method for video conference communication equipment | |
US6313863B1 (en) | Image communication apparatus and system | |
US5953505A (en) | Communication apparatus and method for reading out stored function information in response to identifying information | |
US5903734A (en) | Multimedia information communication apparatus which stores received information in an encoded state | |
JPH08228329A (en) | System and terminal equipment for communication conference | |
US5675393A (en) | Image processing apparatus with generating unit for generating image data and decoding unit for decoding image data | |
JPH07162831A (en) | Control method for video conference communication equipment | |
JPH07203434A (en) | Image transmitter | |
JPH0884331A (en) | Image communication equipment and its image communication method | |
JP3927606B2 (en) | Image communication apparatus and system, image receiving apparatus and received image data processing method | |
JP3383447B2 (en) | Conference communication terminal | |
JPH08289274A (en) | Method for controlling video conference communication terminal equipment | |
JP3305468B2 (en) | Control method of video conference communication terminal device | |
JP3328370B2 (en) | Control method of video conference communication device | |
JPH1042265A (en) | Video conference communication terminal equipment | |
JPH09172493A (en) | Terminal equipment for video conference communication | |
JP3339949B2 (en) | Control method of video conference communication terminal | |
JPH0865649A (en) | Multimedia terminal device | |
JPH08307845A (en) | Control method for video conference communication terminal equipment | |
JP3437191B2 (en) | Terminal device and control method of terminal device | |
JP3605063B2 (en) | Communication system and communication control method | |
JPH0723377A (en) | Picture transmitter | |
JPH07111643A (en) | Method for controlling communication terminal for video conference | |
JPH0715525A (en) | Multi-media communications terminal equipment | |
JPH0746553A (en) | Picture communication equipment and system therefor |