JPH07131773A - Picture communication terminal equipment - Google Patents

Picture communication terminal equipment

Info

Publication number
JPH07131773A
JPH07131773A JP5275242A JP27524293A JPH07131773A JP H07131773 A JPH07131773 A JP H07131773A JP 5275242 A JP5275242 A JP 5275242A JP 27524293 A JP27524293 A JP 27524293A JP H07131773 A JPH07131773 A JP H07131773A
Authority
JP
Japan
Prior art keywords
signal
unit
memory
mode
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5275242A
Other languages
Japanese (ja)
Other versions
JP3334287B2 (en
Inventor
Hideki Shudo
秀樹 首藤
Suguru Fujiki
英 藤木
Kazuyoshi Fujiyoshi
一義 藤吉
Fumio Fukushige
文夫 福重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP27524293A priority Critical patent/JP3334287B2/en
Publication of JPH07131773A publication Critical patent/JPH07131773A/en
Application granted granted Critical
Publication of JP3334287B2 publication Critical patent/JP3334287B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PURPOSE:To simply realize an automatic answering function of still picture message data by adding a picture storage memory to store a still picture message and a simple control circuit to a picture communication terminal equipment not having an automatic message recording function. CONSTITUTION:When a mode changeover section 17 switches the mode from a usual communication mode into an automatic message recording mode, a control section 20 receives a switching signal from the changeover section 17 to detect the changeover of the mode. Then a succeeding frame to that of a video input signal from a camera 1 is discriminated to be still picture message data of a still picture to a destination terminal equipment, a pre-processing section 2 processes an object frame and writes it to a frame memory 3. The control section 20 sends a still picture mode setting control signal to an encoder section 4 and applies encoder processing to a video transmission signal in the memory 3 and stores a multiplexed video signal to be processed to a memory 5. When a call comes from a destination terminal equipment to the concerned terminal equipment in this state, the concerned terminal equipment is replied automatically and a multi-value processing video signal stored in a transmission memory 5 as still picture message data to realize the automatic message recording.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、動画像圧縮アルゴリズ
ムに従って処理し、相手側端末との画像データ通信を可
能とし、かつ静止画像メッセージデータの通信、蓄積を
行い、留守番機能を実現するテレビ会議/電話端末等の
画像通信端末に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video conference for processing according to a moving image compression algorithm, enabling image data communication with a partner terminal, communicating and storing still image message data, and realizing an answering machine function. / It relates to an image communication terminal such as a telephone terminal.

【0002】[0002]

【従来の技術】近年、ISDNの普及やCCITTにお
ける各画像符号化アルゴリズムの勧告化によりテレビ会
議/電話端末等の画像通信端末の市場拡大が期待されて
いる。このような画像通信端末には音声通信を行う電話
等が持っている音声の留守番機能と同様に画像メッセー
ジデータに対する留守番機能が要求されてきている。さ
らに小型で安価であることが必要とされる。
2. Description of the Related Art In recent years, the market expansion of image communication terminals such as video conferences / telephone terminals is expected due to the spread of ISDN and the recommendation of image encoding algorithms in CCITT. Such an image communication terminal is required to have an answering machine function for image message data as well as an answering machine function for voice possessed by a telephone or the like which performs voice communication. It is also required to be small and inexpensive.

【0003】次に従来例を図6を用いて説明する。図6
は従来例のブロック図であり、1は自側の映像を入力す
るためのカメラ、2はアナログビデオ信号を入力し共通
中間フォーマット化したデジタルビデオ送信信号を出力
する前処理部、3はデジタルビデオ送信信号を一旦保持
するための送信用フレームメモリ、4は送信用フレーム
メモリ3からデジタルビデオ送信信号を読みだしエンコ
ードするエンコーダ部、5はエンコーダ部4から出力さ
れる多重化ビデオ信号を一旦保持するための送信用バッ
ファメモリ、6は送信用バッファメモリ5から多重化ビ
デオ信号を読みだしこの多重化ビデオ信号、音声デー
タ、データ、システム制御信号などの各種信号を多重化
しまた相手側端末からの多重化受信信号を分離する(例
えば、CCITT H.221勧告にしたがった処理を
行う)多重/分離部、7は多重/分離部6から出力され
る多重化送信信号を入力し通信網に送信データを出力し
また通信網からの受信データを入力し多重/分離部6に
多重化受信信号を出力する網インタフェース部、8は多
重/分離部6から出力される分離化ビデオ信号を一旦保
持するための受信用バッファメモリ、9は受信用バッフ
ァメモリ8から分離化ビデオ信号を読みだしデコードす
るデコーダ部、10はデコーダ部9から出力される共通
中間フォーマット化されたデジタルビデオ受信信号を一
旦保持するための受信用フレームメモリ、11は受信用
フレームメモリ10からデジタルビデオ受信信号を読み
だし逆共通中間フォーマット化しアナログビデオ出力信
号を出力する後処理部、12はアナログビデオ出力信号
を入力し表示するためのモニタ、13は自側端末が留守
番モードになっているときに相手側端末に送信される画
像メッセージデータを録画しまた自側端末が留守番モー
ドになっているときは相手側端末にあらかじめ録画され
た画像メッセージデータを再生し送信メッセージ用アナ
ログビデオ信号を出力する送信メッセージ用VTR、1
4は通常通信モード時にはカメラ1からのアナログビデ
オ信号を前処理部2にまた留守番モード時には送信メッ
セージ用VTR13からの送信メッセージ用アナログビ
デオ信号を前処理部2に接続するように制御される送信
ビデオ信号切替え部、15は留守番モード時に相手側か
らの受信メッセージであるアナログビデオ出力信号を録
画するための受信メッセージ用VTR、16は通常通信
モード時には後処理部11からのアナログビデオ出力信
号をモニタ12にまた留守番モード時には後処理部11
からのアナログビデオ出力信号を受信メッセージ用VT
R15に接続するように制御される受信ビデオ信号切替
え部、17は自側端末を通常通信モードか留守番モード
に切替えるためのモード切替え部、18はモード切替え
部17からの切替え信号により送信メッセージ用VTR
13と送信ビデオ信号切替え部14と受信メッセージ用
VTR15と受信ビデオ信号切替え部16への制御を行
う制御部である。
Next, a conventional example will be described with reference to FIG. Figure 6
1 is a block diagram of a conventional example, 1 is a camera for inputting an image on its own side, 2 is a pre-processing unit for inputting an analog video signal, and outputting a digital video transmission signal in a common intermediate format, 3 is a digital video A transmission frame memory for temporarily holding a transmission signal, 4 an encoder unit for reading and encoding a digital video transmission signal from the transmission frame memory 3, and 5 a holding unit for a multiplexed video signal output from the encoder unit 4. A transmission buffer memory 6 for reading the multiplexed video signal from the transmission buffer memory 5 and multiplexing various signals such as the multiplexed video signal, voice data, data, and system control signal, and multiplexing from the other terminal. A demultiplexing / demultiplexing unit that demultiplexes the demultiplexed received signal (for example, performs processing according to CCITT H.221 recommendation), A network 7 receives the multiplexed transmission signal output from the multiplexing / demultiplexing unit 6 and outputs the transmission data to the communication network, and also receives the reception data from the communication network and outputs the multiplexed reception signal to the multiplexing / demultiplexing unit 6. An interface unit, 8 is a receiving buffer memory for temporarily holding the separated video signal output from the multiplexing / demultiplexing unit 6, and 9 is a decoder unit for reading and decoding the separated video signal from the receiving buffer memory 8. Is a reception frame memory for temporarily holding the common intermediate formatted digital video reception signal output from the decoder unit 9, and 11 is a reverse common intermediate formatted analog for reading the digital video reception signal from the reception frame memory 10. A post-processing unit for outputting a video output signal, 12 is a monitor for inputting and displaying an analog video output signal, and 13 is Record the image message data sent to the other party's terminal when the other terminal is in answering machine mode, and play back the image message data recorded in advance on the other party's terminal when the other party's terminal is in answering machine VTR for transmission message that outputs analog video signal for transmission message, 1
Reference numeral 4 denotes a transmission video controlled so as to connect the analog video signal from the camera 1 to the preprocessing unit 2 in the normal communication mode, and the transmission message analog video signal from the transmission message VTR 13 to the preprocessing unit 2 in the answering machine mode. A signal switching unit, 15 is a VTR for a reception message for recording an analog video output signal which is a reception message from the other party in the answering machine, and 16 is an analog video output signal from the post-processing unit 11 in the normal communication mode. In the answering machine mode again, the post-processing unit 11
Receives analog video output signal from VT for message
A receiving video signal switching unit controlled to connect to R15, 17 is a mode switching unit for switching the own terminal to a normal communication mode or an answering mode, and 18 is a VTR for a transmission message in response to a switching signal from the mode switching unit 17.
13, a transmission video signal switching unit 14, a reception message VTR 15, and a reception video signal switching unit 16.

【0004】以上のように構成された従来の画像通信端
末について、以下にその動作を説明する。通常通信モー
ドにおいて、カメラ1から入力される自側の映像である
アナログビデオ入力信号は送信ビデオ信号切替え部14
の制御により前処理部2に接続される。前処理部2では
アナログビデオ入力信号を共通中間フォーマットへの変
換処理を行いデジタルビデオ送信信号を出力し送信用フ
レームメモリ3に保持する。エンコーダ部4では送信用
フレームメモリ3からデジタルビデオ送信信号を読みだ
し動画像圧縮アルゴリズム(例えば、CCITT H.
261勧告に準拠した低速動画像圧縮アルゴリズム)に
したがい符号化されその符号化された画像信号を多重化
し多重化ビデオ信号を送信用バッファメモリ5に書込
む。この送信用バッファメモリ5に保持された多重化ビ
デオ信号を多重/分離部6で他の音声信号やデータやシ
ステム制御信号等の各種信号と多重化され多重化送信信
号を出力する。この多重化送信信号を網インタフェース
部7を介して相手側端末に送信する。また相手側端末か
ら送られてきた受信データは網インタフェース部7で受
信され多重化受信信号を多重/分離部6に出力する。多
重/分離部6で多重化受信信号のデータの中から画像成
分のみを分離し分離された分離化ビデオ信号が受信用バ
ッファメモリ8に保持される。デコーダ部9は受信用バ
ッファメモリ8から分離化ビデオ信号を読みだし動画像
圧縮アルゴリズム(例えば、CCITTH.261勧告
に準拠した低速動画像圧縮アルゴリズム)にしたがい共
通中間フォーマット化されたデジタルビデオ受信信号を
出力し受信用フレームメモリ10に書込む。後処理部1
1では受信用フレームメモリ10から共通中間フォーマ
ット化されているデジタルビデオ受信信号を読みだしア
ナログビデオ出力信号(コンポジットビデオ信号等)に
変換し、受信ビデオ信号切替え部16はモニタ12へ接
続されアナログビデオ出力信号をモニタ12に出力し相
手側映像を表示する。
The operation of the conventional image communication terminal configured as described above will be described below. In the normal communication mode, the analog video input signal which is the image on the local side input from the camera 1 is the transmission video signal switching unit 14
Is connected to the preprocessing unit 2 under the control of. The preprocessor 2 converts the analog video input signal into a common intermediate format, outputs a digital video transmission signal, and holds it in the transmission frame memory 3. The encoder unit 4 reads the digital video transmission signal from the transmission frame memory 3 and outputs a moving image compression algorithm (for example, CCITT H.264).
The low-speed moving image compression algorithm compliant with the H.261 recommendation) is coded and the coded image signal is multiplexed and the multiplexed video signal is written in the transmission buffer memory 5. The multiplexed video signal held in the transmission buffer memory 5 is multiplexed by the multiplexer / demultiplexer 6 with various signals such as other audio signals, data and system control signals, and the multiplexed transmission signal is output. This multiplexed transmission signal is transmitted to the partner terminal via the network interface unit 7. Further, the reception data sent from the partner terminal is received by the network interface unit 7 and the multiplexed reception signal is output to the multiplexing / demultiplexing unit 6. The demultiplexing / demultiplexing unit 6 demultiplexes only the image component from the data of the multiplexed reception signal and retains the demultiplexed video signal in the reception buffer memory 8. The decoder unit 9 reads the separated video signal from the reception buffer memory 8 and outputs the digital video reception signal which has been subjected to common intermediate formatting according to a moving image compression algorithm (for example, a low-speed moving image compression algorithm compliant with CCITTH.261 recommendation). It is output and written in the receiving frame memory 10. Post-processing unit 1
In 1, the common intermediate format digital video reception signal is read from the reception frame memory 10 and converted into an analog video output signal (composite video signal or the like), and the reception video signal switching unit 16 is connected to the monitor 12 and connected to the analog video. The output signal is output to the monitor 12 and the image of the other party is displayed.

【0005】留守番モードにおいては、送信ビデオ信号
切替え部14は送信メッセージ用VTR13側に接続さ
れ、あらかじめ送信メッセージ用VTR13に録画され
ている相手側への画像メッセージを再生し前処理部2に
出力される。その後の処理は通常通信モード時と同様で
ある。また相手側から送信されてくる画像メッセージは
通常通信モード時と同様に処理され後処理部11に送ら
れる。受信ビデオ信号切替え部16は受信メッセージ用
VTR15に接続されており後処理部11からのアナロ
グビデオ出力信号は受信メッセージ用VTR15で録画
される。このようにして画像通信端末での画像信号に対
する留守番機能を実現していた。
In the answering machine, the transmission video signal switching unit 14 is connected to the transmission message VTR 13 side, reproduces the image message to the other side recorded in the transmission message VTR 13 in advance, and outputs it to the preprocessing unit 2. It The subsequent processing is the same as in the normal communication mode. The image message sent from the other party is processed in the same manner as in the normal communication mode and sent to the post-processing unit 11. The reception video signal switching unit 16 is connected to the reception message VTR 15, and the analog video output signal from the post-processing unit 11 is recorded by the reception message VTR 15. Thus, the answering machine function for the image signal in the image communication terminal is realized.

【0006】[0006]

【発明が解決しようとする課題】しかしながら、上記従
来の構成では、送信メッセージ用VTRや受信メッセー
ジ用VTRが必要であったため、端末が大型で、非常に
高価なものになってしまうという問題点を有していた。
However, in the above-mentioned conventional configuration, since the VTR for the transmission message and the VTR for the reception message are required, there is a problem that the terminal becomes large and very expensive. Had.

【0007】そこで本発明は、送信メッセージ用VTR
や受信メッセージ用VTRを不要にし、小型で安価な画
像通信端末を提供することを目的とする。
Therefore, the present invention provides a VTR for outgoing messages.
It is an object of the present invention to provide a small and inexpensive image communication terminal by eliminating the need for a VTR for receiving messages and received messages.

【0008】[0008]

【課題を解決するための手段】このために本発明の画像
通信端末は、自側カメラ等からの自側アナログビデオ入
力信号を入力し共通中間フォーマットに変換されたデジ
タルビデオ送信信号を出力する前処理部と、入力される
デジタルビデオ送信信号を一旦保持する送信用フレーム
メモリと、送信用フレームメモリからデジタルビデオ送
信信号を読み出しある動画像の圧縮アルゴリズムにした
がい符号化しその符号化された画像データを多重化する
エンコード部と、エンコード部で多重化された多重化ビ
デオ信号を一旦保持する送信用バッファメモリと、送信
用バッファメモリから多重化ビデオ信号を読みだし音
声、多重化ビデオ信号、データ、システム制御信号など
の各種信号を多重化しまた相手側端末からの多重化受信
信号を分離する多重/分離部と、多重化された多重化送
信信号を入力し通信網に送信信号を出力しかつ通信網か
ら入力される相手側受信信号を多重/分離部に出力する
網インタフェース部と、多重/分離部から出力される分
離化ビデオ信号を一旦保持する受信用バッファメモリ
と、受信用バッファメモリから分離化ビデオ信号を動画
像圧縮アルゴリズムにしたがい分離、伸長し共通中間フ
ォーマットに変換するデコーダ部と、デコーダ部から出
力される共通中間フォーマット化されたデジタルビデオ
受信信号を保持する受信用フレームメモリと、受信用フ
レームメモリからデジタルビデオ受信信号を読みだしア
ナログビデオ出力信号をモニタに出力する後処理部と、
自側端末の通常通信モードと留守番モードとを切替るモ
ード切替部と、モード切替部の制御により各ブロックの
モード切替え制御を行う第1の制御部とから構成され、
通常通信モードから留守番モードにモードを切替えられ
たときの自側カメラ等から入力された自側アナログビデ
オ入力信号のフレームのみを相手側端末への静止画像メ
ッセージデータとして処理し前記送信用バッファメモリ
に保持しておき、留守番モード時に相手側端末からの着
信があったならば送信用バッファメモリに保持されてい
る静止画像メッセージデータを相手側端末に送信するよ
うにしたものである。またデコーダ部から出力されるデ
ジタルビデオ受信信号を蓄積する画像蓄積用メモリを設
け、自側端末が留守番モード時に相手側からの静止画像
メッセージデータを保持し留守番モード解除時に再生す
るにあたり、画像蓄積用メモリが、相手側から送信され
てくる所定のフレームデータを蓄積するようにしたもの
である。
To this end, the image communication terminal of the present invention receives the analog video input signal from its own camera and outputs the digital video transmission signal converted into a common intermediate format. A processing unit, a transmission frame memory that temporarily holds an input digital video transmission signal, and a digital video transmission signal that is read from the transmission frame memory and encoded according to a moving image compression algorithm. Encoding unit for multiplexing, transmission buffer memory for temporarily holding the multiplexed video signal multiplexed by the encoding unit, read multiplexed video signal from the transmission buffer memory, audio, multiplexed video signal, data, system Multiplexing that multiplexes various signals such as control signals, and multiplexes received signals from the other terminal A demultiplexing unit, a network interface unit that inputs a multiplexed multiplexed transmission signal, outputs a transmission signal to a communication network, and outputs a counterpart reception signal that is input from the communication network to a demultiplexing / demultiplexing unit, and a demultiplexing / demultiplexing unit A receiving buffer memory that temporarily holds the separated video signal output from the receiving unit, a decoder unit that separates the decompressing video signal from the receiving buffer memory according to a moving image compression algorithm, expands it, and converts it into a common intermediate format; A receiving frame memory that holds a common intermediate-formatted digital video reception signal output from the unit, a post-processing unit that reads the digital video reception signal from the reception frame memory and outputs an analog video output signal to the monitor,
A mode switching unit that switches between the normal communication mode and the answering machine mode of the own terminal, and a first control unit that controls the mode switching of each block by the control of the mode switching unit,
Only the frame of the local analog video input signal input from the local camera when the mode is switched from the normal communication mode to the answering machine is processed as still image message data to the remote terminal and is stored in the transmission buffer memory. In this case, the still image message data held in the transmission buffer memory is transmitted to the partner terminal when there is an incoming call from the partner terminal in the answering machine. In addition, an image storage memory that stores the received digital video signals output from the decoder unit is provided, and when the local terminal holds the still image message data from the other party in the answering machine mode and plays it back when the answering machine mode is released, it stores the image. The memory stores the predetermined frame data transmitted from the other side.

【0009】[0009]

【作用】本発明は上記構成により、送信メッセージ用V
TRと受信メッセージ用VTR等を必要とせず、留守番
機能を持たない画像通信端末に画像蓄積用メモリを追加
するのみで静止画像メッセージデータの送信・蓄積を行
うことにより留守番機能を実現できるため、非常に安価
でかつサイズを小さくすることができる。また静止画像
メッセージデータの取り込みタイミングを指示すること
により最適なタイミングでの画像メッセージを蓄積する
ことができる。さらに静止画像メッセージデータの量を
自側の前処理機能およびエンコード機能を用いることに
よりさらに圧縮し蓄積し直すことにより画像蓄積用メモ
リの効率的な利用を可能にすることができる。
The present invention has the above-mentioned configuration and is for V
It is possible to realize an answering machine function by sending and storing still image message data by simply adding an image storage memory to an image communication terminal that does not have an answering machine function, without the need for TR and VTR for receiving messages. It is inexpensive and can be reduced in size. Further, by instructing the timing of taking in the still image message data, the image message can be stored at the optimum timing. Further, the amount of still image message data can be further compressed and stored again by using the preprocessing function and the encoding function on its own side, thereby enabling efficient use of the image storage memory.

【0010】[0010]

【実施例】以下、本発明の実施例について図面を参照し
て説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0011】図1は第1実施例の画像通信端末のブロッ
ク図である。この第1実施例では、エンコーダ部の動画
像圧縮アルゴリズムはCCITT H.261勧告の低
速動画像圧縮アルゴリズムに、多重/分離部の多重およ
び分離はCCITT H.221に準拠するものとして
説明を行う。
FIG. 1 is a block diagram of the image communication terminal of the first embodiment. In the first embodiment, the moving image compression algorithm of the encoder unit is CCITT H.264. In the low-speed moving image compression algorithm recommended by H.261, the multiplexing / separation of the multiplexing / separating unit is CCITT H.264. 221, which will be described below.

【0012】1はカメラ、2は前処理部、3は送信用フ
レームメモリ、4はエンコーダ部、5は送信用バッファ
メモリ、6は多重/分離部、7は網インタフェース部、
8は受信用バッファメモリ、9はデコーダ部、10は受
信用フレームメモリ、11は後処理部、12はモニタ、
17はモード切替部であり、これらは従来例と同様のも
のであるので同一符号を付し説明を省略する。20はモ
ード切替部17の切替え信号により前処理部2およびエ
ンコーダ部4の動作を制御することができる第1の制御
部である。
Reference numeral 1 is a camera, 2 is a preprocessing unit, 3 is a transmission frame memory, 4 is an encoder unit, 5 is a transmission buffer memory, 6 is a multiplexing / demultiplexing unit, 7 is a network interface unit,
8 is a receiving buffer memory, 9 is a decoder unit, 10 is a receiving frame memory, 11 is a post-processing unit, 12 is a monitor,
Reference numeral 17 denotes a mode switching unit, which is similar to the conventional example, and therefore, is given the same reference numeral and its description is omitted. Reference numeral 20 is a first control unit capable of controlling the operations of the preprocessing unit 2 and the encoder unit 4 by the switching signal of the mode switching unit 17.

【0013】以上のように構成された画像通信端末につ
いて、以下にその動作を説明する。モード切替部17が
通常通信モードであるときは従来技術と同様な動作を行
うため説明は省略する。次にモード切替部17が通常通
信モードから留守番モードにモードが切替ったとき、第
1の制御部20はモード切替部17からの切替え信号を
入力しモードが切替ったことを検出する。そのタイミン
グにおけるカメラ1からのアナログビデオ入力信号の次
のフレームを相手側端末への静止画像の静止画像メッセ
ージデータとして判断し、前処理部2がその対象フレー
ムを処理し送信用フレームメモリ3に書込む。この書込
み処理の終了後第1の制御部20は前処理部2の動作停
止制御信号を送り停止させる。その後第1の制御部20
はエンコーダ部4に静止画モード設定制御信号を送信す
る。この制御信号によりエンコーダ部4は送信用フレー
ムメモリ3に保持されている対象フレームのデジタルビ
デオ送信信号に対してエンコーダ処理を行うとともに静
止画モードに移行し処理した多重化ビデオ信号を送信用
バッファメモリ5に保持する。以上のような処理により
留守番モード時の相手側端末への静止画像メッセージデ
ータの蓄積を完了させることができる。この状態で相手
側端末からこの自側端末に発呼があった場合、自側端末
は自動応答し静止画像メッセージデータとして送信用バ
ッファメモリ5に保持している多重化ビデオ信号を送信
する。このようにして留守番機能を実現することができ
る。
The operation of the image communication terminal configured as described above will be described below. When the mode switching unit 17 is in the normal communication mode, the same operation as that of the conventional technique is performed, and thus the description thereof is omitted. Next, when the mode switching unit 17 switches the mode from the normal communication mode to the answering machine mode, the first control unit 20 inputs the switching signal from the mode switching unit 17 and detects that the mode has been switched. The next frame of the analog video input signal from the camera 1 at that timing is determined as still image message data of a still image to the other terminal, and the preprocessing unit 2 processes the target frame and writes it in the transmission frame memory 3. Put in. After the completion of the writing process, the first control unit 20 sends an operation stop control signal of the preprocessing unit 2 to stop the operation. After that, the first control unit 20
Sends a still image mode setting control signal to the encoder unit 4. With this control signal, the encoder unit 4 performs an encoder process on the digital video transmission signal of the target frame held in the transmission frame memory 3 and shifts to the still image mode to process the multiplexed video signal for transmission buffer memory. Hold at 5. By the above processing, the storage of the still image message data in the partner terminal in the answering machine can be completed. In this state, when a call is made from the other terminal to the own terminal, the own terminal automatically responds and sends the multiplexed video signal held in the sending buffer memory 5 as still image message data. In this way, the answering machine function can be realized.

【0014】次に本発明の第2実施例を説明する。図2
は本発明の第2実施例における画像通信端末の機能ブロ
ック図である。図2において、1はカメラ、2は前処理
部、3は送信用フレームメモリ、4はエンコーダ部、5
は送信用バッファメモリ、6は多重/分離部、7は網イ
ンタフェース部、8は受信用バッファメモリ、9はデコ
ーダ部、10は受信用フレームメモリ、11は後処理
部、12はモニタ、17はモード切替部であり、これら
は従来例と同様のものであるので同一符号を付し説明を
省略する。
Next, a second embodiment of the present invention will be described. Figure 2
FIG. 6 is a functional block diagram of an image communication terminal according to a second embodiment of the present invention. In FIG. 2, 1 is a camera, 2 is a pre-processing unit, 3 is a transmission frame memory, 4 is an encoder unit, 5
Is a transmission buffer memory, 6 is a multiplexing / demultiplexing unit, 7 is a network interface unit, 8 is a receiving buffer memory, 9 is a decoder unit, 10 is a receiving frame memory, 11 is a post-processing unit, 12 is a monitor, and 17 is The mode switching units are the same as those in the conventional example, and therefore, the same reference numerals are given and description thereof is omitted.

【0015】19は留守番モード時に相手側からの静止
画像メッセージデータを含む受信データを網インタフェ
ース部7と多重/分離部6とデコーダ部9で処理しその
処理されたデジタルビデオ受信信号を蓄積する画像蓄積
用メモリ、21はモード切替部17の切替え信号により
デコーダ部9と後処理部11を制御する第2の制御部で
ある。
Reference numeral 19 is an image in which received data including still image message data from the other party in the answering machine mode is processed by the network interface unit 7, the multiplexing / demultiplexing unit 6 and the decoder unit 9 and the processed digital video received signal is accumulated. A storage memory 21 is a second control unit that controls the decoder unit 9 and the post-processing unit 11 according to a switching signal from the mode switching unit 17.

【0016】以上のように構成された画像通信端末につ
いて、以下にその動作を説明する。モード切替部17が
通常通信モードであるときは従来技術と同様な動作を行
うため説明は省略する。次にモード切替部17が留守番
モードにモードが切替った状態において、相手側端末か
ら自側端末に発呼があった場合、自側端末は自動応答す
る。相手側端末からの静止画像メッセージデータを含む
受信データを網インタフェース部7で受信し多重化受信
信号を前記多重/分離部6に出力する。多重/分離部6
では分離化ビデオ信号に分離し一旦受信用バッファメモ
リ8に保持する。第2の制御部21はモードが留守番モ
ードに切替ったときにあらかじめデコーダ部9を相手側
端末からの画像メッセージデータの第1フレームをデコ
ードし画像蓄積用メモリ19に蓄積するように設定して
おく。したがってデコーダ部9は受信用バッファメモリ
8から分離化ビデオ信号を読出しその信号が相手側端末
からの画像メッセージデータの第1フレームであるかど
うかの判断を行い、そのデータが第1フレームであるな
らばその第1フレームに対してのみデコード処理を行
う。そのデコード処理が行われたデジタルビデオ受信信
号は受信用フレームメモリ10にではなく画像蓄積用メ
モリ19に蓄積される。上記説明では第1フレームとし
て記述しているがこれが第2フレーム、第3フレームで
あっても構わない。以上のような処理により留守番モー
ド時の相手側端末からの静止画像メッセージデータの蓄
積を完了させることができる。
The operation of the image communication terminal configured as described above will be described below. When the mode switching unit 17 is in the normal communication mode, the same operation as that of the conventional technique is performed, and thus the description thereof is omitted. Next, in the state where the mode switching unit 17 has switched to the answering machine mode, when a call is made from the partner terminal to the own terminal, the own terminal automatically responds. The network interface unit 7 receives the received data including the still image message data from the partner terminal, and outputs the multiplexed received signal to the multiplexing / demultiplexing unit 6. Multiplexing / separating unit 6
Then, it is separated into a separated video signal and is temporarily held in the reception buffer memory 8. The second control unit 21 sets in advance the decoder unit 9 to decode the first frame of the image message data from the partner terminal and store it in the image storage memory 19 when the mode is switched to the answering machine mode. deep. Therefore, the decoder unit 9 reads the separated video signal from the receiving buffer memory 8 and judges whether the signal is the first frame of the image message data from the partner terminal, and if the data is the first frame. For example, the decoding process is performed only on the first frame. The decoded digital video reception signal is stored in the image storage memory 19 instead of the reception frame memory 10. In the above description, the first frame is described, but this may be the second frame or the third frame. By the above processing, the storage of the still image message data from the partner terminal in the answering machine can be completed.

【0017】次に、本発明の第3実施例を説明する。図
3は本発明の第3実施例における画像通信端末の機能ブ
ロック図である。図3において、1はカメラ、2は前処
理部、3は送信用フレームメモリ、4はエンコーダ部、
5は送信用バッファメモリ、6は多重/分離部、7は網
インタフェース部、8は受信用バッファメモリ、9はデ
コーダ部、10は受信用フレームメモリ、11は後処理
部、12はモニタ、17はモード切替部であり、これら
は従来例と同様のものであるので同一符号を付し説明を
省略する。
Next, a third embodiment of the present invention will be described. FIG. 3 is a functional block diagram of the image communication terminal according to the third embodiment of the present invention. In FIG. 3, 1 is a camera, 2 is a pre-processing unit, 3 is a transmission frame memory, 4 is an encoder unit,
5 is a transmission buffer memory, 6 is a multiplexing / demultiplexing unit, 7 is a network interface unit, 8 is a receiving buffer memory, 9 is a decoder unit, 10 is a receiving frame memory, 11 is a post-processing unit, 12 is a monitor, 17 Is a mode switching unit. Since these are similar to the conventional example, the same reference numerals are given and description thereof is omitted.

【0018】19は留守番モード時に相手側からの静止
画像メッセージデータを含む受信データを網インタフェ
ース部7と多重/分離部6とデコーダ部9で処理しその
処理されたデジタルビデオ受信信号を蓄積する画像蓄積
用メモリ、23は相手側端末が留守番モードになってい
るとき自側端末において自側静止画像メッセージデータ
としてどのフレームを利用するかを設定するタイミング
指示部、22はモード切替部17とタイミング指示部2
3の信号により前処理部2とエンコーダ部4とデコーダ
部9を制御する第3の制御部である。
Reference numeral 19 is an image in which received data including still image message data from the other party in the answering machine is processed by the network interface unit 7, the multiplexer / demultiplexer unit 6 and the decoder unit 9 and the processed digital video received signal is accumulated. A storage memory, 23 is a timing instruction unit for setting which frame is used as the own still image message data in the own terminal when the other terminal is in the answering machine mode, and 22 is the mode switching unit 17 and the timing instruction. Part 2
The third control unit controls the preprocessing unit 2, the encoder unit 4, and the decoder unit 9 by the signal of 3.

【0019】以上のように構成された画像通信端末につ
いて、以下にその動作を説明する。モード切替部17が
通常通信モードでありかつタイミング指示部23の制御
を行わないときは従来技術と同様な動作を行うため説明
は省略する。次に端末Aのモード切替部17が通常通信
モードで端末Bが留守番モードになっているときの端末
Aの動作について説明する。タイミング指示部23にお
いてタイミング指示信号を第3の制御部22に送信する
と第3の制御部22は前処理部2に画像取り込み制御信
号を送信する。前処理部2では現在入力されているアナ
ログビデオ入力信号の次のフレームに対して共通中間フ
ォーマットに変換し送信用フレームメモリ3に一旦保持
する。その後第3の制御部22は前処理部2に動作停止
制御信号を送り送信用フレームメモリ3への書き込み動
作を停止するように制御する。すなわちタイミング指示
部23で指示されたフレームが送信用フレームメモリ3
に保持されこのフレームデータが端末Bに送信される静
止画像メッセージデータになる。
The operation of the image communication terminal configured as described above will be described below. When the mode switching unit 17 is in the normal communication mode and the timing instructing unit 23 is not controlled, the same operation as that of the conventional technique is performed, and the description thereof is omitted. Next, the operation of the terminal A when the mode switching unit 17 of the terminal A is in the normal communication mode and the terminal B is in the answering machine mode will be described. When the timing instruction unit 23 transmits the timing instruction signal to the third control unit 22, the third control unit 22 transmits the image capture control signal to the preprocessing unit 2. The preprocessing unit 2 converts the next frame of the currently input analog video input signal into a common intermediate format and temporarily holds it in the transmission frame memory 3. After that, the third control unit 22 sends an operation stop control signal to the pre-processing unit 2 and controls so as to stop the writing operation to the transmission frame memory 3. That is, the frame instructed by the timing instructing unit 23 is the frame memory for transmission 3
And the frame data is stored as the still image message data to be transmitted to the terminal B.

【0020】次にこの静止画像メッセージデータととも
に、この画像データが前記タイミング指示部23で指示
された静止画像メッセージデータであることを端末Bに
通知するための制御信号とを端末Bに送信する。この方
法としては、CCITT H.221勧告に準拠した動
作をする多重/分離部6においてH.221で定義され
ていないBAS(Bit−rate Allocati
on Signal)符号を使って端末Bに通知する方
法、音声チャネルを使って通知する方法、データチャネ
ルを使って通知する方法等が考えられる。ここでは、エ
ンコーダ部4におけるビデオ信号多重化処理においてフ
レーム層内のタイプ情報(PTYPE)を使って通知す
る方法(または、フレーム層内の他の予備ビット等にこ
の制御ビットを割り当て端末Bに通知することも可能で
ある。)を説明する。前処理部2の動作終了後第3の制
御部22はエンコーダ部4に対して静止画モード設定制
御信号を送信する。この制御信号によりエンコーダ部4
は送信用フレームメモリ3に保持されている対象フレー
ムのデジタルビデオ送信信号に対してエンコード処理を
行うとともに静止画モードに移行し処理した多重化ビデ
オ信号を送信用バッファメモリ5に保持する。このとき
エンコーダ部4のビデオ信号多重化処理によりフレーム
層のタイプ情報の第5ビットは静止画状態に遷移したこ
とを示すように変化する。その後端末Aでは端末Bにこ
の多重化ビデオ送信信号を多重/分離部6および網イン
タフェース部7を介して端末Bに送信する。
Then, together with the still image message data, a control signal for notifying the terminal B that the image data is the still image message data instructed by the timing instruction section 23 is transmitted to the terminal B. This method includes CCITT H. In the multiplexing / separating unit 6 that operates according to the H.221 recommendation, the H.264 standard is used. BAS (Bit-rate Allocati) not defined in 221
on Signal), the method of notifying the terminal B, the method of notifying using the voice channel, the method of notifying using the data channel, and the like are conceivable. Here, in the video signal multiplexing process in the encoder unit 4, a method of notifying by using the type information (PTYPE) in the frame layer (or assigning this control bit to other spare bits in the frame layer and notifying the terminal B) It is also possible to do). After the operation of the preprocessing unit 2 is completed, the third control unit 22 transmits a still image mode setting control signal to the encoder unit 4. The encoder unit 4 is controlled by this control signal.
Performs an encoding process on the digital video transmission signal of the target frame held in the transmission frame memory 3, shifts to the still image mode, and holds the processed multiplexed video signal in the transmission buffer memory 5. At this time, the fifth bit of the type information of the frame layer changes due to the video signal multiplexing process of the encoder unit 4 so as to indicate that it has transited to the still image state. Thereafter, the terminal A transmits the multiplexed video transmission signal to the terminal B through the multiplexing / demultiplexing unit 6 and the network interface unit 7 to the terminal B.

【0021】次に端末B側の動作を説明する。端末Bの
第3の制御部22では端末Aから送信されてくる画像メ
ッセージデータである分離化ビデオ信号のフレーム層内
のタイプ情報の第5ビットを常に監視し端末Aからの画
像メッセージデータが静止画モードになったときデコー
ダ部9に画像メッセージデータ蓄積要求信号を送信しデ
コーダ部9は端末Aから送られてきた画像メッセージを
画像蓄積用メモリ19に蓄積する。このようにすること
により端末Bは端末Aからの最適なタイミングでの画像
メッセージデータを蓄積することができる。
Next, the operation on the terminal B side will be described. The third control unit 22 of the terminal B constantly monitors the fifth bit of the type information in the frame layer of the separated video signal, which is the image message data transmitted from the terminal A, and the image message data from the terminal A is stopped. When the image mode is set, an image message data storage request signal is transmitted to the decoder unit 9, and the decoder unit 9 stores the image message sent from the terminal A in the image storage memory 19. By doing so, the terminal B can store the image message data from the terminal A at the optimum timing.

【0022】次に本発明の第4実施例を説明する。図4
は本発明の第4実施例における画像通信端末の機能ブロ
ック図である。図4において、1はカメラ、2は前処理
部、3は送信用フレームメモリ、4はエンコーダ部、5
は送信用バッファメモリ、6は多重/分離部、7は網イ
ンタフェース部、8は受信用バッファメモリ、9はデコ
ーダ部、10は受信用フレームメモリ、11は後処理
部、12はモニタ、17はモード切替部であり、これら
は従来例と同様のものであるので同一符号を付し説明を
省略する。
Next, a fourth embodiment of the present invention will be described. Figure 4
FIG. 9 is a functional block diagram of an image communication terminal according to a fourth embodiment of the present invention. In FIG. 4, 1 is a camera, 2 is a pre-processing unit, 3 is a transmission frame memory, 4 is an encoder unit, 5
Is a transmission buffer memory, 6 is a multiplexing / demultiplexing unit, 7 is a network interface unit, 8 is a receiving buffer memory, 9 is a decoder unit, 10 is a receiving frame memory, 11 is a post-processing unit, 12 is a monitor, and 17 is The mode switching units are the same as those in the conventional example, and therefore, the same reference numerals are given and description thereof is omitted.

【0023】19は留守番モード時に相手側からの画像
メッセージデータを含む受信データを網インタフェース
部7と多重/分離部6とデコーダ部9で処理しその処理
されたデジタルビデオ受信信号を蓄積する画像蓄積用メ
モリ、24はエンコーダ部4の出力される多重化ビデオ
信号と多重/分離部6の出力である分離化ビデオ信号と
を切替え受信用バッファメモリ8に接続する第3の切替
え部、26は送信用フレームメモリ3からのデジタルビ
デオ送信信号と受信用フレームメモリ10とを切替えエ
ンコーダ部4に接続する第1の切替え部、25はモード
切替部17の切替え信号により第1の切替え部26と第
3の切替え部24とデコーダ部9とを制御しさらに画像
蓄積用メモリ19の残りメモリ量を監視する第4の制御
部である。
An image storage 19 stores received data including image message data from the other party in the answering machine mode by the network interface unit 7, the multiplexer / demultiplexer 6 and the decoder unit 9 and stores the processed digital video reception signal. Memory, 24 is a third switching unit for connecting the multiplexed video signal output from the encoder unit 4 and the demultiplexed video signal output from the multiplexing / demultiplexing unit 6 to the receiving buffer memory 8, and 26 is a transmitting unit. A first switching unit 25 for connecting the digital video transmission signal from the credit frame memory 3 and the receiving frame memory 10 to the switching encoder unit 4, and 25 for the first switching unit 26 and the third switching unit according to the switching signal of the mode switching unit 17. The fourth control unit controls the switching unit 24 and the decoder unit 9 and monitors the remaining memory amount of the image storage memory 19.

【0024】以上のように構成された画像通信端末につ
いて、以下にその動作を説明する。モード切替部17が
通常通信モードであるときは従来技術と同様な動作を行
うため説明は省略する。自側端末が留守番モードである
とき相手側端末からの画像メッセージデータを画像蓄積
用メモリ19に蓄積する。この動作は上述した動作と同
じであるため説明を省略する。第4の制御部25は画像
蓄積用メモリ19の残りメモリ量を監視しこの残りメモ
リ量がある一定量以下になったときは第1の切替え部2
6を受信用フレームメモリ10側にまた第3の切替え部
24はエンコーダ部4側に切替えられる。その後相手側
端末から受信し画像蓄積用メモリ19に蓄積されている
画像メッセージデータを受信用フレームメモリ10に転
送しさらに第1の切替え部26を介してエンコーダ部4
にそのデジタルビデオ受信信号を出力する。そのデジタ
ルビデオ受信信号はエンコーダ部4で共通中間フォーマ
ット化されたものであり、この信号はエンコーダ部4で
再度エンコーダ処理が行われる。このエンコーダ処理に
おいては、量子化レベルを通常レベルより粗くし通常動
作時よりデータ量の圧縮を行う。このようにしてデータ
の圧縮を行った多重ビデオ信号を第3の切替え部24を
介して受信用バッファメモリ8に一旦保持する。デコー
ダ部9はこの受信用バッファメモリ8に保持された分離
化ビデオ信号を処理し画像蓄積用メモリ19に再度蓄積
する。このデコーダ部9における処理方法は、通常と同
じデコード処理を行う第1の方法、画像データの分離処
理を行うが共通中間フォーマット化は行わない第2の方
法、入力される分離化ビデオ信号をなんら処理をしない
第3の方法が考えられる。このような動作をすることに
よって画像メッセージデータのデータ量を圧縮すること
ができ画像蓄積用メモリ19を有効に利用することがで
きる。
The operation of the image communication terminal configured as above will be described below. When the mode switching unit 17 is in the normal communication mode, the same operation as that of the conventional technique is performed, and thus the description thereof is omitted. When the own terminal is in the answering machine, the image message data from the other terminal is stored in the image storage memory 19. Since this operation is the same as the above-mentioned operation, its explanation is omitted. The fourth control unit 25 monitors the remaining memory amount of the image storage memory 19, and when the remaining memory amount falls below a certain amount, the first switching unit 2
6 is switched to the receiving frame memory 10 side, and the third switching section 24 is switched to the encoder section 4 side. After that, the image message data received from the other party's terminal and stored in the image storage memory 19 is transferred to the receiving frame memory 10, and further, via the first switching unit 26, the encoder unit 4
The digital video reception signal is output to. The digital video reception signal is one that has been subjected to a common intermediate format in the encoder unit 4, and this signal is subjected to encoder processing again in the encoder unit 4. In this encoder processing, the quantization level is made coarser than the normal level and the data amount is compressed more than in the normal operation. The multiplexed video signal thus compressed in data is temporarily held in the reception buffer memory 8 via the third switching unit 24. The decoder unit 9 processes the separated video signal held in the receiving buffer memory 8 and stores it again in the image storing memory 19. The processing method in the decoder unit 9 is the first method for performing the same decoding processing as usual, the second method for performing the image data separation processing but not the common intermediate formatting, and the input separated video signal. A third method without treatment is conceivable. By performing such an operation, the data amount of the image message data can be compressed and the image storage memory 19 can be effectively used.

【0025】次に本発明の第5実施例を説明する。図5
は本発明の第5実施例における画像通信端末の機能ブロ
ック図である。図5において、1はカメラ、2は前処理
部、3は送信用フレームメモリ、4はエンコーダ部、5
は送信用バッファメモリ、6は多重/分離部、7は網イ
ンタフェース部、8は受信用バッファメモリ、9はデコ
ーダ部、10は受信用フレームメモリ、11は後処理
部、12はモニタ、17はモード切替部であり、これら
は従来例と同様のものであるので同一符号を付し説明を
省略する。
Next, a fifth embodiment of the present invention will be described. Figure 5
FIG. 9 is a functional block diagram of an image communication terminal according to a fifth embodiment of the present invention. In FIG. 5, 1 is a camera, 2 is a pre-processing unit, 3 is a transmission frame memory, 4 is an encoder unit, 5
Is a transmission buffer memory, 6 is a multiplexing / demultiplexing unit, 7 is a network interface unit, 8 is a receiving buffer memory, 9 is a decoder unit, 10 is a receiving frame memory, 11 is a post-processing unit, 12 is a monitor, and 17 is The mode switching units are the same as those in the conventional example, and therefore, the same reference numerals are given and description thereof is omitted.

【0026】19は留守番モード時に相手側からの画像
メッセージデータを含む受信データを網インタフェース
部7と多重/分離部6とデコーダ部9で処理しその処理
されたデジタルビデオ受信信号を蓄積する画像蓄積用メ
モリ、24はエンコーダ部4の出力される多重化ビデオ
信号と多重/分離部6の出力である分離化受信信号とを
切替え受信用バッファメモリ8に接続する第3の切替え
部、28は後処理部11からのアナログビデオ出力信号
とカメラ1からのアナログビデオ入力信号とを切替え前
処理部2に接続する第2の切替え部、27はモード切替
部17の切替え信号により第2の切替え部28と第3の
切替え部24とデコーダ部9とを制御しさらに画像蓄積
用メモリ19の残りメモリ量を監視する第5の制御部で
ある。
An image storage 19 stores received data including image message data from the other party in the answering machine mode by the network interface unit 7, the multiplexing / demultiplexing unit 6 and the decoder unit 9 and stores the processed digital video reception signal. Memory, 24 is a third switching unit for connecting the multiplexed video signal output from the encoder unit 4 and the separated reception signal output from the multiplexing / separation unit 6 to the switching reception buffer memory 8, and 28 is a rear A second switching unit that connects the analog video output signal from the processing unit 11 and the analog video input signal from the camera 1 to the switching preprocessing unit 2, and 27 is a second switching unit 28 according to the switching signal of the mode switching unit 17. The fifth control unit controls the third switching unit 24 and the decoder unit 9 and monitors the remaining memory amount of the image storage memory 19.

【0027】以上のように構成された画像通信端末につ
いて、以下にその動作を説明する。モード切替部17が
通常通信モードであるときは従来技術と同様な動作を行
うため説明は省略する。自側端末が留守番モードである
とき相手側端末からの画像メッセージデータを画像蓄積
用メモリ19に蓄積する。この動作は上述した動作と同
じであるため説明を省略する。第5の制御部27は画像
蓄積用メモリ19の残りメモリ量を監視しこの残りメモ
リ量がある一定量以下になったときは第2の切替え部2
8を後処理部11側に切替え、また第3の切替え部24
はエンコーダ部4側に切替えられる。その後相手側端末
から受信し画像蓄積用メモリ19に蓄積されている画像
メッセージデータを受信用フレームメモリ10に転送し
後処理部11でアナログビデオ出力信号に変換されさら
に第2の切替え部28を介して前処理部2に出力され共
通中間フォーマット化が行われる。この前処理部2の共
通中間フォーマット化において通常通信モード時にはC
IFフォーマット(352ドット×244ライン)化さ
れるが、このモード時にはQCIFフォーマット(17
6ドット×144ライン)化を行いデータ量を大幅に削
減する。その後QCIFフォーマット化が行われたデジ
タルビデオ送信信号は一旦送信用フレームメモリ3に保
持されエンコーダ部4でエンコード処理される。このエ
ンコーダ処理においては、量子化レベルを通常レベルよ
り粗くし通常動作よりデータ量の圧縮を行う方法、通常
通信モードでの処理と同じ処理を行う方法等が考えられ
る。このような処理を行われた多重ビデオ信号を第3の
切替え部24を介して受信用バッファメモリ8に一旦保
持する。デコーダ部9はこの受信用バッファメモリ8に
保持された分離化ビデオ信号を処理し画像蓄積用メモリ
19に再度蓄積する。このデコーダ部9における処理方
法は、通常と同じデコード処理を行う第1の方法、画像
データの分離処理を行うが共通中間フォーマット化は行
わない第2の方法、入力される分離化ビデオ信号をなん
ら処理をしない第3の方法が考えられる。このような動
作をすることによって画像メッセージデータのデータ量
を大幅に圧縮することができ画像蓄積用メモリ19を有
効に利用することができる。
The operation of the image communication terminal configured as described above will be described below. When the mode switching unit 17 is in the normal communication mode, the same operation as that of the conventional technique is performed, and thus the description thereof is omitted. When the own terminal is in the answering machine, the image message data from the other terminal is stored in the image storage memory 19. Since this operation is the same as the above-mentioned operation, its explanation is omitted. The fifth control unit 27 monitors the remaining memory amount of the image storage memory 19, and when the remaining memory amount falls below a certain amount, the second switching unit 2
8 to the post-processing unit 11 side, and the third switching unit 24
Is switched to the encoder section 4 side. After that, the image message data received from the other terminal and stored in the image storage memory 19 is transferred to the receiving frame memory 10 and converted into an analog video output signal by the post-processing unit 11 and further via the second switching unit 28. And output to the pre-processing unit 2 for common intermediate formatting. In the common intermediate format of the preprocessing unit 2, C is set in the normal communication mode.
IF format (352 dots x 244 lines) is created, but in this mode, QCIF format (17
(6 dots x 144 lines) to significantly reduce the amount of data. Thereafter, the digital video transmission signal subjected to the QCIF format is once held in the transmission frame memory 3 and is encoded by the encoder unit 4. In this encoder processing, a method of making the quantization level coarser than the normal level and compressing the amount of data by the normal operation, a method of performing the same processing as the processing in the normal communication mode, and the like can be considered. The multiplexed video signal thus processed is temporarily held in the reception buffer memory 8 via the third switching section 24. The decoder unit 9 processes the separated video signal held in the receiving buffer memory 8 and stores it again in the image storing memory 19. The processing method in the decoder unit 9 is the first method for performing the same decoding processing as usual, the second method for performing the image data separation processing but not the common intermediate formatting, and the input separated video signal. A third method without treatment is conceivable. By performing such an operation, the data amount of the image message data can be significantly compressed and the image storage memory 19 can be effectively used.

【0028】[0028]

【発明の効果】以上のように本発明の画像通信端末は、
従来例のように送信メッセージ用VTRと受信メッセー
ジ用VTR等を使わず、留守番機能を持たない画像通信
端末に静止画像メッセージデータを蓄積するための画像
蓄積用メモリと簡単な制御回路等を追加するのみで構成
できるため、非常に安価でかつサイズを小さくすること
ができる。また画像メッセージ取り込みタイミングを指
示することにより最適なタイミングでの静止画像メッセ
ージを受信蓄積することができるため、有効な静止画像
メッセージデータを確実に蓄積することができる。さら
に静止画像メッセージデータの量を自側の前処理機能お
よびエンコード機能を用いることによりさらに圧縮し蓄
積し直すことができるため画像蓄積用メモリの効率的利
用が可能な画像通信端末を実現することができる。
As described above, the image communication terminal of the present invention is
Unlike the conventional example, a VTR for sending message and a VTR for receiving message are not used, and an image storage memory for storing still image message data and a simple control circuit are added to an image communication terminal without an answering machine function. Since it can be configured only by itself, it is very inexpensive and can be reduced in size. Further, by instructing the image message capture timing, the still image message can be received and stored at the optimum timing, so that the effective still image message data can be surely stored. Furthermore, since the amount of still image message data can be further compressed and stored again by using the preprocessing function and encoding function of the own side, it is possible to realize an image communication terminal that can efficiently use the image storage memory. it can.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1実施例における画像通信端末の機
能ブロック図
FIG. 1 is a functional block diagram of an image communication terminal according to a first embodiment of the present invention.

【図2】本発明の第2実施例における画像通信端末の機
能ブロック図
FIG. 2 is a functional block diagram of an image communication terminal according to a second embodiment of the present invention.

【図3】本発明の第3実施例における画像通信端末の機
能ブロック図
FIG. 3 is a functional block diagram of an image communication terminal according to a third embodiment of the present invention.

【図4】本発明の第4実施例における画像通信端末の機
能ブロック図
FIG. 4 is a functional block diagram of an image communication terminal according to a fourth embodiment of the present invention.

【図5】本発明の第5実施例における画像通信端末の機
能ブロック図
FIG. 5 is a functional block diagram of an image communication terminal according to a fifth embodiment of the present invention.

【図6】従来の画像通信端末の機能ブロック図FIG. 6 is a functional block diagram of a conventional image communication terminal.

【符号の説明】[Explanation of symbols]

1 カメラ 2 前処理部 3 送信用フレームメモリ 4 エンコーダ部 5 送信用バッファメモリ 6 多重/分離部 7 網インタフェース部 8 受信用バッファメモリ 9 デコーダ部 10 受信用フレームメモリ 11 後処理部 17 モード切替部 19 画像蓄積用メモリ 20 第1の制御部 21 第2の制御部 22 第3の制御部 23 タイミング指示部 24 第3の切替え部 25 第4の制御部 26 第1の切替え部 27 第5の制御部 28 第2の切替え部 1 camera 2 pre-processing unit 3 transmission frame memory 4 encoder unit 5 transmission buffer memory 6 multiplexing / demultiplexing unit 7 network interface unit 8 reception buffer memory 9 decoder unit 10 reception frame memory 11 post-processing unit 17 mode switching unit 19 Image storage memory 20 First control unit 21 Second control unit 22 Third control unit 23 Timing instruction unit 24 Third switching unit 25 Fourth control unit 26 First switching unit 27 Fifth control unit 28 Second switching unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 福重 文夫 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 ─────────────────────────────────────────────────── ─── Continuation of front page (72) Inventor Fumio Fukushige 1006 Kadoma, Kadoma City, Osaka Prefecture Matsushita Electric Industrial Co., Ltd.

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】自側カメラ等からの自側アナログビデオ入
力信号を入力し共通中間フォーマットに変換されたデジ
タルビデオ送信信号を出力する前処理部と、入力される
前記デジタルビデオ送信信号を一旦保持する送信用フレ
ームメモリと、この送信用フレームメモリからデジタル
ビデオ送信信号を読み出しある動画像の圧縮アルゴリズ
ムにしたがい符号化しその符号化された画像データを多
重化するエンコード部と、このエンコード部で多重化さ
れた多重化ビデオ信号を一旦保持する送信用バッファメ
モリと、この送信用バッファメモリから多重化ビデオ信
号信号を読みだし音声、多重化ビデオ信号、データ、シ
ステム制御信号などの各種信号を多重化しまた相手側端
末からの多重化受信信号を分離する多重/分離部と、前
記多重化された多重化送信信号を入力し通信網に送信信
号を出力しかつ通信網から入力される相手側受信信号を
多重/分離部に出力する網インタフェース部と、多重/
分離部から出力される分離化ビデオ信号を一旦保持する
受信用バッファメモリと、前記受信用バッファメモリか
ら分離化ビデオ信号を動画像圧縮アルゴリズムにしたが
い分離、伸長し共通中間フォーマットに変換するデコー
ダ部と、このデコーダ部から出力される共通中間フォー
マット化されたデジタルビデオ受信信号を保持する受信
用フレームメモリと、この受信用フレームメモリからデ
ジタルビデオ受信信号を読みだしアナログビデオ出力信
号をモニタに出力する後処理部と、自側端末の通常通信
モードと留守番モードとを切替るモード切替部と、この
モード切替部の制御により各ブロックのモード切替え制
御を行う第1の制御部とから構成され、通常通信モード
から留守番モードにモードを切替えられたときの自側カ
メラ等から入力された自側アナログビデオ入力信号のフ
レームのみを相手側端末への静止画像メッセージデータ
として処理し前記送信用バッファメモリに保持してお
き、留守番モード時に相手側端末からの着信があったな
らば前記送信用バッファメモリに保持されている静止画
像メッセージデータを相手側端末に送信するようにした
ことを特徴とする画像通信端末。
1. A preprocessing unit for inputting a local analog video input signal from a local camera or the like and outputting a digital video transmission signal converted into a common intermediate format, and temporarily holding the input digital video transmission signal. A transmission frame memory, a digital video transmission signal from the transmission frame memory, an encoding unit that encodes according to a moving image compression algorithm and multiplexes the encoded image data, and an encoding unit that multiplexes A transmission buffer memory that temporarily holds the multiplexed video signal that has been generated, and a multiplexed video signal signal that is read from this transmission buffer memory that multiplexes various signals such as voice, multiplexed video signal, data, and system control signal. A multiplexer / demultiplexer for separating the multiplexed received signal from the other terminal, and the multiplexed multiplexer. A network interface unit for outputting the other party received signal inputted from the transmission signal inputted and outputs the transmission signal to the communication network and the communication network to the multiplexing / demultiplexing unit, the multiplexing /
A receiving buffer memory for temporarily holding the separated video signal output from the separating unit, and a decoder unit for separating and expanding the separated video signal from the receiving buffer memory according to a moving image compression algorithm and converting it into a common intermediate format. After receiving the digital video reception signal from the reception frame memory that holds the common intermediate-formatted digital video reception signal output from this decoder unit and outputting the analog video output signal to the monitor The communication unit includes a processing unit, a mode switching unit that switches between the normal communication mode and the answering machine mode of the own terminal, and a first control unit that controls the mode switching of each block under the control of the mode switching unit. Input from the local camera etc. when the mode is switched from the answering mode to the answering machine. Only the frame of the local analog video input signal is processed as still image message data to the other terminal and stored in the transmission buffer memory, and if there is an incoming call from the other terminal in the answering machine mode, the transmission is performed. An image communication terminal characterized in that the still image message data held in the credit buffer memory is transmitted to the other terminal.
【請求項2】前記デコーダ部から出力されるデジタルビ
デオ受信信号を蓄積する画像蓄積用メモリを設け、自側
端末が留守番モード時に相手側からの静止画像メッセー
ジデータを保持し留守番モード解除時に再生するにあた
り、前記画像蓄積用メモリが、相手側から送信されてく
る所定のフレームデータを蓄積することを特徴とする請
求項1記載の画像通信端末。
2. An image storage memory for storing a digital video reception signal output from the decoder section is provided, and the own terminal holds still image message data from the other party in the answering machine mode and reproduces it when the answering machine mode is released. The image communication terminal according to claim 1, wherein the image storage memory stores predetermined frame data transmitted from the other party.
【請求項3】静止画像メッセージデータの取り込みタイ
ミングを指示するタイミング指示部を具備した画像通信
端末同士の通信において、一方の端末が留守番モードに
なっているときは、他方の端末ではタイミング指示部で
一方の端末側で蓄積する静止画像メッセージデータの取
り込みタイミングを指示し、さらにそのタイミング指示
信号を一方の端末に送信し、また一方の端末において
は、他方の端末から送信されてくる前記タイミング指示
信号を常に監視・解析し、そのタイミング指示信号で指
示されるフレームの静止画像メッセージデータを前記画
像蓄積用メモリに蓄積するようにしたことを特徴とする
請求項2記載の画像通信端末。
3. In communication between image communication terminals equipped with a timing instructing section for instructing a timing of capturing still image message data, when one terminal is in an answering machine, the other terminal uses the timing instructing section. One terminal indicates the timing of capturing still image message data to be stored, and further transmits the timing instruction signal to one terminal, and in one terminal, the timing instruction signal transmitted from the other terminal. 3. The image communication terminal according to claim 2, wherein the still image message data of the frame instructed by the timing instruction signal is constantly stored and stored in the image storage memory.
【請求項4】自側カメラ等からの自側アナログビデオ入
力信号を入力し共通中間フォーマットに変換されたデジ
タルビデオ送信信号を出力する前処理部と、入力される
前記デジタルビデオ送信信号を保持する送信用フレーム
メモリと、この送信用フレームメモリからのデジタルビ
デオ送信信号と受信用フレームメモリからのデジタルビ
デオ受信信号とを切替えることのできる第1の切替え部
と、この第1の切替え部からのデジタルビデオ信号を入
力しエンコードするエンコード部と、このエンコード部
でエンコードされた多重化ビデオ信号を一旦保持する送
信用バッファメモリと、この送信用バッファメモリから
多重化ビデオ信号を読みだし音声、多重化ビデオ信号、
データ、システム制御信号などの各種信号を多重化しま
た相手側端末からの多重化受信信号を分離する多重化/
分離部と、前記多重化された多重化送信信号を通信網に
出力しかつ通信網から入力される相手側受信信号を多重
/分離部に出力する網インタフェース部と、多重/分離
部から出力される分離化ビデオ信号を一旦保持する受信
用バッファメモリと、この受信用バッファメモリから分
離化ビデオ信号をデコードするデコーダ部と、このデコ
ーダ部から出力される共通中間フォーマット化されたデ
ジタルビデオ受信信号を保持する受信用フレームメモリ
と、この受信用フレームメモリからのデジタルビデオ受
信信号を読みだし逆共通中間フォーマット化を行いアナ
ログビデオ出力信号をモニタに出力する後処理部と、自
側端末の通常通信モードと留守番モードとを切替るモー
ド切替部と、このモード切替部の制御により各ブロック
のモード切替え制御を行う制御部と、留守番モード時に
相手側からのデジタルビデオ受信信号を蓄積する画像蓄
積用メモリと、前記多重化ビデオ信号と分離化ビデオ信
号を切替え前記受信用バッファメモリに出力する第3の
切替え部とから構成され、通常通信モード時には前記第
1の切替え部はデジタルビデオ送信信号にまた前記第3
の切替え部は多重化ビデオ信号に切替えられ、留守番モ
ード時には前記第1の切替え部はデジタルビデオ受信信
号にまた前記第3の切替え部は分離化ビデオ信号に切替
えられるように制御され、前記画像蓄積用メモリの残り
メモリ量がある量以下になったとき既に画像蓄積用メモ
リに蓄積されているデジタルビデオ受信信号を前記受信
用フレームメモリに転送し前記第1の切替え部を介して
前記エンコーダ部に入力し、このエンコーダ部では通常
通信モード時よりも量子化ステップを粗くする等の処理
を行い画像データ量を少なくし前記第3の切替え部を介
して折り返し前記受信用バッファメモリに一旦蓄積し、
さらに前記デコーダ部を通して再び前記画像蓄積用メモ
リに蓄積することにより画像蓄積用メモリの残りメモリ
量を増やし有効に画像蓄積用メモリを利用することを特
徴とする画像通信端末。
4. A preprocessing unit for inputting a local analog video input signal from a local camera or the like and outputting a digital video transmission signal converted into a common intermediate format, and holding the input digital video transmission signal. A transmission frame memory, a first switching unit capable of switching between a digital video transmission signal from the transmission frame memory and a digital video reception signal from the reception frame memory, and a digital signal from the first switching unit. An encoding unit that inputs and encodes a video signal, a transmission buffer memory that temporarily holds the multiplexed video signal encoded by this encoding unit, a multiplexed video signal that is read from this transmission buffer memory, and audio and multiplexed video signal,
Multiplexing that multiplexes various signals such as data and system control signals, and separates multiplexed reception signals from the other terminal
A demultiplexing unit, a network interface unit for outputting the multiplexed multiplexed transmission signal to a communication network and a counterpart reception signal input from the communication network to the multiplexing / demultiplexing unit, and an output from the multiplexing / demultiplexing unit. A receiving buffer memory that temporarily holds the separated video signal, a decoder unit that decodes the separated video signal from the receiving buffer memory, and a common intermediate formatted digital video reception signal that is output from the decoder unit. The receiving frame memory that holds it, the post-processing unit that reads the digital video received signal from this receiving frame memory, performs reverse common intermediate formatting, and outputs the analog video output signal to the monitor, and the normal communication mode of the local terminal Mode switching unit that switches between the answering mode and the answering mode, and the mode switching control of each block by the control of this mode switching unit. A control unit for performing the above, an image storage memory for storing a digital video reception signal from the other party in the answering machine mode, and a third switching for switching between the multiplexed video signal and the separated video signal and outputting to the reception buffer memory. In the normal communication mode, the first switching unit converts the digital video transmission signal to the third video signal.
Is switched to a multiplexed video signal, and in the answering mode, the first switching unit is controlled to switch to a digital video reception signal and the third switching unit to a separated video signal to control the image storage. When the remaining memory amount of the memory for use becomes less than a certain amount, the digital video reception signal already stored in the image storage memory is transferred to the reception frame memory and is transferred to the encoder unit via the first switching unit. This encoder unit performs processing such as making the quantization step coarser than in the normal communication mode to reduce the amount of image data, and returns it via the third switching unit and temporarily stores it in the reception buffer memory,
Furthermore, the image communication terminal is characterized in that the image storage memory is reused through the decoder unit to increase the remaining memory amount of the image storage memory and effectively use the image storage memory.
【請求項5】自側カメラ等からの自側アナログビデオ入
力信号と後処理部から出力されるアナログビデオ出力信
号とを切替えることができる第2の切替え部を設け、通
常通信モード時には前記第2の切替え部はアナログビデ
オ入力信号に切替えられ、留守番モード時には前記第2
の切替え部はアナログビデオ出力信号に切替えられるよ
うに制御され、前記画像蓄積用メモリの残りメモリ量が
ある量以下になったとき既に画像蓄積用メモリに蓄積さ
れているデジタルビデオ受信信号を前記受信用フレーム
メモリに転送し、前記後処理部で逆共通中間フォーマッ
ト化されたアナログビデオ出力信号を前記第2の切替え
部を切替え、前記前処理部に共通中間フォーマットのう
ちCIFフォーマットではなくQCIFフォーマット化
し、このQCIFフォーマット化されたデジタルビデオ
送信信号を一旦前記送信用フレームメモリに保持して前
記エンコーダ部に入力し、このエンコーダ部では、通常
通信モード時よりも量子化ステップを粗くする等の処理
を行い画像データ量を少なくし前記第3の切替え部を介
して前記受信用バッファメモリに保持され、さらにデコ
ーダ部を通して再び前記画像蓄積用メモリに蓄積するこ
とにより画像蓄積用メモリの残りメモリ量を増やし有効
に画像蓄積用メモリを利用することを特徴とする請求項
4記載の画像通信端末。
5. A second switching unit for switching between a local analog video input signal from a local camera or the like and an analog video output signal output from a post-processing unit is provided, and the second switching unit is provided in the normal communication mode. Is switched to an analog video input signal, and in the answering machine mode, the second
Is controlled to switch to an analog video output signal, and the digital video reception signal already stored in the image storage memory is received when the remaining memory amount of the image storage memory becomes less than a certain amount. To the frame memory for use, and the post-processing section switches the analog video output signal reverse-common intermediate format to the second switching section, and the pre-processing section converts the common intermediate format to QCIF format instead of CIF format. The QCIF-formatted digital video transmission signal is temporarily held in the transmission frame memory and input to the encoder section. In this encoder section, processing such as coarser quantization step than in the normal communication mode is performed. The amount of image data is reduced and the reception buffer is passed through the third switching unit. The image storage memory according to claim 4, wherein the image storage memory is held in a memory and further stored in the image storage memory through a decoder unit to increase the remaining memory amount of the image storage memory and to effectively use the image storage memory. Communication terminal.
JP27524293A 1993-11-04 1993-11-04 Image communication terminal Expired - Fee Related JP3334287B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27524293A JP3334287B2 (en) 1993-11-04 1993-11-04 Image communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27524293A JP3334287B2 (en) 1993-11-04 1993-11-04 Image communication terminal

Publications (2)

Publication Number Publication Date
JPH07131773A true JPH07131773A (en) 1995-05-19
JP3334287B2 JP3334287B2 (en) 2002-10-15

Family

ID=17552682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27524293A Expired - Fee Related JP3334287B2 (en) 1993-11-04 1993-11-04 Image communication terminal

Country Status (1)

Country Link
JP (1) JP3334287B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245286A (en) * 2000-02-29 2001-09-07 Aiphone Co Ltd Video doorphone system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02104183A (en) * 1988-10-13 1990-04-17 Mitsubishi Electric Corp Still image video telephone set
JPH03250889A (en) * 1990-02-28 1991-11-08 Sharp Corp Video telephone set with automatic answering recording function
JPH04157957A (en) * 1990-10-22 1992-05-29 Ricoh Co Ltd Automatic answering function control method for video telephone set
JPH0494869U (en) * 1991-01-07 1992-08-18
JPH04238486A (en) * 1991-01-23 1992-08-26 Murata Mach Ltd Television telephone set
JPH0595538A (en) * 1991-10-02 1993-04-16 Toshiba Corp Picture coding device
JPH0774830A (en) * 1993-06-22 1995-03-17 Canon Inc Multimedia information communication device
JPH07131765A (en) * 1993-11-02 1995-05-19 Matsushita Electric Ind Co Ltd Picture communication equipment

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02104183A (en) * 1988-10-13 1990-04-17 Mitsubishi Electric Corp Still image video telephone set
JPH03250889A (en) * 1990-02-28 1991-11-08 Sharp Corp Video telephone set with automatic answering recording function
JPH04157957A (en) * 1990-10-22 1992-05-29 Ricoh Co Ltd Automatic answering function control method for video telephone set
JPH0494869U (en) * 1991-01-07 1992-08-18
JPH04238486A (en) * 1991-01-23 1992-08-26 Murata Mach Ltd Television telephone set
JPH0595538A (en) * 1991-10-02 1993-04-16 Toshiba Corp Picture coding device
JPH0774830A (en) * 1993-06-22 1995-03-17 Canon Inc Multimedia information communication device
JPH07131765A (en) * 1993-11-02 1995-05-19 Matsushita Electric Ind Co Ltd Picture communication equipment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245286A (en) * 2000-02-29 2001-09-07 Aiphone Co Ltd Video doorphone system

Also Published As

Publication number Publication date
JP3334287B2 (en) 2002-10-15

Similar Documents

Publication Publication Date Title
US5333137A (en) Coding system having data controlling mechanism activated when error is detected
US5900906A (en) Image communication apparatus having automatic answering and recording function
JP3334287B2 (en) Image communication terminal
JP3728812B2 (en) Image communication terminal
EP1463333A1 (en) Apparatus and method for image, video and audio processing
JPH09130263A (en) Data communication equipment, encoding device and decoding device
JPS63252083A (en) Picture coding transmitter
JP2003125367A (en) Multimedia communication terminal
JPH07170505A (en) Image communication equipment
JP2003348222A (en) Portable telephone set with video telephone function
WO2001043443A1 (en) Video encoding/transmitting device, video receiving/decoding device, video transmitting/receiving device, and video transmitting system
JPH0823526A (en) Video telephone
JPH05244109A (en) Multiplex communication system between video conference systems
JP2733153B2 (en) Image transmission device
JP2992573B2 (en) Video Phone / Video Conference Equipment
JPH0530234A (en) Automatic answering video telephone set
JPH10145760A (en) Image communication device
JPH0715706A (en) Tv telephone system
JP3599661B2 (en) Image communication terminal
JP3212645B2 (en) Image / audio transmission system
JP2005057362A (en) Transmitting/receiving and recording system for voice and picture
JP2908335B2 (en) Voice / digital data multiplex transmission method for information processing equipment.
JP3444905B2 (en) Video communication method
JPH09172608A (en) Picture voice encoding device and picture voice recording and reproducing device
JP3127080B2 (en) Image communication device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070802

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080802

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090802

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100802

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110802

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees