JPH09214561A - Multimedia communication system, inter-work equipment and multimedia communication terminal equipment used for the system - Google Patents
Multimedia communication system, inter-work equipment and multimedia communication terminal equipment used for the systemInfo
- Publication number
- JPH09214561A JPH09214561A JP8016076A JP1607696A JPH09214561A JP H09214561 A JPH09214561 A JP H09214561A JP 8016076 A JP8016076 A JP 8016076A JP 1607696 A JP1607696 A JP 1607696A JP H09214561 A JPH09214561 A JP H09214561A
- Authority
- JP
- Japan
- Prior art keywords
- communication
- multimedia
- information
- communication terminal
- multimedia communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Small-Scale Networks (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明はマルチメディア通信
システム、インターワーク装置およびマルチメディア通
信端末に係わり、例えば、特に、映像・音声・データ等
のマルチメディア情報を多重化して相互通信することが
可能なテレビ電話・会議システム等を代表とするマルチ
メディア通信端末に関して、LAN(Local arca netwo
rk) 回線に接続されているマルチメディア通信端末と、
PSTN・ISDN回線等の公衆回線網に接続されてい
るマルチメディア通信端末との間の相互通信を、インタ
ーワーク装置を介して可能にする場合のマルチメディア
通信システムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a multimedia communication system, an interworking device and a multimedia communication terminal, and in particular, it is possible to multiplex multimedia information such as video / audio / data to mutually communicate. LAN (Local arca netwo) for multimedia communication terminals typified by various videophones and conference systems.
rk) multimedia communication terminal connected to the line,
The present invention relates to a multimedia communication system for enabling mutual communication with a multimedia communication terminal connected to a public line network such as PSTN / ISDN line via an interwork device.
【0002】[0002]
【従来の技術】近年、パーソナル・コンピュータ(以下
PCと記す)の急激な高速化、大容量化、高機能化およ
び低価格化等によって、従来よりITU−T/ISO等
によって順次勧告化・標準化が進められていて、映像情
報・音声情報・データ等のマルチメディア通信サービス
の本格的な普及が促進されてきた。2. Description of the Related Art In recent years, due to rapid increase in speed, increase in capacity, increase in function, and reduction in price of personal computers (hereinafter referred to as PCs), ITU-T / ISO and the like have successively recommended and standardized them. Is being promoted, and full-scale spread of multimedia communication services such as video information, audio information, and data has been promoted.
【0003】特に、狭帯域ISDN回線(以下、N−I
SDNと記す)利用によるITU−T勧告H.320シ
リーズに基づくマルチメディア通信は、各種のPC会議
システムの実質的な標準として急激な普及が見込まれて
いる。In particular, narrow band ISDN lines (hereinafter referred to as NI
It is referred to as SDN) ITU-T Recommendation H. The multimedia communication based on the 320 series is expected to rapidly spread as a practical standard for various PC conference systems.
【0004】同時に、将来の通信網である広帯域ISD
N(以下、B−ISDNと記す)上、あるいはより高速
なLAN回線上での通信プロトコルとして採用されるA
TM通信に基づくマルチメディア通信としてITU−T
勧告H.310シリーズや、PSTN回線へのマルチメ
ディア通信適用のためのITU−T勧告H.324シリ
ーズ等も順次規定されている。At the same time, broadband ISD, which is a future communication network
A used as a communication protocol over N (hereinafter referred to as B-ISDN) or a higher-speed LAN line
ITU-T as multimedia communication based on TM communication
Recommendation H. 310 series and ITU-T Recommendation H.264 for multimedia communication application to PSTN lines. The 324 series, etc. are also being specified in order.
【0005】また、PC普及に伴う企業内ネットワーク
としてのLAN施設も急激に普及が進み、企業内のPC
はイーサネット等のLANに接続されて使用されてい
る。また、帯域保証されたISV LAN等に対するマ
ルチメディア通信適用には、ITU−T勧告H.322
シリーズ規定されつつあるが、通常企業内LANとして
施設されている帯域保証のされないLAN上でのマルチ
メディア通信に適用する勧告の規定はなされていない。In addition, LAN facilities as a corporate network are rapidly spreading due to the spread of PCs, and
Is used by being connected to a LAN such as Ethernet. In addition, ITU-T Recommendation H.264 is applied to the application of multimedia communication to ISV LAN and the like with guaranteed bandwidth. 322
Although the series is being defined, there is no provision for recommendations to be applied to multimedia communication on a LAN that is usually provided as a corporate LAN and is not guaranteed in bandwidth.
【0006】企業内LANに接続されたPCと、公衆網
に接続されたPCとによるマルチメディア通信を行うた
めには、LANとPSTN・ISDN等の公衆網とのイ
ンターワークを行う装置、すなわち、一般的にゲートウ
ェイとかルータとか呼ばれるインターワーク装置が必要
となる。In order to perform multimedia communication between a PC connected to a corporate LAN and a PC connected to a public network, a device for interworking the LAN and a public network such as PSTN / ISDN, that is, Generally, an interwork device called a gateway or a router is required.
【0007】上記インターワーク装置においては、LA
Nの通信プロトコルとPSTN・ISDN等の公衆網の
各種通信プロトコル間のプロトコル変換や、LAN・公
衆網間の速度差異を吸収するための制御や、場合によっ
ては音声・映像情報の符号化変換処理等が行われる。In the above interworking device, LA
Protocol conversion between N communication protocol and various communication protocols of public network such as PSTN / ISDN, control for absorbing speed difference between LAN / public network, and in some cases, audio / video information coding conversion processing And so on.
【0008】現在標準として規定されているITU−T
勧告H.320シリーズにおいては、ITU−T勧告
H.221においてマルチメディア多重化フレーム構造
を規定している。図5は、N−ISDNの64kbps
×1チャネル上でのH.221フレーム構造を示す図で
あり、横軸の1〜8の数字はビット番号である。また、
縦軸の1〜80の数字はオクテット番号であり、N−I
SDN上の1Bチャネル上で伝送される80オクテット
で1フレームを構成する。ITU-T currently defined as a standard
Recommendation H. In the 320 series, ITU-T Recommendation H.264 is used. 221 defines a multimedia multiplexing frame structure. FIG. 5 shows N-ISDN 64 kbps.
H.x on 1 × 1 channel. It is a figure which shows a 221 frame structure, and the numbers 1-8 of a horizontal axis are bit numbers. Also,
The numbers from 1 to 80 on the vertical axis are octet numbers, and NI
One frame is composed of 80 octets transmitted on the 1B channel on the SDN.
【0009】図5におけるFAS(フレーム同期信号)
により、フレーム同期・マルチフレーム同期の制御、通
信品質の監視機能および警報情報通知等の制御を行う。
ITU−T H242.ではインチャネルでのBAS
(ビット割当信号)を用いた、能力情報交換シーケンス
・モード切換シーケンス等の通信手順が規定されてい
る。ITU−T H.230では、マルチメディア通信
に必要な各種制御および通知信号に関して規定してい
る。FAS (frame synchronization signal) in FIG.
By this, control of frame synchronization / multi-frame synchronization, communication quality monitoring function, alarm information notification, and the like are performed.
ITU-T H242. Then in-channel BAS
Communication procedures such as capability information exchange sequence and mode switching sequence using (bit allocation signal) are defined. ITU-TH. 230 specifies various control and notification signals necessary for multimedia communication.
【0010】一方、ITU−T H.261では、p×
64kbps(p=1〜30)の速度における動画像情
報の符号化・復号化に関して規定している。ITU−T
H.320は、N−ISDNを利用したマルチメディ
ア通信全体のシステムアスペクトであり、その他のマル
チメディア通信において適用すべき音声符号化Gシリー
ズ勧告や、データ通信系制御としてMLP(Multi Laye
red Protocol)上で採用されるべきT120シリーズ勧
告等も順次規定されている。On the other hand, ITU-TH. In 261, px
It stipulates encoding / decoding of moving image information at a speed of 64 kbps (p = 1 to 30). ITU-T
H. Reference numeral 320 denotes a system aspect of the entire multimedia communication using N-ISDN. The voice coding G series recommendation to be applied in other multimedia communication and MLP (Multi Layer) as data communication system control.
The T120 series recommendations, etc. to be adopted under the Red Protocol) are also being specified in sequence.
【0011】現在あるISDNとLANとのインターワ
ークを行うマルチメディア通信対応のインターワーク装
置は、ISV LANとISDN間のインターワークを
制御するものや、LAN側は映像・音声情報等の大容量
通信用に特殊なLANを想定したものが多い。また、一
部イーサネット等のポピュラーなLAN上に対応して、
独自にインターワーク制御を行うことを試みた製品も多
少みられるようになってきた。The existing interworking device for multimedia communication for interworking between ISDN and LAN controls interworking between ISV LAN and ISDN, and LAN side has a large capacity communication of video / audio information. Many have assumed a special LAN for use. In addition, it supports some popular LAN such as Ethernet,
Some products that tried to perform their own interwork control have become available.
【0012】[0012]
【発明が解決しようとする課題】しかしながら、上述従
来のマルチメディア通信システムにおいては、LAN側
がOAネットワーク用のLANとは別のLANであるた
め、通常のOAネットワークにのみ接続されたPCから
は利用することができなかった。したがって、従来はL
ANを別途に施設する必要があり、高価なものであった
ために広く普及しなかった。However, in the above-mentioned conventional multimedia communication system, since the LAN side is a LAN different from the LAN for the OA network, it can be used from a PC connected only to the normal OA network. I couldn't. Therefore, conventionally, L
Since the AN had to be installed separately and was expensive, it did not spread widely.
【0013】また、インターワーク装置上でのプロトコ
ル変換/符号化変換等が最適に考慮されていなかった。
また、LAN回線に接続された複数の端末と公衆網端末
間の多地点間通信を、大規模な多地点制御装置なしで容
易に行えることを考慮したり、公衆網上とLAN上での
通信速度の差異等を考慮して、むやみにLAN上の通信
トラフィックを浪費しないように考慮するインターワー
ク装置は未だ得られていなかった。Further, the protocol conversion / encoding conversion on the interwork device has not been considered optimally.
In addition, considering that multipoint communication between a plurality of terminals connected to a LAN line and a public network terminal can be easily performed without a large-scale multipoint control device, communication on the public network and LAN is considered. An interworking device, which takes into consideration the difference in speed and the like so as not to waste communication traffic on the LAN, has not yet been obtained.
【0014】本発明は上述の問題点を鑑みてなされたも
のであり、LAN回線上のマルチメディア通信端末と公
衆回線網上のマルチメディア通信端末とのインターワー
クを簡単に実現できるようにすることを第1目的とす
る。The present invention has been made in view of the above problems, and makes it possible to easily realize interworking between a multimedia communication terminal on a LAN line and a multimedia communication terminal on a public line network. Is the first purpose.
【0015】また、OA用のコンピュータ・ネットワー
クに接続された各自のPC/WSから公衆回線網上のマ
ルチメディア通信端末とのインターワークを可能とする
ことを第2の目的とする。A second object is to enable interworking with a multimedia communication terminal on a public line network from each PC / WS connected to a computer network for OA.
【0016】さらに、LAN回線に接続された複数のマ
ルチメディア通信端末と公衆回線網に接続されたマルチ
メディア通信端末との間で、多地点間通信を容易に可能
にすることを、上記LAN回線に接続されたトラフィッ
クをむやみに増大させることなく行うことができるよう
にすることを第3の目的とする。Further, it is possible to easily enable multipoint communication between a plurality of multimedia communication terminals connected to a LAN line and a multimedia communication terminal connected to a public line network. A third object is to be able to carry out the traffic connected to the network without unnecessarily increasing the traffic.
【0017】[0017]
【課題を解決するための手段】本発明のインターワーク
装置は、LAN回線に接続されているマルチメディア通
信端末と、公衆回線網に接続されているマルチメディア
通信端末との間で相互に通信を行うことを可能にするイ
ンターワーク装置において、上記公衆回線網とLAN回
線のいずれか一方に接続されているマルチメディア通信
端末との接続回線マルチメディア通信属性を上記公衆回
線網とLAN回線のいずれか他方に接続されているマル
チメディア通信端末に通知する通信属性通知手段を有す
ることを特徴としている。The interworking device of the present invention enables mutual communication between a multimedia communication terminal connected to a LAN line and a multimedia communication terminal connected to a public line network. In an interworking device capable of performing, a connection line multimedia communication attribute with a multimedia communication terminal connected to one of the public line network and the LAN line is set to one of the public line network and the LAN line. It is characterized by having a communication attribute notifying means for notifying a multimedia communication terminal connected to the other.
【0018】また、本発明の他の特徴とするところは、
通信制御情報を上記公衆回線網と上記LAN回線との間
で符号変換する変換手段と更に具備することを特徴とし
ている。Another feature of the present invention is that
It is characterized by further comprising a conversion means for converting the communication control information between the public line network and the LAN line.
【0019】また、本発明のマルチメディア通信端末
は、公衆回線網に接続されたマルチメディア通信端末と
の接続回線通信属性が通知されたときに、上記通知され
た接続回線通信属性に基づいて上記公衆回線網上のマル
チメディア通信端末との相互通信時における音声符号化
方式・映像符号化モード・適用伝送レートの少なくとも
1つの通信モードを選択制御する通信モード選択手段を
有することを特徴としている。Further, the multimedia communication terminal of the present invention, when the connection line communication attribute with the multimedia communication terminal connected to the public line network is notified, based on the notified connection line communication attribute, It is characterized by having a communication mode selection means for selectively controlling at least one communication mode of a voice encoding system, a video encoding mode, and an applicable transmission rate during mutual communication with a multimedia communication terminal on a public line network.
【0020】また、本発明のマルチメディア通信システ
ムは、アナログ音声情報をアナログ・デジタル変換し、
指定された符号化方式に従って符号化する音声情報符号
化手段と、上記符号化された音声情報を復号化するとと
もにデジタル・アナログ変換してアナログ音声情報とし
て出力する音声情報出力手段と、アナログ映像情報をア
ナログ・デジタル変換し、指定された符号化方式に従っ
て符号化する映像情報符号化手段と、上記符号化された
映像情報を復号化してデジタル・アナログ変換してアナ
ログ映像情報として出力する映像情報出力手段と、上記
符号化された音声情報および映像情報よりなるマルチメ
ディア情報を多重化し、上記LAN回線を介して送信す
るマルチメディア情報送信手段と、上記多重化されたマ
ルチメディア情報を受信した時に、上記多重化されたマ
ルチメディア情報を分離して各情報ごとに復号化するマ
ルチメディア情報受信手段とを有する上記LAN回線に
接続されたマルチメディア通信端末と、上記LAN回線
に接続されたマルチメディア通信端末と同様に、マルチ
メディア情報を符号化・復号化・多重化して相互に通信
を行う端末であって、PSTN・ISDNを含む公衆回
線網に接続されたマルチメディア通信端末と、上記LA
N回線に接続されたマルチメディア通信端末と上記公衆
回線網に接続されたマルチメディア通信端末との間の相
互通信をインターワークするインターワーク装置とによ
り構成されるマルチメディア通信システムにおいて、上
記公衆回線網に接続されたマルチメディア通信端末との
接続回線通信属性を上記LAN回線に接続されたマルチ
メディア通信端末に通知する通信属性通知手段と、上記
通信属性通知手段により通知された接続回線通信属性に
基づいて上記公衆回線網に接続されたマルチメディア通
信端末と相互通信を行う時の音声符号化方式・映像符号
化モード・適用伝送レートを含む通信モードを選択制御
する通信モード選択手段とを有することを特徴としてい
る。The multimedia communication system of the present invention converts analog voice information from analog to digital,
Audio information encoding means for encoding in accordance with a specified encoding method, audio information output means for decoding the encoded audio information and digital-to-analog converting and outputting as analog audio information, and analog video information Video information coding means for analog-to-digital conversion of the above and coding according to a designated coding method, and video information output for decoding the above-mentioned coded video information and performing digital-to-analog conversion to output as analog video information Means, multimedia information transmitting means for multiplexing the multimedia information composed of the encoded audio information and video information, and transmitting the multiplexed information via the LAN line; and, when receiving the multiplexed multimedia information, Multimedia information for separating the multiplexed multimedia information and decoding each information Similarly to the multimedia communication terminal connected to the LAN line having a communication means and the multimedia communication terminal connected to the LAN line, multimedia information is encoded / decoded / multiplexed to mutually communicate. A multimedia communication terminal connected to a public line network including PSTN / ISDN, and the above LA
A multimedia communication system comprising an interworking device for interworking between a multimedia communication terminal connected to an N line and a multimedia communication terminal connected to the public line network, A communication attribute notifying unit for notifying the multimedia communication terminal connected to the LAN line of the communication line communication attribute with the multimedia communication terminal connected to the network; and the connection line communication attribute notified by the communication attribute notifying unit. And a communication mode selection means for selectively controlling a communication mode including a voice coding method, a video coding mode, and an applicable transmission rate when performing mutual communication with the multimedia communication terminal connected to the public line network based on the above. Is characterized by.
【0021】また、本発明の他の特徴とするところは、
上記LAN回線に接続されたマルチメディア通信端末と
能力情報交換を行う第1の情報交換手段と、上記公衆回
線網に接続されたマルチメディア通信端末と能力情報交
換を行う第2の情報交換手段と、上記インターワーク装
置における処理負荷が最小になるような通信モードを選
択する通信モード選択手段と、上記通信モード選択手段
により選択された通信モードを上記公衆回線網に接続さ
れたマルチメディア通信端末、およびLAN回線に接続
されたマルチメディア通信端末に通知する通信モード通
知手段と、上記通信モード通知手段によって通知された
通信モードに応じたプロトコル変換処理および符号化変
換処理を行う変換処理手段とを有することを特徴として
いる。Another feature of the present invention is that
First information exchanging means for exchanging capability information with the multimedia communication terminal connected to the LAN line, and second information exchanging means for exchanging capability information with the multimedia communication terminal connected to the public line network. A communication mode selecting means for selecting a communication mode that minimizes a processing load in the interwork device, and a multimedia communication terminal connected to the public line network for the communication mode selected by the communication mode selecting means, And communication mode notifying means for notifying the multimedia communication terminal connected to the LAN line, and conversion processing means for performing protocol conversion processing and encoding conversion processing according to the communication mode notified by the communication mode notifying means. It is characterized by that.
【0022】また、本発明のその他の特徴とするところ
は、上記LAN回線に接続されたマルチメディア通信端
末と、上記公衆回線網に接続されたマルチメディア通信
端末との間にて行う多地点間通信を制御する通信制御手
段と、上記多地点間通信に参加する複数のマルチメディ
ア通信装置の能力に応じて、上記インターワーク装置上
での処理負荷が最小になるように通信モードを選択する
通信モード選択手段とを有することを特徴としている。Another feature of the present invention is that the multipoint communication is performed between the multimedia communication terminal connected to the LAN line and the multimedia communication terminal connected to the public line network. Communication for selecting a communication mode so as to minimize the processing load on the interwork device according to the capabilities of the communication control means for controlling the communication and the plurality of multimedia communication devices participating in the multipoint communication. It is characterized by having a mode selection means.
【0023】また、本発明のその他の特徴とするところ
は、上記LAN回線に接続された複数のマルチメディア
通信端末と、上記公衆回線網に接続されたマルチメディ
ア通信端末との間にて多地点間通信を行う際の適用伝送
レート制御を、最も遅い伝送レートに合わせるように上
記LAN回線上または公衆回線網上の伝送レートを制御
する伝送レート制御手段を有することを特徴としてい
る。Further, another feature of the present invention is that multipoints are provided between a plurality of multimedia communication terminals connected to the LAN line and the multimedia communication terminals connected to the public line network. It is characterized by having a transmission rate control means for controlling the transmission rate on the LAN line or the public line network so that the applied transmission rate control at the time of intercommunication is adjusted to the slowest transmission rate.
【0024】[0024]
【作用】本発明は上記技術手段よりなるので、OAネッ
トワークとしての通常のLAN回線に接続されたマルチ
メディア通信端末と、公衆回線網上のマルチメディア通
信端末とのインターワークを容易に実現することが可能
となり、上記インターワークを実現するインターワーク
装置のインターワーク処理負荷が極めて少なくて可能な
インターワークシステムを提供することが可能となる。Since the present invention comprises the above technical means, it is easy to realize interworking between a multimedia communication terminal connected to an ordinary LAN line as an OA network and a multimedia communication terminal on a public line network. Therefore, it is possible to provide an interworking system in which the interworking processing load of the interworking device that realizes the above interworking is extremely small.
【0025】また、本発明の他の特徴によれば、LAN
回線上の複数のマルチメディア通信端末と公衆回線網上
のマルチメディア通信端末との間のインターワークが可
能なマルチメディア通信システムを安価に構築すること
が可能となる。According to another feature of the present invention, a LAN
It is possible to inexpensively construct a multimedia communication system capable of interworking between a plurality of multimedia communication terminals on a line and a multimedia communication terminal on a public line network.
【0026】また、本発明のその他の特徴によれば、L
AN回線上の複数のマルチメディア通信端末と公衆回線
網上のマルチメディア通信端末との間の多地点間マルチ
メディア通信インターワークを、上記LAN回線上のト
ラフィックをむやみに増大させることなく構築すること
が可能となる。According to another characteristic of the present invention, L
To establish a multipoint multipoint multimedia communication interwork between a plurality of multimedia communication terminals on an AN line and a multimedia communication terminal on a public line network without unnecessarily increasing the traffic on the LAN line. Is possible.
【0027】[0027]
【発明の実施の形態】以下、本発明のマルチメディア通
信システムの一実施形態を図面を参照して説明する。図
1は、本発明によるマルチメディア通信システムの一実
施形態を示す全体構成図である。BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of a multimedia communication system of the present invention will be described below with reference to the drawings. FIG. 1 is an overall configuration diagram showing an embodiment of a multimedia communication system according to the present invention.
【0028】図1において、1はコンピュータ・ネット
ワーク通信回線であるLAN回線と、PSTN・ISD
N等の公衆回線網とのインターワーキングを制御するイ
ンターワーク装置である。本実施形態のインターワーク
装置1は、上記LAN回線に接続されているマルチメデ
ィア通信端末と、上記公衆回線網に接続されているマル
チメディア通信端末との間で相互通信を可能にするため
のものであって、上記公衆回線網に接続されているマル
チメディア通信端末との接続回線通信属性を上記LAN
回線に接続されているマルチメディア通信端末に通知す
る通信属性通知手段を有している。In FIG. 1, 1 is a LAN line which is a computer network communication line, and PSTN / ISD.
It is an interworking device that controls interworking with a public network such as N. The interworking device 1 of the present embodiment is for enabling mutual communication between a multimedia communication terminal connected to the LAN line and a multimedia communication terminal connected to the public line network. The connection line communication attribute with the multimedia communication terminal connected to the public line network is set to the LAN.
It has a communication attribute notifying means for notifying the multimedia communication terminal connected to the line.
【0029】2は、私設コンピュータ・ネットワーク接
続通信回線として施設されるイーサネット/トークリン
グ/FDDI/ATM/LAN等のLAN回線である。
21、22、23は、上記LAN回線2上に接続される
マルチメディア通信端末であり、PC(パーソナルコン
ピュータ)等をベースに構成されているものである。Reference numeral 2 is a LAN line such as Ethernet / talk ring / FDDI / ATM / LAN which is installed as a private computer network connection communication line.
Reference numerals 21, 22, and 23 are multimedia communication terminals connected to the LAN line 2, and are constructed based on a PC (personal computer) or the like.
【0030】上記LAN回線2上に接続されるマルチメ
ディア通信端末21〜23は、アナログ音声情報をアナ
ログ・デジタル変換し、指定された符号化方式に従って
符号化する音声情報符号化手段と、上記音声情報符号化
手段によって符号化された音声情報を復号化するととも
にデジタル・アナログ変換してアナログ音声情報として
出力する音声情報出力手段とを有している。The multimedia communication terminals 21 to 23 connected to the LAN line 2 convert the voice information from analog to digital and encode the voice information according to a designated encoding method, and the voice information. And audio information output means for decoding the audio information coded by the information coding means and for performing digital / analog conversion and outputting as analog audio information.
【0031】また、アナログ映像情報をアナログ・デジ
タル変換し、指定された符号化方式に従って符号化する
映像情報符号化手段と、上記映像情報符号化手段によっ
て符号化された映像情報を復号化してデジタル・アナロ
グ変換してアナログ映像情報として出力する映像情報出
力手段とを有している。Further, the video information coding means for analog-digital converting the analog video information and coding it according to a designated coding method, and the video information coded by the video information coding means are decoded to digital. -It has a video information output means for performing analog conversion and outputting as analog video information.
【0032】さらに、LAN回線を介して上記符号化さ
れた音声情報および映像情報よりなるマルチメディア情
報を多重化して送信するマルチメディア情報送信手段、
および上記多重化されたマルチメディア情報を受信した
時に、上記多重化されたマルチメディア情報を分離して
各情報ごとに復号化するマルチメディア情報受信手段を
有している。Further, multimedia information transmitting means for multiplexing and transmitting the multimedia information including the encoded audio information and video information via a LAN line,
And a multimedia information receiving means for separating the multiplexed multimedia information and decoding each information when receiving the multiplexed multimedia information.
【0033】31、32はPSTN/N−ISDN/B
−ISDN等の公衆回線網である。41、42は上記公
衆回線網に接続されがマルチメディア通信端末である。
上記公衆回線網に接続されたマルチメディア通信端末
は、上記LAN回線に接続されたマルチメディア通信端
末と同様に、マルチメディア情報を符号化・復号化・多
重化して相互に通信を行う。31 and 32 are PSTN / N-ISDN / B
-A public network such as ISDN. Reference numerals 41 and 42 denote multimedia communication terminals connected to the public line network.
The multimedia communication terminal connected to the public line network, like the multimedia communication terminal connected to the LAN line, encodes / decodes / multiplexes multimedia information to communicate with each other.
【0034】図2は、本実施形態のマルチメディア通信
端末の概要を示すブロック図である。図2中の201
は、カメラ・VTR等の映像入力部、202は映像情報
やデータ情報を表示するディスプレイ・モニタ等の表示
部である。203はマイク等の音声入力部、204はス
ピーカ等の音声出力部である。FIG. 2 is a block diagram showing an outline of the multimedia communication terminal of this embodiment. 201 in FIG.
Is a video input unit such as a camera / VTR, and 202 is a display unit such as a display monitor for displaying video information and data information. Reference numeral 203 is a voice input unit such as a microphone, and 204 is a voice output unit such as a speaker.
【0035】205は、マルチメディア通信端末の操作
を入力したり、データ等の入力を行うキーボード・マウ
ス等の操作部である。206は、アナログ映像信号とデ
ジタル映像信号の変換を行う映像信号のA/D変換・D
/A変換機能と、入出力映像信号の選択・切換等を行う
映像インターフェイス部である。Reference numeral 205 denotes an operation unit such as a keyboard / mouse for inputting operations of the multimedia communication terminal and inputting data and the like. Reference numeral 206 denotes A / D conversion / D of a video signal for converting an analog video signal and a digital video signal.
An A / A conversion function and a video interface unit for selecting / switching input / output video signals.
【0036】207は、アナログ音声信号とデジタル音
声信号の変換を行う音声信号A/D変換・D/A変換機
能と、入出力音声信号の選択・切換等を行う音声インタ
ーフェイス部である。208は、自画像・受信相手画像
やシステム制御部より表示される表示すべきデータ情報
の画像合成処理を行う画像合成手段である。Reference numeral 207 is a voice signal A / D conversion / D / A conversion function for converting an analog voice signal and a digital voice signal, and a voice interface unit for selecting / switching input / output voice signals. Reference numeral 208 denotes an image synthesizing unit that performs image synthesizing processing of the self-image / receiving partner image and data information to be displayed displayed by the system control unit.
【0037】209は、デジタル化された映像信号を指
示された符号化モードにて符号化する処理と、受信した
符号化映像情報を復号化する処理とを行う映像情報符号
化復号化手段である。Numeral 209 is a video information coding / decoding means for carrying out the processing of coding the digitized video signal in the designated coding mode and the processing of decoding the received coded video information. .
【0038】210は、デジタル化された音声情報を指
示された符号化モードにて符号化する処理と、受信した
符号化音声情報を復号化する処理とを行う音声符号化復
号化手段である。Reference numeral 210 is a voice encoding / decoding means for performing the process of encoding the digitized voice information in the designated encoding mode and the process of decoding the received encoded voice information.
【0039】211はマルチメディア多重化分離化制御
手段であり、映像符号化復号化手段209より出力され
る符号化映像情報、音声符号化復号化手段210より出
力される符号化音声情報、およびシステム制御部213
より指示されるデータ等のマルチメディア情報を多重化
するマルチメディア多重化手段と、LAN回線制御手段
212より受信されるマルチメディア多重化情報を映像
情報・音声情報・データ等に分離化して、映像符号化復
号化部209、音声符号化復号化部210、システム制
御部213へ出力する出力手段とを有している。Reference numeral 211 denotes multimedia demultiplexing control means, which is encoded video information output from the video encoding / decoding means 209, encoded audio information output from the audio encoding / decoding means 210, and a system. Control unit 213
Multimedia multiplexing means for multiplexing multimedia information such as data instructed further, and multimedia multiplexing information received from the LAN line control means 212 are separated into video information, audio information, data, etc. It has an encoding / decoding unit 209, a speech encoding / decoding unit 210, and an output unit for outputting to the system control unit 213.
【0040】212は、LAN回線2との接続制御、実
際の情報送受信制御を司るLAN回線制御手段である。
上記LAN回線制御手段212は、マルチメディア通信
端末21、22、23の場合LAN回線制御手段である
が、公衆回線網に接続されるマルチメディア通信端末4
1、42の場合は、各々のマルチメディア通信端末4
1、42が接続される公衆回線に応じて、PSTN回線
制御手段、またはISDN回線手段となる。Reference numeral 212 is a LAN line control means for controlling connection with the LAN line 2 and actual information transmission / reception control.
The LAN line control means 212 is the LAN line control means in the case of the multimedia communication terminals 21, 22, 23, but the multimedia communication terminal 4 connected to the public line network.
In the case of 1 and 42, each multimedia communication terminal 4
Depending on the public line to which 1 and 42 are connected, it becomes a PSTN line control means or an ISDN line means.
【0041】213は、マルチメディア通信端末全体の
制御を司るシステム制御部であり、データ情報の入出力
制御や各制御手段、各部の指示制御等の全体動作制御を
行うものである。214は、マルチメディア情報の記憶
や各種制御情報の記憶を行う記憶部であり、メモリやH
D等によって構成されている。A system control unit 213 controls the entire multimedia communication terminal, and controls the overall operation such as input / output control of data information, control means and instruction control of each unit. A storage unit 214 stores multimedia information and various control information, and includes a memory and an H
D and the like.
【0042】図3は、本実施形態のマルチメディア通信
システムにおいて、実際にLAN回線2と公衆回線網3
1、32、33とのインターワークを行うインターワー
ク装置の概略構成を接すブロック図である。FIG. 3 shows the LAN line 2 and the public line network 3 in the multimedia communication system of this embodiment.
It is a block diagram which touches the schematic structure of the interworking apparatus which interworkes with 1, 32, and 33.
【0043】図3中101は、LAN回線側の通信制御
を行うLAN回線制御手段、102はLAN回線2上へ
のマルチメディア情報の多重化送信、および上記LAN
回線2上の受信するマルチメディア多重化情報の分離化
を行うLAN対応マルチメディア多重分離制御手段であ
る。In FIG. 3, reference numeral 101 denotes LAN line control means for controlling communication on the LAN line side, reference numeral 102 denotes multiplexed transmission of multimedia information on the LAN line 2, and the LAN.
This is a LAN-compatible multimedia demultiplexing control means for demultiplexing the received multimedia multiplexed information on the line 2.
【0044】103は、映像情報を必要に応じて符号化
変換する映像符号化復号化制御手段、104は音声情報
を必要に応じて符号化変換する音声符号化復号化制御手
段、105はデータやコントロール情報を必要に応じて
変換するデータ符号化復号化手段である。Reference numeral 103 is a video encoding / decoding control means for encoding / converting video information as necessary, 104 is an audio encoding / decoding control means for encoding / converting audio information as necessary, and 105 is data or It is a data encoding / decoding means for converting control information as necessary.
【0045】116は複数のマルチメディア通信端末か
らの映像情報を選択切換したり、合成処理を行ったりす
る映像選択/合成手段、117は複数のマルチメディア
通信端末からの音声情報を選択切換したり、音声合成処
理を行ったりする音声選択/合成制御手段である。Reference numeral 116 is a video selection / synthesis means for selectively switching and switching video information from a plurality of multimedia communication terminals, and 117 is a selective switching for audio information from a plurality of multimedia communication terminals. , Voice selection / synthesis control means for performing voice synthesis processing.
【0046】106は、LAN回線上の通信プロトコル
と公衆回線網上での通信プロトコルの変換処理を行うプ
ロトコル変換手段である。107はN−ISDN対応多
重分離手段であり、N−ISDN回線対応のマルチメデ
ィア多重化、例えばITU−T勧告H.221に従うマ
ルチメディア情報の多重分離を制御するものである。Reference numeral 106 denotes a protocol conversion means for converting the communication protocol on the LAN line and the communication protocol on the public line network. N-ISDN-compatible demultiplexing means 107 is an N-ISDN line-compatible multimedia multiplexer, for example, ITU-T Recommendation H.264. 221 for controlling demultiplexing of multimedia information.
【0047】108はPSTN多重分離手段であり、P
STN回線対応のマルチメディア多重化、例えばITU
−T勧告H.223に従うマルチメディア多重分離を制
御するものである。Reference numeral 108 denotes PSTN demultiplexing means,
Multimedia multiplexing for STN lines, eg ITU
-T Recommendation H. 223 for controlling multimedia demultiplexing.
【0048】109はB−ISDN多重分離制御手段で
あり、B−ISDN回線対応のマルチメディア多重化、
例えばITU−T勧告H.222に従うマルチメディア
多重分離制御を行うものである。110はN−ISDN
回線制御手段であり、N−ISDN回線との通信を制御
するものである。Reference numeral 109 is a B-ISDN demultiplexing control means, which is a B-ISDN line compatible multimedia multiplexing unit.
For example, ITU-T Recommendation H.264. It performs multimedia demultiplexing control according to 222. 110 is N-ISDN
It is a line control means and controls communication with the N-ISDN line.
【0049】111はPSTN回線との通信を制御する
PSTN回線制御手段であり、113はB−ISDN回
線との通信を制御するB−ISDN回線制御手段であ
る。114はインターワーク装置全体を制御するシステ
ム制御部、115は各種情報を記憶保持するメモリ・H
D等の記憶部である。Reference numeral 111 is a PSTN line control means for controlling communication with the PSTN line, and 113 is B-ISDN line control means for controlling communication with the B-ISDN line. Reference numeral 114 is a system control unit that controls the entire interworking apparatus, and 115 is a memory / H that stores various information.
A storage unit such as D.
【0050】図4は、本実施形態のLAN回線とN−I
SDN回線とのインターワークを行う際の、プロトコル
変換/符号化変換の一例を示すデータフローを示す図で
ある。FIG. 4 shows the LAN line and NI of this embodiment.
It is a figure which shows the data flow which shows an example of protocol conversion / coding conversion at the time of interworking with an SDN line.
【0051】図4中、501は、LAN回線2上を伝送
されるV(映像情報)・A1(音声符号化情報)・D
(データ情報)・C(制御情報)が多重化されて伝送さ
れているパケットである。In FIG. 4, reference numeral 501 denotes V (video information), A1 (audio coded information) and D, which are transmitted on the LAN line 2.
It is a packet in which (data information) and C (control information) are multiplexed and transmitted.
【0052】502は映像符号化情報V、503は第1
の音声符号化情報A1、504はデータ情報D、505
は制御情報Cであり、LAN多重分離制御手段102に
より各々分離された情報である。Reference numeral 502 is video coded information V, and 503 is the first.
Voice encoding information A1 and 504 is data information D and 505.
Is control information C, which is information separated by the LAN demultiplexing control means 102.
【0053】506は映像情報符号化変換手段、507
は音声情報符号化変換手段、508はデータ情報符号化
変換手段、509制御情報変換手段であり、上記各種情
報をN−ISDNへ多重化する際に符号化情報を変換す
る必要がある際変換処理を行うためのものである。Reference numeral 506 is a video information coding / converting means, 507.
Is a voice information coding / converting means, 508 is a data information coding / converting means, and 509 control information converting means, and is a conversion process when it is necessary to convert the coded information when multiplexing the above various information to N-ISDN. Is for doing.
【0054】510はISDN上の第2の音声符号化情
報A2を示し、511はH.221上の制御情報BAS
を示し、512は同じくMLP上への制御情報を示す。
ここでは、音声符号化情報が音声情報変換手段により第
1の音声符号化情報A1から第2の音声符号化情報A2
へ変換されたこと、および制御情報CがH221上の制
御情報BAS511とMLP上の制御情報512へと変
換されたことを示す。Reference numeral 510 indicates the second voice coded information A2 on the ISDN, and reference numeral 511 indicates H.264. Control information BAS on 221
, 512 also indicates control information on the MLP.
Here, the speech coded information is converted from the first speech coded information A1 to the second speech coded information A2 by the speech information conversion means.
And that the control information C has been converted into the control information BAS511 on the H221 and the control information 512 on the MLP.
【0055】勿論、ISDN回線側から受信された第2
の音声符号化情報A2は第1の音声符号化情報A1へと
変換され、制御情報BASとMLP上の制御情報はLA
N回線上の制御情報Cへと変換される。ここでは、映像
符号化情報Vとデータ情報Dは変換されなかったことを
示す。Of course, the second received from the ISDN line side
Of the speech coded information A2 is converted into the first speech coded information A1, and the control information BAS and the control information on the MLP are LA.
It is converted into control information C on the N line. Here, it is indicated that the video coding information V and the data information D have not been converted.
【0056】N−ISDN対応多重分離制御部107
は、上記の映像符号化情報V、第2の音声符号化情報A
2、データ情報D、制御情報BAS、MLPを多重化し
て、513に示すH.221フレーム構造へマルチメデ
ィア情報を多重化して送信する。また逆に,N−ISD
Nから受信したフレーム513を各メディア情報へと分
離出力する。勿論,上記は、説明を簡単にするための一
例であり、その他にも色々な組合せ制御が考えられる。N-ISDN compatible demultiplexing control unit 107
Is the video coding information V and the second audio coding information A described above.
2, the data information D, the control information BAS, and the MLP are multiplexed, and H.264 shown in 513. The multimedia information is multiplexed into the 221 frame structure and transmitted. On the contrary, N-ISD
The frame 513 received from N is separated and output to each media information. Of course, the above is an example for simplifying the description, and various other combined controls are conceivable.
【0057】図6、図7および図8は本実施形態の動作
手順を示すフローチャートである。以下に、図6のフロ
ーチャートを使って第1の実施形態を詳述する。まず、
ステップS101において公衆回線網上のマルチメディ
ア通信端末41よりLAN回線2上のマルチメディア通
信端末21に対する着呼をインターワーク装置1が受信
する。FIG. 6, FIG. 7 and FIG. 8 are flowcharts showing the operation procedure of this embodiment. Hereinafter, the first embodiment will be described in detail with reference to the flowchart of FIG. First,
In step S101, the interwork apparatus 1 receives an incoming call from the multimedia communication terminal 41 on the public line network to the multimedia communication terminal 21 on the LAN line 2.
【0058】次に、ステップS102にてLAN回線2
上の該当する通信端末21に着呼の通知をするととも
に、LAN回線2上のコネクションを設定し、さらに、
N−ISDNの着呼であり適用伝送レートは64kbp
s/128kbpsであることを通知する。Next, in step S102, the LAN line 2
Notify the corresponding communication terminal 21 of the incoming call, set the connection on the LAN line 2, and
It is an N-ISDN incoming call and the applicable transmission rate is 64 kbp.
Notify that it is s / 128 kbps.
【0059】次に、ステップS105にてLAN回線2
上の通信端末21と公衆回線網(N−ISDN)上の通
信端末41との間にて制御情報の端末・端末間の通信が
可能な様にプロトコル変換を行い、上記通信端末21と
通信端末41との間にて能力情報交換シーケンスを行
い、音声符号化モード・映像符号化モード・適用伝送レ
ート等の少なくとも1つ、好ましくは全ての通信モード
を決定させる。Next, in step S105, the LAN line 2
Protocol conversion is performed between the upper communication terminal 21 and the communication terminal 41 on the public network (N-ISDN) so that communication between the terminals of control information can be performed, and the communication terminal 21 and the communication terminal A capability information exchange sequence is performed with 41 to determine at least one, preferably all communication modes such as a voice coding mode, a video coding mode, and an applicable transmission rate.
【0060】次に、ステップS106では、LAN回線
2上のマルチメディア通信端末21より、上記ステップ
S105において確定した通信モードをインターワーク
装置1にも通知する。Next, in step S106, the multimedia communication terminal 21 on the LAN line 2 also notifies the interwork device 1 of the communication mode determined in step S105.
【0061】次に、ステップS107では、上記通信モ
ードにおいて追加コネクションが必要とされるか否かを
判断する。そして、上記判断の結果、追加コネクション
が必要ならステップS108に進み、追加コネクション
の設定を行う。ITU−T勧告H.320シリーズに従
えば、第1コネクションの発呼側が必要追加コネクショ
ンの発呼も行う。また、追加コネクションの必要がなく
なれば、ステップS109に進み、先程決定した通信モ
ードを適用したマルチメディア通信を実際確定して開始
する。Next, in step S107, it is determined whether an additional connection is required in the communication mode. Then, as a result of the above determination, if an additional connection is required, the process proceeds to step S108 to set the additional connection. ITU-T Recommendation H.264. According to the 320 series, the calling side of the first connection also calls the required additional connection. If the additional connection is no longer needed, the process proceeds to step S109 to actually determine and start the multimedia communication to which the communication mode determined previously is applied.
【0062】また、上述の説明とは逆に、ステップS1
03に示したように、LAN回線2上のマルチメディア
通信端末21より公衆回線網(N−ISDN回線網)上
の通信端末41へ発呼要求がなされた場合には、ステッ
プS104に進み、インターワーク装置1は該当端末4
1への発呼を行うとともにコネクションの設定を行い、
設定結果を発呼要求した通信端末21へ通知する。Contrary to the above description, step S1
As shown in 03, when the multimedia communication terminal 21 on the LAN line 2 makes a call request to the communication terminal 41 on the public line network (N-ISDN line network), the process proceeds to step S104. Work device 1 is applicable terminal 4
Make a call to 1 and set the connection,
The setting result is notified to the communication terminal 21 that made the call request.
【0063】なお、上記の説明ではN−ISDN回線上
の端末との相互通信に関して記述したので、適用伝送レ
ートは64kbps/128kbpsである。しかし、
PSTNの場合には、モデム間接続によりネゴシエーシ
ョンされた伝送レートを通知する。Since the above description has been made with respect to the mutual communication with the terminal on the N-ISDN line, the applicable transmission rate is 64 kbps / 128 kbps. But,
In the case of PSTN, the transmission rate negotiated by the connection between modems is notified.
【0064】上記ステップS109以降は、上記により
決定された通信モードに従い、インターワーク装置1で
は符号化された映像・音声・データ等は符号化変換を一
切行わず、多重化方式の変換等のプロトコル変換を行う
だけでインターワークを行う。制御情報に関しては、L
AN回線2上の制御情報とN−ISDN上の制御情報伝
送手段が異なるため符号変換も行う。After step S109, according to the communication mode determined as described above, the interwork apparatus 1 does not perform any encoding conversion on the encoded video / audio / data, etc. Interworking is done just by converting. For control information, L
Since the control information on the AN line 2 and the control information transmitting means on the N-ISDN are different, code conversion is also performed.
【0065】なお、PSTNやB−ISDNの場合は、
ITU−T勧告草案H.245により通信手順を同じよ
うに規定することが考えられているが、LAN回線2上
の通信手順が確定されていないため当面は符号変換も必
要となる。In the case of PSTN or B-ISDN,
ITU-T Recommendation H. It is considered that the communication procedure is similarly defined by H.245, but since the communication procedure on the LAN line 2 has not been determined, code conversion is also required for the time being.
【0066】(第2の実施形態)次に、図7のフローチ
ャートを使って本発明の第2の実施形態を詳述する。ま
ず、ステップS201にて、公衆回線網上のマルチメデ
ィア通信端末42よりLAN回線2上のマルチメディア
通信端末22への着呼がインターワーク装置1によって
受信される。(Second Embodiment) Next, the second embodiment of the present invention will be described in detail with reference to the flowchart of FIG. First, in step S201, the interwork device 1 receives an incoming call from the multimedia communication terminal 42 on the public line network to the multimedia communication terminal 22 on the LAN line 2.
【0067】次に、ステップS202に進み、LAN回
線2上の該当マルチメディア通信端末22へ着信を通知
してコネクションを設定するとともに、マルチメディア
通信端末22にて符号化復号化可能な能力等を取得す
る。ステップS205に進み、公衆回線網上のマルチメ
ディア通信端末42との間で能力交換シーケンスをイン
ターワーク装置1が代行して行い、能力情報交換シーケ
ンスによって得られる両方のマルチメディア通信端末2
2、42の能力と、インターワーク装置1上の能力等を
考慮して、インターワーク装置1における処理負荷が少
なくなるように最終的な適用符号化モード、適用伝送レ
ート等を決定する。Next, in step S202, the multimedia communication terminal 22 on the LAN line 2 is notified of an incoming call and a connection is set, and at the same time, the multimedia communication terminal 22 is provided with the capability of encoding and decoding. get. Proceeding to step S205, the interworking device 1 performs the capability exchange sequence on behalf of the multimedia communication terminal 42 on the public line network, and both the multimedia communication terminals 2 obtained by the capability information exchange sequence.
The final applicable coding mode, the applicable transmission rate, etc. are determined so that the processing load on the interworking device 1 is reduced in consideration of the capabilities of Nos. 2 and 42 and the capability of the interworking device 1.
【0068】次に、ステップS206に進み、追加コネ
クションが有るか否かを判断する。例えば、通信回線が
N−ISDN回線時のように、追加コネクション設定が
必要である場合にはステップS207に進み、追加コネ
クションを設定確立する。発呼の制御条件はN−ISD
Nの場合は第1の実施形態で述べた通りである。Next, in step S206, it is determined whether or not there is an additional connection. For example, in the case where the communication line is an N-ISDN line and additional connection setting is required, the process proceeds to step S207 to set and establish the additional connection. Call control conditions are N-ISD
The case of N is as described in the first embodiment.
【0069】次に、ステップS208において、上記に
て決定した通信モードをLAN回線2上の端末22へ通
知する。ステップS209では、適用通信モードでのマ
ルチメディア多重化通信を必要に応じて、インターワー
ク装置1においてプロトコル変換・符号化変換を行いな
がら実行する。Next, in step S208, the communication mode determined above is notified to the terminal 22 on the LAN line 2. In step S209, multimedia multiplex communication in the applicable communication mode is executed while performing protocol conversion / encoding conversion in the interwork device 1 as necessary.
【0070】また逆に、ステップS203において、L
AN回線2上のマルチメディア通信端末22より、公衆
回線網上のマルチメディア通信端末42への発呼要求を
受信すると、ステップS204に進む。インターワーク
装置1は該当マルチメディア通信端末42との間でコネ
クションの設定確立を行うとともに、LAN回線2上の
発呼マルチメディア通信端末22の能力を取得する。そ
の後は、ステップS205に進み、上述した動作と同様
な動作を行う。On the contrary, in step S203, L
When the call request to the multimedia communication terminal 42 on the public line network is received from the multimedia communication terminal 22 on the AN line 2, the process proceeds to step S204. The interwork device 1 establishes a connection with the corresponding multimedia communication terminal 42 and acquires the capability of the calling multimedia communication terminal 22 on the LAN line 2. After that, the process proceeds to step S205, and the same operation as described above is performed.
【0071】例えば、図4で示すように、LAN回線2
上は音声符号化情報A1の形式でパケット通信を行い、
N−ISDN回線上はH.221フレーム上に音声符号
化情報A2の形式で相互通信されるよう、音声符号化変
換処理手段507により符号化変換を行う。For example, as shown in FIG. 4, the LAN line 2
Above is packet communication in the form of voice coded information A1,
H.264 on the N-ISDN line. The speech coding conversion processing means 507 performs coding conversion so that the 221 frames are mutually communicated in the format of the speech coding information A2.
【0072】同様にLAN回線2上は制御情報Cをパケ
ット形式で通信するが、N−ISDN上はH.221上
でBAS情報として、あるいはMLP上の制御情報とし
て符号化するため、データ符号化変換処理手段509に
て符号化変換処理を行う。このLAN回線2上音声符号
化A1、N−ISDN音声符号化情報A2の選択はイン
ターワーク装置1によりその処理負荷上最適な符号化を
選択して決定する。Similarly, the control information C is communicated on the LAN line 2 in a packet format, but on the N-ISDN, it is H.264. In order to code as BAS information on 221 or as control information on MLP, the data coding conversion processing means 509 performs coding conversion processing. The selection of the voice coding A1 and the N-ISDN voice coding information A2 on the LAN line 2 is determined by the interworking device 1 by selecting the optimum coding due to its processing load.
【0073】なお、上記の実施形態ではN−ISDNと
LAN回線2間でのインターワークに関してのみ述べた
が、PSTN/B−ISDN等他の公衆網とLAN回線
2間でも同様に処理可能である。In the above embodiment, only the interworking between the N-ISDN and the LAN line 2 is described, but the same processing can be performed between the LAN line 2 and other public networks such as PSTN / B-ISDN. .
【0074】(第3の実施形態)次に、図8のフローチ
ャートを使って第3の実施形態を詳述する。まず、ステ
ップS301にてLAN回線2上のマルチメディア通信
端末21、22間にてマルチメディア通信を行うための
コネクション設定がなされる。(Third Embodiment) Next, the third embodiment will be described in detail with reference to the flowchart of FIG. First, in step S301, a connection is set up for multimedia communication between the multimedia communication terminals 21 and 22 on the LAN line 2.
【0075】次に、ステップS302において、LAN
回線2上での現行トラフィック等に基づき適切な通信速
度を決定し、実際の各種通信モードを決定する。次に、
ステップS303では、上記にて決定された通信モード
応じた映像符号化モード、音声符号化モード、適用伝送
レートに応じたマルチメディア通信をLAN回線2の通
信端末間で実施する。Next, in step S302, the LAN
An appropriate communication speed is determined based on the current traffic on the line 2 and various actual communication modes are determined. next,
In step S303, multimedia communication according to the video coding mode, the audio coding mode, and the applied transmission rate according to the communication mode determined above is performed between the communication terminals of the LAN line 2.
【0076】次に、ステップS304では、インターワ
ーク装置1を介して、公衆網接続のマルチメディア通信
端末より、上記マルチメディア通信への参加要求がなさ
れないかどうか監視する。ステップS304の監視の結
果、参加要求着呼がなされたことを検知すると、ステッ
プS305に進み、インターワーク装置1は公衆網接続
の発呼端末との間でLAN回線2上で通信中の端末能力
を持って能力情報交換を行う。Next, in step S304, it is monitored via the interwork apparatus 1 whether or not a request for participation in the multimedia communication is made from the multimedia communication terminal connected to the public network. As a result of the monitoring in step S304, when it is detected that the participation request incoming call is made, the process proceeds to step S305, and the interworking device 1 is capable of communicating with the calling terminal connected to the public network on the LAN line 2. To exchange capability information.
【0077】次に、ステップS306に進み、上記能力
情報交換の結果に基づき、インターワーク装置上でのプ
ロトコル変換・符号化変換処理の負荷が最適な通信モー
ドを決定し、LAN回線2上でのマルチメディア通信の
通信モードの変更要求を通信中の端末に通知する。Next, in step S306, the communication mode in which the load of the protocol conversion / encoding conversion process on the interwork device is optimal is determined based on the result of the capability information exchange, and the communication mode on the LAN line 2 is determined. A request for changing the communication mode of multimedia communication is notified to the communicating terminal.
【0078】次に、ステップS307では、上記LAN
回線2上の端末間通信モードが上記通知された新通信モ
ードへ変更される準備ができたかどうかを監視する。そ
して、新通信モードへ変更される準備できたら、次に、
ステップS308に進み、公衆網上の端末を含む多地点
間マルチメディア通信を開始する。Next, in step S307, the LAN
It is monitored whether the terminal-to-terminal communication mode on the line 2 is ready to be changed to the notified new communication mode. And when you are ready to change to the new communication mode, next,
Progressing to step S308, multipoint multimedia communication including terminals on the public network is started.
【0079】上記の説明において、通信モード中の適用
伝送レートは、最も遅い速度しか適用できない端末に合
わせる場合もある。例えば、PSTN回線網上の端末が
28.8kbpsでしか対応できないのに、LAN回線
2上の伝送レートを高速のままにして、インターワーク
装置で伝送レート調整を行うために、符号化変換のため
の余分な処理を増やすような通信モードを継続しないよ
う、多地点間通信を行うマルチメディア通信端末の通信
モードを制御する。In the above description, the applicable transmission rate during the communication mode may be matched to the terminal to which only the slowest speed can be applied. For example, a terminal on the PSTN line network can handle only 28.8 kbps, but the transmission rate on the LAN line 2 remains high and the interwork device adjusts the transmission rate. The communication mode of the multimedia communication terminal for performing multipoint communication is controlled so as not to continue the communication mode that increases the extra processing of.
【0080】勿論、公衆回線網がB−ISDNで通常の
イーサネットLAN回線2等より高速な伝送レートが適
用される能力のある場合は、逆に、公衆回線網側の伝送
レートを制限することにより、B−ISDN上のトラフ
ィックをむやみに増大させないように制御可能である。Of course, if the public line network is capable of applying a higher transmission rate than the ordinary Ethernet LAN line 2 in the B-ISDN, conversely, by limiting the transmission rate on the public line network side, , B-ISDN can be controlled so as not to increase the traffic unnecessarily.
【0081】また、上記の説明においては、プライベー
トネットワークのLAN回線2とPSTN/ISDN等
の公衆回線網31、32間のインターワークに関しての
み記述した。しかし、本発明はPSTN/N−ISDN
/B−ISDN等の公衆回線網同志のインターワークに
も適用可能であるし、CATV等とのインターワークに
関しても全く同様に適用可能である。In the above description, only the interworking between the LAN line 2 of the private network and the public line networks 31 and 32 such as PSTN / ISDN has been described. However, the present invention is not limited to PSTN / N-ISDN.
The present invention is also applicable to interworking between public line networks such as / B-ISDN, etc. and exactly the same as interworking with CATV and the like.
【0082】[0082]
【発明の効果】本発明は上述したように、LAN回線上
のマルチメディア通信端末と公衆回線網上のマルチメデ
ィア通信端末とのインターワークを、大規模で高価な投
資を行うことなしで実現するマルチメディア通信システ
ムを提供することができる。特に、OA用のコンピュー
タ・ネットワークに接続された各自のPC/WSと、公
衆回線網上のマルチメディア通信端末とのインターワー
クを行うことができ、かつLAN回線上の複数のマルチ
メディア通信端末と公衆回線網上のマルチメディア通信
端末との間で容易に多地点間通信が可能な手段を、LA
N回線上のトラフィックをむやみに増大させることなく
提供することが可能となり、OAネットワークとしての
通常のLAN回線上に接続されたPCベースのマルチメ
ディア通信と、公衆回線網上のマルチメディア通信端末
とのインターワークを容易に実現することができる。As described above, the present invention realizes interworking between a multimedia communication terminal on a LAN line and a multimedia communication terminal on a public line network without making a large-scale and expensive investment. A multimedia communication system can be provided. In particular, each PC / WS connected to the OA computer network can interwork with a multimedia communication terminal on a public line network, and can communicate with a plurality of multimedia communication terminals on a LAN line. LA is a means for easily performing multipoint communication with a multimedia communication terminal on a public line network.
It becomes possible to provide the traffic on the N line without unnecessarily increasing the traffic, and the PC-based multimedia communication connected to the ordinary LAN line as the OA network and the multimedia communication terminal on the public line network. Interworking can be easily realized.
【0083】また、本発明の他の特徴によれば、上記イ
ンターワークを実現するインターワーク装置のインター
ワーク処理負荷が極めて少なくて可能なインターワーク
システムを提供することができる。Further, according to another feature of the present invention, it is possible to provide an interwork system in which the interwork processing load of the interwork device for realizing the above interwork is extremely small.
【0084】また、本発明のその他の特徴によれば、L
AN回線上の複数のマルチメディア通信端末と公衆回線
網上のマルチメディア通信端末との間のインターワーク
が可能なマルチメディア通信システムを安価に構築する
ことができる。According to another feature of the present invention, L
It is possible to inexpensively construct a multimedia communication system capable of interworking between a plurality of multimedia communication terminals on an AN line and a multimedia communication terminal on a public line network.
【0085】また、本発明のその他の特徴によれば、L
AN回線に接続された複数のマルチメディア通信端末と
公衆回線網上のマルチメディア通信端末との間の多地点
間マルチメディア通信インターワークを、LAN回線に
接続されたトラフィックをむやみに増大させることなく
構築することができる。According to another feature of the present invention, L
Multipoint-to-point multimedia communication interwork between a plurality of multimedia communication terminals connected to an AN line and a multimedia communication terminal on a public network without increasing the traffic connected to a LAN line unnecessarily. Can be built.
【図1】本発明のマルチメディア通信システムの一実施
形態を示す構成図である。FIG. 1 is a configuration diagram showing an embodiment of a multimedia communication system of the present invention.
【図2】マルチメディア通信端末の一実施形態を示すブ
ロック図である。FIG. 2 is a block diagram showing an embodiment of a multimedia communication terminal.
【図3】インターワーク装置の一実施形態を示すブロッ
ク図である。FIG. 3 is a block diagram showing an embodiment of an interworking device.
【図4】LAN回線上とISDN回線上でのマルチメデ
ィア多重化通信のインターワークの一実施形態を説明す
るデータフロー例を示す図である。FIG. 4 is a diagram showing an example of a data flow for explaining an embodiment of interworking of multimedia multiplexed communication on a LAN line and an ISDN line.
【図5】狭帯域ISDN上でのITU−T勧告H.22
1フレーム構成図である。FIG. 5: ITU-T Recommendation H.264 over narrowband ISDN. 22
It is a 1-frame block diagram.
【図6】第1の実施形態を示すフローチャートである。FIG. 6 is a flowchart showing the first embodiment.
【図7】第2の実施形態を示すフローチャートである。FIG. 7 is a flowchart showing a second embodiment.
【図8】第3の実施形態を示すフローチャートである。FIG. 8 is a flowchart showing a third embodiment.
1 インターワーク装置 2 LAN回線 21、22、23 LAN回線に接続されるマルチメデ
ィア通信端末 31、32 公衆回線網 41、42 公衆回線網に接続されるマルチメディア通
信端末 101 LAN回線制御手段 102 LAN回線対応マルチメディア多重分離手段 103 映像符号化復号化制御手段 104 音声符号化復号化制御手段 105 データ符号化復号化制御手段 106 プロトコル変換手段 107 N−ISDN対応多重分離手段 108 PSTN対応多重分離手段 109 B−ISDN対応多重分離手段 110 N−ISDN回線制御手段 111 PSTN回線制御手段 113 B−ISDN回線制御手段 114 システム制御部 115 記憶部 116 映像選択/合成手段 117 音声選択/合成手段 201 映像入力部 202 表示部 203 音声入力部 204 音声出力部 205 操作部 206 映像インターフェイス部 207 音声インターフェイス部 208 画像合成処理手段 209 映像符号化復号化制御手段 210 音声符号化復号化制御手段 211 マルチメディア多重分離制御手段 212 LAN回線制御手段 213 システム制御部 214 記憶部1 Interworking device 2 LAN line 21, 22, 23 Multimedia communication terminal connected to LAN line 31, 32 Public line network 41, 42 Multimedia communication terminal connected to public line network 101 LAN line control means 102 LAN line Corresponding multimedia demultiplexing means 103 Video coding / decoding control means 104 Audio coding / decoding control means 105 Data coding / decoding control means 106 Protocol conversion means 107 N-ISDN compatible demultiplexing means 108 PSTN compatible demultiplexing means 109 B -ISDN compatible demultiplexing means 110 N-ISDN line control means 111 PSTN line control means 113 B-ISDN line control means 114 System control section 115 Storage section 116 Video selection / synthesis means 117 Audio selection / synthesis means 201 Video input section 20 Display unit 203 Audio input unit 204 Audio output unit 205 Operation unit 206 Video interface unit 207 Audio interface unit 208 Image synthesis processing unit 209 Video encoding / decoding control unit 210 Audio encoding / decoding control unit 211 Multimedia demultiplexing control unit 212 LAN line control means 213 system control unit 214 storage unit
Claims (7)
ィア通信端末と、公衆回線網に接続されているマルチメ
ディア通信端末との間で相互に通信を行うことを可能に
するインターワーク装置において、 上記公衆回線網とLAN回線のいずれか一方に接続され
ているマルチメディア通信端末との接続回線マルチメデ
ィア通信属性を上記公衆回線網とLAN回線のいずれか
他方に接続されているマルチメディア通信端末に通知す
る通信属性通知手段を有することを特徴とするインター
ワーク装置。1. An interworking device that enables mutual communication between a multimedia communication terminal connected to a LAN line and a multimedia communication terminal connected to a public line network, Connection line between multimedia communication terminal connected to either public line network or LAN line Notify multimedia communication terminal connected to either the public line network or LAN line of multimedia communication attribute An interworking device having a communication attribute notifying means for performing the communication.
信制御情報を符号変換する変換手段と更に具備すること
を特徴とする請求項1に記載のインターワーク装置。2. The interworking apparatus according to claim 1, further comprising a conversion unit that performs code conversion of communication control information between the public line network and the LAN line.
通信端末との接続回線通信属性が通知されたときに、上
記通知された接続回線通信属性に基づいて上記公衆回線
網上のマルチメディア通信端末との相互通信時における
音声符号化方式・映像符号化モード・適用伝送レートの
少なくとも1つの通信モードを選択制御する通信モード
選択手段を有することを特徴とするマルチメディア通信
端末。3. A multimedia communication terminal on the public line network based on the notified connection line communication attribute when the connection line communication attribute with the multimedia communication terminal connected to the public line network is notified. A multimedia communication terminal comprising communication mode selection means for selectively controlling at least one communication mode of an audio encoding system, a video encoding mode, and an applicable transmission rate during mutual communication with the communication terminal.
変換し、指定された符号化方式に従って符号化する音声
情報符号化手段と、上記符号化された音声情報を復号化
するとともにデジタル・アナログ変換してアナログ音声
情報として出力する音声情報出力手段と、アナログ映像
情報をアナログ・デジタル変換し、指定された符号化方
式に従って符号化する映像情報符号化手段と、上記符号
化された映像情報を復号化してデジタル・アナログ変換
してアナログ映像情報として出力する映像情報出力手段
と、上記符号化された音声情報および映像情報よりなる
マルチメディア情報を多重化し、上記LAN回線を介し
て送信するマルチメディア情報送信手段と、上記多重化
されたマルチメディア情報を受信した時に、上記多重化
されたマルチメディア情報を分離して各情報ごとに復号
化するマルチメディア情報受信手段とを有する上記LA
N回線に接続されたマルチメディア通信端末と、 上記LAN回線に接続されたマルチメディア通信端末と
同様に、マルチメディア情報を符号化・復号化・多重化
して相互に通信を行う端末であって、PSTN・ISD
Nを含む公衆回線網に接続されたマルチメディア通信端
末と、 上記LAN回線に接続されたマルチメディア通信端末と
上記公衆回線網に接続されたマルチメディア通信端末と
の間の相互通信をインターワークするインターワーク装
置とにより構成されるマルチメディア通信システムにお
いて、 上記公衆回線網に接続されたマルチメディア通信端末と
の接続回線通信属性を上記LAN回線に接続されたマル
チメディア通信端末に通知する通信属性通知手段と、 上記通信属性通知手段により通知された接続回線通信属
性に基づいて上記公衆回線網に接続されたマルチメディ
ア通信端末と相互通信を行う時の音声符号化方式・映像
符号化モード・適用伝送レートを含む通信モードを選択
制御する通信モード選択手段とを有することを特徴とす
るマルチメディア通信システム。4. A voice information coding means for analog-digital converting analog voice information and coding it according to a designated coding method, and decoding and digital-analog converting the coded voice information. Audio information output means for outputting as analog audio information, video information encoding means for performing analog / digital conversion of analog video information and encoding according to a specified encoding method, and decoding the encoded video information. A video information output means for digital / analog converting and outputting as analog video information, and a multimedia information transmitting means for multiplexing the multimedia information including the encoded audio information and video information and transmitting the multiplexed information via the LAN line. And when the multiplexed multimedia information is received, the multiplexed multimedia information is received. A multimedia information receiving means for separating information and decoding each information
A multimedia communication terminal connected to an N line and a terminal that performs mutual communication by encoding / decoding / multiplexing multimedia information, like the multimedia communication terminal connected to the LAN line. PSTN / ISD
Interwork communication between a multimedia communication terminal connected to a public line network including N, a multimedia communication terminal connected to the LAN line, and a multimedia communication terminal connected to the public line network In a multimedia communication system constituted by an interwork device, a communication attribute notification for notifying the multimedia communication terminal connected to the LAN line of the connection line communication attribute with the multimedia communication terminal connected to the public line network Means, and a voice coding method, a video coding mode, and applicable transmission for mutual communication with the multimedia communication terminal connected to the public line network based on the connection line communication attribute notified by the communication attribute notifying means. Communication mode selecting means for selectively controlling a communication mode including a rate. -Media communication system.
ィア通信端末と能力情報交換を行う第1の情報交換手段
と、 上記公衆回線網に接続されたマルチメディア通信端末と
能力情報交換を行う第2の情報交換手段と、 上記インターワーク装置における処理負荷が最小になる
ような通信モードを選択する通信モード選択手段と、 上記通信モード選択手段により選択された通信モードを
上記公衆回線網に接続されたマルチメディア通信端末、
およびLAN回線に接続されたマルチメディア通信端末
に通知する通信モード通知手段と、 上記通信モード通知手段によって通知された通信モード
に応じたプロトコル変換処理および符号化変換処理を行
う変換処理手段とを有することを特徴とする請求項3に
記載のマルチメディア通信システム。5. A first information exchanging means for exchanging capability information with the multimedia communication terminal connected to the LAN line, and a second information exchanging means for exchanging capability information with the multimedia communication terminal connected to the public line network. Information exchange means, communication mode selection means for selecting a communication mode that minimizes the processing load on the interwork device, and the communication mode selected by the communication mode selection means is connected to the public line network. Multimedia communication terminal,
And communication mode notifying means for notifying the multimedia communication terminal connected to the LAN line, and conversion processing means for performing protocol conversion processing and encoding conversion processing according to the communication mode notified by the communication mode notifying means. The multimedia communication system according to claim 3, wherein:
ィア通信端末と、上記公衆回線網に接続されたマルチメ
ディア通信端末との間にて行う多地点間通信を制御する
通信制御手段と、 上記多地点間通信に参加する複数のマルチメディア通信
装置の能力に応じて、上記インターワーク装置上での処
理負荷が最小になるように通信モードを選択する通信モ
ード選択手段とを有することを特徴とする請求項3また
は4のいずれか1項に記載のマルチメディア通信システ
ム。6. A communication control means for controlling multipoint communication performed between the multimedia communication terminal connected to the LAN line and the multimedia communication terminal connected to the public line network, and the communication control means. Communication mode selecting means for selecting a communication mode so as to minimize the processing load on the interworking device according to the capabilities of a plurality of multimedia communication devices participating in point-to-point communication. The multimedia communication system according to claim 3.
チメディア通信端末と、上記公衆回線網に接続されたマ
ルチメディア通信端末との間にて多地点間通信を行う際
の適用伝送レート制御を、最も遅い伝送レートに合わせ
るように上記LAN回線上または公衆回線網上の伝送レ
ートを制御する伝送レート制御手段を有することを特徴
とする請求項3〜5のいずれか1項に記載のマルチメデ
ィア通信システム。7. An applicable transmission rate control for multipoint communication between a plurality of multimedia communication terminals connected to the LAN line and a multimedia communication terminal connected to the public line network. 6. The multimedia according to any one of claims 3 to 5, further comprising a transmission rate control means for controlling the transmission rate on the LAN line or the public line network so as to match the slowest transmission rate. Communications system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01607696A JP3639664B2 (en) | 1996-01-31 | 1996-01-31 | Multimedia communication system, interwork apparatus used therefor, and multimedia communication method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01607696A JP3639664B2 (en) | 1996-01-31 | 1996-01-31 | Multimedia communication system, interwork apparatus used therefor, and multimedia communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09214561A true JPH09214561A (en) | 1997-08-15 |
JP3639664B2 JP3639664B2 (en) | 2005-04-20 |
Family
ID=11906478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01607696A Expired - Fee Related JP3639664B2 (en) | 1996-01-31 | 1996-01-31 | Multimedia communication system, interwork apparatus used therefor, and multimedia communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3639664B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001061963A1 (en) * | 2000-02-17 | 2001-08-23 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for protocol conversion |
WO2014190811A1 (en) * | 2013-06-01 | 2014-12-04 | 中兴通讯股份有限公司 | Method and apparatus for remote display endpoint capability exchange, and data flow |
CN104539871A (en) * | 2014-12-22 | 2015-04-22 | 小米科技有限责任公司 | Multimedia call method and device |
JP2015222900A (en) * | 2014-05-23 | 2015-12-10 | Necエンジニアリング株式会社 | Remote conference system, remote conference server, remote conference method, and program |
-
1996
- 1996-01-31 JP JP01607696A patent/JP3639664B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001061963A1 (en) * | 2000-02-17 | 2001-08-23 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for protocol conversion |
US6690304B1 (en) | 2000-02-17 | 2004-02-10 | Mitsubishi Denki Kabushiki Kaisha | Protocol conversion apparatus and protocol conversion method |
WO2014190811A1 (en) * | 2013-06-01 | 2014-12-04 | 中兴通讯股份有限公司 | Method and apparatus for remote display endpoint capability exchange, and data flow |
JP2015222900A (en) * | 2014-05-23 | 2015-12-10 | Necエンジニアリング株式会社 | Remote conference system, remote conference server, remote conference method, and program |
CN104539871A (en) * | 2014-12-22 | 2015-04-22 | 小米科技有限责任公司 | Multimedia call method and device |
Also Published As
Publication number | Publication date |
---|---|
JP3639664B2 (en) | 2005-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1192773B1 (en) | Method and system for exchanging information between multimedia network nodes | |
EP0691779A2 (en) | Multimedia conferencing system | |
JP3639664B2 (en) | Multimedia communication system, interwork apparatus used therefor, and multimedia communication method | |
EP0661880B1 (en) | Communications apparatus for multimedia information | |
US6771633B1 (en) | Multi-point communications system and method thereof | |
JP2000261459A (en) | Statistical multiplex transmission system | |
JPH08317366A (en) | Multi-spot video conference system | |
JPH07123172A (en) | Terminal equipment | |
JPH07203071A (en) | Multimedia communication equipment | |
JPH0715461A (en) | Atm terminal adaptor | |
JPH04129465A (en) | Multi-medium communication terminal equipment | |
JPH09149395A (en) | Communication equipment | |
JPH1155641A (en) | Video telephone system | |
JP3061444B2 (en) | Multimedia communication equipment | |
JPH09107419A (en) | Digital data communication equipment and digital data communication method | |
JPH06224877A (en) | Picture communication terminal equipment | |
JP2914053B2 (en) | Image transmission device | |
JPH1013804A (en) | Multi-location video conference system | |
JP2000032552A (en) | Mobile communication system using wired communication terminal | |
JPWO2004093358A1 (en) | Communication device | |
JPH066483A (en) | Multimedia terminal equipment | |
JPH0690218A (en) | Information transmission system | |
JPH08130719A (en) | Video conference equipment | |
JPH1127644A (en) | Real time multimedia communication terminal equipment | |
JPH05308632A (en) | Image communication equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041005 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050117 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |