JP4644813B2 - Multi-party call system, call terminal and call server in multi-party call system, multi-party call method - Google Patents

Multi-party call system, call terminal and call server in multi-party call system, multi-party call method Download PDF

Info

Publication number
JP4644813B2
JP4644813B2 JP2006050074A JP2006050074A JP4644813B2 JP 4644813 B2 JP4644813 B2 JP 4644813B2 JP 2006050074 A JP2006050074 A JP 2006050074A JP 2006050074 A JP2006050074 A JP 2006050074A JP 4644813 B2 JP4644813 B2 JP 4644813B2
Authority
JP
Japan
Prior art keywords
call
voice
mixing
call server
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006050074A
Other languages
Japanese (ja)
Other versions
JP2007228506A (en
Inventor
松昭 寺田
雅俊 佐藤
浩太 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Original Assignee
NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY filed Critical NATIONAL UNIVERSITY CORPORATION TOKYO UNIVERSITY OF AGRICULUTURE & TECHNOLOGY
Priority to JP2006050074A priority Critical patent/JP4644813B2/en
Publication of JP2007228506A publication Critical patent/JP2007228506A/en
Application granted granted Critical
Publication of JP4644813B2 publication Critical patent/JP4644813B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、複数の通話端末で多者間通話を行う多者間通話システム、多者間通話システムにおける通話端末および通話サーバ、多者間通話方法に関する。   The present invention relates to a multi-party call system that performs multi-party calls with a plurality of call terminals, a call terminal and a call server in a multi-party call system, and a multi-party call method.

IP(Internet Protocol)電話における応用サービスの一つとして多者間通話がある。多者間通話とは、多人数が同時に通話を行うサービスである。回線交換網では以前からMultipoint Conference Unit(MCU)と呼ばれる専用の機器を用いて電話会議等の多者間通話を行うことは可能であったが、この機器は高価であり、かつ通信業者のサービスでは無いため機器を所有している特定のコミュニティ向けのサービスであった。これに対してIP電話では、ソフトウェアベースでサービスを提供する事が可能であるため、一般利用者に対してもサービスの提供を行うことが可能である。 One of the application services in IP (Internet Protocol) telephone is multi-party call. A multi-party call is a service in which a large number of people make a call simultaneously. In circuit-switched networks, it was possible to make multiparty calls such as conference calls using dedicated devices called Multipoint Conference Units (MCUs). Because it is not, it was a service for the specific community that owns the device. In contrast, IP telephones can provide services on a software basis, and therefore can provide services to general users.

IP電話における多者間通話サービスには、主に2種類のサービスの提供形態がある。
一つは、ユーザ端末に多者間通話用の機能を新規に追加し、ユーザ同士が連携することでサービスを受ける形態である。この形態は、機能を有する端末を所有するユーザのみがサービスを受けることができるため、汎用性に乏しい。
もう一つは、サーバでサービスを提供する形態である。この形態では、サーバに負荷が集中するものの、ユーザの使い勝手が向上し、サービス提供業者の課金管理などが容易になる。
There are mainly two types of service offerings in the multi-party call service for IP phones.
One is a mode in which a function for multi-party calls is newly added to a user terminal, and a service is received by cooperation between users. This form has poor versatility because only the user who owns the terminal having the function can receive the service.
The other is a form in which services are provided by a server. In this form, although the load is concentrated on the server, the convenience of the user is improved and the billing management of the service provider becomes easy.

多者間通話サービスにおいて、IP電話の場合、対象に対して電話をかける「シグナリング」機能と、シグナリングにより相手と通話できることが確定した後に音声を送信する「全2重音声伝送」機能が必要となる。これらの機能は通常1対1の通信用である。 In a multi-party call service, in the case of an IP phone, a "signaling" function for making a call to the target and a "full duplex voice transmission" function for transmitting voice after it is determined that a call can be made with the other party through signaling are required. Become. These functions are usually for one-to-one communication.

シグナリング機能では、端末(A、B、C)がそれぞれ多者間通話サーバに対して電話をかける。こうすることにより、見かけ上、Aは多者間通話サーバと1対1セッションを張っているだけであるが、サーバは他のユーザ(B、C)ともセッションを張っているため、A、B、Cはサーバを介して仮想的にマルチセッションを張っていることになる。   In the signaling function, each terminal (A, B, C) makes a call to the multi-party call server. By doing so, apparently A only has a one-to-one session with the multi-party call server, but the server also has a session with other users (B, C), so A, B , C virtually establishes a multi-session via the server.

全2重音声伝送機能における「全2重」とは、自身の音声と相手の音声を同時に扱う事を意味する。全2重音声伝送機能では、ユーザから送信された音声を適切にミキシングし、複数の音声ストリームを一つのストリームに圧縮し、送出する。この全2重音声伝送機能を用いて複数の音声ストリームをやり取りすることが可能になる。 “Full duplex” in the full-duplex audio transmission function means that the user's own voice and the other party's voice are handled simultaneously. In the full-duplex audio transmission function, audio transmitted from a user is appropriately mixed, and a plurality of audio streams are compressed into one stream and transmitted. A plurality of audio streams can be exchanged using this full-duplex audio transmission function.

通話サーバを用いた従来のデジタル音声ミキシングシステムとして、「全参加者ミキシング」がある。これは複数の端末からの音声ストリームを通話サーバで受信して、各端末からの音声サンプルを重ね合わせるなどの手法により、ミキシングを行う。次に、ミキシング結果の音声ストリームをすべての端末に向けて送信することで多者間通話を実現する。このとき、通話サーバから全端末に送信される音声ストリームのうち、端末iから通話サーバへ送信された音声を端末iに返す場合については、音声がエコーとなって聞こえるのを防ぐため、自身の音声を差し引くことが知られている(非特許文献1参照)。 As a conventional digital audio mixing system using a call server, there is “all participant mixing”. In this method, audio streams from a plurality of terminals are received by a call server, and mixing is performed by a method such as superimposing audio samples from each terminal. Next, a multi-party call is realized by transmitting the audio stream of the mixing result to all terminals. At this time, among the audio streams transmitted from the call server to all the terminals, when the sound transmitted from the terminal i to the call server is returned to the terminal i, the sound is prevented from being heard as an echo. It is known to subtract sound (see Non-Patent Document 1).

各端末ではマイクからの音声入力の有無によらず、通話サーバに音声ストリームを送り続ける。ただし、無音圧縮機能を有する端末の場合は、無音区間は音声パケットを送信しないで、クロックだけをカウントしておく。
Internet Telephony Workshop 2001「Centralized Conferencing using SIP」(2001.4)
Each terminal continues to send an audio stream to the call server regardless of the presence or absence of audio input from the microphone. However, in the case of a terminal having a silence compression function, only a clock is counted without transmitting a voice packet during a silence interval.
Internet Telephony Workshop 2001 `` Centralized Conferencing using SIP '' (2001.4)

多者間通話サーバを介するサービスでは、通話サーバにおける処理遅延が上乗せされる。ミキシングでは、波形の重ね合わせを行う場合、音声が8kHzサンプリングでは2つのストリームをミキシングする際に8000回/秒の処理を必要とする。また、ミキシングすべき端末の数に比例して処理量が大きくなる。
全参加者ミキシング方式は通話サーバに負荷が集中するため、通話サーバでミキシング可能な最大ストリーム数には限界がある。また通話サーバでは、端末からの音声データ送信があってもなくても、音声ストリームが来ているものとして、ミキシング処理をしていた。このため、端末数が多くなると、通話サーバの処理量が増大するという問題があった。また、無音区間があっても、次にいつ有音パケットが来るか予測できないので、上記無音圧縮機能を備えていても、通話サーバでミキシングすべき音声ストリーム数が減るわけではなかった。
In the service via the multi-party call server, processing delay in the call server is added. In mixing, when superimposing waveforms, if the audio is 8kHz sampling, processing of 8000 times / second is required when mixing two streams. Also, the amount of processing increases in proportion to the number of terminals to be mixed.
In the all-participant mixing method, since the load is concentrated on the call server, the maximum number of streams that can be mixed by the call server is limited. In the call server, mixing processing is performed on the assumption that an audio stream is received regardless of whether audio data is transmitted from the terminal. For this reason, when the number of terminals increases, there is a problem that the processing amount of the call server increases. Further, even if there is a silent section, it is not possible to predict when a voice packet will come next. Even if the silent compression function is provided, the number of voice streams to be mixed by the call server is not reduced.

本発明は、このような従来の手法が有している問題を解決しようとするものであり、複数の通話端末からの音声ストリームを高効率にミキシングを行う多者間通話システム、多者間通話システムにおける通話端末および通話サーバ、多者間通話方法を実現することを目的とする。 The present invention is intended to solve such problems of the conventional method, and a multi-party call system and multi-party call that mix audio streams from a plurality of call terminals with high efficiency. It is an object of the present invention to realize a call terminal, a call server, and a multi-party call method in a system.

上記した目的を達成するために、請求項1記載の多者間通話システムは、通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話システムにおいて、前記通話端末が、音声が入力される音声入力手段と、前記音声入力手段に入力された音声の大きさが、設定値よりも大きいか否かを判断する入力音声判断手段と、前記入力音声判断手段により入力された音声が設定値よりも大きい場合、前記通話サーバへミキシング要求を行い、前記通話サーバから応答を受信してミキシング状態を確立するミキシング状態確立手段と、前記ミキシング状態確立手段により前記通話サーバとのミキシング状態が確立した後、前記音声入力手段で入力された音声をパケット化して前記通話サーバへ送信する第1の音声パケット送信手段とを有し、前記通話サーバが、前記ミキシング要求を行った通話端末へ応答を送信し、ミキシング制御対象として記録するミキシング制御対象記録手段と、前記ミキシング制御対象記録手段により記録した当該通話端末から送信された音声パケットを、セッションを確立している他の通話端末へ送信する第2の音声パケット送信手段とを有することを特徴とする。   In order to achieve the above object, the multi-party call system according to claim 1 is configured such that a call server and a plurality of call terminals are connected via a network, and a voice of a specific call terminal establishes a session with the call server. In the multi-party call system transmitted to each call terminal, the call terminal has a voice input means for inputting voice, and the volume of the voice input to the voice input means is greater than a set value. An input voice judging means for judging whether or not the voice is loud, and when the voice inputted by the input voice judging means is larger than a set value, a mixing request is made to the call server, a response is received from the call server, and the mixing is performed Mixing state establishment means for establishing a state, and after the mixing state with the call server is established by the mixing state establishment means, the voice input means inputs the state. First voice packet transmitting means for packetizing the transmitted voice and transmitting it to the call server, wherein the call server transmits a response to the call terminal that has made the mixing request, and records the mixing as a target for mixing control Control target recording means, and second voice packet transmission means for transmitting voice packets transmitted from the call terminal recorded by the mixing control target recording means to other call terminals that have established a session. It is characterized by.

請求項2記載の発明は、請求項1記載の多者間通話システムにおいて、前記通話端末が、前記入力音声判断手段により、入力された音声が設定値よりも小さい場合、設定値よりも小さい音声入力が何回連続しているかを記憶する回数記憶手段と、前記回数記憶手段で記憶された、設定値よりも小さい音声入力回数が所定回数以上連続していた場合、前記通話サーバへミキシング切断要求を行い、前記通話サーバからの応答を受信してミキシング状態を切断するミキシング状態切断手段とを更に有し、前記通話サーバが、前記ミキシング状態切断手段によりミキシングの切断要求を行った通信端末へ応答を送信し、ミキシング制御対象から削除するミキシング制御対象削除手段とを更に有することを特徴とする。   According to a second aspect of the present invention, in the multi-party call system according to the first aspect, when the voice input by the call terminal is smaller than a set value by the input voice judging means, the voice is smaller than the set value. Number of times storage means for memorizing how many times the input is continuous, and when the number of voice input times smaller than the set value stored in the number of times storage means has continued for a predetermined number of times or more, a request for disconnecting mixing to the call server And a mixing state disconnecting unit that receives the response from the call server and disconnects the mixing state, and the call server responds to the communication terminal that has issued the mixing disconnection request by the mixing state disconnecting unit. And a mixing control object deletion means for deleting the mixing control object from the mixing control object.

請求項3記載の発明は、請求項1または2記載の多者間通話システムにおいて、前記通話端末が、前記通話サーバへセッション開始要求メッセージを送信し、前記通話サーバが該セッション開始要求メッセージに対するセッション開始応答メッセージを送信することで、前記通話端末と前記通話サーバとのセッションを確立することを特徴とする。   According to a third aspect of the present invention, in the multi-party call system according to the first or second aspect, the call terminal transmits a session start request message to the call server, and the call server performs a session for the session start request message. A session between the call terminal and the call server is established by transmitting a start response message.

請求項4記載の発明は、請求項1または2記載の多者間通話システムにおいて、前記通話端末が、前記通話サーバへセッション切断要求メッセージを送信し、前記通話サーバが該セッション切断要求メッセージに対するセッション切断応答メッセージを送信することで、前記通話端末と前記通話サーバとのセッションを切断することを特徴とする。   According to a fourth aspect of the present invention, in the multi-party call system according to the first or second aspect, the call terminal transmits a session disconnection request message to the call server, and the call server responds to a session corresponding to the session disconnection request message. A session between the call terminal and the call server is disconnected by transmitting a disconnect response message.

請求項5記載の通話端末は、通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話システムにおける通話端末において、音声が入力される音声入力手段と、前記音声入力手段に入力された音声の大きさが、設定値よりも大きいか否かを判断する入力音声判断手段と、前記入力音声判断手段により入力された音声が設定値よりも大きい場合、前記通話サーバへミキシング要求を行い、前記通話サーバからの応答を受信してミキシング状態を確立するミキシング状態確立手段と、前記ミキシング状態確立手段により前記通話サーバとのミキシング状態が確立した後、前記音声入力手段で入力された音声をパケット化して前記通話サーバへ送信する第1の音声パケット送信手段とを有することを特徴とする。   The call terminal according to claim 5 is a multi-party in which a call server and a plurality of call terminals are connected via a network, and the voice of a specific call terminal is transmitted to each call terminal that has established a session with the call server. In a call terminal in the intercommunication system, a voice input means for inputting voice, an input voice judgment means for judging whether or not the volume of the voice inputted to the voice input means is larger than a set value, A mixing state establishing means for making a mixing request to the call server and receiving a response from the call server to establish a mixing state when the sound input by the input sound determining means is larger than a set value; and the mixing state After the mixing state with the call server is established by the establishing means, the voice input by the voice input means is packetized and the call server And having a first voice packet transmission means for transmitting.

請求項6記載の発明は、請求項5記載の通話端末において、前記入力音声判断手段により、入力された音声が設定値よりも小さい場合、設定値よりも小さい音声入力が何回連続しているかを記憶する回数記憶手段と、前記回数記憶手段で記憶された、設定値よりも小さい音声入力回数が所定回数以上連続していた場合、前記通話サーバへミキシング切断要求を行い、前記通話サーバからの応答を受信してミキシング状態を切断するミキシング状態切断手段とを更に有することを特徴とする。   According to a sixth aspect of the present invention, in the call terminal according to the fifth aspect, when the voice inputted by the input voice judgment means is smaller than a set value, how many times the voice input smaller than the set value continues. When the number of voice input times smaller than a set value stored in the number storage unit is stored for a predetermined number of times or more, a disconnection request is made to the call server, and from the call server It further comprises mixing state cutting means for receiving the response and cutting the mixing state.

請求項7記載の通話サーバは、通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話システムにおける通話サーバにおいて、ミキシング要求を行った通話端末へ応答を送信し、ミキシング制御対象として記録するミキシング制御対象記録手段と、前記ミキシング制御対象記録手段により記録した当該通話端末から送信された音声パケットを、セッションを確立している他の通話端末へ送信する第2の音声パケット送信手段とを有することを特徴とする。   The call server according to claim 7 is a multi-party in which a call server and a plurality of call terminals are connected by a network, and the voice of a specific call terminal is transmitted to each call terminal that has established a session with the call server. In the call server in the intercommunication system, a response is transmitted to the call terminal that has made the mixing request, and is recorded from the mixing control target recording means for recording as a mixing control target, and from the call terminal recorded by the mixing control target recording means. And a second voice packet transmitting means for transmitting the voice packet to another telephone terminal that has established a session.

請求項8記載の発明は、請求項7記載の通話サーバにおいて、ミキシングの切断要求を行った通話端末を、ミキシング制御対象から削除するミキシング制御対象削除手段を更に有することを特徴とする。   According to an eighth aspect of the present invention, in the call server according to the seventh aspect of the present invention, the communication server further includes a mixing control target deleting unit that deletes the call terminal that has issued the mixing disconnection request from the mixing control target.

請求項9記載の多者間通話方法は、通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話方法において、前記通話端末が、音声が入力されるステップと、入力された音声の大きさが、設定値よりも大きいか否かを判断するステップと、入力された音声が設定値よりも大きい場合、前記通話サーバへミキシング要求を行い、前記通話サーバからの応答を受信してミキシング状態を確立するステップと、前記通話サーバとのミキシング状態が確立した後、前記音声入力手段で入力された音声をパケット化して前記通話サーバへ送信するステップとを有し、前記通話サーバが、ミキシング要求を行った通話端末へ応答を送信し、ミキシング制御対象として記録するステップと、記録した当該通話端末から送信された音声パケットを、セッションを確立している他の通話端末へ送信するステップとを有することを特徴とする。   In the multi-party call method according to claim 9, a call server and a plurality of call terminals are connected via a network, and a voice of a specific call terminal is transmitted to each call terminal that has established a session with the call server. In the multi-party call method, the call terminal is configured to input voice, determine whether the input voice is larger than a set value, and set the input voice. If greater than the value, a request for mixing is made to the call server, a response is received from the call server and a mixing state is established; and after the mixing state with the call server is established, the voice input means Packetizing the input voice and transmitting it to the call server, wherein the call server sends a response to the call terminal that made the mixing request, And recording as a control target, the voice packet transmitted from the recorded the call terminal, and having a sending to the other call terminals that have established a session.

請求項10記載の発明は、請求項9記載の多者間通話方法において、前記通話端末が、入力された音声が設定値よりも小さい場合、設定値よりも小さい音声入力が何回連続しているかを記憶するステップと、記憶された設定値よりも小さい音声入力回数が所定回数以上連続していた場合、前記通話サーバへミキシング切断要求を行い前記通話サーバからの応答を受信してミキシング状態を切断するステップとを更に有し、前記通話サーバが、ミキシングの切断要求に対する応答を送信した通話端末を、ミキシング制御対象から削除するステップとを更に有することを特徴とする。   According to a tenth aspect of the present invention, in the multi-party call method according to the ninth aspect, when the input voice is smaller than a set value, the call terminal continuously receives a number of voice inputs smaller than the set value. And when the number of voice inputs smaller than the stored setting value continues for a predetermined number of times or more, a request for mixing disconnection is made to the call server and a response from the call server is received to change the mixing state. Disconnecting, and further comprising the step of deleting, from the mixing control target, the call terminal from which the call server has transmitted a response to the mixing disconnection request.

以上の説明で明らかなように、本発明によれば、通話端末に入力された音声の大きさが設定値よりも大きい場合に、ミキシング状態を確立し、音声を通話サーバに送信し、通話サーバから他の通話端末へ該音声を送信する。よって、実際に音声入力があった通話端末からの音声のみをミキシング処理の対象にすればよいので、通話サーバのミキシング処理を効率的に行うことができる。その結果、端末数を増加させることができる。
また、現に発言している通話端末の音声だけを通話サーバで処理することで、ミキシングが必要なストリーム数を大幅に削減することができる。通話サーバで、入力のあった通話端末からの音声のみをミキシングし、得られた音声パケットを他の通話端末へ送信することで、多者間通話を実現する。
通話端末は通話サーバとセッションを開始するだけで、多者間通話を開始できる。さらに、通話端末は、セッションを確立した後は、マイクなど入力装置を利用するだけで、付加的操作を要することなく通話できる。
As is apparent from the above description, according to the present invention, when the volume of the voice input to the call terminal is larger than the set value, the mixing state is established and the voice is transmitted to the call server. Transmits the voice to the other call terminal. Therefore, since only the voice from the call terminal that has actually input the voice needs to be the target of the mixing process, the mixing process of the call server can be performed efficiently. As a result, the number of terminals can be increased.
Also, by processing only the voice of the call terminal that is currently speaking by the call server, the number of streams that require mixing can be greatly reduced. In the call server, only the voice from the input call terminal is mixed, and the obtained voice packet is transmitted to another call terminal, thereby realizing a multi-party call.
A call terminal can start a multi-party call simply by starting a session with a call server. Furthermore, after establishing the session, the call terminal can make a call without requiring an additional operation by simply using an input device such as a microphone.

また、請求項2記載の本発明によれば、設定値よりも小さい音声入力が所定回数以上連続していた場合、ミキシング状態を切断するので、連続して音声入力がない場合のネットワークの負荷も低減できる。   According to the second aspect of the present invention, when the voice input smaller than the set value is continued for a predetermined number of times or more, the mixing state is disconnected, so that the network load when there is no voice input continuously is also reduced. Can be reduced.

また、請求項3記載の本発明によれば、通話端末から通話サーバへセッション開始の要求を行い、通話サーバから通話端末へ応答を行うことでセッションが確立されるので、音声パケットを送信する通話端末を特定することができる。   According to the third aspect of the present invention, the session is established by requesting the session start from the call terminal to the call server and responding from the call server to the call terminal. The terminal can be specified.

また、請求項4記載の本発明によれば、通話端末から通話サーバへセッション切断の要求を行い、通話サーバから通話端末へ応答を行うことでセッションが切断されるので、音声パケットを送信しない通話端末を特定することができる。   According to the present invention, the session is disconnected by requesting the session disconnection from the call terminal to the call server and responding from the call server to the call terminal. The terminal can be specified.

請求項5記載の通話端末によれば、入力された音声の大きさが設定値よりも大きい場合に、ミキシング状態を確立し、音声を通話サーバに送信する。よって、通話端末は音声の入力のみで多者間通話を開始できる。   According to the telephone terminal of the fifth aspect, when the volume of the input voice is larger than the set value, the mixing state is established and the voice is transmitted to the call server. Therefore, the call terminal can start a multi-party call only by inputting voice.

請求項6記載の通話端末によれば、設定値よりも小さい音声入力が所定回数以上連続していた場合、通話サーバへミキシング切断要求を行うので、ミキシングが必要な音声パケット数を大幅に削減することができる。   According to the call terminal of the sixth aspect, when the voice input smaller than the set value is continuously performed for a predetermined number of times or more, the disconnection request is made to the call server, so that the number of voice packets that need to be mixed is greatly reduced. be able to.

請求項7記載の通話サーバによれば、ミキシング要求を行った通話端末からの音声パケットを、セッションを確立している他の通話端末へ送信するので、通話サーバのミキシング処理を効率的に行うことができる。   According to the call server according to claim 7, since the voice packet from the call terminal that has made the mixing request is transmitted to another call terminal that has established a session, the call server can be efficiently mixed. Can do.

請求項8記載の通話サーバによれば、ミキシングの切断要求を行った通話端末を、ミキシング制御対象から削除するので、通話サーバでのミキシングが必要なパケット数を大幅に削減することができる。   According to the call server according to the eighth aspect, since the call terminal that has requested mixing disconnection is deleted from the mixing control target, the number of packets that need to be mixed in the call server can be significantly reduced.

請求項9記載の多者間通話方法によれば、通話端末に入力された音声の大きさが設定値よりも大きい場合に、ミキシング状態を確立し、音声を通話サーバに送信し、通話サーバから他の通話端末へ該音声を送信する。よって、実際に音声入力があった通話端末からの音声のみをミキシング処理の対象にすればよいので、通話サーバのミキシング処理を効率的に行うことができる。その結果、端末数を増加させることができる。
また、現に発言している通話端末の音声だけを通話サーバで処理することで、ミキシングが必要なストリーム数を大幅に削減することができる。通話サーバで、入力のあった通話端末からの音声のみをミキシングし、得られた音声パケットを他の通話端末へ送信することで、多者間通話を実現する。
通話端末は通話サーバとセッションを開始するだけで、多者間通話を開始できる。さらに、通話端末は、セッションを確立した後は、マイクなど入力装置を利用するだけで、付加的操作を要することなく通話できる。
According to the multi-party call method according to claim 9, when the volume of the voice input to the call terminal is larger than the set value, the mixing state is established, and the voice is transmitted to the call server. The voice is transmitted to another call terminal. Therefore, since only the voice from the call terminal that has actually input the voice needs to be the target of the mixing process, the mixing process of the call server can be performed efficiently. As a result, the number of terminals can be increased.
Also, by processing only the voice of the call terminal that is currently speaking by the call server, the number of streams that require mixing can be greatly reduced. In the call server, only the voice from the input call terminal is mixed, and the obtained voice packet is transmitted to another call terminal, thereby realizing a multi-party call.
A call terminal can start a multi-party call simply by starting a session with a call server. Furthermore, after establishing the session, the call terminal can make a call without requiring an additional operation by simply using an input device such as a microphone.

請求項10記載の多者間通話方法によれば、設定値よりも小さい音声入力が所定回数以上連続していた場合、ミキシング状態を切断するので、連続して音声入力がない場合のネットワークの負荷も低減できる。   According to the multi-party call method according to claim 10, since the mixing state is disconnected when a voice input smaller than the set value has been continued for a predetermined number of times or more, the load on the network when there is no continuous voice input Can also be reduced.

以下、図面を参照して本発明の実施の形態を説明する。本発明で提案する「限定ミキシング」方式は、参加する端末が多くても、実際に同時に発言する端末は少ない点に着目した方式である。   Embodiments of the present invention will be described below with reference to the drawings. The “limited mixing” method proposed in the present invention is a method that pays attention to the fact that there are few terminals that actually speak at the same time even if there are many terminals participating.

図1は、本発明の一実施形態に係る多者間通話システムを適用した多者間通話サーバと通話端末との概略構成を示すブロック図である。図1において、1は多者間通話サーバで、複数の通話端末2(IP電話機)に対して多者間通話サービスを提供する。1、2は共にネットワーク3で接続されている。ネットワーク3は、IP電話トラフィックのみ伝送する専用網と、インターネットのように電話以外のトラフィックが伝送されている共有回線も含む。   FIG. 1 is a block diagram showing a schematic configuration of a multi-party call server and a call terminal to which a multi-party call system according to an embodiment of the present invention is applied. In FIG. 1, reference numeral 1 denotes a multi-party call server, which provides a multi-party call service to a plurality of call terminals 2 (IP telephones). 1 and 2 are both connected by network 3. The network 3 also includes a dedicated network that transmits only IP telephone traffic and a shared line that transmits traffic other than telephone like the Internet.

通話サーバ1には、音声ミキシングの機能を持たせる。各通話端末2はあらかじめ通話サーバ1とセッションを確立しておく。発言を行う端末(2Aとする)は、通話サーバ1との間でミキシング状態が確立される。セッションを確立しているがミキシング状態を確立していない端末には、通話サーバ1から、ミキシング状態を確立した端末からの音声のみが送信される。次に通話端末2Aが発言をした時に、同時に発言をした他の端末数が一定数 (N) を超えている場合は、他の端末は発言不可能とする。すなわち、先に発言(ミキシング状態を確立)していた通話端末2Aを優先する。端末は、音声が一定時間入力されなかった場合、通話サーバ1とのミキシング状態を終了する。 The call server 1 has a voice mixing function. Each call terminal 2 establishes a session with the call server 1 in advance. A mixing state is established between the terminal (referred to as 2 </ b> A) that makes a statement with the call server 1. Only the voice from the terminal that has established the mixing state is transmitted from the call server 1 to the terminal that has established the session but has not yet established the mixing state. Next, when the call terminal 2A speaks, if the number of other terminals that speak at the same time exceeds a certain number (N), the other terminals cannot speak. That is, priority is given to the call terminal 2A that has made a statement (establishing the mixing state) first. The terminal ends the mixing state with the call server 1 when no voice is input for a certain period of time.

本実施例で使用するシグナリングプロトコルは、標準として定められているSIP (Session Initiation Protocol) を用いる。
図2は通話サーバ1と通話端末2とのセッション確立および終了におけるSIPメッセージのやり取りを示している。通話端末2が通話を開始するとき、通話端末2は通話サーバ1へ、セッション開始要求としてINVITEメッセージを送信する(ステップS201)。呼び出しが成功すると、通話サーバ1は応答として180 Ringing、200 OKのメッセージを返し(ステップS101、103)、これに対して通話端末2がACKを送信することで(ステップS203)セッションを確立する。
セッションを切断する場合は、切断を要求したい通話端末2がBYEメッセージを送信し(ステップS211)、通話サーバ1が応答として200 OKのメッセージを返す(ステップS111)。
The signaling protocol used in the present embodiment uses SIP (Session Initiation Protocol) defined as a standard.
FIG. 2 shows the exchange of SIP messages when the session is established and terminated between the call server 1 and the call terminal 2. When the call terminal 2 starts a call, the call terminal 2 transmits an INVITE message as a session start request to the call server 1 (step S201). If the call is successful, the call server 1 returns a 180 Ringing, 200 OK message as a response (steps S101 and 103), and the call terminal 2 transmits an ACK in response thereto (step S203) to establish a session.
When disconnecting the session, the call terminal 2 that wishes to request disconnection transmits a BYE message (step S211), and the call server 1 returns a 200 OK message as a response (step S111).

図3は通話サーバ1と通話端末2がセッション確立した後に、ミキシング状態を確立するためのメッセージのやり取りを示している。ここで、SIPに準じたメッセージとして、SPEAKとMUTEを定義する。
通話端末2は通話サーバ1とセッションを確立した後、音声データを送信する前にSPEAKメッセージを用いて通話サーバ1にミキシングを要求する(ステップS221)。SPEAKを受信した通話サーバ1は、図2でINVITEを受信したときと同様に180 Ringing、200 OKを返す(ステップS121、123)。通話端末2は、これを受けてACKを通話サーバ1に送信して(ステップS223)、通話サーバ1とのミキシング状態を確立する。
通話端末2が音声データを送信しなくなった場合は、通話端末2からMUTEメッセージを送信する(ステップS231)。MUTEは図2におけるSIPメッセージのBYEに相当する。MUTEを受信した通話サーバ1は、通話端末2に200 OKを返し(ステップS131)、ミキシング状態が終了する。
FIG. 3 shows message exchange for establishing a mixing state after the call server 1 and the call terminal 2 establish a session. Here, SPEAK and MUTE are defined as messages conforming to SIP.
The call terminal 2 establishes a session with the call server 1 and requests the call server 1 to mix using the SPEAK message before transmitting voice data (step S221). The call server 1 that has received SPEAK returns 180 Ringing, 200 OK as in the case of receiving INVITE in FIG. 2 (steps S121 and 123). The call terminal 2 receives this and transmits ACK to the call server 1 (step S223), and establishes a mixing state with the call server 1.
When the call terminal 2 stops transmitting voice data, a MUTE message is transmitted from the call terminal 2 (step S231). MUTE corresponds to the BYE of the SIP message in FIG. The call server 1 that has received MUTE returns 200 OK to the call terminal 2 (step S131), and the mixing state ends.

ここで、通話サーバ1、通話端末2それぞれの構成と、図2、図3で説明したSIPメッセージのやり取りにおけるそれぞれの詳細な動作について、以下に記載する。   Here, the configuration of each of the call server 1 and the call terminal 2 and the detailed operation of each of the SIP message exchanges described with reference to FIGS. 2 and 3 will be described below.

まず、通話サーバ1の機能ブロックを図4に示す。本実施例での通話サーバ1は、接続している通話端末2から受信するSIPの各種メッセージとRTPの音声パケットを処理する必要がある。通話サーバ1は、制御部10(ミキシング制御対象記録手段、ミキシング制御対象削除手段)、SIPプロトコルスタック部11、ミキシング部12、端末接続状態管理テーブル13、ミキシング制御テーブル14、パケット送受信部15(第2の送信手段)、符号化部16、復号化部17、RTP(Real-Time Transport Protocol)パケット生成部18、RTPパケット解析部19を有する。   First, functional blocks of the call server 1 are shown in FIG. The call server 1 in this embodiment needs to process various SIP messages and RTP voice packets received from the connected call terminal 2. The call server 1 includes a control unit 10 (mixing control target recording unit, mixing control target deletion unit), a SIP protocol stack unit 11, a mixing unit 12, a terminal connection state management table 13, a mixing control table 14, a packet transmission / reception unit 15 (first). 2 transmission means), an encoding unit 16, a decoding unit 17, an RTP (Real-Time Transport Protocol) packet generation unit 18, and an RTP packet analysis unit 19.

パケット送受信部15は、通話端末2からの音声パケットの受信および通話端末2への送信を行うためのモジュールで、音声パケットの送受信に関してRTP (Real-Time Transport Protocol : ストリーム制御プロトコル) を用い、受信したパケットの正当性チェックを行う。そして、パケットロスやパケット遅延を検出し、制御や破棄を行う。 The packet transmitter / receiver 15 is a module for receiving voice packets from the call terminal 2 and transmitting to the call terminals 2, and uses RTP (Real-Time Transport Protocol) to receive and receive voice packets. Check the validity of the packet. Then, packet loss and packet delay are detected, and control and discarding are performed.

SIPプロトコルスタック部11は、SIPメッセージを送信した通話端末2に対して応答を返す処理を行う。 The SIP protocol stack unit 11 performs a process of returning a response to the call terminal 2 that has transmitted the SIP message.

次に、通話サーバ1の詳細な動作について説明する。
図5に通話サーバ1と通話端末2とでセッション確立・切断を行う際の通話サーバ1の動作フローを示す。通話サーバ1のパケット送受信部15は、特定の通話端末2AからSIPメッセージを受信する(ステップSa101)。受信したSIPメッセージがINVITEメッセージの場合(ステップSa105で「Yes」)、SIPプロトコルスタック部11は図2のステップS101、103に示した応答を返し(ステップSa103)、通話端末2Aとのセッションを確立する(ステップSa107)。また制御部10は、端末接続状態管理テーブル13に通話端末2Aが接続されたことを追加する(ステップSa109)。そして図6の処理に移る。
パケット送受信部15が通話端末2Aから受信したSIPメッセージがBYEメッセージの場合(ステップSa105で「No」)、SIPプロトコルスタック部11は図2のステップS111に示した応答を返して(ステップSa121)、通話端末2Aとのセッションを切断する(ステップSa123)。そして制御部10は、端末接続状態管理テーブル13から通話端末2Aの情報を削除する(ステップSa125)。
Next, detailed operation of the call server 1 will be described.
FIG. 5 shows an operation flow of the call server 1 when the call server 1 and the call terminal 2 establish / disconnect a session. The packet transmitting / receiving unit 15 of the call server 1 receives the SIP message from the specific call terminal 2A (step Sa101). When the received SIP message is an INVITE message (“Yes” in step Sa105), the SIP protocol stack unit 11 returns the response shown in steps S101 and 103 in FIG. 2 (step Sa103) and establishes a session with the call terminal 2A. (Step Sa107). Further, the control unit 10 adds that the call terminal 2A is connected to the terminal connection state management table 13 (step Sa109). Then, the processing proceeds to FIG.
When the SIP message received by the packet transmitting / receiving unit 15 from the call terminal 2A is a BYE message (“No” in step Sa105), the SIP protocol stack unit 11 returns the response shown in step S111 in FIG. 2 (step Sa121). The session with the call terminal 2A is disconnected (step Sa123). Then, the control unit 10 deletes the information on the call terminal 2A from the terminal connection state management table 13 (step Sa125).

図6に通話サーバ1と通話端末2とでミキシング状態の確立・切断を行う際の通話サーバ1の動作フローを示す。通話サーバ1はステップSa107で通話端末2Aとのセッションを確立し、通話端末2Aからのミキシング要求を待機している。パケット送受信部15は、通話端末2Aからメッセージを受信する(ステップSa151)。ここで受信するメッセージはSIPに準じている。受信したメッセージがSPEAKメッセージの場合(ステップSa155で「Yes」)、SIPプロトコルスタック部11は図3のステップS121、123に示した応答を返す(ステップSa153)。そして制御部10は、ミキシング制御テーブル14に通話端末2Aを追加する(ステップSa157)。これにより、通話端末2Aの音声がミキシング処理されるようになる。そして、図7の処理に移る。
パケット送受信部15が通話端末2Aから受信したメッセージがMUTEメッセージの場合(ステップSa155で「No」)、SIPプロトコルスタック部11は図3のステップS131に示した応答を返し(ステップSa159)、制御部10はミキシング制御テーブル14から通話端末2Aを削除する(ステップSa161)。つまり、通話端末2Aの音声がミキシング処理されないようにする。
FIG. 6 shows an operation flow of the call server 1 when the call server 1 and the call terminal 2 establish and disconnect the mixing state. The call server 1 establishes a session with the call terminal 2A in step Sa107 and waits for a mixing request from the call terminal 2A. The packet transmitting / receiving unit 15 receives a message from the call terminal 2A (step Sa151). The message received here conforms to SIP. If the received message is a SPEAK message (“Yes” in step Sa155), the SIP protocol stack unit 11 returns the responses shown in steps S121 and 123 of FIG. 3 (step Sa153). Then, the control unit 10 adds the call terminal 2A to the mixing control table 14 (step Sa157). As a result, the voice of the call terminal 2A is mixed. Then, the process proceeds to FIG.
When the message received by the packet transmitting / receiving unit 15 from the call terminal 2A is a MUTE message (“No” in step Sa155), the SIP protocol stack unit 11 returns the response shown in step S131 of FIG. 3 (step Sa159), and the control unit 10 deletes the call terminal 2A from the mixing control table 14 (step Sa161). That is, the voice of the call terminal 2A is prevented from being mixed.

図7にミキシング確立状態における、通話サーバ1のRTP送受信処理の動作フローを示す。パケット送受信部15が通話端末2AからのRTPパケットを受信すると(ステップSa171)、RTPパケット解析部19は、受信したRTPパケットを解析する。RTPパケットにエラーが無ければ、復号化部17で音声データを復号化し(ステップSa173)、ミキシング部12に送る。ミキシング部12は、ミキシング制御テーブル14から、ステップSa157で追加した通話端末2Aの情報を呼び出し、ミキシング状態が確立している通話端末2Aの音声のみをミキシングする(ステップSa175)。ミキシング済みのパケットは、符号化部16で符号化した後(ステップSa177)、RTPに合わせた形式になるようパケットを生成し、パケット送受信部15を用いてセッションを確立しているネットワーク3内の端末すべてに送信する(ステップSa179)。 FIG. 7 shows an operation flow of RTP transmission / reception processing of the call server 1 in the mixing established state. When the packet transmitting / receiving unit 15 receives the RTP packet from the call terminal 2A (step Sa171), the RTP packet analyzing unit 19 analyzes the received RTP packet. If there is no error in the RTP packet, the decoding unit 17 decodes the voice data (step Sa173) and sends it to the mixing unit 12. The mixing unit 12 calls the information of the call terminal 2A added in Step Sa157 from the mixing control table 14, and mixes only the voice of the call terminal 2A in which the mixing state is established (Step Sa175). After the mixed packet is encoded by the encoding unit 16 (step Sa177), the packet is generated so as to conform to the RTP, and the session is established within the network 3 using the packet transmitting / receiving unit 15 It transmits to all the terminals (step Sa179).

図8に通話サーバ1における端末接続状態管理テーブル13のデータ構造を、図9にミキシング制御テーブル14のデータ構造を示す。端末接続状態管理テーブル13の最大要素数は最大参加人数、ミキシング制御テーブル14の最大要素数は最大同時発言者数となる。
例えば、通話端末2からのSPEAKを受け付けると、制御部10は各種情報(SIP交換情報など)をミキシング制御テーブル14に保存する。逆に、通話端末2からMUTEを受信すると、制御部10は通話端末2の各種情報をミキシング制御テーブル14から破棄する。
FIG. 8 shows the data structure of the terminal connection state management table 13 in the call server 1, and FIG. 9 shows the data structure of the mixing control table 14. The maximum number of elements in the terminal connection state management table 13 is the maximum number of participants, and the maximum number of elements in the mixing control table 14 is the maximum number of simultaneous speakers.
For example, when SPEAK is received from the call terminal 2, the control unit 10 stores various information (SIP exchange information and the like) in the mixing control table 14. Conversely, when receiving MUTE from the call terminal 2, the control unit 10 discards various information of the call terminal 2 from the mixing control table 14.

次に通話端末2の機能ブロックを図10に示す。通話端末2は、SIPの送信、受信、RTPの送信、受信を処理する必要がある。通話端末2は、メモリ20(回数記憶手段)、SIPプロトコルスタック部21、接続制御部22(入力音声判断手段、ミキシング状態確立手段、ミキシング状態切断手段)、パケット送受信部23(第2の音声パケット送信手段)、音声入力部24(音声入力手段)、音声出力部25、符号化部26、復号化部27、RTPパケット生成部28、RTPパケット解析部29、ミキシング状態管理部30を有する。   Next, functional blocks of the call terminal 2 are shown in FIG. The call terminal 2 needs to process SIP transmission / reception and RTP transmission / reception. The call terminal 2 includes a memory 20 (number of times storage means), a SIP protocol stack section 21, a connection control section 22 (input voice determination means, a mixing state establishment means, a mixing state disconnection means), and a packet transmission / reception section 23 (second voice packet). Transmission means), voice input unit 24 (voice input means), voice output unit 25, encoding unit 26, decoding unit 27, RTP packet generation unit 28, RTP packet analysis unit 29, and mixing state management unit 30.

パケット送受信部23は、通話サーバ1とのパケットの送受信をつかさどる。音声パケットの送受信に関してRTPを用い、受信したパケットの正当性チェックを行う。そして、パケットロスやパケット遅延を検出し、制御や破棄を行う。 The packet transmission / reception unit 23 controls transmission / reception of packets with the call server 1. RTP is used for sending and receiving voice packets, and the validity of received packets is checked. Then, packet loss and packet delay are detected, and control and discarding are performed.

SIPプロトコルスタック部21は、SIPメッセージを送信し、それに対する通話サーバ1からの応答を受信する処理を行う。メモリ20は、入力音声と判断される音声の大きさの最小値(閾値)を記憶している。ミキシング状態管理部30は、通話端末2が通話サーバ1とミキシング状態を確立しているか否かの情報を管理している。 The SIP protocol stack unit 21 performs processing for transmitting a SIP message and receiving a response from the call server 1 in response thereto. The memory 20 stores a minimum value (threshold value) of the volume of sound determined to be input sound. The mixing state management unit 30 manages information indicating whether or not the call terminal 2 has established a mixing state with the call server 1.

次に通話端末2の詳細な動作について説明する。
図11に特定の通話端末2Bと通話サーバ1とでセッション確立・切断を行う際の通話端末2Bの動作フローを示す。図11aにおいて、ユーザが通話端末2Bを用いて発呼を行い、通話サーバ1とのセッションを確立しようとすると、通話端末2BのSIPプロトコルスタック部21は、パケット送受信部23を介してINVITEメッセージを通話サーバ1へ送信する(ステップSb201)。パケット送受信部23が、通話サーバ1から図2のステップS101、S103で示した応答を受信すると(ステップSb203)、SIPプロトコルスタック部21はACKを通話サーバ1へ返し(ステップSb205)、セッションを確立する。
図11bにおいてユーザからのセッション切断要求があると、SIPプロトコルスタック部21は、パケット送受信部23を介してBYEメッセージを通話サーバ1へ送信する(ステップSb207)。そして、パケット送受信部23は通話サーバ1から図2のステップS111で示した応答を受信する(ステップSb209)。
Next, detailed operation of the call terminal 2 will be described.
FIG. 11 shows an operation flow of the call terminal 2B when a session is established / disconnected between the specific call terminal 2B and the call server 1. In FIG. 11a, when the user makes a call using the call terminal 2B and tries to establish a session with the call server 1, the SIP protocol stack unit 21 of the call terminal 2B sends an INVITE message via the packet transmission / reception unit 23. It transmits to the call server 1 (step Sb201). When the packet transmitting / receiving unit 23 receives the response shown in steps S101 and S103 in FIG. 2 from the call server 1 (step Sb203), the SIP protocol stack unit 21 returns ACK to the call server 1 (step Sb205), and establishes a session. To do.
In FIG. 11b, when there is a session disconnection request from the user, the SIP protocol stack unit 21 transmits a BYE message to the call server 1 via the packet transmission / reception unit 23 (step Sb207). The packet transmitting / receiving unit 23 receives the response shown in step S111 of FIG. 2 from the call server 1 (step Sb209).

図12に通話端末2Bと通話サーバ1とでミキシング状態の確立・切断を行う際の通話端末2の動作フローを示す。
通話端末2Bの音声入力部24から音声が入力されると(ステップSb251)、接続制御部22はその音声の大きさを、メモリ20であらかじめ記憶された音声の閾値と比較する(ステップSb253)。入力された音声が閾値より大きければ(ステップSb253で「Yes」)、音声が入力されたと判断する。次に接続制御部22はミキシング状態管理部30から、通話端末2Bと通話サーバ1とがミキシング状態か否かの情報を取得する。ミキシング状態が確立されていない場合(ステップSb255で「No」)、SIPプロトコルスタック部21はパケット送受信部23を介して通話サーバ1にSPEAKを送信する(ステップSb257)。そして、図3のステップS121、S123に示す通話サーバ1からの応答をパケット送受信部23が受信すると、SIPプロトコルスタック部21はACKを返してミキシング状態を確立する(ステップSb258)。接続制御部22はミキシング状態管理部30に、通話端末2がミキシング状態であることを記録する(ステップSb259)。
ステップSb255でミキシング状態が確立されている場合は(ステップSb255で「Yes」)、後述する図13aのステップSb275の処理に移る。
FIG. 12 shows an operation flow of the call terminal 2 when the call terminal 2B and the call server 1 establish and disconnect the mixing state.
When voice is input from the voice input unit 24 of the call terminal 2B (step Sb251), the connection control unit 22 compares the volume of the voice with a voice threshold value stored in advance in the memory 20 (step Sb253). If the input voice is larger than the threshold (“Yes” in step Sb253), it is determined that the voice is input. Next, the connection control unit 22 acquires information on whether or not the call terminal 2 </ b> B and the call server 1 are in the mixing state from the mixing state management unit 30. When the mixing state is not established (“No” in step Sb255), the SIP protocol stack unit 21 transmits SPEAK to the call server 1 via the packet transmission / reception unit 23 (step Sb257). Then, when the packet transmitting / receiving unit 23 receives the response from the call server 1 shown in steps S121 and S123 of FIG. 3, the SIP protocol stack unit 21 returns ACK and establishes a mixing state (step Sb258). The connection control unit 22 records in the mixing state management unit 30 that the call terminal 2 is in the mixing state (step Sb259).
When the mixing state is established in step Sb255 (“Yes” in step Sb255), the process proceeds to step Sb275 in FIG.

入力された音声の大きさがメモリ20に記憶された音声の閾値以下の場合(ステップSb253で「No」)、接続制御部22はメモリ20に、閾値以下の音声入力回数を記録する(ステップSb260)。また、接続制御部22はミキシング状態管理部30から、通話端末2Bと通話サーバ1とがミキシング状態か否かの情報を取得する。ミキシング状態が確立されている場合(ステップSb261で「Yes」)、接続制御部22はメモリ20に記録している、音声入力が連続して閾値を下回った回数を取得する。
音声入力が一定回数以上連続して閾値を下回った場合(ステップSb263で「Yes」)、接続制御部22は一定時間音声の入力がないと判定する。そして、ミキシング状態を切断するために、SIPプロトコルスタック部21はパケット送受信部23を介して通話サーバ1へMUTEを送信する(ステップSb265)。パケット送信部23が、図3のステップS131に示す通話サーバ1からの応答を受信すると、ミキシング状態が切断となる(ステップSb267)。接続制御部22はミキシング状態管理部30に、通話端末2がミキシング状態でなくなったことを記録する(ステップSb269)。
音声入力が閾値を下回った回数が一定回数連続していない場合(ステップSb263で「No」)、再び次の音声入力を待機する。
When the volume of the input voice is equal to or less than the threshold value of the voice stored in the memory 20 (“No” in step Sb253), the connection control unit 22 records the number of voice inputs equal to or less than the threshold value in the memory 20 (step Sb260). ). Further, the connection control unit 22 acquires information on whether or not the call terminal 2B and the call server 1 are in the mixing state from the mixing state management unit 30. When the mixing state is established (“Yes” in step Sb261), the connection control unit 22 acquires the number of times that the voice input is continuously lower than the threshold, which is recorded in the memory 20.
If the voice input is continuously lower than the threshold value for a certain number of times (“Yes” in step Sb263), the connection control unit 22 determines that there is no voice input for a certain time. And in order to cut | disconnect a mixing state, the SIP protocol stack part 21 transmits MUTE to the telephone call server 1 via the packet transmission / reception part 23 (step Sb265). When the packet transmitter 23 receives the response from the call server 1 shown in step S131 of FIG. 3, the mixing state is disconnected (step Sb267). The connection control unit 22 records in the mixing state management unit 30 that the call terminal 2 is no longer in the mixing state (step Sb269).
If the number of times the voice input has fallen below the threshold is not continuous for a certain number of times (“No” in step Sb263), the next voice input is again waited.

図13aにミキシング確立状態における、通話端末2のRTP送信処理の動作フローを示す。音声入力部24から入力された音声(ステップSb271)は、図12に示す動作でミキシング状態を確立し(ステップSb273)、符号化部26で符号化される(ステップSb275)。符号化された音声データは、RTPパケット生成部28でRTPパケットとして生成され、パケット送受信部23から通話サーバ1へ送信される(ステップSb277)。 FIG. 13a shows an operation flow of the RTP transmission process of the call terminal 2 in the mixing established state. The voice (step Sb271) input from the voice input unit 24 establishes a mixing state by the operation shown in FIG. 12 (step Sb273), and is encoded by the encoding unit 26 (step Sb275). The encoded voice data is generated as an RTP packet by the RTP packet generator 28 and transmitted from the packet transmitter / receiver 23 to the call server 1 (step Sb277).

図13bに通話端末2のRTP受信処理の動作フローを示す。パケット送受信部23が通話サーバ1からRTPパケットを受信すると(ステップSb281)、RTPパケット解析部29は、受信したRTPパケットを解析する。エラーが無ければ復号化部で音声データに復号化し(ステップSb283)、音声データを音声出力部25に送って音声を出力する(ステップSb285)。 FIG. 13 b shows an operation flow of the RTP reception process of the call terminal 2. When the packet transmitting / receiving unit 23 receives an RTP packet from the call server 1 (step Sb281), the RTP packet analyzing unit 29 analyzes the received RTP packet. If there is no error, the decoding unit decodes the audio data (step Sb283), sends the audio data to the audio output unit 25, and outputs the audio (step Sb285).

以上説明したように、本発明の「限定ミキシング」と呼ぶ方式は、現に発言している端末の音声だけを多者間通話サーバで処理することで、ミキシングが必要なストリーム数を大幅に削減する。多者間通話サーバで発言者の音声のみをミキシングし、得られた音声を端末へ送信することで、多者間通話を実現する。   As described above, the method called “limited mixing” of the present invention significantly reduces the number of streams that need to be mixed by processing only the voice of the terminal that is currently speaking by the multi-party call server. . A multi-party call is realized by mixing only the voice of the speaker in the multi-party call server and transmitting the obtained voice to the terminal.

音声が入力されると、既に通話サーバとミキシング状態確立済みか調べ、確立されていない場合はSPEAKメッセージを送信してミキシング状態確立を通話サーバに要求する。ミキシング状態が確立できたら、入力された音声を符号化部で符号化する。次に、RTPパケット生成部でRTPパケットとして整形した後、パケット送受信部に渡す。また、一定時間音声の入力がない場合、ミキシング状態を終了するためにサーバにMUTEメッセージを送信する。RTPパケット解析部は、RTPパケットを受信すると、エラーの有無をチェックし、エラーが無ければ音声データを復号化し、データを音声出力部に渡す。 When the voice is input, it is checked whether the mixing state has already been established with the call server, and if not established, a SPEAK message is transmitted to request the call server to establish the mixing state. When the mixing state is established, the input voice is encoded by the encoding unit. Next, the RTP packet generation unit shapes the packet as an RTP packet, and then passes the packet to the packet transmission / reception unit. If there is no voice input for a certain period of time, a MUTE message is transmitted to the server to end the mixing state. When the RTP packet analysis unit receives the RTP packet, the RTP packet analysis unit checks whether there is an error. If there is no error, the RTP packet analysis unit decodes the audio data and passes the data to the audio output unit.

通話端末は多者間通話サーバとセッションを開始するだけで、多者間通話を開始できる。さらに、通話端末は、セッションを確立した後は、マイクなど入力装置を利用するだけで、発言権要求ボタンを押すなどの付加的操作を要することなく通話できる。発言者にとっては、マイクからの音声入力により発言が可能になるので、議長制発言方式のような発言権の意識を不要にできるという効果がある。 The call terminal can start a multi-party call simply by starting a session with the multi-party call server. Furthermore, after establishing a session, the call terminal can make a call without using an additional operation such as pressing a floor request button by simply using an input device such as a microphone. Since the speaker can speak by voice input from the microphone, there is an effect that the consciousness of the speaking right as in the chairman-based speech method can be made unnecessary.

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。   As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.

本発明の一実施形態に係る通話システムを適用した多者間通話サーバとユーザ端末との概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the multi-party call server and user terminal to which the call system which concerns on one Embodiment of this invention is applied. 同上の実施形態における通話サーバ1と通話端末2とのセッション確立および切断におけるSIPメッセージのやり取りを示す図である。It is a figure which shows the exchange of the SIP message in the session establishment and disconnection of the call server 1 and the call terminal 2 in embodiment same as the above. 同上の実施形態における、通話サーバ1と通話端末2とのミキシング状態の確立および切断におけるメッセージのやり取りを示す図である。It is a figure which shows the exchange of the message in establishment and disconnection of the mixing state of the call server 1 and the call terminal 2 in embodiment same as the above. 同上の実施形態における通話サーバ1の機能ブロックを示す図である。It is a figure which shows the functional block of the telephone call server 1 in embodiment same as the above. セッション確立・切断を行う際の通話サーバ1の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the telephone call server 1 at the time of performing session establishment / disconnection. ミキシング状態の確立・切断を行う際の通話サーバ1の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the telephone call server 1 at the time of establishing / disconnecting a mixing state. 通話サーバ1のRTP送受信処理の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the RTP transmission / reception process of the call server 1. 通話サーバ1における端末接続状態管理テーブル13のデータ構造を示すテーブルである。4 is a table showing a data structure of a terminal connection state management table 13 in the call server 1. 通話サーバ1におけるミキシング制御テーブル14のデータ構造を示すテーブルである。It is a table which shows the data structure of the mixing control table 14 in the telephone call server 1. 同上の実施形態における通話端末2の機能ブロックを示す図である。It is a figure which shows the functional block of the telephone terminal 2 in embodiment same as the above. セッションの確立を行う際の通話端末2の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the communication terminal 2 at the time of establishing a session. セッションの切断を行う際の通話端末2の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the telephone call terminal 2 at the time of disconnecting a session. ミキシング状態の確立・切断を行う際の通話端末2の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the communication terminal 2 at the time of establishing / disconnecting a mixing state. 通話端末2のRTP送信処理の動作を示すフローチャートである。4 is a flowchart showing an operation of RTP transmission processing of the call terminal 2. 通話端末2のRTP受信処理の動作を示すフローチャートである。4 is a flowchart showing an operation of RTP reception processing of the call terminal 2.

符号の説明Explanation of symbols

1…通話サーバ、2…通話端末(IP電話機)、3…インターネット、
10…制御部、11…通話サーバのSIPプロトコルスタック部、12…ミキシング部、13…端末接続状態管理テーブル、14…ミキシング制御テーブル、15…パケット送受信部、16…符号化部、17…復号化部、18…RTPパケット生成部、19…RTPパケット解析部、
20…端末のメモリ、21…SIPプロトコルスタック部、22…接続制御部、23…パケット送受信部、24…音声入力部、25…音声出力部、26…符号化部、27…復号化部、28…RTPパケット生成部、29…RTPパケット解析部、30…ミキシング状態管理部
1 ... Call server, 2 ... Call terminal (IP phone), 3 ... Internet,
DESCRIPTION OF SYMBOLS 10 ... Control part, 11 ... SIP protocol stack part of call server, 12 ... Mixing part, 13 ... Terminal connection state management table, 14 ... Mixing control table, 15 ... Packet transmission / reception part, 16 ... Coding part, 17 ... Decoding , 18 ... RTP packet generator, 19 ... RTP packet analyzer,
DESCRIPTION OF SYMBOLS 20 ... Memory of terminal, 21 ... SIP protocol stack part, 22 ... Connection control part, 23 ... Packet transmission / reception part, 24 ... Voice input part, 25 ... Voice output part, 26 ... Encoding part, 27 ... Decoding part, 28 ... RTP packet generator, 29 ... RTP packet analyzer, 30 ... mixing state manager

Claims (8)

通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話システムにおいて、
前記通話端末が、
音声が入力される音声入力手段と、
前記音声入力手段に入力された音声の大きさが、設定値よりも大きいか否かを判断する
入力音声判断手段と、
前記入力音声判断手段により入力された音声が設定値よりも大きい場合、前記通話サー
バへミキシング要求を行い、前記通話サーバから応答を受信してミキシング状態を確立す
るミキシング状態確立手段と、
前記ミキシング状態確立手段により前記通話サーバとのミキシング状態が確立した後、
前記音声入力手段で入力された音声をパケット化して前記通話サーバへ送信する第1の音
声パケット送信手段とを有し、
前記通話サーバが、
前記ミキシング要求を行った通話端末へ応答を送信し、ミキシング制御対象として記録
するミキシング制御対象記録手段と、
前記ミキシング制御対象記録手段により記録した当該通話端末から送信された音声パケ
ットを、セッションを確立している他の通話端末へ送信する第2 の音声パケット送信手段とを有する
ことを特徴とする多者間通話システム
In a multi-party call system in which a call server and a plurality of call terminals are connected via a network, and audio from a specific call terminal is transmitted to each call terminal that has established a session with the call server.
The call terminal is
Voice input means for inputting voice;
Input voice determination means for determining whether or not the volume of the voice input to the voice input means is larger than a set value;
If the voice input by the input voice determination means is larger than a set value, a mixing request is made to the call server, a response is received from the call server, and a mixing state is established to establish a mixing state;
After the mixing state with the call server is established by the mixing state establishing means,
First voice packet transmitting means for packetizing the voice input by the voice input means and transmitting the packet to the call server;
The call server is
A mixing control target recording means for transmitting a response to the call terminal that has made the mixing request and recording the response as a mixing control target;
And a second voice packet transmitting means for transmitting the voice packet transmitted from the call terminal recorded by the mixing control target recording means to another call terminal that has established a session. Inter-call system
前記通話端末が、
前記入力音声判断手段により、入力された音声が設定値よりも小さい場合、設定値より
も小さい音声入力が何回連続しているかを記憶する回数記憶手段と、
前記回数記憶手段で記憶された、設定値よりも小さい音声入力回数が所定回数以上連続
していた場合、前記通話サーバへミキシング切断要求を行い、前記通話サーバからの応答
を受信してミキシング状態を切断するミキシング状態切断手段とを更に有し、
前記通話サーバが、
前記ミキシング状態切断手段によりミキシングの切断要求を行った通信端末へ応答を送
信し、ミキシング制御対象から削除するミキシング制御対象削除手段とを更に有する
ことを特徴とする請求項1 記載の多者間通話システム。
The call terminal is
When the input voice is determined by the input voice determination means is smaller than the set value, the number of times storage means for storing how many times the voice input smaller than the set value is continued;
When the number of voice input times smaller than a set value stored in the number storage means continues for a predetermined number of times or more, a request to disconnect the mixing is made to the call server, a response from the call server is received, and the mixing state is changed. A mixing state cutting means for cutting;
The call server is
The multi-party call according to claim 1, further comprising: a mixing control target deleting unit that transmits a response to the communication terminal that has requested mixing disconnection by the mixing state disconnecting unit, and deletes the response from the mixing control target. system.
前記通話端末が、前記通話サーバへセッション開始要求メッセージを送信し、前記通話サーバが該セッション開始要求メッセージに対するセッション開始応答メッセージを送信することで、前記通話端末と前記通話サーバとのセッションを確立することを特徴とする請求項1 または2 記載の多者間通話システム。   The call terminal transmits a session start request message to the call server, and the call server transmits a session start response message to the session start request message, thereby establishing a session between the call terminal and the call server. The multi-party call system according to claim 1 or 2. 前記通話端末が、前記通話サーバへセッション切断要求メッセージを送信し、前記通話サーバが該セッション切断要求メッセージに対するセッション切断応答メッセージを送信することで、前記通話端末と前記通話サーバとのセッションを切断することを特徴とする請求項1 または2 記載の多者間通話システム。   The call terminal transmits a session disconnection request message to the call server, and the call server disconnects a session between the call terminal and the call server by transmitting a session disconnection response message in response to the session disconnection request message. The multi-party call system according to claim 1 or 2. 通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話システムにおける通話端末において、
音声が入力される音声入力手段と、
前記音声入力手段に入力された音声の大きさが、設定値よりも大きいか否かを判断する
入力音声判断手段と、
前記入力音声判断手段により入力された音声が設定値よりも大きい場合、前記通話サー
バへミキシング要求を行い、前記通話サーバからの応答を受信してミキシング状態を確立
するミキシング状態確立手段と、
前記ミキシング状態確立手段により前記通話サーバとのミキシング状態が確立した後、
前記音声入力手段で入力された音声をパケット化して前記通話サーバへ送信する第1の音
声パケット送信手段と
を有することを特徴とする通話端末。
In a call terminal in a multi-party call system in which a call server and a plurality of call terminals are connected via a network, and audio of a specific call terminal is transmitted to each call terminal that has established a session with the call server,
Voice input means for inputting voice;
Input voice determination means for determining whether or not the volume of the voice input to the voice input means is larger than a set value;
A mixing state establishing means for making a mixing request to the call server and receiving a response from the call server to establish a mixing state when the sound input by the input sound determining means is larger than a set value;
After the mixing state with the call server is established by the mixing state establishing means,
A call terminal comprising: a first voice packet transmission unit configured to packetize the voice input by the voice input unit and transmit the packet to the call server.
前記入力音声判断手段により、入力された音声が設定値よりも小さい場合、設定値よりも小さい音声入力が何回連続しているかを記憶する回数記憶手段と、
前記回数記憶手段で記憶された、設定値よりも小さい音声入力回数が所定回数以上連続
していた場合、前記通話サーバへミキシング切断要求を行い、前記通話サーバからの応答
を受信してミキシング状態を切断するミキシング状態切断手段とを更に有することを特徴とする請求項5 記載の通話端末。
When the input voice is determined by the input voice determination means is smaller than the set value, the number of times storage means for storing how many times the voice input smaller than the set value is continued;
When the number of voice input times smaller than a set value stored in the number storage means continues for a predetermined number of times or more, a request to disconnect the mixing is made to the call server, a response from the call server is received, and the mixing state is changed. 6. The call terminal according to claim 5, further comprising a mixing state cutting means for cutting.
通話サーバと、複数の通話端末とがネットワークで接続され、特定の通話端末の音声が、通話サーバとセッションを確立している各通話端末へ送信される多者間通話方法において、In a multi-party call method in which a call server and a plurality of call terminals are connected via a network, and audio from a specific call terminal is transmitted to each call terminal that has established a session with the call server.
前記通話端末が、  The call terminal is
音声が入力されるステップと、  A step in which audio is input,
入力された音声の大きさが、設定値よりも大きいか否かを判断するステップと、  Determining whether the volume of the input voice is greater than a set value;
入力された音声が設定値よりも大きい場合、前記通話サーバへミキシング要求を行い、  When the input voice is larger than the set value, a request for mixing is made to the call server,
前記通話サーバからの応答を受信してミキシング状態を確立するステップと、Receiving a response from the call server and establishing a mixing state;
前記通話サーバとのミキシング状態が確立した後、前記音声入力手段で入力された音声  The voice input by the voice input means after the mixing state with the call server is established
をパケット化して前記通話サーバへ送信するステップとを有し、Packetizing and transmitting to the call server,
前記通話サーバが、  The call server is
ミキシング要求を行った通話端末へ応答を送信し、ミキシング制御対象として記録する  Sends a response to the call terminal that made the mixing request and records it as a mixing control target
ステップと、Steps,
記録した当該通話端末から送信された音声パケットを、セッションを確立している他の  The recorded voice packet sent from the corresponding call terminal is sent to other established session.
通話端末へ送信するステップとを有するAnd transmitting to the call terminal
ことを特徴とする多者間通話方法。  A multi-party call method characterized by the above.
前記通話端末が、The call terminal is
入力された音声が設定値よりも小さい場合、設定値よりも小さい音声入力が何回連続し  If the input audio is lower than the set value, the audio input lower than the set value will continue
ているかを記憶するステップと、A step of memorizing whether or not
記憶された設定値よりも小さい音声入力回数が所定回数以上連続していた場合、前記通  If the number of times of voice input that is smaller than the stored set value continues for a predetermined number of times,
話サーバへミキシング切断要求を行い前記通話サーバからの応答を受信してミキシング状Requests the disconnection to the talk server and receives a response from the call server
態を切断するステップとを更に有し、Cutting the state further,
前記通話サーバが、  The call server is
ミキシングの切断要求に対する応答を送信した通話端末を、ミキシング制御対象から削  The call terminal that sent the response to the mixing disconnect request is deleted from the mixing control target.
除するステップとを更に有するAnd a step of removing
ことを特徴とする請求項9 記載の多者間通話方法。  The multi-party call method according to claim 9.
JP2006050074A 2006-02-27 2006-02-27 Multi-party call system, call terminal and call server in multi-party call system, multi-party call method Active JP4644813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006050074A JP4644813B2 (en) 2006-02-27 2006-02-27 Multi-party call system, call terminal and call server in multi-party call system, multi-party call method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006050074A JP4644813B2 (en) 2006-02-27 2006-02-27 Multi-party call system, call terminal and call server in multi-party call system, multi-party call method

Publications (2)

Publication Number Publication Date
JP2007228506A JP2007228506A (en) 2007-09-06
JP4644813B2 true JP4644813B2 (en) 2011-03-09

Family

ID=38549827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006050074A Active JP4644813B2 (en) 2006-02-27 2006-02-27 Multi-party call system, call terminal and call server in multi-party call system, multi-party call method

Country Status (1)

Country Link
JP (1) JP4644813B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057946B2 (en) * 2007-12-03 2012-10-24 株式会社オーディオテクニカ Audio conference apparatus and audio conference method
WO2010090019A1 (en) * 2009-02-04 2010-08-12 パナソニック株式会社 Connection apparatus, remote communication system, and connection method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217303A (en) * 1993-01-14 1994-08-05 Nippon Telegr & Teleph Corp <Ntt> Utterance controller in inter-multi-point communication conference system
JPH1032638A (en) * 1996-07-12 1998-02-03 Ricoh Co Ltd Video conference system
JP2000092218A (en) * 1998-08-28 2000-03-31 Lucent Technol Inc Technology for effectively mixing audio signal for telephone conference
JP2003500935A (en) * 1999-05-21 2003-01-07 トゥルーチャット, インコーポレイテッド Teleconferencing Bridge with Edge Point Mixing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06217303A (en) * 1993-01-14 1994-08-05 Nippon Telegr & Teleph Corp <Ntt> Utterance controller in inter-multi-point communication conference system
JPH1032638A (en) * 1996-07-12 1998-02-03 Ricoh Co Ltd Video conference system
JP2000092218A (en) * 1998-08-28 2000-03-31 Lucent Technol Inc Technology for effectively mixing audio signal for telephone conference
JP2003500935A (en) * 1999-05-21 2003-01-07 トゥルーチャット, インコーポレイテッド Teleconferencing Bridge with Edge Point Mixing

Also Published As

Publication number Publication date
JP2007228506A (en) 2007-09-06

Similar Documents

Publication Publication Date Title
CA2473147C (en) Method and system for conducting conference calls with optional voice to text translation
US7283154B2 (en) Systems and methods for videoconference and/or data collaboration initiation
US7058168B1 (en) Method and system for participant control of privacy during multiparty communication sessions
US8433050B1 (en) Optimizing conference quality with diverse codecs
WO2017129129A1 (en) Instant call method, device, and system
US7983199B1 (en) Voice over internet protocol push-to-talk communication system
US20040263610A1 (en) Apparatus, method, and computer program for supporting video conferencing in a communication system
CN109802913B (en) Fusion conference implementation method and device, electronic equipment and readable storage medium
CN103475499A (en) Voice intercom method and system based on internet teleconference
WO2009052746A1 (en) A method for initiating conferences, an application service proxy, a conference server and system
US20090325561A1 (en) Method and system for enabling a conference call
CN102843336A (en) Method and system for accessing IMS (IP Multimedia Subsystem) multimedia conference
CN101132554B (en) Communication terminal device, conference server device and relative methods
WO2009052750A1 (en) Method, device and system for initiating two party call
JP4644813B2 (en) Multi-party call system, call terminal and call server in multi-party call system, multi-party call method
KR100932375B1 (en) How to use ringback tone as background sound during a call
WO2013040832A1 (en) Method, device and system for enabling the operator inserting calling in switchboard service
US20070083661A1 (en) Session control method and terminal for PoC
WO2008067722A1 (en) A method, telephone system and telephone terminal for calling session
KR101009953B1 (en) System and apparatus for Push-To-Talk between data network and telephone network
KR100630125B1 (en) Method for mediating call of push to talk
JP5248891B2 (en) CONFERENCE CONFERENCE METHOD, ITS SYSTEM, ITS DEVICE, AND ITS PROGRAM USING SIP KEY TELEPHONE DEVICE
CN101651817A (en) Multi-party interactive audio and video processing method, system thereof and communication architecture thereof
JP4684240B2 (en) Multi-person call terminal, multi-person call system, multi-person call method, multi-person call program and recording medium storing program
JP4447534B2 (en) Subscriber accommodation apparatus, communication processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150