JP7243440B2 - 通信端末、通信システム、通信方法およびプログラム - Google Patents

通信端末、通信システム、通信方法およびプログラム Download PDF

Info

Publication number
JP7243440B2
JP7243440B2 JP2019096390A JP2019096390A JP7243440B2 JP 7243440 B2 JP7243440 B2 JP 7243440B2 JP 2019096390 A JP2019096390 A JP 2019096390A JP 2019096390 A JP2019096390 A JP 2019096390A JP 7243440 B2 JP7243440 B2 JP 7243440B2
Authority
JP
Japan
Prior art keywords
mute
communication
communication terminal
terminal
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019096390A
Other languages
English (en)
Other versions
JP2020191567A (ja
Inventor
淳 高木
毅 小山
大良 小山
達朗 杉岡
淳広 藤井
保明 佐伯
拓也 今井
俊和 大和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019096390A priority Critical patent/JP7243440B2/ja
Publication of JP2020191567A publication Critical patent/JP2020191567A/ja
Application granted granted Critical
Publication of JP7243440B2 publication Critical patent/JP7243440B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Description

本発明は、通信端末、通信システム、通信方法およびプログラムに関する。
従来、企業、教育機関、および行政機関等において、マイクに対して音声信号を入力して他の情報処理装置に音声信号を送信し、また、当該他の情報処理装置から受信した音声信号およびカメラ映像をスピーカおよびディスプレイで再生するビデオ会議システムが利用されている。このようなビデオ会議システムでは、複数の通信端末間でコンテンツデータの伝送を行う際に、特定の通信端末に対して音声の入力を許可し、その他の通信端末に対して不許可とする(以下、一斉ミュートと称する場合がある)ことにより、特定の通信端末だけに発言を許可する技術が既に知られている。
このようなミュート(消音)機能を有するシステムとして、携帯デバイスのユーザにより、複数の参加者にテレビ会議の参加者全員について消音または消音解除を行うことが可能なテレビ会議のシステムが開示されている(特許文献1参照)。
しかしながら、従来のビデオ会議システムでは、参加者の一人が一斉ミュート機能を使用した状態において、新たな参加者がビデオ会議に参加した場合、タイミングによっては、当該新たな参加者が使用する通信端末について一斉ミュート機能によるミュート状態が反映されないという問題がある。
本発明は、上述の問題点に鑑みてなされたものであって、複数の参加者によるビデオ会議において一斉ミュート機能が使用されている場合に、新たな参加者が参加したときに、当該参加者の通信端末に対してミュートした状態を反映することができる通信端末、通信システム、通信方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、他の通信端末と、ネットワークを介して音声信号を送受信することにより通話が可能な通信端末であって、開催中のビデオ会議に途中参加するときに、前記ビデオ会議に参加している他の通信端末について、該ビデオ会議に参加している各通信端末のうち1の通信端末を除いてミュートした状態である一斉ミュート状態であるか否かを確認するミュート確認部と、前記ミュート確認部により前記他の通信端末が一斉ミュート状態となっていることが確認された場合、前記通信端末に対しても一斉ミュート状態にするミュート制御部と、を備えたことを特徴とする。
本発明によれば、複数の参加者によるビデオ会議において一斉ミュート機能が使用されている場合に、新たな参加者が参加したときに、当該参加者の通信端末に対してミュートした状態を反映することができる。
図1は、第1の実施形態に係る通信システムの概略構成図である。 図2は、第1の実施形態に係る通信端末のハードウェア構成の一例を示す図である。 図3は、第1の実施形態に係る管理システムおよびプログラム提供システムのハードウェア構成の一例を示す図である。 図4は、第1の実施形態に係る通信端末のソフトウェア構成の一例を示す図である。 図5は、第1の実施形態に係る通信システムの機能ブロックの構成の一例を示す図である。 図6は、認証管理テーブルの一例を示す図である。 図7は、端末管理テーブルの一例を示す図である。 図8は、グループ管理テーブルの一例を示す図である。 図9は、セッション管理テーブルの一例を示す図である。 図10は、第1の実施形態に係る通信システムにおけるコンテンツデータおよび各種管理情報を送受信するために確立されたセッションを示す図である。 図11は、第1の実施形態に係る通信システムにおける、通信端末が通話を開始するための認証処理を含む準備段階の処理の一例を示すシーケンス図である。 図12は、宛先リストの表示例を示す図である。 図13は、第1の実施形態に係る通信システムにおける通話の開始を要求する処理の一例を示すシーケンス図である。 図14は、第1の実施形態に係る通信システムにおける通話の開始の要求を許可する処理の一例を示すシーケンス図である。 図15は、開始要求受付画面の表示例を示す図である。 図16は、第1の実施形態に係る通信システムにおける一斉ミュートの動作を説明する図である。 図17は、第1の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作の一例を示すシーケンス図である。 図18は、第1の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作を説明する図である。 図19は、第1の実施形態に係る通信システムにおける一斉ミュート状態を解除する動作の一例を示すシーケンス図である。 図20は、第1の実施形態に係る通信システムにおける一斉ミュート状態を解除する動作を説明する図である。 図21は、一斉ミュート状態の解除の通知画面の一例を示す図である。 図22は、第1の実施形態の変形例に係る通信システムにおける、特定の通信端末に対してミュート状態が確認できない場合に他の通信端末に確認する動作を説明する図である。 図23は、第2の実施形態に係る通信システムの機能ブロックの構成の一例を示す図である。 図24は、第2の実施形態の端末管理テーブルの一例を示す図である。 図25は、第2の実施形態に係る通信システムにおける一斉ミュートの動作を説明する図である。 図26は、第2の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作の一例を示すシーケンス図である。 図27は、第2の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作を説明する図である。 図28は、通信端末のWebアプリを利用する場合のソフトウェア構成の一例を示す図である。
以下に、図面を参照しながら、本発明に係る通信端末、通信システム、通信方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
また、コンピュータソフトウェアとは、コンピュータの動作に関するプログラム、その他コンピュータによる処理の用に供する情報であってプログラムに準ずるものをいう(以下、コンピュータソフトウェアは、ソフトウェアという)。アプリケーションソフトとは、ソフトウェアの分類のうち、特定の作業を行うために使用されるソフトウェアの総称である。一方、オペレーティングシステム(OS)とは、コンピュータを制御し、アプリケーションソフト等がコンピュータ資源を利用可能にするためのソフトウェアのことである。オペレーティングシステムは、入出力の制御、メモリやハードディスクなどのハードウェアの管理、プロセスの管理といった、コンピュータの基本的な管理・制御を行っている。アプリケーションソフトウェアは、オペレーティングシステムが提供する機能を利用して動作する。プログラムとは、コンピュータに対する指令であって、一の結果を得ることができるように組み合わせたものをいう。また、プログラムに準ずるものとは、コンピュータに対する直接の指令ではないためプログラムとは呼べないが、コンピュータの処理を規定するという点でプログラムに類似する性質を有するものをいう。例えば、データ構造(データ要素間の相互関係で表される、データの有する論理的構造)がプログラムに準ずるものに該当する。
[第1の実施形態]
(通信システムの全体構成)
図1は、第1の実施形態に係る通信システムの概略構成図である。図1を参照しながら、本実施形態に係る通信システム1の構成の概略を説明する。
図1に示すように、通信システム1は、複数の通信端末10aa、10ab、10ba、10bb、10ca、10cb、10da、10dbと、一部の通信端末用のディスプレイ120aa、120ba、120bb、120cb、120da、120dbと、一部の通信端末に接続されたPC(Personal Computer)30ab、30cbと、管理システム50と、プログラム提供システム90と、を含み、通信ネットワーク2を介して互いに通信可能となるように構築されている。
なお、図1では、通信端末10aa、10ab、10ba、10bb、10ca、10cb、10da、10dbが示されているが、これらのうち任意の通信端末を示す場合または総称する場合、単に「通信端末10」と称する。また、図1に示す通信システム1に含まれる複数の通信端末10は、一例を示すものであり、異なる台数であってもよい。
また、図1では、ディスプレイ120aa、120ba、120bb、120ca、120da、120dbが示されているが、これらのうち任意のディスプレイを示す場合または総称する場合、単に「ディスプレイ120」と称する。また、図1に示す通信システム1に含まれる複数のディスプレイ120は、一例を示すものであり、異なる台数であってもよい。
通信端末10は、他の装置との間で、各種情報を送受信する端末である。通信端末10は、他の通信端末10との間でセッションを確立し、確立したセッションにおいて、音声データおよび画像データ(映像データ)を含むコンテンツデータの送受信による通話を行う。これにより、通信システム1において、複数の通信端末10間のビデオ会議が実現される。なお、通信端末10は、ディスプレイ(上述のディスプレイ120)が接続される専用装置、デスクトップPC、ノートPC、スマートフォン、またはタブレット端末等のいずれであってもよい。ただし、以下では、通信端末10が、ディスプレイ(上述のディスプレイ120)が接続される専用装置であるものとして説明する。
ディスプレイ120は、通信ネットワーク2を介して、接続されている通信端末10が受信した参加者の映像等を、表示する表示装置である。ディスプレイ120は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイ、またはIWB(Interactive WhiteBoard)等である。
PC30は、通信端末10に接続され、他の通信端末10との共有を所望する画面イメージを当該通信端末10に送信し、管理システム50を介して配信することによって、他の通信端末10と画面共有の状態にする情報処理装置である。なお、PC30は、デスクトップPCおよびノートPC等のPCであることに限定されず、スマートフォンまたはタブレット端末等の情報処理装置であってもよい。
管理システム50は、通信端末10を一元的に管理するコンピュータである。管理システム50は、通信端末10間でのセッションを確立することにより、通信端末10間における通話等によるビデオ会議を実現する。管理システム50は、所定の通信端末10からセッションの開始要求情報を受信した場合に、開始要求情報を送信した通信端末10(開始要求端末)と宛先端末との間のセッションを確立し、ビデオ会議を開始させる。したがって、管理システム50は、確立したセッションにより、複数の通信端末10間でコンテンツデータの中継を行う。なお、管理システム50は複数の通信端末10間でセッションを確立するものの、実際にコンテンツデータの中継は、別の中継装置により行われるものとしてもよい。本実施形態では、説明を簡略にするため、セッションの確立、およびコンテンツデータの中継は、管理システム50が行うものとして説明する。
プログラム提供システム90は、通信端末10に各種機能または各種手段を実現させるための端末用プログラムが記憶された補助記憶装置(HDD(Hard Disk Drive)等)を備えており、通信端末10に端末用プログラム(後述する通信アプリA等)を提供するコンピュータである。また、プログラム提供システム90は、管理システム50等に各種機能または各種手段を実現させるためのプログラムも補助記憶装置に記憶しており、管理システム50等に、対応するプログラムを送信することができる。
通信ネットワーク2は、図1に示すように、例えば、LAN(Local Area Network)2a~2d、専用線2ab、2cd、およびインターネット2iを含んで構築されている。なお、通信ネットワーク2は、図1に示すような構成に限定されるものではなく、その他のネットワーク機器が含まれるものとしてもよく、有線だけでなく無線による通信が行われる箇所があってもよい。
LAN2a~2d、および専用線2ab、2cdは、それぞれルータ70a~70d、70ab、70cdを含む。ルータ70a~70d、70ab、70cdは、通信データの最適な経路の選択を行うネットワーク機器である。なお、ルータ70a~70d、70ab、70cdのうち任意のルータを示す場合または総称する場合、単に「ルータ70」と称する。
通信端末10(10aa、10ab、・・・)、およびルータ70aは、LAN2aによって通信可能に接続されている。また、通信端末10(10ba、10bb、・・・)、およびルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a、LAN2b、およびルータ70abは、専用線2abによって通信可能に接続されており、地域A内で構築されている。
一方、通信端末10(10ca、10cb、・・・)、およびルータ70cは、LAN2cによって通信可能に接続されている。また、通信端末10(10da、10db、・・・)、およびルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c、LAN2d、およびルータ70cdは、専用線2cdによって通信可能に接続されており、地域B内で構築されている。
地域Aおよび地域Bのネットワークは、それぞれルータ70ab、70cdによってインターネット2iを介して通信可能に接続されている。
また、管理システム50およびプログラム提供システム90は、インターネット2iを介して、各通信端末10と通信可能に接続されている。なお、管理システム50およびプログラム提供システム90は、地域Aまたは地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、図1において、各通信端末10、管理システム50、各ルータ70およびプログラム提供システム90の近傍に示されている4組の数字は、一般的なIPv4におけるIP(Ineternet Protocol)アドレスを簡易的に示している。例えば、通信端末10aaのIPアドレスは、「1.2.1.3」であるものとしている。なお、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
なお、図1に示す通信システム1の構成は、一例を示すものであり、この構成に限定されるものではない。すなわち、図1に示す各装置、システムの台数は、図1に示す台数に限定されるものではない。また、図1では、地域A、Bの2つの地域のネットワーク構成が示されているが、同一地域内のネットワークであってもよく、3つ以上の地域がネットワークで接続された構成であってもよい。
(通信端末のハードウェア構成)
図2は、第1の実施形態に係る通信端末のハードウェア構成の一例を示す図である。図2を参照しながら、本実施形態に係る通信端末10のハードウェア構成の詳細について説明する。
図2に示すように、本実施形態に係る通信端末10は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、補助記憶装置105と、メディアドライブ107と、入力装置108と、を備えている。
CPU101は、通信端末10全体の動作を制御する演算装置である。ROM102は、通信端末10用のプログラム(後述する通信アプリA等)を記憶している不揮発性記憶装置である。RAM103は、CPU101のワークエリアとして使用される揮発性記憶装置である。
補助記憶装置105は、画像データ、音声データおよび動画データ等の各種データを記憶するHDDまたはSSD(Solid State Drive)等の不揮発性記憶装置である。メディアドライブ107は、CPU101の制御に従って、フラッシュメモリ等であるメディア106に対するデータの読み出しおよび書き込みを制御する装置である。メディア106は、通信端末10に対して着脱自在の記憶装置である。なお、メディア106は、CPU101の制御に従ってデータの読み出しおよび書き込みを行う不揮発性メモリであれば、フラッシュメモリに限定されるものではなく、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
入力装置108は、マウスまたはキーボード等の各種情報を入力するための装置、または操作ボタンおよび電源ボタン等のボタンである。
また、通信端末10は、ネットワークI/F111と、撮像素子I/F113と、音声入出力I/F116と、USB(Universal Serial Bus) I/F117と、ディスプレイI/F119と、を備えている。
ネットワークI/F111は、通信ネットワーク2を利用してデータを通信するためのインターフェースである。ネットワークI/F111は、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)に準拠したNIC(Network Interface Card)等である。
撮像素子I/F113は、CPU101の制御に従って被写体を撮像して画像データを得るカメラ112との間で画像データを伝送するためのインターフェースである。カメラ112は、レンズ、および光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含む。カメラ112は、ケーブル112cによって撮像素子I/F113に接続される。固体撮像素子としては、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)等が用いられる。
音声入出力I/F116は、CPU101の制御に従って、音声を入力するマイク114および音声を出力するスピーカ115との間で音声信号(音声データ)の入出力を処理するインターフェースである。マイク114およびスピーカ115は、それぞれ、ケーブル114cおよびケーブル115cによって音声入出力I/F116に接続される。
USB I/F117は、外部機器(例えばPC等)と接続してデータ通信を行うためのUSB規格のインターフェースである。
ディスプレイI/F119は、CPU101の制御に従って、外付けのディスプレイ120に画像データを伝送するためのインターフェースである。ディスプレイ120は、ケーブル120cによってディスプレイI/F119に接続される。ケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよく、コンポーネントビデオ用のケーブルであってもよく、HDMI(登録商標)(High-Definition Multimedia Interface)またはDVI(Digital Video Interactive)信号用のケーブルであってもよい。
上述のCPU101、ROM102、RAM103、補助記憶装置105、メディアドライブ107、入力装置108、ネットワークI/F111、撮像素子I/F113、音声入出力I/F116、USB I/F117およびディスプレイI/F119は、アドレスバスおよびデータバス等のバスライン110によって互いに通信可能に接続されている。
なお、図2に示した通信端末10のハードウェア構成は一例を示すものであり、図2に示した構成要素以外の構成要素を含むものとしてもよい。また、カメラ112、マイク114およびスピーカ115は、通信端末10に一体的に備えられるものとしてもよく、または、カメラ112、マイク114およびスピーカ115のうち少なくともいずれかは、外付けの別体の装置であってもよい。また、ディスプレイ120は、図2では、通信端末10に対して外付けされるディスプレイとしているが、これに限定されるものではなく、通信端末10と一体的に備えられるものとしてもよい。
(管理システムおよびプログラム提供システムのハードウェア構成)
図3は、第1の実施形態に係る管理システムおよびプログラム提供システムのハードウェア構成の一例を示す図である。図3を参照しながら、管理システム50およびプログラム提供システム90のハードウェア構成の詳細について説明する。
まず、図3を参照しながら管理システム50のハードウェア構成について説明する。図3に示すように、管理システム50は、CPU201と、ROM202と、RAM203と、補助記憶装置205と、メディアドライブ207と、ディスプレイ208と、ネットワークI/F209と、キーボード211と、マウス212と、DVD(Digital Versatile Disc)ドライブ214と、を備えている。
CPU201は、管理システム50全体の動作を制御する演算装置である。ROM202は、管理システム50用のプログラムを記憶している不揮発性記憶装置である。RAM203は、CPU201のワークエリアとして使用される揮発性記憶装置である。
補助記憶装置205は、後述する認証管理DB5001、端末管理DB5002、グループ管理DB5003およびセッション管理DB5004等の各種データを記憶するHDDまたはSSD等の記憶装置である。メディアドライブ207は、CPU201の制御に従って、フラッシュメモリ等の記録メディア206に対するデータの読み出しおよび書き込みを制御する装置である。
ディスプレイ208は、カーソル、メニュー、ウィンドウ、文字または画像等の各種情報を表示する液晶または有機EL等によって構成された表示装置である。ネットワークI/F209は、通信ネットワーク2を利用してデータを通信するためのインターフェースである。ネットワークI/F209は、例えば、TCP/IPに準拠したNIC等である。
キーボード211は、文字、数字、各種指示の選択、およびカーソルの移動等を行う入力装置である。マウス212は、各種指示の選択および実行、処理対象の選択、ならびにカーソルの移動等を行うための入力装置である。
DVDドライブ214は、着脱自在な記憶媒体の一例としてのDVD-ROMまたはDVD-R(Digital Versatile Disk Recordable)等のDVD213に対するデータの読み出しおよび書き込みを制御する装置である。
上述のCPU201、ROM202、RAM203、補助記憶装置205、メディアドライブ207、ディスプレイ208、ネットワークI/F209、キーボード211、マウス212およびDVDドライブ214は、アドレスバスおよびデータバス等のバスライン210によって互いに通信可能に接続されている。
なお、図3に示した管理システム50のハードウェア構成は一例を示すものであり、図3に示した構成要素を全て含む必要はなく、または、その他の構成要素を含むものとしてもよい。
また、上述の管理システム50用のプログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア206またはDVD213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、プログラム提供システム90は、上述の管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。ただし、ROM202には、プログラム提供システム90を制御するためのプログラム提供システム90用のプログラムが記録されている。この場合も、プログラム提供システム90用のプログラムは、インストール可能な形式または実行可能な形式のファイルで、記録メディア206またはDVD213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
なお、上述の着脱可能な記録媒体の他の例として、CD-R(Compact Disc Recordable)またはブルーレイディスク等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
(通信端末のソフトウェア構成)
図4は、第1の実施形態に係る通信端末のソフトウェア構成の一例を示す図である。図4を参照しながら、本実施形態に係る通信端末10のソフトウェア構成の詳細について説明する。
通信端末10には、クライアントアプリとして通信アプリAがインストールされている。ここで、アプリとは、アプリケーションソフトを意味する。図4に示すように、OS(Operating System)1020、および通信アプリAは、通信端末10のRAM103の作業領域1010上で動作する。
OS1020は、基本的な機能を提供し、通信端末10全体を管理する基本ソフトウェアである。通信アプリAは、OS1020の制御に従って動作し、他の通信端末10と通信(通話)するためのアプリである。
なお、通信アプリAの通信プロトコルとしては、SIP(Session Initiation Protocol)、H.323、IRC(Internet Relay Chat)、またはJingle等が挙げられる。
(通信システムの機能ブロックの構成)
図5は、第1の実施形態に係る通信システムの機能ブロックの構成の一例を示す図である。図5を参照しながら、本実施形態に係る通信システム1の機能ブロックの構成について説明する。
<通信端末の機能ブロックの構成>
図5に示すように、通信端末10は、通信部11と、操作入力受付部12と、撮像部13と、表示制御部14と、音声入力部15と、音声出力部16と、記憶・読出部17と、記憶部18と、認証要求部19と、ミュート制御部20と、ミュート確認部21と、ミュート応答部22と、を有している。
通信部11は、通信ネットワーク2を介して、他の通信端末10または各システムと各種データの送受信を行う機能部である。通信部11は、図2に示すCPU101によるソフトウェアである通信アプリAの実行、およびネットワークI/F111によって実現される。
通信部11は、当該通信端末10が他の通信端末10とセッションを確立し、通話によるビデオ会議を開始する前に、管理システム50から、宛先端末の候補としての各通信端末10の状態を示す各状態情報の受信を開始する。ここで、宛先端末の候補とは、通信端末10が、ビデオ会議を行う相手、すなわちセッションの相手として指定可能なビデオ会議の相手であるユーザ(参加者)が利用する宛先候補となる他の通信端末10である。すなわち、通信端末10は、宛先端末の候補として予め設定されていない通信端末とは、セッションを確立することができず、ビデオ会議を行うことができない。
また、状態情報は、各通信端末10の稼動状態(オンラインかオフラインかの状態)と、オンラインにおいてはさらに通話中であるか、待受け中であるか等の詳細な状態(以下、通信状態と称する)とを示す。また、状態情報は、各通信端末10の稼動状態および通信状態だけでなく、ケーブルが通信端末10から外れている、音声を出力できるが画像は出力できない、または、音声が入力されないように設定されている(ミュート)等、様々な状態を示すものとしてもよいが、以下では、一例として、稼動状態および通信状態を示す場合について説明する。
通信部11は、当該通信端末10が開始要求端末として動作する場合には、開始要求情報を管理システム50に送信する。ここで、開始要求情報とは、ビデオ会議に用いられるセッションの開始を要求する情報である。開始要求情報は、具体的には、開始を要求する旨を示す情報と、開始要求情報の送信元である開始要求端末の端末IDと、セッションの相手となる宛先端末の端末IDと、を含む。端末IDは、通信端末10を識別するための情報であって、予め通信端末10に記憶させておく他、ユーザが直接通信端末10へ入力して決定するものとしてもよい。
操作入力受付部12は、ユーザによる各種入力を受け付ける機能部である。操作入力受付部12は、図2に示す入力装置108によって実現される。
例えば、ユーザが、操作入力受付部12のうち図2に示す入力装置108としての電源ボタンをオンにすると、当該通信端末10の電源がオン状態になる。また、ユーザが電源をオン状態からオフにすると、通信部11は、管理システム50へ、当該通信端末10の電源がオフになった旨の状態情報を送信してから、当該通信端末10の電源が完全にオフとなる。これによって、管理システム50は、通信端末10が電源オンから電源オフになったことを把握することができる。
撮像部13は、被写体を撮像して、撮像して得た画像データを取得する機能部である。撮像部13は、図2に示すCPU101によるソフトウェアである通信アプリAの実行、ならびに、カメラ112および撮像素子I/F113によって実現される。
表示制御部14は、ディスプレイ120に対して画像データ等の表示制御を行う機能部である。表示制御部14は、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
表示制御部14は、例えば、ビデオ会議の要求元としての当該通信端末10が所望の宛先としての通信端末10とビデオ会議の通話を開始する前に、通信部11によって受信された宛先端末の候補の状態情報を反映させて、各宛先端末の候補の名前が含まれた宛先リストをディスプレイ120に表示させる。
音声入力部15は、マイク114によって参加者(話者)の音声が音声信号に変換された後、当該音声信号を入力する機能部である。音声入力部15は、図2に示すCPU101によるソフトウェアである通信アプリAの実行、および音声入出力I/F116によって実現される。
音声出力部16は、音声信号をスピーカ115に出力し、スピーカ115から音声を出力させる機能部である。音声出力部16は、図2に示すCPU101によるソフトウェアである通信アプリAの実行、および音声入出力I/F116によって実現される。
記憶・読出部17は、記憶部18に各種データを記憶したり、記憶部18に記憶された各種データを読み出す処理を行う機能部である。記憶部18には、例えば、宛先端末との通話を行う際に受信されるコンテンツデータが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。記憶・読出部17は、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
認証要求部19は、当該通信端末10の電源がオンした場合、または、操作入力受付部12により認証要求操作が受け付けられた場合、通信部11から通信ネットワーク2を介して管理システム50に、ログインの認証を要求する旨を示す認証要求情報、および当該通信端末10の現時点のIPアドレスを送信する機能部である。認証要求部19は、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
ミュート制御部20は、ユーザの操作入力受付部12に対する操作入力に従って、当該通信端末10と同じグループに属する他の通信端末10に対して一斉ミュート状態にするための一斉ミュート指令、または、一斉ミュート状態を解除するための一斉ミュート解除指令を、通信部11を介して他の通信端末10に送信する機能部である。また、ミュート制御部20は、他の通信端末10から通信部11を介して一斉ミュート指令を受信した場合、音声入力部15による音声信号の入力を不許可の状態、すなわちミュートした状態(一斉ミュート状態)にする。また、ミュート制御部20は、他の通信端末10から通信部11を介して一斉ミュート解除指令を受信した場合、一斉ミュート状態を解除する。また、ミュート制御部20は、当該通信端末10のミュート状態の情報、すなわち、一斉ミュート状態となっているか否か等の情報を、記憶部18に記憶させる。
また、ミュート制御部20がミュートの状態にするのは、一斉ミュート状態のみならず、ユーザの操作入力受付部12に対する操作入力に従って、当該通信端末10自身を個別にミュートの状態にすることも可能である。この個別に設定されたミュートの状態を、一斉ミュート状態に対比して、個別ミュート状態と称するものとする。ミュート制御部20は、当該通信端末10のミュート状態の情報として、一斉ミュート状態となっているか否かの情報のほか、個別ミュート状態となっているか否かの情報を、記憶部18に記憶させる。
また、ミュート制御部20は、当該通信端末10が既に開催されているビデオ会議に途中参加する場合において、後述するように、ミュート確認部21によって同じグループの他の通信端末10が一斉ミュート状態となっていることが確認された場合、同様に一斉ミュート状態にする。これによって、既に開催されているビデオ会議において一斉ミュート状態となっている場合、すなわち、特定の通信端末10のみにおいて音声入力が許可されており、当該通信端末10の話者のみが他の通信端末10に対して音声信号を送信することができる状態である場合に、新たに参加した当該通信端末10の話者の音声信号が入力されてしまう事態を回避することができる。
ミュート制御部20は、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
ミュート確認部21は、通信端末10が既に開催されているビデオ会議に途中参加する場合に、同じグループに属する他の通信端末10に対して、一斉ミュート状態となっているか否かを確認する機能部である。具体的には、ミュート確認部21は、同じグループに属する他の通信端末10に対して、一斉ミュート状態となっているか否かを確認するためのミュート確認要求を送信する。また、ミュート確認部21は、参加要求情報を送信することによって既に開催されているビデオ会議に参加した後、再度、当該他の通信端末10に対して、一斉ミュート状態となっているか否かを確認するためのミュート再確認要求を送信する。このように他の通信端末10に対してミュート状態を再確認するのは、当該通信端末10のビデオ会議への途中参加の処理中に、同じグループの特定の通信端末10から一斉ミュート指令が送信されることによって、途中参加の前後で当該他の通信端末10のミュート状態(一斉ミュート状態であるか否か)が変更されている可能性があるためである。ミュート確認部21は、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
ミュート応答部22は、他の通信端末10から通信部11を介してミュート確認要求を受信した場合、記憶部18を参照して自身(当該通信端末10)のミュート状態(一斉ミュート状態となっているか否か)を判別して、当該ミュート状態をミュート状態応答として、他の通信端末10に返信する機能部である。ミュート応答部22は、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
なお、上述の表示制御部14、認証要求部19、ミュート制御部20、ミュート確認部21およびミュート応答部22のうち少なくともいずれかは、ASIC(Application Specific Integrated Circuit)またはFPGA(Field-Programmable Gate Array)等のハードウェア回路によって実現されるものとしてもよい。
また、図5に示した通信端末10の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図5に示した通信端末10で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図5に示した通信端末10の1つ機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
<管理システムの機能ブロックの構成>
図5に示すように、管理システム50は、通信部51と、認証部52と、状態管理部53と、端末抽出部54と、端末状態取得部55と、セッション制御部56と、記憶・読出部57と、記憶部58と、を有している。記憶部58は、図3に示す補助記憶装置205によって実現され、図5に示すように、認証管理DB5001と、端末管理DB5002と、グループ管理DB5003と、セッション管理DB5004とを記憶している。以下、記憶部58に記憶されている各DBにおいて管理される各テーブルについて説明する。
<<認証管理テーブル>>
図6は、認証管理テーブルの一例を示す図である。
記憶部58は、図6に示す認証管理テーブルを含む認証管理DB5001を記憶している。認証管理テーブルでは、ログインの認証を行う通信端末10を利用するユーザ(参加者)を識別するユーザIDに対して、パスワードが関連付けられて管理される。ここで、パスワードは、ログインの認証するために利用される情報である。例えば、図6に示す認証管理テーブルにおいて、ユーザIDが「A_10aa」に関連付けられたパスワードが「aaaa」であることが示されている。
なお、ユーザIDは、通信端末10を利用するユーザを一意に識別するために使われる文字、記号、数字または各種のしるし等の識別情報であり、例えば、当該ユーザが利用するメールアドレス等であってもよい。
<<端末管理テーブル>>
図7は、端末管理テーブルの一例を示す図である。
記憶部58は、図7に示す端末管理テーブルを含む端末管理DB5002を記憶している。端末管理テーブルでは、各通信端末10の端末ID毎に、端末名、各通信端末10にログインしたユーザのユーザID、各通信端末10の稼動状態、他の通信端末10との通信状態、および各通信端末10のIPアドレスが関連付けられて管理される。
ここで、稼動状態としては、電源がオンされ、通信が可能または通信中の状態であるオンラインと、電源がオンされていない等、通信が可能でない状態であるオフラインとがある。また、通信状態としては、例えば、「Calling」、「Ringing」、「Accepted」、「Busy」、および「None」等がある。「Calling」は、他の通信端末10を呼び出している状態、すなわち、他の通信端末10に対しビデオ会議に用いられるセッションを確立するための開始要求情報を送信し、応答を待っている状態を示す。「Ringing」は、他の通信端末10から呼び出されている状態、すなわち、他の通信端末10から開始要求情報を受信し、受信した開始要求情報に対する応答が完了していない状態を示す。「Accepted」は、他の通信端末10からの開始要求情報に対し許可の応答が完了しているが、セッションの確立が完了していない状態、および、自端末が送信した開始要求情報に対し許可の応答の受信が完了しているが、セッションの確立が完了していない状態を示す。「Busy」は、他の通信端末10とのセッションが確立し、ビデオ会議におけるコンテンツデータの通信による通話が行われている状態を示す。「None」は、他の通信端末10と通信しておらず、待ち受け中の状態を示す。
例えば、図7に示す端末管理テーブルにおいて、端末IDが「10ad」の通信端末10adは、端末名が「日本 東京事業所 AD端末」で、ログインしているユーザのユーザIDが「C_10ad」で、稼動状態が「オンライン」で、通信状態が他の通信端末10から呼び出されている状態を示す「Ringing」で、この通信端末10adのIPアドレスが「1.2.1.6」であることが示されている。
<<グループ管理システム>>
図8は、グループ管理テーブルの一例を示す図である。
記憶部58は、図8に示すグループ管理テーブルを含むグループ管理DB5003を記憶している。グループ管理テーブルでは、管理システム50に予め登録されているビデオ会議のグループごとに、当該グループに含まれる通信端末10の端末IDが管理される。すなわち、グループ管理テーブルでは、グループを識別するグループIDと、当該グループに含まれる通信端末10の端末IDとが関連付けられて管理される。
例えば、図8に示すグループ管理テーブルにおいて、グループIDが「G002」のグループは、端末IDが「10ac」、「10ca」、「10cb」である通信端末10を含むことが示されている。
<<セッション管理テーブル>>
図9は、セッション管理テーブルの一例を示す図である。
記憶部58は、図9に示すセッション管理テーブルを含むセッション管理DB5004を記憶している。セッション管理テーブルでは、通信端末10間でコンテンツデータが通信されるセッションを識別するためのセッションID毎に、セッションの開始要求端末の端末ID、およびセッションを確立するための開始要求情報において相手先として指定された宛先端末の端末IDが関連付けられて管理される。
例えば、図9に示すセッション管理テーブルにおいて、セッションID「se1」で識別されるセッションは、端末IDが「10aa」の開始要求端末(通信端末10aa)と、端末IDが「10db」の宛先端末(通信端末10db)との間で確立されたことを示す。
なお、図6~図9に示した各テーブルで管理される情報は、テーブル形式の情報としているが、これに限定されるものではなく、管理される各情報が関連付けられることができれば、テーブル形式に限定されるものではない。
図5に戻り、管理システム50の機能ブロックの説明に戻る。
通信部51は、通信ネットワーク2を介して、通信端末10または他のシステムと各種データの送受信を行う機能部である。通信部51は、図3に示すCPU201によるプログラムの実行、およびネットワークI/F209によって実現される。
認証部52は、通信部51を介して受信された認証要求情報に含まれているユーザIDおよびパスワードを検索キーとし、記憶部58の認証管理テーブル(図6参照)を検索し、認証管理テーブルに同一のユーザIDおよびパスワードが管理されているかを判断することによってユーザ認証を行う機能部である。認証部52は、図3に示すCPU201によるプログラムの実行によって実現される。
状態管理部53は、図7に示す端末管理テーブルの稼動状態および通信状態を管理する機能部である。状態管理部53は、ログインの認証を要求してきた通信端末10の稼動状態を管理すべく、端末管理テーブルに、この通信端末10の端末ID、当該通信端末10にログインしている参加者のユーザID、当該通信端末10の稼動状態、および当該通信端末10のIPアドレスを関連付けて記憶して管理する。
状態管理部53は、通信端末10のユーザによる入力装置108の操作によってオフ状態からオン状態になると、この通信端末10から送られてきた電源をオンする旨の情報に基づいて、端末管理テーブルの稼動状態をオフラインからオンラインに更新する。また、状態管理部53は、通信端末10のユーザによる入力装置108の操作によってオン状態からオフ状態になると、この通信端末10から送られてきた電源をオフする旨の情報に基づいて、端末管理テーブルの稼動状態をオンラインからオフラインに更新する。
状態管理部53は、図3に示すCPU201によるプログラムの実行によって実現される。
端末抽出部54は、ログインの認証要求した通信端末10等、処理対象となる対象端末の端末IDを検索キーとして、図8に示すグループ管理テーブルを検索し、対象端末と通話することができる、すなわちセッションを確立することのできる宛先端末の候補(同じグループの通信端末10)の端末IDを読み出す機能部である。端末抽出部54は、図3に示すCPU201によるプログラムの実行によって実現される。
端末状態取得部55は、端末IDを検索キーとして、図7に示す端末管理テーブルを検索し、端末ID毎に稼動状態および通信状態を読み出す機能部である。これにより、端末状態取得部55は、ログインの認証要求をしてきた通信端末10と通話することができる宛先端末の候補の稼動状態および通信状態を取得することができる。端末状態取得部55は、図3に示すCPU201によるプログラムの実行によって実現される。
セッション制御部56は、図9に示すセッション管理テーブルに、生成したセッションID、開始要求端末の端末IDおよび宛先端末の端末IDを関連付けて記憶して管理する機能部である。セッション制御部56は、通信端末10間のセッションの確立をするための制御を行う。セッション制御部56は、図3に示すCPU201によるプログラムの実行によって実現される。
記憶・読出部57は、記憶部58に各種テーブルに情報を記憶したり、記憶部58に記憶された各種テーブルの情報を読み出す処理を行う機能部である。記憶・読出部57は、図3に示すCPU201によるプログラムの実行によって実現される。
なお、上述の認証部52、状態管理部53、端末抽出部54、端末状態取得部55、およびセッション制御部56のうち少なくともいずれかは、ASICまたはFPGA等のハードウェア回路によって実現されるものとしてもよい。
また、図5に示した管理システム50の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図5に示した管理システム50で独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図5に示した管理システム50の1つ機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
(コンテンツデータおよび各種管理情報の送受信の状態)
図10は、第1の実施形態に係る通信システムにおけるコンテンツデータおよび各種管理情報を送受信するために確立されたセッションを示す図である。図10を参照しながら、通信システム1におけるコンテンツデータおよび各種管理情報を送受信するために確立されたセッションについて説明する。
図10に示すように、通信システム1では、開始要求端末と宛先端末Aと宛先端末Bとの間で、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。さらに、開始要求端末と宛先端末Aと宛先端末Bとの間で、管理システム50を介して、画像データおよび音声データ等を送受信するためのコンテンツデータ用セッションsedが確立される。すなわち、コンテンツデータ用セッションsedが、ビデオ会議において直接的に用いられるセッションである。なお、このセッションの概念はあくまで一例であって、例えば、画像データのセッションでは、解像度ごとに分けられるものとしてもよい。
(通信端末が通話開始する前の準備段階における各管理情報の送受信処理)
図11は、第1の実施形態に係る通信システムにおける、通信端末が通話を開始するための認証処理を含む準備段階の処理の一例を示すシーケンス図である。図12は、宛先リストの表示例を示す図である。図11および図12を参照しながら、通信端末10aaが通話を開始する前の準備段階における各情報の送受信処理について説明する。なお、図11では、管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。
<ステップS21>
まず、通信端末10aaのユーザが、図2に示す入力装置108に対する操作により電源をオンにすると、通信端末10aaの操作入力受付部12が、電源オンを受け付けて、通信端末10aaの電源をオンにする。
<ステップS22>
そして、通信端末10aaの認証要求部19は、上述の通信端末10aaの電源オンを契機とし、通信部11から通信ネットワーク2を介して管理システム50に、ログインの認証要求を示す認証要求情報、および通信端末10aaのIPアドレスを送信する。この認証要求情報には、開始要求端末としての自端末である通信端末10aaを識別するための端末ID、通信端末10aaにログインしているユーザのユーザID、およびパスワードが含まれている。端末ID、ユーザIDおよびパスワードは、通信端末10aaの記憶・読出部17によって記憶部18から読み出されて、通信部11に送られたデータである。また、通信端末10aaから管理システム50へ認証要求情報が送信される際は、受信側である管理システム50は、送信側である通信端末10aaのIPアドレスを把握することができる。
<ステップS23>
次に、管理システム50の認証部52は、通信部51を介して受信した認証要求情報に含まれているユーザIDおよびパスワードを検索キーとして、認証管理テーブル(図6参照)を検索し、認証管理テーブルに同一のユーザIDおよびパスワードが管理されているかを判断することによってユーザ認証を行う。
<ステップS24-1>
認証部52によって、正当な利用権限を有する通信端末10からのログインの認証要求であると判断された場合には、管理システム50の状態管理部53は、端末管理テーブル(図7参照)に、通信端末10aaの端末IDおよび端末名で示されるレコード毎に、ユーザIDおよび通信端末10aaのIPアドレスを関連付けて記憶する。これにより、端末管理テーブルには、通信端末10aaの端末ID「10aa」に、ユーザID「A_10aa」およびIPアドレス「1.2.1.3」が関連付けて管理されることになる。
<ステップS24-2>
続いて、状態管理部53は、通信端末10aaの稼動状態「オンライン」および通信状態「None」を設定し、端末管理テーブルに、通信端末10aaの端末IDおよび端末名で示されるレコードに、稼動状態および通信状態を関連付けて記憶する。これにより、端末管理テーブルには、通信端末10aaの端末ID「10aa」に、稼動状態「オンライン」および通信状態「None」が関連付けて管理されることになる。
<ステップS25>
そして、管理システム50の通信部51は、認証部52によって得られたユーザ認証の結果が示された認証結果情報を、通信ネットワーク2を介して、認証要求情報を送信してきた開始要求端末(通信端末10aa)に送信する。本実施形態では、通信端末10aaが、認証部52によって正当な利用権限を有するユーザが利用する端末であるとユーザ認証されたものとして、以下続けて説明する。
<ステップS26>
通信端末10aaにおいて、正当な利用権限を有するユーザが利用する端末であるとユーザ認証された結果が示された認証結果情報を受信すると、通信部11は、通信ネットワーク2を介して管理システム50へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する。これにより、管理システム50の通信部51は、宛先リスト要求情報を受信する。
<ステップS27>
次に、管理システム50の端末抽出部54は、開始要求端末(通信端末10aa)の端末ID「10aa」を検索キーとして、グループ管理テーブル(図8参照)を検索し、開始要求端末が通話することができる、すなわち、開始要求端末と同じグループ(ここでは、グループID「G001」のグループ)に属する宛先端末の候補の端末IDを抽出する。また、端末抽出部54は、抽出した端末IDを検索キーとして、端末管理テーブルを検索し、この端末IDに対応する端末名、すなわち宛先端末の候補の端末名を抽出する。ここでは、開始要求端末(通信端末10aa)の端末ID「10aa」に対応する宛先端末の候補(通信端末10ab、10ac、10db)のそれぞれの端末ID(「10ab」、「10ac」、「10db」)と、これらに対応する端末名(「日本 東京事業所 AB端末」、「日本 東京事業所 AC端末」、「アメリカ ワシントン事業所 DB端末」)が抽出される。
<ステップS28、S29>
次に、管理システム50の通信部51は、端末抽出部54によって抽出された宛先端末の候補の端末IDおよび端末名を含む宛先リスト情報を、開始要求端末(通信端末10aa)に送信する。これにより、開始要求端末(通信端末10aa)では、通信部11が宛先リスト情報を受信し、記憶・読出部17が記憶部18へ宛先リスト情報を記憶する。
このように、本実施形態では、各通信端末10で宛先リスト情報を管理するのではなく、管理システム50がすべての通信端末10の宛先リスト情報を一元管理している。これによって、通信システム1に新たな通信端末10が含まれるようになったり、既に含まれている通信端末10が除外されたりする場合でも、管理システム50側で一括して対応するため、各通信端末10側で宛先リスト情報の変更を行う手間を省くことができる。
<ステップS30>
また、管理システム50の端末状態取得部55は、端末抽出部54によって抽出された宛先端末の候補の端末ID(「10ab」、「10ac」、「10db」)を検索キーとして、端末管理テーブルを検索する。そして、端末状態取得部55は、宛先端末の候補の端末ID毎に、対応する稼動状態および通信状態を読み出すことにより、宛先端末の候補(通信端末10ab、10ac、10db)それぞれの稼動状態および通信状態を取得する。
<ステップS31>
次に、通信部51は、ステップS30で使用された検索キーである端末IDと、対応する宛先端末の候補の稼動状態および通信状態とを含む状態情報を、通信ネットワーク2を介して開始要求端末に送信する。具体的には、通信部51は、検索キーとしての端末ID「10ab」と、宛先端末の候補(通信端末10ab)の稼動状態「オフライン」とを含む状態情報を、開始要求端末(通信端末10aa)に送信する。なお、稼動状態が「オフライン」の場合には、状態情報には、通信状態は含まれない。また、通信部51は、端末ID「10ac」と、宛先端末の候補(通信端末10ac)の稼動状態「オンライン」と、通信状態「None」とを含む状態情報等、宛先端末の候補すべてに対する状態情報それぞれを開始要求端末(通信端末10aa)へ送信する。
<ステップS32>
次に、開始要求端末(通信端末10aa)の記憶・読出部17は、順次、管理システム50から受信した状態情報を記憶部18に記憶する。したがって、開始要求端末(通信端末10aa)は、宛先端末の候補の状態情報を受信することで、通話することができる宛先端末の候補の現時点のそれぞれの稼動状態および通信状態を取得することができる。
<ステップS33>
次に、開始要求端末(通信端末10aa)の表示制御部14は、記憶部18に記憶されている宛先リスト情報、および宛先端末の候補の状態情報に基づいて、宛先端末の候補の稼動状態および通信状態を反映させた宛先リストを作成する。そして、表示制御部14は、図1に示すディスプレイ120aaに、所定のタイミングで図12に示すような宛先リストを表示する。
図12に示すように、ディスプレイ120aaに表示される宛先リストは、宛先端末の候補の端末ID1100-2と、端末名1100-3と、状態情報を反映させたアイコン1100-4a、1100-4b等を含む。アイコンとしては、オフラインで通話できないことを示すオフラインアイコン1100-4aと、オンラインで通話可能であることを示す通話可能アイコン1100-4bと、がある。なお、オンラインで通話中であることを示す通話中アイコン等があってもよい。
表示制御部14は、宛先端末の候補の稼動状態が「オンライン」であり、通信状態が「None」である場合には、この宛先端末の候補に対し、通話可能アイコン1100-4bを割り当てる。また、表示制御部14は、宛先端末の候補の稼動状態が「オフライン」である場合には、この宛先端末の候補に対し、オフラインアイコン1100-4aを割り当てる。なお、表示制御部14は、宛先端末の候補の稼動状態が「オンライン」であり、通信状態が「None」以外である場合には、この宛先端末の候補に対し、通話中アイコンを割り当てればよい。
なお、他の通信端末10でも、ステップS21と同様に、ユーザが図2に示す入力装置108を介して電源をオンにすると、当該通信端末10の操作入力受付部12が、電源オンを受け付けて、上述のステップS22~S33の処理と同様の処理を行う。
(通信端末が他の通信端末との通信の開始を要求する場合の処理)
図13は、第1の実施形態に係る通信システムにおける通話の開始を要求する処理の一例を示すシーケンス図である。図13を参照しながら、通信端末10が他の通信端末10との通信の開始を要求する場合の処理を説明する。なお、図13では、すべて管理情報用セッションseiによって、各種管理情報が送受信される処理が示されている。
図13においては、図11においてログインが許可された通信端末10aaが、開始要求情報を送信する例、すなわち、通信端末10aaが開始要求端末として動作する例について説明する。開始要求端末としての通信端末10aaは、図11のステップS31で受信した宛先端末の候補の状態情報に基づいて、宛先端末の候補のうち、稼動状態が「オンライン」であり、通信状態が「None」である通信端末10のうち少なくとも1つの通信端末10と通話を行うことができる。例えば、開始要求端末(通信端末10aa)は、宛先端末の候補のうち、図11のステップS31によって受信した状態情報により、稼動状態が「オンライン」であり、通信状態が「None」である通信端末10dbと通話を行うことができる。そこで、以下では、開始要求端末(通信端末10aa)のユーザが、宛先端末(通信端末10db)と通話を開始することを選択した場合について説明する。
なお、図13に示す処理が開始される前の状態において、開始要求端末としての通信端末10aaのディスプレイ120aaには、図12に示す宛先リストが表示されているものとする。そして、開始要求端末のユーザは、宛先リストから所望の通話相手(宛先端末)を選択することができる。
<ステップS41>
まず、開始要求端末のユーザは、通信端末10aaの入力装置108を操作して宛先端末(通信端末10db)を選択する。
<ステップS42>
すると、通信端末10aaの通信部11は、開始要求端末(通信端末10aa)の端末ID「10aa」、および宛先端末(通信端末10db)の端末ID「10db」を含む開始要求情報を、開始要求端末のIPアドレスと共に管理システム50へ送信する。これにより、管理システム50の通信部51は、開始要求情報を受信すると共に、送信元である開始要求端末(通信端末10aa)のIPアドレス「1.2.1.3」を把握することになる。
<ステップS43>
そして、状態管理部53は、開始要求情報に含まれる開始要求端末(通信端末10aa)の端末ID「10aa」および宛先端末(通信端末10db)の端末ID「10db」に基づき、端末管理DB5002の端末管理テーブルにおいて、端末ID「10aa」および端末ID「10db」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部53は、端末管理テーブルの端末ID「10aa」が含まれるレコードの通信状態を「Calling」に変更する。同様に、状態管理部53は、端末管理テーブルの端末ID「10db」が含まれるレコードの通信状態を「Ringing」に変更する。
<ステップS44>
そして、管理システム50のセッション制御部56は、開始要求端末(通信端末10aa)によって要求された宛先端末との間の通信を実行するためのセッション(コンテンツデータ用セッションsed)を識別するためのセッションID「se1」を生成する。セッション制御部56は、セッションIDを生成すると、セッションID「se1」をセッション管理テーブル(図9参照)に記憶する。
<ステップS45>
続いて、セッション制御部56は、セッション管理テーブルにおいて、セッションID「se1」が含まれるレコードの開始要求端末の端末IDおよび宛先端末の端末IDのフィールド部分に、それぞれ開始要求端末の端末ID「10aa」、宛先端末の端末ID「10db」を記憶して管理する。
<ステップS46>
次に、通信部51は、通信ネットワーク2を介して、開始要求端末(通信端末10aa)へ、セッション制御部56により生成されたセッションIDを送信する。
<ステップS47>
また、通信部51は、開始要求端末の端末ID「10aa」と、セッションID「se1」とを含む開始要求情報と、管理システム50のIPアドレスとを宛先端末へ送信する。これにより、宛先端末(通信端末10db)は、開始要求情報を受信すると共に、管理システム50のIPアドレス「1.1.1.2」を把握することになる。
(宛先端末が開始要求端末との間で通信開始を許可する応答を受け付けた場合の処理)
図14は、第1の実施形態に係る通信システムにおける通話の開始の要求を許可する処理の一例を示すシーケンス図である。図15は、開始要求受付画面の表示例を示す図である。図14および図15を参照しながら、開始要求情報を受信した宛先端末のユーザが、入力装置108を操作することにより、開始要求端末との間の通信の開始(セッションの確立)を許可する旨の応答が受け付けられた場合の処理について説明する。
<ステップS51>
図14に示す送受信処理の開始時には、宛先端末(通信端末10db)のディスプレイ120には、開始要求情報を受信したことを示す開始要求受付画面1200-1(図15参照)が表示されている。
図15に示す開始要求受付画面1200-1は、開始要求情報を受信した旨を示し、開始要求端末との間の通信の開始(セッションの確立)を許可するか否かを指定するためのユーザインターフェースである。ユーザは、開始要求受付画面1200-1を閲覧することにより、開始要求を受信したことを確認することができる。開始要求受付画面1200-1には、セッションの確立を許可するための「はい」ボタン1200-2と、セッションの確立を許可しない選択をするための「いいえ」ボタン1200-3とが含まれている。
<ステップS52>
宛先端末(通信端末10db)の入力装置108の操作によって「はい」ボタン1200-2が押下された場合、操作入力受付部12は、開始要求端末(通信端末10aa)との間の通信の開始(セッション確立)を許可する旨の応答を受け付ける。
<ステップS53>
次に、宛先端末の通信部11は、宛先端末の端末ID「10db」、開始要求端末の端末ID「10aa」、およびセッションID「se1」が含まれる開始応答情報を、管理システム50へ送信する。
<ステップS54>
管理システム50の通信部51が開始応答情報を受信すると、状態管理部53は、開始応答情報に含まれる開始要求端末の端末ID「10aa」および宛先端末の端末ID「10db」に基づき、端末管理テーブルにおいて、端末ID「10aa」および端末ID「10db」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部53は、端末管理テーブルの端末ID「10aa」が含まれるレコードの通信状態を「Accepted」に変更する。同様に、状態管理部53は、端末管理テーブルの端末ID「10db」が含まれるレコードの通信状態も「Accepted」に変更する。
<ステップS55>
次に、通信部51は、宛先端末(通信端末10db)の端末ID「10db」、およびセッションID「se1」が含まれる開始応答情報を開始要求端末(通信端末10aa)へ送信する。
<ステップS56>
開始要求端末は、この開始応答情報を受信すると、通信部11によってセッションID「se1」を管理システム50に送信することにより、セッションを確立させる。
<ステップS57>
一方、宛先端末は、通信部11によってセッションID「se1」を管理システム50に送信することにより、セッションを確立させる。
なお、上述の図11における同じグループの通信端末10を識別する端末IDを抽出する動作、ならびに図13および図14に示す通信端末10aaと通信端末10dbとの間でセッションを確立させるための動作においては、端末IDを利用した動作ではなく、各通信端末にログインしているユーザのユーザID(例えばメールアドレス等)を利用した動作であってもよい。
(一斉ミュートの動作)
図16は、第1の実施形態に係る通信システムにおける一斉ミュートの動作を説明する図である。図16を参照しながら、特定の通信端末10から一斉ミュート指令が送信された場合の動作について説明する。
例えば、図16に示す通信端末10dbの話者が、講演のように当該話者のみの音声信号を、ビデオ会議に参加している他の通信端末10に対して送信したい場合、他の通信端末10に対してはミュートした状態にさせる必要がある。なお、図16に示す例では、グループ管理テーブル(図8参照)で管理されるグループID「G001」に関連付けられた端末ID「10aa」、「10ab」、「10ac」、「10db」でそれぞれ識別される通信端末10aa、10ab、10ac、10dbのうち、通信端末10ac以外の通信端末10がビデオ会議に参加しているものとする。
この場合、通信端末10dbの話者は、当該通信端末10dbの操作入力受付部12に対して、開催されているビデオ会議の他の通信端末10(すなわち、同じグループの他の通信端末10)(図16に示す例では、通信端末10aa、10ab)をミュートした状態にさせるための操作(一斉ミュート操作)を行う。一斉ミュート操作が行われると、通信端末10dbのミュート制御部20は、ビデオ会議に参加している他の通信端末10に対して一斉ミュート状態にするための一斉ミュート指令を、通信部11を介して管理システム50に送信する(図16の(1)一斉ミュート指令)。管理システム50の通信部51は、通信端末10dbからの一斉ミュート指令を受信すると、ビデオ会議に参加している他の通信端末10に対して、当該一斉ミュート指令を中継して送信する(図16の(1)一斉ミュート指令)。
通信端末10dbから一斉ミュート指令を受信した他の通信端末10(通信端末10aa、10ab)のミュート制御部20は、音声入力部15による音声信号の入力を不許可の状態、すなわちミュートした状態(一斉ミュート状態)にする(図16の(2)一斉ミュート状態)。そして、ミュート制御部20は、現在のミュート状態が一斉ミュート状態となっている旨を、記憶部18に記憶させる。
以上のような動作で、講演を行うための通信端末10db以外の通信端末10は、ミュートした状態(一斉ミュート状態)となるため、音声信号の入力が不許可となるので、当該通信端末10dbの話者は、ビデオ会議の他の参加者に対して講演を行うことができる。
なお、図16に示す例では、通信端末10dbの話者が講演者となるべく、通信端末10dbが一斉ミュート指令を送信して、他の通信端末10(10aa、10ab)を一斉ミュート状態にする動作を示したが、これに限定されるものではない。例えば、通信端末10dbでの操作に従って送信された一斉ミュート指令によって、通信端末10db以外の通信端末10(通信端末10aaまたは通信端末10ab)の話者が講演者とするようにできるものとしてもよい。すなわち、通信端末10dbは、通信端末10abの話者を講演者とするための一斉ミュート指令を、自身(通信端末10db)および講演者の通信端末10以外の通信端末10(図16の例では通信端末10aa)に送信し、自身を一斉ミュート状態とし、かつ、一斉ミュート指令を送信した通信端末10aaに一斉ミュート状態にさせるものとしてもよい。
(途中参加時に既に参加している通信端末にミュート状態を確認する動作)
図17は、第1の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作の一例を示すシーケンス図である。図18は、第1の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作を説明する図である。図17および図18を参照しながら、ビデオ会議に途中参加する場合に他の通信端末10にミュート状態を確認する動作について説明する。なお、当該動作の前に、図16に示すように、通信端末10aa、10ab、10dbがビデオ会議に参加しており、通信端末10dbが、他の通信端末10(10aa、10ab)に対して一斉ミュート指令を送信し、当該他の通信端末10が一斉ミュート状態となっているものとする。また、通信端末10aa、10ab、10dbと同じグループの通信端末10acは、未だビデオ会議には参加していないものの、図11に示すユーザ認証が完了しているものとし、同じグループの通信端末10の情報(宛先リスト情報、状態情報)を取得しているものとする。
<ステップS61、S62>
ビデオ会議に参加している通信端末10aa、10ab、10dbと同じグループであって当該ビデオ会議に未だ参加していない通信端末10acのユーザ(話者)は、入力装置108を介して、当該ビデオ会議に参加の要求先となる通信端末10(ここでは通信端末10aaとする)を選択して、途中参加の要求操作を行う。すると、通信端末10acの通信部11は、ビデオ会議への途中参加を要求するための参加要求情報と、自身(通信端末10ac)のIPアドレス(参加要求端末IPアドレス)と、管理システム50へ送信する(図18の(1)新たに会議に参加)。参加要求情報には、自身(通信端末10ac)の端末ID(参加要求端末ID)と、要求先となる通信端末10aaの端末ID(宛先端末ID)とが含まれる。
また、通信部11により参加要求情報が送信されると共に、通信端末10acのミュート確認部21は、宛先端末である通信端末10aaに対してミュート状態を確認するためのミュート確認要求を、通信部11を介して管理システム50へ送信する(図18の(2)ミュート状態確認)。
<ステップS63>
管理システム50の通信部51により参加要求情報が受信されると、状態管理部53は、参加要求情報に含まれる参加要求端末である通信端末10acの端末ID「10ac」および宛先端末である通信端末10aaの端末ID「10aa」に基づき、端末管理DB5002の端末管理テーブルにおいて、端末ID「10ac」および端末ID「10aa」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部53は、端末管理テーブルの端末ID「10ac」が含まれるレコードの通信状態を「Calling」に変更する。同様に、状態管理部53は、端末管理テーブルの端末ID「10aa」が含まれるレコードの通信状態を「Ringing」に変更する。なお、図13で示した場合のビデオ会議のセッションを確立させるために開始要求情報が管理システム50に送信された場合(ステップS43)の通信状態の変更内容と区別するために、他の通信状態に変更するものとしてもよい。
<ステップS64>
そして、通信部51は、参加要求端末ID「10ac」およびビデオ会議のセッションを示すセッションIDを含む参加要求情報と、ミュート確認要求とを、ステップS62で受信した宛先端末ID「10aa」が示す通信端末10aaへ送信する。
<ステップS65>
宛先端末である通信端末10aaの通信部11により参加要求情報が受信されると、通信端末10aaの表示制御部14は、ディスプレイ120aaに途中参加要求を受け付けるための画面(途中参加要求受付画面)を表示させる。なお、途中参加要求受付画面は、例えば、上述の図15に示す開始要求受付画面1200-1に準じる画面であって、途中参加を要求している通信端末10acに対して途中参加を許可するか否かを促す画面であればよい。
<ステップS66>
通信端末10aaの入力装置108に対して、通信端末10acのビデオ会議への途中参加を認める操作が行われると、操作入力受付部12は、参加要求端末(通信端末10ac)のビデオ会議への途中参加を認める旨の応答を受け付ける。
<ステップS67>
また、通信端末10aaの通信部11によりミュート確認要求が受信されると、通信端末10aaのミュート応答部22は、記憶部18を参照して自身(通信端末10aa)のミュート状態(一斉ミュート状態となっているか否か)を判別(確認)する。
<ステップS68>
そして、通信端末10aaの通信部11は、参加要求情報に対する応答として、宛先端末ID「10aa」、参加要求端末ID「10ac」、およびセッションIDが含まれる参加応答情報を、管理システム50へ送信する。さらに、通信端末10aaのミュート応答部22は、ミュート確認要求に対する応答として、判別した自身のミュート状態を示すミュート状態応答を、通信部11を介して管理システム50へ送信する(図18の(3)ミュート状態応答)。なお、参加応答情報の送信と、ミュート状態応答の送信とは、必ずしも同じタイミングに行われる必要がなく、それぞれの応答の送信の準備が完了次第、個別に行われるものとしてもよい。
<ステップS69>
管理システム50の通信部51は、通信端末10aaからミュート状態応答を受信すると、参加要求端末である通信端末10acに対して、宛先端末ID「10aa」と共に、当該ミュート状態応答を中継して送信する。
<ステップS70>
通信端末10acの通信部11によりミュート状態応答および宛先端末ID「10aa」が受信されると、通信端末10acのミュート確認部21は、当該ミュート状態応答によって、宛先端末ID「10aa」により識別される通信端末10aaのミュート状態を認識する。ミュート確認部21により通信端末10aaのミュート状態が一斉ミュート状態であることが認識された場合、通信端末10acのミュート制御部20は、当該通信端末10acについても一斉ミュート状態にする(図18の(4)一斉ミュート状態)。そして、ミュート制御部20は、通信端末10acの現在のミュート状態が一斉ミュート状態となっている旨を、記憶部18に記憶させる。すなわち、この場合、通信端末10acは、一斉ミュート状態としてビデオ会議に途中参加することになる。
一方、ミュート確認部21により通信端末10aaのミュート状態が、個別ミュート状態、またはミュートした状態でないことが認識された場合、通信端末10acのミュート制御部20は、当該通信端末10acについてミュートした状態にせず、音声入力部15による音声信号の入力を許可状態にする。そして、ミュート制御部20は、通信端末10acの現在のミュート状態がミュートした状態になっていない旨を、記憶部18に記憶させる。
<ステップS71>
また、ステップS68による処理によって、管理システム50の通信部51により通信端末10aaから参加応答情報が受信されると、状態管理部53は、参加応答情報に含まれる参加要求端末ID「10ac」および宛先端末ID「10aa」に基づき、端末管理テーブルにおいて、端末ID「10ac」および端末ID「10aa」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部53は、端末管理テーブルの端末ID「10ac」が含まれるレコードの通信状態を「Accepted」に変更する。同様に、状態管理部53は、端末管理テーブルの端末ID「10ac」が含まれるレコードの通信状態も「Accepted」に変更する。なお、図14で示した場合のビデオ会議のセッションの確立が許可された場合の通信状態の変更内容(ステップS54)と区別するために、他の通信状態に変更するものとしてもよい。
<ステップS72>
そして、通信部51は、宛先端末ID「10aa」、およびセッションIDが含まれる参加応答情報を、参加者情報と共に、参加要求端末である通信端末10acへ送信する。ここで、参加者情報とは、例えば、通信端末10ac以外の同じグループに含まれる通信端末10の情報(宛先リスト情報、状態情報)を含む情報である。
<ステップS73>
参加要求端末である通信端末10acは、通信部11を介して管理システム50から参加応答情報を受信することによって、ビデオ会議への途中参加の処理が完了する。ここで、上述したように、通信端末10acのビデオ会議への途中参加の処理中に、同じグループの特定の通信端末10から一斉ミュート指令が送信されることによって、途中参加の前後で通信端末10aaのミュート状態(一斉ミュート状態であるか否か)が変更されている可能性がある。そこで、本実施形態では、通信端末10acは、ビデオ会議への途中参加の処理の完了後、以下のステップS74以降で、宛先端末である通信端末10aaに対して、再度、ミュート状態の確認を行う処理をする。
<ステップS74>
通信端末10acのミュート確認部21は、通信端末10acのビデオ会議への途中参加の処理の完了後、宛先端末である通信端末10aaに対してミュート状態を再確認するためのミュート再確認要求を、参加要求端末ID「10ac」および宛先端末ID「10aa」と共に、通信部11を介して管理システム50へ送信する(図18の(2)ミュート状態確認)。
<ステップS75>
管理システム50の通信部51は、通信端末10acからミュート再確認要求を受信すると、共に受信した宛先端末ID「10aa」が示す通信端末10aaに対して、参加要求端末ID「10ac」と共に、当該ミュート再確認要求を中継して送信する。
<ステップS76>
通信端末10aaの通信部11によりミュート再確認要求が受信されると、通信端末10aaのミュート応答部22は、再度、記憶部18を参照して自身(通信端末10aa)のミュート状態(一斉ミュート状態または個別ミュート状態となっているか否か)を判別(確認)する。
<ステップS77>
そして、通信端末10aaのミュート応答部22は、ミュート再確認要求に対する応答として、判別した自身のミュート状態を示すミュート状態応答を、宛先端末ID「10aa」および参加要求端末ID「10ac」と共に、通信部11を介して管理システム50へ送信する(図18の(3)ミュート状態応答)。
<ステップS78>
管理システム50の通信部51は、通信端末10aaからミュート状態応答を受信すると、共に受信した参加要求端末ID「10ac」により識別される通信端末10acに対して、宛先端末ID「10aa」と共に、当該ミュート状態応答を中継して送信する。
<ステップS79>
通信端末10acの通信部11によりミュート状態応答および宛先端末ID「10aa」が受信されると、通信端末10acのミュート確認部21は、当該ミュート状態応答によって、宛先端末ID「10aa」により識別される通信端末10aaのミュート状態を認識する。ミュート確認部21により通信端末10aaのミュート状態が一斉ミュート状態であることが認識された場合、通信端末10acのミュート制御部20は、当該通信端末10acについても一斉ミュート状態にする(図18の(4)一斉ミュート状態)。そして、ミュート制御部20は、通信端末10acの現在のミュート状態が一斉ミュート状態となっている旨を、記憶部18に記憶させる。すなわち、この場合、通信端末10acは、一斉ミュート状態としてビデオ会議に途中参加することになる。
一方、ミュート確認部21により通信端末10aaのミュート状態が、個別ミュート状態、またはミュートした状態でないことが確認された場合、通信端末10acのミュート制御部20は、当該通信端末10acについてミュートした状態にせず、音声入力部15による音声信号の入力を許可状態にする。この場合、ミュート制御部20は、ステップS70において一斉ミュート状態にしていいた場合、当該一斉ミュート状態を解除して、音声入力部15による音声信号の入力を許可状態にする。そして、ミュート制御部20は、通信端末10acの現在のミュート状態がミュートした状態になっていない旨を、記憶部18に記憶させる。
以上のステップS61~S79の流れによって、ビデオ会議に途中参加する場合に他の通信端末10にミュート状態を確認する動作が行われる。
なお、図17で説明した動作において、ステップS74~S79におけるミュート状態の再確認の動作は、最初に確認を行った通信端末10aaに対して行われるものとしているが、これに限定されるものではない。すなわち、最初にミュート状態の確認を行った通信端末10aaとは異なる他の通信端末10(例えば、通信端末10ab)に対して、ミュート状態を再確認するものとしてもよい。
(一斉ミュートの解除動作)
図19は、第1の実施形態に係る通信システムにおける一斉ミュート状態を解除する動作の一例を示すシーケンス図である。図20は、第1の実施形態に係る通信システムにおける一斉ミュート状態を解除する動作を説明する図である。図21は、一斉ミュート状態の解除の通知画面の一例を示す図である。図19~図21を参照しながら、特定の通信端末10から一斉ミュート解除指令が送信された場合の動作について説明する。
一斉ミュート機能が使用されてビデオ会議において講演等が行われた後、一斉ミュートを解除して通常のビデオ会議を続けることが想定される。しかし、一斉ミュート機能を使用した通信端末10が、一斉ミュート解除指令を送信することによって他の通信端末10の一斉ミュート状態が突然解除されるものとした場合、例えば、他の通信端末10の参加者が一斉ミュート状態であることを前提に、ビデオ会議とは無関係な会話、発言等をしていた場合に、それがビデオ会議に流されることとなり具合が悪い。一方、一斉ミュート状態の解除を一斉には行わず個別に解除することも考えられるが、他の通信端末10の参加者に余分な操作負担を課すこととなってしまう。本実施形態では、以下の動作によって上述のような問題を軽減する。なお、当該動作の前に、図20(a)に示すように、通信端末10dbの話者が講演等をするために、他の通信端末10(通信端末10aa、10ab、10ac)が一斉ミュート状態となっているものとする。
<ステップS91>
通信端末10dbの話者は、講演等を終えて通常のビデオ会議に戻すために、当該通信端末10dbの操作入力受付部12に対して、ビデオ会議の他の通信端末10(通信端末10aa、10ab、10ac)の一斉ミュート状態を解除させるための操作(一斉ミュート解除操作)を行う。以下、他の通信端末10の代表として通信端末10acを想定して説明する。一斉ミュート解除操作が行われると、通信端末10dbのミュート制御部20は、通信端末10acに対して一斉ミュート状態を解除するための一斉ミュート解除指令を、自身の端末ID「10db」と共に、通信部11を介して管理システム50に送信する(図20(b)の(1)一斉ミュート解除指令)。
<ステップS92>
管理システム50の通信部51により一斉ミュート解除指令が受信されると、端末抽出部54は、グループ管理DB5003のグループ管理テーブル(図8参照)を参照し、通信端末10dbと同じグループに属する他の通信端末10(すなわち、ビデオ会議を行っている他の通信端末10)の端末IDを取得する。
<ステップS93>
そして、通信部51は、端末抽出部54により取得された端末ID(ここでは「10ac」)により識別される通信端末10(ここでは通信端末10ac)に対して、一斉ミュート解除指令、および端末ID「10db」を送信する(図20(b)の(1)一斉ミュート解除指令)。
<ステップS94>
通信端末10acの通信部11により一斉ミュート解除指令および端末ID「10db」が受信されると、通信端末10acの表示制御部14(通知部の一例)は、ディスプレイ120に、一斉ミュート状態の解除を通知するための通知画面(例えば、図21に示す会議画面1300のミュート解除通知ダイアログボックス1310)を表示させる。これによって、通信端末10acの話者は、通信端末10dbから一斉ミュート解除指令が送信され、突然一斉ミュート状態が解除されることなく、これから一斉ミュート状態が解除されることを認識することができる。なお、上述のような通知画面による通知に加えて、音声出力部16(通知部の一例)がスピーカ115から一斉ミュート状態が解除されることを示す警告音を出力させるものとしてもよい。
<ステップS95>
そして、通信端末10acのミュート制御部20は、上述の通知画面において一斉ミュート状態の解除を許容する操作(例えば、図21に示すミュート解除通知ダイアログボックス1310のOKボタンの押下操作)が行われたとき、または、当該通知画面が表示されてから所定時間経過したとき、一斉ミュート状態を解除する(図20(b)の(2)一斉ミュート状態解除)。そして、ミュート制御部20は、通信端末10acの現在のミュート状態がミュートした状態になっていない旨を、記憶部18に記憶させる。これによって、一斉ミュートを解除して通常のビデオ会議を続けることが可能となる。
なお、一斉ミュート解除指令を送信する通信端末10は、一斉ミュート指令を送信することによって他の通信端末10を一斉ミュート状態にした通信端末10dbとしているが、これに限定されるものではない。すなわち、一斉ミュート解除指令を送信可能な通信端末10は、一斉ミュート指令を送信した通信端末10dbに限らず、他の通信端末10(通信端末10aa、10ab、10ac)であってもよい。
以上のように、本実施形態に係る通信システム1では、開催されているビデオ会議に対して、新たな通信端末10が当該ビデオ会議への参加要求を行う場合に、当該ビデオ会議に既に参加している特定の通信端末10のミュート状態を確認するものとしている。そして、新たにビデオ会議に参加しようとする通信端末10は、特定の通信端末10のミュート状態が一斉ミュート状態となっていることを確認した場合、自身についても一斉ミュート状態にする。これによって、複数の参加者によるビデオ会議において一斉ミュート機能が使用されている場合に、新たな参加者が参加したときに、当該参加者の通信端末10に対してミュートした状態を反映することができる。そして、一斉ミュート機能が使用されているビデオ会議に新たに参加する場合、新たに参加する通信端末10のマイク114がミュートされないことによる不都合を回避することができる。
また、上述したように、新たな通信端末10のビデオ会議への途中参加の処理中に、同じグループの特定の通信端末10から一斉ミュート指令が送信されることによって、途中参加の前後で、ミュート状態の確認先である通信端末10のミュート状態(一斉ミュート状態であるか否か)が変更される可能性がある。しかし、本実施形態に係る通信システム1では、新たな通信端末10によるビデオ会議への途中参加の処理が完了後、当該通信端末10は、再度、ビデオ会議に参加している他の通信端末10に対してミュート状態を確認するものとしている。これによって、ビデオ会議への途中参加の処理中に一斉ミュート機能が使用された場合においても、新たにビデオ会議に参加した通信端末10のミュート状態を一斉ミュート状態にすることが可能となる。
また、本実施形態に係る通信システム1では、一斉ミュート機能が使用された状態において、特定の通信端末10から一斉ミュート状態を解除するための一斉ミュート解除指令が送信された場合に、それを受信した通信端末10は、突然、一斉ミュート状態を解除するのではなく、一斉ミュート状態が解除される旨を参加者(話者)に対して通知するものとしている。これによって、突然一斉ミュート状態が解除されることなく、これから一斉ミュート状態が解除されることを認識することができ、かつ、ユーザビリティの低下を抑制することができる。
(変形例)
図22は、第1の実施形態の変形例に係る通信システムにおける、特定の通信端末に対してミュート状態が確認できない場合に他の通信端末に確認する動作を説明する図である。図22を参照しながら、本変形例に係る通信システム1において、ビデオ会議に途中参加する場合に他の通信端末10にミュート状態を確認する動作について説明する。
上述の実施形態では、通信端末10acのビデオ会議への途中参加の処理中に、同じグループの特定の通信端末10から一斉ミュート指令が送信されることによって、途中参加の前後で通信端末10aaのミュート状態が変更されている可能性があるため、ビデオ会議への途中参加の処理の完了後、宛先端末である通信端末10aaに対して、再度、ミュートの状態の確認を行う動作について説明した。しかし、通信端末10acのビデオ会議への途中参加の処理中に、最初のミュート状態の確認先である通信端末10aaがビデオ会議から退出してしまう場合も想定される。本変形例では、このような場合に対処する動作について、上述の図17も参照しながら説明する。
図17のステップS73までの処理によって、参加要求端末である通信端末10acのビデオ会議への途中参加の処理が完了したものとして、以降の動作を説明する。したがって、通信端末10acは、途中参加を要求すると共に(図22(a)の(1)新たに会議に参加)、ミュート確認要求(図22(a)の(2)ミュート状態確認)によって通信端末10aaのミュート状態を一度確認している(図22(a)の(3)ミュート状態応答、参加者情報)。ここでは、通信端末10acは、通信端末10aaが一斉ミュート状態になっていることを確認し、ステップS70において、自身も一斉ミュート状態にしたものとする(図22(a)の(4)一斉ミュート状態)。
ここで、上述のように、通信端末10acのビデオ会議への途中参加の処理中(例えば、ステップS71の処理中)に、ミュート状態の確認先である通信端末10aaがビデオ会議から退出してしまう場合もある。ここで、途中参加の処理中に通信端末10aaがビデオ会議から退出したものとすると(図22(b)の(5)退出)、図17のステップS74、S75において、通信端末10acが、ミュート再確認要求を通信端末10aaへ送信したとしても、ステップS76~S78により通信端末10aaのミュート状態を得ることができない。この場合、具体的には、ステップS74において、通信端末10acからミュート再確認要求を受信した管理システム50が、端末管理テーブル(図7参照)を参照することにより、通信端末10aaがビデオ会議から退出していることを判別した場合、退出の旨を、通信端末10acに送信するものとすればよい。なお、通信端末10aaのミュート状態を得ることができない場合として、上述のように、通信端末10aaがビデオ会議から退出した場合のほか、例えば、ネットワークの通信不具合によりミュート状態を得ることができないことも想定される。この場合、通信端末10acは、ミュート再確認要求を通信端末10aaに送信した後、所定時間、通信端末10aaからミュート状態応答を受信することができない場合、通信端末10aaのミュート状態を得ることができないと判断するものとすればよい。
このように、通信端末10acは、通信端末10aaに対するミュート再確認要求の送信によって、通信端末10aaのミュート状態を得ることができない場合、図17のステップS72で得られている参加者情報を参照し、ビデオ会議に参加している他の通信端末10(例えば通信端末10ab)に、ミュート再確認要求を送信する(図22(b)の(6)ミュート状態再確認)。そして、通信端末10abは、ミュート再確認要求に対する応答として、判別した自身のミュート状態を示すミュート状態応答を、管理システム50を介して通信端末10acへ送信する(図22(b)の(7)ミュート状態応答)。これによって、通信端末10acは、通信端末10abのミュート状態を確認することができ、ビデオ会議が一斉ミュート機能が使用された状態か否かを判断することができる。
以上のように、途中参加の処理中にミュート状態の確認先の通信端末10が退出した場合、または、ネットワークの通信不具合により確認先の通信端末10と通信できない場合においても、ビデオ会議に参加している他の通信端末10に対して、ミュート状態を再確認するものとしている。これによって、複数の参加者によるビデオ会議において一斉ミュート機能が使用されている場合に、新たな参加者が参加したときに、当該参加者の通信端末10に対してミュートした状態をより確実に反映することができる。
[第2の実施形態]
第2の実施形態に係る通信システムについて、第1の実施形態に係る通信システム1と相違する点を中心に説明する。第1の実施形態では、ビデオ会議に参加している通信端末10が、自身のミュート状態(ミュートしていない状態、個別ミュート状態、一斉ミュート状態等)を自身で管理していることを前提に説明した。本実施形態では、ビデオ会議に参加している各通信端末10のミュート状態を、管理システム50が管理する場合について説明する。なお、本実施形態に係る通信システムの全体構成、ならびに管理システムおよび通信端末のハードウェア構成は、第1の実施形態で説明した構成と同様である。
(通信システムの機能ブロックの構成)
図23は、第2の実施形態に係る通信システムの機能ブロックの構成の一例を示す図である。図23を参照しながら、本実施形態に係る通信システム1aの機能ブロックの構成について説明する。なお、本実施形態では、通信システム1aに含まれる管理システムを「管理システム50a」と称し、通信端末の総称を「通信端末10a」と称するものとして説明する。
<通信端末の機能ブロックの構成>
図23に示すように、通信端末10aは、通信部11と、操作入力受付部12と、撮像部13と、表示制御部14と、音声入力部15と、音声出力部16と、記憶・読出部17と、記憶部18と、認証要求部19と、ミュート制御部20aと、ミュート確認部21aと、を有している。なお、通信部11、操作入力受付部12、撮像部13、表示制御部14、音声入力部15、音声出力部16、記憶・読出部17、記憶部18および認証要求部19の動作は、第1の実施形態と同様である。
ミュート制御部20aは、ユーザの操作入力受付部12に対する操作入力に従って、当該通信端末10aと同じグループに属する他の通信端末10aに対して一斉ミュート状態にするための一斉ミュート指令、または、一斉ミュート状態を解除するための一斉ミュート解除指令を、通信部11を介して他の通信端末10aに送信する機能部である。また、ミュート制御部20aは、他の通信端末10aから通信部11を介して一斉ミュート指令を受信した場合、音声入力部15による音声信号の入力を不許可の状態、すなわちミュートした状態(一斉ミュート状態)にする。また、ミュート制御部20aは、他の通信端末10aから通信部11を介して一斉ミュート解除指令を受信した場合、一斉ミュート状態を解除する。そして、ミュート制御部20aは、一斉ミュート状態にした場合、ミュート完了通知を管理システム50aへ送信し、一斉ミュート状態を解除した場合、ミュート解除完了通知を管理システム50aへ送信する。
また、ミュート制御部20aは、当該通信端末10aが既に開催されているビデオ会議に途中参加する場合において、後述するように、ミュート確認部21aによって同じグループの他の通信端末10aが一斉ミュート状態となっていることが確認された場合、同様に一斉ミュート状態にする。そして、ミュート制御部20aは、ミュート完了通知を管理システム50aへ送信する。これによって、既に開催されているビデオ会議において一斉ミュート状態となっている場合、すなわち、特定の通信端末10aのみにおいて音声入力が許可されており、当該通信端末10aの話者のみが他の通信端末10aに対して音声信号を送信することができる状態である場合に、新たに参加した当該通信端末10aの話者の音声信号が入力されてしまう事態を回避することができる。
ミュート制御部20aは、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
ミュート確認部21aは、通信端末10aが既に開催されているビデオ会議に途中参加する場合に、同じグループに属する他の通信端末10aに対して、一斉ミュート状態となっているか否かを確認する機能部である。具体的には、ミュート確認部21aは、同じグループに属する他の通信端末10aに対して、一斉ミュート状態となっているか否かを確認するためのミュート確認要求を、管理システム50aへ送信する。また、ミュート確認部21aは、参加要求情報を送信することによって既に開催されているビデオ会議に参加した後、再度、当該他の通信端末10aに対して、一斉ミュート状態となっているか否かを確認するためのミュート再確認要求を、管理システム50aへ送信する。そして、本実施形態では、ビデオ会議へ参加している通信端末10aのミュート状態は、管理システム50aによって管理されているので、管理システム50aは、特定の通信端末10aからミュート確認要求またはミュート再確認要求を受信した場合、確認先の通信端末10aのミュート状態を端末管理テーブル(後述する図24)を参照することにより判別する。ミュート確認部21aは、図2に示すCPU101によるソフトウェアである通信アプリAの実行によって実現される。
なお、上述の表示制御部14、認証要求部19、ミュート制御部20aおよびミュート確認部21aのうち少なくともいずれかは、ASICまたはFPGA等のハードウェア回路によって実現されるものとしてもよい。
また、図23に示した通信端末10aの各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図23に示した通信端末10aで独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図23に示した通信端末10aの1つ機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
<管理システムの機能ブロックの構成>
図23に示すように、管理システム50aは、通信部51と、認証部52と、状態管理部53と、端末抽出部54と、端末状態取得部55と、セッション制御部56と、記憶・読出部57と、記憶部58と、ミュート管理部59と、ミュート応答部60と、を有している。記憶部58は、図3に示す補助記憶装置205によって実現され、図23に示すように、認証管理DB5001と、端末管理DB5002と、グループ管理DB5003と、セッション管理DB5004とを記憶している。なお、通信部51、認証部52、状態管理部53、端末抽出部54、端末状態取得部55、セッション制御部56、記憶・読出部57および記憶部58の動作は、第1の実施形態と同様である。また、認証管理DB5001に含まれる認証管理テーブル、グループ管理DB5003に含まれるグループ管理テーブル、および、セッション管理DB5004に含まれるセッション管理テーブルの構成は、第1の実施形態と同様である。
<<端末管理テーブル>>
図24は、第2の実施形態の端末管理テーブルの一例を示す図である。図24を参照しながら、本実施形態の端末管理テーブルについて、上述の第1の実施形態の図7に示した端末管理テーブルとの相違点を中心に説明する。
記憶部58は、図24に示す端末管理テーブルを含む端末管理DB5002を記憶している。図24に示す端末管理テーブルでは、各通信端末10aの端末ID毎に、端末名、各通信端末10aにログインしたユーザのユーザID、各通信端末10aの稼動状態、他の通信端末10aとの通信状態、各通信端末10aのIPアドレス、および各通信端末10aのミュート状態が関連付けられて管理される。
ここで、ミュート状態としては、例えば、ミュートしていない状態、個別のミュート操作によりミュートの状態とした個別ミュート状態、および、一斉ミュート機能の使用にミュートの状態となった一斉ミュート状態がある。なお、端末管理テーブルで管理されるミュート状態としては、上述の3つの状態に限定されるものではなく、本実施形態では少なくとも、一斉ミュート状態と、一斉ミュート状態ではない状態とが区別されて管理されていればよい。
図24に示す端末管理テーブルでは、例えば、端末IDが「10ab」の通信端末10abは、端末名が「日本 東京事業所 AB端末」で、ログインしているユーザのユーザIDが「J_10ab」で、稼動状態が「オンライン」で、通信状態が他の通信端末10aと通話中の状態を示す「Busy」で、この通信端末10abのIPアドレスが「1.2.1.4」で、通信端末10abのミュート状態が一斉ミュート状態であることが示されている。
なお、図24に示す端末管理テーブルを含む各テーブルで管理される情報は、テーブル形式の情報としているが、これに限定されるものではなく、管理される各情報が関連付けられることができれば、テーブル形式に限定されるものではない。
図23に戻り、管理システム50aの機能ブロックの説明に戻る。
ミュート管理部59は、通信システム1aに含まれる各通信端末10aのミュート状態を管理する機能部である。ミュート管理部59は、開催中のビデオ会議に参加している特定の通信端末10aから一斉ミュート指令を通信部51を介して受信した場合、当該ビデオ会議に参加している他の通信端末10aに対して、一斉ミュート指令を中継して送信する。また、ミュート管理部59は、通信端末10aにおいてミュート状態が変更された場合、その旨の通知を受信し、図24に示す端末管理テーブルの当該通信端末10aに対応するミュート状態に反映する。ミュート管理部59は、図3に示すCPU201によるプログラムの実行によって実現される。
ミュート応答部60は、特定の通信端末10aから通信部51を介してミュート確認要求を受信した場合、端末管理テーブルを参照して、当該通信端末10aのミュート状態(一斉ミュート状態となっているか否か)を判別して、当該ミュート状態をミュート状態応答として、当該通信端末10aに返信する機能部である。ミュート応答部60は、図3に示すCPU201によるプログラムの実行によって実現される。
なお、上述の認証部52、状態管理部53、端末抽出部54、端末状態取得部55、セッション制御部56、ミュート管理部59およびミュート応答部60のうち少なくともいずれかは、ASICまたはFPGA等のハードウェア回路によって実現されるものとしてもよい。
また、図23に示した管理システム50aの各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図23に示した管理システム50aで独立した機能部として図示した複数の機能部を、1つの機能部として構成してもよい。一方、図23に示した管理システム50aの1つ機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
(一斉ミュートの動作)
図25は、第2の実施形態に係る通信システムにおける一斉ミュートの動作を説明する図である。図25を参照しながら、特定の通信端末10aから一斉ミュート指令が送信された場合の動作について説明する。
例えば、図25に示す通信端末10dbの話者が、講演のように当該話者のみの音声信号を、ビデオ会議に参加している他の通信端末10aに対して送信したい場合、他の通信端末10aに対してはミュートした状態にさせる必要がある。なお、図25に示す例では、グループ管理テーブル(図8参照)で管理されるグループID「G001」に関連付けられた端末ID「10aa」、「10ab」、「10ac」、「10db」でそれぞれ識別される通信端末10aa、10ab、10ac、10dbのうち、通信端末10ac以外の通信端末10aがビデオ会議に参加しているものとする。
この場合、通信端末10dbの話者は、当該通信端末10dbの操作入力受付部12に対して、開催されているビデオ会議の他の通信端末10a(すなわち、同じグループの他の通信端末10a)(図25に示す例では、通信端末10aa、10ab)をミュートした状態にさせるための操作(一斉ミュート操作)を行う。一斉ミュート操作が行われると、通信端末10dbのミュート制御部20aは、ビデオ会議に参加している他の通信端末10aに対して一斉ミュート状態にするための一斉ミュート指令を、通信部11を介して管理システム50aに送信する(図25の(1)一斉ミュート指令)。管理システム50aの通信部51は、通信端末10dbからの一斉ミュート指令を受信すると、ビデオ会議に参加している他の通信端末10aに対して、当該一斉ミュート指令を中継して送信する(図25の(1)一斉ミュート指令)。
通信端末10dbから一斉ミュート指令を受信した他の通信端末10a(通信端末10aa、10ab)のミュート制御部20aは、音声入力部15による音声信号の入力を不許可の状態、すなわちミュートした状態(一斉ミュート状態)にする(図26の(2)一斉ミュート状態)。そして、ミュート制御部20aは、一斉ミュート状態にすると、ミュート完了通知を管理システム50aへ送信する(図26の(3)ミュート完了通知)。
管理システム50aのミュート管理部59は、他の通信端末10a(通信端末10aa、10ab)からミュート完了通知を受信すると、図24に示す端末管理テーブルの当該通信端末10aに対応するミュート状態に反映する(図26の(4)ミュート状態管理)。
以上のような動作で、講演を行うための通信端末10db以外の通信端末10aは、ミュートした状態(一斉ミュート状態)となるため、音声信号の入力が不許可となるので、当該通信端末10dbの話者は、ビデオ会議の他の参加者に対して講演を行うことができる。
(途中参加時に既に参加している通信端末にミュート状態を確認する動作)
図26は、第2の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作の一例を示すシーケンス図である。図27は、第2の実施形態に係る通信システムにおける、途中参加をする場合に他の通信端末にミュート状態を確認する動作を説明する図である。図26および図27を参照しながら、ビデオ会議に途中参加する場合に他の通信端末10aにミュート状態を確認する動作について説明する。なお、当該動作の前に、図25に示すように、通信端末10aa、10ab、10dbがビデオ会議に参加しており、通信端末10dbが、他の通信端末10a(10aa、10ab)に対して一斉ミュート指令を送信し、当該他の通信端末10aが一斉ミュート状態となっているものとする。また、通信端末10aa、10ab、10dbと同じグループの通信端末10acは、未だビデオ会議には参加していないものの、図11に示すユーザ認証が完了しているものとし、同じグループの通信端末10aの情報(宛先リスト情報、状態情報)を取得しているものとする。
<ステップS101、S102>
ビデオ会議に参加している通信端末10aa、10ab、10dbと同じグループであって当該ビデオ会議に未だ参加していない通信端末10acのユーザ(話者)は、入力装置108を介して、当該ビデオ会議に参加の要求先となる通信端末10a(ここでは通信端末10aaとする)を選択して、途中参加の要求操作を行う。すると、通信端末10acの通信部11は、ビデオ会議への途中参加を要求するための参加要求情報と、自身(通信端末10ac)のIPアドレス(参加要求端末IPアドレス)と、管理システム50aへ送信する(図27の(1)新たに会議に参加)。参加要求情報には、自身(通信端末10ac)の端末ID(参加要求端末ID)と、要求先となる通信端末10aaの端末ID(宛先端末ID)とが含まれる。
また、通信部11により参加要求情報が送信されると共に、通信端末10acのミュート確認部21aは、宛先端末である通信端末10aaに対してミュート状態を確認するためのミュート確認要求を、通信部11を介して管理システム50aへ送信する(図27の(2)ミュート状態確認)。
<ステップS103>
管理システム50aの通信部51により参加要求情報が受信されると、状態管理部53は、参加要求情報に含まれる参加要求端末である通信端末10acの端末ID「10ac」および宛先端末である通信端末10aaの端末ID「10aa」に基づき、端末管理DB5002の端末管理テーブルにおいて、端末ID「10ac」および端末ID「10aa」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部53は、端末管理テーブルの端末ID「10ac」が含まれるレコードの通信状態を「Calling」に変更する。同様に、状態管理部53は、端末管理テーブルの端末ID「10aa」が含まれるレコードの通信状態を「Ringing」に変更する。なお、上述の図13で示した場合のビデオ会議のセッションを確立させるために開始要求情報が管理システム50aに送信された場合(ステップS43)の通信状態の変更内容と区別するために、他の通信状態に変更するものとしてもよい。
<ステップS104>
そして、管理システム50aの通信部51は、参加要求端末ID「10ac」およびビデオ会議のセッションを示すセッションIDを含む参加要求情報を、ステップS102で受信した宛先端末ID「10aa」が示す通信端末10aaへ送信する。
<ステップS105>
管理システム50aの通信部51によりミュート確認要求が受信されると、管理システム50aのミュート応答部60は、端末管理テーブル(図24参照)を参照して、ステップS102で受信した宛先端末ID「10aa」が示す通信端末10aaのミュート状態(一斉ミュート状態となっているか否か)を判別(確認)する。
<ステップS106>
そして、管理システム50aのミュート応答部60は、ミュート確認要求に対する応答として、判別した通信端末10aaのミュート状態を示すミュート状態応答を、宛先端末ID「10aa」と共に、通信部51を介して通信端末10acへ送信する(図27の(3)ミュート状態応答)。
<ステップS107>
通信端末10acの通信部11によりミュート状態応答および宛先端末ID「10aa」が受信されると、通信端末10acのミュート確認部21aは、当該ミュート状態応答によって、宛先端末ID「10aa」により識別される通信端末10aaのミュート状態を認識する。ミュート確認部21aにより通信端末10aaのミュート状態が一斉ミュート状態であることが認識された場合、通信端末10acのミュート制御部20aは、当該通信端末10acについても一斉ミュート状態にする(図27の(4)一斉ミュート状態)。すなわち、この場合、通信端末10acは、一斉ミュート状態としてビデオ会議に途中参加することになる。
一方、ミュート確認部21aにより通信端末10aaのミュート状態が、個別ミュート状態、またはミュートした状態でないことが認識された場合、通信端末10acのミュート制御部20aは、当該通信端末10acについてミュートした状態にせず、音声入力部15による音声信号の入力を許可状態にする。
<ステップS108>
そして、ミュート制御部20aは、一斉ミュート状態にした場合には、その旨を通知するミュート完了通知を管理システム50aへ送信する(図27の(5)ミュート完了通知)。
<ステップS109>
管理システム50aのミュート管理部59は、通信端末10acから通信部51を介してミュート完了通知を受信すると、端末管理テーブル(図24参照)の通信端末10acに対応するミュート状態を、一斉ミュート状態として反映する(図27の(6)ミュート状態管理)。
<ステップS110>
一方、宛先端末である通信端末10aaの通信部11により参加要求情報が受信されると、通信端末10aaの表示制御部14は、ディスプレイ120aaに途中参加要求を受け付けるための画面(途中参加要求受付画面)を表示させる。なお、途中参加要求受付画面は、例えば、上述の図15に示す開始要求受付画面1200-1に準じる画面であって、途中参加を要求している通信端末10acに対して途中参加を許可するか否かを促す画面であればよい。
<ステップS111>
通信端末10aaの入力装置108に対して、通信端末10acのビデオ会議への途中参加を認める操作が行われると、操作入力受付部12は、参加要求端末(通信端末10ac)のビデオ会議への途中参加を認める旨の応答を受け付ける。
<ステップS112>
そして、通信端末10aaの通信部11は、参加要求情報に対する応答として、宛先端末ID「10aa」、参加要求端末ID「10ac」、およびセッションIDが含まれる参加応答情報を、管理システム50aへ送信する。
<ステップS113>
管理システム50aの通信部51により通信端末10aaから参加応答情報が受信されると、状態管理部53は、参加応答情報に含まれる参加要求端末ID「10ac」および宛先端末ID「10aa」に基づき、端末管理テーブルにおいて、端末ID「10ac」および端末ID「10aa」がそれぞれ含まれるレコードの通信状態のフィールド部分を変更する。具体的には、状態管理部53は、端末管理テーブルの端末ID「10ac」が含まれるレコードの通信状態を「Accepted」に変更する。同様に、状態管理部53は、端末管理テーブルの端末ID「10ac」が含まれるレコードの通信状態も「Accepted」に変更する。なお、図14で示した場合のビデオ会議のセッションの確立が許可された場合の通信状態の変更内容(ステップS54)と区別するために、他の通信状態に変更するものとしてもよい。
<ステップS114>
そして、通信部51は、宛先端末ID「10aa」、およびセッションIDが含まれる参加応答情報を、参加者情報と共に、参加要求端末である通信端末10acへ送信する。ここで、参加者情報とは、例えば、通信端末10ac以外の同じグループに含まれる通信端末10aの情報(宛先リスト情報、状態情報)を含む情報である。
<ステップS115>
参加要求端末である通信端末10acは、通信部11を介して管理システム50aから参加応答情報を受信することによって、ビデオ会議への途中参加の処理が完了する。ここで、上述したように、通信端末10acのビデオ会議への途中参加の処理中に、同じグループの特定の通信端末10aから一斉ミュート指令が送信されることによって、途中参加の前後で通信端末10aaのミュート状態(一斉ミュート状態であるか否か)が変更されている可能性がある。そこで、本実施形態では、通信端末10acは、ビデオ会議への途中参加の処理の完了後、以下のステップS116以降で、宛先端末である通信端末10aaのミュート状態について、再度確認を行う処理をする。
<ステップS116>
通信端末10acのミュート確認部21aは、通信端末10acのビデオ会議への途中参加の処理の完了後、宛先端末である通信端末10aaに対してミュート状態を再確認するためのミュート再確認要求を、参加要求端末ID「10ac」および宛先端末ID「10aa」と共に、通信部11を介して管理システム50aへ送信する(図27の(2)ミュート状態確認)。
<ステップS117>
管理システム50aの通信部51によりミュート再確認要求が受信されると、管理システム50aのミュート応答部60は、再度、端末管理テーブル(図24参照)を参照して、受信した宛先端末ID「10aa」が示す通信端末10aaのミュート状態(一斉ミュート状態となっているか否か)を判別(確認)する。
<ステップS118>
そして、管理システム50aのミュート応答部60は、ミュート再確認要求に対する応答として、判別した通信端末10aaのミュート状態を示すミュート状態応答を、宛先端末ID「10aa」と共に、通信部51を介して通信端末10acへ送信する(図27の(3)ミュート状態応答)。
<ステップS119>
通信端末10acの通信部11によりミュート状態応答および宛先端末ID「10aa」が受信されると、通信端末10acのミュート確認部21aは、当該ミュート状態応答によって、宛先端末ID「10aa」により識別される通信端末10aaのミュート状態を認識する。ミュート確認部21aにより通信端末10aaのミュート状態が一斉ミュート状態であることが認識された場合、通信端末10acのミュート制御部20aは、当該通信端末10acについても一斉ミュート状態にする(図27の(4)一斉ミュート状態)。すなわち、この場合、通信端末10acは、一斉ミュート状態としてビデオ会議に途中参加することになる。
一方、ミュート確認部21aにより通信端末10aaのミュート状態が、個別ミュート状態、またはミュートした状態でないことが認識された場合、通信端末10acのミュート制御部20aは、当該通信端末10acについてミュートした状態にせず、音声入力部15による音声信号の入力を許可状態にする。
<ステップS120>
そして、ミュート制御部20aは、一斉ミュート状態にした場合には、その旨を通知するミュート完了通知を管理システム50aへ送信する(図27の(5)ミュート完了通知)。
<ステップS121>
管理システム50aのミュート管理部59は、通信端末10acから通信部51を介してミュート完了通知を受信すると、端末管理テーブル(図24参照)の通信端末10acに対応するミュート状態を、一斉ミュート状態として反映する(図27の(6)ミュート状態管理)。
以上のステップS101~S121の流れによって、ビデオ会議に途中参加する場合に他の通信端末10aのミュート状態を確認する動作が行われる。
以上のように、本実施形態に係る通信システム1aでは、開催されているビデオ会議に対して、新たな通信端末10aが当該ビデオ会議への参加要求を行う場合に、当該ビデオ会議に既に参加している特定の通信端末10のミュート状態を、管理システム50aで管理している端末管理テーブルを参照して確認するものとしている。そして、新たにビデオ会議に参加しようとする通信端末10aは、特定の通信端末10aのミュート状態が一斉ミュート状態となっていることを確認した場合、自身についても一斉ミュート状態にする。これによって、複数の参加者によるビデオ会議において一斉ミュート機能が使用されている場合に、新たな参加者が参加したときに、当該参加者の通信端末10aに対してミュートした状態を反映することができる。そして、一斉ミュート機能が使用されているビデオ会議に新たに参加する場合、新たに参加する通信端末10aのマイク114がミュートされないことによる不都合を回避することができる。
また、上述したように、新たな通信端末10aのビデオ会議への途中参加の処理中に、同じグループの特定の通信端末10aから一斉ミュート指令が送信されることによって、途中参加の前後で、ミュート状態の確認先である通信端末10aのミュート状態(一斉ミュート状態であるか否か)が変更される可能性がある。しかし、本実施形態に係る通信システム1aでは、新たな通信端末10aによるビデオ会議への途中参加の処理が完了後、当該通信端末10aは、再度、ビデオ会議に参加している他の通信端末10aに対してミュート状態を確認するものとしている。これによって、ビデオ会議への途中参加の処理中に一斉ミュート機能が使用された場合においても、新たにビデオ会議に参加した通信端末10aのミュート状態を一斉ミュート状態にすることが可能となる。
なお、上述の各実施形態および変形例に係る通信端末10、10aのソフトウェア構成は、上述の図4に示した構成に限定されるものではなく、例えば、図28に示す構成であってもよい。図28は、通信端末のWebアプリを利用する場合のソフトウェア構成の一例を示す図である。上述の図4では、通信端末10(10a)で通信アプリAが実行される動作を説明したが、同様の処理をWebアプリによっても実現できる。Webアプリは、ブラウザ上で動作する、例えばJavaScript(登録商標)によるプログラムとWebサーバ側のプログラムとが協調することによって動作し、ユーザはそれをブラウザ上で使用する。すなわち、図28に示すように、通信端末10(10a)は管理システム50(50a)から、プログラムWA(HTML(HyperText Markup Language)+JavaScript(登録商標)+CSS(Coefficient Of Performance)等)をダウンロードして、ブラウザ1040上で実行する。当該ブラウザ1040は、OS1020の制御に従って動作する。通信端末10(10a)は、HTTP(Hypertext Transfer Protocol)またはHTTPS(Hypertext Transfer Protocol Secure)等のプロトコルを用いて管理システム50(50a)とデータを送受信することによって、管理システム50(50a)が提供しているサービスを利用できる。このような利用形態では、予め通信端末10(10a)に通信アプリAをダウンロードしておく必要がない。
また、上述の各実施形態および変形例の各機能は、一または複数の処理回路によって実現することが可能である。ここで、「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC、DSP(Digital Signal Processor)、FPGA、SoC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
また、上述の各実施形態および変形例において、通信端末10(10a)および管理システム50(50a)の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ROM等に予め組み込まれて提供される。また、上述の各実施形態および変形例に係る通信端末10(10a)および管理システム50(50a)で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(Compact Disk-Recordable)、DVDまたはSDカード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の各実施形態および変形例に係る通信端末10(10a)および管理システム50(50a)で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の各実施形態および変形例に係る通信端末10(10a)および管理システム50(50a)で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の各実施形態および変形例に係る通信端末10(10a)および管理システム50(50a)で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはCPUが上述の記憶装置からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。
1、1a 通信システム
2 通信ネットワーク
2a~2d LAN
2ab、2cd 専用線
2i インターネット
10、10a、10aa、10ab、10ac、10ba、10bb、10ca、10cb、10da、10db 通信端末
11 通信部
12 操作入力受付部
13 撮像部
14 表示制御部
15 音声入力部
16 音声出力部
17 記憶・読出部
18 記憶部
19 認証要求部
20、20a ミュート制御部
21、21a ミュート確認部
22 ミュート応答部
30ab、30cb PC
50、50a 管理システム
51 通信部
52 認証部
53 状態管理部
54 端末抽出部
55 端末状態取得部
56 セッション制御部
57 記憶・読出部
58 記憶部
59 ミュート管理部
60 ミュート応答部
70、70a~70d、70ab、70cd ルータ
90 プログラム提供システム
101 CPU
102 ROM
103 RAM
105 補助記憶装置
106 メディア
107 メディアドライブ
108 入力装置
110 バスライン
111 ネットワークI/F
112 カメラ
112c ケーブル
113 撮像素子I/F
114 マイク
114c ケーブル
115 スピーカ
115c ケーブル
116 音声入出力I/F
117 USB I/F
119 ディスプレイI/F
120、120aa、120ba、120bb、120ca、120da、120db ディスプレイ
120c ケーブル
201 CPU
202 ROM
203 RAM
205 補助記憶装置
206 記録メディア
207 メディアドライブ
208 ディスプレイ
209 ネットワークI/F
210 バスライン
211 キーボード
212 マウス
213 DVD
214 DVDドライブ
215 USB I/F
1010 作業領域
1020 OS
1040 ブラウザ
1100-2 端末ID
1100-3 端末名
1100-4a オフラインアイコン
1100-4b 通話可能アイコン
1100-4c 通話中アイコン
1200-1 開始要求受付画面
1200-2 「はい」ボタン
1200-3 「いいえ」ボタン
1300 会議画面
1310 ミュート解除通知ダイアログボックス
5001 認証管理DB
5002 端末管理DB
5003 グループ管理DB
5004 セッション管理DB
A 通信アプリ
WA プログラム
特開2017-005736号公報

Claims (11)

  1. 他の通信端末と、ネットワークを介して音声信号を送受信することにより通話が可能な通信端末であって、
    開催中のビデオ会議に途中参加するときに、前記ビデオ会議に参加している他の通信端末について、該ビデオ会議に参加している各通信端末のうち1の通信端末を除いてミュートした状態である一斉ミュート状態であるか否かを確認するミュート確認部と、
    前記ミュート確認部により前記他の通信端末が一斉ミュート状態となっていることが確認された場合、前記通信端末に対しても一斉ミュート状態にするミュート制御部と、
    を備えた通信端末。
  2. 前記ミュート確認部は、前記通信端末が前記ビデオ会議に途中参加した後、該ビデオ会議に参加している他の通信端末に対して、再度、一斉ミュート状態であるか否かを確認し、
    前記ミュート制御部は、前記ミュート確認部による再度の確認により前記他の通信端末が一斉ミュート状態となっていることが確認された場合、前記通信端末に対しても一斉ミュート状態にする請求項1に記載の通信端末。
  3. 前記ミュート確認部は、前記通信端末が前記ビデオ会議に途中参加した後にミュート状態を再度確認した他の通信端末から、前記ミュート状態を取得できない場合、該他の通信端末とは別の通信端末であって該ビデオ会議に参加している通信端末に、再度、一斉ミュート状態であるか否かを確認する請求項2に記載の通信端末。
  4. 前記ミュート確認部は、前記ビデオ会議に参加している他の通信端末に対して直接、一斉ミュート状態であるか否かを確認し、
    前記ビデオ会議に参加している他の通信端末から、前記通信端末のミュート状態を確認する要求を受けた場合、該通信端末のミュート状態を判別して、該ミュート状態を該他の通信端末へ応答するミュート応答部を、さらに備えた請求項1~3のいずれか一項に記載の通信端末。
  5. 前記ミュート確認部は、各通信端末のミュート状態を管理している管理システムに対して、前記ビデオ会議に参加している他の通信端末のミュート状態が一斉ミュート状態であるか否かを確認する請求項1~3のいずれか一項に記載の通信端末。
  6. 前記ミュート制御部は、前記ミュート確認部により他の通信端末が一斉ミュート状態となっていることが確認された場合、前記通信端末に対しても一斉ミュート状態にし、一斉ミュート状態にした旨の通知を、前記管理システムに送信する請求項5に記載の通信端末。
  7. 前記ビデオ会議に参加している特定の通信端末から一斉ミュート状態を解除するための一斉ミュート解除指令を受信した場合に、該一斉ミュート状態の解除の通知を行う通知部を、さらに備え、
    前記ミュート制御部は、前記通知部により一斉ミュート状態の解除の通知が行われた後、該一斉ミュート状態を解除する請求項1~6のいずれか一項に記載の通信端末。
  8. 他の通信端末とネットワークを介して音声信号を送受信することにより通話が可能な通信端末と、前記通信端末と前記他の通信端末との通話を制御する管理システムと、を有する通信システムであって、
    前記通信端末は、
    開催中のビデオ会議に途中参加するときに、前記ビデオ会議に参加している他の通信端末について、該ビデオ会議に参加している各通信端末のうち1の通信端末を除いてミュートした状態である一斉ミュート状態であるか否かを、各通信端末のミュート状態を管理している前記管理システムに対して確認するミュート確認部を、備え、
    前記管理システムは、
    前記ミュート確認部から、前記他の通信端末のミュート状態を確認する要求を受けた場合、該他の通信端末のミュート状態を判別して、該ミュート状態を前記通信端末へ応答するミュート応答部を、備え、
    前記通信端末は、
    前記ミュート応答部から前記他の通信端末が一斉ミュート状態となっている旨の応答を受信した場合、前記通信端末に対しても一斉ミュート状態にするミュート制御部を、さらに備えた通信システム。
  9. 他の通信端末と、ネットワークを介して音声信号を送受信することにより通話が可能な通信端末の通信方法であって、
    開催中のビデオ会議に途中参加するときに、前記ビデオ会議に参加している他の通信端末について、該ビデオ会議に参加している各通信端末のうち1の通信端末を除いてミュートした状態である一斉ミュート状態であるか否かを確認するミュート確認ステップと、
    前記他の通信端末が一斉ミュート状態となっていることを確認した場合、前記通信端末に対しても一斉ミュート状態にするミュート制御ステップと、
    を有する通信方法。
  10. 他の通信端末とネットワークを介して音声信号を送受信することにより通話が可能な通信端末と、前記通信端末と前記他の通信端末との通話を制御する管理システムと、を有する通信システムの通信方法であって、
    開催中のビデオ会議に途中参加するときに、前記ビデオ会議に参加している他の通信端末について、該ビデオ会議に参加している各通信端末のうち1の通信端末を除いてミュートした状態である一斉ミュート状態であるか否かを、各通信端末のミュート状態を管理している前記管理システムに対して確認するミュート確認ステップと、
    前記他の通信端末のミュート状態を確認する要求を受けた場合、該他の通信端末のミュート状態を判別して、該ミュート状態を前記通信端末へ応答するミュート応答ステップと、
    前記他の通信端末が一斉ミュート状態となっている旨の応答を受信した場合、前記通信端末に対しても一斉ミュート状態にするミュート制御ステップを、
    有する通信方法。
  11. 他の通信端末と、ネットワークを介して音声信号を送受信することにより通話が可能な通信端末であるコンピュータに、
    開催中のビデオ会議に途中参加するときに、前記ビデオ会議に参加している他の通信端末について、該ビデオ会議に参加している各通信端末のうち1の通信端末を除いてミュートした状態である一斉ミュート状態であるか否かを確認するミュート確認ステップと、
    前記他の通信端末が一斉ミュート状態となっていることが確認した場合、前記通信端末に対しても一斉ミュート状態にするミュート制御ステップと、
    を実行させるためのプログラム。
JP2019096390A 2019-05-22 2019-05-22 通信端末、通信システム、通信方法およびプログラム Active JP7243440B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019096390A JP7243440B2 (ja) 2019-05-22 2019-05-22 通信端末、通信システム、通信方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096390A JP7243440B2 (ja) 2019-05-22 2019-05-22 通信端末、通信システム、通信方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020191567A JP2020191567A (ja) 2020-11-26
JP7243440B2 true JP7243440B2 (ja) 2023-03-22

Family

ID=70616957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096390A Active JP7243440B2 (ja) 2019-05-22 2019-05-22 通信端末、通信システム、通信方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7243440B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213731A1 (en) 2001-12-31 2005-09-29 Polycom, Inc. Conference endpoint instructing conference bridge to mute participants
JP2009231949A (ja) 2008-03-19 2009-10-08 Univ Of Aizu マルチメディア会議システム、アプリケーションサーバ、混合パターン決定方法および混合パターン決定用プログラム
JP2009253625A (ja) 2008-04-04 2009-10-29 Ntt Bizlink Inc 情報収集・テレビ会議実施制御装置、情報収集・テレビ会議実施制御方法、情報収集・テレビ会議実施制御プログラムおよびテレビ会議システム
JP2012257185A (ja) 2010-07-29 2012-12-27 Ricoh Co Ltd 遠隔通信端末、音声入力部の登録方法およびプログラム
JP2012257186A (ja) 2010-07-29 2012-12-27 Ricoh Co Ltd コミュニケーション端末およびプログラム
US20150085064A1 (en) 2013-09-25 2015-03-26 Dell Products L.P. Systems and methods for managing teleconference participant mute state
JP2015219844A (ja) 2014-05-21 2015-12-07 株式会社リコー セッション制御システム、通信端末、通信システム、プログラム、及びセッション制御方法
JP2016092480A (ja) 2014-10-30 2016-05-23 株式会社リコー 情報処理装置、呼び出し方法、プログラム、コミュニケーションシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050213731A1 (en) 2001-12-31 2005-09-29 Polycom, Inc. Conference endpoint instructing conference bridge to mute participants
JP2009231949A (ja) 2008-03-19 2009-10-08 Univ Of Aizu マルチメディア会議システム、アプリケーションサーバ、混合パターン決定方法および混合パターン決定用プログラム
JP2009253625A (ja) 2008-04-04 2009-10-29 Ntt Bizlink Inc 情報収集・テレビ会議実施制御装置、情報収集・テレビ会議実施制御方法、情報収集・テレビ会議実施制御プログラムおよびテレビ会議システム
JP2012257185A (ja) 2010-07-29 2012-12-27 Ricoh Co Ltd 遠隔通信端末、音声入力部の登録方法およびプログラム
JP2012257186A (ja) 2010-07-29 2012-12-27 Ricoh Co Ltd コミュニケーション端末およびプログラム
US20150085064A1 (en) 2013-09-25 2015-03-26 Dell Products L.P. Systems and methods for managing teleconference participant mute state
JP2015219844A (ja) 2014-05-21 2015-12-07 株式会社リコー セッション制御システム、通信端末、通信システム、プログラム、及びセッション制御方法
JP2016092480A (ja) 2014-10-30 2016-05-23 株式会社リコー 情報処理装置、呼び出し方法、プログラム、コミュニケーションシステム

Also Published As

Publication number Publication date
JP2020191567A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
JP5949272B2 (ja) 通信システムおよびプログラム
JP5998383B2 (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
JP6019920B2 (ja) 管理システムおよびプログラム
JP5919695B2 (ja) セッション制御システム、伝送システム、及びプログラム
JP6051782B2 (ja) 通信システムおよびプログラム
JP6201299B2 (ja) 通信システム、通信方法およびプログラム
JP7400231B2 (ja) 通信システム、情報処理装置、通信方法およびプログラム
JP6492562B2 (ja) 伝送システム、伝送管理装置およびプログラム
JP7501584B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7247672B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7456162B2 (ja) プログラム、通信方法、通信端末および通信システム
JP7243440B2 (ja) 通信端末、通信システム、通信方法およびプログラム
EP3101583A1 (en) Management system, program, and management method
JP7272223B2 (ja) プログラム、通信方法、通信端末および通信システム
JP7318461B2 (ja) 通信システム、通信端末、通信方法、通信端末のプログラムおよびアプリケーションプログラム
JP7327119B2 (ja) 通信システム、通信端末、通信方法およびプログラム
JP7326771B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7363421B2 (ja) プログラム、通信方法、通信端末および通信システム
JP7207019B2 (ja) 通信端末、通信システム、ログ記録方法、プログラム
JP7196573B2 (ja) 通信端末、通信システム、通信方法およびプログラム
JP7160126B2 (ja) 第二の管理システム、プログラム、通信方法、システム
TWI413413B (zh) 網路視訊會議設備及其進行網路視訊會議之方法
JP6128177B2 (ja) 伝送システム、伝送方法、及びプログラム
JP6589436B2 (ja) 通信システム、通信管理方法、及びプログラム
JP5392431B2 (ja) 接続制御システム、伝送システム、接続制御システム用プログラム、及び、接続制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R151 Written notification of patent or utility model registration

Ref document number: 7243440

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151