JP7020132B2 - 端末装置、情報処理方法、プログラム、通信システム - Google Patents

端末装置、情報処理方法、プログラム、通信システム Download PDF

Info

Publication number
JP7020132B2
JP7020132B2 JP2018006597A JP2018006597A JP7020132B2 JP 7020132 B2 JP7020132 B2 JP 7020132B2 JP 2018006597 A JP2018006597 A JP 2018006597A JP 2018006597 A JP2018006597 A JP 2018006597A JP 7020132 B2 JP7020132 B2 JP 7020132B2
Authority
JP
Japan
Prior art keywords
terminal device
parameter
identification information
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018006597A
Other languages
English (en)
Other versions
JP2019125972A (ja
Inventor
惇平 三神
佑哉 秋本
達也 永瀬
篤 宮本
尭志 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018006597A priority Critical patent/JP7020132B2/ja
Publication of JP2019125972A publication Critical patent/JP2019125972A/ja
Application granted granted Critical
Publication of JP7020132B2 publication Critical patent/JP7020132B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、端末装置、情報処理方法、プログラム、及び通信システムに関する。
ネットワークの普及により音声や映像などの情報の送受信が容易になったが、端末装置が出力する情報が不明瞭になる場合があることが知られており、例えば音声データについて品質を向上させる音声処理を受信側又は送信側の端末装置が行う場合がある。
例えば、ビデオ会議システムにおいて、音声データに対しノイズを低減する音声処理が行われる場合がある(例えば、特許文献1参照。)。特許文献1には、音声を受信する側が騒音モードを設定することにより、送信側端末の設定を変更できる機能について開示されている。
このようなビデオ会議システムにおいて、端末装置間で共有データを共有する場合に、端末装置間で送信又は受信される情報を共有される共有データに応じて処理するための情報処理パラメータ、又は少なくとも情報処理パラメータを識別するためのパラメータ識別情報を、共有データを共有している他の端末装置に送信したい場合がある。
しかし、従来のシステムでは、端末装置間で共有データを共有する場合に、送信又は受信される情報を共有される共有データに応じて処理するための情報処理パラメータ又はパラメータ識別情報を送信する端末装置が提供されていないという問題があった。
本発明は、上記課題に鑑み、端末装置間で共有データを共有する場合に、送信又は受信される情報を共有される共有データに応じて処理するための情報処理パラメータを識別するパラメータ識別情報を他の端末装置に送信する端末装置を提供することを目的とする。
上記課題に鑑み、本発明は、ネットワークを介して他の端末装置と共有データを共有する端末装置であって、前記共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を記憶し、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶された記憶手段と、前記対応情報を参照して、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定する特定手段と、前記特定手段が特定した前記パラメータ識別情報、及び、前記記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信する送信手段と、を有することを特徴とする。
端末装置間で共有データを共有する場合に、送信又は受信される情報を共有される共有データに応じて処理するための情報処理パラメータを識別するパラメータ識別情報を他の端末装置に送信する端末装置を提供することができる。
通信システムの利用シーンの一例を示す図である。 通信システムの概略構成図の一例である。 専用端末装置のハードウェア構成図の一例である。 管理システムのハードウェア構成図の一例である。 通信システムが有する端末装置、及び管理システムの機能ブロック図の一例である。 端末装置がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。 現地説明員の端末装置が音声処理パラメータを変更する手順を示すシーケンス図の一例である。 コールセンタ説明員の端末装置がディスプレイに表示する資料データ画面の一例を示す図である。 現地説明員の端末装置が音声処理パラメータを変更する手順を示すシーケンス図の一例である。 お客様の端末装置が音声処理パラメータを変更する手順を示すシーケンス図の一例である。 現地説明員の端末装置が音声処理パラメータを変更する手順を示すシーケンス図の一例である。 通信システムの別の構成例を示す図である。 通信システムの別の構成例を示す図である。 端末装置がブラウザソフトにより通信する場合のシーケンス図の一例を示す図である。 端末装置が電子黒板である場合の通信システムの構成例を示す図である。 通信システムの機能ブロック図の一例である。
以下、本発明を実施するための形態の一例として、通信システム1と通信システム1が行う情報処理方法について図面を参照しながら説明する。
<本実施形態の概略>
図1は、通信システム1の利用シーンの一例を示す。図1では、一例として、旅行代理店で利用される通信システム1が例示されており、お客様7、コールセンタ説明員8、及び、現地説明員9の3者がビデオ会議を行っている。すなわち、3つの拠点の端末装置がそれぞれ通信を行う。
コールセンタ説明員8は一般的な旅行の説明をお客様7に行い、現地説明員9は現地のリアルタイムな情報等、臨場感のある情報をお客様7に提供する。このようなリモート接客サービスにおいて、送受信される音声は会話だけではない。現地説明員9は、例えば臨場感ある現地の環境音や映像をお客様7に提供して、お客様7に旅行のイメージをつかんでもらう場合が多い。
図1のような利用シーンにおいて、コールセンタ説明員8が画面共有機能を用いて、旅行のパンフレットなどの資料をお客様7に見せながら説明する場合がある。現地説明員9は共有されている資料を見ながら、資料に即して現地の映像や環境音を提供したり、自ら説明したりする。
例えば、共有している資料データのページが、料金説明や旅行規約等のようなページ(まわりの音が入ってほしくない)の場合、コールセンタ説明員8及び現地説明員9は現地からのノイズを抑えて説明したいと考える。また、現地の風景シーン等の現地のまわりの臨場感(町の音、海の音、山の音、等)を伝えたいページの場合、ノイズの抑制よりも、コールセンタ説明員8は及び現地説明員9は環境音をお客様7に聞かせたい。
従来から、通信システム1では、会話しやすさを実現するために、会話以外の音声の消去や、音量を調整する音声処理が行われている。しかし、現地の環境音をお客様7に聞かせたい場合、会話時と同様の音声処理パラメータによる音声処理を実行すると、聞きたい声が消去されたり抑揚がなくなったりして、臨場感が失われてしまう。逆に、臨場感を優先した音声処理パラメータで音声処理すると、会話しやすさが損なわれる。
コールセンタ説明員8が状況に応じて音声処理パラメータを変更すれば状況に応じて適切な音声が出力される。コールセンタ説明員8は例えば、周囲の騒音に気づくとノイズを低減して音声を明瞭にするための操作を行い、雨や風の音などの環境音を聞きせたい場合には環境音を明瞭にするための操作を行う必要がある。しかし、コールセンタ説明員8が状況に応じて逐一、音声処理パラメータを変更するのは手間が大きく困難である。
そこで、本実施形態では、コールセンタ説明員8が表示する資料のページ番号を変更すると、コールセンタ説明員8の端末装置が、現地説明員9の使用する端末装置に資料のページ番号に対応付けられた音声処理パラメータを送信する。現地説明員9の端末装置は音声処理パラメータに基づいて音声を処理する。例えば、コールセンタ説明員8又は現地説明員9の言葉による説明が中心の資料のページでは会話しやすさを重要視した音声処理パラメータで音声処理して、現地の環境音を聞かせたい資料のページでは臨場感を重要視した音声処理パラメータで音声処理する。
このように、本実施形態の通信システム1は、資料のページ番号に応じて音声処理パラメータを自動で変更することで、ユーザが操作しなくても説明内容に適した音声を提供することができる。
<用語について>
情報処理パラメータとは、情報を処理に影響を与える変数である。情報の種類によって異なってよい。本実施形態では音声処理パラメータ等という用語で説明する。
共有データは、端末装置間で共有され、ビデオ会議の進行の基準になるデータである。あるいは、説明内容の基準になるデータである。本実施形態では資料データという用語で説明される。資料としては、一例としてファイルや書籍と呼ばれるものがある。例えば、パンフレット、Webページ、カタログ、講義のテキスト、会議の資料など様々である。
<システム構成例>
図2は、本実施形態の通信システム1の概略構成図である。本実施形態の通信システム1は、図2に示すように、各拠点に設置された複数の専用端末装置10-1(a~c)、汎用端末装置10-2(a,b)、1つ以上の中継装置30、及び、1つ以上の管理システム50を備える。専用端末装置10-1として、専用端末装置10-1a、10-1b、10-1cが図示され、汎用端末装置10-2として、汎用端末装置10-2a、10-2bが図示されている。本実施形態では、専用端末装置10-1a、10-1b、10-1cのうち任意の専用端末装置を指し示す場合、単に専用端末装置10-1と称し、汎用端末装置10-2a、10-2bのうち任意の汎用端末装置を指し示す場合、単に汎用端末装置10-2と称する。更に、専用端末装置10-1と汎用端末装置10-2を区別しない場合は単に端末装置10と称する。
なお、専用端末装置10-1には有線又は無線によりディスプレイ120が接続されているが、専用端末装置10-1がディスプレイ120と一体でもよい。また、汎用端末装置10-2にはディスプレイが一体化されているが、汎用端末装置10-2に外付けのディスプレイ120が接続されていてもよい。
本実施形態の通信システム1は、ビデオ会議に適用されるものとして説明される。しかし、通信システム1は、コミュニケーションシステム、又はデータ通信システムにも適用される。また、通信システム1には、サーバを介して一方の端末装置10から複数の端末装置10に一方向で映像データ又は音声データを送信するデータ提供システムが含まれる。また、ビデオ会議をテレビ会議という場合がある。
端末装置10、管理システム50、及び、中継装置30は通信ネットワーク2に接続されている。無線通信の場合、端末装置10は基地局2aをアクセスポイントにして通信ネットワーク2に接続する。通信ネットワーク2は、例えば、LAN(Local Area Network)、ルータ、インターネットなど、一般的なネットワークであればよい。例えば、広域イーサネット(登録商標)、VPN(Virtual Private Network)などの専用線を含んでもよい。なお、この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)、3G、4G、LTE(Long Term Evolution)、及び、Bluetooth(登録商標)などの無線による通信が行われる箇所が含まれていてもよい。
本実施形態の通信システム1では、複数の端末装置10が中継装置30を介した映像データ及び音声データ等の送受信を行う。この際、複数の端末装置10の間には、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションが確立される。また、複数の端末装置10の間には、中継装置30を介して、映像データ及び音声データの送受信を行うためのデータ用セッションが確立される。ここで、特に、データ用セッションで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネルで送受信される。
専用端末装置10-1は、通信システム1に専用の端末装置であり、一形態として電源ONだけで管理システム50にログインして映像と音声を送受信する情報処理装置である。あるいは、電子黒板のような機能を備えていると更に好ましい。汎用端末装置10-2は汎用の情報処理装置がアプリケーションソフト(ブラウザソフトを含む)を実行することで映像データと音声データを送受信する情報処理装置である。汎用端末装置10-2はアプリケーションソフトが動作すれば一般的な情報処理装置でよいが、例えば、PC(Personal Computer)、スマートフォン、タブレット端末、PDA(Personal Digital Assistant)等がある。また、例えばブラウザソフトが動作するものには、テレビ受像器、ゲーム機、カーナビ、などがあり、汎用端末装置10-2として装置の名称が問われない。
ビデオ会議の機能として、端末装置10はカメラで撮像した映像データ、マイクで集音した音声データ、及び、説明などに使用する資料データを、中継装置30を介してビデオ会議に参加している他の拠点の端末装置10に送信する機能がある。端末装置10が電子黒板の場合、更に手書き情報を他の拠点の端末装置10に送信する。また、他の拠点の端末装置10から受信した映像データ、資料データ及び手書き情報をディスプレイに表示し、受信した音声データをスピーカから出力する機能がある。
ビデオ会議に参加している端末装置10が設置されている設置場所を「拠点」と称する。拠点はこのように概念的には場所を示すが、拠点は端末装置10そのものを示す場合がある。また、拠点が設置場所だけでなく拠点のユーザ、及び、企業や部署を示す場合がある。従って、拠点は会議をしている相手を特定する意味も持つ。なお、拠点の具体例として、例えば、地名、企業名、企業内の部署名、出張所、支店、ユーザ名等が挙げられる。
ビデオ会議が開始されると、端末装置10は中継装置30に対して映像データ、音声データ、資料データ及び手書き情報を送信し、中継装置30は、ビデオ会議に参加している他の端末装置に対して映像データ、音声データ、資料データ及び手書き情報を送信する。また、端末装置10は、中継装置30を介して他方の端末装置10から映像データ、音声データ、資料データ及び手書き情報を受信する。
管理システム50は端末装置10のステータスを管理し、着信があった場合に2つ以上の端末装置間でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。管理システム50はサーバであるので情報処理装置の機能を有する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、電話をかけたり切ったりするための一連の処理をいう。この他、端末装置10の認証、検索、死活の監視なども行う場合が多い。更に、管理システム50は、端末装置10の宛先リスト等、通信システム1の制御に必要なデータベースの管理も行う。宛先リストとは、各端末装置10がビデオ会議の開始要求を送信できる(電話をかけられる)宛先の端末装置(又はユーザ)が登録されたデータである。
なお、ステータスとは、端末装置10の通信システム1における状態である。ステータスは主に着信できるかできないかに区分される。着信できる状態は、すでにビデオ会議に参加して映像データ、音声データ、資料データ及び手書き情報を受信している状態(オンライン(伝送中)と呼ばれる)、単にログインした状態で着信を待ち受けている状態(オンラインと呼ばれる)とがある。着信できない状態は、主に、オフラインの状態である(電源が入っていなかったり、電源が入っているが管理システム50にログインしていなかったりする状態)。
中継装置30は映像データ、音声データ及び資料データを一方の拠点の端末装置10から他の拠点の端末装置10に中継するサーバ(情報処理装置)である。管理システム50は通信ネットワーク2の帯域や中継装置30の通信負荷を監視して適切な中継装置30を端末装置10に割り当てる。
<ハードウェア構成例>
次に、本実施形態の通信システム1における端末装置10、中継装置30、及び、管理システム50ハードウェア構成について説明する。
<<端末装置>>
図3は、専用端末装置10―1のハードウェア構成の一例を示す。専用端末装置10-1は、全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102を備える。また、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末用プログラム、映像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104を備える。
また、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出しや書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出しや書き込み(記憶)を制御するメディアドライブ107を備える。また、通信相手となる他の端末装置10を選択する場合などに操作される操作ボタン108、専用端末装置10-1の電源のオン/オフを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、専用端末装置10-1は、CPU101の制御に従って被写体を撮像して映像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115を備える。また、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116を備える。また、CPU101の制御に従ってディスプレイ120に表示映像のデータを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、専用端末装置10-1の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
なお、カメラ112、マイク114、スピーカ115は、必ずしも専用端末装置10-1に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ120は、専用端末装置10-1に内蔵された構成であってもよい。また、ディスプレイ120は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図3に示す専用端末装置10-1のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。
上記した端末用プログラムは、例えばフラッシュメモリ104に格納され、CPU101の制御によりRAM103上に読み出されて実行される。また、端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア106等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ROM102等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
汎用端末装置10-2のハードウェア構成は専用端末装置10-1と同様であるか、又は、異なるとしても本実施形態の説明上は支障がないものとする。
<<管理システム>>
図4は、管理システム50のハードウェア構成例を示す図である。管理システム50は、図4に示すように、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、管理システム用プログラム等の各種データを記憶するHD(Hard Disk)204を備える。
また、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御するHDD(HD Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出しや書き込み(記憶)を制御するメディアドライブ207を備える。また、各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209、キーボード211、マウス212、を備える。また、着脱可能な記録媒体の一例としての光記憶媒体213に対する各種データの読み出し又は書き込みを制御する光記憶媒体ドライブ214、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
管理システム用プログラムは、例えばHD204に格納され、CPU201の制御によりRAM203上に読み出されて実行される。また、管理システム用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、記録メディア206や光記憶媒体等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理システム用プログラムは、ROM202等に予め格納された組み込みプログラムとして提供されるようにしてもよい。
図示した管理システム50のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、管理システム50が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応していてもよく、図示する本実施例の管理システム50の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
なお、中継装置30のハードウェア構成は管理システム50と同様であるか、又は、異なるとしても本実施形態の説明上は支障がないものとする。
<機能について>
図5は、本実施形態の通信システム1が有する端末装置10、及び管理システム50の機能ブロック図である。なお、中継装置30は映像データを中継するに過ぎないため図5ではその機能が省略されている。また、図5で説明される範囲において、専用端末装置10-1と汎用端末装置10-2の機能は同じであるとする。お客様7、コールセンタ説明員8,及び、現地説明員9は専用端末装置10-1と汎用端末装置10-2のどちらを使用してもよい。
<端末装置の機能構成>
お客様7、コールセンタ説明員8又は現地説明員9の誰が使用しても端末装置10が本来有する機能は共通である。しかしながら、以下では説明のため、お客様7、コールセンタ説明員8又は現地説明員9が使用する端末装置10の機能をそれぞれ説明する。
・お客様7の端末装置10
お客様7の端末装置10は、送受信部11、操作入力受付部12、起動部13、出力制御部14、音声出力部15、及び、記憶・読出処理部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末用プログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。
また、端末装置10は、図3に示されているRAM103、及びフラッシュメモリ104によって構築される記憶部1000を有している。記憶部1000には、管理システム50からダウンロードした端末用プログラムが記憶されており、また、映像データ、音声データ、資料データ、及び、手書き情報が一時的に保持される。
送受信部11は、通信ネットワーク2を介して管理システム50、及び中継装置30(これらを介して他の端末装置10と通信する)と各種データ(又は情報)の送受信を行う。送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、通信相手の候補としての各端末の状態を示す各状態情報の受信を開始する。
操作入力受付部12は、お客様7、コールセンタ説明員8,及び、現地説明員9による端末装置10に対する各種入力を受け付ける。例えば、利用者が電源スイッチをONにすると、操作入力受付部12が電源オンを受け付けて、電源をONにする。
起動部13は、電源のONにより端末装置10を起動させる。例えばIPLを実行して、記憶部1000の端末用プログラムを読み出し、図3のRAM103に転送する。更に、起動部13は端末用プログラムをCPU101に実行させることにより、端末装置10を管理システム50にログインさせるなどの処理を行う。
出力制御部14は、中継装置30から送信された映像データ、資料データ及び手書き情報をディスプレイ120に送出するための制御を行う。また、出力制御部14は、管理システム50から受信した宛先リストの情報をディスプレイ120に送信して、ディスプレイ120に宛先リスト画面を表示させることができる。宛先リスト画面には、送受信部11によって受信された、各端末装置10のそれぞれの稼動状態が表示される。音声出力部15は、音声データを再生出力する。
記憶・読出処理部19は、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。この記憶部1000には、端末用プログラムだけでなく、端末装置10を識別するための通信ID(Identification)、及びパスワード等が記憶されている。また、記憶部1000には映像データ等が一時的に記憶される。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。この他のIDについても同様である。
・現地説明員9の端末装置10
現地説明員9の端末装置10は、送受信部11、操作入力受付部12、起動部13、出力制御部14、音声入力処理部16、及び、記憶・読出処理部19を有している。これらの説明においては主にお客様7の端末装置10との相違を説明する。
現地説明員9の端末装置10は音声入力処理部16を有している。音声入力処理部16は、マイク114で入力された音声に、後述する音声処理パラメータに基づく処理を施す。つまり、音声処理パラメータに応じて、例えば現地説明員9の音声を明瞭にするための処理、又は、現地の環境音を明瞭にするための処理を行う。
・コールセンタ説明員8の端末装置10
現地説明員9の端末装置10は、送受信部11、操作入力受付部12、起動部13、出力制御部14、共有資料情報取得部17、音声処理変更判断部18、及び、記憶・読出処理部19を有している。これらの説明においては主にお客様7の端末装置10との相違を説明する。
コールセンタ説明員8の端末装置10は資料データをディスプレイ120に表示する端末装置10である。この資料データがお客様7の端末装置10と現地説明員9の端末装置10と共有される。コールセンタ説明員8の端末装置10の送受信部11は資料データを、中継装置30を介してお客様7の端末装置10及び現地説明員9の端末装置10に送信し、これらの端末装置10がディスプレイ120に資料データを表示することで、資料データが共有されている。
共有資料情報取得部17は、現在、コールセンタ説明員8の端末装置10がディスプレイ120に表示している自端末上の資料データに関する情報を資料データから取得する。例えば、資料データのスナップショット(画像データ)の他、開いているページ番号を取得する。
音声処理変更判断部18は、記憶部1000に記憶されている音声モード選択DB1003を参照して、どの端末装置10がどのような音声処理パラメータを必要とするかを判断する。
端末装置10は、図3に示されているRAM103、及びフラッシュメモリ104によって構築される記憶部1000を有している。記憶部1000には、資料データDB1001、音声モード種類DB1002、及び音声モード選択DB1003が記憶されている。これらデータベースについて説明する。
Figure 0007020132000001
表1は音声モード種類DB1002に記憶されている情報を模式的に示す。音声モード種類DB1002には音声モードIDに対応付けて音声処理パラメータが登録されている。音声処理パラメータの一例としてノイズサプレッサの強さ及びノイズゲートの閾値の各項目が設定されている。音声モードIDは、音声処理パラメータを識別するための音声処理パラメータの名称又は識別情報である。音声モードは音声モードIDとほぼ同じ意味であるが音声処理パラメータの名称である。
ノイズサプレッサの強さ及びノイズゲートの閾値は音声処理パラメータの一例である。ノイズサプレッサとは、ある周波数帯域に対して音量が小さくなった時にその帯域の音量を絞り込む音声処理である。一般に音量が低減される周波数帯域と閾値となる音量も設定される。ノイズサプレッサはノイズ低減の効果を0~1の値で示し、例えば、0.7の場合は、音量が小さくなった時にその帯域の音量を70%低減する。表1の例では、会話モードではノイズの帯域が90%低減され(音声が明瞭になる)、臨場感モードではノイズの帯域が30%低減されることが設定されている(環境音が消去されにくくなる)。
ノイズゲートは、ある一定の音量(閾値)を下回った時に一切の音をシャットダウンする音声処理である。表1では会話モードよりも臨場感モードの閾値の方が小さくなっているため、会話モードでは会話以外の環境音がシャットダウンされて音声が明瞭になり、臨場感モードではより小さい音だけがシャットダウンされ、環境音がシャットダウンされにくくなるので環境音が伝わりやすくなる。
音声モードの「未定義」は、音声モード選択DB1003にない資料データ、又はページ番号の場合に選択される音声モードであり、汎用的な音声処理パラメータが設定されている。
なお、音声処理パラメータの種類は、この他にも、エコーキャンセラ、オートゲインコントロールなど、様々存在し、表1には限定されない。エコーキャンセラは、話者の音声が相手のスピーカから出力されると共に相手のマイクに入力され、話者のスピーカから聞こえてしまう現象を低減する処理をいう。会話モードではエコーキャンセラを強くすることで会話を明瞭にして、臨場感モードではエコーキャンセラを弱くすることで周囲の環境音を明瞭にする。オートゲインコントロールは、マイクで収音した大きな音も小さな音も最適な大きさに調整し、マイクからの距離や声量の違いによって生じる通話先での音量差を低減する音声処理である。このオートゲインコントロールにノイズを低減する機能があり(ノイズの帯域とそれ以外の帯域で増幅率を変える)、ノイズがある環境では人の声だけを増幅することができる。従って、例えば会話モードではノイズを除去して会話を明瞭にするオートゲインコントロールに設定し、臨場感モードではノイズの除去を弱くして環境音を増幅するオートゲインコントロールに設定する。
この他、ノイズリダクション、残響抑圧などの音声処理パラメータを変更してもよい。
表1の音声モード種類DB1002は、会議開始前に少なくともコールセンタ説明員8の端末装置10に定義済である。端末装置10の出荷時に定義されている方法の他、ファイル入力、ユーザインタフェース上からの入力等でユーザが変更することもできる。また、管理システム50へのログイン時などに管理システム50からダウンロードされてもよい。
Figure 0007020132000002
表2は、音声モード選択DB1003に記憶されている情報を模式的に示す。音声モード選択DB1003には資料データのページ番号に対応付けて音声モードが登録されている。音声モード選択DB1003は共有資料ID、ページ番号、通信ID、及び、音声モードIDの各項目が設定されている。共有資料IDは、共有される資料データの名称又は識別情報である。ページ番号は共有資料のページ番号である。通信IDは端末装置10を識別する識別情報であり、音声処理パラメータが送信される端末装置10を指定する。つまり、現地にある端末装置10であって現地に適した資料データを説明する現地説明員9の端末装置10が予め登録されている。音声モードIDの項目は表1で説明した音声モードIDと関連づけるための項目である。音声モードIDの項目に音声処理パラメータが設定されていてもよい。また、音声モードは2種類に限られず、3種類以上でもよい。
表2の音声モード選択DB1003では、沖縄プラン1という資料データを複数の端末装置10の間で共有した場合、1ページを開いているときには、通信IDがGENCHI01又はGENCHI02の現地説明員9の端末装置10のうち、ビデオ会議に参加中の端末装置10の音声処理パラメータが、音声モード種類DB1002で会話モードとして定義されている音声処理パラメータに設定されることが示されている。このように、資料データのページごとに音声処理パラメータを切り替えることができる。
表2の音声モード選択DB1003は、会議開始前に少なくともコールセンタ説明員8の端末装置10に定義済である。端末装置10の出荷時に定義されている方法の他、ファイル入力、ユーザインタフェース上からの入力等でユーザが変更することもできる。また、管理システム50へのログイン時などに管理システム50からダウンロードされてもよい。
Figure 0007020132000003
表3は資料データDB1001に記憶されている情報を模式的に示す。資料データDB1001には資料データのファイル名とページ番号が対応付けられている。コールセンタ説明員8は資料データDB1001からお客様7に提案する旅先などに応じてファイル名を選択することができる。ページ番号は各資料データが有するページの番号である。コールセンタ説明員8の端末装置10は現在、表示されているページ番号を管理する。
なお、1つのファイルに複数のページが含まれている形態の他、1ファイル1ページの形態で資料データが用意されてもよい。こうすることで、ページの切り替えはファイルの切り替えになるため、ページ番号を特定しやすくなる。また、音声モード選択DB1003では資料データに音声モードを対応付ければよくなり、データベースの構造を簡素化できる。更に、資料データのファイルのフォーマットによっては端末装置10がページの切り替えを検出したり、現在、表示されているページ番号を特定したりすることが困難な場合があるが、1ファイル1ページの形態であればファイルのフォーマットに関係なくページ番号を特定しやすくなる。
<<管理システムの機能>>
管理システム50は、送受信部51、認証部52、管理部53、セッション制御部54、及び記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム50用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
送受信部51は、通信ネットワーク2を介して端末装置10又は中継装置30と各種データ(又は情報)の送受信を行う。
認証部52は、送受信部51を介して受信された端末装置10からのログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、認証管理DB5001を検索し、認証管理DB5001に同一の通信ID及びパスワードが管理されているかを判断することによって端末装置10の認証を行う。なお、ICカードによる認証や、生体認証情報による認証が行われてもよい。後述するように通信IDでなくユーザIDにより認証されてもよい。
管理部53は、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末管理DB5002に、この要求元端末の通信ID、要求元端末の稼動状態(オンライン、オフライン等)、管理システム50がログイン要求を受信した受信日時、及び要求元端末のIPアドレス等を関連付けて記憶して管理する。
セッション制御部54は、映像データ、音声データ、資料データ、及び手書き情報の中継に使用される中継装置30を管理する。例えば、中継装置30の中継装置ID、要求元端末の通信ID、宛先端末の通信ID等を関連付けて記憶して管理する。これにより中継装置30は一方の端末装置10から他方の端末装置10に各種のデータを中継できる。また、セッション制御部54は、1つの会議に参加している複数の端末装置10に1つの会議IDを採番し、この会議に参加している複数の端末装置10の通信IDを対応付けて管理する。
記憶・読出処理部59は、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
また、管理システム50は、図4に示されているHD204等により構築される記憶部5000を有している。この記憶部5000には、認証管理DB5001、端末管理DB5002、宛先管理DB5003、及び会議管理DB5004が構築される。
認証管理DB5001には端末装置10の通信IDに対して、認証用のパスワードが関連付けられて管理されている。端末管理DB5002には端末装置10の通信IDに、端末の種類(専用端末装置、汎用端末装置)、各端末を宛先とした場合の宛先名、各端末の稼動状態、ログイン要求情報が管理システム50で受信された受信日時、及び各端末のIPアドレスが関連付けられて管理される。
宛先管理DB5003には、通話の開始を要求する要求元端末の通信IDに対して、通信相手の候補として登録されている宛先端末の通信IDが全て関連付けられて管理される。つまり、要求元端末は宛先管理DB5003に登録されている通信IDの端末装置10に対してのみ、通話を開始することができる。本実施形態では、お客様7の端末装置10、コールセンタ説明員8の端末装置10及び現地説明員9の端末装置10の通信相手の候補に、それぞれ自分以外の端末装置10の通信IDが登録されているものとする。
Figure 0007020132000004
表4は、会議管理DB5004に登録されている情報を模式的に示す。会議管理DB5004には会議IDと2つ以上の通信IDが対応付けて管理されている。ビデオ会議の開始時にセッション制御部54が会議IDを割り振る。このビデオ会議に参加している端末装置10を宛先端末として他の端末装置10がビデオ会議を開始すると、セッション制御部54が会議管理DB5004に他の端末装置10の通信IDを登録する。また、ビデオ会議に参加中の端末装置10がセッションを切断すると、会議管理DB5004から端末装置10の通信IDを削除する。
会議IDはビデオ会議を識別する識別情報である。通信IDは通信元を識別する識別情報であり、例えば端末装置10又はユーザを識別する識別情報である。従って、通信IDは、端末ID、ユーザID、拠点ID、等の意味を有している。端末装置10が専用端末装置10-1の場合、通信IDは専用端末装置10-1に固定であるため通信IDは端末装置10の識別情報ということができる。この場合でも、専用端末装置10-1とユーザの関係が固定であれば通信IDはユーザIDということができる。端末装置10が汎用端末装置10-2の場合、通信IDはユーザに与えられているため通信IDはユーザの識別情報ということができる。この場合でも、汎用端末装置10-2とユーザの関係が固定であれば通信IDは端末IDということができる。
ここで説明の便宜上、通信IDの「CALL○○」はコールセンタ説明員8又はコールセンタ説明員8の端末装置10のID、GENCHI○○は現地説明員9又は現地説明員9の端末装置10のID、GUEST○○はお客様7又はお客様7の端末装置10のIDが想定されている。
<会議開始までの流れ>
図6は、端末装置10がセッションを接続しビデオ会議に参加するまでの処理を示すシーケンス図の一例である。図6では、一例としてコールセンタの端末装置10が現地説明員9の端末装置10と会議を開始する場合を説明するが、現地説明員9又はお客様7が会議を開始してもよい。
S1:まず、コールセンタ説明員8は端末装置10の電源スイッチをONにしてログインするための操作を行うと、操作入力受付部12がこれを受け付けて起動部13が通信ネットワーク2を介して管理システム50にログイン要求を送信する。ログイン要求には、ログイン要求する端末装置10の通信ID及びパスワードが含まれている。なお、専用端末装置10-1の場合、電源スイッチのONでログイン要求が送信され、汎用端末装置10-2の場合は、コールセンタ説明員8が通信IDとパスワードを入力する等の操作を行う。この場合、通信IDはユーザIDとみなしてよい。なお、ログイン要求が管理システム50に受信された際に、管理システム50が送信側である端末装置10のIPアドレスを把握することができる。
S2:管理システム50の認証部52はログイン要求に含まれている通信ID及びパスワードに基づいて端末装置10を認証する。認証方法は端末ID及びパスワードに基づくものに限らず、ICカードや生体認証情報を用いてもよい。ここでは認証が成立したものとする。
S3:認証が成立したので管理システム50の管理部53は、端末管理DB5002において、要求元であるコールセンタ説明員8の端末装置10の通信IDに対応付けてステータス(オンライン)を更新する。また、端末装置10のIPアドレスを宛先管理DB5003に記憶する。
S4:次に、管理システム50の管理部53は、ログイン要求してきた端末装置10に対応付けられている宛先リスト(宛先候補となる他の端末装置10)を宛先管理DB5003から抽出する。管理システム50の管理部53は宛先候補の各端末装置10のステータスを宛先管理DB5003から取得する。
S5:次に、管理システム50の送受信部51は、宛先状態情報を要求元の端末装置10に送信する。宛先状態情報には宛先候補の端末装置10の通信IDとステータスが含まれる。
S6:また、管理システム50の管理部53は要求元の端末装置10を宛先候補とする他の端末装置10のステータスを宛先管理DB5003から取得する。これは、要求元の端末装置10に対しビデオ会議の開始を要求する端末装置10にも要求元の端末装置10のステータスを通知するためである。ステータスがオフラインの他の端末装置10には要求元の端末装置10のステータスが通知されない。本実施形態では、要求元の端末装置10(コールセンタ説明員8の端末装置10)に対しビデオ会議の開始を要求する端末装置10は、現地説明員9の端末装置10及びお客様7の端末装置10である。
S7:管理システム50の送受信部51は、要求元の端末装置10を宛先候補とする現地説明員9の端末装置10に宛先状態情報を送信する。宛先状態情報には要求元の端末装置10の端末ID及びステータスが含まれる。これにより、現地説明員9の端末装置10からコールセンタ説明員8の端末装置10に開始要求することも可能になる。なお、図6では、お客様7の端末装置10への送信が省略されているが同様の宛先状態情報がお客様7の端末装置10に送信される。
S8:宛先状態情報を受信した要求元の端末装置10の出力制御部14は宛先リスト画面をディスプレイ120に表示する。宛先リスト画面には、現地説明員9の端末装置10とそのステータスが表示されるので、コールセンタ説明員8は宛先の状態を把握して宛先を選択することで宛先の端末装置10を呼び出すことができる。
S9:コールセンタ説明員8の端末装置10の操作入力受付部12は現地説明員9の端末装置10の選択を受け付け、送受信部11がビデオ会議の開始要求を管理システム50に送信する。開始要求には要求元の端末装置10の通信IDと宛先の端末装置10の通信IDが含まれる。
S10:管理システム50の送受信部51は開始要求を宛先の端末装置10に送信する。宛先の端末装置10の出力制御部14は要求元の端末装置(拠点名など)を含む着信画面を表示する。この開始要求は現地説明員9の端末装置10に対する着信に相当する。開始要求には要求元の端末装置10の拠点名などが含まれているので、ビデオ会議の開始を受けるか否かを宛先の端末装置10を操作する現地説明員9が判断できる。
S11:宛先の端末装置10を操作する現地説明員9が応答する操作を行うと、操作入力受付部12がこの操作を受け付け、送受信部11が応答する旨を管理システム50に送信する。管理システム50は応答する旨を受信する際、宛先の端末装置10のIPアドレスを把握する。
S12:管理システム50のセッション制御部54は要求元の端末装置10と宛先の端末装置10の通信ID、IPアドレス等を中継装置30に登録し、要求元の端末装置10と宛先の端末装置10に中継装置30のIPアドレス等を通知する。要求元の端末装置10と宛先の端末装置10は中継装置30に対し通信の許可等を要求しこれが許可されると、コールセンタ説明員8の端末装置10と現地説明員9の端末装置10との間でセッションが接続される。また、セッション制御部54は会議IDを採番して、会議管理DB5004に要求元の端末装置10(コールセンタ説明員8の端末装置10)と宛先の端末装置10(現地説明員9の端末装置10)の通信IDを登録する。
S13:要求元の端末装置10の送受信部11は中継装置30に対し映像データ、音声データ、資料データ及び手書き情報を送信する。宛先の端末装置10も同様に映像データ、音声データ、及び手書き情報の中継装置30への送信を開始する。
S14:中継装置30はこれらを宛先の端末装置10に転送する。以上のようにして、セッションが接続されてコールセンタ説明員8の端末装置10と現地説明員9の端末装置10は映像データ、音声データ、資料データ及び手書き情報を送受信できる。
コールセンタ説明員8が、現地説明員9の端末装置10に行ったのと同様の処理をお客様7の端末装置10に対して行い、お客様7が着信に応答する操作を行うと、セッション制御部54がお客様7の端末装置10の通信IDを会議管理DB5004に登録する。あるいは、お客様7が、コールセンタ説明員8が行ったのと同様の処理をコールセンタ説明員8の端末装置10又は現地説明員9の端末装置10に行い、コールセンタ説明員8又は現地説明員9が着信に応答する操作を行うと、セッション制御部54がお客様7の端末装置10の通信IDを会議管理DB5004に登録する。このようにして、3つの拠点の間でビデオ会議が開始される。
<音声処理パラメータの変更処理>
図7は、現地説明員9の端末装置10が音声処理パラメータを変更する手順を示すシーケンス図の一例である。図7では管理システム50が省略されているが、実際の通信は管理システム50を介して行われる。ステップS21、S21-2、S21-3により図6で説明した処理が行われ、会議が開始された。また、ステップS22、S22-2、S22-3により各端末装置10の通信IDが会議管理DB5004に登録される。
図7では、コールセンタ説明員8と、現地説明員9と、お客様7の3拠点でビデオ会議を開催している。コールセンタ説明員8の端末装置10で資料データのページが変更されると、これに合わせて現地説明員9の端末装置10の音声処理パラメータを動的に変更する。これにより、お客様7の端末装置10が受信する音声が適切に変化する。なお、図7の処理では、お客様7の端末装置10は現地説明員9の端末装置10が送信する音声データを受信して出力すればよく、関連して処理する必要はない。
S23:コールセンタ説明員8が画面共有を開始する操作を行う。図8に画面(資料データ)を共有するためのメニューを示す。操作入力受付部12は、コールセンタ説明員8の操作を受け付ける。
S24:資料データの共有が開始されると、共有資料情報取得部17が資料データの資料名と現在、表示されているページ番号を取得する。資料名としては例えば資料データのファイル名をOS(Operating System)又はこのファイルを開くアプリケーションソフトから取得すればよい。また、通常、アプリケーションソフトは現在、表示されているページ番号を管理しているため、共有資料情報取得部17はOSを介してこのファイルを開くアプリケーションソフトからページ番号を取得する。
S25:音声処理変更判断部18は取得した資料名とページ番号をキーに音声モード選択DB1003から、通信IDと音声モードIDを取得する。
S26:次に、音声処理変更判断部18は、音声モードIDをキーにして、音声モード種類DB1002から対応する音声処理パラメータを取得する。
S27:次に、音声処理変更判断部18はコールセンタ説明員8の自端末が参加している会議の会議IDに対応付けられた他の端末装置10の通信IDを管理システム50に問い合わせることで取得する。管理システム50は会議管理DB5004から、コールセンタ説明員8の端末装置10の通信IDが登録された会議IDに対応付けられている他の端末装置10の通信IDを、コールセンタ説明員8の端末装置10に送信する。
S28:音声処理変更判断部18は送受信部11を介して管理システム50から取得した通信IDのうち、音声モード選択DB1003から取得した通信IDに該当する端末装置10にのみ、音声処理パラメータを送信する。こうすることで、資料データを説明する現地説明員9のうち同じビデオ会議に参加している現地説明員9の端末装置10に音声処理パラメータを送信できる。送信の際は管理システム50を介する。図7の処理では、現地説明員9の端末装置10に音声処理パラメータが送信される。
S29:現地説明員9の端末装置10の送受信部11は音声処理パラメータを受信して、音声入力処理部16が音声処理パラメータを自端末に適用し、マイク114が集音した音声に音声処理パラメータに応じた音声処理を施す。
S30:現地説明員9の端末装置10の送受信部11は中継装置30を介して音声データをお客様7の端末装置10に送信する。これにより、お客様7は現地説明員9の音声及び現地の環境音を明瞭に聞き取ることができる。
なお、通信システム1は、資料名又はページ番号の少なくとも一方が変化するたびステップS24からS29を繰り返す。
<画面共有の画面例>
図8は、コールセンタ説明員8の端末装置10がディスプレイ120に表示する資料データ画面の一例を示す。資料データ画面501は、資料データ欄502とメニュー欄503を有する。資料データ欄502には、アプリケーションソフトが表示する資料データが表示される。資料データ欄502に対するページ操作をアプリケーションソフトが受け付けるので、資料データ欄502の資料データのページは適宜変更される。メニュー欄503には、「画面を共有していません」というメッセージ504と共に共有の開始ボタン505が表示されている。コールセンタ説明員8が共有の開始ボタン505を押下することで資料データの共有が開始される。
なお、共有の開始ボタン505が押下されると、メニュー欄503には「画面が共有されています」というメッセージと共有の停止ボタンが表示され、コールセンタ説明員8は共有の資料データの共有を停止できる。
また、同様の資料データ画面501は、お客様7の端末装置10及び現地説明員9の端末装置10も表示することができる。従って、資料データを保持していれば、任意の端末装置10が資料データの共有を開始できる。この場合、どの端末装置10で共有の開始ボタン505が押下されたのかも共有され、最後に共有の開始ボタン505が押下された端末装置10の資料データが共有される。
<変形例1>
続いて処理のいくつかの変形例を説明する。現地説明員9の端末装置10が記憶部1000に音声モード種類DB1002を有していれば、コールセンタ説明員8の端末装置10は音声モードを送信すればよい。本変形例ではコールセンタ説明員8の端末装置10が音声処理パラメータでなく音声モードを送信する形態を説明する。
図9は、現地説明員9の端末装置10が音声処理パラメータを変更する手順を示すシーケンス図の一例である。図9の説明では、主に図7との相違を説明する。図9では、ステップS28で現地説明員9の端末装置10に音声モードIDが送信されている。現地説明員9の端末装置10は音声モード種類DB1002を参照して、音声モードIDに対応付けられた音声処理パラメータを特定する。従って、図9の処理では、現地説明員9の端末装置10が音声モード種類DB1002を保持しているか、又は、管理システム50から取得する。
このように音声モードIDが送信されても、現地説明員9の端末装置10は図7と同様に資料データとページ番号に応じて音声処理することができる。このため、図9では図7のステップS26の処理が不要になる。
<変形例2>
図7,図9では現地説明員9の端末装置10が音声処理パラメータに基づいて音声処理したが、音声処理パラメータに基づく音声処理はお客様7の端末装置10が行ってもよい。
図10は、お客様7の端末装置10が音声処理パラメータを変更する手順を示すシーケンス図の一例である。なお、図10の説明では主に図7との相違を説明する。図10ではステップS28で音声処理パラメータがお客様7の端末装置10に送信されている。このため、コールセンタ説明員8の端末装置10の音声処理変更判断部18は客様7の端末装置10の通信IDを特定する必要がある。コールセンタ説明員8の端末装置10の音声処理変更判断部18は、ステップS25で音声モード選択DB1003から取得した通信IDと、ステップS27で会議管理DB5004から取得した通信IDを比較して、会議管理DB5004にだけ登録されている通信IDに対し音声処理パラメータを送信する。会議管理DB5004に登録されているが、音声モード選択DB1003に登録されていない通信IDはお客様7の通信IDと推定してよいためである。当然ながら、自端末であるコールセンタ説明員8の端末装置10の通信IDは除かれる。
表2の音声モード選択DB1003を参照すると、沖縄プラン1の通信IDは「GENCHI01、GENCHI02」であり、表4の会議管理DB5004のconf01の通信IDは「CALL01、GENCHI01、GUEST01」である。会議管理DB5004にだけある通信ID(GUEST01)は、現地説明員9でなくお客様7の通信IDのはずなので、コールセンタ説明員8の端末装置10の音声処理変更判断部18はこの通信IDに音声処理パラメータを送信する。
そしてステップS30で現地説明員9の端末装置10がお客様7の端末装置10に音声データを送信する。ステップS29でお客様7の端末装置10が音声処理パラメータを変更しておくので、お客様7の端末装置10が変更された音声処理パラメータで音声処理する。なお、お客様7の端末装置10の音声出力部15は、スピーカから出力する音声に対し音声処理パラメータに基づく音声処理を行う。マイク114が入力した音声データに対する音声処理と、スピーカ115が出力する音声データに対する音声処理とは同様でよい。
<変形例3>
図7、図9、図10ではコールセンタ説明員8の端末装置10が資料データの共有を開始したが、現地説明員9が自ら資料データの共有を開始する場合もある。この場合、コールセンタ説明員8の端末装置10が現地説明員9の端末装置10に音声処理パラメータを送信する必要がない。
図11は、現地説明員9の端末装置10が音声処理パラメータを変更する手順を示すシーケンス図の一例である。現地説明員9が自ら資料データの共有を開始する構成では、現地説明員9の端末装置10が、音声モード選択DB1003、音声モード種類DB1002、共有資料情報取得部17、及び、音声処理変更判断部18を有するものとする。
図11のステップS21~S26の処理は図7と同様である。音声処理パラメータを送信する必要がないので図7のステップS27は不要になる。ステップS29で現地説明員9の端末装置10の音声入力処理部16は音声処理パラメータに基づき音声を処理する。
また、図11の処理から明らかなように、本実施形態の音声処理は、3拠点である必要はなく、2拠点間のビデオ会議に好適に適用できる。すなわち、資料データを共有する側の端末装置10が資料データとページ番号に応じて音声処理パラメータを変更して、音声データを生成し、ビデオ会議中の他の端末装置10に送信すればよい。
図11の手順においても、お客様7の端末装置10が音声処理パラメータを変更して音声処理することができる。
<まとめ>
以上説明したように本実施形態の通信システム1は、資料のページ番号に応じて音声処理パラメータを自動で変更することで、ユーザが操作しなくても説明に適した音声を提供することができる。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<<システム構成の別の例>>
図12は、本実施形態の通信システム1の別の一例を示す。図12の説明では主に図2との相違を説明する。図12の通信システム1は、複数の管理システム50及び複数の中継装置30を有している。なお、管理システム50及び中継装置30はサーバとして機能するものであり、図12に示すように通信システム1が有するサーバは機能ごとに複数台あってよい。
この場合、どの管理システム50又は中継装置30にそれらの機能を備えさせてもよい。なお、この実施形態で説明する端末装置10と、管理システム50又は中継装置30とが接続されたシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
図13は本実施形態の通信システム1の別の一例を示す。図13の説明では主に図2との相違を説明する。図13の通信システム1は、管理システム50と中継装置30の機能を有する1台以上の会議サーバ60を有する。このように、管理システム50が有する管理システム50と中継装置30の機能は1つのサーバに集約されていてもよい。ただし、会議サーバ60は2台以上あってもよい。
<<ブラウザソフトによる通信>>
図14は、端末装置10がブラウザソフトにより通信する場合のシーケンス図の一例を示す。図14では、コールセンタ説明員8の端末装置10でブラウザソフトが動作している。図14の説明では図6との相違を説明する。
このため、ステップS1-0では、HTML、JavaScript(登録商標),及びCSS(Cascade Style Sheet)で記述された画面をコールセンタ説明員8の端末装置10が管理システム50から取得する。この画面は、例えばログイン画面である。
例えば、ステップS5では、管理システム50からコールセンタ説明員8の端末装置10に、HTML等で記述された宛先状態情報を表示する画面情報が送信される。同様に、ステップS12では、HTML等で記述されたセッション確立を通知する画面情報が送信される。
このようにブラウザソフト上で動的なコンテンツが提供される形態をWebアプリが実行されるという場合がある。Webアプリとは、Webブラウザ上で動作するスクリプト言語(たとえばJavaScript(登録商標))によるプログラムとWebサーバ側のプログラムが協調することによって動作し、Webブラウザ上で使用されるソフトウェア又はその仕組みを言う。
なお、コールセンタ説明員8の端末装置10の出力制御部14が表示する画面の全体を更新することなく、映像データ、資料データ及び手書き情報のみを更新する通信の仕組みとしてAjax,Comet、又はWeb Socketなどが知られている。本実施形態の通信システム1でも適宜、これらの通信の仕組みを使用することで、ブラウザソフトが画面の全体を更新することなく、管理システム50又は中継装置30から、映像データ、資料データ及び手書き情報のみを受信して更新できる。
<<電子黒板を含む通信システム>>
上記のように、端末装置10は電子黒板でもよい。電子黒板は、本実施形態で説明したビデオ会議の機能に加えて、タッチパネル付きのディスプレイを有し、タッチパネルを介してペンや指などの軌跡を取り込んで、軌跡を手書き情報としてディスプレイに描画する。ユーザは電子黒板のディスプレイを黒板のように使用することができる。また、PCと接続することができ、PCと同じ画面をディスプレイに表示して手書き情報を重畳して描画したり、電子黒板がタッチパネルから入力された情報に従ってPCを操作したりすることができる。
図15は、端末装置10が電子黒板である場合の通信システム1の構成例を示す図である。電子黒板3Aは、電子黒板3B,3Cに対して管理システム50(サーバ)と中継装置30(サーバ)の機能を提供すると共に、自らも端末装置10として動作する。電子黒板3Aをコールセンタ説明員8が使用し、電子黒板3Bをお客様7が使用し、電子黒板3Cを現地説明員9が使用するものとする。
(1)この場合、電子黒板3Aは資料データを電子黒板3B,3Cに送信する。
(2)また、電子黒板3Aは音声モード種類DB1002、音声モード選択DB1003、及び、会議管理DB5004を参照して音声処理パラメータを決定し、電子黒板3Cに送信する。
(3)これにより、電子黒板3Cは音声処理パラメータで処理した音声データを電子黒板3Aに送信する。
(4)電子黒板3Aは音声データを電子黒板3Bに送信する。
このように、端末装置10及び管理システム50が電子黒板3であっても、本実施形態を同様に適用できる。なお、図15では電子黒板3Aが管理システム50と中継装置30を兼ねているが、電子黒板3A~3Cとは別に管理システム50と中継装置30が存在してもよい。
また、図15において、一部の電子黒板3がタブレット端末やスマートフォンなどでもよい。
<<資料データのページ番号に応じた映像に対する処理>>
本実施形態では主に資料データのページ番号に応じて音声データに対し音声処理する形態を説明したが、映像データに対して映像処理してもよい。例えば、解像度とフレームレートが異なる映像処理パラメータが、資料データのページ番号に対応付けられている。資料データのページのうち、旅行規約が記載されたページでは、静的な文字が読めればよいので解像度が高くフレームレートが低い映像処理パラメータで映像が処理される。資料データのページのうち、映像を紹介するページでは、動画がスムーズに再生されることが好ましいので解像度が低くフレームレートが高い映像処理パラメータで映像が処理される。このように、本実施形態の処理は映像処理パラメータにも好適に適用できる。
<<時間で切り替えられる音声処理パラメータ>>
本実施形態では資料データのページごとに音声処理パラメータが切り替えられていたが、音声処理パラメータを時間で切り替えてもよい。表5は時間で切り替えられる音声モード選択DB1003の一例である。
Figure 0007020132000005
表5の音声モード選択DB1003では、ページ番号の代わりに時間帯が設定されている。パンフレットに即した説明では決まった時間に決まった説明を行う場合がある。現地説明員9もこのようなタイムスケジュールを把握しており、決まった時間帯に決まった説明を行う。従って、表5のように時間帯ごとに音声モードを切り替えることが有効になる。なお、コールセンタ説明員8の端末装置10は、ビデオ会議の開始、お客様7の端末装置10のログイン、又は、コールセンタ説明員8が操作したタイミングを基準にして時間の測定を開始し、音声モード選択DB1003に登録された時間帯になると音声処理パラメータを切り替える。
<<管理システムによる音声処理パラメータの特定>>
また、本実施形態では端末装置10が音声処理パラメータを決定したが、管理システム50が決定してもよい。
図16は、通信システム1の機能ブロック図の一例である。図16では、管理システム50が音声モード種類DB1002と音声モード選択DB1003を有し、音声処理変更判断部18を有している。このような構成の場合、コールセンタ説明員8の端末装置10は資料データIDとページ番号を管理システム50に送信する。管理システム50の音声処理変更判断部18は音声モード種類DB1002と音声モード選択DB1003を参照して音声処理パラメータを決定し、現地説明員9の端末装置10又はお客様7の端末装置10に音声処理パラメータを送信できる。
このように、本実施形態の通信システム1においては、端末装置10が行う処理のうち管理システム50が行うことができる処理であれば、管理システム50が処理できる。従って、通信システム1が有する機能は端末装置10又は管理システム50のいずれに固定されるものではない。
<その他>
本実施形態では、中継装置30が映像データ、音声データ、手書き情報、及び、資料データを中継したが、このような中継装置30はなくてもよい。このような形態を可能にする通信プロトコルとして、例えばWebRTC(Web Real-Time Communication)がある。WebRTCとは、映像データ、音声データ等をブラウザ間でやり取り可能にする通信プロトコルである。
また、コールセンタ説明員8の端末装置10が資料データを有して表示する形態の他、コールセンタ説明員8の端末装置10に接続された情報処理装置が資料データを有して表示する形態でもよい。この場合、コールセンタ説明員8の端末装置10は情報処理装置から資料データの画像データ、共有資料ID、及び、ページ番号を取得する。
また、本実施形態では、旅行の説明を例にしたが、装置の取扱説明において正常音と異常音を説明したり、駐在員が現地の状況を説明したりする場合に幅広く適用できる。
また、上記実施形態では、コンテンツデータの一例として、映像データ、音声データ、資料データ、及び、手書き情報について説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末装置側でユーザが接触した感覚が、他方の端末装置側に伝達される。更に、コンテンツデータは、嗅覚(smell)データであってもよい。
また、図5などの構成例は、端末装置10と管理システム50による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末装置10と管理システム50の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
本実施形態の各機能は、一又は複数の処理回路によって実現することができる。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、又は、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
なお、記憶部1000は記憶手段の一例であり、共有資料ID又は共有資料IDとページ番号は共有データ識別情報の一例であり、音声モード選択DB1003は対応情報の一例であい、音声処理パラメータ又は映像処理パラメータは情報処理パラメータの一例であり、音声モードIDはパラメータ識別情報の一例であり、音声処理変更判断部18は特定手段の一例であり、音声入力処理部16は情報処理手段の一例であり、会議管理DB5004は共有端末情報の一例である。また、通信IDは送信先を識別する送信先識別情報の一例であり、コールセンタ説明員8の端末装置10は第一の端末装置の一例であり、現地説明員9の端末装置10は第二の端末装置の一例である。
現地説明員の端末装置10又はお客様の端末装置10の送受信部11はパラメータ受信手段の一例であり、コールセンタ説明員の端末装置10又は現地説明員の端末装置10の送受信部11は送信手段の一例である。コールセンタ説明員の端末装置10の記憶部1000は請求項7の第一の記憶手段の一例であり、現地説明員の端末装置10の記憶部1000は請求項7の第二の記憶手段の一例である。現地説明員の端末装置10の記憶部1000は請求項9の第一の記憶手段の一例であり、お客様の端末装置10の記憶部1000は請求項9の第二の記憶手段の一例である。
1 通信システム
2 通信ネットワーク
3 電子黒板
7 お客様
8 コールセンタ説明員
9 現地説明員
10 端末装置
30 中継装置
50 管理システム
60 会議サーバ
特開2009-094610号公報

Claims (12)

  1. ネットワークを介して他の端末装置と共有データを共有する端末装置であって、
    前記共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を記憶し、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶された記憶手段と、
    前記対応情報を参照して、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定する特定手段と、
    前記特定手段が特定した前記パラメータ識別情報、及び、前記記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信する送信手段と、
    を有することを特徴とする端末装置。
  2. 請求項1に記載の端末装置が前記パラメータ識別情報を送信する他の端末装置であって、
    前記パラメータ識別情報及び前記情報処理パラメータを受信するパラメータ受信手段と、
    前記パラメータ受信手段によって受信した前記パラメータ識別情報に前記記憶手段において対応付けられた前記情報処理パラメータ又は前記パラメータ受信手段によって受信した前記情報処理パラメータを用いて情報処理を行う情報処理手段と、
    を有する他の端末装置。
  3. ネットワークを介して他の端末装置と共有データを共有する端末装置であって、
    前記共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を記憶する記憶手段と、
    前記対応情報を参照して、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定する特定手段と、を有し、
    更に、前記記憶手段には、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶されており、
    前記特定手段が特定した前記パラメータ識別情報に前記記憶手段において対応付けられた情報処理パラメータで情報処理を行う情報処理手段と、
    前記情報処理手段が情報処理を施した情報を他の端末装置に送信する送信手段と、を有し、
    前記送信手段は、前記特定手段が特定した前記パラメータ識別情報、及び、前記記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信する、ことを特徴とする端末装置。
  4. 前記対応情報の前記パラメータ識別情報は、前記共有データのページごとに前記共有データ識別情報と対応付けられており、
    前記特定手段は、前記対応情報を参照して、共有される前記共有データのページに対応付けられた前記パラメータ識別情報を特定することを特徴とする請求項1~3のいずれか1項に記載の端末装置。
  5. ネットワークを介して他の端末装置と共有データを共有する端末装置が行う情報処理方法であって、
    記憶手段に記憶された、前記共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を参照して、特定手段が、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定するステップ、を有し、
    更に、前記記憶手段には、前記パラメータ識別情報と前記情報処理パラメータとが対応
    付けて記憶されており、
    送信手段が、前記特定手段が特定した前記パラメータ識別情報、及び、前記記憶手段において前記パラメータ識別情報に対応付けられている前記情報処理パラメータを前記他の端末に送信するステップ、
    を有することを特徴とする情報処理方法。
  6. 端末装置と、該端末装置とは異なる他の端末装置とがネットワークを介して、共有データを共有する通信システムであって、
    前記端末装置は、
    前記他の端末装置と共有する共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を記憶する第一の記憶手段と、
    前記対応情報を参照して、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定する特定手段と、を有し、
    更に、前記第一の記憶手段には、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶されており、
    前記特定手段が特定した前記パラメータ識別情報、又は、前記第一の記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信する送信手段、を有し、
    前記他の端末装置は、
    更に、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶された第二の記憶手段と、
    前記パラメータ識別情報又は前記情報処理パラメータを受信するパラメータ受信手段と、
    前記パラメータ受信手段によって受信した前記パラメータ識別情報に前記第二の記憶手段において対応付けられた前記情報処理パラメータ、又は、前記パラメータ受信手段によって受信した前記情報処理パラメータを用いて情報処理を行う情報処理手段と、
    前記情報処理手段が情報処理を施した情報を前記他の端末装置が通信する端末装置に送信する送信手段と、
    を有する通信システム。
  7. 前記情報処理パラメータは音声処理に関するパラメータであり、
    前記情報処理手段は、前記他の端末装置のマイクが集音した音声に対し前記情報処理パラメータに応じた音声処理を行うことを特徴とする請求項6に記載の通信システム。
  8. 端末装置と、該端末装置とは異なる他の端末装置とがネットワークを介して、共有データを共有する通信システムであって、
    前記端末装置は、
    前記他の端末装置と共有する共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を記憶する第一の記憶手段と、
    前記対応情報を参照して、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定する特定手段と、を有し、
    更に、前記第一の記憶手段には、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶されており、
    前記特定手段が特定した前記パラメータ識別情報又は前記第一の記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信する送信手段と、を有し、
    前記他の端末装置は、
    更に、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶された第二の記憶手段と、
    前記パラメータ識別情報又は前記情報処理パラメータを受信するパラメータ受信手段と、
    前記パラメータ受信手段によって受信した前記パラメータ識別情報に前記第二の記憶手段において対応付けられた前記情報処理パラメータ、又は、前記パラメータ受信手段によって受信した前記情報処理パラメータを用いて情報処理を行う情報処理手段と、
    を有する通信システム。
  9. 前記情報処理パラメータは音声処理に関するパラメータであり、
    前記情報処理手段は、前記他の端末装置がスピーカから出力する音声に対し前記情報処理パラメータに応じた音声処理を行う、ことを特徴とする請求項8に記載の通信システム。
  10. 前記情報処理パラメータには、人の音声を明瞭にするものと、周囲の環境音を明瞭にするものがあり、それぞれでノイズを低減する効果が異なることを特徴とする請求項6~9のいずれか1項に記載の通信システム。
  11. ネットワークに接続された情報処理装置を介して複数の端末装置が通信する通信システムが行う情報処理方法であって、
    記憶手段に記憶された、前記複数の端末装置で共有される共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を参照して、特定手段が、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定するステップと、
    送信手段が、前記特定手段が特定した前記パラメータ識別情報を他の端末装置に送信するステップと、を有し、
    更に、前記記憶手段には、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶されており、
    前記送信手段が、前記記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信するステップ
    を有することを特徴とする情報処理方法。
  12. ネットワークを介して他の端末装置と共有データを共有する端末装置
    記憶手段に記憶された、前記共有データを識別する共有データ識別情報と、情報処理パラメータを識別するパラメータ識別情報とが対応付けられた対応情報を参照して、共有される前記共有データの前記共有データ識別情報に対応付けられた前記パラメータ識別情報を特定する特定手段、として機能させ、
    更に、前記記憶手段には、前記パラメータ識別情報と前記情報処理パラメータとが対応付けて記憶されており、
    前記特定手段が特定した前記パラメータ識別情報及び前記記憶手段において前記パラメータ識別情報に対応付けられた前記情報処理パラメータを前記他の端末装置に送信する送信手段として機能させるプログラム。
JP2018006597A 2018-01-18 2018-01-18 端末装置、情報処理方法、プログラム、通信システム Active JP7020132B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018006597A JP7020132B2 (ja) 2018-01-18 2018-01-18 端末装置、情報処理方法、プログラム、通信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018006597A JP7020132B2 (ja) 2018-01-18 2018-01-18 端末装置、情報処理方法、プログラム、通信システム

Publications (2)

Publication Number Publication Date
JP2019125972A JP2019125972A (ja) 2019-07-25
JP7020132B2 true JP7020132B2 (ja) 2022-02-16

Family

ID=67399417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018006597A Active JP7020132B2 (ja) 2018-01-18 2018-01-18 端末装置、情報処理方法、プログラム、通信システム

Country Status (1)

Country Link
JP (1) JP7020132B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387167B2 (ja) * 2020-05-01 2023-11-28 tonari株式会社 仮想的空間接続装置、システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007019955A (ja) 2005-07-08 2007-01-25 Oki Electric Ind Co Ltd テレビ電話コールセンタシステム
JP2009294237A (ja) 2008-06-02 2009-12-17 Konica Minolta Business Technologies Inc 会議システム、データ処理装置、画像送信方法および画像送信プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007019955A (ja) 2005-07-08 2007-01-25 Oki Electric Ind Co Ltd テレビ電話コールセンタシステム
JP2009294237A (ja) 2008-06-02 2009-12-17 Konica Minolta Business Technologies Inc 会議システム、データ処理装置、画像送信方法および画像送信プログラム

Also Published As

Publication number Publication date
JP2019125972A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US11546548B2 (en) Transmission management apparatus
JP6460228B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US8861377B2 (en) Transmission management system, program, computer readable information recording medium, program providing system, and maintenance system
US9864563B2 (en) Information processing apparatus, image display method, and communication system
US10187336B2 (en) Transmission system, communications control apparatus, transmission terminal, communications method, and transmission method
US20200162617A1 (en) Communication system, non-transitory computer-readable medium, and terminal apparatus
US20160294892A1 (en) Storage Medium Storing Program, Server Apparatus, and Method of Controlling Server Apparatus
US20210092170A1 (en) Communication terminal, communication system, and method of sharing data
JP2017147555A (ja) 情報端末、プログラム、通信制御方法、通信システム
US20160134670A1 (en) Information processing system, information processing apparatus, information processing method, and non-transitory computer readable medium
JP6484934B2 (ja) 通信装置、通信システム、通信管理システム、通信制御方法およびプログラム
JP2016129298A (ja) 伝送システム、情報処理装置、伝送方法、プログラム
US20160269203A1 (en) Information processing apparatus, information processing system, and information processing method
JP7020132B2 (ja) 端末装置、情報処理方法、プログラム、通信システム
US10178348B2 (en) Information processing apparatus, image display method, and communication system
US9479734B2 (en) Information processing apparatus, calling method, and communication system
US20160173471A1 (en) Transmission system, management system, terminal, method of transmission and program
JP7318461B2 (ja) 通信システム、通信端末、通信方法、通信端末のプログラムおよびアプリケーションプログラム
JP2018036688A (ja) 情報処理装置、サーバ装置、情報処理システム、その制御方法及びプログラム
CN107786686B (zh) 一种用于输出多媒体数据的系统及方法
JP2021056840A (ja) プログラム、通信方法、通信端末および通信システム
JP6569353B2 (ja) 伝送システム、情報処理装置、プログラム、伝送方法
JP2016178355A (ja) 通信装置、通信システム、通信装置の制御方法およびプログラム
JP6856097B2 (ja) 伝送システム、テキストチャット管理システム、プログラム、伝送方法
JP2017011495A (ja) 情報処理システム、情報処理装置、および情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151