JP5729021B2 - ユニファイドコミュニケーション装置、システム、方法及びプログラム - Google Patents

ユニファイドコミュニケーション装置、システム、方法及びプログラム Download PDF

Info

Publication number
JP5729021B2
JP5729021B2 JP2011046830A JP2011046830A JP5729021B2 JP 5729021 B2 JP5729021 B2 JP 5729021B2 JP 2011046830 A JP2011046830 A JP 2011046830A JP 2011046830 A JP2011046830 A JP 2011046830A JP 5729021 B2 JP5729021 B2 JP 5729021B2
Authority
JP
Japan
Prior art keywords
speaker
terminal
operator
connection
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011046830A
Other languages
English (en)
Other versions
JP2012186558A (ja
Inventor
英俊 田中
英俊 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011046830A priority Critical patent/JP5729021B2/ja
Publication of JP2012186558A publication Critical patent/JP2012186558A/ja
Application granted granted Critical
Publication of JP5729021B2 publication Critical patent/JP5729021B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ユニファイドコミュニケーションを行うユニファイドコミュニケーション装置、ユニファイドコミュニケーションシステム、ユニファイドコミュニケーション方法及びユニファイドコミュニケーションプログラムに関する。
テレビ電話でコミュニケーションを行う場合、例えば、NTT社のフレッツフォン(登録商標)やSkype(登録商標)では、通常二人の話者がお互いの顔を見ながらコミュニケーションを行う。また、参加者が三人以上の場合には、多地点Web会議システム等を用いて動画像と音声とを話者全員が共有しながら、コミュニケーションを行う。
関連する技術として、例えば特許文献1には、交換台のオペレータの制御によって会議呼の接続するときの制御方式が記載されている。
特開平01−174184号公報
上述のテレビ電話や多地点Web会議システム等では、一般的に、端末間の接続や画面上にどのようなコンテンツを表示するかについて、各参加者の端末に接続操作や画面表示操作を行う機能が付与されている。そのため、いずれの参加者の端末からも、接続先の指定や呼び出し、画面の表示指定などの操作が可能である。
例えば、最も簡単な二者間でのテレビ電話を行う場合、呼び出し側は、端末上の操作で呼び出される相手先を指定し、発呼操作を行う。呼び出された相手先の端末では、テレビ電話の要求が呼び出し音または画面表示で示されるので、受信ボタンをクリックする等の受信のための端末操作を行う。また、テレビ電話に加えて資料共有表示などを行うユニファイドコミュニケーション(登録商標)を行う場合には、端末上で資料を表示し共有表示のための操作を別途行う必要がある。ユニファイドコミュニケーションとは、例えば、電話やメール、インスタント・メッセンジャ、テレビ会議、Web会議等の複数のコミュニケーション手段を融合させて行うコミュニケーションである。
このような、対等の操作環境をもつ二者間以上のテレビ電話、資料共有表示などを用いるユニファイドコミュニケーションでは、端末を個々人が操作する必要がある。そのため、話者は、例えば、端末の電源を入れる、呼び出す相手先を画面上の一覧からマウス操作で選択しクリックして呼び出す等の最低限のITスキルを必要とされる。
しかしながら、例えば、遠隔に設置された端末間を結んで、地方の高齢者と都会の医師とが健康相談を行うような場合には、その両者に端末操作を習熟してもらうことは現実的ではない。また、両者が端末操作に不慣れな場合にはコミュニケーションそのものが開始できない場合もある。特に、テレビ電話に併せて、資料などを見せながら遠隔で相談を行う場合には、最低でも片方に、例えば説明用のファイルをフォルダから選択してアプリケーションを起動し、双方の画面で表示する資料共有のための端末操作等の高度なITスキルが求められる。
特許文献1に記載された方法を用いれば、交換台のオペレータの制御によって会議呼の接続をすることができる。しかし、上述のような資料共有機能等を利用可能なユニファイドコミュニケーションにおいてユーザの負担を軽減する目的で適用することはできない。
そこで、本発明は、高度なITスキルがない話者でもユニファイドコミュニケーションの機能を利用することができるユニファイドコミュニケーション装置、ユニファイドコミュニケーションシステム、ユニファイドコミュニケーション方法及びユニファイドコミュニケーションプログラムを提供することを目的とする。
本発明によるユニファイドコミュニケーション装置は、オペレータが使用するオペレータ端末からの要求に応じて、オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立するオペレータ第一話者間接続手段と、オペレータ端末からの要求に応じて、オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立するオペレータ第二話者間接続手段と、オペレータ端末からの要求に応じて、第一の話者端末と第二の話者端末との間のネットワーク接続を確立する二話者間接続手段と、オペレータ端末からの要求に応じて、ネットワーク接続を確立した第一の話者端末及び第二の話者端末にオペレータ端末で指定されたコンテンツを送信し、送信されたコンテンツを第一の話者端末の表示部及び第二の話者端末の表示部に表示させるように制御するコンテンツ表示制御手段とを備えたことを特徴とする。
本発明によるユニファイドコミュニケーションシステムは、オペレータが使用するオペレータ端末と、第一の話者が使用する第一の話者端末と、第二の話者が使用する第二の話者端末と、第一の話者端末と第二の話者端末とのネットワークを介したユニファイドコミュニケーションを支援するユニファイドコミュニケーション装置とを備え、ユニファイドコミュニケーション装置は、オペレータ端末からの要求に応じて、オペレータ端末と第一の話者端末との間のネットワーク接続を確立するオペレータ第一話者間接続手段と、オペレータ端末からの要求に応じて、オペレータ端末と第二の話者端末との間のネットワーク接続を確立するオペレータ第二話者間接続手段と、オペレータ端末からの要求に応じて、第一の話者端末と第二の話者端末との間のネットワーク接続を確立する二話者間接続手段と、オペレータ端末からの要求に応じて、ネットワーク接続を確立した第一の話者端末及び第二の話者端末にオペレータ端末で指定されたコンテンツを送信し、送信されたコンテンツを第一の話者端末の表示部及び第二の話者端末の表示部に表示させるように制御するコンテンツ表示制御手段とを含むことを特徴とする。
本発明によるユニファイドコミュニケーションシステムは、オペレータが使用するオペレータ端末と、第一話者が使用する第一話者端末と、第二話者が使用する第二話者端末と、サーバ装置とを備え、オペレータ端末は、オペレータの操作に従って、オペレータ端末と第一話者端末との間で音声データおよび画像データの通信を可能とするオペレータ第一話者接続要求をサーバ装置に送信するオペレータ第一話者間接続要求手段と、オペレータの操作に従って、オペレータ端末と第二話者端末との間で音声データおよび画像データの通信を可能とするオペレータ第二話者接続要求をサーバ装置に送信するオペレータ第二話者間接続要求手段と、オペレータの操作に従って、第一話者端末と第二話者端末との間で音声データおよび画像データの通信を可能とする第一話者第二話者接続要求をサーバ装置に送信する第一話者第二話者間接続要求手段と、オペレータの操作に従って、第一話者端末と第二話者端末とに同時に同じコンテンツを表示させるコンテンツ表示要求をサーバ装置に送信する三話者間コンテンツ表示要求手段とを含み、サーバ装置は、オペレータ第一話者間接続要求手段からオペレータ第一話者接続要求を受信すると、オペレータ端末と第一話者端末との間で音声データおよび画像データの通信を可能とする接続を確立するオペレータ第一話者間接続手段と、オペレータ第二話者間接続要求手段からオペレータ第二話者接続要求を受信すると、オペレータ端末と第二話者端末との間で音声データおよび画像データの通信を可能とする接続を確立するオペレータ第二話者間接続手段と、第一話者第二話者間接続要求手段から第一話者第二話者接続要求を受信すると、第一話者端末と第二話者端末との間で音声データ及び画像データの通信を可能とする接続を確立し、同時に、オペレータ端末と第一話者端末間との接続のうちオペレータ端末から第一話者端末への音声データ及び画像データの送信を遮断し、オペレータ端末と第二話者端末間の接続のうちオペレータ端末から第二話者端末への音声データおよび画像データの送信を遮断する第一話者第二話者間接続手段と、三話者間コンテンツ表示要求手段からコンテンツ表示要求を受信すると、サーバ装置からオペレータ端末、第一話者端末および第二話者端末に対し、オペレータ端末で指定された同一のコンテンツを送信して表示させるように制御する三話者間コンテンツ表示制御手段とを含み、第一話者端末および第二話者端末は、サーバ装置から接続の確立時に接続要求を受信すると、話者による承諾操作の有無に関わらず接続の確立を受諾する接続受諾手段と、サーバ装置からコンテンツとともに表示要求を受信すると、コンテンツを表示部に表示するコンテンツ表示手段とをそれぞれ含むことを特徴とする。
本発明によるユニファイドコミュニケーション方法は、オペレータが使用するオペレータ端末からの要求に応じて、オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立し、オペレータ端末からの要求に応じて、オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立し、オペレータ端末からの要求に応じて、第一の話者端末と第二の話者端末との間のネットワーク接続を確立し、オペレータ端末からの要求に応じて、ネットワーク接続を確立した第一の話者端末及び第二の話者端末にオペレータ端末で指定されたコンテンツを送信し、送信されたコンテンツを第一の話者端末の表示部及び第二の話者端末の表示部に表示させるように制御することを特徴とする。
本発明によるユニファイドコミュニケーションプログラムは、コンピュータに、オペレータが使用するオペレータ端末からの要求に応じて、オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立するオペレータ第一話者間接続処理と、オペレータ端末からの要求に応じて、オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立するオペレータ第二話者間接続処理と、オペレータ端末からの要求に応じて、第一の話者端末と第二の話者端末との間のネットワーク接続を確立する二話者間接続処理と、オペレータ端末からの要求に応じて、ネットワーク接続を確立した第一の話者端末及び第二の話者端末にオペレータ端末で指定されたコンテンツを送信するコンテンツ送信処理と、送信されたコンテンツを第一の話者端末の表示部及び第二の話者端末の表示部に表示させるように制御するコンテンツ表示制御処理とを実行させることを特徴とする。
本発明によれば、高度なITスキルがない話者でもユニファイドコミュニケーションの機能を利用することができる。
本発明によるユニファイドコミュニケーションシステムの構成の一例を示すブロック図である。 オペレータ端末の機能構成の一例を示す機能ブロック図である。 話者端末の機能構成の一例を示す機能ブロック図である。 サーバ装置の機能構成の一例を示す機能ブロック図である。 ユニファイドコミュニケーションシステムが実行する処理例を示す流れ図である。 サーバ装置で生成する通話情報の一例を示す説明図である。 第一話者第二話者間接続手段が生成する通話情報の一例を示す説明図である。 サーバ装置が記憶する話者端末と話者端末IDとの対応表の一例を示す説明図である。 ユニファイドコミュニケーション装置の最小の構成例を示すブロック図である。
以下、本発明の実施形態について図面を参照して説明する。図1は、本発明によるユニファイドコミュニケーションシステムの構成の一例を示すブロック図である。図1に示すように、ユニファイドコミュニケーションシステムは、マイクロフォン(以下、単にマイクという)、スピーカ及びカメラがそれぞれ接続されたオペレータ端末100、第一話者端末200及び第二話者端末300と、サーバ装置400とを含む。また、オペレータ端末100、第一話者端末200及び第二話者端末300と、サーバ装置400とは、インターネット等の通信ネットワークを介して相互に接続されている。なお、本実施形態では、話者端末が第一話者端末200と第二話者端末300との2つである例について説明するが、2つに限らず、3つ以上であってもよい。
図2は、オペレータ端末の機能構成の一例を示す機能ブロック図である。図2に示すように、オペレータ端末100は、オペレータ第一話者間接続要求手段101と、オペレータ第二話者間接続要求手段102と、第一話者第二話者間接続要求手段103と、三話者間コンテンツ表示要求手段104とを含む。また、オペレータ端末100は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。
オペレータ第一話者間接続要求手段101は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。オペレータ第一話者間接続要求手段101は、オペレータの操作に従って、第一話者端末200との音声や画像(例えば、動画や静止画)の通信を行うための接続の確立をサーバ装置400に要求する機能を備えている。
オペレータ第二話者間接続要求手段102は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。オペレータ第二話者間接続要求手段102は、オペレータの操作に従って、第二話者端末300との音声や画像の通信を行うための接続の確立をサーバ装置400に要求する機能を備えている。
第一話者第二話者間接続要求手段103は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。第一話者第二話者間接続要求手段103は、オペレータの操作に従って、第一話者端末200と第二話者端末300と間で音声や画像の通信を行うための接続の確立をサーバ装置400に要求する機能を備えている。
三話者間コンテンツ表示要求手段104は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。三話者間コンテンツ表示要求手段104は、オペレータの操作に従って、第一話者端末200と第二話者端末300とに同時に同じコンテンツを表示させることをサーバ装置400に要求する機能を備えている。
図3は、話者端末の機能構成の一例を示す機能ブロック図である。なお、第一話者端末200と第二話者端末300とは、同一の機能構成を含んでいるため、ここでは、第一話者端末200についてのみ説明する。
図3で示すように、第一話者端末200は、接続受諾手段201とコンテンツ表示手段202とを含む。第一話者端末200は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。
接続受諾手段201は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。接続受諾手段201は、サーバ装置400から接続要求を受信すると、話者の承諾操作がなくても(すなわち自動で)接続の確立を受諾する機能を備えている。
コンテンツ表示手段202は、具体的には、ディスプレイ装置等の表示装置によって実現される。コンテンツ表示手段は、サーバ装置400からコンテンツの表示要求を受信すると、該当するコンテンツを表示部に表示する機能を備えている。
図4は、サーバ装置の機能構成の一例を示す機能ブロック図である。図4に示すように、サーバ装置400は、オペレータ第一話者間接続手段401と、オペレータ第二話者間接続手段402と、第一話者第二話者間接続手段403と、三話者間コンテンツ表示制御手段404とを含む。サーバ装置400は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。
オペレータ第一話者間接続手段401は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。オペレータ第一話者間接続手段401は、オペレータ端末100のオペレータ第一話者間接続要求手段101から接続要求を受信すると、オペレータ端末100と第一話者端末200との間で音声や画像の通信を行うための接続を確立する機能を備えている。
オペレータ第二話者間接続手段402は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。オペレータ第二話者間接続手段402は、オペレータ端末100のオペレータ第一話者間接続要求手段102から接続要求を受信すると、オペレータ端末100と第二話者端末300との間で音声や画像の通信を行うための接続を確立する機能を備えている。
第一話者第二話者間接続手段403は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。第一話者第二話者間接続手段403は、オペレータ端末100の第一話者第二話者間接続要求手段103から接続要求を受信すると、第一話者端末200と第二話者端末300との間で音声や画像の通信を行うための接続を確立する機能を備えている。また、第一話者第二話者間接続手段403は、第一話者端末200と第二話者端末300との間で接続を確立すると同時に、オペレータ端末100と第一話者端末200間の接続のうち、オペレータ端末100から第一話者端末200への音声データ及び画像データの通信を遮断する機能を備えている。また、第一話者第二話者間接続手段403は、第一話者端末200と第二話者端末300との間で接続を確立すると同時に、オペレータ端末100と第二話者端末300間の接続のうち、オペレータ端末100から第二話者端末300への音声データ及び画像データの通信を遮断する機能を備えている。
三話者間コンテンツ表示制御手段404は、具体的には、プログラムに従って動作する情報処理装置のCPU及びネットワークインターフェース部によって実現される。三話者間コンテンツ表示制御手段404は、オペレータの操作に従ってオペレータ端末100の三話者間コンテンツ表示要求手段104がコンテンツの表示要求を送信すると、オペレータ端末100、第一話者端末200及び第二話者端末300に対して同一のコンテンツを送信し、各端末にコンテンツを表示させるように制御する機能を備えている。
次に、ユニファイドコミュニケーションシステムの動作について説明する。図5は、ユニファイドコミュニケーションシステムが実行する処理例を示す流れ図である。なお、以下に説明する例では、図1に示される各端末は既に起動しており、接続されているマイク、スピーカ及びカメラもそれぞれ動作しているものとする。
以下、ITスキルがない二人の話者がユニファイドコミュニケーションを利用する場合について説明する。例えば、話者がオペレータに電話等で利用を開始したい旨を伝えると、オペレータは、オペレータ端末100を用いて、オペレータ端末100と第一話者が使用する第一話者端末200との接続操作を行う。すると、オペレータ端末100のオペレータ第一話者間接続要求手段101は、オペレータの接続操作に従って、図8に示されるようなサーバ装置400が記憶する話者端末と話者端末IDとの対応表データを、ネットワークを介してサーバ装置400から読み込む。そして、オペレータ第一話者間接続要求手段101は、オペレータの接続操作に従って、対応表データから第一話者を選択し、オペレータ端末のIDと選択した第一話者端末のIDとともに、接続を確立するリクエストをサーバ装置400に送信する(ステップS1)。なお、対応表データは、例えば、予めシステム管理者によってサーバ装置400の記憶部に登録される。
ステップS1において、例えば図8に示される話者Aを選択した場合のリクエストのコマンドは、Connect:0001,0002となる。この場合のリクエストとは、サーバ装置400がオペレータ端末100と第一話者端末200とのいずれか一方の端末から受信した音声データ及び画像データを、リアルタイムで他方の端末に送信するように制御することを要求することである。
次いで、オペレータは、オペレータ端末100を用いて、オペレータ端末100と第二話者が使用する第二話者端末300との接続操作を行う。すると、オペレータ端末100のオペレータ第二話者間接続要求手段102は、サーバ装置400から読み込んだ話者端末と話者端末IDとの対応表データから、第二話者を選択し、オペレータ端末のIDと選択した第二話者端末300のIDとともに、接続を確立するリクエストをサーバ装置400に送信する(ステップS2)。
ステップS2において、例えば図8に示される話者Bを選択した場合のリクエストのコマンドは、Connect:0001,0003となる。
次いで、サーバ装置400のオペレータ第一話者間接続手段401は、ステップS1で送信したリクエストを受信すると、サーバ装置400内で図6に示すような通話情報管理データを生成する(ステップS3)。例えば、上記のリクエストのコマンドConnect:0001,0002を受信した場合には、オペレータ第一話者間接続手段401は、第一の通話情報として、図6の一行目に示されるレコードを生成する。以降、サーバ装置400は、生成した第一の通話情報に従って、オペレータ端末100と第一話者端末200との通信を確立する。
次いで、オペレータ第一話者間接続手段401は、図8に示されるサーバ装置400が記憶する話者端末と話者端末IDとの対応表データから、アクセスする端末のネットワークアドレスを特定する。そして、オペレータ第一話者間接続手段401は、特定したネットワークアドレスに基づいて、オペレータ端末100と第一話者端末200とのいずれか一方の端末から受信した音声データ及び画像データを、他方の端末に送信するように制御する(ステップS4)。
例えば、リクエストのコマンドがConnect:0001,0002の場合には、オペレータ第一話者間接続手段401は、ネットワークアドレス192.168.10.1で特定されるオペレータ端末100と、ネットワークアドレス192.168.10.2で特定される第一話者端末200とに対して、いずれか一方から受信した音声データ及び画像データを他方の端末に送信するように制御する。ここでは、第一話者端末200の接続受諾手段201は、第一話者による受諾操作が無くても接続の確立を受諾する。以上の動作により、オペレータ端末100と第一話者端末200との間では、各端末に接続されたマイクから出力された音声データと、カメラから出力された画像データとの交換によるテレビ電話機能が動作する。
また、サーバ装置400のオペレータ第一話者間接続手段401は、ステップS2で送信したリクエストを受信すると、サーバ装置400内で図6に示すような通話情報管理データを生成する(ステップS5)。例えば、上記のリクエストのコマンドConnect:0001,0003を受信した場合には、オペレータ第一話者間接続手段401は、第二の通話情報として、図6の二行目に示されるレコードを生成する。以降、サーバ装置400は、生成した第二の通話情報に従って、オペレータ端末100と第二話者端末300との通信を確立する。
その後、オペレータ第一話者間接続手段401は、ステップS4と同様に、対応表データから、端末のネットワークアドレスを特定し、特定したネットワークアドレスに基づいて、オペレータ端末100と第一話者端末300とのいずれか一方の端末から受信した音声データ及び画像データを、他方の端末に送信するように制御する(ステップS6)。以上の動作により、オペレータ端末100と第二話者端末300との間では、各端末に接続されたマイクから出力された音声データと、カメラから出力された画像データとの交換によるテレビ電話機能が動作する。
なお、ステップS3〜S4とステップS5〜S6とについては、逆の順序で実行してもよいし、並行して実行するようにしてもよい。また、接続処理後には、これら2つの接続が同時に確立しているため、オペレータ端末100では、第一話者端末200から受信する画像と第二話者端末300から受信する画像との2つが表示部に表示される。また、音声については、オペレータ端末100では、第一話者端末100と第二話者端末200とから受信した音声データをマージした音声がスピーカから出力される。
次いで、オペレータは、オペレータ端末100を用いて、第一話者端末200と第二話者端末300との接続操作を行う。すると、オペレータ端末100の第一話者第二話者間接続要求手段103は、対応表データから選択した第一話者端末のIDと第二話者端末のIDとともに、第一話者端末と第二話者端末との間での接続(例えばテレビ電話による接続)を確立するリクエストをサーバ装置400に送信する(ステップS7)。例えば、第一話者第二話者間接続要求手段103は、RemotoConnect:0002,0003というコマンドをサーバ装置400に送信する。
サーバ装置400の第一話者第二話者間接続手段403は、ステップS7で送信したコマンドを受信すると、新たな通話情報管理データとして第三の通話情報を生成する(ステップS8)。以降、サーバ装置400は、生成した第三の通話情報に従って、第一話者端末200と第二話者端末300との通信を確立する。
また、第三の通話情報を生成するとともに、第一話者第二話者間接続手段403は、図7に示されるように、第一の通話情報及び第二の通話情報のうち、オペレータ端末100から受信した音声や画像のパケットデータを各話者端末に送信するためのパスである映像パス1と音声パス1とを削除する(ステップS9)。
ステップS9の処理により、第一話者端末200では、表示部に表示していたオペレータ端末100から送信された画像を表示しなくなり、第二話者端末300から送信された画像を表示する。また、第一話者端末200では、オペレータ端末100から送信されていた音声データが遮断され、オペレータの音声を出力しなくなる。
また、第二話者端末300では、表示部に表示していたオペレータ端末100から送信された画像を表示しなくなり、第一話者端末100から送信された画像を表示する。また、第二話者端末300では、オペレータ端末100から送信されていた音声データが遮断され、オペレータの音声を出力しなくなる。
以上の一連のオペレータの操作に基づく処理より、第一話者と第二話者とは、何ら操作をすることなく、テレビ電話が接続された状態となる。また、オペレータ端末100では、第一話者端末200及び第二話者端末300双方の画像と音声とをモニタリングできる状況を構築できる。
次いで、オペレータは、オペレータ端末100を用いて、第一話者端末200と第二話者端末300とに同じコンテンツを表示させるために、オペレータ端末10の表示部にコンテンツを表示し、特定する操作を行う。すると、オペレータ端末100の三話者間コンテンツ要求表示手段104は、オペレータの操作に従って、表示するコンテンツを特定し、特定したコンテンツとともに各端末にコンテンツを表示させるリクエストをサーバ装置400に送信する(ステップS10)。例えば、オペレータは、第一話者と第二話者との会話をモニタリング可能であるので、話者の指示に従って、上記の操作を行う。
三話者間コンテンツ要求表示手段104は、例えば、リクエストのコマンドとして、Display:0001,0002,cotent0001とDisplay:0001,0003,cotent0001とをサーバ装置400に送信する。Contennt0001は、例えば、オペレータ端末100の表示部で表示している任意のアプリケーションの画面の中の一つの構成要素である。オペレータ端末100は、その構成要素の表示イメージをサーバ装置400に向けて所定期間ごとに送信する。なお、本実施形態では、コンテンツとして画像を各端末に表示させる例について説明するが、これに限らず、例えば、音楽等であってもよい。
サーバ装置400の三話者間コンテンツ表示制御手段404は、ステップS10で送信したリクエストを受信すると、リクエストとともに受信したコンテンツを第一話者端末200と第二話者端末300とに随時送信し、表示させるように制御する(ステップS11)。具体的には、三話者間コンテンツ表示制御手段404は、コンテンツの表示要求とともに、conntent0001の表示イメージを第一話者端末200及び第二話者端末300に随時送信する。
次いで、第一話者端末200及び第二話者端末300のコンテンツ表示手段は、表示要求に従って、それぞれコンテンツ(例えば、conntent0001の表示イメージ)を表示する(ステップS12)。これにより、第一話者端末200及び第二話者端末300には、ほぼ同時に同じコンテンツが表示されることとなる。
以上のように、本実施形態では、インターネットに接続されたユニファイドコミュニケーション端末を用いた遠隔のコミュニケーションにおいて、ITスキルを有するオペレータの操作に基づいて、サーバ装置は、他の二者間のユニファイドコミュニケーションの接続やテレビ電話機能の設定、共有資料の表示制御などを行う。そのため、ITスキルを持たない二者が遠隔でコミュニケーションを行う際に、システムの接続設定やコンテンツの表示制御などがスムーズに行えるようにする。
すなわち、ITスキルが無い高齢者やITスキルがない人でも、テレビ電話や資料共有などのユニファイドコミュニケーションの高度な機能を用いながらコミュニケーションを行うことができる。また、遠隔で相談を受ける相談員が端末の操作から解放されるので、より密度の濃いコミュニケーションを実現することができる。
以上に説明したように、本発明はインターネット端末等を用いて、遠隔でテレビ電話の機能やコンテンツの共有表示等の機能等を並行して用いてユニファイドコミュニケーションを行う場合の接続制御方法およびコンテンツ表示制御方法に関する。
また、以上のことから本発明は、次のような手段を備えていると言える。すなわち、インターネット等の通信回線を介してテレビ電話や資料共有表示が行えるユニファイドコミュニケーションシステムにおいて、オペレータ側の操作に基づいて、オペレータが操作する端末と、第一の話者端末との間を二者間で画像と音声とを通信可能に接続するオペレータ第一話者間接続手段と、オペレータ側の操作に基づいて、オペレータが操作する端末と、第二の話者端末との間を二者間で画像と音声とを通信可能に接続するオペレータ第二話者間接続手段と、オペレータ側の操作に基づいて、第一の話者端末と第二の話者端末との間を画像と音声とを通信可能に接続する二話者間接続手段と、二話者間接続手段が接続を確立した二者間の双方の端末の表示部に、オペレータ側の操作に基づいて、同じコンテンツ(資料データ等)を同時に表示させる三話者間コンテンツ表示手段とを備えている。
次に、本発明によるユニファイドコミュニケーション装置の最小構成について説明する。図4は、ユニファイドコミュニケーション装置の最小の構成例を示すブロック図である。図4に示すように、ユニファイドコミュニケーション装置は、最小の構成要素として、オペレータ第一話者間接続手段1と、オペレータ第二話者間接続手段2と、二話者間接続手段3と、コンテンツ表示制御手段4とを含む。
図9に示す最小構成のユニファイドコミュニケーション装置では、オペレータ第一話者間接続手段1は、オペレータ端末からの要求に応じて、オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立する。また、第二話者間接続手段2は、オペレータ端末からの要求に応じて、オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立する。また、二話者間接続手段3は、オペレータ端末からの要求に応じて、第一の話者端末と第二の話者端末との間のネットワーク接続を確立する。そして、コンテンツ表示制御手段4は、ネットワーク接続を確立した第一の話者端末及び第二の話者端末の表示部に、オペレータ端末からの要求に応じて、同じコンテンツを同時に表示させるように制御する。
従って、最小構成のユニファイドコミュニケーション装置によれば、高度なITスキルがない話者でもユニファイドコミュニケーションの機能を利用することができる。
なお、本実施形態では、以下の(1)〜(5)に示すようなユニファイドコミュニケーション装置の特徴的構成と、以下の(6)に示すようなユニファイドコミュニケーションシステムの特徴的構成とが示されている。
(1)ユニファイドコミュニケーション装置(例えば、サーバ装置400によって実現される)は、オペレータが使用するオペレータ端末(例えば、オペレータ端末100によって実現される)からの要求に応じて、オペレータ端末と第一の話者が使用する第一の話者端末(例えば、第一話者端末200によって実現される)との間のネットワーク接続を確立するオペレータ第一話者間接続手段(例えば、オペレータ第一話者間接続手段401によって実現される)と、オペレータ端末からの要求に応じて、オペレータ端末と第二の話者が使用する第二の話者端末(例えば、第二話者端末300によって実現される)との間のネットワーク接続を確立するオペレータ第二話者間接続手段(例えば、オペレータ第二話者間接続手段402によって実現される)と、オペレータ端末からの要求に応じて、第一の話者端末と第二の話者端末との間のネットワーク接続を確立する二話者間接続手段(例えば、第一話者第二話者間接続手段403によって実現される)と、ネットワーク接続を確立した第一の話者端末及び第二の話者端末の表示部に、オペレータ端末からの要求に応じて、同じコンテンツを同時に表示させるように制御するコンテンツ表示制御手段(例えば、三話者間コンテンツ表示制御手段404)とを含むことを特徴とする。
(2)ユニファイドコミュニケーション装置において、オペレータ第一話者間接続手段は、オペレータ端末と第一の話者端末とのいずれか一方から受信した画像データ及び音声データを他方に送信するように制御し、オペレータ第二話者間接続手段は、オペレータ端末と第二の話者端末とのいずれか一方から受信した画像データ及び音声データを他方に送信するように制御し、二話者間接続手段は、第一の話者端末と第二の話者端末とのいずれか一方から受信した画像データ及び音声データを他方に送信するように制御するように構成されていてもよい。
(3)ユニファイドコミュニケーション装置において、二者間接続手段は、オペレータ端末から受信した画像データ及び音声データを第1の話者端末及び第2の話者端末に送信しないように制御するように構成されていてもよい。
(4)ユニファイドコミュニケーション装置において、コンテンツ表示制御手段は、オペレータ端末からの要求に応じて、オペレータ端末で指定されたコンテンツを第一の話者端末及び第二の話者端末に送信するように構成されていてもよい。
(5)ユニファイドコミュニケーション装置において、コンテンツ表示制御手段は、オペレータ端末からの要求に応じて、オペレータ端末で指定された画像データを第一の話者端末及び第二の話者端末に送信して表示部に表示させるように制御するように構成されていてもよい。
(6)ユニファイドコミュニケーションシステムは、オペレータが使用するオペレータ端末(例えば、オペレータ端末100によって実現される)と、第一話者が使用する第一話者端末(例えば、第一話者端末200によって実現される)と、第二話者が使用する第二話者端末(例えば、第二話者端末300によって実現される)と、サーバ装置(例えば、サーバ装置400によって実現される)とを備え、オペレータ端末は、オペレータの操作に従って、オペレータ端末と第一話者端末との間で音声データおよび画像データの通信を可能とするオペレータ第一話者接続要求をサーバ装置に送信するオペレータ第一話者間接続要求手段(例えば、オペレータ第一話者間接続要求手段101によって実現される)と、オペレータの操作に従って、オペレータ端末と第二話者端末との間で音声データおよび画像データの通信を可能とするオペレータ第二話者接続要求をサーバ装置に送信するオペレータ第二話者間接続要求手段(例えば、オペレータ第二話者間接続要求手段102によって実現される)と、オペレータの操作に従って、第一話者端末と第二話者端末との間で音声データおよび画像データの通信を可能とする第一話者第二話者接続要求をサーバ装置に送信する第一話者第二話者間接続要求手段(例えば、第一話者第二話者間接続要求手段103によって実現される)と、オペレータの操作に従って、第一話者端末と第二話者端末とに同時に同じコンテンツを表示させるコンテンツ表示要求をサーバ装置に送信する三話者間コンテンツ表示要求手段(例えば、三話者間コンテンツ表示要求手段104によって実現される)とを含み、サーバ装置は、オペレータ第一話者間接続要求手段からオペレータ第一話者接続要求を受信すると、オペレータ端末と第一話者端末との間で音声データおよび画像データの通信を可能とする接続を確立するオペレータ第一話者間接続手段(例えば、オペレータ第一話者間接続手段401によって実現される)と、オペレータ第二話者間接続要求手段からオペレータ第二話者接続要求を受信すると、オペレータ端末と第二話者端末との間で音声データおよび画像データの通信を可能とする接続を確立するオペレータ第二話者間接続手段(例えば、オペレータ第二話者間接続手段402によって実現される)と、第一話者第二話者間接続要求手段から第一話者第二話者接続要求を受信すると、第一話者端末と第二話者端末との間で音声データ及び画像データの通信を可能とする接続を確立し、同時に、オペレータ端末と第一話者端末間との接続のうちオペレータ端末から第一話者端末への音声データ及び画像データの送信を遮断し、オペレータ端末と第二話者端末間の接続のうちオペレータ端末から第二話者端末への音声データおよび画像データの送信を遮断する第一話者第二話者間接続手段(例えば、第一話者第二話者間接続手段403によって実現される)と、三話者間コンテンツ表示要求手段からコンテンツ表示要求を受信すると、サーバ装置からオペレータ端末、第一話者端末および第二話者端末に対し、同一のコンテンツを送信して表示させるように制御する三話者間コンテンツ表示制御手段(例えば、三話者間コンテンツ表示制御手段404によって実現される)とを含み、第一話者端末および第二話者端末は、サーバ装置から接続の確立時に接続要求を受信すると、話者による承諾操作の有無に関わらず接続の確立を受諾する接続受諾手段(例えば、接続受諾手段201によって実現される)と、サーバ装置からコンテンツとともに表示要求を受信すると、コンテンツを表示部に表示するコンテンツ表示手段(例えば、コンテンツ表示手段202によって実現される)とをそれぞれ含むことを特徴とする。
本発明は、ネットワーク回線を介して遠隔の離れた二者が相談を行うような、遠隔医療、遠隔健康相談、遠隔購買相談、遠隔教育、コールセンター等の相談窓口などに適用することができ、特に、遠隔医療や遠隔教育は音声通話だけでは伝わりにくいため、双方の映像情報と、説明用のコンテンツを双方で共有して閲覧しながらの遠隔相談に適用できる。特に、相談をする人、相談を受ける人、双方にITスキルが無い場合に、第三者である遠隔にいるオペレータがその双方の操作を全て代行することにより、スムーズな遠隔相談の運用が可能となる。
1 オペレータ第一話者間接続手段
2 オペレータ第二話者間接続手段
3 二話者間接続手段
4 コンテンツ表示制御手段
100 オペレータ端末
101 オペレータ第一話者間接続要求手段
102 オペレータ第二話者間接続要求手段
103 第一話者第二話者間接続要求手段
104 三話者間コンテンツ表示要求手段
200 第一話者端末
201 接続受諾手段
202 コンテンツ表示手段
300 第二話者端末
400 サーバ装置
401 オペレータ第一話者間接続手段
402 オペレータ第二話者間接続手段
403 第一話者第二話者間接続手段
404 三話者間コンテンツ表示制御手段

Claims (8)

  1. オペレータが使用するオペレータ端末からの要求に応じて、前記オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立するオペレータ第一話者間接続手段と、
    前記オペレータ端末からの要求に応じて、前記オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立するオペレータ第二話者間接続手段と、
    前記オペレータ端末からの要求に応じて、前記第一の話者端末と前記第二の話者端末との間のネットワーク接続を確立する二話者間接続手段と、
    前記オペレータ端末からの要求に応じて、ネットワーク接続を確立した前記第一の話者端末及び前記第二の話者端末に前記オペレータ端末で指定されたコンテンツを送信し、送信されたコンテンツを前記第一の話者端末の表示部及び前記第二の話者端末の表示部に表示させるように制御するコンテンツ表示制御手段とを
    含むことを特徴とするユニファイドコミュニケーション装置。
  2. オペレータ第一話者間接続手段は、オペレータ端末と第一の話者端末とのいずれか一方から受信した画像データ及び音声データを他方に送信するように制御し、
    オペレータ第二話者間接続手段は、前記オペレータ端末と第二の話者端末とのいずれか一方から受信した画像データ及び音声データを他方に送信するように制御し、
    二話者間接続手段は、前記第一の話者端末と前記第二の話者端末とのいずれか一方から受信した画像データ及び音声データを他方に送信するように制御する
    請求項1記載のユニファイドコミュニケーション装置。
  3. 二者間接続手段は、オペレータ端末から受信した画像データ及び音声データを第1の話者端末及び第2の話者端末に送信しないように制御する
    請求項2記載のユニファイドコミュニケーション装置。
  4. オペレータ端末で指定されたコンテンツには、画像データが含まれる
    請求項1から請求項のうちのいずれか1項に記載のユニファイドコミュニケーション装置。
  5. オペレータが使用するオペレータ端末と、
    第一の話者が使用する第一の話者端末と、
    第二の話者が使用する第二の話者端末と、
    前記第一の話者端末と前記第二の話者端末とのネットワークを介したユニファイドコミュニケーションを支援するユニファイドコミュニケーション装置とを備え、
    前記ユニファイドコミュニケーション装置は、
    前記オペレータ端末からの要求に応じて、前記オペレータ端末と前記第一の話者端末との間のネットワーク接続を確立するオペレータ第一話者間接続手段と、
    前記オペレータ端末からの要求に応じて、前記オペレータ端末と前記第二の話者端末との間のネットワーク接続を確立するオペレータ第二話者間接続手段と、
    前記オペレータ端末からの要求に応じて、前記第一の話者端末と前記第二の話者端末との間のネットワーク接続を確立する二話者間接続手段と、
    前記オペレータ端末からの要求に応じて、ネットワーク接続を確立した前記第一の話者端末及び前記第二の話者端末に前記オペレータ端末で指定されたコンテンツを送信し、送信されたコンテンツを前記第一の話者端末の表示部及び前記第二の話者端末の表示部に表示させるように制御するコンテンツ表示制御手段とを
    備えたことを特徴とするユニファイドコミュニケーションシステム。
  6. オペレータが使用するオペレータ端末と、
    第一話者が使用する第一話者端末と、
    第二話者が使用する第二話者端末と、
    サーバ装置とを備え、
    前記オペレータ端末は、
    前記オペレータの操作に従って、該オペレータ端末と前記第一話者端末との間で音声データおよび画像データの通信を可能とするオペレータ第一話者接続要求を前記サーバ装置に送信するオペレータ第一話者間接続要求手段と、
    前記オペレータの操作に従って、該オペレータ端末と前記第二話者端末との間で音声データおよび画像データの通信を可能とするオペレータ第二話者接続要求を前記サーバ装置に送信するオペレータ第二話者間接続要求手段と、
    前記オペレータの操作に従って、前記第一話者端末と前記第二話者端末との間で音声データおよび画像データの通信を可能とする第一話者第二話者接続要求を前記サーバ装置に送信する第一話者第二話者間接続要求手段と、
    前記オペレータの操作に従って、前記第一話者端末と前記第二話者端末とに同時に同じコンテンツを表示させるコンテンツ表示要求を前記サーバ装置に送信する三話者間コンテンツ表示要求手段とを含み、
    前記サーバ装置は、
    前記オペレータ第一話者間接続要求手段から前記オペレータ第一話者接続要求を受信すると、前記オペレータ端末と前記第一話者端末との間で音声データおよび画像データの通信を可能とする接続を確立するオペレータ第一話者間接続手段と、
    前記オペレータ第二話者間接続要求手段から前記オペレータ第二話者接続要求を受信すると、前記オペレータ端末と前記第二話者端末との間で音声データおよび画像データの通信を可能とする接続を確立するオペレータ第二話者間接続手段と、
    前記第一話者第二話者間接続要求手段から前記第一話者第二話者接続要求を受信すると、前記第一話者端末と前記第二話者端末との間で音声データ及び画像データの通信を可能とする接続を確立し、同時に、前記オペレータ端末と前記第一話者端末間との接続のうち前記オペレータ端末から前記第一話者端末への音声データ及び画像データの送信を遮断し、前記オペレータ端末と前記第二話者端末間の接続のうち前記オペレータ端末から前記第二話者端末への音声データおよび画像データの送信を遮断する第一話者第二話者間接続手段と、
    前記三話者間コンテンツ表示要求手段から前記コンテンツ表示要求を受信すると、該サーバ装置から前記オペレータ端末、前記第一話者端末および前記第二話者端末に対し、前記オペレータ端末で指定された同一のコンテンツを送信して表示させるように制御する三話者間コンテンツ表示制御手段とを含み、
    前記第一話者端末および前記第二話者端末は、
    前記サーバ装置から接続の確立時に接続要求を受信すると、話者による承諾操作の有無に関わらず接続の確立を受諾する接続受諾手段と、
    前記サーバ装置から前記コンテンツとともに表示要求を受信すると、前記コンテンツを表示部に表示するコンテンツ表示手段とをそれぞれ含む
    ことを特徴とするユニファイドコミュニケーションシステム。
  7. オペレータが使用するオペレータ端末からの要求に応じて、前記オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立し、
    前記オペレータ端末からの要求に応じて、前記オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立し、
    前記オペレータ端末からの要求に応じて、前記第一の話者端末と前記第二の話者端末との間のネットワーク接続を確立し、
    前記オペレータ端末からの要求に応じて、ネットワーク接続を確立した前記第一の話者端末及び前記第二の話者端末に前記オペレータ端末で指定されたコンテンツを送信し、
    送信されたコンテンツを前記第一の話者端末の表示部及び前記第二の話者端末の表示部に表示させるように制御する
    ことを特徴とするユニファイドコミュニケーション方法。
  8. コンピュータに、
    オペレータが使用するオペレータ端末からの要求に応じて、前記オペレータ端末と第一の話者が使用する第一の話者端末との間のネットワーク接続を確立するオペレータ第一話者間接続処理と、
    前記オペレータ端末からの要求に応じて、前記オペレータ端末と第二の話者が使用する第二の話者端末との間のネットワーク接続を確立するオペレータ第二話者間接続処理と、
    前記オペレータ端末からの要求に応じて、前記第一の話者端末と前記第二の話者端末との間のネットワーク接続を確立する二話者間接続処理と、
    前記オペレータ端末からの要求に応じて、ネットワーク接続を確立した前記第一の話者端末及び前記第二の話者端末に前記オペレータ端末で指定されたコンテンツを送信するコンテンツ送信処理と、
    送信されたコンテンツを前記第一の話者端末の表示部及び前記第二の話者端末の表示部に表示させるように制御するコンテンツ表示制御処理とを
    実行させるためのユニファイドコミュニケーションプログラム。
JP2011046830A 2011-03-03 2011-03-03 ユニファイドコミュニケーション装置、システム、方法及びプログラム Expired - Fee Related JP5729021B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011046830A JP5729021B2 (ja) 2011-03-03 2011-03-03 ユニファイドコミュニケーション装置、システム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011046830A JP5729021B2 (ja) 2011-03-03 2011-03-03 ユニファイドコミュニケーション装置、システム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012186558A JP2012186558A (ja) 2012-09-27
JP5729021B2 true JP5729021B2 (ja) 2015-06-03

Family

ID=47016259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011046830A Expired - Fee Related JP5729021B2 (ja) 2011-03-03 2011-03-03 ユニファイドコミュニケーション装置、システム、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5729021B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3835196B2 (ja) * 2001-04-02 2006-10-18 株式会社日立製作所 相談対応方法
JP4657801B2 (ja) * 2005-05-17 2011-03-23 株式会社回線媒体研究所 テレビ電話中継システム
JP2007228025A (ja) * 2006-02-21 2007-09-06 Oki Electric Ind Co Ltd 遠隔相談システム及び遠隔相談プログラム
JP2007228024A (ja) * 2006-02-21 2007-09-06 Oki Electric Ind Co Ltd 遠隔相談システム、遠隔相談プログラム及び仮想共有画面プログラム
US8731180B2 (en) * 2010-04-27 2014-05-20 Bank Of America Corporation Video collaboration call center queuing

Also Published As

Publication number Publication date
JP2012186558A (ja) 2012-09-27

Similar Documents

Publication Publication Date Title
US7653013B1 (en) Conferencing systems with enhanced capabilities
WO2013080702A1 (ja) テレビ電話装置
JPWO2008105429A1 (ja) 通信端末およびその制御方法
JP2008147877A (ja) 会議システム
JP2006238328A (ja) 会議システム及び会議端末装置並びに携帯端末装置
JP6451227B2 (ja) 情報処理装置、情報処理システム、プログラム、及び記録媒体
AU2013261271B2 (en) Transmission management system, transmission system, and transmission management system program
US9357164B2 (en) Establishing a remotely hosted conference initiated with one button push
CN102387154B (zh) 一种实现多方多媒体通讯的方法
JP2009194661A (ja) 会議端末装置
AU2013261274B2 (en) Relay device selection device, transmission system, and program for relay device selection device
JP2006352389A (ja) 映像配信システム、呼制御−映像配信連携サーバ及びそれらに用いる映像配信方法並びにそのプログラム
JP2012075024A (ja) 電子会議用端末装置、電子会議用端末装置における接続制御方法および接続制御プログラム
US20220391452A1 (en) Method for conducting an audio and/or video conference
JP2008148169A (ja) 通信装置、通信システム及びそれらに用いる通信方法並びにそのプログラム
TW201138421A (en) Video call system, calling-side terminal, receiving-side terminal, and program
JP5729021B2 (ja) ユニファイドコミュニケーション装置、システム、方法及びプログラム
WO2011010563A1 (ja) ビデオ通話システム、主側端末、従側端末、プログラム
JP2006304151A (ja) 電子会議設定プログラム、電子会議端末、電子会議設定方法
JP2013145955A (ja) コンテンツ共有方法、コンテンツ共有装置及びそのプログラム
JP2003274023A (ja) 通信会議システムと通信会議方法と通信会議プログラム
JP4768578B2 (ja) テレビ会議システム、及び、テレビ会議システムにおける制御方法
WO2022071337A1 (ja) コミュニケーションシステム、コミュニケーション方法、及びコミュニケーションプログラム
WO2022071340A1 (ja) コミュニケーションシステム、コミュニケーション方法、及びコミュニケーションプログラム
JP4324134B2 (ja) 通信システムおよび通信端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150323

R150 Certificate of patent or registration of utility model

Ref document number: 5729021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees