JP6085907B2 - 会議システム、イベント管理サーバ、および、プログラム - Google Patents

会議システム、イベント管理サーバ、および、プログラム Download PDF

Info

Publication number
JP6085907B2
JP6085907B2 JP2012142012A JP2012142012A JP6085907B2 JP 6085907 B2 JP6085907 B2 JP 6085907B2 JP 2012142012 A JP2012142012 A JP 2012142012A JP 2012142012 A JP2012142012 A JP 2012142012A JP 6085907 B2 JP6085907 B2 JP 6085907B2
Authority
JP
Japan
Prior art keywords
event
video
conference
audio
conference device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012142012A
Other languages
English (en)
Other versions
JP2013078105A (ja
Inventor
基倫 江森
基倫 江森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012142012A priority Critical patent/JP6085907B2/ja
Priority to EP12184043.3A priority patent/EP2571263B1/en
Priority to US13/613,568 priority patent/US8823768B2/en
Publication of JP2013078105A publication Critical patent/JP2013078105A/ja
Application granted granted Critical
Publication of JP6085907B2 publication Critical patent/JP6085907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、ネットワークを介して会議を実施する会議システム、イベント管理サーバ、および、プログラムに関する。
従来、カメラ、マイク、およびスピーカを備えたビデオ会議装置によって、遠隔地と映像および音声を共有して会議を実施する会議システムが知られている。このようなビデオ会議装置は、カメラ、マイク、およびスピーカが一体となっているため、持ち運びが可能であるという特徴がある。また、この会議システムでは、ビデオ会議装置をデスクに置くことができるため、会議出席者の近傍や会議出席者をはっきりと映すことができる。
一方、液晶やプラズマなどのフラットパネルやプロジェクタを用いた40インチ〜60インチ程度のサイズの大型のディスプレイにタッチパネルを搭載した、いわゆる「電子情報ボード」が知られている。そして、近年の電子情報ボードは、ほとんどが遠隔会議機能を搭載している。例えば、プラズマ電子情報ボードを使って映像や音声だけでなく、手書き文字もリアルタイムに共有できるものなどがある。
また、例えば、会議の発話者のいる各拠点の映像を共有して会議を実施する目的で、会議出席者の発話の間を検出すると、モニタへの表示を他拠点の映像に自動的に切り替える電子会議システムが開示されている(例えば、特許文献1参照)。
しかしながら、電子情報ボードを利用した会議では、会議出席者が電子情報ボードから離れているため、電子情報ボードによって撮像された映像では、会議出席者の顔の判別が難しかったり、誰が発言しているのかわからないという問題があった。一方、ビデオ会議装置を利用した会議では、会議出席者の顔をはっきりと映すことができるが、電子情報ボードの操作者はデスクの反対側にいることが多いため、映すことができないという問題があった。また、上述した特許文献1の電子会議システムを利用した場合でも、会議出席者と電子情報ボードの操作者の両方をはっきりと映すことはできない。
本発明は、上記に鑑みてなされたものであって、会議出席者をはっきり映すことができるとともに、操作者が会議装置を操作している場合には該操作者を映すことができ、会議を実施する際に円滑なコミュニケーションを実現できる会議システム、イベント管理サーバ、および、プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、第1拠点に設置された第1会議装置と第2会議装置とを備え、前記第1拠点と異なる拠点に設置された外部会議装置およびイベント管理サーバとネットワークを介して接続された会議システムであって、前記第1会議装置は、前記第1拠点の会議出席者を撮像する第1撮像手段を備え、前記第2会議装置は、前記第1拠点の会議出席者を撮像する第2撮像手段と、前記第1撮像手段により撮像された映像を受信する映像入力手段と、前記第1会議装置および前記第2会議装置において発生したイベントを検知する検知手段と、いずれかの前記会議装置において前記イベントが検知された場合、前記イベントの内容と、前記イベントが発生した前記会議装置を示すイベント発生装置情報と、を含むイベント情報を、前記イベント管理サーバに送信する第1送信手段と、を備え、前記イベント管理サーバは、前記イベントに固有のイベント識別情報と、前記イベントの内容の条件を示すイベント条件とを対応付けたイベント条件情報を記憶する記憶手段と、前記第2会議装置から、前記イベント情報を受信する第1受信手段と、受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像を、前記第1拠点の映像として決定するイベント処理手段と、決定された映像を撮像した前記会議装置を示す決定装置情報を、前記第2会議装置に送信する第2送信手段と、を備え、前記第2会議装置は、前記イベント管理サーバから、前記決定装置情報を受信する第2受信手段と、前記決定装置情報が示す前記会議装置によって撮像された映像を選択する選択手段と、をさらに備え、前記第1送信手段は、選択された映像を前記外部会議装置に送信することを特徴とする。
また、本発明は、第1拠点に設置される第1会議装置と第2会議装置とのうち、前記第2会議装置とネットワークを介して接続されたイベント管理サーバにおいて、前記第1会議装置および前記第2会議装置において発生するイベントに固有のイベント識別情報と、前記イベントの内容の条件を示すイベント条件とを対応付けたイベント条件情報を記憶する記憶手段と、前記第2会議装置から、前記イベントの内容および前記イベントが発生した前記会議装置を示すイベント発生装置情報を含むイベント情報を受信する受信手段と、受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像を、前記第1拠点の映像として決定するイベント処理手段と、決定された映像を撮像した前記会議装置を示す決定装置情報を、前記第2会議装置に送信する送信手段と、を備えることを特徴とする。
また、本発明は、第1拠点に設置される第1会議装置と第2会議装置とのうち、前記第2会議装置とネットワークを介して接続され、前記第1会議装置および前記第2会議装置において発生するイベントに固有のイベント識別情報と、前記イベントの内容の条件を示すイベント条件とを対応付けたイベント条件情報を記憶する記憶手段を備えるイベント管理サーバを、前記第2会議装置から、前記イベントの内容および前記イベントが発生した前記会議装置を示すイベント発生装置情報を含むイベント情報を受信する受信手段と、受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像を、前記第1拠点の映像として決定するイベント処理手段と、決定された映像を撮像した前記会議装置を示す決定装置情報を、前記第2会議装置に送信する送信手段と、として機能させるためのプログラムである。
本発明によれば、会議出席者をはっきり映すことができるとともに、操作者が会議装置を操作している場合は該操作者を映すことができ、会議を実施する際に円滑なコミュニケーションを実現できるという効果を奏する。
図1は、実施の形態1にかかる会議システムの全体構成の説明図である。 図2は、会議システムの構成を示すブロック図である。 図3は、会議システムにおいて実施される会議の流れを示すフローチャートである。 図4は、電子情報ボードのディスプレイに表示される映像の一例を示す図である。 図5は、実施の形態2にかかる会議システムの全体構成の説明図である。 図6は、会議システムの構成を示すブロック図である。 図7は、イベント情報の一例を示す説明図である。 図8は、イベント条件情報の一例を示す図である。 図9は、ジェスチャーと動作との対応の一例を示す図である。 図10は、装置情報の一例を示す図である。 図11は、会議システムにおいて実施される会議の流れを示すフローチャートである。 図12は、実施の形態1、2の電子情報ボードのハードウェア構成を示す図である。 図13は、実施の形態1、2のビデオ会議装置のハードウェア構成を示す図である。
以下に添付図面を参照して、会議システム、イベント管理サーバ、および、プログラムの実施の形態を詳細に説明する。
(実施の形態1)
図1は、実施の形態1にかかる会議システムの全体構成の説明図である。図1では、拠点Aと拠点Bとの間で会議を実施する場合を示している。拠点Aには、電子情報ボード11とビデオ会議装置12が設置されており、ビデオ会議装置12の周りには会議出席者P2、P3がおり、電子情報ボード11の近傍には、電子情報ボード11の操作者P1がいる。また、拠点Bには、電子情報ボード21とビデオ会議装置22が設置されており、同様に、ビデオ会議装置22の周りには会議出席者P5、P6がおり、電子情報ボード21の近傍には、電子情報ボード21の操作者P4がいる。なお、操作者も会議出席者に含まれる。また、電子情報ボードもビデオ会議装置も会議装置の一つとする。また、本実施の形態では、会議を2つの拠点で実施する場合を説明するが、3つ以上の拠点で会議を実施してもよい。
それぞれの拠点において、電子情報ボードとビデオ会議装置とは、USB(Universal Serial Bus)ケーブルやHDMI(High‐Definition Multimedia Interface)ケーブルなどの有線ケーブルで接続され、相互に通信を行うことができる。また、LAN経由で通信を行うように構成してもよい。そして、電子情報ボード11と電子情報ボード21(外部会議装置)とは、電話回線、無線ネットワーク、インターネットなどのネットワーク80を介して接続されている。
図2は、会議システムの構成を示すブロック図である。以下では、拠点Aに設置された会議システムとして、電子情報ボード11およびビデオ会議装置12について説明するが、拠点Bやその他の拠点に設置された電子情報ボードおよびビデオ会議装置についても同様である。
まず、電子情報ボード11について説明する。電子情報ボード11は、ネットワーク80経由で他の拠点(拠点B)と映像および音声を共有しながら会議を実施する。また、上述したように、電子情報ボード11は、ビデオ会議装置12と有線ケーブルで接続されており、ビデオ会議装置12から映像データおよび音声データを受信して映像を表示し、音声を再生することができる。また、電子情報ボード11からビデオ会議装置12に音声データを送信して音声を再生させることもできる。このように、電子情報ボード11は、ビデオ会議装置12と相互に連携することにより、どちらかの映像および音声を拠点Aの映像および音声として、他の拠点と共有するものである。
電子情報ボード11は、タッチパネルディスプレイ101と、スピーカ102と、カメラ103と、マイク104と、制御部105と、映像入力部106と、音声入出力部107と、通信部108と、記憶部109とを主に備えている。
タッチパネルディスプレイ101は、ディスプレイ上に電子情報(映像データ)を表示する。また、タッチパネルディスプレイ101は、電子ホワイトボード機能を備えており、操作者からのディスプレイに対する指や付属の電子ペンでの操作を受け付け、その指や電子ペンの動きを検知することでディスプレイ上に文字を手書きすることができる。
スピーカ102は、拠点Aにおいて集音された音声や、他の拠点から受信した音声を再生するものである。カメラ103は、拠点Aの会議出席者、特に、電子情報ボード11を操作する操作者P1を撮像するものである。マイク104は、拠点Aの会議出席者、特に、電子情報ボード11を操作する操作者P1の音声を集音するものである。
制御部105は、電子情報ボード11の全体を制御するものであり、入力制御部501と、出力制御部502と、検知部503と、選択部504と、送受信部505とを主に備えている。
入力制御部501は、会議出席者を撮像するカメラ103を制御するものである。すなわち、入力制御部501は、カメラ103により撮像された映像をキャプチャする。また、入力制御部501は、会議出席者の音声を集音するマイク104を制御するものであり、マイク104により集音された音声をキャプチャする。
出力制御部502は、タッチパネルディスプレイ101およびスピーカ102を制御するものである。すなわち、出力制御部502は、カメラ103やカメラ203(後述)により撮像された映像や通信部108により受信した拠点Bの映像をタッチパネルディスプレイ101に表示する。また、出力制御部502は、マイク104やマイク204(後述)により集音された音声や受信した拠点Bの音声をスピーカ102で再生する。
検知部503は、電子情報ボード11において発生したイベントを検知するものである。具体的には、検知部503は、電子情報ボード11のタッチパネルディスプレイ101に対する操作を受け付けた場合、操作を受け付けたことにより発生した操作イベントを検知する。また、検知部503は、マイク104により集音された音声が予め定めた所定の音量以上であった場合に、音声が所定の音量以上であったことによって発生した音量イベントを検知する。また、検知部503は、カメラ103によって撮像された映像に所定の特徴、例えば会議出席者が所定の動きをした場合に、該動きによって発生した映像イベントを検知する。また、検知部503は、ビデオ会議装置12において発生したイベントを検知する。この場合は、例えば、ビデオ会議装置12においてイベントが発生した場合、その旨を示す検知情報を受信することで、検知部503がビデオ会議装置12において発生したイベントを検知する。なお、以下の本実施の形態では、検知部503により操作イベントを検知した場合について説明する。
選択部504は、検知部503により電子情報ボード11におけるイベント、例えば操作イベントが検知された場合、操作イベントが発生した装置である電子情報ボード11によって撮像された映像および集音された音声を、拠点Aの映像および音声として選択する。また、選択部504は、検知部503により電子情報ボード11においてイベントが検知されていない場合、ビデオ会議装置12によって撮像された映像および集音された音声を、拠点Aの映像および音声として選択する。なお、イベントが検知されていない場合に、ビデオ会議装置12の映像および音声を拠点Aの映像および音声とすることは、予め設定しておく。
送受信部505は、拠点Bなどの他の拠点との会議を開始する際に、ビデオ会議装置12に会議出席者を撮像した映像データおよび会議出席者の音声を集音した音声データを、電子情報ボード11に送信する旨の出力指示を、ビデオ会議装置12に送信する。
映像入力部106は、ビデオ会議装置12(電子情報ボード11以外の会議装置)により撮像された映像データを受信するものである。
音声入出力部107は、ビデオ会議装置12(電子情報ボード11以外の会議装置)により集音された音声データを受信するものである。また、音声入出力部107は、電子情報ボード21から受信した拠点Bの音声データをビデオ会議装置12のスピーカ202(後述)で再生させるため、受信した拠点Bの音声データをビデオ会議装置12に送信する。
通信部108は、拠点Bとの間で制御信号や映像データおよび音声データを送受信する。具体的には、通信部108は、選択部504により選択された映像(映像データ)および音声(音声データ)を、拠点Aの映像および音声として、電子情報ボード21に送信する。すなわち、本実施の形態では、通信部108は、映像入力部106により受信した映像および音声入出力部107により受信した音声、または電子情報ボード11のカメラ103により撮像された映像およびマイク104により集音された音声のいずれかを、拠点Aの映像および音声として電子情報ボード21に送信する。また、通信部108は、会議の実施を開始する場合に、電子情報ボード21に会議を開催する旨を示す会議開催通知を送信する。
記憶部109は、撮像された映像データや集音された音声データ、受信した映像データや音声データなどを必要に応じて記憶するHDD(Hard Disk Drive)やメモリ等の記憶媒体である。
次に、ビデオ会議装置12について説明する。ビデオ会議装置12は、スピーカ、カメラ、およびマイクを備えた持ち運びが可能な一体型の会議装置である。そして、ビデオ会議装置12は、電子情報ボード11と有線ケーブルで接続され、電子情報ボード11経由で他の拠点(拠点B)と映像および音声を共有しながら会議を実施する。また、ビデオ会議装置12は、電子情報ボード11から音声データを受信して、音声を再生することができる。ここでは、ネットワーク80に接続された電子情報ボード11を介してビデオ会議装置12の映像および音声を送信する構成としているが、ビデオ会議装置12をネットワーク80に接続し、ネットワーク80経由で電子情報ボード11や他の拠点に映像および音声を送信する構成にしてもよい。
ビデオ会議装置12は、スピーカ202と、カメラ203と、マイク204と、制御部205と、映像出力部206と、音声入出力部207と、記憶部209とを主に備えている。
スピーカ202は、拠点Aにおいて集音された音声や、他の拠点から受信した音声を再生するものである。カメラ203は、拠点Aの会議出席者、特に、ビデオ会議装置12の周りにいる会議出席者P2、P3を撮像するものである。マイク204は、拠点Aの会議出席者、特に、ビデオ会議装置12の周りにいる会議出席者P2、P3の音声を集音するものである。
制御部205は、ビデオ会議装置12の全体を制御するものであり、入力制御部551と、出力制御部552と、送受信部553とを主に備えている。
入力制御部551は、会議出席者を撮像するカメラ203を制御するものであり、電子情報ボード11から出力指示を受信した場合にカメラ203により撮像を開始し、カメラ203により撮像された映像をキャプチャする。また、入力制御部551は、会議出席者の音声を集音するマイク204を制御するものであり、電子情報ボード11から出力指示を受信した場合にマイク204により音声の集音を開始し、マイク204により集音された音声をキャプチャする。
出力制御部552は、スピーカ202を制御するものであり、マイク104やマイク204により集音された音声や受信した拠点Bの音声をスピーカ202で再生する。
送受信部553は、拠点Bなどの他の拠点との会議を開始する際に、会議出席者を撮像し、会議出席者の音声を集音した、映像および音声を、電子情報ボード11に送信する旨の出力指示を、電子情報ボード11から受信する。
映像出力部206は、カメラ203により撮像された映像を、電子情報ボード11に送信するものである。
音声入出力部207は、マイク204により集音された音声を電子情報ボード11に送信したり、受信した拠点Bの音声やマイク104により集音された音声を電子情報ボード11から受信するものである。
記憶部209は、撮像された映像データや集音された音声データ、受信した映像データや音声データなどを必要に応じて記憶するHDDやメモリ等の記憶媒体である。
このような電子情報ボード11およびビデオ会議装置12を備えた会議システムにおいて会議を開催する場合の流れの概要について説明する。まず、電子情報ボード11を操作して、会議を実施する相手の拠点(拠点B)の電子情報ボード21を呼び出し、映像および音声の共有を開始する。例えば、電子情報ボード11を操作し、電子情報ボード21のIPアドレスを入力して、通信部108により電子情報ボード21に会議開催する旨を示す会議開催通知を送信する。
そして、電子情報ボード11では、カメラ103およびマイク104により映像および音声のキャプチャを開始するとともに、送受信部505によりビデオ会議装置12に映像および音声の出力指示を送信する。送受信部553により出力指示を受信したビデオ会議装置12は、カメラ203およびマイク204により映像および音声をキャプチャし、電子情報ボード11に送信する。
ビデオ会議装置12から映像および音声を受信した電子情報ボード11では、選択部504により電子情報ボード11の映像および音声とビデオ会議装置12の映像および音声のうちいずれかの映像および音声を、拠点Aの映像・音声として選択する。そして、通信部108は、選択された映像および音声を電子情報ボード21に送信する。
拠点Aの映像および音声を受信した電子情報ボード21は映像を電子情報ボード21のディスプレイに表示し、音声を電子情報ボード21のスピーカかビデオ会議装置22のスピーカにより再生する。同様に、拠点Bの映像および音声を拠点Aで表示および再生することで、会議を実施する。
次に、電子情報ボードとビデオ会議装置とを備えた会議システムにおいて実施される会議の流れを詳細に説明する。図3は、会議システムにおいて実施される会議の流れを示すフローチャートである。図3では、例として、電子情報ボード11が会議を開催し、電子情報ボード21に映像データおよび音声データを送信する場合である。
まず、会議を開催する場合、通信部108は、電子情報ボード21に会議開催通知を送信する(ステップS10)。会議の開催方法は、既存の方法を用いる。例えば、SIP(Session Initiation Protocol)やXMPP(eXtensible Messaging and Presence Protocol)を用いて、会議を実施する。
会議が開始されると、入力制御部501は、カメラ103およびマイク104により、映像および音声のキャプチャを開始する(ステップS11)。また、送受信部505は、ビデオ会議装置12に映像および音声の出力指示を送信する(ステップS12)。送受信部553により電子情報ボード11から映像および音声の出力指示を受信したビデオ会議装置12は、入力制御部551がカメラ203およびマイク204により映像および音声のキャプチャを開始し、送受信部553が映像データおよび音声データを電子情報ボード11に送信する。
送受信部505は、ビデオ会議装置12から映像データおよび音声データを受信すると(ステップS13)、選択部504は、ビデオ会議装置12から受信した映像および音声を拠点Aの映像および音声とし、通信部108は、ビデオ会議装置12から受信した映像データおよび音声データを、他の拠点である拠点Bの電子情報ボード21に送信する(ステップS14)。そして、電子情報ボード21は、映像データおよび音声データを受信すると、拠点Bの会議システムで映像を表示し、音声を再生する。
ここで、拠点Aの会議出席者である操作者P1が電子情報ボード11を操作すると、操作イベントが発生し、検知部503は、電子情報ボード11の操作イベントを検知する。選択部504は、電子情報ボード11の操作イベントが検知されたか否かを判断する(ステップS15)。操作イベントが検知されていない場合(ステップS15:No)、ステップS13に戻って処理を繰り返す。
一方、操作イベントが検知された場合(ステップS15:Yes)、選択部504は、電子情報ボード11の映像および音声を、拠点Aの映像および音声として選択する(ステップS16)。通信部108は、選択された映像および音声、すなわち電子情報ボード11で撮像され集音された映像データおよび音声データを、他の拠点である拠点Bの電子情報ボード21に送信する(ステップS17)。
次に、選択部504は、電子情報ボード11の操作イベントが検知されたか否かを判断する(ステップS18)。操作イベントが検知された場合(ステップS18:Yes)、ステップS17に戻って処理を繰り返す。すなわち、電子情報ボード11の操作イベントの発生が継続する間は、電子情報ボード11の映像および音声を拠点Bの電子情報ボード21に送信する。
一方、操作イベントが検知されていない場合(ステップS18:No)、選択部504は、操作イベントが検知されていない状態で所定時間が経過したか否かを判断する(ステップS19)。所定時間が経過していない場合(ステップS19:No)、ステップS17に戻って処理を繰り返す。
一方、所定時間が経過した場合(ステップS19:Yes)、選択部504は、ビデオ会議装置12の映像および音声を、拠点Aの映像および音声として選択し(ステップS20)、ステップS13に戻って処理を繰り返す。
ここでは、電子情報ボード11において操作イベントが発生しない場合、ビデオ会議装置12の映像および音声を優先して拠点Bに送信しているが、逆に電子情報ボード11の映像および音声を優先して拠点Bに送信し、ビデオ会議装置12内でなんらかのイベントが発生した場合にビデオ会議装置12の映像および音声を拠点Bに送信する構成にしてもよい。例えば、ビデオ会議装置12でのイベントとして、操作イベントだけでなく、会議出席者の音声の音量が所定の音量以上であった場合に発生させるよう構成すれば、会議中の発言者にフォーカスすることができる。
次に、各拠点における電子情報ボードのディスプレイに表示される映像について説明する。図4は、電子情報ボードのディスプレイに表示される映像の一例を示す図である。
図4に示すように、拠点Aの操作者P1が電子情報ボード11を操作すると、電子情報ボード11で撮像された映像が拠点Aの映像として選択され、拠点Bの電子情報ボード21に表示される。このとき、相手の拠点(拠点B)に表示されている映像を確認するために、拠点Aの映像を電子情報ボード11に表示してもよい。
また、拠点Bでは電子情報ボード21が操作されていないため、ビデオ会議装置22で撮像された映像が拠点Bの映像として選択される。従って、この場合は、電子情報ボード11に表示される映像には、電子情報ボード21の近傍にいる操作者P4(会議出席者)は映っていない。
このように、本実施の形態の会議システムは、拠点Aと拠点Bとの間で会議を実施する際に、電子情報ボード11により撮像された映像および集音された音声、またはビデオ会議装置12により撮像された映像および集音された音声のいずれかを、拠点Aの映像および音声として選択し、相手先の拠点Bに送信することができる。従って、通常は、ビデオ会議装置12の映像および音声を拠点Bに送信していても、電子情報ボード11において操作イベント等のイベントが発生した場合には、電子情報ボード11の映像および音声を拠点Bに送信する。このため、ビデオ会議装置12の近傍にいる会議出席者P2、P3をはっきり映すことができるとともに、操作者P1が電子情報ボード11を操作している場合には操作者P1を映すことができ、会議を実施する際に円滑なコミュニケーションを実現できる。
また、電子情報ボード11において操作を受け付けた場合にイベントの発生を検知し、電子情報ボード11の映像および音声を拠点Aの映像および音声とすることで、電子情報ボード11の操作者に映像や音声をフォーカスすることができる。また、電子情報ボード11またはビデオ会議装置12が集音した音声の音量が所定の音量以上だった場合にイベントの発生を検知し、その音声を集音したいずれかの装置(会議装置)の映像および音声を拠点Aの映像および音声とすることで、会議での発言者に映像や音声をフォーカスすることができる。また、電子情報ボード11またはビデオ会議装置12により撮像された映像に所定の特徴、例えば会議出席者が所定の動きをした場合にイベントの発生を検知し、その映像を撮像したいずれかの装置(会議装置)の映像および音声を拠点Aの映像および音声とすることで、会議での発表者などの動きの多い人に映像や音声をフォーカスすることができる。
また、本実施の形態のビデオ会議装置12(22)は、カメラ、マイク、およびスピーカを備えた一体型の装置であるため、容易に持ち運びが可能であるとともに、複数のビデオ会議装置を省スペースで設置することができる。
(実施の形態2)
実施の形態1の会議システムでは、拠点内に電子情報ボードとビデオ会議装置を備え、電子情報ボードにおいて拠点の映像および音声を選択し、他の拠点に送信する構成となっていた。これに対し、本実施の形態の会議システムでは、拠点内に電子情報ボードとビデオ会議装置を備え、さらに、該電子情報ボードとネットワークで接続されたイベント管理サーバおよび映像・音声配信サーバを備えた構成となっている。イベント管理サーバは、拠点の映像および音声を決定し、映像・音声配信サーバは、映像および音声を他の拠点に配信するものである。
図5は、実施の形態2にかかる会議システムの全体構成の説明図である。図5では、拠点C、拠点D、および拠点Eの間で会議を実施する場合を示している。拠点Cには、電子情報ボード31とビデオ会議装置(テレビ会議装置)32が設置されており、ビデオ会議装置32の周りには会議出席者P2、P3がおり、電子情報ボード31の近傍には、電子情報ボード31の操作者P1がいる。また、拠点Dには、電子情報ボード41とビデオ会議装置42が設置されており、同様に、ビデオ会議装置42の周りには会議出席者P5、P6がおり、電子情報ボード41の近傍には、電子情報ボード41の操作者P4がいる。また、拠点Eには、電子情報ボード51とビデオ会議装置52が設置されており、同様に、ビデオ会議装置52の周りには会議出席者P8、P9がおり、電子情報ボード51の近傍には、電子情報ボード51の操作者P7がいる。なお、操作者も会議出席者に含まれる。また、電子情報ボードもビデオ会議装置も会議装置の一つとする。また、本実施の形態では、会議を3つの拠点で実施する場合を説明するが、2つの拠点もしくは4つ以上の拠点で会議を実施してもよい。
それぞれの拠点において、電子情報ボードとビデオ会議装置とは、実施の形態1と同様に有線ケーブルで接続され、相互に通信を行うことができる。また、LAN経由で通信を行うように構成してもよい。そして、各拠点の電子情報ボード31、41、51と、イベント管理サーバ60と、映像・音声配信サーバ70とは、ネットワーク80を介して接続されている。
イベント管理サーバ60は、どの会議装置(電子情報ボードまたはビデオ会議装置)の映像および音声を、拠点の映像および音声とするかを決定するサーバである。また、映像・音声配信サーバ70は、多拠点(拠点D、E)に映像および音声を配信するサーバである。ここで、多拠点間で会議を実施する場合に、電子情報ボードとビデオ会議装置はいずれか一方の映像データおよび音声データを他の全ての拠点に配信する必要がある。しかし、電子情報ボードかビデオ会議装置が全ての拠点に映像データおよび音声データを配信する構成にすると端末の負荷が大きくなってしまうため、実施の形態2では映像・音声配信サーバ70を利用している。
図6は、会議システムの構成を示すブロック図である。以下では、拠点Cに設置された電子情報ボード31およびビデオ会議装置32について説明するが、拠点D、Eやその他の拠点に設置された電子情報ボードおよびビデオ会議装置についても同様である。なお、ビデオ会議装置の機能および構成は、実施の形態1と同様である。
まず、電子情報ボード31について説明する。電子情報ボード31は、ネットワーク80経由で他の拠点(拠点D、E)と映像および音声を共有しながら会議を実施する。また、上述したように、電子情報ボード31は、ビデオ会議装置32と有線ケーブルで接続されており、ビデオ会議装置32から映像データおよび音声データを受信して映像を表示し、音声を再生することができる。また、電子情報ボード31からビデオ会議装置32に音声データを送信して音声を再生させることもできる。このように、電子情報ボード31は、ビデオ会議装置32と相互に連携することにより、どちらかの映像および音声を拠点Cの映像および音声として、他の拠点と共有するものである。
電子情報ボード31は、タッチパネルディスプレイ101と、スピーカ102と、カメラ103と、マイク104と、制御部305と、映像入力部106と、音声入出力部107と、通信部308と、記憶部109とを主に備えている。ここで、タッチパネルディスプレイ101と、スピーカ102と、カメラ103と、マイク104と、映像入力部106と、音声入出力部107と、記憶部109の構成および機能は実施の形態1と同様である。
通信部308は、イベント管理サーバ60や映像・音声配信サーバ70、各拠点との間で制御信号や映像データおよび音声データを送受信する。具体的には、通信部308は、いずれかの会議装置(電子情報ボード31またはビデオ会議装置32)においてイベントが検知された場合、イベントの内容およびイベントが発生した会議装置を示すイベント発生装置情報を含むイベント情報を、イベント管理サーバ60に送信する。
ここで、通信部308が送信するイベント情報の詳細について説明する。図7は、イベント情報の一例を示す説明図である。図7に示すように、イベント情報は、イベントのID(<event id>)、イベントの名前(<name>)、イベントの発生時間(<time>)、イベントの内容等を示すイベントに関連する各種パラメータ(<params>)、イベントが発生した会議装置を示すイベント発生装置情報(<device>)等が記述されている。図7の例では、電子情報ボード31において“mouse‐click”という操作イベントが発生したことがわかる。
また、通信部308は、イベント管理サーバ60から、拠点の映像として決定された映像を撮像し、かつ拠点の音声として決定された音声を集音した会議装置を示す決定装置情報を受信する。
また、通信部308は、映像入力部106により受信した映像および音声入出力部107により受信した音声、または電子情報ボード31のカメラ103により撮像された映像およびマイク104により集音された音声のいずれかを、決定装置情報に基づいて、拠点Aの映像および音声として映像・音声配信サーバ70に送信する。また、通信部308は、会議の実施を開始する場合に、電子情報ボード41、51に会議開催する旨を示す会議開催通知を送信する。
制御部305は、電子情報ボード31の全体を制御するものであり、入力制御部501と、出力制御部502と、検知部503と、選択部514と、送受信部505とを主に備えている。ここで、入力制御部501と、出力制御部502と、検知部503と、送受信部505の構成および機能は実施の形態1と同様である。
選択部514は、イベント管理サーバ60から受信した決定装置情報に基づいて、拠点の映像および音声とする映像および音声を選択する。すなわち、選択部514は、決定装置情報を参照して、拠点の映像および音声とする会議装置が変更されたか否かを判断し、変更されていない場合は、それまでと同様の会議装置の映像および音声を拠点の映像および音声として選択する。一方、変更されていた場合は、選択部514は、決定装置情報が示す会議装置の映像および音声を拠点の映像および音声として選択する。例えば、選択部514は、イベントが発生した会議装置を示す決定装置情報を受信した場合、該イベントが発生した会議装置によって撮像された映像および集音された音声を、拠点の映像および音声として選択する。
次に、イベント管理サーバ60について説明する。イベント管理サーバ60は、イベント処理部61と、通信部62と、記憶部65とから主に構成されている。
通信部62は、電子情報ボード31またはビデオ会議装置32において発生したイベントの内容、および当該イベントが発生した会議装置を示すイベント発生装置情報を含むイベント情報を受信する。また、通信部62は、イベント処理部61により拠点の映像として決定された映像を撮像し、かつ拠点の音声として決定された音声を集音した会議装置を示す決定装置情報を、拠点Cの電子情報ボード31や他の拠点の電子情報ボード41、51に送信する。
記憶部65は、拠点の映像および音声を決定するに必要な情報を備えたデータベースを保持している。まず、記憶部65は、イベントに固有のイベント識別情報と、イベントの内容の条件を示すイベント条件と、会議装置において発生したイベントの優先順位とを対応付けたイベント条件情報を記憶している。これは、イベント管理サーバ60がどの会議装置の映像および音声を拠点の映像および音声とするか決定するための情報である。
図8は、イベント条件情報の一例を示す図である。図8に示すように、イベント条件情報には、イベント識別情報としてのイベント名と、イベント条件(イベント内容の条件)と、イベントの優先順位とが対応付けられている。
図8では、拠点の映像および音声として決定される場合のイベント条件情報を記述している。すなわち、“mouse‐click”、“mouse‐move”、“mouse‐down”、“mouse‐up”、“mouse‐right‐button‐down”、“mouse‐right‐button‐up”といった基本的なイベントに加えて、“sound”、“video”といった応用イベントも規定している。これは、“mouse‐click”、“mouse‐move”、“mouse‐down”、“mouse‐up” 、“mouse‐right‐button‐down”、“mouse‐right‐button‐up”といった基本的なイベントが電子情報ボード31において発生した場合に、これらのイベントを発生させた電子情報ボード31の映像および音声を、拠点の映像および音声として決定するものである。
また、“sound”とは、マイク104により集音された音声の音量が予め定めた所定の音量以上であった場合(イベント条件の「音量大」)に、イベントの発生として検知するように電子情報ボード31を構成する。そして、該イベントを発生させた電子情報ボード31の映像および音声を、拠点の映像および音声として決定する。
また、“video”とは、カメラ103により撮像された映像に所定の特徴、例えば会議出席者が検出され、その会議出席者に所定の動きがあった場合(イベント条件の「人検出・動きあり」)に、イベントの発生として検知するように電子情報ボード31を構成する。そして、該イベントを発生させた電子情報ボード31の映像および音声を、拠点の映像および音声として決定する。なお、これらは、既存の音声認識技術、人物認識技術を用いて実現することができる。
このように、電子情報ボード31に単純なイベント(基本的なイベント)だけでなく、複雑なイベントの発生を検知できるようにしておくことにより、適切なタイミングで電子情報ボード31の映像および音声を選択して送信することが可能となる。なお、ここに記載していないイベントの発生が検知された場合には、電子情報ボード31の映像および音声が拠点の映像および音声になることはない。
また、これらイベントがほぼ同時に発生する可能性があるので、図8に示すように、イベントにはあらかじめ優先順位を設定しておく。ここでは、“mouse‐click”が一番優先されるイベントとなっている。
また、電子情報ボード31では、上記基本的なイベント(基本イベント)の他に、例えば電子情報ボード31に搭載されるアプリケーションの動作に応じた固有のイベントを生成する。例えば、電子情報ボード31にはホワイトボード等の専用アプリケーションが搭載されているが、このホワイトボードで新規ページの作成や、ページの切り替えを行うことができる。ここで、新規ページの作成は、ユーザーによる話題の転換が行われることが強く予想される。このため、これらのイベントを検知して画面を切り替えることで、遠隔ユーザーに対して視覚的な注意を促すことができる。
また一方、電子情報ボード31には専用の電子ペンを使って書き込みを行うことができるが、この電子ペンにはボタンが備えられている。電子ペンのボタンを押すと、電子情報ボード31はボタンの押下を検知し、“mouse‐right‐button‐down”、“mouse‐right‐button‐up”イベントにマッピングする。ここで、電子情報ボード31内のアプリケーションは“mouse‐right‐button‐down”イベントを検知すると、“mouse‐right‐button‐up”イベントを検知するまで、電子ペンのモードを書き込みモードから消しゴムモードに切り替える。消しゴムモードに切り替えたということは、ユーザーにより書き込みの修正が行われることが強く予想される。このため、このイベントを検知して画面を切り替えることで、遠隔ユーザーに対して視覚的な注意を促すことができる。
さらに、上記基本イベントを組み合わせて固有のイベントを生成することもできる。例えば、“mouse‐move”イベントからマウスカーソルの動きを検知して、ジェスチャーを認識する。ジェスチャーには、“Zoom”、“Pan”、“Rotate”、“Swipe”などの種類がある。電子情報ボード31内のアプリケーションは、これらのジェスチャーそれぞれに対応した動作を行う。
図9は、ジェスチャーと動作との対応の一例を示す図である。図9では、“Zoom”、“Pan”、“Swipe”に対して、それぞれ“画面拡大”、“画面スクロール”、“ページ切替”が対応づけられる例が示されている。なお、記号“−”は、“Rotate”に対して動作が割り当てられないことを表している。
例えば、“Swipe”が認識されると、電子情報ボード31内のアプリケーションはページの切替等を行う。ページの切替は、ユーザーによる話題の転換が行われることが強く予想される。このため、このイベントを検知して画面を切り替えることで、遠隔ユーザーに対して視覚的な注意を促すことができる。
また、電子情報ボード31には、例えばノートPCを接続し、その画面を表示することができる。ノートPCを接続されると、ユーザーがプレゼンテーションを開始することが強く予想される。このため、このイベントを検知して画面を切り替えることで、遠隔ユーザーに対して視覚的な注意を促すことができる。
また、電子情報ボード31に赤字で手書きを開始したときにイベントを発生させ、これを検知することで画面を切り替えることもできる。赤字はユーザーが強調したい場合に入力されることが多い。このため、このイベントを検知して画面を切り替えることで、遠隔ユーザーに対して視覚的な注意を促すことができる。
このように、電子情報ボード31は様々な固有イベントを生成するため、これらを用いることで効果的な画面切り替えを実現する。なお、どの基本イベントや応用イベントにより画面の切替を行うか、および、どのタイミングで画面の切替を行うかは、例えばイベント管理サーバ60が決定する。
また、記憶部65は、複数の会議装置(電子情報ボードおよびビデオ会議装置)に固有の装置識別情報と、撮像された映像および集音された音声が拠点の映像および音声として決定される会議装置の優先順位とが対応付けられた装置情報を記憶している。図10は、装置情報の一例を示す図である。図10に示すように、装置情報は、装置識別情報としての装置名(「電子情報ボード31」「ビデオ会議装置32」)、タイプ(「Interactive whiteboard」「teleconferencing device」)、IPアドレス(「192.168.11.11」「192.168.11.12」)、ポート番号(「11000」「11001」)と、いずれの拠点に設置されているかを示す拠点(「拠点C」「拠点D」)と、拠点の映像および音声としての採用の有無(○または×)と、各拠点内の会議装置の優先順位とが対応付けられている。
イベント管理サーバ60は、会議装置のイベント情報を受信した場合に、この装置情報を参照して、当該会議装置が現在拠点の映像および音声として採用されているか否かを判断する。また、イベント管理サーバ60は、イベント情報の受信後、予め定めた所定時間が経過しても新規のイベント情報が当該会議装置から送信されなかった場合に、この装置情報を参照して、他の会議装置の映像および音声を拠点の映像および音声として決定するかどうかを判断する。例えば、拠点Cでは電子情報ボード31の映像および音声を拠点Cの映像および音声として他の拠点(拠点D、E)に配信中であるが、イベント管理サーバ60は、電子情報ボード31からのイベント情報の受信後、所定時間が経過した場合、電子情報ボード31より優先順位の高いビデオ会議装置32の映像および音声を拠点Cの映像および音声として決定し、ビデオ会議装置32の映像および音声を送信するように指示を出す。
イベント処理部61は、どの会議装置の映像および音声を拠点の映像および音声とするかを、記憶部65に記憶されたイベント条件情報および装置情報を参照して決定するものである。具体的には、電子情報ボード31から受信したイベント情報におけるイベントの内容が、記憶部65に記憶されているイベント条件を満たす場合、イベント情報におけるイベント発生装置情報が示す会議装置によって撮像された映像および集音された音声を、拠点Cの映像および音声として決定する。
また、イベント処理部61は、イベント情報の受信後に予め定めた所定時間が経過しても新規のイベント情報を受信しなかった場合、記憶部65に記憶されている装置情報における会議装置の優先順位の高い会議装置によって撮像された映像および音声を、拠点Cの映像および音声として決定する。また、イベント処理部61は、複数のイベント情報をほぼ同時に受信した場合(同時または連続して受信した場合)、記憶部65に記憶されたイベント条件情報におけるイベントの優先順位の高いイベントが発生した会議装置によって撮像された映像および音声を、拠点Cの映像および音声として決定する。
また、イベント処理部61は、受信したイベント情報により、拠点の映像および音声を決定した場合、拠点の映像として決定した映像を撮像し、かつ拠点の音声として決定した音声を集音した会議装置を示す決定装置情報を、通信部62を介して拠点Cの電子情報ボード31や他の拠点の電子情報ボード41、51に送信させる。
また、このようにイベント管理サーバ60がイベントを一括して管理および処理することで、他の拠点(映像および音声の送信先の拠点)の会議装置にイベントが発生したことによる動作を変更させるよう構成することができる。つまり、例えば、電子情報ボード31において操作イベントが発生した場合に、電子情報ボード31の映像および音声が他の拠点に配信されるが、それを受信した他の拠点の電子情報ボードは映像をハイライトして会議出席者に電子情報ボード31が操作されていることを知らせることができる。
次に、映像・音声配信サーバ70について説明する。映像・音声配信サーバ70は、通信部71と、映像配信部72と、音声配信部73と、記憶部75とから主に構成されている。
通信部71は、各拠点の電子情報ボード31、41、51から映像および音声を受信するものである。
記憶部75は、装置情報を記憶するものである。映像・音声配信サーバ70は映像および音声を受信したときに他の拠点の会議装置(電子情報ボード)に該映像および音声を配信するためにこの情報を利用する。装置情報の詳細は、イベント管理サーバ60に記憶されている装置情報と同様である(図10参照)。
映像配信部72は、通信部71により受信した映像を、記憶部75に記憶された装置情報を参照して、他の全ての拠点(映像を受信した電子情報ボードが設置された拠点以外の拠点)の電子情報ボードに配信するものである。音声配信部73は、通信部71により受信した音声を、記憶部75に記憶された装置情報を参照して、他の全ての拠点(音声を受信した電子情報ボードが設置された拠点以外の拠点)の電子情報ボードに配信するものである。例えば、通信部71により電子情報ボード31から映像および音声を受信した場合には、拠点Dと拠点Eの電子情報ボード(電子情報ボード41、電子情報ボード51)に映像および音声を配信する。
なお、映像配信部72および音声配信部73は、受信した映像や音声をそのまま配信してもよいし、回線のスペックや状態に応じて圧縮・暗号化して配信してもよい。また、ここでは映像および音声の配信を1つの映像・音声配信サーバ70で実現しているが、別々のサーバでそれぞれ実現してもよい。また、装置情報は、イベント管理サーバ60のものを参照する構成としてもよい。
次に、電子情報ボードとビデオ会議装置とイベント管理サーバと映像・音声配信サーバとを備えた会議システムにおいて実施される会議の流れを詳細に説明する。図11は、会議システムにおいて実施される会議の流れを示すフローチャートである。図11では、例として、拠点Cの電子情報ボード31から拠点Dの電子情報ボード41および拠点Eの電子情報ボード51に映像データおよび音声データを送信する場合である。
拠点Cの会議装置においてイベントの発生が検知された場合、電子情報ボード31の通信部308は、イベント情報をイベント管理サーバ60に送信する(ステップS30)。イベント管理サーバ60の通信部62は、イベント情報を受信する(ステップS31)。
そして、イベント処理部61は、イベント条件情報および装置情報を参照して、電子情報ボード31またはビデオ会議装置32のいずれかの映像および音声から、拠点Cの映像および音声を決定する(ステップS32)。そして、通信部62は、イベント処理部61により拠点Cの映像および音声が決定された場合、決定された映像および音声を撮像および集音した会議装置を示す決定装置情報を電子情報ボード31に送信する(ステップS33)。
電子情報ボード31の通信部308は、イベント管理サーバ60から決定装置情報を受信する(ステップS34)。選択部514は、決定装置情報を参照して、拠点の映像および音声とする会議装置が変更されたか否かを判断し(ステップS35)、変更されていない場合(ステップS35:No)は、拠点の映像および音声の選択を変更せず、ステップS37の処理に進む。一方、変更されている場合(ステップS35:Yes)、選択部514は、決定装置情報が示す会議装置の映像および音声を拠点の映像および音声として選択する(ステップS36)。そして、通信部308は、選択された映像および音声を映像・音声配信サーバ70に送信する(ステップS37)。
イベント管理サーバ60の処理に戻って、ステップS33で決定装置情報を送信した後、イベント処理部61は、決定装置情報を参照して、拠点の映像および音声とする会議装置が変更されたか否かを判断し(ステップS38)、変更されていない場合(ステップS38:No)は、ステップS40の処理に進む。一方、変更されている場合(ステップS38:Yes)、通信部62は、他の拠点の電子情報ボードに決定装置情報を送信する(ステップS39)。
そして、イベント処理部61は、イベント経過時間を監視し(ステップS40)、新規のイベント情報を受信したか否かを判断する(ステップS41)。これは、例えば電子情報ボード31が操作されなくなりイベント情報が送信されなくなった場合に映像および音声の配信をビデオ会議装置32に戻すためである。新規のイベント情報を受信した場合(ステップ41:Yes)、イベント経過時間の監視を終了し(ステップS42)、処理を終了する。すなわち、ステップS31からの処理を繰り返す。
一方、新規のイベント情報を受信していない場合(ステップ41:No)、ステップS31におけるイベント情報の受信後、予め定めた所定時間が経過したか否かを判断し(ステップS43)、所定時間が経過していない場合(ステップS43:No)、ステップS40に戻って処理を繰り返す。
一方、所定時間が経過した場合(ステップS43:Yes)、装置情報における会議装置の優先順位の高い会議装置によって撮像された映像および音声を、拠点Cの映像および音声として決定し、決定装置情報を電子情報ボード31に送信し(ステップS44)、ステップS34の処理を行う。
映像・音声配信サーバ70において、ステップS37において電子情報ボード31から映像および音声が送信された場合、通信部71は、映像および音声を受信する(ステップS45)。そして、映像配信部72および音声配信部73は、受信した映像および音声それぞれを他の拠点の電子情報ボード41、51に送信する(ステップS46)。
他の拠点の電子情報ボード41、51は、ステップS39においてイベント管理サーバ60から決定装置情報が送信された場合、決定装置情報を受信する(ステップS47)。そして、通信部が映像および音声を受信し(ステップS48)、出力制御部が映像をディスプレイに表示し、その表示の際に映像のフレームをハイライトし(ステップS49)、音声をスピーカから再生する(ステップS50)。なお、音声は電子情報ボードとビデオ会議装置のどちらで再生する構成としてもよい。
本実施の形態では、映像・音声配信サーバ70に送信する映像および音声は電子情報ボード31が、電子情報ボード31とビデオ会議装置32どちらか一方の映像データおよび音声データを選択し、映像・音声配信サーバ70に送信するよう構成されているが、逆にビデオ会議装置32が送信するように構成してもよい。
また、本実施の形態では電子情報ボード31が電子情報ボード31とビデオ会議装置32の両方のイベント情報をイベント管理サーバ60に送信する構成となっている。しかし、ビデオ会議装置32もネットワーク80に接続してそれぞれの会議装置がイベント情報をイベント管理サーバ60に送信するように構成してもよい。また、ビデオ会議装置32もネットワーク80に接続し、イベント管理サーバ60から決定装置情報を受けたいずれかの会議装置が映像および音声を送信するよう構成してもよい。
このように、本実施の形態の会議システムは、拠点Cと拠点Dと拠点Eとの間で会議を実施する際に、会議装置においてイベントが発生した場合、電子情報ボード31からイベント管理サーバ60にイベント情報を送信する。そして、イベント管理サーバ60において、電子情報ボード31により撮像された映像および集音された音声、またはビデオ会議装置32により撮像された映像および集音された音声のいずれかを、拠点Cの映像および音声として決定し、その決定に従い、電子情報ボード31は拠点Cの映像および音声を選択し、映像・音声配信サーバ70を介して拠点Dおよび拠点Eに送信する。従って、通常は、ビデオ会議装置32の映像および音声を拠点Dおよび拠点Eに送信していても、電子情報ボード31において操作イベント等のイベントが発生した場合には、電子情報ボード31の映像および音声を拠点Dおよび拠点Eに送信することができる。このため、ビデオ会議装置32の近傍にいる会議出席者P2、P3をはっきり映すことができるとともに、操作者P1が電子情報ボード31を操作している場合には操作者P1を映すことができ、会議を実施する際に円滑なコミュニケーションを実現できる。
また、電子情報ボード31において操作を受け付けた場合にイベントの発生を検知し、電子情報ボード31の映像および音声を拠点Cの映像および音声とすることで、電子情報ボード31の操作者に映像や音声をフォーカスすることができる。また、電子情報ボード31またはビデオ会議装置32が集音した音声の音量が所定の音量以上だった場合にイベントの発生を検知し、その音声を集音したいずれかの装置(会議装置)の映像および音声を拠点Cの映像および音声とすることで、会議での発言者に映像や音声をフォーカスすることができる。また、電子情報ボード31またはビデオ会議装置32により撮像された映像に所定の特徴、例えば会議出席者が所定の動きをした場合にイベントの発生を検知し、その映像を撮像したいずれかの装置(会議装置)の映像および音声を拠点Cの映像および音声とすることで、会議での発表者などの動きの多い人に映像や音声をフォーカスすることができる。
また、イベント管理サーバ60を備えたことで、イベントの管理を一元化でき、他の拠点の会議装置にイベントの発生を通知できる。また、イベント管理サーバ60では、撮像された映像および集音された音声が拠点の映像および音声として決定される会議装置の優先順位が記憶されており、該優先順位に従って拠点の映像および音声を決定できるため、会議装置においてイベントが発生していない場合に優先順位が高い会議装置の映像および音声を拠点の映像および音声とすることができる。また、イベント管理サーバ60では、会議装置において発生したイベントの優先順位が記憶されており、該優先順位に従って拠点の映像および音声を決定できるため、イベントがほぼ同時に発生しても拠点の映像および音声の決定を容易にできるとともに、映像および音声が頻繁に切り替わらないようにできる。
次に、電子情報ボードのハードウェア構成について説明する。図12は、実施の形態1、2の電子情報ボードのハードウェア構成を示す図である。図12に示すように、電子情報ボードは、CPU(Central Processing Unit)1と、ハードディスク2と、RAM(Random Access Memory)3と、VGAインターフェース(VGA I/F)4と、USBインターフェース(USB I/F)5とを備えている。
CPU1は、装置自体を制御するための各種のプログラムを実行する制御手段である。ハードディスク2は、上記の各種プログラムや書き込みデータを格納する記憶装置である。RAM3は、ハードディスク2に格納される各種プログラムや書き込みデータが、CPU1による処理のために展開されるものである。VGA I/F4は、タッチパネルディスプレイ101におけるディスプレイ1011を接続するインターフェースである。USB I/F5は、タッチパネル1013を接続するためのインターフェースである。
また、撮像素子I/F7は、カメラ103と接続し、カメラ103が撮像した画像を取得するためのインターフェースである。音声入出力I/F8は、マイク104、スピーカ102と接続し、マイク104による音声入力や、スピーカ102を介した音声出力を行うインターフェースである。また、タッチパネルコントローラ1012は、タッチパネル1013を制御している。電子情報ボードは、さらに、ネットワークI/F6を備え、他の拠点の電子情報ボードと接続されている。
次に、ビデオ会議装置のハードウェア構成を説明する。図13は、実施の形態1、2のビデオ会議装置のハードウェア構成を示す図である。図13に示すように、ビデオ会議装置は、CPU1010、ROM1020、RAM1030、記憶部1050、メディアドライブ1070、操作部1080、ネットワークI/F1110、撮像素子I/F1120、および音声入出力I/F1130を備え、各部がバス1100により互いに接続される構成である。
CPU1010は、ROM1020や記憶部1050に記憶されたプログラム1040をRAM1030に展開して順次実行することで、ビデオ会議装置の動作を中央制御する。記憶部1050は、HDDやSSD(Solid State Drive)などであり、読み出し/書き込み可能にデータを記憶する。具体的には、記憶部1050は、CPU1010が実行するためのプログラム1040や各種設定情報を記憶する。アップデートの際には、この記憶部1050に記憶されるプログラム1040や各種設定情報が更新される。
メディアドライブ1070は、光ディスクなどのメディア1060の読み出し/書き込みを行うドライブ装置である。操作部1080は、キーボード、各種操作キー等であり、ユーザの操作入力を受け付ける。ネットワークI/F1110は、ネットワークと接続してデータ通信を行うインターフェースである。
撮像素子I/F1120は、カメラ203と接続し、カメラ203が撮像した画像を取得するためのインターフェースである。音声入出力I/F1130は、マイク204、スピーカ202と接続し、マイク204による音声入力や、スピーカ202を介した音声出力を行うインターフェースである。
本実施の形態の電子情報ボードで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施の形態の電子情報ボードで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の電子情報ボードで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、本実施の形態のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。本実施の形態の電子情報ボードで実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から通信プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
11、21、31、41、51 電子情報ボード
12、22、32、42、52 ビデオ会議装置
60 イベント管理サーバ
61 イベント処理部
62 通信部
65 記憶部
70 映像・音声配信サーバ
71 通信部
72 映像配信部
73 音声配信部
75 記憶部
80 ネットワーク
101 タッチパネルディスプレイ
102 スピーカ
103 カメラ
104 マイク
105、305 制御部
106 映像入力部
107 音声入出力部
108、308 通信部
109 記憶部
202 スピーカ
203 カメラ
204 マイク
205 制御部
206 映像出力部
207 音声入出力部
209 記憶部
501 入力制御部
502 出力制御部
503 検知部
504、514 選択部
505 送受信部
551 入力制御部
552 出力制御部
553 送受信部
特開2006−304009号公報

Claims (12)

  1. 第1拠点に設置された第1会議装置と第2会議装置とを備え、前記第1拠点と異なる拠点に設置された外部会議装置およびイベント管理サーバとネットワークを介して接続された会議システムであって、
    前記第1会議装置は、
    前記第1拠点の会議出席者を撮像する第1撮像手段を備え、
    前記第2会議装置は、
    前記第1拠点の会議出席者を撮像する第2撮像手段と、
    前記第1撮像手段により撮像された映像を受信する映像入力手段と、
    前記第1会議装置および前記第2会議装置において発生したイベントを検知する検知手段と、
    いずれかの前記会議装置において前記イベントが検知された場合、前記イベントの内容と、前記イベントが発生した前記会議装置を示すイベント発生装置情報と、を含むイベント情報を、前記イベント管理サーバに送信する第1送信手段と、を備え、
    前記イベント管理サーバは、
    前記イベントに固有のイベント識別情報と、前記イベントの内容の条件を示すイベント条件とを対応付けたイベント条件情報を記憶する記憶手段と、
    前記第2会議装置から、前記イベント情報を受信する第1受信手段と、
    受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像を、前記第1拠点の映像として決定するイベント処理手段と、
    決定された映像を撮像した前記会議装置を示す決定装置情報を、前記第2会議装置に送信する第2送信手段と、を備え、
    前記第2会議装置は、
    前記イベント管理サーバから、前記決定装置情報を受信する第2受信手段と、
    前記決定装置情報が示す前記会議装置によって撮像された映像を選択する選択手段と、をさらに備え、
    前記第1送信手段は、選択された映像を前記外部会議装置に送信することを特徴とする会議システム。
  2. 前記第1会議装置は、
    前記第1拠点の会議出席者の音声を集音する第1集音手段をさらに備え、
    前記第2会議装置は、
    前記第1拠点の会議出席者の音声を集音する第2集音手段と、
    前記第1集音手段により集音された音声を受信する音声入力手段と、をさらに備え、
    前記イベント処理手段は、受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像および集音された音声を、前記第1拠点の映像および音声として決定し、
    前記第2送信手段は、決定された映像を撮像し、かつ決定された音声を集音した前記会議装置を示す前記決定装置情報を、前記第2会議装置に送信し、
    前記選択手段は、前記決定装置情報が示す前記会議装置によって撮像された映像および集音された音声を選択し、
    前記第1送信手段は、選択された映像および音声を前記外部会議装置に送信することを特徴とする請求項1に記載の会議システム。
  3. 前記記憶手段は、さらに、前記複数の会議装置に固有の装置識別情報と、撮像された映像および集音された音声が前記第1拠点の映像および音声として決定される前記会議装置の優先順位とが対応付けられた装置情報を記憶し、
    前記イベント処理手段は、前記イベント情報の受信後に所定時間が経過した場合、前記装置情報における前記会議装置の優先順位の高い前記会議装置によって撮像された映像および音声を、前記第1拠点の映像および音声として決定することを特徴とする請求項2に記載の会議システム。
  4. 前記イベント条件情報は、さらに、撮像された映像および集音された音声が前記第1拠点の映像および音声として決定される前記会議装置において発生した前記イベントの優先順位が対応付けられ、
    前記イベント処理手段は、複数の前記イベント情報を同時または連続して受信した場合、前記イベント条件情報における前記イベントの優先順位の高い前記イベントが発生した前記会議装置によって撮像された映像および音声を、前記第1拠点の映像および音声として決定することを特徴とする請求項2または3に記載の会議システム。
  5. 前記イベントは、前記第1撮像手段または前記第2撮像手段により撮像された映像に所定の特徴がある場合に発生することを特徴とする請求項1〜4のいずれか一つに記載の会議システム。
  6. 前記イベントは、前記第2会議装置に対する操作を受け付けた場合に発生することを特徴とする請求項2に記載の会議システム。
  7. 前記イベントは、前記第2集音手段により集音された音声が所定の音量以上であった場合に発生することを特徴とする請求項2に記載の会議システム。
  8. 前記イベントは、前記第2会議装置で実行されるアプリケーションの動作に応じて発生することを特徴とする請求項2に記載の会議システム。
  9. 前記第1会議装置は、前記第1撮像手段としてのカメラ、前記第1集音手段としてのマイク、および音声を出力するスピーカとを備えた一体型のビデオ会議装置を含むことを特徴とする請求項2〜4のいずれか一つに記載の会議システム。
  10. 前記第2会議装置は、前記第2撮像手段としてのカメラ、前記第2集音手段としてのマイク、および音声を出力するスピーカと、映像を表示するディスプレイを備え、前記ディスプレイに対する操作を受け付ける電子情報ボードを含むことを特徴とする請求項2〜4 のいずれか一つに記載の会議システム。
  11. 第1拠点に設置される第1会議装置と第2会議装置とのうち、前記第2会議装置とネットワークを介して接続されたイベント管理サーバにおいて、
    前記第1会議装置および前記第2会議装置において発生するイベントに固有のイベント識別情報と、前記イベントの内容の条件を示すイベント条件とを対応付けたイベント条件情報を記憶する記憶手段と、
    前記第2会議装置から、前記イベントの内容および前記イベントが発生した前記会議装置を示すイベント発生装置情報を含むイベント情報を受信する受信手段と、
    受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像を、前記第1拠点の映像として決定するイベント処理手段と、
    決定された映像を撮像した前記会議装置を示す決定装置情報を、前記第2会議装置に送信する送信手段と、
    を備えることを特徴とするイベント管理サーバ。
  12. 第1拠点に設置される第1会議装置と第2会議装置とのうち、前記第2会議装置とネットワークを介して接続され、前記第1会議装置および前記第2会議装置において発生するイベントに固有のイベント識別情報と、前記イベントの内容の条件を示すイベント条件とを対応付けたイベント条件情報を記憶する記憶手段を備えるイベント管理サーバを、
    前記第2会議装置から、前記イベントの内容および前記イベントが発生した前記会議装置を示すイベント発生装置情報を含むイベント情報を受信する受信手段と、
    受信した前記イベント情報における前記イベントの内容が前記イベント条件を満たす場合、前記イベント情報における前記イベント発生装置情報が示す前記会議装置によって撮像された映像を、前記第1拠点の映像として決定するイベント処理手段と、
    決定された映像を撮像した前記会議装置を示す決定装置情報を、前記第2会議装置に送信する送信手段と、
    として機能させるためのプログラム。
JP2012142012A 2011-09-13 2012-06-25 会議システム、イベント管理サーバ、および、プログラム Active JP6085907B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012142012A JP6085907B2 (ja) 2011-09-13 2012-06-25 会議システム、イベント管理サーバ、および、プログラム
EP12184043.3A EP2571263B1 (en) 2011-09-13 2012-09-12 Conference system, event management server, and program
US13/613,568 US8823768B2 (en) 2011-09-13 2012-09-13 Conference system, event management server, and program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011199470 2011-09-13
JP2011199470 2011-09-13
JP2012142012A JP6085907B2 (ja) 2011-09-13 2012-06-25 会議システム、イベント管理サーバ、および、プログラム

Publications (2)

Publication Number Publication Date
JP2013078105A JP2013078105A (ja) 2013-04-25
JP6085907B2 true JP6085907B2 (ja) 2017-03-01

Family

ID=47829498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012142012A Active JP6085907B2 (ja) 2011-09-13 2012-06-25 会議システム、イベント管理サーバ、および、プログラム

Country Status (3)

Country Link
US (1) US8823768B2 (ja)
EP (1) EP2571263B1 (ja)
JP (1) JP6085907B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2909701A4 (en) * 2012-10-19 2016-08-10 Interphase Corp MOTION COMPENSATION IN AN INTERACTIVE DISPLAY SYSTEM
US8982177B2 (en) * 2013-07-08 2015-03-17 Avaya Inc. System and method for whiteboard collaboration
WO2015019792A1 (ja) * 2013-08-09 2015-02-12 株式会社リコー 管理システム、プログラム、伝送システム、管理方法及び記憶媒体
US20150085060A1 (en) * 2013-09-20 2015-03-26 Microsoft Corporation User experience for conferencing with a touch screen display
US9363476B2 (en) * 2013-09-20 2016-06-07 Microsoft Technology Licensing, Llc Configuration of a touch screen display with conferencing
JP6455138B2 (ja) 2014-03-12 2019-01-23 株式会社リコー 会議システム、及び制御方法
CN104135484B (zh) * 2014-08-08 2018-07-13 广东和讯创智智能科技股份有限公司 一种集成交互式白板与视频会议的嵌入式系统
US10148708B2 (en) * 2014-11-26 2018-12-04 Ricoh Company, Ltd. Electronic information terminal, image processing apparatus, and information processing method
JP6531436B2 (ja) 2015-03-12 2019-06-19 株式会社リコー 通信システム、伝送端末、通信方法、プログラム
JP2017068329A (ja) * 2015-09-28 2017-04-06 株式会社リコー 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6589621B2 (ja) * 2015-12-21 2019-10-16 株式会社リコー 表示装置、カメラ位置制御方法、およびプログラム
US10417021B2 (en) 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US10409550B2 (en) * 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US9883144B2 (en) * 2016-05-12 2018-01-30 Fuji Xerox Co., Ltd. System and method for replacing user media streams with animated avatars in live videoconferences
WO2017218030A1 (en) 2016-06-16 2017-12-21 Level 3 Communications, Llc Concurrent collaboration conference port management
JP6733450B2 (ja) * 2016-09-15 2020-07-29 株式会社リコー ビデオ会議装置、情報処理方法およびプログラム
US10650813B2 (en) * 2017-05-25 2020-05-12 International Business Machines Corporation Analysis of content written on a board
IT201700096881A1 (it) * 2017-08-29 2019-03-01 Candy Spa Macchina lavabiancheria e metodo di selezione di modalità di lavaggio per una macchina lavabiancheria
US10951947B2 (en) * 2018-01-17 2021-03-16 Microsoft Technology Licensing, Llc Dynamic configuration of a user interface for bringing focus to target events
US10592735B2 (en) * 2018-02-12 2020-03-17 Cisco Technology, Inc. Collaboration event content sharing
JP7346857B2 (ja) * 2019-03-14 2023-09-20 株式会社リコー 会議情報管理システム、情報処理装置、制御方法、およびプログラム
CN113141484A (zh) * 2020-01-19 2021-07-20 成都皓宇腾科技有限公司 一种远程会议系统及方法
CN113055627A (zh) * 2021-02-05 2021-06-29 福建中会智通信息科技有限公司 一种会议系统和终端装置
US11758089B2 (en) * 2021-08-13 2023-09-12 Vtech Telecommunications Limited Video communications apparatus and method
KR102419932B1 (ko) * 2021-12-28 2022-07-13 주식회사 직방 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템
KR102419919B1 (ko) * 2021-12-28 2022-07-13 주식회사 직방 메타버스 기반의 오피스 환경에서 유저영상데이터 디스플레이 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 디스플레이 시스템
CN116567174A (zh) * 2023-05-31 2023-08-08 广州良程云启科技有限公司 一种视频会议管理方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6471392A (en) * 1987-09-11 1989-03-16 Fujitsu Ltd Video photographing system
JPH0514884A (ja) * 1991-07-08 1993-01-22 Mitsubishi Electric Corp テレビ会議システム
JPH06276514A (ja) * 1993-03-19 1994-09-30 Fujitsu Ltd テレビ会議システムにおけるカメラ制御方式
JP3125552B2 (ja) * 1993-12-28 2001-01-22 三菱電機株式会社 テレビ会議システム
JP4453294B2 (ja) * 2003-07-31 2010-04-21 ソニー株式会社 マイクロフォン・スピーカ一体構成型・通話装置
JP4343081B2 (ja) 2004-10-18 2009-10-14 株式会社リコー 遠隔会議システム
JP2006270172A (ja) * 2005-03-22 2006-10-05 Fuji Xerox Co Ltd 管理システム及び表示制御方法
JP2006304009A (ja) 2005-04-21 2006-11-02 Fuji Xerox Co Ltd 電子会議システム
US8872879B2 (en) * 2006-01-26 2014-10-28 Polycom, Inc. System and method for controlling videoconference with touch screen interface
US20070291108A1 (en) * 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US9532001B2 (en) * 2008-07-10 2016-12-27 Avaya Inc. Systems, methods, and media for providing selectable video using scalable video coding
US8233026B2 (en) * 2008-12-23 2012-07-31 Apple Inc. Scalable video encoding in a multi-view camera system
US8885008B2 (en) 2009-12-25 2014-11-11 Ricoh Company, Limited Transmission management system, transmission system, computer program product, program providing system, and maintenance system
JP5691396B2 (ja) 2009-12-25 2015-04-01 株式会社リコー 伝送端末、伝送端末用プログラム、プログラム提供システム、及びメンテナンスシステム
JP5445161B2 (ja) * 2010-01-20 2014-03-19 株式会社リコー 遠隔会議システムの会議装置および遠隔会議システム
JP5644266B2 (ja) 2010-08-30 2014-12-24 株式会社リコー 電子黒板システム、電子黒板装置、電子黒板システムの制御方法及びプログラム
US20120216129A1 (en) * 2011-02-17 2012-08-23 Ng Hock M Method and apparatus for providing an immersive meeting experience for remote meeting participants
US9716858B2 (en) * 2011-03-07 2017-07-25 Ricoh Company, Ltd. Automated selection and switching of displayed information

Also Published As

Publication number Publication date
JP2013078105A (ja) 2013-04-25
EP2571263B1 (en) 2019-01-09
US8823768B2 (en) 2014-09-02
EP2571263A2 (en) 2013-03-20
EP2571263A3 (en) 2013-11-20
US20130063537A1 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
JP6085907B2 (ja) 会議システム、イベント管理サーバ、および、プログラム
JP7379907B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法
JP6171319B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
US10444955B2 (en) Selectable interaction elements in a video stream
CN101009806B (zh) 使用触摸屏界面控制视频会议的系统和方法
US9473741B2 (en) Teleconference system and teleconference terminal
US20090037827A1 (en) Video conferencing system and method
CN104378578A (zh) 一种切换视频源的方法及装置、显示装置
US7991829B2 (en) Electronic device, network connecting system, network connecting method, and program product therefor
US20110169858A1 (en) Input-output apparatus and input-output method
US20240064271A1 (en) System and method for augmented views in an online meeting
US20150341435A1 (en) Communication system, transfer control device, and communication method
JP4543694B2 (ja) コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
JP2022028798A (ja) 伝送管理システム、伝送システム、プログラム、プログラム提供システム、及びメンテナンスシステム
JP2016039633A (ja) 通信管理システム、通信システム、中継装置制御方法、及びプログラム
JP2016063477A (ja) 会議システム、情報処理方法、及びプログラム
JP6500366B2 (ja) 管理装置、端末装置、伝送システム、伝送方法およびプログラム
CN112799621A (zh) 批注显示方法和系统
JP2020194343A (ja) 情報処理システム、情報処理装置、情報処理システムの制御方法、ならびにプログラム
US8248452B2 (en) Communication method and network display apparatus using the same
JP7072766B2 (ja) 電子会議システム、情報処理装置、及びプログラム
JP6405793B2 (ja) 情報処理端末、表示方法、及びプログラム
JP2005208883A (ja) サポートシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170117

R151 Written notification of patent or utility model registration

Ref document number: 6085907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151