JP6781318B2

JP6781318B2 - 情報処理システム及び無線端末

Info

Publication number: JP6781318B2
Application number: JP2019181326A
Authority: JP
Inventors: 孝志松原
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2019-10-01
Filing date: 2019-10-01
Publication date: 2020-11-04
Anticipated expiration: 2035-11-24
Also published as: JP2020025284A

Description

本発明は、情報処理システム及び無線端末に関するものである。

本技術分野の背景技術として特許文献１には、「ユーザが、ネットワーク上で行われるテレビ会議や遠隔プレゼンテーションに適宜参加したり、これを適宜閲覧することができるプロジェクタを提供」することを目的とし、その目的を達成する手段として「ネットワークを介して、１以上のプロジェクタと接続されたプロジェクタであって、映像信号の入力を受ける入力手段と、入力手段における映像信号の入力の有無を判定する判定手段と、映像信号に基づいて、画像を投射する投射手段と、判定手段の判定結果に基づき、サーバモード、クライアントモードを選択するモード選択手段と、クライアントモードを選択した場合、ネットワーク上のサーバモードのプロジェクタから、このプロジェクタが投影する映像データを受信して、受信した映像データを投射手段に出力し、サーバモードを選択した場合、ネットワーク上のクライアントモードのプロジェクタに対して、投射手段が投影する映像データを送信する」プロジェクタが記載されている。

特開２００４−２３９９６８号公報

特許文献１に記載された技術を用いれば、テレビ会議に適宜参加することはできる。しかしながら、テレビ会議へ参加するために、プロジェクタのような装置がテレビ会議サーバへ接続して認証情報を送信等するため使い勝手が悪かった。また、スマートフォンによるテレビ電話、テレビ会議もあり、このための認証等も既にあるが、スマートフォンとプロジェクタとの連携に関しては考慮されていなかった。

そこで、本発明の目的は、ユーザの使い勝手をよくすることにある。

本発明は、その一例を挙げるならば、映像を表示する映像装置と、前記映像装置と通信し、他の機器とネットワーク経由で通信する無線端末と、を含む情報処理システムであって、
前記映像装置は、映像出力指示情報を前記無線端末から受信したことを検出した後に、前記映像装置のカメラと前記映像装置のマイクと前記映像装置のスピーカとが利用可能であることを前記無線端末へ通知し、前記無線端末から、前記他の機器へ前記ネットワーク経由で接続するために必要な情報を受信した場合に、前記ネットワーク経由で前記他の機器へ接続し、
前記無線端末は、認証情報を送信して前記他の機器へ前記ネットワーク経由で接続し、前記無線端末の表示部に、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用するか否かを選択する操作入力を受け付けるメニュー画面を表示し、
前記メニュー画面を介して、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用することを選択する操作入力が入力された場合に、前記他の機器へ前記ネットワーク経由で接続するために必要な情報を前記映像装置へ送信し、
前記メニュー画面を介して、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用しないことを選択する操作入力が入力された場合に、前記無線端末のカメラで撮像した映像情報と前記無線端末のマイクで集音した音声情報とを前記他の機器へ前記ネットワーク経由で送信し、
前記他の機器は、前記無線端末から、前記無線端末のカメラで撮像した映像情報と前記無線端末のマイクで集音した音声情報とを前記ネットワーク経由で受信し、前記無線端末で表示するための映像の情報と前記無線端末のスピーカで出力するための音声の情報とを前記ネットワーク経由で前記無線端末に送信する、ことを特徴とする。

本発明によれば、ユーザの使い勝手をよくすることが可能になる。

実施例１に係るシステム構成の一例を示す図である。テレビ会議の一例を示す図である。プロジェクタの構成の一例を示す図である。スマートフォンの構成の一例を示す図である。実施例１に係る第一のテレビ会議開始の動作の一例を示すシーケンス図である。スマートフォンの第一の画面表示の一例を示す図である。スマートフォンの第二の画面表示の一例を示す図である。スマートフォンの第三の画面表示の一例を示す図である。実施例１に係る第二のテレビ会議開始の動作の一例を示すシーケンス図である。実施例２に係るシステム構成の一例を示す図である。実施例２に係る第一のテレビ会議開始の動作の一例を示すシーケンス図である。実施例２に係る第二のテレビ会議開始の動作の一例を示すシーケンス図である。

以下、本発明の好ましい実施例について、図面を参照しながら説明する。以下の各実施例では、カメラで撮像した映像やマイクで集音した音声を、ネットワークを介して遠隔の端末間で相互に送受信するシステム（以下、テレビ会議システムと呼ぶ）に利用する場合を例として説明するが、テレビ会議システムとして以下の実施例に限定されるものではない。また、システムは、テレビ会議システムに限定されるものでもない。

実施例１では、スマートフォン（無線端末）のテレビ会議アプリケーションを用いて遠隔地とのテレビ会議を行う際に、スマートフォンがプロジェクタに内蔵された複数人での利用に適したテレビ会議用のカメラ、マイク、スピーカによる映像と音声を用いてテレビ会議を行う構成について説明する。

図１は本実施例に係るテレビ会議システムの構成の一例を示す図である。本実施例のテレビ会議システムは、例えば、プロジェクタ１００、スマートフォン１１０、ネットワーク１２０、テレビ会議サーバ１３０から構成される。また、プロジェクタ１００は、映像を投写して多人数で見ることができるようにする装置であり、プロジェクタ１００には、テレビ会議用のカメラ１０１とマイク１０２とスピーカ１１２が内蔵される。

なお、図１の例ではカメラ１０１とマイク１０２とスピーカ１１２はプロジェクタ１００に内蔵されているが、必要に応じてカメラ１０１とマイク１０２とスピーカ１１２がプロジェクタ１００の外付けであってもよく、カメラ１０１やマイク１０２やスピーカ１１２を複数備えてもよい。

プロジェクタ１００とスマートフォン１１０は、それぞれに内蔵された所定の機器間通信手段を介して通信を行う。機器間通信手段は、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）により通信するものでもよいし、有線ＬＡＮで通信するものであってもよい。また、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（登録商標）、ＮＦＣ（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）等、他の有線あるいは無線の通信であってもよい。

ここで、Ｗｉ−Ｆｉは、ＩＥＥＥ（米国電気電子学会）の規格で策定された無線ＬＡＮの標準規格である。ＵＳＢは、ＵＳＢ−ＩＦ（ＵＳＢＩｍｐｌｅｍｅｎｔｅｒｓＦｏｒｕｍ）で策定された標準規格である。ＢｌｕｅｔｏｏｔｈはＢｌｕｅｔｏｏｔｈＳＩＧ（ＢｌｕｅｔｏｏｔｈＳｐｅｃｉａｌＩｎｔｅｒｅｓｔＧｒｏｕｐ）で策定された標準規格である。

ネットワーク１２０は、インターネットや社内ネットワーク等の遠隔地あるいは社内の機器間で通信ができるネットワークである。ネットワーク１２０の一部または全てに、Ｗｉ−Ｆｉ等の無線ＬＡＮが含まれてもよいし、有線ＬＡＮが含まれてもよい。また、ネットワーク１２０に携帯電話等に用いられる移動体通信網が含まれてもよい。

テレビ会議サーバ１３０は、スマートフォン１１０等のネットワーク１２０に接続している端末からテレビ会議開始の要求を受け、同じテレビ会議に参加する複数の端末間で映像や音声等を送受信できるようにするため、端末間の接続の管理や各端末から送られてくる映像や音声等のデータの転送を行う。また、テレビ会議サーバ１３０は、テレビ会議で配布する資料の映像情報を蓄積し、同じテレビ会議に参加する複数の端末へ配信してもよい。配布する資料の情報に音声が含まれてもよい。

図２はテレビ会議システムをユーザが利用する様子の一例を示す図である。図２の例では、複数人で囲む会議テーブルにプロジェクタ１００に置き、スマートフォン１１０のテレビ会議アプリケーションを用いてテレビ会議を行っている様子を示している。スマートフォン１１０はプロジェクタ１００に映像と音声を送信しており、プロジェクタ１００に送信された映像として、プロジェクタ１００の投写映像２０１にはテレビ会議の相手先のカメラ映像が映し出されている。また、プロジェクタ１００に送信された音声として、プロジェクタ１００のスピーカ１１２からはテレビ会議の相手先のマイクで収集された音声が出力される。

図２の例では、投写映像２０１に相手先のカメラ映像が映し出されているが、これに限定されるものではなく、テレビ会議サーバ１３０に蓄積された資料の映像が映し出されてもよく、図示を省略したスイッチにより切り替え可能であってもよい。また、投写映像２０１が２分割されて、相手先のカメラ映像と資料の映像とが同時に映し出されてもよい。

プロジェクタ１００が内蔵するカメラ１０１で撮像された映像とマイク１０２で集音された音声は、スマートフォン１１０に送信され、スマートフォン１１０のテレビ会議アプリケーションに入力される。カメラ１０１はテレビ会議の参加者を対象とした撮像範囲２０２を撮像してもよく、多くの参加者の一部ずつを撮像するように撮像範囲２０２が複数であってもよい。

また、カメラ１０１は、投写映像２０１を含む撮像範囲２０３を撮像してもよい。投写映像２０１に資料の映像が映し出されて、参加者がその資料の特定の部分を指し示して説明したり、その資料の一部を上書き等したりすることにより、テレビ会議の相手先へ説明の内容が伝わりやすくなる。カメラ１０１の撮像範囲２０２と撮像範囲２０３は、図示を書略したスイッチにより切り替え可能であってもよいし、カメラ１０１が物理的に可動であってもよいし、撮像範囲２０２と撮像範囲２０３の両方を同時に撮像可能であってもよい。

さらに、カメラ１０１は、会議テーブルの上に置かれた紙の資料やサンプル品等を撮像範囲として撮像してもよい。

図３は、プロジェクタ１００の構成の一例を示す図である。プロジェクタ１００は、例えば、カメラ１０１、マイク１０２、映像音声入力部１０３、制御部１０４、メモリ１０５、映像復号・出力部１０７、表示部１０９、音声復号・出力部１１１、スピーカ１１２、通信部１１３、アンテナ１１４、操作入力部１１５、映像入力・符号化部１１６、音声入力・符号化部１１７、入力端子１１８等を有し、各部は図３に示すようにバスを介して接続される。

制御部１０４は、例えばプロセッサを含み、メモリ１０５に格納された各種プログラム１０６を実行することにより、操作入力部１１５を介してユーザの入力操作の情報を受け取り、プロジェクタ１００のバスに接続された各部を制御する。例えば、制御部１０４は、各種プログラム１０６の中のプログラムをメモリ１０５から読み出し、読み出したプログラムにしたがって、映像入力・符号化部１１６と通信部１１３を制御し、カメラ１０１で撮像した映像を映像入力・符号化部１１６が入力して符号化し、通信部１１３から送信するように制御する。

また、制御部１０４は、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）であって、プロセッサ以外に、映像音声入力部１０３から入力された映像や音声の情報を音声情報と映像情報に分離し、音声復号・出力部１１１と映像復号・出力部１０７にそれぞれ出力する回路を有してもよい。各種プログラム１０６を実行することによる制御部１０４のプロジェクタ１００の各部の制御の説明の詳細は省略し、図５、７を用いてプロジェクタ１００の動作として説明する。

メモリ１０５は、制御部１０４で実行される各種プログラム１０６や制御部１０４により書き込まれて読み出されるデータ等が格納される。プロジェクタ１００の設定情報と映像データと音声データが格納されてもよい。メモリ１０５に格納される各種プログラム１０６は、プロジェクタ１００が出荷時点で予めメモリ１０５に格納されていてもよいし、半導体メモリ等の記録媒体に格納されて、図示を省略した媒体接続部を介してメモリ１０５に格納され、インストールされてもよい。

また、各種プログラム１０６は、通信部１１３を介して外部ネットワークからダウンロードされてメモリ１０５に格納され、インストールされてもよい。なお、各種プログラム１０６を制御部１０４が実行することによる動作は、同じ動作をする回路としてハードウェアで実現されてもよい。

通信部１１３は、予め定められた規格やプロトコルに準じてスマートフォン１１０とアンテナ１１４経由で通信を行う。通信部１１３の使用する規格は、Ｗｉ−Ｆｉ等の無線ＬＡＮや有線ＬＡＮであってもよい。また、ＵＳＢやＢｌｕｅｔｏｏｔｈ、ＩｒＤＡ、ＮＦＣ等、他の有線あるいは無線の通信であってもよく、ネットワーク１２０を介さずに直接通信するように構成されてもよい。さらに、通信部１１３は、異なる規格の通信をサポートするチップが複数実装されてもよいし、複数の規格の通信をサポートする１つのチップが実装されてもよい。

通信部１１３は、アンテナ１１４で受信した映像と音声の情報を映像音声入力部１０３へ出力し、映像入力・符号化部１１６と音声入力・符号化部１１７から入力した映像と音声の情報をアンテナ１１４から送信する。アンテナ１１４で受信した映像と音声の情報をバスへ出力してもよい。

映像音声入力部１０３は、入力端子１１８からプロジェクタ１００で投写する映像や音声の情報を入力する。これは、テレビ会議としての利用ではなく、プロジェクタ１００の入力映像を投写するという本来の利用のためのものであってもよいし、テレビ会議で参照される資料をパソコン等から入力するためのもととして利用されてもよい。このために、映像音声入力部１０３は映像や音声の情報を制御部１０４へ出力する以外にバスへ出力してもよい。

入力端子１１８は、例えば、コンポジット端子、Ｓ端子、Ｄ端子、コンポーネント端子、ＶＧＡ端子、ＤＶＩ端子、ＨＤＭＩ端子等である。入力端子１１８からの入力がアナログ信号の場合、映像音声入力部１０３はアナログ信号をデジタル信号に変換してもよい。また、映像音声入力部１０３は、入力端子１１８からの入力と通信部１１３からの入力を選択してもよいし、合成してもよい。

映像音声入力部１０３は映像や音声の情報をバスへ出力する場合、通信部１１３はバス経由で入力してアンテナ１１４から送信してもよい。このとき、映像の情報か音声の情報かが選択されてもよく、例えば、映像音声入力部１０３から資料の映像情報が通信部１１３へ転送されるとともに、マイク１０２から音声入力・符号化部１１７を介して会議参加者の音声の情報が通信部１１３へ転送されてもよい。

映像復号・出力部１０７は、制御部１０４から入力された映像情報を、必要に応じて復号し、表示部１０９へ出力する。例えば、通信部１１３により受信された映像情報は、圧縮／符号化されていて復号して出力し、入力端子１１８から入力された映像情報は、圧縮／符号化されておらず、そのまま出力してもよい。復号するか否かは制御部１０４により制御されてもよい。なお、映像復号・出力部１０７の出力する映像情報の一部は、各種プログラム１０６の実行により制御部１０４が生成した映像情報であってもよい。

表示部１０９は、例えば液晶パネル、光学レンズ等によって構成され、スクリーン等に映像を投写する。映像投写の構造は、ＤＬＰ（登録商標：ＤｉｇｉｔａｌＬｉｇｈｔＰｒｏｃｅｓｓｉｎｇ）、レーザ光源等であってもよく、他の映像投写構造であってもよい。また、表示部１０９は、映像を投写しない液晶パネル等を含んでもよい。

音声復号・出力部１１１は、制御部１０４から入力された音声情報を、必要に応じて復号し、スピーカ１１２へ出力する。例えば、通信部１１３により受信された音声情報は、圧縮／符号化されていて復号して出力し、入力端子１１８から入力された音声情報は、圧縮／符号化されておらず、そのまま出力してもよい。復号するか否かは制御部１０４により制御されてもよい。なお、音声復号・出力部１１１が出力する音声情報は、スピーカ１１２の代わりに図示を省略した外部機器へ出力されてもよい。

スピーカ１１２は、無指向性であって会議に十分な音量の音を発生するものが望ましい。マイク１０２は、無指向性であって会議テーブルの参加者の音声を集音する感度のものが望ましい。スピーカ１１２とマイク１０２は、音声の周波数帯域に重点のおかれたものであってもよい。また、スピーカ１１２とマイク１０２は、無指向性等にするために複数備えられてもよい。音声入力・符号化部１１７は、マイク１０２が電気信号に変換した音声情報を入力し、情報量を圧縮するために符号化し、通信部１１３へバスを介して出力する。

カメラ１０１は、撮像範囲２０２、２０３を撮像し、撮像した映像を電気信号に変換して、映像入力・符号化部１１６へ入力する。撮像範囲２０２、２０３等に応じてカメラ１０１は複数備えられ、映像入力・符号化部１１６に複数のカメラ１０１が接続されてもよい。また、カメラ１０１は、物理的に可動な構造でプロジェクタ１００に装着されてもよい。

映像入力・符号化部１１６は、カメラ１０１が電気信号に変換した映像情報を入力し、情報量を圧縮するために符号化し、通信部１１３へバスを介して出力する。映像入力・符号化部１１６は、複数のカメラ１０１に接続され、複数のカメラ１０１のそれぞれから映像情報を入力する場合、複数のカメラ１０１の入力を選択してもよいし、合成してもよい。

操作入力部１１５は、ユーザからのプロジェクタ１００に対する入力操作を受け付ける入力デバイスであり、例えば、リモコン、キーボード、マウスやタッチパネル等のポインティングデバイス等である。

なお、図３の例では、プロジェクタ１００の構造を説明したが、表示部１０９として映像を投写する代わりに映像表示のディスプレイを用い、テレビ受信機やディスプレイ装置に図３を用いて説明した各構造を備えてもよい。すなわち、図２に示した投写映像２０１がテレビ受信機であり、プロジェクタ１００がテレビ受信機に含まれる構成であってもよい。このテレビ受信機の構成では、撮像範囲２０２を撮像するカメラ１０１を備え、撮像範囲２０３を撮像するカメラ１０１を備えなくてもよいし、撮像範囲２０３を撮像するカメラ１０１の代わりにテレビ受信機にタッチパネル等を備えてもよい。

また、図３に示した構成から表示部１０９とスピーカ１１２を取り除いて、代わりにそれぞれ出力端子を備え、映像の表示や音声の出力を直接行わないＳＴＢ（セットトップボックス）やレコーダー等で構成してもよい。さらに、プロジェクタ１００の代わりに、図３に示した各構成を備えたパソコン、モニター装置、タブレット端末等であってもよい。

図４は、スマートフォン１１０の構成の一例を示す図である。スマートフォン１１０は、例えば、カメラ４０５、マイク４０６、制御部４００、メモリ４０３、表示部４０１、操作入力部４０２、通信部４０７、通信アンテナ４０８、移動体通信部４０９、移動体通信アンテナ４１０等有し、図４に示すように各部がバスを介して接続される。

制御部４００は、プロセッサを含み、メモリ４０３に格納された各種プログラム４１２を読み出して実行し、スマートフォン１１０の各部をハス経由で制御する。制御部４００は、ＳｏＣであって、映像や音声の処理に関する回路を含んでもよい。表示部４０１は液晶パネルや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等でもよく、操作入力部４０２のタッチパネルと一体化されていてもよい。カメラ４０５は、スマートフォン１１０の特定の方向を撮像し、マイク４０６はスマートフォン１１０の周囲の音声を集音し、スピーカ４１１は音声を出力する。

通信部４０７は、予め定められた規格やプロトコルに準じてプロジェクタ１００と通信アンテナ４０８経由で通信を行う。通信の規格は、プロジェクタ１００と通信できる規格である。移動体通信部４０９は、移動体通信アンテナ４１０と図示を省略した移動体通信用の基地局等を介してネットワーク１２０と通信を行うため、３Ｇ，４Ｇ，ＬＴＥ等のモバイル通信用の規格に準じた通信を行ってもよい。

また、移動体通信部４０９は、移動体通信アンテナ４１０と図示を省略したアクセスポイント等を介してネットワーク１２０と通信を行うため、Ｗｉ−Ｆｉ等の無線ＬＡＮの規格に準じた通信を行ってもよい。さらに、移動体通信部４０９は、移動体通信アンテナ４１０の代わりに図示を省略した端子を介して、有線ＬＡＮでネットワーク１２０と通信を行ってもよく、異なる規格の通信をサポートするチップが複数実装されてもよいし、複数の規格の通信をサポートする１つのチップが実装されてもよい。

メモリ４０３に格納された各種プログラム４１２には、テレビ会議アプリケーションが含まれる。テレビ会議アプリケーションは、テレビ電話（ビデオ電話）等のプログラムであってもよく、表示部４０１とカメラ４０５とマイク４０６等を使用する電話のアプリケーションプログラムであってもよい。また、各種プログラム４１２には、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）やプレゼンテーション用アプリケーションが含まれてもよい。

以下、スマートフォン１１０を用いてテレビ会議を開始し、プロジェクタ１００のカメラ１０１とマイク１０２とスピーカ１１２をテレビ会議に利用する際の動作例について、図５及び図６を用いて説明する。

図５は、実施例１に係るテレビ会議開始の動作の一例を示すシーケンス図である。テレビ会議開始の動作とは、スマートフォン１１０のテレビ会議アプリケーションを用いて、テレビ会議サーバ１３０を介したテレビ会議を開始し、テレビ会議サーバ１３０から受信する映像と音声にプロジェクタ１００の表示部１０９とスピーカ１１２を用い、テレビ会議サーバ１３０へ送信する映像と音声にプロジェクタ１００のカメラ１０１とマイク１０２を用いるまでのシーケンスである。

また、図６Ａ、図６Ｂ、図６Ｃは、それぞれスマートフォン１１０の画面表示の一例を示す図である。図５を用いて説明するシーケンスの中でスマートフォン１１０は図６Ａ、図６Ｂ、図６Ｃを用いて説明する画面を表示する。なお、図６Ａ、図６Ｂ、図６Ｃにおけるカメラ４０５とマイク４０６と表示部４０１は、図４を用いて説明したとおりであり、操作入力部４０２は表示部４０１と一体化されて、表示部４０１の表示がタッチされることにより操作が入力される。

ステップ５００：スマートフォン１１０は、図６Ａに示すように複数のアイコンを表示部４０１に表示し、ユーザによりテレビ会議アプリのアイコン６０１が選択（タッチ）されたことを検出して、テレビ会議アプリケーションを起動する。

ステップ５０１：スマートフォン１１０は、参加するテレビ会議のための会議ＩＤやアカウント・パスワード（認証情報）等の入力を促す画面を表示部４０１に表示し、ユーザにより会議ＩＤやアカウント・パスワード等が入力されて、入力された会議ＩＤやアカウント・パスワード等をテレビ会議サーバ１３０へ送信し、テレビ会議への接続を要求する。

ステップ５０２：テレビ会議サーバ１３０は、スマートフォン１１０からの要求を受信し、受信した会議ＩＤやアカウント・パスワード等に基づいて、同じテレビ会議に参加する端末との接続処理を開始する。
ステップ５０３：テレビ会議サーバ１３０は、スマートフォン１１０の要求したテレビ会議と同じテレビ会議に参加する端末との接続を確立し、接続が確立したことをスマートフォン１１０に通知する。

ステップ５０４：スマートフォン１１０は、スマートフォン１１０のカメラ４０５とマイク４０６とスピーカ４１１を用いたテレビ会議の処理を開始する。
ステップ５０５：スマートフォン１１０は、カメラ４０５で撮像された映像とマイク４０６で集音された音声をテレビ会議サーバ１３０へ送信する。また、テレビ会議サーバ１３０から送られてくる他の端末の映像と音声の受信し、映像を表示部４０１に表示して音声をスピーカ４１１で出力する。

ステップ５０６：テレビ会議サーバ１３０は、スマートフォン１１０から受信した映像と音声を同じ会議に参加する端末に転送する。また、同じ会議に参加した端末から受信した映像と音声をスマートフォン１１０に転送する。
ステップ５０７：スマートフォン１１０は、図６Ｂに示すように映像出力先設定メニュー６０２を表示部４０１に表示し、ユーザにより「プロジェクタ」が選択（タッチ）されたことを検出して、通信部４０７でプロジェクタ１００に表示画面の送信を開始する。映像出力先設定メニュー６０２は、テレビ会議アプリケーションが起動されると表示されてもよいし、テレビ会議アプリケーションの特定のメニューが選択されると表示されてもよい。

ステップ５０８：プロジェクタ１００は、通信部１１３でスマートフォン１１０からの表示画面の受信を検出すると、受信した表示画面の表示を開始してステップ５０９へ進む。
ステップ５０９：プロジェクタ１００は、プロジェクタ１００のカメラ１０１とマイク１０２とスピーカ１１２が利用可能であることを、通信部１１３でスマートフォン１１０に通知する。

ステップ５１０：スマートフォン１１０は、プロジェクタ１００からステップ５０９の通知を受けると、図６Ｃに示すようにカメラ・マイク・スピーカ利用確認メニュー６０３を表示部４０１に表示し、ユーザにより「はい」が選択（タッチ）されたことを検出するとステップ５１１へ進み、「いいえ」が選択（タッチ）されたことを検出すると、テレビ会議の開始動作としては終了する。

ステップ５１１：カメラ・マイク・スピーカ利用確認メニュー６０３において「はい」が選択されているので、スマートフォン１１０は、プロジェクタ１００にカメラ１０１とマイク１０２とスピーカ１１２の利用を通信部４０７で通知する。
ステップ５１２：プロジェクタ１００は、スマートフォン１１０からステップ５１１の通知を通信部１１３で受けると、プロジェクタ１００のカメラ１０１とマイク１０２を利用した撮像と集音を開始する。

ステップ５１３：プロジェクタ１００は、通信部１１３でスマートフォン１１０にプロジェクタ１００のカメラ１０１とマイク１０２で撮像した映像と集音した音声の送信を開始し、スマートフォン１１０からの音声の受信を開始してスピーカ１１２で出力できるようにする。
ステップ５１４：スマートフォン１１０は、通信部４０７でプロジェクタ１００から映像と音声の受信を開始し、プロジェクタ１００へ音声の送信を開始する。

ステップ５１５：スマートフォン１１０は、テレビ会議サーバ１３０に送信する映像と音声を、スマートフォン１１０のカメラ４０５とマイク４０６で得られるのものから、プロジェクタ１００から受信した映像と音声に切替え、テレビ会議サーバ１３０から受信する音声を、スマートフォン１１０のスピーカ４１１の出力から、プロジェクタ１００への音声の送信に切替える。

以上で説明したように、スマートフォン１１０で利用しているアプリケーションを用いてテレビ会議を開始し、スマートフォン１１０がプロジェクタ１００へ映像出力することをきっかけにして、プロジェクタ１００がプロジェクタのカメラ１０１とマイク１０２とスピーカ１１２が利用可能なことをスマートフォン１１０に通知し、簡単に連携できる。

そして、スマートフォン１１０がプロジェクタ１００のカメラ１０１とマイク１０２で得られる映像と音声をテレビ会議に用い、テレビ会議の音声にスピーカ１１２を用いることにより、ユーザが日常的に利用しているスマートフォン１１０とそのアプリケーションを用いて、テレビ会議に適したカメラとマイクとスピーカを利用できるようになり、ユーザの利便性を高めることができる。

また、テレビ会議に参加するための情報（認証情報、パスワード等）として、スマートフォン１１０の情報を利用できるため、情報の入力が容易であるとともに、特別で専用の情報が不要となり、普及している参加の手順を利用しやすくなる。

図５に示したシーケンスの例では、スマートフォン１１０でテレビ会議を開始（ステップ５０４）した後に、プロジェクタ１００への映像出力とプロジェクタ１００のカメラ１０１とマイク１０２とスピーカ１１２の利用を始めたが、このシーケンスに限定されるものではない。

例えば、図７に示すように、スマートフォン１１０でテレビ会議を開始（ステップ７１４）する前に、スマートフォン１１０からプロジェクタ１００への映像出力をし（ステップ７０１）、テレビ会議アプリケーションが起動（ステップ７０５）された時点では、プロジェクタ１００のカメラ１０１とマイク１０２とスピーカ１１２が利用可能とされてもよい。

図７のステップ７０１からステップ７０３は、図５のステップ５０７からステップ５０９に対応し、スマートフォン１１０は、ステップ７０４にて通知を受信する。その後、ステップ７０５にてスマートフォン１１０のテレビ会議アプリケーションが起動されると、スマートフォン１１０は、ステップ７０４で予め受信した通知をもとにステップ７０６を実行する。ステップ７０７からステップ７１０は、ステップ５１１からステップ５１４に対応し、ステップ７１１からステップ７１４は、ステップ５０１からステップ５０４に対応する。

ステップ７１５からステップ７１６は、ステップ５０５からステップ５０６に対応するが、ステップ５０５ではスマートフォン１１０のカメラ４０５等が用いられるのに対し、ステップ７１５では既にステップ７１０が実行されていると、プロジェクタ１００のカメラ１０１等が用いられる。

また、スマートフォン１１０がプレゼンテーション用アプリケーション等のカメラとマイクとスピーカの利用が不要なアプリケーションの画面をプロジェクタ１００に出力している際には、図６Ｃに示すようなカメラ・マイク・スピーカ利用確認メニュー６０３が表示されず、テレビ会議アプリケーション等のカメラとマイクの利用が必要となるアプリケーションを起動したときのみ、カメラ・マイク・スピーカ利用確認メニュー６０３が表示されるため、メニュー表示の煩わしさがなくユーザの利便性を高めることができる。

なお、プロジェクタ１００の通信部１１３とスマートフォン１１０の通信部４０７とは、例えばＢｌｕｅｔｏｏｔｈのペアリングあるいはこれに相当する動作により、予め通信可能となっていてもよい。また、スマートフォン１１０からプロジェクタ１００への映像出力は、スマートフォン１１０のＯＳの実行による映像出力であってもよい。

ステップ７０１において、ＯＳの実行により出力できる映像であれば、どのような映像であるかは限定されるものではないが、例えばスマートフォン１１０の表示部４０１に表示された映像と同じ映像の出力であってもよい。このため、スマートフォン１１０の表示部４０１のミラー画像が、プロジェクタ１００により投写されてもよい。

テレビ会議システムとして、テレビ会議サーバ１３０と通信することによりテレビ会議に参加する構成を説明したが、この構成に限定されるものではない。例えば、テレビ会議サーバ１３０が存在せず、スマートフォン１１０はテレビ会議に参加する端末とネットワーク１２０を介して直接に通信するＰ２Ｐ（ポイント・ツー・ポイント）接続による通信であってもよい。

以下、本発明に係る実施例２を、図８から図１０を用いて説明する。実施例１ではスマートフォン１１０を経由してプロジェクタ１００が映像と音声を送信したが、実施例２ではテレビ会議の参加にスマートフォン１１０を利用し、スマートフォン１１０を経由せずにプロジェクタ１００が映像と音声を送信する。実施例１と同じ構成は詳細な説明を省略し、特に異なる構成について説明する。

図８は、実施例２に係るテレビ会議システムの一例を示す図である。実施例１と異なる点は、プロジェクタ１００がネットワーク１２０と直接通信できることである。これにより、プロジェクタ１００はカメラ１０１で撮像した映像やマイク１０２で集音した音声を、ネットワーク１２０を介してテレビ会議サーバ１３０に送信する。

プロジェクタ１００の構成は図３を用いて説明したとおりであるが、プロジェクタ１００の通信部１１３は、スマートフォン１１０の通信部４０７と通信する以外にアクセスポイント等を介してネットワーク１２０と通信してもよい。また、プロジェクタ１００は、図示を省略した移動体通信部あるいは有線通信部を備えてネットワーク１２０と通信してもよい。スマートフォン１１０の構成は図４を用いて説明したとおりである。

図９は、実施例２に係るテレビ会議開始の動作の一例を示すシーケンス図である。図９のステップ９００からステップ９１０は、図５のステップ５００からステップ５１０に対応する。以下、図５のシーケンス図と動作が異なるステップ９１１以降を説明する。

ステップ９１１：カメラ・マイク利用確認のメニューにおいて「はい」が選択されているので、スマートフォン１１０は、テレビ会議サーバ１３０に送信中のスマートフォン１１０のカメラ４０５とマイク４０６を用いた映像と音声の送信を中断する。また、この中断にともない、テレビ会議サーバ１３０におけるスマートフォン１１０から受信する映像と音声の他の端末への転送が中断される。

ステップ９１２：スマートフォン１１０は、プロジェクタ１００にテレビ会議サーバ１３０の接続先と会議ＩＤやアカウント・パスワード（認証情報）等のテレビ会議への接続に必要な情報を送信し、映像と音声をテレビ会議サーバ１３０に送信するように指示する。なお、テレビ会議サーバ１３０の接続先は、ＩＰアドレスやＵＲＬ等で表される情報であってもよい。

ステップ９１３：プロジェクタ１００は、テレビ会議サーバ１３０の接続先と会議ＩＤやアカウント・パスワード等のテレビ会議への接続に必要な情報を受信し、プロジェクタ１００のカメラ１０１とマイク１０２を利用した撮像と集音を開始する。

ステップ９１４：プロジェクタ１００は、スマートフォン１１０から受信したテレビ会議サーバ１３０の接続先と会議ＩＤやアカウント・パスワード等のテレビ会議への接続に必要な情報を用いて、テレビ会議サーバ１３０に接続し、プロジェクタ１００のカメラ１０１とマイク１０２で撮像した映像と集音した音声の送信を開始する。
ステップ９１５：テレビ会議サーバ１３０は、プロジェクタ１００から受信した映像と音声を用いて、同じ会議に参加する他の端末に対して、映像と音声の転送を再開する。

以上で説明したように、スマートフォン１１０等で利用しているアプリケーションを用いてテレビ会議を開始し、スマートフォン１１０がプロジェクタ１００に映像出力することをきっかけにして、プロジェクタ１００がプロジェクタ１００のカメラ１０１とマイク１０２が利用可能なことをスマートフォン１１０に通知し、簡単に連携できる。

そして、スマートフォン１１０がプロジェクタ１００のカメラ１０１とマイク１０２で得られる映像と音声をテレビ会議サーバ１３０に送信するようにプロジェクタ１００に指示することにより、ユーザが日常的に利用しているスマートフォン１１０とそのアプリケーションを用いて、テレビ会議に適したカメラ１０１とマイク１０２を利用できるようになり、ユーザの利便性を高めることができる。

また、テレビ会議中の映像と音声をプロジェクタ１００からテレビ会議サーバ１３０に直接送信することにより、スマートフォン１１０のモバイル通信網を介した通信データ量を削減できる等、ユーザの利便性を高めることができる。

図９に示したシーケンスの例では、スマートフォン１１０でテレビ会議を開始（ステップ９０４）した後に、プロジェクタ１００への映像出力とプロジェクタ１００のカメラ１０１とマイク１０２の利用を始めたが、このシーケンスに限定されるものではない。

例えば、図１０に示すように、スマートフォン１１０でテレビ会議を開始（ステップ１００９）する前に、スマートフォン１１０からプロジェクタ１００への映像出力をし（ステップ１００１）、テレビ会議アプリケーションが起動（ステップ１００５）された時点では、プロジェクタ１００のカメラ１０１とマイク１０２が利用可能とされてもよい。

図１０のステップ１００１からステップ１００３は、図９のステップ９０７からステップ９０９に対応し、スマートフォン１１０は、ステップ１００４にて通知を受信する。その後、ステップ１００５にてスマートフォン１１０のテレビ会議アプリケーションが起動される。ステップ１００６からステップ１００９は、ステップ９０１からステップ９０４に対応し、スマートフォン１１０は、ステップ１００４で予め受信した通知をもとにステップ１０１０を実行する。

ステップ１０１１からステップ１０１４は、ステップ９１２からステップ９１５に対応する。また、ステップ１０１５はステップ９０５に対応し、スマートフォン１１０は、スマートフォン１１０のカメラ４０５とマイク４０６を用いる。

また、スマートフォン１１０がプレゼンテーション用アプリケーション等、カメラとマイクの利用が不要なアプリケーションの画面をプロジェクタ１００に出力している際には、図６Ｃに示すようなカメラ・マイク利用確認のメニューが表示されず、テレビ会議アプリケーション等のカメラとマイクの利用が必要となるアプリケーションを起動したときのみ、カメラ・マイク利用確認のメニューが表示されるため、メニュー表示の煩わしさがなくユーザの利便性を高めることができる。

なお、以上で説明した各実施例の構成の一部を削除したり、他の実施例の構成の一部で置き換えたりしてもよく、各実施例の構成へ他の実施例の構成の一部を追加したりしてもよい。

１００プロジェクタ
１０１カメラ
１０２マイク
１１０スマートフォン
１１２スピーカ
１２０ネットワーク
１３０テレビ会議サーバ
４０５カメラ
４０６マイク

Claims

映像を表示する映像装置と、前記映像装置と通信し、他の機器とネットワーク経由で通信する無線端末と、を含む情報処理システムであって、
前記映像装置は、
映像出力指示情報を前記無線端末から受信したことを検出した後に、前記映像装置のカメラと前記映像装置のマイクと前記映像装置のスピーカとが利用可能であることを前記無線端末へ通知し、前記無線端末から、前記他の機器へ前記ネットワーク経由で接続するために必要な情報を受信した場合に、前記ネットワーク経由で前記他の機器へ接続し、
前記無線端末は、
認証情報を送信して前記他の機器へ前記ネットワーク経由で接続し、
前記無線端末の表示部に、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用するか否かを選択する操作入力を受け付けるメニュー画面を表示し、
前記メニュー画面を介して、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用することを選択する操作入力が入力された場合に、前記他の機器へ前記ネットワーク経由で接続するために必要な情報を前記映像装置へ送信し、
前記メニュー画面を介して、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用しないことを選択する操作入力が入力された場合に、前記無線端末のカメラで撮像した映像情報と前記無線端末のマイクで集音した音声情報とを前記他の機器へ前記ネットワーク経由で送信し、
前記他の機器は、
前記無線端末から、前記無線端末のカメラで撮像した映像情報と前記無線端末のマイクで集音した音声情報とを前記ネットワーク経由で受信し、前記無線端末で表示するための映像の情報と前記無線端末のスピーカで出力するための音声の情報とを前記ネットワーク経由で前記無線端末に送信する、ことを特徴とする情報処理システム。
請求項１に記載の情報処理システムであって、
前記映像装置の前記カメラは、前記映像装置の表示した映像を含めて撮像し、
前記他の機器は、テレビ会議サーバであること
を特徴とする情報処理システム。
請求項２に記載の情報処理システムであって、
前記認証情報は、テレビ会議の参加の情報を含むこと
を特徴とする情報処理システム。
映像を表示する映像装置と通信し、他の機器とネットワーク経由で通信する無線端末であって、
表示する映像の情報を前記他の機器から前記ネットワーク経由で受信して、前記映像装置へ送信し、
前記映像装置からの、前記映像装置のカメラと前記映像装置のマイクとが利用可能であることの通知を受信した後に、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用するか否かを選択する操作入力を受け付けるメニュー画面を前記無線端末の表示部に表示し、
前記メニュー画面を介して、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用することを選択する操作入力が入力された場合に、前記他の機器へ前記ネットワーク経由で接続するために必要な情報を前記映像装置へ送信し、
前記メニュー画面を介して、前記映像装置の前記カメラと前記映像装置の前記マイクとを利用しないことを選択する操作入力が入力された場合に、前記無線端末のカメラで撮像した映像情報と前記無線端末のマイクで集音した音声情報とを前記他の機器へ前記ネットワーク経由で送信する、
ことを特徴とする無線端末。