JP5388032B2 - 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム - Google Patents

遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム Download PDF

Info

Publication number
JP5388032B2
JP5388032B2 JP2009114388A JP2009114388A JP5388032B2 JP 5388032 B2 JP5388032 B2 JP 5388032B2 JP 2009114388 A JP2009114388 A JP 2009114388A JP 2009114388 A JP2009114388 A JP 2009114388A JP 5388032 B2 JP5388032 B2 JP 5388032B2
Authority
JP
Japan
Prior art keywords
video
unit
adjustment
terminal device
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009114388A
Other languages
English (en)
Other versions
JP2010263542A (ja
Inventor
一郎 馬田
紀子 鈴木
広志 安藤
直己 井ノ上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Information and Communications Technology
Original Assignee
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Information and Communications Technology filed Critical National Institute of Information and Communications Technology
Priority to JP2009114388A priority Critical patent/JP5388032B2/ja
Publication of JP2010263542A publication Critical patent/JP2010263542A/ja
Application granted granted Critical
Publication of JP5388032B2 publication Critical patent/JP5388032B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、立体映像を出力する遠隔コミュニケーションシステムにおいて、臨場感を変更し得るパラメータの変更を受け付ける遠隔コミュニケーションシステム等に関するものである。
従来、遠隔操作において、操作者がディスプレイから目を離さずに、遠隔現場の立体映像と通常映像を、違和感無く切り替えられる装置があった(例えば、特許文献1参照)。
特開平08−111876号公報(第1頁、第1図等)
しかしながら、従来の技術においては、遠隔地間を、立体映像を用いてコミュニケーションする際に、立体映像と通常映像を切り替えるだけであり、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができなかった。
また、従来の平面映像を用いたTV電話や会議システムでは、臨場感に乏しく、相手とのコミュニケーンが上手く図れない。その難点を解消するために、TV電話や会議システムに立体映像を採用することが考えられるが、その場合、臨場感は増してコミュニケーション機能は増すが、使用目的によっては必ずしも高度な臨場感を必要とするとは限らず、中程度の臨場感の立体映像が好ましい場合等もある。
かかる課題を解決するために、本発明は、遠隔コミュニケーションにおいて、例えば、対話相手映像の飛び出し量/解像度/色調などを操作して、相手の存在感の強弱を調節することにより、対話の緊密度や相手に感じるプレッシャーの強弱を調整し、コミュニケーションの目的に即したインタラクション環境を整えることを目的とする。
本第一の発明の遠隔コミュニケーションシステムは、第一端末装置と制御装置と第二端末装置とを具備する遠隔コミュニケーションシステムであって、第一端末装置は、立体映像を生成するための立体視用映像である第一の映像を取得する第一映像取得部と、第一の映像を、制御装置に送信する第一映像送信部とを具備し、制御装置は、立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータを格納しているパラメータ格納部と、1以上のパラメータのうちのいずれかの変更に関する情報を受け付け、当該変更に関する情報を用いて、新しい1以上のパラメータを得るパラメータ調整部と、パラメータ調整部が得た新しい1以上のパラメータを、パラメータ格納部に蓄積するパラメータ蓄積部と、第一の映像を受信する映像受信部と、パラメータ格納部に格納されている1以上のパラメータに従って、第一の映像を調整し、立体視用映像である第一調整映像を取得する第一調整映像取得部と、第一調整映像を前記第二端末装置に送信する第一調整映像送信部とを具備し、第二端末装置は、第一調整映像を受信する第二映像受信部と、第二映像受信部が受信した第一調整映像を出力する第二調整映像出力部とを具備する遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第二の発明の遠隔コミュニケーションシステムは、第一の発明に対して、第二端末装置は、立体映像を生成するための立体視用映像である第二の映像を取得する第二映像取得部と、第二の映像を、制御装置に送信する第二映像送信部とをさらに具備し、制御装置は、パラメータ格納部に格納されている1以上のパラメータに従って、第二の映像を調整し、立体視用映像である第二調整映像を取得する第二調整映像取得部と、第二調整映像を第一端末装置に送信する第二調整映像送信部とをさらに具備し、第一端末装置は、第二調整映像を受信する第一映像受信部と、第一映像受信部が受信した第二調整映像を出力する第一調整映像出力部とをさらに具備する遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いて双方向のコミュニケーションする際に、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第三の発明の遠隔コミュニケーションシステムは、第二の発明に対して、第一端末装置は、第一の音声を取得する第一音声取得部と、第一の音声を、制御装置に送信する第一音声送信部と、第二の音声を、制御装置から受信する第一音声受信部と、第一音声受信部が受信した第二の音声を出力する第一音声出力部とをさらに具備し、制御装置は、第一端末装置から第一の音声を受信し、第一の音声を第二端末装置に送信し、第二端末装置から第二の音声を受信し、第二の音声を第一端末装置に送信する音声転送部をさらに具備し、第二端末装置は、第二の音声を取得する第二音声取得部と、第二の音声を、制御装置に送信する第二音声送信部と、第一の音声を、制御装置から受信する第二音声受信部と、第二音声受信部が受信した第一の音声を出力する第二音声出力部とをさらに具備する遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いて双方向のコミュニケーションする際に、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第四の発明の遠隔コミュニケーションシステムは、第一から第三いずれかの発明に対して、第二端末装置は、第二端末装置に関する情報である第二端末関連情報を取得する第二端末関連情報取得部と、第二端末関連情報を、制御装置に送信する第二端末関連情報送信部と、制御装置は、第二端末関連情報を受信する第二端末関連情報受信部をさらに具備し、パラメータ調整部は、第二端末関連情報受信部が受信した第二端末関連情報を用いて、パラメータ格納部に格納されている1以上のパラメータを変更し、パラメータ蓄積部は、パラメータ調整部が変更した1以上のパラメータを、パラメータ格納部に蓄積する遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、自動的に相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第五の発明の遠隔コミュニケーションシステムは、第四の発明に対して、第二端末関連情報は、第二端末装置のユーザの情報であり、遠隔コミュニケーションに参加しているユーザの情報である遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、自分(遠隔コミュニケーションを行うユーザ)の状況に応じて、自動的に相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第六の発明の遠隔コミュニケーションシステムは、第五の発明に対して、第二端末関連情報は、第二端末装置のユーザの生体情報であり、遠隔コミュニケーションに参加しているユーザの生体情報である遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、自分の生体情報に応じて、自動的に相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第七の発明の遠隔コミュニケーションシステムは、第六の発明に対して、生体情報は、第二端末装置のユーザの心拍数の情報である遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、自分の心拍数に応じて、自動的に相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第八の発明の遠隔コミュニケーションシステムは、第四の発明に対して、第二端末関連情報は、第二端末装置に出力されている第一調整映像、または第一の音声である遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、出力されている映像または音声に応じて、自動的に相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第九の発明の遠隔コミュニケーションシステムは、第一から第八いずれかの発明に対して、パラメータ格納部に格納されている1以上のパラメータは、映像の飛び出し量を特定する映像飛出量情報を含み、第一調整映像取得部は、パラメータ格納部に格納されている映像飛出量情報が示す映像の飛び出し量になるように、出力する第一の映像を調整し、立体映像である第一調整映像を取得する遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、映像の飛び出し量を変更することにより、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
また、本第十の発明の遠隔コミュニケーションシステムは、第九の発明に対して、パラメータ格納部に格納されている1以上のパラメータは、さらに映像の解像度、または色調を含む遠隔コミュニケーションシステムである。
かかる構成により、遠隔地間を、立体映像を用いてコミュニケーションする際に、映像の解像度または色調を変更することにより、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
本発明による遠隔コミュニケーションシステムによれば、遠隔地間を、立体映像を用いてコミュニケーションする際に、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。
実施の形態1における遠隔コミュニケーションシステムの概念図 同遠隔コミュニケーションシステムのブロック図 同第一端末装置の動作について説明するフローチャート 同制御装置の動作について説明するフローチャート 同パラメータ管理表を示す図 同パラメータ管理表を示す図 実施の形態2における遠隔コミュニケーションシステムのブロック図 同制御装置の動作について説明するフローチャート 同第一の調整条件情報管理表を示す図 同第二の調整条件情報管理表を示す図 同コンピュータシステムの概観図 同コンピュータシステムの内部構成を示す図
以下、遠隔コミュニケーションシステム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、立体映像を出力する遠隔コミュニケーションシステム1において、臨場感を変更し得るパラメータの変更を受け付ける遠隔コミュニケーションシステム1について説明する。なお、本実施の形態において、ユーザの手作業(指示の入力)により、パラメータの変更を行う。
図1は、本実施の形態における遠隔コミュニケーションシステム1の概念図である。遠隔コミュニケーションシステム1は、第一端末装置11、制御装置12、第二端末装置13を具備する。第一端末装置11、および第二端末装置13は、遠隔コミュニケーションシステムを利用するユーザの装置であり、例えば、ユーザの映像を取得するカメラと、ユーザが発した音声を取得するマイクと、映像を出力するプロジェクターと、音声を出力するスピーカー等を具備する。第一端末装置11、および第二端末装置13は、映像を表示するスクリーンを具備する、と考えても良い。また、制御装置12は、例えば、映像操作用のPC(パーソナルコンピュータ)であり、立体映像の飛び出し量、解像度、色調などの調整を行える。なお、かかるシステム構成は一例であることは言うまでもない。つまり、遠隔コミュニケーションシステム1は、第一端末装置11用の映像操作用の装置、および第二端末装置13用の映像操作用の装置を具備しても良い。
図2は、本実施の形態における遠隔コミュニケーションシステム1のブロック図である。
第一端末装置11は、第一入力送信部110、第一映像取得部111、第一映像送信部112、第一音声取得部113、第一音声送信部114、第一映像受信部115、第一調整映像出力部116、第一音声受信部117、第一音声出力部118を具備する。
制御装置12は、パラメータ格納部121、パラメータ調整部122、パラメータ蓄積部123、映像受信部124、第一調整映像取得部125、第一調整映像送信部126、第二調整映像取得部127、第二調整映像送信部128、音声転送部129を具備する。
第二端末装置13は、第二入力送信部130、第二映像取得部131、第二映像送信部132、第二音声取得部133、第二音声送信部134、第二映像受信部135、第二調整映像出力部136、第二音声受信部137、第二音声出力部138を具備する。
第一入力送信部110は、第一端末装置11のユーザからの入力を受け付け、受け付けた入力を制御装置12に送信する。受け付ける入力は、パラメータ調整の指示、変更するパラメータの値(通常、パラメータを識別する情報も含む)などである。パラメータについては、後述する。第一入力送信部110は、第一端末装置11のユーザからの入力を受け付ける第一入力受付手段、受け付けた入力を制御装置12に送信する第一入力送信手段を具備する。パラメータや指示の入力手段は、キーボードやマウスやテンキーやメニュー画面によるもの等、何でも良い。第一入力受付手段は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。第一入力送信手段は、通常、無線または有線の通信手段で実現される。
第一映像取得部111は、第一の映像を取得する。第一の映像は、通常、立体映像を生成するための二種類の立体視用映像である。ただし、第一の映像は、二種類の映像とは限らず、立体映像を生成するための映像であれば良い。第一の映像は、通常、第一端末装置11のユーザである第一のユーザを撮影している映像である。第一映像取得部111は、例えば、カメラで実現され得る。第一映像取得部111は、通常、2台のカメラで実現される。なお、この2台のカメラは、視差を発生させる。
第一映像送信部112は、第一映像取得部111が取得した第一の映像を、制御装置12に送信する。第一映像送信部112は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第一音声取得部113は、ユーザが発する第一の音声を取得する。第一音声取得部113は、通常、マイク等により実現される。
第一音声送信部114は、第一の音声を、制御装置12に送信する。第一音声送信部114は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第一映像受信部115は、第二調整映像を受信する。第二調整映像については、後述する。第一映像受信部115は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
第一調整映像出力部116は、第一映像受信部115が受信した第二調整映像を出力する。第二調整映像は、通常、立体映像を生成するための二種類の立体視用映像である。ただし、第二調整映像は、立体映像を生成するための映像であれば良く、二種類であることは必須ではない。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置(ディスプレイ装置など)への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。第一調整映像出力部116は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。第一調整映像出力部116は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
第一音声受信部117は、第二の音声を、制御装置12から受信する。第二の音声とは、第二端末装置13から送信された音声であり、通常、第二端末装置13のユーザである第二のユーザが発した音声である。第一音声受信部117は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
第一音声出力部118は、第一音声受信部117が受信した第二の音声を出力する。第一音声出力部118は、スピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第一音声出力部118は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
制御装置12のパラメータ格納部121は、立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータを含む、1以上のパラメータを格納している。1以上のパラメータは、映像に関するパラメータである映像パラメータ、または音に関するパラメータである音パラメータを有する。映像パラメータおよび音パラメータのうちで、臨場感を決定し得るパラメータを、臨場感調整パラメータという。また、臨場感調整パラメータのうち、映像パラメータを、臨場感調整映像パラメータという。さらに、臨場感調整パラメータのうち、音パラメータを、臨場感調整音パラメータという。臨場感調整映像パラメータは、例えば、映像の飛び出し量を特定する映像飛出量情報、映像の解像度、映像の色調などである。パラメータ格納部121は、ユーザごとに、1以上のパラメータを格納していることは好適である。ユーザごと、とは、第一端末装置11および第二端末装置13ごと、と同意義である。パラメータ格納部121は、臨場感を決定し得ないパラメータも格納していても良い。また、パラメータは、多段階に調整可能であっても良いことは言うまでもない。パラメータ格納部121は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。パラメータ格納部121にパラメータが記憶される過程は問わない。例えば、記録媒体を介してパラメータがパラメータ格納部121で記憶されるようになってもよく、通信回線等を介して送信されたパラメータがパラメータ格納部121で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたパラメータがパラメータ格納部121で記憶されるようになってもよい。
パラメータ調整部122は、1以上のパラメータのうちのいずれかの変更を受け付ける。パラメータ調整部122は、通常、第一端末装置11または第二端末装置13から、パラメータの変更を受け付ける。パラメータの変更とは、通常、パラメータを識別する情報(パラメータ識別子)と、変更後のパラメータの値または修正する(増減する)パラメータの値等である。パラメータ調整部122は、通常、第一端末装置11または第二端末装置13からパラメータの変更を受け付け、新しい1以上のパラメータを得る。パラメータ調整部122は、通常、MPUやメモリ等から実現され得る。パラメータ調整部122の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
パラメータ蓄積部123は、パラメータ調整部122が得た、新しい1以上のパラメータを、パラメータ格納部121に蓄積する。パラメータ蓄積部123は、通常、MPUやメモリ等から実現され得る。パラメータ蓄積部123の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
映像受信部124は、第一端末装置11から第一の映像を受信する。また、映像受信部124は、第二端末装置13から第二の映像を受信する。映像受信部124は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
第一調整映像取得部125は、パラメータ格納部121に格納されている1以上のパラメータに従って、第一の映像を調整し、立体視用映像である第一調整映像を取得する。第一調整映像取得部125は、パラメータ格納部121に格納されている映像飛出量情報が示す映像の飛び出し量になるように、第一の映像を調整し、立体映像である第一調整映像を取得することは好適である。第一調整映像取得部125は、例えば、映像飛出量情報が示す映像の飛び出し量になるように、二種類の立体視用映像の視差を調整(変更)し、第一調整映像を取得する。さらに具体的には、第一調整映像取得部125は、例えば、以下のようにして、二種類の立体視用映像の視差を調整(変更)する。つまり、第一調整映像取得部125は、左右の画像(立体視用映像)のズレを調整し、両眼に投影することにより、画像の飛び出し量を調整する。さらに具体的には、第一調整映像取得部125は、左右のいずれかまたは両方の画像をソフトウェアにより加工して、画像の飛び出し量を調整しても良いし、各ステレオ映像のズレ量を、コンバータ等を用いてハードウェア的に操作しても良い。また、スクリーンに二台のプロジェクターによって画像を投影する場合、第一調整映像取得部125は、当該プロジェクターの投影位置を操作しても良い。また、人映像や物体などのオブジェクトの立体感や映像の奥行きの程度を操作する場合は、第一調整映像取得部125は、対象となるオブジェクトについて左右画像ごとに対応する点のズレ量を計算し、ソフトウェアで補正し、調整しても良いし、撮影側の二台のステレオカメラ間の距離を調整するなどしても良い。つまり、第一調整映像取得部125が、映像飛出量情報が示す映像の飛び出し量になるように、二種類の立体視用映像の視差を調整する方法は問わない。また、第一調整映像取得部125は、パラメータ格納部121に格納されている解像度、または色調に合致するように、第一の映像を調整し、立体映像である第一調整映像を取得することは好適である。決められた飛び出し量になるように映像を調整する技術は公知技術である。また、決められた解像度、または決められた色調に合致するように映像を調整する技術も公知技術である。第一調整映像取得部125は、通常、MPUやメモリ等から実現され得る。第一調整映像取得部125の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第一調整映像送信部126は、第一調整映像を第二端末装置13に送信する。第一調整映像送信部126は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第二調整映像取得部127は、パラメータ格納部121に格納されている1以上のパラメータに従って、第二の映像を調整し、二種類の立体視用映像である第二調整映像を取得する。第二調整映像取得部127は、通常、MPUやメモリ等から実現され得る。第二調整映像取得部127の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二調整映像送信部128は、第二調整映像を第一端末装置11に送信する。第二調整映像送信部128は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
音声転送部129は、第一端末装置11から第一の音声を受信し、当該第一の音声を第二端末装置13に送信する。また、音声転送部129は、第二端末装置13から第二の音声を受信し、当該第二の音声を第一端末装置11に送信する。なお、音声転送部129は、パラメータ格納部121に格納されている音パラメータを読み出し、当該音パラメータに従って、音を調整した後、相手側(第二端末装置13または第一端末装置11)に音声を送信することは好適である。かかる場合、音声転送部129は、音声を受信する音受信手段と、パラメータ格納部121に格納されている音パラメータを読み出し、当該音パラメータに従って、受信した音を調整する音調整手段と、調整後の音を送信する音送信手段とを具備する。音声転送部129は、通常、無線または有線の通信手段等で実現され得る。
第二端末装置13の第二入力送信部130は、第二端末装置13のユーザからの入力を受け付け、受け付けた入力を制御装置12に送信する。受け付ける入力は、パラメータ調整の指示、変更するパラメータの値などである。第二入力送信部130は、第二端末装置13のユーザからの入力を受け付ける第二入力受付手段1301、受け付けた入力を制御装置12に送信する第二入力送信手段1302を具備する。パラメータや指示の入力手段は、キーボードやマウスやテンキーやメニュー画面によるもの等、何でも良い。第二入力受付手段1301は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。第二入力送信手段1302は、通常、無線または有線の通信手段で実現される。
第二映像取得部131は、第二の映像を取得する。第二の映像は、通常、立体映像を生成するための二種類の立体視用映像である。ただし、第二の映像は、二種類の映像とは限らず、立体映像を生成するための映像であれば良い。第二の映像は、通常、第二端末装置13のユーザである第二のユーザを撮影している映像である。第二映像取得部131は、例えば、カメラで実現され得る。第二映像取得部131は、通常、2台のカメラで実現される。
第二映像送信部132は、第二映像取得部131が取得した第二の映像を、制御装置12に送信する。第二映像送信部132は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第二音声取得部133は、第二の音声を取得する。第二音声取得部133は、通常、マイクにより実現される。
第二音声送信部134は、第二の音声を、制御装置12に送信する。第二音声送信部134は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第二映像受信部135は、第一調整映像を受信する。第二映像受信部135は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
第二調整映像出力部136は、第二映像受信部135が受信した第一調整映像を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置(ディスプレイ装置など)への送信、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。第二調整映像出力部136は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。第二調整映像出力部136は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
第二音声受信部137は、第一の音声を、制御装置12から受信する。第一の音声とは、第一端末装置11から送信された音声であり、通常、第一端末装置11のユーザである第一のユーザが発した音声である。第二音声受信部137は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
第二音声出力部138は、第二音声受信部137が受信した第一の音声を出力する。第二音声出力部138は、スピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第二音声出力部138は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、遠隔コミュニケーションシステム1の動作について説明する。まず、第一端末装置11、または第二端末装置13の動作について、図3のフローチャートを用いて説明する。ここでは、第一端末装置11の動作を説明する。ただし、第一端末装置11の第一入力送信部110、第一映像取得部111、第一映像送信部112、第一音声取得部113、第一音声送信部114、第一映像受信部115、第一調整映像出力部116、第一音声受信部117、および第一音声出力部118の動作等は、それぞれ、第二端末装置13の第二入力送信部130、第二映像取得部131、第二映像送信部132、第二音声取得部133、第二音声送信部134、第二映像受信部135、第二調整映像出力部136、第二音声受信部137、および第二音声出力部138の動作等に置き換えても良い。
(ステップS301)第一入力送信部110は、ユーザからの入力を受け付けたか否かを判断する。入力を受け付ければステップS302に行き、入力を受け付けなければステップS309に行く。
(ステップS302)図示しない起動手段は、ステップS301で受け付けた入力が起動指示であるか否かを判断する。起動指示であればステップS303に行き、起動指示でなければステップS310に行く。
(ステップS303)図示しない起動手段が、起動処理を行う。起動処理とは、第一端末装置11と第二端末装置13とが通信可能となるようにする処理(発呼処理など)、制御装置12を動作可能とする処理等である。かかる起動処理により、第一端末装置11と第二端末装置13とが通信可能となる、とする。また、起動処理について、公知技術であるので詳細な説明を省略する。
(ステップS304)第一映像受信部115、および第一音声受信部117は、それぞれ映像と音声を受信したか否かを判断する。映像等を受信すればステップS305に行き、映像等を受信しなければステップS304に戻る。
(ステップS305)第一調整映像出力部116、および第一音声出力部118は、それぞれ第一映像受信部115が受信した第二調整映像、および第一音声受信部117が受信した第二の音声を出力する。
(ステップS306)第一映像取得部111は、第一の映像を取得する。
(ステップS307)第一音声取得部113は、第一の音声を取得する。
(ステップS308)第一映像送信部112、および第一音声送信部114は、それぞれ、第一の映像および第一の音声を、制御装置12に送信する。ステップS301に戻る。
(ステップS309)第一映像受信部115は、起動中であるか否かを判断する。起動中であればステップS304に行き、起動中でなければステップS301に戻る。
(ステップS310)第一入力送信部110は、変更するパラメータ(パラメータを識別する情報)、およびその値(増減する値でも良い)を受け付けたか否かを判断する。パラメータとその値を受け付ければステップS311に行き、パラメータとその値を受け付けなければステップS312に行く。
(ステップS311)第一入力送信部110は、ステップS310で受け付けたパラメータとその値を、制御装置12に送信する。
(ステップS312)第一入力送信部110は、終了指示を受け付けたか否かを判断する。終了指示を受け付ければ処理を終了し、終了指示を受け付けなければステップS301に戻る。
なお、図3のフローチャートにおいて、映像や音声の取得と、映像や音声の送信などは並列処理するなど、種々の処理を並列処理しても良いことは言うまでもない。
次に、制御装置12の動作について、図4のフローチャートを用いて説明する。
(ステップS401)パラメータ調整部122は、第一端末装置11または第二端末装置13から、パラメータの変更(新しいパラメータ)を受け付けたか否かを判断する。パラメータの変更を受け付ければステップS402に行き、パラメータの変更を受け付けなければステップS403に行く。
(ステップS402)パラメータ蓄積部123は、ステップS401で受け付けられた、変更された1以上のパラメータを、パラメータ格納部121に蓄積する。ここでの蓄積とは、パラメータの値を、新しいパラメータの値に更新することである。ステップS401に戻る。
(ステップS403)映像受信部124および音声転送部129は、それぞれ映像および音声を受信したか否かを判断する。映像および音声を受信すればステップS404に行き、映像および音声を受信しなければステップS401に戻る。なお、映像と音声は重畳されていても良い。
(ステップS404)第一調整映像取得部125または第二調整映像取得部127は、パラメータ格納部121に格納されている1以上のパラメータを読み出す。なお、パラメータ格納部121に、映像が出力される装置ごとに、パラメータが格納されている場合、第一調整映像取得部125または第二調整映像取得部127は、映像を送信する装置に対応する1以上のパラメータを読み出す。つまり、例えば、第一端末装置11から送信された映像が受信された場合、第一調整映像取得部125は、第二端末装置13に対応する1以上のパラメータを読み出す。また、例えば、第二端末装置13から送信された映像が受信された場合、第二調整映像取得部127は、第一端末装置11に対応する1以上のパラメータを読み出す。
(ステップS405)第一調整映像取得部125または第二調整映像取得部127は、ステップS403で受信された映像等から映像を抽出し、図示しないメモリ上に配置する。
(ステップS406)第一調整映像取得部125または第二調整映像取得部127は、ステップS404で読み出した1以上のパラメータに従って、ステップS405で抽出した映像を調整する。ここでの映像の調整とは、例えば、立体映像の飛び出し量の調整(視差のパラメータの調整)や、解像度の調整や、色調の調整などである。
(ステップS407)第一調整映像送信部126、または第二調整映像送信部128は、調整した映像(第一調整映像、または第二調整映像)を相手方の装置(第二端末装置13または第一端末装置11)に送信する。また、音声転送部129は、受信した音声を、相手方の装置(第二端末装置13または第一端末装置11)に送信する。なお、映像と音声は重畳されて送信されても良い。ステップS401に戻る。
なお、図4のフローチャートにおいて、音声転送部129は、受信した音声を、おとパラメータを用いて調整し、相手方の装置に送信しても良い。
また、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における遠隔コミュニケーションシステムの具体的な動作について説明する。遠隔コミュニケーションシステム1の概念図は図1である。ここで、遠隔コミュニケーションシステム1を用いて、第一端末装置11のユーザAと、第二端末装置13のユーザBが遠隔会議を行う、とする。また、第一端末装置11の識別情報である端末識別子は「T1」、第二端末装置13の端末識別子は「T2」である、とする。
また、現在、制御装置12のパラメータ格納部121は、図5に示すパラメータ管理表を保持している、とする。パラメータ管理表は、端末識別子ごとのパラメータを管理している。パラメータは、映像パラメータ、および音パラメータを有する。映像パラメータは臨場感調整映像パラメータである「飛び出し量」「解像度」「色調」を含む。「色調」は「明度」「彩度」を含む。また、音パラメータは、臨場感調整音パラメータである「音量」「サラウンド」を含む。
かかる状況において、ユーザAとユーザBは、それぞれ、第一端末装置11および第二端末装置13に対して、起動指示を入力し、お互いが遠隔会議できる状況になった、とする。
そして、例えば、第一端末装置11の第一映像取得部111は、第一の映像を取得する。また、第一音声取得部113は、第一の音声を取得する。
次に、第一映像送信部112、および第一音声送信部114は、それぞれ、第一の映像および第一の音声を、制御装置12に送信する。
次に、制御装置12の映像受信部124および音声転送部129は、第一端末装置11から、それぞれ第一の映像および第一の音声を受信する。
次に、第一調整映像取得部125は、パラメータ管理表(図5)に格納されている、端末識別子「T2」に対応する1以上のパラメータ(飛び出し量「5」、解像度「800×600」、明度「8」、彩度「7」、・・・、音量「15」、サラウンド「OFF」、・・・)を読み出す。
次に、第一調整映像取得部125は、受信された映像等から映像を抽出し、当該映像に対して、読み出した映像パラメータ(飛び出し量「5」、解像度「800×600」、・・・)に従って調整(変更)し、第一調整映像を取得する。
また、音声転送部129は、受信された映像等から音情報を抽出し、当該音情報に対して、読み出した音パラメータ(音量「15」、サラウンド「OFF」、・・・)に従って調整(変更)し、送信する音声(第一調整音声という)を取得する。
次に、第一調整映像送信部126は、第一調整映像を第二端末装置13に送信する。また、音声転送部129は、第一調整音声を第二端末装置13に送信する。
次に、第二端末装置13の第二映像受信部135は、第一調整映像を受信する。また、第二音声受信部137は、第一調整音声を受信する。
そして、第二調整映像出力部136、および第二音声出力部138は、それぞれ第一調整映像、および第一調整音声を出力する。なお、第一調整映像は立体映像である。
また、同様に、第二端末装置13の第二映像取得部131は、第二の映像を取得する。また、第二音声取得部133は、第二の音声を取得する。
次に、第二映像送信部132、および第二音声送信部134は、それぞれ、第二の映像および第二の音声を、制御装置12に送信する。
次に、制御装置12の映像受信部124および音声転送部129は、第二端末装置13から、それぞれ第二の映像および第二の音声を受信する。
次に、第二調整映像取得部127は、パラメータ管理表(図5)に格納されている、端末識別子「T1」に対応する1以上のパラメータ(飛び出し量「10」、解像度「1920×1080」、明度「10」、彩度「10」、・・・、音量「20」、サラウンド「ON」、・・・)を読み出す。
次に、第二調整映像取得部127は、受信された映像等から第二の映像を抽出し、当該第二の映像に対して、読み出した映像パラメータ(飛び出し量「10」、解像度「1920×1080」、・・・)に従って調整(変更)し、第二調整映像を取得する。
また、音声転送部129は、受信された映像等から第二の音声を抽出し、当該第二の音声に対して、読み出した音パラメータ(音量「20」、サラウンド「ON」、・・・)に従って調整(変更)し、送信する音声(第二調整音声という)を取得する。
次に、第二調整映像送信部128は、第二調整映像を第一端末装置11に送信する。また、音声転送部129は、第二調整音声を第一端末装置11に送信する。
次に、第一端末装置11の第一映像受信部115は、第二調整映像を受信する。また、第一音声受信部117は、第二調整音声を受信する。
そして、第一調整映像出力部116、および第一音声出力部118は、それぞれ第二調整映像、および第二調整音声を出力する。なお、第二調整映像は立体映像である。
以上に処理を、第一端末装置11、制御装置12、および第二端末装置13は、繰り返し、遠隔会議を進める。
そして、かかる遠隔会議の途中、ユーザA、または/およびユーザBは、会議の臨場感を変更したい、と考え、パラメータの変更を入力する、とする。具体的には、ユーザAは、臨場感をもう少し弱めたい、と考え、第一端末装置11に対して、変更するパラメータ(飛び出し量「6」、解像度「1024×768」、・・・、音量「16」、サラウンド「OFF」・・・)の入力を行った、とする。
次に、第一入力送信部110は、変更指示と変更するパラメータ(飛び出し量「6」、解像度「1024×768」、・・・、音量「16」、サラウンド「OFF」・・・)の入力を受け付ける。
そして、第一入力送信部110は、受け付けたパラメータ(飛び出し量「6」、解像度「1024×768」、・・・、音量「16」、サラウンド「OFF」・・・)を、端末識別子「T1」と対応付けて、制御装置12に送信する。なお、端末識別子「T1」は、例えば、第一端末装置11が予め保持している、とする。端末識別子は、端末装置が識別可能であれば何でも良く、例えば、IPアドレス、MACアドレス、端末名などである。
次に、制御装置12のパラメータ調整部122は、第一端末装置11から端末識別子「T1」と変更されたパラメータ(飛び出し量「6」、解像度「1024×768」、・・・、音量「16」、サラウンド「OFF」・・・)を受信する。
そして、パラメータ蓄積部123は、パラメータ調整部122が受け付けた、変更された1以上のパラメータを、パラメータ管理表(パラメータ格納部121)の端末識別子「T1」に対応する属性値として、蓄積する。なお、ここでの蓄積は、メモリ上への書き込みでも良い。
同様に、ユーザBも、パラメータを変更する。具体的には、ユーザBは、臨場感を強めたい、と考え、第二端末装置13に対して、変更するパラメータ(飛び出し量「10」、解像度「1920×1080」、・・・、音量「20」・・)の入力を行った、とする。
次に、第二入力送信部130は、変更指示と変更するパラメータ(飛び出し量「10」、解像度「1920×1080」、・・・、音量「20」・・)の入力を受け付ける。
そして、第二入力送信部130は、受け付けたパラメータ(飛び出し量「10」、解像度「1920×1080」、・・・、音量「20」・・)を、端末識別子「T2」と対応付けて、制御装置12に送信する。なお、端末識別子「T2」は、例えば、第二端末装置13が予め保持している、とする。
次に、制御装置12のパラメータ調整部122は、第二端末装置13から端末識別子「T2」と変更されたパラメータ(飛び出し量「10」、解像度「1920×1080」、・・・、音量「20」・・)を受信する。
そして、パラメータ蓄積部123は、パラメータ調整部122が受け付けた、変更された1以上のパラメータを、パラメータ管理表(パラメータ格納部121)の端末識別子「T2」に対応する属性値として、蓄積する。
以上の処理により、制御装置12は、図6に示すパラメータ管理表を得る。
すると、以後、第一端末装置11、制御装置12、および第二端末装置13が上記で説明した動作を行うことにより、第一端末装置11および第二端末装置13は、図6のパラメータ管理表に示すようなパラメータの立体映像と、音声を得ることができる。そして、ユーザAおよびユーザBは、各人が望む臨場感の立体映像、および音声を用いて、遠隔コミュニケーションができる。
以上、本実施の形態によれば、遠隔地間を、立体映像を用いてコミュニケーションする際に、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができる。また、本実施の形態によれば、臨場感を変更する各種パラメータは、多段階に調整可能である。
なお、本実施の形態における遠隔コミュニケーションシステムは、遠隔会議システム、遠隔地教育システム、遠隔地面接・カウンセリングシステム、遠隔地プレゼンテーションシステムなどへの利用が考えられる。かかることは、他の実施の形態においても同様である。
発明者らが実際に多数の被験者の協力を得て、本遠隔コミュニケーションシステム1を商品のプレゼンテーションに使用した実験によると、高度な臨場感を持った映像での商品説明より、中程度の立体映像の場合の方が被験者の商品に対する関心度が高まる結果が得られた。また、被験者の好みにより、上述したパラメータを調整することにより、快適な環境が、被験者に提供できると予想される。
また、例えば、遠隔地での面接に立体映像システムを用いた場合、臨場感の高い映像で面接する人が映し出されていると、面接を受ける人は異常な緊張感やプレッシャーを受けてしまい、本来の人となりを見てもらうことができないケースがある。そのような場合、臨場感の度合いを少し下げることによって、面接を受ける人へのプレッシャーなどが軽減され、本来あるべき面接の目的を達成することができる。本実施の形態における遠隔コミュニケーションシステム1は、かかる場合に特に有効である。
また、本実施の形態において、調整されるパラメータは、本実施の形態の具体例において説明したパラメータに限らず、臨場感を変更し得るパラメータであれば何でも良い。
また、本実施の形態において、第一端末装置11と制御装置12は、一体化されていても良い。また、第二端末装置13と制御装置12も、一体化されていても良い。
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。また、このソフトウェアまたは、このソフトウェアを記録した記録媒体は、コンピュータプログラム製品として流通しても良いことは言うまでもない。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における制御装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータを格納しており、コンピュータを、前記1以上のパラメータのうちのいずれかの変更を受け付けるパラメータ調整部と、前記パラメータ調整部が受け付けた変更された1以上のパラメータを、前記記憶媒体に蓄積するパラメータ蓄積部と、第一端末装置から前記第一の映像を受信する映像受信部と、前記記憶媒体に格納されている1以上のパラメータに従って、第一の映像を調整し、二種類の立体視用映像である第一調整映像を取得する第一調整映像取得部と、前記第一調整映像を第二端末装置に送信する第一調整映像送信部として機能させるためのプログラム、である。
また、上記プログラムにおいて、前記記憶媒体に格納されている1以上のパラメータに従って、第二の映像を調整し、立体視用映像である第二調整映像を取得する第二調整映像取得部と、前記第二調整映像を前記第一端末装置に送信する第二調整映像送信部とをさらに具備するものとして、コンピュータを、機能させるためのプログラムであることは好適である。
さらに、上記プログラムにおいて、前記第一端末装置から前記第一の音声を受信し、当該第一の音声を前記第二端末装置に送信し、前記第二端末装置から前記第二の音声を受信し、当該第二の音声を前記第一端末装置に送信する音声転送部をさらに具備ものとして、コンピュータを、機能させるためのプログラムであることは好適である。
(実施の形態2)
本実施の形態において、立体映像を出力する遠隔コミュニケーションシステム2において、臨場感を変更し得るパラメータの変更を受け付ける遠隔コミュニケーションシステム2について説明する。なお、本実施の形態において、取得した情報に基づいて、パラメータを自動変更する遠隔コミュニケーションシステム2について説明する。取得した情報とは、第二端末装置に関する情報である第二端末関連情報である。第二端末関連情報は、例えば、第二端末装置のユーザの情報(例えば、心拍数や発汗量などの生体情報)や、第二端末装置に出力される映像または音声などである。
本実施の形態における遠隔コミュニケーションシステム2の概念図も、実施の形態1で述べた遠隔コミュニケーションシステム1の概念図(図1)と同様である。図7は、本実施の形態における遠隔コミュニケーションシステム2のブロック図である。遠隔コミュニケーションシステム2は、第一端末装置11、制御装置22、第二端末装置23を具備する。
制御装置22は、パラメータ格納部121、パラメータ調整部222、パラメータ蓄積部223、映像受信部124、第一調整映像取得部125、第一調整映像送信部126、第二調整映像取得部127、第二調整映像送信部128、音声転送部129、第二端末関連情報受信部224を具備する。
第二端末装置23は、第二入力部130、第二映像取得部131、第二映像送信部132、第二音声取得部133、第二音声送信部134、第二映像受信部135、第二調整映像出力部136、第二音声受信部137、第二音声出力部138、第二端末関連情報取得部231、第二端末関連情報送信部232を具備する。
パラメータ調整部222は、第二端末関連情報受信部224が受信した第二端末関連情報を用いて、パラメータ格納部121に格納されている1以上のパラメータを変更する。パラメータ調整部222は、1以上のパラメータのうちのいずれかの変更を受け付けても良い。なお、かかるパラメータの変更を受け付ける処理は、パラメータ調整部122の処理と同様である。パラメータ調整部222は、例えば、第二端末関連情報と、変更するパラメータを識別する情報と、変更するパラメータを決定する算出式(第二端末関連情報をパラメータとする算出式)または変更するパラメータの値とを対にした情報である調整条件情報を1以上格納する調整条件情報格納手段2221を具備する。また、パラメータ調整部222は、例えば、受信された第二端末関連情報を1以上の調整条件情報に適用し、受信された第二端末関連情報に対応する調整条件情報を決定し、当該調整条件情報が有する算出式に、受信された第二端末関連情報を代入し、算出式を実行し、パラメータの値を得るパラメータ決定手段2222を具備する。パラメータ調整部222は、通常、MPUやメモリ等から実現され得る。パラメータ調整部222の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
パラメータ蓄積部223は、パラメータ調整部222が変更した1以上のパラメータを、パラメータ格納部121に蓄積する。また、パラメータ蓄積部223は、パラメータ調整部222が受け付けた変更された1以上のパラメータを、パラメータ格納部121に蓄積する。パラメータ蓄積部223は、通常、MPUやメモリ等から実現され得る。パラメータ蓄積部223の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第二端末関連情報受信部224は、第二端末装置23から、第二端末関連情報を受信する。第二端末関連情報については後述する。第二端末関連情報受信部224は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第二端末関連情報取得部231は、第二端末装置23に関する情報である第二端末関連情報を取得する。第二端末関連情報とは、第二端末装置23に関する情報である。第二端末関連情報は、例えば、第二端末装置23のユーザの情報であり、遠隔コミュニケーションに参加しているユーザの情報である。このユーザの情報とは、例えば、第二端末装置23のユーザの生体情報である。生体情報は、例えば、第二端末装置23のユーザの心拍数の情報や、発汗量を示す情報や、血圧を示す情報等である。第二端末関連情報は、第二端末装置23のユーザの属性値(性別、年齢など)でも良い。また、第二端末関連情報は、第二端末装置23に出力される第一調整映像、または第一の音声である。また、第二端末関連情報は、第一調整映像の中に人を含むか否かの判断結果や、第一調整映像の中に予め決められた物体を含むか否かの判断結果や、第一の音声がサラウンドか否かを示す情報、第一の音声が予め決められた音量以上の音量であるか否かを示す情報等でも良い。
第二端末関連情報取得部231は、例えば、心拍数を取得する装置(公知の装置)と、そのドライバーソフトから構成される。また、第二端末関連情報取得部231は、例えば、発汗量または血圧を取得する装置(公知の装置)と、そのドライバーソフトから構成される。また、第二端末関連情報取得部231は、例えば、第一調整映像を取得し、当該第一調整映像の中に人を含むか否かを判断する画像認識ソフトウェアと、MPUやメモリ等から実現され得る。なお、かかる画像認識ソフトウェアは、顔認識ソフトウェア等として公知の技術である。また、第二端末関連情報取得部231は、例えば、第一調整映像を取得し、当該第一調整映像の中に、予め決められた物体を含むか否かを判断する画像処理ソフトウェアと、MPUやメモリ等から実現され得る。第一調整映像の中に、予め決められた物体を含むか否かは、予め決められた物体の情報(形状、輪郭、色の情報など)を格納する記録媒体と、輪郭抽出、画像認識等のソフトウェアと、MPUやメモリ等から実現され得る。なお、かかる画像認識ソフトウェアも、画像認識ソフトウェア等として公知の技術である。
第二端末関連情報送信部232は、第二端末関連情報取得部231が取得した第二端末関連情報を、制御装置22に送信する。第二端末関連情報送信部232は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
次に、遠隔コミュニケーションシステム2の動作について説明する。まず、第二端末装置23の動作について説明する。第二端末装置23の動作は、図3のフローチャートを用いて説明した第一端末装置11、または第二端末装置13の動作と、以下の点のみが異なる。
以下の点とは、遠隔コミュニケーション中に、第二端末関連情報取得部231が第二端末関連情報を取得し、当該第二端末関連情報を第二端末関連情報送信部232が制御装置22に送信する点である。なお、第二端末関連情報取得部231が第二端末関連情報を取得するタイミングは問わない。第二端末関連情報取得部231は、遠隔コミュニケーション中、定期的に第二端末関連情報を取得することは好適である。ただし、ユーザの指示により、第二端末関連情報取得部231は、第二端末関連情報を取得しても良い。このユーザとは、第二端末装置23のユーザでも良いし、第一端末装置11のユーザでも良い。
次に、制御装置12の動作について、図8のフローチャートを用いて説明する。図8のフローチャートにおいて、図4のフローチャートのフローチャートと異なる点についてのみ説明する。
(ステップS801)第二端末関連情報受信部224は、第二端末装置23から、第二端末関連情報を受信したか否かを判断する。第二端末関連情報を受信すればステップS802に行き、第二端末関連情報を受信しなければステップS403に行く。
(ステップS802)パラメータ調整部222は、第二端末関連情報受信部224が受信した第二端末関連情報を用いて、変更すべき1以上のパラメータを決定し、1以上の新しいパラメータを取得する。ステップS402に行く。
(ステップS803)パラメータ調整部222は、ステップS405で抽出された映像を解析し、解析結果を得る。パラメータ調整部222は、例えば、予め決められた物体(人物でも良い)が、映像中に存在するか否かを判断する。そして、パラメータ調整部222は、判断結果を得る。
(ステップS804)パラメータ調整部222は、ステップS803における解析結果を用いて、1以上のパラメータを決定する。かかる場合、パラメータ調整部222は、解析結果に応じた、パラメータの識別子および値の組を、1組以上保持している。なお、パラメータ調整部222が決定した1以上のパラメータは、パラメータ蓄積部223により、パラメータ格納部121に蓄積される、または、第一調整映像取得部125または第二調整映像取得部127に渡される。
(ステップS805)第一調整映像取得部125は、ステップS804で決定されたパラメータ以外のパラメータの値を、パラメータ格納部121から読み出す。なお、ステップS804で決定されたパラメータが、一旦、パラメータ格納部121に蓄積された場合は、第一調整映像取得部125は、出力先の端末識別子に対応するすべてのパラメータの値を、パラメータ格納部121から読み出す。ステップS406に行く。
なお、図8のフローチャートにおいて、第二端末関連情報(第二端末装置23に出力される映像や音声も含む)に応じて、第二端末装置23に出力される映像や音声のパラメータを自動変更した。しかし、第一端末装置11も、かかる機能を有しても良い。つまり、第一端末装置11のユーザの生体情報や第一端末装置11に出力される映像や音声などの第一端末関連情報に応じて、第一端末装置11に出力される映像や音声のパラメータを自動変更しても良い。かかる処理は、第二端末装置23に対する処理(制御装置22の処理も含む)と同様である。
また、図8のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における遠隔コミュニケーションシステム2の具体的な動作について説明する。遠隔コミュニケーションシステム2の概念図は図1である。ここで、遠隔コミュニケーションシステム1を用いて、第一端末装置11のユーザAと、第二端末装置13のユーザBが遠隔で面接を行う、とする。ユーザAは面接官、ユーザBは面接を受ける側である、とする。また、第二端末装置13の第二端末関連情報取得部231は、心拍数を取得する心拍数取得手段と、発汗量を取得する発汗量取得手段とを具備する、とする。なお、発汗量取得手段として、発汗計がある。また、第一端末装置11の識別情報である端末識別子は「T1」、第二端末装置13の端末識別子は「T2」である、とする。
また、現在、制御装置12のパラメータ格納部121は、図6に示すパラメータ管理表を保持している、とする。
また、制御装置22のパラメータ調整部222の調整条件情報格納手段2221は、図9に示す第一の調整条件情報管理表を保持している。第一の調整条件情報管理表は、ユーザBの生体情報を用いた調整条件情報管理表である。第一の調整条件情報管理表は、「生体情報」と「映像パラメータ」の属性値を有するレコードを1以上、管理している。「生体情報」とは、ここでは「心拍数」「発汗量」である。「生体情報」の属性値を満たす第二端末関連情報が、制御装置12により受信された場合、「映像パラメータ」が示す値や変動値に、パラメータが修正される。つまり、図9に示す調整条件情報管理表によれば、心拍数が「60以下」である場合、発汗量に関係なく、映像パラメータのうちの「飛び出し量」が、現在の値より「+2」され(立体映像がより飛び出るようになり)、解像度が「大」の解像度となる。なお、例えば、解像度「大」は、「1920×1080」、解像度「中」は、「1024×960」、解像度「小」は、「800×600」などである。また、図9において、心拍数が「81以上」であり、発汗量が「5より大」である場合、飛び出し量が、現在の値より「−5」され(立体映像の飛び出しが非常に小さくなり)、解像度が「小」の解像度となる、ことを示す。
さらに、調整条件情報格納手段2221は、図10に示す第二の調整条件情報管理表を保持している。第二の調整条件情報管理表は、出力されている映像を用いた調整条件情報管理表である。第二の調整条件情報管理表は、「ID」「調整条件情報」を有するレコードを1以上、管理している。「調整条件情報」は、「条件」と「パラメータ」を有する。「条件」とは、パラメータが変更される場合の条件を示す。「パラメータ」は、変更されるパラメータの値や、演算式(算出式)が格納され得る。「条件」は「意味」「物体」を有する。「条件」中の「物体」の属性値である画像が映像中に存在する場合に、条件に合致することを示す。つまり、「ID=1」のレコードの「条件」は、「意味」が示すように、「物体」の画像が示す商品Aが映像中に映っている場合に、条件に合致することを示す。かかる場合、「パラメータ」の飛び出し量が「10」となる。つまり、商品Aは、面接を行う会社の主力商品であり、面接官(ユーザA)が商品AをユーザBに紹介する場合に、第二端末装置23(ユーザB側)に出力される立体映像の飛び出し量を大きくする(10にする)ものである。
かかる状況において、ユーザAとユーザBは、それぞれ、第一端末装置11および第二端末装置23に対して、起動指示を入力し、お互いが遠隔会議できる状況になった、とする。
そして、遠隔コミュニケーションシステム2を用いた遠隔面接が始まり、ユーザAは、ユーザBに種々の質問し、ユーザBは質問に答えていく。その間、ユーザAの第一端末装置11、およびユーザBの第二端末装置23には、図6のパラメータ管理表の映像パラメータに従った、立体映像が出力されている。また、両端末装置には、図6のパラメータ管理表の音パラメータに従った、音声も出力されていることは言うまでもない。
そして、第二端末装置23の第二端末関連情報取得部231は、定期的に(例えば、5秒毎に)、ユーザBの心拍数と発汗量を取得している、とする。そして、面接も進んできて、ユーザBの心拍数が80を超えて、81となり、かつ、発汗量も「6」となり、第二端末関連情報取得部231は、心拍数「81」、発汗量「6」を取得した、とする。
次に、第二端末関連情報送信部232は、第二端末関連情報(心拍数「81」、発汗量「6」)を、制御装置22に送信する。
次に、制御装置22の第二端末関連情報受信部224は、第二端末関連情報(心拍数「81」、発汗量「6」)を受信する。
そして、パラメータ調整部222は、第二端末関連情報(心拍数「81」、発汗量「6」)を、図9の調整条件情報管理表に適用し、調整条件情報管理表の生体情報(心拍数「81〜」、発汗量「5より大」)に合致することを検出する。そして、パラメータ調整部222は、生体情報(心拍数「81〜」、発汗量「5より大」)に対応する映像パラメータ(飛び出し量「−5」、解像度「小」・・・)を得る。
次に、パラメータ調整部222は、図6の飛び出し量「10」を読み出し、映像パラメータ(飛び出し量「−5」)を用いて演算し(「10−5」の演算を行い)、新しい飛び出し量「5」を算出する。また、解像度「小」から、パラメータ調整部222は、新しい解像度「800×600」を得る。
次に、パラメータ蓄積部223は、新しい飛び出し量「5」、新しい解像度「800×600」を、パラメータ格納部121の端末識別子「T2」のレコードに、少なくとも一時蓄積する。
そして、第一調整映像取得部125は、新しい飛び出し量「5」、新しい解像度「800×600」を含むパラメータを、パラメータ格納部121から読み出し、当該新しいパラメータに従って、映像を調整し(修正し)、第一調整映像を取得する。
次に、第一調整映像送信部126は、第一調整映像を第二端末装置23に送信する。そして、ユーザBは、飛び出し量が少なく、解像度も小さい、それほど臨場感がない立体映像を見ることができる。かかる臨場感が少ない立体映像により面接を続けることにより、ユーザBの緊張がほぐれ、面接官(ユーザA)は、ユーザBの人格がより判断しやすくなる。
そして、面接官(ユーザA)は、ユーザBの面接をさらに続けた、とする。そして、ある時、ユーザAは、カメラ(第一映像取得部111)の前に、自社の主力製品である商品Aを持って来て、ユーザBに商品Aの特徴について説明するように求めた、とする。
次に、第一映像取得部111は、商品Aを撮影し、商品Aを含む立体映像を取得した、とする。そして、第一映像送信部112は、商品Aを含む立体映像を、制御装置22に送信する。
次に、制御装置22の映像受信部124は、商品Aを含む立体映像と、ユーザAの音声を受信する。
次に、パラメータ調整部222は、商品Aを含む立体映像を抽出する。そして、パラメータ調整部222は、商品Aを含む立体映像を画像処理し、図10の「物体」の属性値であり商品Aの画像を、受信された立体映像中に含むか否かを判断する。かかる判断は、立体映像を構成する2つの映像に含まれる、少なくとも1つの静止画を取り出し、「物体」の属性値であり商品Aの画像との類似度を算出する。そして、類似度が予め決められた閾値以上であれば、立体映像は商品Aを含む、と判断する。なお、かかる判断処理は公知技術であるので、詳細な説明を省略する。
次に、パラメータ調整部222は、図10の管理表の「ID=1」のパラメータ(飛び出し量「10」・・・)を読み出す。
次に、第一調整映像送信部126は、決定されたパラメータ(飛び出し量「10」・・・)以外のパラメータの値を、パラメータ格納部121から読み出す。これらの処理により、第二調整映像取得部127は、出力先の端末識別子に対応するすべてのパラメータの値を得ることとなる。
そして、第一調整映像送信部126は、得たパラメータの値に従って、受信された映像を調整し、第一調整映像を得る。
次に、第一調整映像送信部126は、第一調整映像を第二端末装置23に送信する。また、音声転送部129は、受信した音声を、第二端末装置23に送信する。
次に、第二映像受信部135、および第二音声受信部137は、それぞれ第一調整映像と音声を受信する。
そして、第二調整映像出力部136は、第二調整映像を出力する。また、第二音声出力部138は、受信された音声を出力する。かかる第二調整映像は、飛び出し量「10」の立体映像になっており、非常に臨場感のある立体映像となっている。かかる臨場感のある立体映像は、面接において説明しなければならない商品AをわかりやすくユーザBに提示することとなる。
以上、本実施の形態によれば、制御装置22が取得した情報に基づいて、パラメータを自動変更できる。かかるパラメータの自動変更により、ユーザの状態や、出力される映像等に適した臨場感を演出できるようになる。かかる演出により、遠隔コミュニケーションを非常に快適に、効果的なものにできる。
さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータを格納しており、コンピュータを、前記1以上のパラメータのうちのいずれかの変更を受け付けるパラメータ調整部と、前記パラメータ調整部が受け付けた変更された1以上のパラメータを、前記記憶媒体に蓄積するパラメータ蓄積部と、第一端末装置から前記第一の映像を受信する映像受信部と、前記記憶媒体に格納されている1以上のパラメータに従って、第一の映像を調整し、二種類の立体視用映像である第一調整映像を取得する第一調整映像取得部と、前記第一調整映像を第二端末装置に送信する第一調整映像送信部として機能させるためのプログラム、である。
また、上記プログラムにおいて、前記第二端末関連情報を受信する第二端末関連情報受信部をさらに具備するものとして、コンピュータを、機能させるためのプログラムであり、前記パラメータ調整部は、前記第二端末関連情報受信部が受信した第二端末関連情報を用いて、前記パラメータ格納部に格納されている1以上のパラメータを変更し、前記パラメータ蓄積部は、前記パラメータ調整部が変更した1以上のパラメータを、前記記憶媒体に蓄積するものとして、コンピュータを、機能させるためのプログラムであることは好適である。
また、図11は、本明細書で述べたプログラムを実行して、上述した実施の形態の遠隔コミュニケーションシステムを構成する制御装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図11は、このコンピュータシステム340の概観図であり、図12は、コンピュータシステム340の内部構成を示す図である。
図11において、コンピュータシステム340は、FDドライブ3411、CD−ROMドライブ3412を含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。
図12において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415と、CPU3413に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム340に、上述した実施の形態の制御装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ341に、上述した実施の形態の遠隔コミュニケーションシステム等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信するステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段(端末情報送信部、端末情報受信部など)は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる遠隔コミュニケーションシステムは、遠隔地間を、立体映像を用いてコミュニケーションする際に、相手の存在感の強弱を調整し、コミュニケーションの目的に適したインタラクション環境を整えることができるという効果を有し、TV会議システム等として有用である。
1、2 遠隔コミュニケーションシステム
11 第一端末装置
12、22 制御装置
13、23 第二端末装置
110 第一入力送信部
111 第一映像取得部
112 第一映像送信部
113 第一音声取得部
114 第一音声送信部
115 第一映像受信部
116 第一調整映像出力部
117 第一音声受信部
118 第一音声出力部
121 パラメータ格納部
122、222 パラメータ調整部
123、223 パラメータ蓄積部
124 映像受信部
125 第一調整映像取得部
126 第一調整映像送信部
127 第二調整映像取得部
128 第二調整映像送信部
129 音声転送部
130 第二入力送信部
130 第二入力部
131 第二映像取得部
132 第二映像送信部
133 第二音声取得部
134 第二音声送信部
135 第二映像受信部
136 第二調整映像出力部
137 第二音声受信部
138 第二音声出力部
224 第二端末関連情報受信部
231 第二端末関連情報取得部
232 第二端末関連情報送信部

Claims (10)

  1. 第一端末装置と制御装置と第二端末装置とを具備する遠隔コミュニケーションシステムであって、
    前記第一端末装置は、
    立体映像を生成するための立体視用映像である第一の映像を取得する第一映像取得部と、
    前記第一の映像を、前記制御装置に送信する第一映像送信部と、
    前記第二端末装置から送信された第二の映像を、臨場感を決定し得る1以上のパラメータに従って調整し、取得された立体視用映像である第二調整映像を前記制御装置から受信する第一映像受信部と、
    前記第一映像受信部が受信した第二調整映像を出力する第一調整映像出力部とを具備し、
    前記制御装置は、
    立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータであり、映像の飛び出し量を特定する映像飛出量情報に加えて、映像の解像度または色調を含む1以上のパラメータを格納しているパラメータ格納部と、
    前記1以上のパラメータのうちのいずれかの変更に関する情報を受け付け、当該変更に関する情報を用いて、新しい1以上のパラメータを得るパラメータ調整部と、
    前記パラメータ調整部が得た新しい1以上のパラメータを、前記パラメータ格納部に蓄積するパラメータ蓄積部と、
    前記第一の映像と、前記第二端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第二の映像とを受信する映像受信部と、
    前記パラメータ格納部に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記パラメータ格納部に格納されている解像度または色調に合致するように前記第一の映像を調整し、立体視用映像である第一調整映像を取得する第一調整映像取得部と、
    前記第一調整映像を前記第二端末装置に送信する第一調整映像送信部と、
    前記パラメータ格納部に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記パラメータ格納部に格納されている解像度または色調に合致するように前記第二の映像を調整し、立体視用映像である第二調整映像を取得する第二調整映像取得部と、
    前記第二調整映像を前記第一端末装置に送信する第二調整映像送信部とを具備し、
    前記第二端末装置は、
    第二の映像を取得する第二映像取得部と、
    前記第二の映像を、前記制御装置に送信する第二映像送信部と、
    前記第一調整映像を受信する第二映像受信部と、
    前記第二映像受信部が受信した第一調整映像を出力する第二調整映像出力部とを具備する遠隔コミュニケーションシステム。
  2. 前記第一端末装置は、
    第一の音声を取得する第一音声取得部と、
    前記第一の音声を、前記制御装置に送信する第一音声送信部と、
    第二の音声を、前記制御装置から受信する第一音声受信部と、
    前記第一音声受信部が受信した第二の音声を出力する第一音声出力部とをさらに具備し、
    前記制御装置は、
    前記第一端末装置から前記第一の音声を受信し、当該第一の音声を前記第二端末装置に送信し、前記第二端末装置から前記第二の音声を受信し、当該第二の音声を前記第一端末装置に送信する音声転送部をさらに具備し、
    前記第二端末装置は、
    第二の音声を取得する第二音声取得部と、
    前記第二の音声を、前記制御装置に送信する第二音声送信部と、
    第一の音声を、前記制御装置から受信する第二音声受信部と、
    前記第二音声受信部が受信した第一の音声を出力する第二音声出力部とをさらに具備する請求項1記載の遠隔コミュニケーションシステム。
  3. 前記第二端末装置は、
    当該第二端末装置に関する情報であり、第二端末装置のユーザの生体情報、または第二端末装置のユーザの属性値、または第二端末装置が出力する第一調整映像または第一の音声から取得され得る情報である第二端末関連情報を取得する第二端末関連情報取得部と、
    前記第二端末関連情報を、前記制御装置に送信する第二端末関連情報送信部と、
    前記制御装置は、
    前記第二端末関連情報を受信する第二端末関連情報受信部をさらに具備し、
    前記パラメータ調整部は、
    前記第二端末関連情報受信部が受信した第二端末関連情報を用いて、前記パラメータ格納部に格納されている1以上のパラメータを変更し、
    前記パラメータ蓄積部は、
    前記パラメータ調整部が変更した1以上のパラメータを、前記パラメータ格納部に蓄積する請求項1または請求項2記載の遠隔コミュニケーションシステム。
  4. 請求項1から請求項3いずれか記載の遠隔コミュニケーションシステムを構成する制御装置。
  5. 立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータであり、映像の飛び出し量を特定する映像飛出量情報に加えて、映像の解像度または色調を含む1以上のパラメータを格納しているパラメータ格納部と、
    前記1以上のパラメータのうちのいずれかの変更に関する情報を受け付け、当該変更に関する情報を用いて、新しい1以上のパラメータを得るパラメータ調整部と、
    前記パラメータ調整部が得た新しい1以上のパラメータを、前記パラメータ格納部に蓄積するパラメータ蓄積部と、
    第一端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第一の映像と、第二端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第二の映像とを受信する映像受信部と、
    前記パラメータ格納部に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記パラメータ格納部に格納されている解像度または色調に合致するように前記第一の映像を調整し、立体視用映像である第一調整映像を取得する第一調整映像取得部と、
    前記第一調整映像を前記第二端末装置に送信する第一調整映像送信部と、
    前記パラメータ格納部に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記パラメータ格納部に格納されている解像度または色調に合致するように前記第二の映像を調整し、立体視用映像である第二調整映像を取得する第二調整映像取得部と、
    前記第二調整映像を前記第一端末装置に送信する第二調整映像送信部とを具備する制御装置。
  6. 前記第一端末装置から第一の音声を受信し、当該第一の音声を前記第二端末装置に送信し、前記第二端末装置から第二の音声を受信し、当該第二の音声を前記第一端末装置に送信する音声転送部をさらに具備する請求項5記載の制御装置。
  7. パラメータ調整部、パラメータ蓄積部、映像受信部、第一調整映像取得部、第一調整映像送信部、第二調整映像取得部、および第二調整映像送信部により実現される制御方法であって、
    記録媒体に、
    立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータであり、映像の飛び出し量を特定する映像飛出量情報に加えて、映像の解像度または色調を含む1以上のパラメータを格納しており、
    前記パラメータ調整部が、前記1以上のパラメータのうちのいずれかの変更に関する情報を受け付け、当該変更に関する情報を用いて、新しい1以上のパラメータを得るパラメータ調整ステップと、
    前記パラメータ蓄積部が、前記パラメータ調整ステップで得られた新しい1以上のパラメータを、前記記録媒体に蓄積するパラメータ蓄積ステップと、
    前記映像受信部が、第一端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第一の映像と、第二端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第二の映像とを受信する映像受信ステップと、
    前記第一調整映像取得部が、前記記録媒体に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記記録媒体に格納されている解像度または色調に合致するように前記第一の映像を調整し、立体視用映像である第一調整映像を取得する第一調整映像取得ステップと、
    前記第一調整映像送信部が、前記第一調整映像を前記第二端末装置に送信する第一調整映像送信ステップと、
    前記第二調整映像取得部が、前記記録媒体に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記記録媒体に格納されている解像度または色調に合致するように前記第二の映像を調整し、立体視用映像である第二調整映像を取得する第二調整映像取得ステップと、
    前記二調整映像送信部が、前記第二調整映像を前記第一端末装置に送信する第二調整映像送信ステップとを具備する制御方法。
  8. さらに音声転送部により実現され得る請求項7記載の制御方法であって、
    前記音声転送部が、前記第一端末装置から第一の音声を受信し、当該第一の音声を前記第二端末装置に送信し、前記第二端末装置から第二の音声を受信し、当該第二の音声を前記第一端末装置に送信する音声転送ステップをさらに具備する請求項7記載の制御方法。
  9. 記憶媒体に、
    立体映像を出力する場合の、臨場感を決定し得る1以上のパラメータであり、映像の飛び出し量を特定する映像飛出量情報に加えて、映像の解像度または色調を含む1以上のパラメータを格納しており、
    コンピュータを、
    前記1以上のパラメータのうちのいずれかの変更に関する情報を受け付け、当該変更に関する情報を用いて、新しい1以上のパラメータを得るパラメータ調整部と、
    前記パラメータ調整部が得た新しい1以上のパラメータを、前記記憶媒体に蓄積するパラメータ蓄積部と、
    第一端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第一の映像と、第二端末装置から送信された映像であり、立体映像を生成するための立体視用映像である第二の映像とを受信する映像受信部と、
    前記記憶媒体に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記記憶媒体に格納されている解像度または色調に合致するように前記第一の映像を調整し、立体視用映像である第一調整映像を取得する第一調整映像取得部と、
    前記第一調整映像を前記第二端末装置に送信する第一調整映像送信部と、
    前記記憶媒体に格納されている映像飛出量情報が示す映像の飛び出し量になるように、かつ前記記憶媒体に格納されている解像度または色調に合致するように前記第二の映像を調整し、立体視用映像である第二調整映像を取得する第二調整映像取得部と、
    前記第二調整映像を前記第一端末装置に送信する第二調整映像送信部として機能させるためのプログラム。
  10. コンピュータを、
    前記第一端末装置から第一の音声を受信し、当該第一の音声を前記第二端末装置に送信し、前記第二端末装置から第二の音声を受信し、当該第二の音声を前記第一端末装置に送信する音声転送部としてさらに機能させるための請求項9記載のプログラム。
JP2009114388A 2009-05-11 2009-05-11 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム Expired - Fee Related JP5388032B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009114388A JP5388032B2 (ja) 2009-05-11 2009-05-11 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009114388A JP5388032B2 (ja) 2009-05-11 2009-05-11 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2010263542A JP2010263542A (ja) 2010-11-18
JP5388032B2 true JP5388032B2 (ja) 2014-01-15

Family

ID=43361234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009114388A Expired - Fee Related JP5388032B2 (ja) 2009-05-11 2009-05-11 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5388032B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7179384B1 (ja) 2021-12-07 2022-11-29 株式会社Abelon サーバ、情報処理方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
ATE483327T1 (de) * 2001-08-15 2010-10-15 Koninkl Philips Electronics Nv 3d videokonferenzsystem
JP4247666B2 (ja) * 2003-06-02 2009-04-02 富士フイルム株式会社 画像処理方法及び画像処理システム
JP4595313B2 (ja) * 2003-11-14 2010-12-08 ソニー株式会社 撮像表示装置及び方法、画像送受信システム
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2006222838A (ja) * 2005-02-14 2006-08-24 Matsushita Electric Ind Co Ltd 情報処理システム
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
KR101457235B1 (ko) * 2006-10-26 2014-10-31 시리얼 테크놀로지즈 에스.에이. 홀로그래픽 디스플레이를 포함하는 이동 전화 시스템

Also Published As

Publication number Publication date
JP2010263542A (ja) 2010-11-18

Similar Documents

Publication Publication Date Title
US10771736B2 (en) Compositing and transmitting contextual information during an audio or video call
US9473741B2 (en) Teleconference system and teleconference terminal
JP6044306B2 (ja) 情報処理装置、情報処理システム及びプログラム
US9386278B2 (en) Teleconference method, storage medium storing program for teleconference, and terminal apparatus
CN109511004B (zh) 一种视频处理方法及装置
CN108322474B (zh) 基于共享桌面的虚拟现实系统、相关装置及方法
JP5338350B2 (ja) 情報処理装置及び音声補正プログラム
US9398260B2 (en) Teleconference system, storage medium storing program for server apparatus, and storage medium storing program for terminal apparatus
JP2013115527A (ja) テレビ会議システム及びテレビ会議方法
JP6149433B2 (ja) テレビ会議装置、テレビ会議装置の制御方法、及びプログラム
CN111050204A (zh) 视频裁剪方法、装置、电子设备和存储介质
EP2575358B1 (en) Display apparatus and control method thereof
CN111163280A (zh) 非对称性视频会议系统及其方法
JP2020102782A (ja) コンテンツ配信システム、配信装置、受信装置及びプログラム
JP2014050018A (ja) 情報処理装置、ビデオ会議システム及びプログラム
JP5388032B2 (ja) 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム
JPWO2015162942A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
US10762913B2 (en) Image-based techniques for audio content
JP6100659B2 (ja) 情報取得システム、情報取得方法及びコンピュータプログラム
US20210120167A1 (en) Control method for camera device, camera device, camera system, and storage medium
US8963989B2 (en) Data distribution apparatus, data distribution method, and program
CN106973282B (zh) 一种全景视频沉浸感增强方法和系统
CN114125735B (zh) 耳机连接方法及装置、计算机可读存储介质和电子设备
JP6450408B2 (ja) 情報取得システム、情報取得方法及びコンピュータプログラム
CN114531564A (zh) 处理方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130930

R150 Certificate of patent or registration of utility model

Ref document number: 5388032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees