JP2024040026A - 通信システム、通信装置、プログラム、及び制御方法 - Google Patents

通信システム、通信装置、プログラム、及び制御方法 Download PDF

Info

Publication number
JP2024040026A
JP2024040026A JP2022144833A JP2022144833A JP2024040026A JP 2024040026 A JP2024040026 A JP 2024040026A JP 2022144833 A JP2022144833 A JP 2022144833A JP 2022144833 A JP2022144833 A JP 2022144833A JP 2024040026 A JP2024040026 A JP 2024040026A
Authority
JP
Japan
Prior art keywords
communication device
directional
display
curved display
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022144833A
Other languages
English (en)
Other versions
JP7464927B2 (ja
Inventor
佳成 竹川
圭二 平田
史郎 坂本
慎二 楠木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
E-JAN NETWORKS CO.
Future University Hakodate
Original Assignee
E-JAN NETWORKS CO.
Future University Hakodate
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by E-JAN NETWORKS CO., Future University Hakodate filed Critical E-JAN NETWORKS CO.
Priority to JP2022144833A priority Critical patent/JP7464927B2/ja
Publication of JP2024040026A publication Critical patent/JP2024040026A/ja
Application granted granted Critical
Publication of JP7464927B2 publication Critical patent/JP7464927B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】臨場感を共有しながら自然な会話を行う通信システム、通信装置、プログラム及び制御方法を提供する。【解決手段】通信システム10は、全方位カメラ120、全周に向けて情報を表示する曲面ディスプレイ110、異なる方向に向けて配置され、複数の指向性マイク130及び複数の指向性スピーカ140を有する第1通信装置100と、全方位カメラ220、全周に向けて情報を表示する曲面ディスプレイ210、異なる方向に向けて配置され、複数の指向性マイク230及び複数の指向性スピーカ240を有する第2通信装置200と、を備える。各通信装置は、他の通信装置の撮像画像と複数の指向性マイクが取得した複数の音声情報を受信する受信部、受信した撮像画像を曲面ディスプレイに表示させる表示制御部及び受信した複数の音声情報を、他の通信装置の複数の指向性マイクの夫々に対応する複数の指向性スピーカ夫々に出力させる音声出力制御部を有する。【選択図】図2

Description

本発明は、通信システム、通信装置、プログラム、及び制御方法に関する。
特許文献1には、円錐形状の鏡面体を介して取り込んだ会議出席者の映像をパノラマ画像に変換すると共に、無指向性マイクにより取り込んだ音声の到達時間差から割り出した音源方向に基づき部分画像を選択的に再生するシステムが記載されている。特許文献2には、移動式ロボットを作動させて人についていく方法を提供する技術であって、三次元イメージデータを取り込み、自動追従することを目指す技術が記載されている。特許文献3には、レーザ光を用いて屋内のオブジェクトを調査・検出するためのリアリティキャプチャ装置であって、デジタル三次元データを生成することを目的とする装置が記載されている。
[先行技術文献]
[特許文献]
[特許文献1]特開2003-018561号公報
[特許文献2]特開2014-195868号公報
[特許文献3]特表2022-515162号公報
本発明の一実施態様によれば、通信システムが提供される。前記通信システムは、第1通信装置及び第2通信装置を備えてよい。前記第1通信装置は、全方位カメラを有してよい。前記第1通信装置は、全周に向けて情報を表示するよう配置された曲面ディスプレイを有してよい前記第1通信装置は、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカを有してよい。前記第2通信装置は、全方位カメラを有してよい。前記第2通信装置は、全周に向けて情報を表示するよう配置された曲面ディスプレイを有してよい。前記第2通信装置は、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカを有してよい。前記第1通信装置は、前記第2通信装置の前記全方位カメラによって撮像された撮像画像と、前記第2通信装置の前記複数の指向性マイクによって取得された複数の音声情報とを受信する受信部を有してよい。前記第1通信装置は、前記受信部が受信した前記撮像画像を前記第1通信装置の前記曲面ディスプレイに表示させる表示制御部を有してよい。前記第1通信装置は、前記受信部が受信した前記複数の音声情報のそれぞれを、前記第2通信装置の前記複数の指向性マイクのそれぞれに対応する前記第1通信装置の前記複数の指向性スピーカのそれぞれに出力させる音声出力制御部を有してよい。
前記通信システムにおいて、前記第1通信装置は、前記第1通信装置の前記複数の指向性マイクのそれぞれについて、前記指向性マイクによって取得された音声情報を、前記指向性マイクを識別可能な識別情報、及び、前記指向性マイクが指向性を有する方向を示す方向情報の少なくともいずれかとともに、前記第2通信装置に送信する送信部を有してよい。
前記いずれかの通信システムにおいて、前記第1通信装置の前記曲面ディスプレイは、円筒形状を有して全周に向けて情報を表示してよく、前記第1通信装置の前記複数の指向性マイクは、前記第1通信装置を基準とした異なる方向に指向性を有してよく、前記第1通信装置の前記複数の指向性スピーカは、前記第1通信装置を基準とした異なる方向に指向性を有してよく、前記第2通信装置の前記曲面ディスプレイは、円筒形状を有して全周に向けて情報を表示してよく、前記第2通信装置の前記複数の指向性マイクは、前記第2通信装置を基準とした異なる方向に指向性を有してよく、前記第2通信装置の前記複数の指向性スピーカは、前記第2通信装置を基準とした異なる方向に指向性を有してよい。前記第1通信装置の前記表示制御部は、前記第1通信装置の前記受信部が受信した前記撮像画像を第1のサイズで前記第1通信装置の前記曲面ディスプレイに表示させるとともに、前記撮像画像を前記第1のサイズよりも小さい第2のサイズで前記第1通信装置の前記曲面ディスプレイに表示させてよい。前記第1通信装置の前記表示制御部は、前記第1通信装置の前記受信部が受信した前記撮像画像を、前記第1通信装置の前記曲面ディスプレイの表示領域の全体に表示させるとともに、前記撮像画像を前記第1通信装置の前記曲面ディスプレイの部分に表示させてよい。前記第1通信装置は、前記第1通信装置の前記曲面ディスプレイの周辺に位置する人の位置を特定する位置特定部を更に有してよく、前記第1通信装置の前記表示制御部は、前記第1通信装置の前記受信部が受信した前記撮像画像を前記第1通信装置の前記曲面ディスプレイの表示領域の全体に表示させ、かつ、前記撮像画像を、前記位置特定部によって特定された位置に対応する前記曲面ディスプレイの部分に表示させてよい。前記表示制御部は、前記第1通信装置の周辺に2人の人が位置している場合であって、前記2人の人の距離が予め定められた閾値より近い場合、前記2人の人に対して前記2人の位置に対応する前記曲面ディスプレイの一部分に前記撮像画像を表示させ、前記2人の人の距離が前記予め定められた閾値より遠い場合、前記2人のうちの第1の人の位置に対応する前記曲面ディスプレイの部分と、前記2人のうちの第2の人の位置に対応する前記曲面ディスプレイの部分とのそれぞれに前記撮像画像を表示させてよい。
前記いずれかの通信システムにおいて、前記第1通信装置の前記受信部は、通信端末によって撮像された前記通信端末のユーザの撮像画像を前記通信端末から受信してよく、前記第1通信装置の前記表示制御部は、前記受信部が前記第2通信装置から受信した前記撮像画像及び前記通信端末から受信した前記撮像画像を前記曲面ディスプレイに表示させてよい。
前記いずれかの通信システムにおいて、前記第1通信装置は、前記第1通信装置の前記曲面ディスプレイの周辺に位置する人の位置を特定する位置特定部と、前記複数の指向性マイクのうちの一の指向性マイク及び前記複数の指向性スピーカのうちの一の指向性スピーカの指向性が前記位置特定部によって特定された位置に向くように、前記一の指向性マイク及び前記一の指向性スピーカを移動させる移動制御部とを有してよい。
前記いずれかの通信システムにおいて、前記第1通信装置は、前記第1通信装置の前記曲面ディスプレイの周辺に位置する人の位置を特定する位置特定部と、前記位置特定部が特定した位置に応じて、前記複数の指向性マイクのうちの一の指向性マイクと、前記複数の指向性スピーカのうちの一の指向性スピーカとを選択する選択部と、前記位置特定部が特定した位置によって、前記第1通信装置と前記人との距離を特定し、前記距離に応じて、前記選択部が選択した前記一の指向性マイクの感度及び前記一の指向性スピーカの音量の少なくともいずれかを調整する調整部とを有してよい。
本発明の一実施態様によれば、通信装置が提供される。前記通信装置は、全方位カメラを備えてよい。前記通信装置は、全周に向けて情報を表示するよう配置された曲面ディスプレイを備えてよい。前記通信装置は、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカを備えてよい。前記通信装置は、通信相手が有する全方位カメラによって撮像された撮像画像と、前記通信相手が有する複数の指向性マイクによって取得された複数の音声情報とを受信する受信部を備えてよい。前記通信装置は、前記受信部が受信した前記撮像画像を前記曲面ディスプレイに表示させる表示制御部を備えてよい。前記通信装置は、前記受信部が受信した前記複数の音声情報のそれぞれを、前記通信相手の前記複数の指向性マイクのそれぞれに対応する前記通信装置の前記複数の指向性スピーカのそれぞれに出力させる音声出力制御部を備えてよい。
前記通信装置は、前記通信装置の前記複数の指向性マイクのそれぞれについて、前記指向性マイクによって取得された音声情報を、前記指向性マイクを識別可能な識別情報、及び、前記指向性マイクが指向性を有する方向を示す方向情報の少なくともいずれかとともに、前記通信相手に送信する送信部を備えてよい。前記通信装置の前記曲面ディスプレイは、円筒形状を有して全周に向けて情報を表示してよく、前記通信装置の前記複数の指向性マイクは、前記曲面ディスプレイによる表示方向に沿って、それぞれ異なる方向に指向性を有してよく、前記通信装置の前記複数の指向性スピーカは、前記曲面ディスプレイによる表示方向に沿って、それぞれ異なる方向に指向性を有してよい。
本発明の一実施態様によれば、コンピュータを、前記通信装置として機能させるためのプログラムが提供される。
本発明の一実施態様によれば、全方位カメラと、全周に向けて情報を表示するよう配置された曲面ディスプレイと、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカとを備える通信装置によって実行される制御方法が提供される前記制御方法は、通信相手が有する全方位カメラによって撮像された撮像画像と、前記通信相手が有する複数の指向性マイクによって取得された複数の音声情報とを受信する受信段階を備えてよい。前記制御方法は、前記受信段階において受信した前記撮像画像を前記曲面ディスプレイに表示させる表示制御段階を備えてよい。前記制御方法は、前記受信段階において受信した前記複数の音声情報のそれぞれを、前記通信相手の前記複数の指向性マイクのそれぞれに対応する前記通信装置の前記複数の指向性スピーカのそれぞれに出力させる音声出力制御段階を備えてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
通信装置100の一例を概略的に示す。 通信システム10の一例を概略的に示す。 指向性マイク130と指向性スピーカ240との関係、及び、指向性スピーカ140と指向性マイク230との関係を説明するための説明図である。 通信システム10によって実現される通信環境の一例を概略的に示す。 通信装置100による表示例を概略的に示す。 通信装置100による表示例を概略的に示す。 通信装置100による表示例を概略的に示す。 通信端末400における表示について説明するための説明図である。 通信装置100による表示例を概略的に示す。 通信装置100及び通信装置200による表示例を概略的に示す。 制御ユニット150の機能構成の一例を概略的に示す。 通信装置100又は通信装置200として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、通信装置100の一例を概略的に示す。通信装置100は、曲面ディスプレイ110、全方位カメラ120、複数の指向性マイク130、複数の指向性スピーカ140、及び制御ユニット150を備える。
曲面ディスプレイ110は、例えば、有機ELディスプレイを含む靭性を有する素材によって構成されていてよい。曲面ディスプレイ110は、全周に向けて情報を表示することが出来れば、どのような形状を有してもよい。曲面ディスプレイ110は、例えば、図1に例示するように、円筒形状を有する。曲面ディスプレイ110は、全周のみではなく、全方位に情報を表示可能であってもよい。この場合、曲面ディスプレイ110は、球形状を有してよい。本実施形態では、曲面ディスプレイ110が円筒形状を有する場合について主に説明する。
全方位カメラ120は、全方位を撮像可能なカメラである。全方位カメラ120は、360度カメラと呼ばれる場合もある。全方位カメラ120は、全天球カメラと呼ばれる場合もある。
指向性マイク130は、指向性を有するマイクである。通信装置100は、複数方向からの音声を取得可能なように、複数の指向性マイク130を備える。複数の指向性マイク130は、通信装置100を基準とした異なる方向に指向性を有する。
指向性スピーカ140は、指向性を有するスピーカである。通信装置100は、複数の方向に向けて音声を出力可能なように、複数の指向性スピーカ140を備える。複数の指向性スピーカ140は、通信装置100を基準とした異なる方向に指向性を有する。
曲面ディスプレイ110の周辺に位置して曲面ディスプレイ110を閲覧している人を対象として音声を入出力すべく、指向性マイク130と指向性スピーカ140とがセットで配置されてよい。複数の指向性マイク130及び指向性スピーカ140のセットは、等間隔に配置されてよい。
例えば、通信装置100は、図1に例示するように、前後左右の4方向のそれぞれに指向性マイク130及び指向性スピーカ140を備える。通信システム10は、120度ずつずらして配置された3つの指向性マイク130及び指向性スピーカ140のセットを備えてもよい。これらに限らず、通信装置100は、等間隔に配置された、任意の数の指向性マイク130及び指向性スピーカ140のセットを備えてもよい。
指向性マイク130及び指向性スピーカ140のセット数は、通信装置100のサイズに応じて決定されてよい。通信装置100は、通信装置100のサイズが大きいほど、より多くの指向性マイク130及び指向性スピーカ140のセットを備えてよい。
なお、指向性マイク130及び指向性スピーカ140のセットは、円筒形状の曲面ディスプレイ110の円周方向に沿って移動可能に構成されてもよい。
制御ユニット150は、各種制御を実行する。図1では、制御ユニット150が、通信装置100に内蔵されている例を示しているが、これに限らない。制御ユニット150は、通信装置100に外付けされてもよい。制御ユニット150は、通信ケーブルを介して通信装置100に接続されていてもよい。制御ユニット150は、通信装置100に無線接続されていてもよい。
制御ユニット150は、例えば、全方位カメラ120によって撮像された撮像画像を、他の通信装置100(通信相手と記載する場合がある。)に対して送信する。制御ユニット150は、例えば、通信相手の全方位カメラ120によって撮像された撮像画像を受信し、通信装置100の曲面ディスプレイ110に表示させる。
制御ユニット150は、例えば、複数の指向性マイク130のそれぞれについて、指向性マイク130によって取得された音声情報を、指向性マイク130を識別可能なマイク識別情報、及び、指向性マイク130が指向性を有する方向を示す方向情報の少なくともいずれかとともに、通信相手に送信する。
例えば、通信装置100が、通信装置100を基準とした前後左右方向に4つの指向性マイク130を備えている場合に、制御ユニット150は、4つの指向性マイク130を識別可能なマイク識別情報を記憶しておき、4つの指向性マイク130のそれぞれの音声情報を送信する場合に、当該マイク識別情報を合わせて送信する。
また、例えば、通信装置100が、通信装置100を基準とした前後左右方向に4つの指向性マイク130を備えている場合に、4つの指向性マイク130のそれぞれの音声情報を送信する場合に、その指向性マイク130が、通信装置100を基準とした前方向に対応する指向性マイク130なのか、後方向に対応する指向性マイク130なのか、右方向に対応する指向性マイク130なのか、左方向に対応する指向性マイク130なのかを合わせて送信する。
制御ユニット150は、例えば、通信相手の複数の指向性マイク130によって取得された複数の音声情報を受信し、当該複数の音声情報のそれぞれを、通信相手の複数の指向性マイク130のそれぞれに対応する通信装置100の指向性スピーカ140のそれぞれに出力させる。
図2は、通信システム10の一例を概略的に示す。通信システム10は、複数の通信装置100を備える。図2に示す例においては、通信システム10は、通信装置100と、通信装置100の通信相手の通信装置200とを備える。
通信装置200は、通信装置100と同様の構成を備えてよく、曲面ディスプレイ210、全方位カメラ220、複数の指向性マイク230、複数の指向性スピーカ240、及び制御ユニット250を備える。図2に示す例において、曲面ディスプレイ210は、円筒形状を有する。複数の指向性マイク230は、通信装置200を基準とした異なる方向に指向性を有し、複数の指向性スピーカ240は、通信装置200を基準とした異なる方向に指向性を有する。
制御ユニット150と制御ユニット250とは、ネットワーク20を介して通信してよい。ネットワーク20は、LTE(Long Term Evolution)通信システム、4G(4th Generation(通信システム、5G(5th Generation)通信システム、3G(3rd Generation)通信システム、及び6G(6th Generation)通信システム以降の通信システム等の、移動体通信ネットワークを含んでよい。ネットワーク20は、LAN(Local Area Network)を含んでよい。ネットワーク20は、インターネットを含んでよい。ネットワーク20は、いわゆるクラウドネットワークを含んでよい。
制御ユニット150及び制御ユニット250のそれぞれは、ネットワーク20に、無線基地局、Wi-Fi(登録商標)アクセスポイント、及び無線LANルータ等を介して無線接続されてよく、有線接続されてもよい。
制御ユニット150は、全方位カメラ120によって撮像された撮像画像と、指向性マイク130によって取得された音声情報とを、ネットワーク20を介して通信装置200に送信する。制御ユニット250は、全方位カメラ220によって撮像された撮像画像と、指向性マイク230によって取得された音声情報とを、ネットワーク20を介して通信装置100に送信する。
制御ユニット150は、通信装置200から受信した撮像画像を曲面ディスプレイ110に表示させる。制御ユニット150は、全方位カメラ220によって撮像された撮像画像を、曲面ディスプレイ110の曲面に応じて座標変換して曲面ディスプレイ110に表示させてよい。また、制御ユニット150は、通信装置200から受信した音声情報を指向性スピーカ140に音声出力させる。
制御ユニット250は、通信装置100から受信した撮像画像を曲面ディスプレイ210に表示させる。制御ユニット250は、全方位カメラ120によって撮像された撮像画像を、曲面ディスプレイ210の曲面に応じて座標変換して曲面ディスプレイ210に表示させてよい。また、制御ユニット250は、通信装置100から受信した音声情報を指向性スピーカ240に音声出力させる。
図3は、指向性マイク130と指向性スピーカ240との関係、及び、指向性スピーカ140と指向性マイク230との関係を説明するための説明図である。図3では、説明のために、全体的に円筒形状を有する通信装置100及び通信装置200を仮想的に展開した状態を示している。
制御ユニット150は、例えば、指向性スピーカ141に対して指向性マイク231を対応付けて管理する。制御ユニット150は、例えば、指向性スピーカ142に対して指向性マイク232を対応付けて管理する。制御ユニット150は、例えば、指向性スピーカ143に対して指向性マイク233を対応付けて管理する。制御ユニット150は、例えば、指向性スピーカ144に対して指向性マイク234を対応付けて管理する。
制御ユニット250は、例えば、指向性スピーカ241に対して指向性マイク131を対応付けて管理する。制御ユニット250は、例えば、指向性スピーカ242に対して指向性マイク132を対応付けて管理する。制御ユニット250は、例えば、指向性スピーカ243に対して指向性マイク133を対応付けて管理する。制御ユニット250は、例えば、指向性スピーカ244に対して指向性マイク134を対応付けて管理する。
制御ユニット150は、指向性マイク231が取得した音声情報を制御ユニット250から受信した場合に、当該音声情報を指向性スピーカ141に音声出力させる。制御ユニット150は、指向性マイク232が取得した音声情報を制御ユニット250から受信した場合に、当該音声情報を指向性スピーカ142に音声出力させる。制御ユニット150は、指向性マイク233が取得した音声情報を制御ユニット250から受信した場合に、当該音声情報を指向性スピーカ143に音声出力させる。制御ユニット150は、指向性マイク234が取得した音声情報を制御ユニット250から受信した場合に、当該音声情報を指向性スピーカ144に音声出力させる。
制御ユニット250は、指向性マイク131が取得した音声情報を制御ユニット150から受信した場合に、当該音声情報を指向性スピーカ241に音声出力させる。制御ユニット250は、指向性マイク132が取得した音声情報を制御ユニット150から受信した場合に、当該音声情報を指向性スピーカ242に音声出力させる。制御ユニット250は、指向性マイク133が取得した音声情報を制御ユニット150から受信した場合に、当該音声情報を指向性スピーカ243に音声出力させる。制御ユニット250は、指向性マイク134が取得した音声情報を制御ユニット150から受信した場合に、当該音声情報を指向性スピーカ244に音声出力させる。
図4は、通信システム10によって実現される通信環境の一例を概略的に示す。ここでは、場所52に位置するユーザA30、ユーザB31、ユーザC32、及びユーザD33と、場所52から離れた場所54に位置するユーザE34、ユーザF35、ユーザG36、及びユーザH37とが、場所52に配置された通信装置100と、場所54に配置された通信装置200とによってコミュニケ―ションをとっている状況を例示している。
図4に示す例においては、ユーザA30及びユーザB31と、ユーザG36及びユーザH37とが、通信装置100及び通信装置200を用いて会話を行い、ユーザC32及びユーザD33と、ユーザE34及びユーザF35とが、通信装置100及び通信装置200を用いて会話を行っている。
通信装置100の曲面ディスプレイ110には、通信装置200の全方位カメラ220によって撮像された、ユーザE34、ユーザF35、ユーザG36、及びユーザH37が表示されている。通信装置200の曲面ディスプレイ210には、通信装置100の全方位カメラ120によって撮像された、ユーザA30、ユーザB31、ユーザC32、及びユーザD33が表示されている。
例えば、ユーザA30の前に位置する指向性マイク131が取得した、ユーザA30が発する音声の音声情報が、ユーザH37の前に位置する指向性スピーカ241によって音声出力され、ユーザH37の前に位置する指向性マイク231が取得した、ユーザH37が発する音声の音声情報が、ユーザA30の前に位置する指向性スピーカ241によって音声出力される。これにより、ユーザA30とユーザH37とが会話を行うことができる。
例えば、ユーザB31の前に位置する指向性マイク132が取得した、ユーザB31が発する音声の音声情報が、ユーザG36の前に位置する指向性スピーカ242によって音声出力され、ユーザG36の前に位置する指向性マイク232が取得した、ユーザG36が発する音声の音声情報が、ユーザB31の前に位置する指向性スピーカ242によって音声出力される。これにより、ユーザB31とユーザG36とが会話を行うことができる。
例えば、ユーザC32の前に位置する指向性マイク133が取得した、ユーザC32が発する音声の音声情報が、ユーザF35の前に位置する指向性スピーカ243によって音声出力され、ユーザF35の前に位置する指向性マイク233が取得した、ユーザF35が発する音声の音声情報が、ユーザC32の前に位置する指向性スピーカ243によって音声出力される。これにより、ユーザC32とユーザF35とが会話を行うことができる。
例えば、ユーザD33の前に位置する指向性マイク134が取得した、ユーザD33が発する音声の音声情報が、ユーザE34の前に位置する指向性スピーカ244によって音声出力され、ユーザE34の前に位置する指向性マイク234が取得した、ユーザE34が発する音声の音声情報が、ユーザD33の前に位置する指向性スピーカ244によって音声出力される。これにより、ユーザD33とユーザE34とが会話を行うことができる。
制御ユニット150及び制御ユニット250は、グループ毎の会話をサポートするように、音声の入出力を制御してもよい。例えば、ユーザA30及びユーザB31のグループと、ユーザG36及びユーザH37のグループとが会話を行う場合において、ユーザA30の前に位置する指向性マイク231が取得したユーザA30が発する音声の音声情報とユーザB31の前に位置する指向性マイク232が取得したユーザB31が発する音声の音声情報とが、ユーザH37の前に位置する指向性スピーカ241とユーザG36の前に位置する指向性スピーカ242とによって音声出力され、ユーザH37の前に位置する指向性マイク231が取得したユーザH37が発する音声の音声情報とユーザG36の前に位置する指向性マイク232が取得したユーザG36が発する音声の音声情報とが、ユーザA30の前に位置する指向性スピーカ241とユーザB31の前に位置する指向性スピーカ242とによって音声出力される。これにより、ユーザA30が発した音声を、ユーザG36及びユーザH37の両方が聞くことができ、ユーザB31が発した音声を、ユーザG36及びユーザH37の両方が聞くことができ、ユーザH37が発した音声を、ユーザA30及びユーザB31の両方が聞くことができ、ユーザG36が発した音声を、ユーザA30及びユーザB31の両方が聞くことができる。
例えば、ユーザC32及びユーザD33のグループと、ユーザF35及びユーザE34のグループとが会話を行う場合において、ユーザC32の前に位置する指向性マイク233が取得したユーザC32が発する音声の音声情報とユーザD33の前に位置する指向性マイク234が取得したユーザD33が発する音声の音声情報とが、ユーザF35の前に位置する指向性スピーカ243とユーザE34の前に位置する指向性スピーカ244とによって音声出力され、ユーザF35の前に位置する指向性マイク233が取得したユーザF35が発する音声の音声情報とユーザE34の前に位置する指向性マイク234が取得したユーザE34が発する音声の音声情報とが、ユーザC32の前に位置する指向性スピーカ243とユーザD33の前に位置する指向性スピーカ244とによって音声出力される。これにより、ユーザC32が発した音声を、ユーザF35及びユーザE34の両方が聞くことができ、ユーザD33が発した音声を、ユーザF35及びユーザE34の両方が聞くことができ、ユーザF35が発した音声を、ユーザC32及びユーザD33の両方が聞くことができ、ユーザE34が発した音声を、ユーザC32及びユーザD33の両方が聞くことができる。
従来、スマートフォンやタブレット上で動作するオンラインビデオコミュニケーションツール(Skype(登録商標)、Zoom(登録商標)、Micosoft Teams(登録商標)、及びCisco Webex(登録商標)等)が知られている。旅行、展示会、学芸会、運動会、スポーツ観戦、結婚式、入学式、卒業式等、不特定多数の人が集まるイベントは我々の生活に欠かせないものである。しかし、開催地が遠い・入院中・自宅療養中など様々な理由でイベントへの参加を断念せざるを得ない人は一定数存在する。特に、コロナ禍においては緊急事態宣言の発令などにより、イベントへの参加人数の制限や移動が制限されることとなった。一方、SkypeやZoom等のビデオコミュニケーションツールの普及に伴い、自分の状況を他者と映像と音声で共有できるようになり、ビデオコミュニケーションツールを活用することで遠隔拠点の人々と対話ができるようになっている。
複数の人、及び複数拠点を繋ぐツールとして、Zoom(登録商標)及びCisco Webex(登録商標)等の様々な会議システムが存在するが、その何れもが各ポイント間同士を映像と音声で繋ぐものであり、あくまでひとつのカメラの視野の範囲でのコミュニケーションに限定される。また、音声が混合してしまうため、発言は一人に限定され、グループで独立して同時に会話することは難しい。本課題は従来技術でも改善可能だが、各人に対し1つのシステム (カメラ、マイク)が必要となることからシステムが大がかりとなってしまう。各拠点に複数人が参加している場合、誰と会話しようとしているか会話する前にその都度名指しする必要があり煩雑である。また、特定の人物と個人的な会話をし続けることは難しく、ブレイクアウトルームに移動するなどの運用が必要である。上述の通り、現在の双方向通信型移動放送システムにおいては、その場に居合わせた第三者(Local Third Party Parson: LTPP)を含む参加者全員が,常に現場の臨場感を共有しながら自然な会話を行うことは難しい。
それに対して、本実施形態に係る通信システム10によれば、全方位カメラと、全周に向けて情報を表示するよう配置された曲面ディスプレイと、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカとを組み合わせて用いることによって、遠隔地間において目線を合わせながら会話できる環境を提供することができる。また、複数グループが独立した会話を同時に実行でき、柔軟かつシームレスにグループ構成を変更できる環境を提供することができる。また、現場にいる複数のLTPPが、システムへのログイン等の作業を行うことなく、容易に会話に参加できる環境を提供することができる。
このように、通信システム10は、複数拠点に少人数から構成されるグループが存在する環境でグループ間のコミュニケーションを支援することができ、ワークショップ(ブレインストーミング、ハッカソン、アイデアソン等)、グループ面接、及びパーティ等に用いることができる。通信システム10は、これらに限らず、様々な用途に用いることができる。通信システム10を活用できる産業分野として、ライブ配信代行業者、イベント代行業者、及びオフィスメーカ等が挙げられるが、これらに限られない。
図5は、通信装置100による表示例を概略的に示す。通信装置100は、通信装置200から受信した撮像画像を、第1のサイズで曲面ディスプレイ110に表示させるとともに、当該撮像画像を、第1のサイズよりも小さい第2のサイズで曲面ディスプレイ110に表示させてよい。
通信装置100は、例えば、通信装置200から受信した画像300を曲面ディスプレイ110の表示領域の全体に表示させるとともに、画像300を縮小した縮小画像310を曲面ディスプレイ110の部分に表示させる。縮小画像310は、通信装置200の全方位カメラ220によって撮像された、通信装置200の周辺全体を含んでおり、縮小画像310を閲覧したユーザは、通信装置200の周辺全体の様子を把握することができる。これにより、例えば、縮小画像310を閲覧したユーザが会話を希望する相手が、反対側に位置するような場合に、当該ユーザにそのことを容易に把握させることができる当該ユーザは、例えば、通信装置100の反対側に回り込むことによって、当該相手と会話をすることができる。
通信装置100は、図5に例示するように、縮小画像310を曲面ディスプレイ110の上部に表示させてよい。通信装置100は、縮小画像310を曲面ディスプレイ110の下部に表示させてもよい全方位カメラにおける撮像画像を円筒形状の曲面ディスプレイに表示した場合、曲面ディスプレイ110の上部や、曲面ディスプレイ110の下部の情報量が少なくなることから、曲面ディスプレイ110の上部や下部に縮小画像310を配置することによって、それ以外の場所に配置する場合と比較して、損なわれる情報量を少なくすることができる。
通信装置100は、曲面ディスプレイ110の周辺に位置する人の位置を特定し、特定した位置に対応する曲面ディスプレイ110の部分に縮小画像310を表示させるようにしてよい。例えば、通信装置100は、曲面ディスプレイ110の表示領域のうち、特定した位置の正面に当たる部分に、曲面ディスプレイ210を表示させる。これにより、曲面ディスプレイ110の周辺位置する人にとって見やすい位置に縮小画像310を表示させることができる。
通信装置100は、曲面ディスプレイ110の周辺に位置する人の位置に対応する曲面ディスプレイ110の部分に縮小画像310を表示させた場合であって、当該人が移動した場合に、移動に合わせて縮小画像310の表示位置を変更してよい。通信装置100は、例えば、縮小画像310が当該人の正面に常に位置するように、当該人の移動に合わせて縮小画像310の表示位置を変更する。
図6は、通信装置100による表示例を概略的に示す。通信装置100は、図6に例示するように、縮小画像310を複数表示させてもよい。通信装置100は、曲面ディスプレイ110の周辺に位置する複数の人の位置を特定し、特定した複数の位置のそれぞれに対応する曲面ディスプレイ110の部分のそれぞれに縮小画像310を表示させてよい。
通信装置100は、曲面ディスプレイ110の周辺に複数の人が位置する場合において、複数の人同士が近くに位置する場合には、当該複数の人に対して1つの縮小画像310を表示させ、複数の人同士が遠くに位置する場合には、当該複数の人のそれぞれに対して縮小画像310を表示させるようにしてもよい。具体例として、通信装置100は、曲面ディスプレイ110の周辺の2人の人が位置している場合であって、当該2人の人の距離が予め定められた閾値より近い場合、当該2人の人に対して前記2人の位置に対応する曲面ディスプレイの一部分に縮小画像310を表示させ、2人の人の距離が予め定められた閾値より遠い場合、2人のうちの第1の人の位置に対応する曲面ディスプレイ110の部分と、2人のうちの第2の人の位置に対応する曲面ディスプレイ110の部分とのそれぞれに縮小画像310を表示させる。
図7は、通信装置100による表示例を概略的に示す。通信装置100は、通信端末400によって撮像された通信端末400のユーザ40の撮像画像と、ユーザ40の音声情報とを、通信端末400からネットワーク20を介して受信してもよい。また、通信装置100は、指向性マイク130が取得した音声情報を、ネットワーク20を介して通信端末400に送信してよい。
通信端末400は、図7に例示するように、スマートフォンであってよい。通信端末400は、タブレット端末、ウェアラブル端末、及びPC(Personal Computer)等であってもよい。
通信装置100は、通信装置200から受信した撮像画像及び通信端末400から受信した撮像画像を曲面ディスプレイ110に表示させてよい。通信装置100は、例えば、通信装置200から受信した画像300を曲面ディスプレイ110の表示領域の全体に表示させ、通信端末400から受信した画像320を曲面ディスプレイ110の表示領域の部分に表示させる。また、通信装置100は、画像320の表示位置に対応する指向性スピーカ140に、通信端末400から受信した音声情報を音声出力させる。
通信装置100は、画像300を曲面ディスプレイ110に表示させているときに、通信端末400から画像320を受信した場合に、曲面ディスプレイ110のうち、通信端末400から受信した情報に基づいて決定した位置に画像320を表示させてよい。通信端末400は、例えば、通信装置100の全方位カメラ120によって撮像された撮像画像を通信装置100から受信して、ユーザ40に対して表示する。ユーザ40は、表示された撮像画像を閲覧して、会話したい相手を指定する。通信端末400は、ユーザ40によって指定された相手とともに、ユーザ40を撮像した撮像画像を通信装置100に送信する。通信装置100は、指定された相手の正面に位置するように、画像320を曲面ディスプレイ110に表示させる。
画像320の表示位置は、曲面ディスプレイ110を閲覧しているユーザによって移動可能であってもよい。例えば、曲面ディスプレイ110がタッチパネルである場合に、通信装置100は、曲面ディスプレイ110を閲覧しているユーザによる移動操作に応じて、画像320の表示位置を移動させる。通信装置100は、画像320の表示位置の移動に応じて、通信端末400から受信する音声情報を出力させる指向性スピーカ140を切り替えてよい。
なお、通信装置100は、画像300を曲面ディスプレイ110に表示させているときに、通信端末400から画像320を受信した場合に、曲面ディスプレイ110のランダムな位置に画像320を表示させてもよい。そして、通信装置100は、曲面ディスプレイ110を閲覧しているユーザによる移動操作に応じて、画像320の表示位置を移動させてよい。
図7では、画像320が矩形である場合を例示しているが、これに限らない。画像320は、通信端末400によるユーザ40の撮像画像から、ユーザ40の領域を切り取った画像であってもよい。例えば、通信装置100が、通信端末400から受信したユーザ40の撮像画像から、ユーザ40の領域を切り取って、曲面ディスプレイ110に表示させる。また、例えば、通信端末400が、ユーザ40を撮像した撮像画像からユーザ40の領域を切り取って、通信装置100に送信してもよい。
図8は、通信端末400における表示について説明するための説明図である。通信装置200は、通信装置100から受信した撮像画像を円筒形状の曲面ディスプレイ210に表示するが、通信端末400は、通信装置100から受信した撮像画像をスクロールによって表示するようにしてよい。
通信端末400は、例えば、ユーザ40によるタッチ操作を受け付けて、横長の撮像画像のうちの一部の表示をスクロールさせることによって、ユーザ40が撮像画像の全体を確認できるようにする。通信端末400は、曲面ディスプレイ110のうちのユーザ40の撮像画像を表示する位置の指定を、ユーザ40から受け付けて、ユーザ40の撮像画像に合わせて通信装置100に送信するようにしてもよい。ユーザ40は、例えば、撮像画像をスクロールして会話したい相手が表示されている状態で、通信端末400に対して表示指示を行う。通信端末400は、表示指示を受け付けたときに、表示していた撮像画像の範囲を、通信装置100に通知する。通信装置100は、通知された撮像画像の範囲に対応する位置に、通信端末400から受信したユーザ40の撮像画像を表示するようにする。
図9は、通信装置100による表示例を概略的に示す。ここでは、図7と異なる点をおもに説明する。図9に示す例において、通信装置100は、画像320を曲面ディスプレイ110の複数個所に表示させる。通信装置100は、例えば、画像320を、曲面ディスプレイ110の周辺に位置するユーザA30及びユーザB31のそれぞれに対応する曲面ディスプレイ110の部分に画像320を表示させ、通信端末400から受信した音声情報を、画像320を表示させた曲面ディスプレイ110のそれぞれの部分の位置に対応する指向性スピーカ140に音声出力させる。また、通信装置100は、2つの指向性マイク130によって取得したユーザA30の音声情報及びユーザB31の音声情報を、通信端末400に送信する。これにより、ユーザA30、ユーザB31、及びユーザ40の3人での会話を適切に支援することができる。
図10は、通信装置100及び通信装置200による表示例を概略的に示す。ここでは、図7と異なる点を主に説明する。図7では、通信装置100及び通信端末400の間での通信について説明したが、ここでは、通信装置100、通信装置200、及び通信端末400の間での通信について説明する。
本例において、通信装置100は、全方位カメラ220によって撮像された画像302を曲面ディスプレイ110の表示領域の全体に表示し、通信端末400によって撮像された画像320を曲面ディスプレイ110の部分に表示する。また、通信装置100は、通信装置200から受信したユーザE34の音声情報を、ユーザD33の位置に対応する位置の指向性スピーカ140に音声出力させ、通信端末400から受信したユーザ40の音声情報を、画像320を表示している位置に対応する指向性スピーカ140に音声出力させる。また、通信装置100は、ユーザD33に対応する位置の指向性マイク130によって取得したユーザD33の音声情報を通信装置200及び通信端末400に送信する。
通信装置200は、全方位カメラ120によって撮像された画像301を曲面ディスプレイ210の表示領域の全体に表示し、通信端末400によって撮像された画像320を曲面ディスプレイ210の部分に表示する。また、通信装置200は、通信装置100から受信したユーザE34の音声情報を、ユーザE34の位置に対応する位置の指向性スピーカ240に音声出力させ、通信端末400から受信したユーザ40の音声情報を、画像320を表示している位置に対応する指向性スピーカ240に音声出力させる。また、通信装置200は、ユーザE34に対応する位置の指向性マイク230によって取得したユーザE34の音声情報を通信装置100及び通信端末400に送信する。
通信端末400は、通信装置100から受信した画像301及び通信装置200から受信した画像302を、例えば並列に配置することによって表示する。また、通信端末400は、通信装置100から受信したユーザD33の音声情報と、通信装置200から受信したユーザE34の音声情報とを通信端末400が備えるスピーカによって音声出力する。また、通信端末400は、通信端末400が備えるマイクによって取得したユーザ40の音声情報を通信装置100及び通信装置200に送信する。
これらによって、互いに遠隔地に位置するユーザD33、ユーザE34、及びユーザ40の会話を適切に支援することができる。また、通信装置100の周辺にユーザD33以外のユーザが更に位置し、通信装置200の周辺にユーザE34以外のユーザが更に位置する場合に、ユーザD33、ユーザE34、及びユーザ40に加えて、それらのユーザも含んだ状態での会話を適切に支援することができる。
図11は、制御ユニット150の機能構成の一例を概略的に示す。制御ユニット150は、記憶部152、受信部154、表示制御部156、音声出力制御部158、画像取得部160、音声情報取得部162、送信部164、位置特定部166、移動制御部168、選択部170、及び調整部172を備える。なお、制御ユニット150がこれらの全てを備えることは必須とは限らない。
記憶部152は、各種情報を記憶する。
例えば、記憶部152は、通信装置100が備える複数の指向性マイク130のマイク識別情報を記憶する。例えば、記憶部152は、複数の指向性マイク130のそれぞれが指向性を有する方向を示す方向情報を記憶する。方向情報は、通信装置100の向きを基準とした複数の指向性マイク130のそれぞれが指向性を有する方向を示してよい。例えば、通信装置100の正面方向、背面方向、左方向、右方向がそれぞれ規定されており、方向情報はこれらを基準とした方向を示す。
例えば、記憶部152は、通信装置100が備える複数の指向性スピーカ140のスピーカ識別情報を記憶する。例えば、記憶部152は、複数の指向性スピーカ140のそれぞれが指向性を有する方向を示す方向情報を記憶する。方向情報は、通信装置100の向きを基準とした複数の指向性スピーカ140のそれぞれが指向性を有する方向を示してよい。
受信部154は、各種情報を受信する。受信部154は、ネットワーク20を介して各種情報を受信してよい。
受信部154は、例えば、通信相手である他の通信装置100から、当該他の通信装置100の全方位カメラ120によって撮像された撮像画像を受信する。受信部154は、例えば、当該他の通信装置100から、当該他の通信装置100の複数の指向性マイク130によって取得された音声情報を受信する。
受信部154は、例えば、通信相手である通信端末400から、当該通信端末400のカメラによって撮像された通信端末400のユーザ40の撮像画像を受信する。受信部154は、例えば、当該通信端末400から、当該通信端末400のマイクによって取得されたユーザ40の音声情報を受信する。
表示制御部156は、曲面ディスプレイ110の表示を制御する。表示制御部156は、受信部154が他の通信装置100から受信した撮像画像を、曲面ディスプレイ110に表示させる。表示制御部156は、受信部154が他の通信装置100から受信した撮像画像を、曲面ディスプレイ110の曲面に応じて座標変換して表示させてよい。
表示制御部156は、受信部154が他の通信装置100から受信した撮像画像を第1のサイズで曲面ディスプレイ110に表示させるとともに、当該撮像画像を第1のサイズよりも小さい第2のサイズで曲面ディスプレイ110に表示させてよい。
例えば、表示制御部156は、受信部154が他の通信装置100から受信した撮像画像を、曲面ディスプレイ110の表示領域の全体に表示させるとともに、当該撮像画像を曲面ディスプレイ110の部分に表示させる。表示制御部156は、例えば、受信部154が他の通信装置100から受信した撮像画像を、曲面ディスプレイ110の表示領域の全体に表示させるとともに、当該撮像画像を縮小した縮小画像を曲面ディスプレイ110の上部又は下部に表示させる。
音声出力制御部158は、複数の指向性スピーカ140による音声出力を制御する。音声出力制御部158は、受信部154が他の通信装置100から受信した複数の音声情報のそれぞれを、他の通信装置100の複数の指向性マイク130のそれぞれに対応する、通信装置100の複数の指向性スピーカ140のそれぞれに出力させる。
音声出力制御部158は、例えば、図3において例示したように、通信装置100における複数の指向性スピーカ140の配置と、他の通信装置100における複数の指向性マイク130の配置とをマッピングすることによって、通信装置100の複数の指向性スピーカ140のそれぞれと、他の通信装置100の複数の指向性マイク130のそれぞれとを対応付け、他の通信装置100の複数の指向性マイク130のいずれかによって取得された音声情報を受信した場合に、当該音声情報を取得した指向性マイク130に対応する指向性スピーカ140に、当該音声情報を音声出力させる。
画像取得部160は、通信装置100の全方位カメラ120によって撮像された撮像画像を取得する。画像取得部160は、全方位カメラ120によって連続的に撮像される撮像画像を取得する。画像取得部160が取得する撮像画像は、動画像であってよい。
音声情報取得部162は、通信装置100の複数の指向性マイク130から音声情報を取得する。音声情報取得部162は、複数の指向性マイク130のそれぞれからの音声情報を識別可能に取得する。
送信部164は、各種情報を送信する。送信部164は、ネットワーク20を介して、各種情報を送信してよい。
例えば、送信部164は、画像取得部160が取得した撮像画像と、音声情報取得部162が取得した音声情報とを通信相手である他の通信装置100に送信する。送信部164は、音声情報取得部162が取得した音声情報を、当該音声情報を取得した指向性マイク130のマイク識別情報、及び当該音声情報を取得した指向性マイク130が指向性を有する方向を示す方向情報の少なくともいずれかとともに、他の通信装置100に送信してよい。
例えば、送信部164は、画像取得部160が取得した撮像画像と、音声情報取得部162が取得した音声情報とを通信相手である通信端末400に送信する。送信部164は、複数の指向性マイク130のうちの、通信端末400に対応する指向性マイク130が音声情報を取得した場合に、当該音声情報を通信端末400に対して送信してよい。具体例として、送信部164は、曲面ディスプレイ110のうちの通信端末400から受信した撮像画像を表示している部分に対応する指向性マイク130が音声情報を取得した場合に、当該音声情報を通信端末400に対して送信する。送信部164は、曲面ディスプレイ110のうちの通信端末400から受信した撮像画像を表示している部分に対応しない指向性マイク130が音声情報を取得した場合には、当該音声情報を通信端末400に送信しなくてよい。
位置特定部166は、通信装置100の曲面ディスプレイ110の周辺に位置する人の位置を特定する。位置特定部166は、通信装置100の全方位カメラ120によって撮像された撮像画像を解析することによって、通信装置100の曲面ディスプレイ110の周辺に位置する人の位置を特定してよい。なお、通信装置100が、複数の方向に向けて配置された複数の人感センサを別途備えてもよく、この場合、位置特定部166は、複数の人感センサの検知結果によって、通信装置100の曲面ディスプレイ110の周辺に位置する人の位置を特定してもよい。
表示制御部156は、受信部154が他の通信装置100から受信した撮像画像を曲面ディスプレイ110の表示領域の全体に表示させ、かつ、当該撮像画像を、位置特定部166によって特定された位置に対応する曲面ディスプレイ110の部分に表示させてよい。表示制御部156は、受信部154が他の通信装置100から受信した撮像画像を曲面ディスプレイ110の表示領域の全体に表示させ、かつ、縮小した当該撮像画像を、位置特定部166によって特定された位置に対応する曲面ディスプレイ110の部分に表示させてよい。表示制御部156は、通信装置100の周辺に2人の人が位置している場合であって、当該2人の人の距離が予め定められた閾値より近い場合、当該2人の人に対して当該2人の位置に対応する曲面ディスプレイ110の一部分に撮像画像を表示させ、当該2人の人の距離が予め定められた閾値より遠い場合、当該2人のうちの第1の人の位置に対応する曲面ディスプレイ110の部分と、当該2人のうちの第2の人の位置に対応する曲面ディスプレイ110の部分とのそれぞれに撮像画像を表示させてもよい。
指向性マイク130及び指向性スピーカ140のセットが、円筒形状の曲面ディスプレイ110の円周方向に沿って移動可能に構成されている場合において、移動制御部168は、指向性マイク130及び指向性スピーカ140の移動を制御する。移動制御部168は、複数の指向性マイク130のうちの一の指向性マイク130及び複数の指向性スピーカ140のうちの一の指向性スピーカ140の指向性が、位置特定部166によって特定された位置に向くように、当該一の指向性マイク130及び当該一の指向性スピーカ140を移動させてよい。これにより、一の指向性マイク130及び一の指向性スピーカ140の指向性を、曲面ディスプレイ110の周辺に位置する人に対してより正確に向けることができ、曲面ディスプレイ110の周辺に位置する人の音声をより適切に取得できるとともに、曲面ディスプレイ110の周辺に位置する人がより聞き取りやすいように音声を出力することができる。また、複数の指向性マイク130及び複数の指向性スピーカ140を固定設置する場合と比較して、会話を希望する人の位置が制限されない、よりフレキシブルな環境を提供することができる。
選択部170は、特定の人用に、複数の指向性マイク130及び複数の指向性スピーカ140から、一の指向性マイク130及び指向性スピーカ140を選択する。例えば、指向性マイク130は、位置特定部166によって特定された位置に応じて、複数の指向性マイク130のうちの一の指向性マイク130と、複数の指向性スピーカ140のうちの一の指向性スピーカ140とを選択する。選択部170は、複数の指向性マイク130のうち、位置特定部166によって特定された位置を指向性の範囲に含む一の指向性マイク130を選択してよい。選択部170は、複数の指向性スピーカ140のうち、位置特定部166によって特定された位置を指向性の範囲に含む一の指向性スピーカ140を選択してよい。
調整部172は、特定の人用に、指向性マイク130の感度を調整する。調整部172は、特定の人用に、指向性スピーカ140の音量を調整する。例えば、調整部172は、位置特定部166によって特定された人の位置によって、通信装置100と当該人との距離を特定し、特定した距離に応じて、選択部170が選択した一の指向性マイク130の感度及び一の指向性スピーカ140の音量の少なくともいずれかを調整する。調整部172は、例えば、特定した距離が長いほど、一の指向性マイク130の感度を高める選択部170は、例えば、特定した距離が長いほど、一の指向性スピーカ140の音量を上げる。これにより、例えば、通信装置100から少し離れた位置にいるLTPPが通信装置100によって遠隔の人と会話を実行する場合においても、LTPPの声を十分なレベルで取得できなかったり、LTPPに対して聞こえづらい音量レベルで音声出力してしまうことを防止でき、LTPPに対しても十分な会話環境を提供することができる。
制御ユニット250は、制御ユニット150と同様の機能構成を有してよい。
図12は、通信装置100又は通信装置200として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 通信システム、20 ネットワーク、30 ユーザA、31 ユーザB、32 ユーザC、33 ユーザD、34 ユーザE、35 ユーザF、36 ユーザG、37 ユーザH、40 ユーザ、52、54 場所、100 通信装置、110 曲面ディスプレイ、120 全方位カメラ、130、131、132、133、134 指向性マイク、140、141、142、143、144 指向性スピーカ、150 制御ユニット、152 記憶部、154 受信部、156 表示制御部、158 音声出力制御部、160 画像取得部、162 音声情報取得部、164 送信部、166 位置特定部、168 移動制御部、170 選択部、172 調整部、200 通信装置、210 曲面ディスプレイ、220 全方位カメラ、230、231、232、233、234 指向性マイク、240、241、242、243、244 指向性スピーカ、250 制御ユニット、300、301、302 画像、310 縮小画像、320 画像、400 通信端末、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ

Claims (15)

  1. 通信システムであって、
    全方位カメラと、全周に向けて情報を表示するよう配置された曲面ディスプレイと、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカとを有する第1通信装置と、
    全方位カメラと、全周に向けて情報を表示するよう配置された曲面ディスプレイと、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカとを有する第2通信装置と
    を備え、
    前記第1通信装置は、
    前記第2通信装置の前記全方位カメラによって撮像された撮像画像と、前記第2通信装置の前記複数の指向性マイクによって取得された複数の音声情報とを受信する受信部と、
    前記受信部が受信した前記撮像画像を前記第1通信装置の前記曲面ディスプレイに表示させる表示制御部と、
    前記受信部が受信した前記複数の音声情報のそれぞれを、前記第2通信装置の前記複数の指向性マイクのそれぞれに対応する前記第1通信装置の前記複数の指向性スピーカのそれぞれに出力させる音声出力制御部と
    を有する、通信システム。
  2. 前記第1通信装置は、
    前記第1通信装置の前記複数の指向性マイクのそれぞれについて、前記指向性マイクによって取得された音声情報を、前記指向性マイクを識別可能な識別情報、及び、前記指向性マイクが指向性を有する方向を示す方向情報の少なくともいずれかとともに、前記第2通信装置に送信する送信部
    を有する、請求項1に記載の通信システム。
  3. 前記第1通信装置の前記曲面ディスプレイは、円筒形状を有し、
    前記第1通信装置の前記複数の指向性マイクは、前記第1通信装置を基準とした異なる方向に指向性を有し、
    前記第1通信装置の前記複数の指向性スピーカは、前記第1通信装置を基準とした異なる方向に指向性を有し、
    前記第2通信装置の前記曲面ディスプレイは、円筒形状を有し、
    前記第2通信装置の前記複数の指向性マイクは、前記第2通信装置を基準とした異なる方向に指向性を有し、
    前記第2通信装置の前記複数の指向性スピーカは、前記第2通信装置を基準とした異なる方向に指向性を有する、請求項1に記載の通信システム。
  4. 前記第1通信装置の前記表示制御部は、前記第1通信装置の前記受信部が受信した前記撮像画像を第1のサイズで前記第1通信装置の前記曲面ディスプレイに表示させるとともに、前記撮像画像を前記第1のサイズよりも小さい第2のサイズで前記第1通信装置の前記曲面ディスプレイに表示させる、請求項3に記載の通信システム。
  5. 前記第1通信装置の前記表示制御部は、前記第1通信装置の前記受信部が受信した前記撮像画像を、前記第1通信装置の前記曲面ディスプレイの表示領域の全体に表示させるとともに、前記撮像画像を前記第1通信装置の前記曲面ディスプレイの部分に表示させる、請求項4に記載の通信システム。
  6. 前記第1通信装置は、
    前記第1通信装置の前記曲面ディスプレイの周辺に位置する人の位置を特定する位置特定部
    を更に有し、
    前記第1通信装置の前記表示制御部は、前記第1通信装置の前記受信部が受信した前記撮像画像を前記第1通信装置の前記曲面ディスプレイの表示領域の全体に表示させ、かつ、前記撮像画像を、前記位置特定部によって特定された位置に対応する前記曲面ディスプレイの部分に表示させる、請求項5に記載の通信システム。
  7. 前記表示制御部は、前記第1通信装置の周辺に2人の人が位置している場合であって、前記2人の人の距離が予め定められた閾値より近い場合、前記2人の人に対して前記2人の位置に対応する前記曲面ディスプレイの一部分に前記撮像画像を表示させ、前記2人の人の距離が前記予め定められた閾値より遠い場合、前記2人のうちの第1の人の位置に対応する前記曲面ディスプレイの部分と、前記2人のうちの第2の人の位置に対応する前記曲面ディスプレイの部分とのそれぞれに前記撮像画像を表示させる、請求項6に記載の通信システム。
  8. 前記第1通信装置の前記受信部は、通信端末によって撮像された前記通信端末のユーザの撮像画像と、前記通信端末によって取得された前記通信端末の前記ユーザの音声情報とを前記通信端末から受信し、
    前記第1通信装置の前記表示制御部は、前記受信部が前記第2通信装置から受信した前記撮像画像及び前記通信端末から受信した前記撮像画像を前記曲面ディスプレイに表示させ、
    前記第1通信装置の前記音声出力制御部は、前記受信部が前記通信端末から受信した前記音声情報を音声出力させる、請求項1に記載の通信システム。
  9. 前記第1通信装置は、
    前記第1通信装置の前記曲面ディスプレイの周辺に位置する人の位置を特定する位置特定部と、
    前記複数の指向性マイクのうちの一の指向性マイク及び前記複数の指向性スピーカのうちの一の指向性スピーカの指向性が前記位置特定部によって特定された位置に向くように、前記一の指向性マイク及び前記一の指向性スピーカを移動させる移動制御部と
    を有する、請求項1に記載の通信システム。
  10. 前記第1通信装置は、
    前記第1通信装置の前記曲面ディスプレイの周辺に位置する人の位置を特定する位置特定部と、
    前記位置特定部が特定した位置に応じて、前記複数の指向性マイクのうちの一の指向性マイクと、前記複数の指向性スピーカのうちの一の指向性スピーカとを選択する選択部と、
    前記位置特定部が特定した位置によって、前記第1通信装置と前記人との距離を特定し、前記距離に応じて、前記選択部が選択した前記一の指向性マイクの感度及び前記一の指向性スピーカの音量の少なくともいずれかを調整する調整部と
    を有する、請求項1に記載の通信システム。
  11. 通信装置であって、
    全方位カメラと、
    全周に向けて情報を表示するよう配置された曲面ディスプレイと、
    異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカと、
    通信相手である他の通信装置が有する全方位カメラによって撮像された撮像画像と、前記他の通信装置が有する複数の指向性マイクによって取得された複数の音声情報とを受信する受信部と、
    前記受信部が受信した前記撮像画像を前記曲面ディスプレイに表示させる表示制御部と、
    前記受信部が受信した前記複数の音声情報のそれぞれを、前記他の通信装置の前記複数の指向性マイクのそれぞれに対応する前記通信装置の前記複数の指向性スピーカのそれぞれに出力させる音声出力制御部と
    を備える通信装置。
  12. 前記通信装置の前記複数の指向性マイクのそれぞれについて、前記指向性マイクによって取得された音声情報を、前記指向性マイクを識別可能な識別情報、及び、前記指向性マイクが指向性を有する方向を示す方向情報の少なくともいずれかとともに、前記他の通信装置に送信する送信部
    を備える、請求項11に記載の通信装置。
  13. 前記通信装置の前記曲面ディスプレイは、円筒形状を有して全周に向けて情報を表示し、
    前記通信装置の前記複数の指向性マイクは、前記曲面ディスプレイによる表示方向に沿って、それぞれ異なる方向に指向性を有し、
    前記通信装置の前記複数の指向性スピーカは、前記曲面ディスプレイによる表示方向に沿って、それぞれ異なる方向に指向性を有する、請求項12に記載の通信装置。
  14. コンピュータを、請求項11から13のいずれか一項に記載の通信装置として機能させるためのプログラム。
  15. 全方位カメラと、全周に向けて情報を表示するよう配置された曲面ディスプレイと、異なる方向に向けて配置された複数の指向性マイク及び複数の指向性スピーカとを備える通信装置によって実行される制御方法であって、
    通信相手が有する全方位カメラによって撮像された撮像画像と、前記通信相手が有する複数の指向性マイクによって取得された複数の音声情報とを受信する受信段階と、
    前記受信段階において受信した前記撮像画像を前記曲面ディスプレイに表示させる表示制御段階と、
    前記受信段階において受信した前記複数の音声情報のそれぞれを、前記通信相手の前記複数の指向性マイクのそれぞれに対応する前記通信装置の前記複数の指向性スピーカのそれぞれに出力させる音声出力制御段階と
    を備える制御方法。
JP2022144833A 2022-09-12 2022-09-12 通信システム、通信装置、プログラム、及び制御方法 Active JP7464927B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022144833A JP7464927B2 (ja) 2022-09-12 2022-09-12 通信システム、通信装置、プログラム、及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022144833A JP7464927B2 (ja) 2022-09-12 2022-09-12 通信システム、通信装置、プログラム、及び制御方法

Publications (2)

Publication Number Publication Date
JP2024040026A true JP2024040026A (ja) 2024-03-25
JP7464927B2 JP7464927B2 (ja) 2024-04-10

Family

ID=90367393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022144833A Active JP7464927B2 (ja) 2022-09-12 2022-09-12 通信システム、通信装置、プログラム、及び制御方法

Country Status (1)

Country Link
JP (1) JP7464927B2 (ja)

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2811501B1 (fr) 2000-07-04 2003-06-13 France Telecom Terminal et systeme de communication
US7428000B2 (en) 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US11716444B2 (en) 2006-02-15 2023-08-01 Kurtis John Ritchey Human-like emulation enterprise system and method
JP2007274463A (ja) 2006-03-31 2007-10-18 Yamaha Corp 遠隔会議装置
JP2010041167A (ja) 2008-08-01 2010-02-18 Seiko Epson Corp 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム
JP2010148028A (ja) 2008-12-22 2010-07-01 Olympus Imaging Corp 観察装置
JP2010169741A (ja) 2009-01-20 2010-08-05 Nikon Corp 双眼鏡
US9888335B2 (en) 2009-06-23 2018-02-06 Nokia Technologies Oy Method and apparatus for processing audio signals
US8441515B2 (en) 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
US9432237B2 (en) 2011-02-16 2016-08-30 Clearone, Inc. VOIP device, VOIP conferencing system, and related method
KR20160026317A (ko) 2014-08-29 2016-03-09 삼성전자주식회사 음성 녹음 방법 및 장치
JP2017118376A (ja) 2015-12-25 2017-06-29 京セラ株式会社 電子機器
JP2017118375A (ja) 2015-12-25 2017-06-29 京セラ株式会社 電子機器及び音出力制御方法
US9836055B1 (en) 2016-06-03 2017-12-05 Internaitonal Business Machines Corporation Mobile audio input device controller
JP2018148539A (ja) 2017-03-09 2018-09-20 シャープ株式会社 情報処理装置およびその制御方法、ならびに制御プログラム
CN107437063A (zh) 2017-07-04 2017-12-05 上海小蚁科技有限公司 用于感测环境的装置和方法、非暂态计算机可读介质
JP7100824B2 (ja) 2018-06-20 2022-07-14 カシオ計算機株式会社 データ処理装置、データ処理方法及びプログラム
JP6664455B1 (ja) 2018-09-12 2020-03-13 株式会社ネクスティエレクトロニクス 情報報知装置、情報報知方法及び情報報知プログラム
JP2022101074A (ja) 2020-12-24 2022-07-06 ヤマハ株式会社 間仕切りパネル

Also Published As

Publication number Publication date
JP7464927B2 (ja) 2024-04-10

Similar Documents

Publication Publication Date Title
US11531518B2 (en) System and method for differentially locating and modifying audio sources
US10206030B2 (en) Microphone array system and microphone array control method
US20200329214A1 (en) Method and system for providing mixed reality service
EP3466113B1 (en) Method, apparatus and computer-readable media for virtual positioning of a remote participant in a sound space
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
JP2017525260A (ja) 指向性オーディオ通知
US20220224735A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and method
EP3633497A1 (en) Information processing apparatus, information processing method, and program
US20200401364A1 (en) Audio Scene Processing
JP2023551665A (ja) 仮想位置を指示する実世界ビーコン
JP2024040026A (ja) 通信システム、通信装置、プログラム、及び制御方法
WO2020095714A1 (ja) 情報処理装置および方法、並びに、プログラム
US20240064485A1 (en) Systems and methods for sound-enhanced meeting platforms
JP2021508193A5 (ja)
JP2021508193A (ja) キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法
JP2023130822A (ja) 機器システム、撮像装置、表示方法
JP2021500765A (ja) ユーザ端末をグループとして連結し、グループと関連するコンテンツを含むサービスを提供する、方法および装置
JP2023043698A (ja) オンライン通話管理装置及びオンライン通話管理プログラム
Barde et al. less is more: Using spatialized auditory and visual cues for target acquisition in a real-world search task
US10448186B2 (en) Distributed audio mixing
US20230007127A1 (en) Telepresence system
US20240031758A1 (en) Information processing apparatus, information processing terminal, information processing method, and program
US20230051586A1 (en) Audio Processing Methods and Systems for a Multizone Augmented Reality Space
EP4243409A1 (en) System and method for displaying image, image-capturing device, and carrier means
US20230421866A1 (en) Server apparatus of distribution system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240315

R150 Certificate of patent or registration of utility model

Ref document number: 7464927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150