JP2024079567A - 表示端末、通信システム、表示方法、通信方法、及びプログラム - Google Patents

表示端末、通信システム、表示方法、通信方法、及びプログラム Download PDF

Info

Publication number
JP2024079567A
JP2024079567A JP2023156333A JP2023156333A JP2024079567A JP 2024079567 A JP2024079567 A JP 2024079567A JP 2023156333 A JP2023156333 A JP 2023156333A JP 2023156333 A JP2023156333 A JP 2023156333A JP 2024079567 A JP2024079567 A JP 2024079567A
Authority
JP
Japan
Prior art keywords
image
wide
information
field
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023156333A
Other languages
English (en)
Inventor
岳志 堀内
尭志 長谷川
恭也 澤田
英邦 安中
毅史 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to US18/522,269 priority Critical patent/US20240179267A1/en
Publication of JP2024079567A publication Critical patent/JP2024079567A/ja
Pending legal-status Critical Current

Links

Images

Abstract

Figure 2024079567000001
【課題】本開示は、同じ所定の場所で撮像され、撮像時間が異なる複数の広視野画像を表示画面に表示する場合に、ユーザが比較しやすいように表示することを目的とする。
【解決手段】本開示は、画像を表示する表示端末(30)であって、所定の場所で第1の日時に撮像されることで得られた第1の広視野画像の所定領域である第1の所定領域画像を表示画面に表示させ、前記所定の場所で前記第1の日時とは異なる第2の日時に撮像されることで得られた第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる表示制御部33を有する表示端末である。
【選択図】図37

Description

本開示は、表示端末、通信システム、表示方法、通信方法、及びプログラムに関する。
一方の拠点から1つ以上の他の拠点にリアルタイムに画像及び音声を送信し、遠隔地にいるユーザ同士で画像及び音声を用いた遠隔コミュニケーションを行う通信システムがある。この画像として、通常の画角では確認しきれないような箇所も含む撮像範囲として、例えば360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)を含む広い撮像範囲で撮像された広い視野角を有する広視野の画像(以下、「広視野画像」と示す。)が知られている。ユーザは、通信端末を操作して通信端末の表示画面に表示された広視野画像における所定領域について仮想的な視点を変更することで、広視野画像における変更後の別の所定領域を閲覧することができる。
また、作業現場等を撮像して得られた動画に係る広視野画像が所定の拠点に配信される際に録画されていれば、ユーザは後から、録画されている広視野画像を再生表示して閲覧することもできる。
特許文献1には、あるカメラが撮像して得られた映像のうち同一領域の現在の映像と過去の映像を表示することで、ユーザが現在と過去の同じ場所の映像を比較することができる旨が開示されている。
しかしながら、表示端末(通信端末)に広視野画像を表示させる場合、広視野画像が湾曲して見えづらいため(図7(c)、図8(b)参照)、所定領域Tである所定領域画像を表示させる(図10参照)。そのため、例えば、現在と過去の画像が広視野画像の場合には、たとえ同じ場所で撮像して得られた画像であっても、表示端末に表示される所定領域が異なると、図10(b),(d)に示すように別の所定領域画像が表示されてしまい、各画像を比較しづらくなるという問題が生じる。
本発明は上述の課題に鑑みてなされたもので、同じ所定の場所で撮像され、撮像時間が異なる複数の広視野画像を表示する場合に、ユーザが比較しやすいように表示することを目的とする。
請求項1に係る発明は、広視野画像を表示画面に表示する表示端末であって、所定の場所で第1の日時に撮像されることで得られた第1の広視野画像の所定領域である第1の所定領域画像を前記表示画面に表示させ、前記所定の場所で前記第1の日時とは異なる第2の日時に撮像されることで得られた第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる表示制御部、を有する表示端末である。
以上説明したように本発明によれば、撮像場所がほぼ同じで撮像時間が異なる複数の広視野画像を表示する場合に、各広視野画像における所定領域を考慮して表示させることで、ユーザが比較しやすいように表示することができるという効果を奏する。
広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。 通信システムの構成概略図の一例である。 撮像装置のハードウエア構成図の一例である。 通信端末、情報処理システムのハードウエア構成図の一例である。 (a)は撮像装置の左側面図であり、(b)は撮像装置の正面図であり、(c)は撮像装置の平面図である。 撮像装置の使用イメージ図である。 (a)は撮像装置で撮像された半球画像(前)、(b)は撮像装置で撮像された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)正距円筒射影画像で球を被う状態を示した概念図、(b)全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 球座標による三次元ユークリッド空間内の点を示した図である。 通信システムの機能構成図の一例である。 (a)、(b)は、画像管理情報記憶部に記憶される画像管理情報を示す概念図である。 (a)仮想ルーム情報記憶部に記憶される仮想ルーム情報を示す概念図、(b)テナント情報記憶部に記憶されているテナント情報を示す概念図である。 視点関連情報記憶部に記憶される視点関連情報を示す概念図である。 (a)は入室画面の一例を示す図である。(b)はユーザが仮想ルームに入室したことで、通信端末が表示する画像閲覧画面の一例を示す図である。 ユーザ(又は通信端末)が仮想ルームに入室する処理を説明するシーケンス図の一例である。 通信端末が表示するデバイス登録画面の一例を示す図である。 (a)は、撮像装置登録ダイアログを示す図の一例である。(b)は、二次元コード画面の一例を示す図である。 VRゴーグル登録ボタンが押下された場合に表示されるVRゴーグル登録画面の一例を示す図である。 仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面(その1)の一例を示す図である。 仮想ルーム対応付け画面(その2)の一例を示す図である。 仮想ルーム対応付け画面(その3)の一例を示す図である。 通信端末が表示する広視野画像送信開始停止ダイアログの一例を示す図である。 ユーザが仮想ルームに撮像装置を登録する手順を示すシーケンス図の一例である。 広視野画像が共有される流れを説明するシーケンス図の一例である。 広視野画像の共有時において、通信端末からユーザが撮像装置に撮像を要求する処理を説明するシーケンス図の一例である。 通信端末が表示する画像閲覧画面の一例を示す図である。 通信端末において、撮像ボタンが押下されたことでダウンロードボタンが表示された画像閲覧画面の一例を示す図である。 (a)は、ユーザがダウンロードボタンを押下する前に表示される画像閲覧画面を示す図の一例である。(b)は、ユーザがダウンロードボタンを押下した後に表示される画像閲覧画面を示す図の一例である。 サムネイル画像が表示された画像閲覧画面を示す図の一例である。 3つの画像欄がある場合の画像閲覧画面の一例を示す図である。 広視野画像の共有時において、通信端末からユーザが撮像装置に撮像を要求する処理を説明するシーケンス図の変形例を示す図である。 ユーザが現在の画像とストレージに保存されている過去の画像を閲覧する処理を説明するシーケンスである。 現在の所定領域画像を表示中に過去の画像を選択する画像閲覧画面を示す図である。 現在の所定領域画像を表示中に同じ視点の過去の所定領域画像を表示する画像閲覧画面を示す図である。 通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。 遠隔医療の場合において、現在の所定領域画像を表示中に同じ視点の過去の所定領域画像を表示する画像閲覧画面を示す図である。
以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムが行う画像送信方法について説明する。
<遠隔コミュニケーションの一例>
図1は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図1では、3つの拠点A~Cが情報処理システム50を介して通信している。拠点の数は一例に過ぎず、2拠点でも、4拠点以上でもよい。
拠点Aは一例として、工事現場である。拠点B,Cはどこでもよいが、例えばオフィス等、広視野画像を通信可能な場所であればよい。拠点Aには、被写体等を撮像することで、例えば全天球画像と言われる広視野画像、上下方向又は水平方向に180~360度といった周囲の広角な広視野画像を生成可能な撮像装置10が配置されている。撮像装置は「撮影装置(撮影する装置)」ともいう。また、以下ではこのような広角な画像を単に「広視野画像」という。拠点A~Cには広視野画像を閲覧する各種の通信端末30A~30Cが配置されている。なお、以下では、通信端末30A~30Cのうち任意の通信端末を「通信端末30」と称する。
工事現場は、各場所で様々な工事が作業員により進められており、撮像装置が工事現場が映された広視野画像を生成するために工事現場の全体を撮像しつつ、各拠点A~Cのユーザが着目したい工事又は作業があれば、拠点A~Cの各ユーザa~cが仮想的な視点を任意に変えて確認できる。この場合の視点とは、広視野画像全体のうちディスプレイ等の表示画面に表示される所定領域の中心位置又は範囲である。
撮像装置10は三脚86に取り付けられたり、ジンバル87を介してアーム85に取り付けられたりする。工事現場には中継装置(図1では通信端末30Aが中継装置を兼ねている)が設置されており、通信端末30Aが有線又は無線で撮像装置10から受信した広視野画像を、情報処理システム50に送信する。通信端末30Aは、広視野画像の閲覧用の端末にもなり得る。通信端末30にカメラ9が接続されており(内蔵していてもよい)、カメラ9が撮像した通常の画角の画像(広視野画像を撮像できてもよい)も情報処理システム50に送信可能である。また、ユーザa(例えば作業員でもよい)はスマートグラス88を装着でき、スマートグラス88が撮像することで生成した通常の画角の画像(広視野画像を撮像できてもよい)が情報処理システム50に送信される場合がある。スマートグラス88とは、視野を確保しながら、インターネット経由で取得した情報をディスプレイに表示する情報端末である。スマートグラス88は任意の拠点に配置されていてよい。
一方、拠点Bには通信端末30Bの一例として、PC(Personal Computer)又はスマートフォン等が配置されている。また、通信端末30Bは情報処理システム50と通信できる装置であればよく、これらの他、タブレット端末、PDA(Personal Digital Assistant)、電子黒板、プロジェクタ等でもよい。通信端末30Bにカメラが内蔵又は接続されていてもよい。
また、拠点Cには通信端末30Cの一例としてPC、スマートフォン、VR(Virtual Reality)ゴーグル89等が配置され、図1では、通信端末30Cにカメラ8が内蔵又は接続されている。VRゴーグル89とは、コンピュータ上の人工的な世界又は全天球画像を、首又は身体を動かした方向に合わせて表示する情報端末である。VRゴーグル89は、外付けのVRスコープ(本体にプラスチック製等のレンズが付いており、組み立ててスマートフォンをセットすることで手軽にVRを楽しめるVRスコープ)のようにスマートフォンにVR用のゴーグルをセットしたものでもよい。カメラ8は広角用でも通常画角用でもよい。また、通信端末30Cは情報処理システム50と通信できる装置であればよく、タブレット端末、PDA、電子黒板、プロジェクタ等でもよい。VRゴーグル89は任意の拠点に配置されていてよい。
本実施形態では、撮像装置10及び各通信端末30は、「仮想ルーム」という通信グループで通信が管理される。撮像装置10は仮想ルームに対応付けられており、通信端末30(通信端末30を操作するユーザ)は、この仮想ルームに入室して、撮像装置10によって送信された広視野画像を受信することで、ユーザが広視野画像を閲覧できる。スマートグラス88又はVRゴーグル89も仮想ルームに対応付けることが可能である。カメラ8,9は、通信端末30と同様に仮想ルームに入室する。
拠点A~Cのユーザa~cは各自の通信端末30で任意に広視野画像の視点を変更できる。このため、リアルタイムに広視野画像を閲覧する各ユーザa~cはそれぞれ異なる視点を見ている可能性が生じて、意思の疎通が困難になるおそれがある。そこで、本実施形態では、任意の拠点の通信端末30において設定されている仮想的な視点の情報を他の拠点の通信端末30でも共有できるようにする。共有の概略を説明する。以下では、説明のため、拠点Bのユーザbが指定した視点が拠点A、Cのユーザa,cと共有する場合が示されている。
(1) 通信端末30A~30Cは撮像装置10が撮像することで生成した広視野画像(第一の広視野画像の一例)を共有している。ユーザbが通信端末30Bで任意の視点で閲覧した状態で広視野画像を要求すると、通信端末30B(第一の通信端末の一例)が視点情報と撮像要求を情報処理システム50に送信する。
(2) 情報処理システム50は撮像要求に応じて、視点情報を指定して撮像装置10に撮像(静止画でも動画でもよい)を要求する。
(3) 撮像装置10は撮像要求に応じて撮像し、広視野画像(第二の広視野画像の一例)と視点情報を情報処理システム50から通知されたURL(保存場所情報の一例。図1では、ストレージ90上の保存場所を示す。)に関連付けて保存する。ストレージ90に保存された広視野画像は任意の通信端末30がダウンロードして表示可能である。
(4) 情報処理システム50はURLを通信端末30Bに送信する。
(5)また、情報処理システム50は、自動で又はユーザbの要求に応じて、URLを同じ仮想ルームに入室中の通信端末30A、30C(第二の通信端末の一例)に送信する。
(6) 通信端末30A、30CはURLにアクセスして視点情報と広視野画像を受信し、視点情報で特定される広視野画像の視点を画像欄の中央に一致させるように設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。
拠点Aのユーザaの視点を拠点B、Cのユーザに共有する場合、拠点Cのユーザの視点を拠点A、Bのユーザに共有する場合も同様である。
以上のように、本実施形態の通信システム1aは、広視野画像が配信された場合でも、各拠点で着目していた所定領域が表示されるように撮像されることで生成された広視野画像に対する視点の移動を指示しなくとも、視点情報が共有されるので、ユーザの意図疎通が容易になる。
なお、(3)で撮像装置10が広視野画像そのものを情報処理システム50に送信し、(4)で情報処理システム50が広視野画像を通信端末30A~30Cに送信することもできる。
また、図1では、工事現場に撮像装置10が配置される例を説明したが、VR教育、イベント配信、リモート接客、遠隔医療等にも本実施形態を適用可能である。VR教育では、撮像装置10が研究室等の現場の拠点に配置され、遠隔拠点から学生が任意に視点を変えて黒板、器具、サンプル、実験結果等を閲覧できる。イベント配信では、撮像装置10が現場のイベントの開催場所に配置され、遠隔拠点から観客等のイベント参加者がオンラインで任意に視点を変えて開催場所の様子を閲覧できる。なお、開催場所の様子は演者、出場者、発表者、イベントで説明される製品又は展示物などの被写体の映像、イベントで説明される資料の映像、開催場所の状態の映像等を含む。なお、イベントの開催場所は屋内であっても屋外であってもよく、スポーツ、コンサート、演劇等の会場も含まれる。リモート接客では、例えば旅行代理店の接客に適用する場合には、撮像装置10が現場の旅先に配置され、遠隔拠点から顧客が任意に視点を変えて旅程を検討できる。遠隔医療では、撮像装置10が手術室等の医療現場に配置され、遠隔拠点から医師、学生、医療機器の関係者等が任意に視点を変えて医療現場で医療行為を行っている医師の動作、看護師の動作、器具の配置、患者の状態、バイタル等を閲覧できる。
画像が撮像される拠点は、これらに限られず、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧側の拠点のユーザ(閲覧者)が遠隔拠点の現場の状況を把握したいニーズが存在する空間であればよい。
<用語について>
テナントとは、サービスの提供者(本実施形態では情報処理システム)から画像配信サービスを受けることを契約する際の契約単位に紐づくユーザのグループを示しており、契約した企業、組織、個人等である。そのため、テナントは、ユーザグループとも言い換えることができる。ユーザは一例としてテナントに所属しているが、ユーザ個人でサービスに加入してもよい。テナント(ユーザグループ)には、ユーザの他、撮像装置、仮想ルーム等が登録されている。
拠点とは、活動のよりどころとする場所をいう。本実施形態では、拠点の例として会議室を例にする。会議室は、主に会議に使用することを目的に設置された部屋のことである。会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり等ともいう。
デバイスとは、PC、スマートフォン等の汎用的な通信端末30でない装置をいい、撮像装置、又は、広視野画像の閲覧装置である。本実施形態では、撮像装置10、スマートグラス88、及び、VRゴーグル89が挙げられる。
視点情報とは、ディスプレイの表示画面に表示する広視野画像のどの所定領域をディスプレイの表示画面に表示するかを特定するパラメータ情報である。本実施形態ではディスプレイの表示画面に表示される広視野画像の中心に対応する「動径」、「極角」、「方位角」を視点情報の一例として説明するが、対角頂点の座標など他のパラメータ情報で特定されてもよい。
広視野画像とは、所定の表示方法においてディスプレイの表示画面(広視野画像が表示される領域)に一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向360度(または180度)、左右方向360度の視野分の表示範囲を持つが、上下360度未満、左右360度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。また、上下方向及び左右方向についてそれぞれ、160度以上の視野分の表示範囲を有している画像も広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイの表示画面に一度に表示できる画像であっても、所定の表示方法(表示モード、又は拡大若しくは縮小等)に切り替えたり、変更したりすることによって、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像を例に説明するが、全方位画像、半球画像、3Dパノラマ画像、2Dパノラマ画像、VR画像も広視野画像に含まれる。広視野画像は、例えばキューブマッピング形式、ドームマスター形式等の画像であってもよい。また、全天球画像はエクイレクタングラー(equirectangular)形式以外の形式であってもよい。
通常の画角で撮像された画像は、広視野画像でない画像であるが、本実施形態では、広視野画像でない画像(平面画像)として説明する。
通信グループとは、広視野画像が共有される(配信される)ユーザの集まりである。通常の空間では、各ユーザが同じ部屋に入室した場合に各ユーザにより広視野画像が共有可能となるという意味で、通信グループを仮想的な部屋(仮想ルーム)という用語で説明する。ここでの仮想とはネットワークを介した情報処理で実現されるという意味である。
各拠点のユーザは遠隔地同士で遠隔コミュニケーションを行う。遠隔コミュニケーションは遠隔地の拠点で行われる会合である。会合とは相談又は討議などのために人々が寄り集まることをいう。会合には接客、会議、集会、打合せ、勉強会、授業、セミナー、発表会など種々の態様がある。必ずしも双方向通信である必要はない。したがって、仮想ルームを仮想会議室と称してもよい。
<通信システムの構成例>
図2は、通信システム1aの構成概略図の一例である。図1は、図2の通信システム1aを現場との遠隔コミュニケーションに適用した一例である。通信システム1aは、複数の拠点間において、撮像装置10が撮像した広視野画像又は通常画角の画像を双方向に送受信するシステムであり、ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置10が撮像する全天球画像が配信される。通信システム1aは、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
図2に示されているように、通信システム1aでは、拠点Aに配置された撮像装置10、通信端末30A、情報処理システム50、及び複数の拠点(拠点B,C)のそれぞれに配置された通信端末30B,30Cが通信可能に接続されている。
撮像装置10が直接、通信ネットワークNに接続できる通信機能を有している場合、中継装置(例えばルーター等)としての通信端末30Aは不要である。この場合、通信端末30Aは、撮像装置10を伴わずに通信ネットワークNに接続される。しかし、拠点Aに通信端末30Aが配置される場合、通信端末30Aが中継装置を兼ね、通信端末30B,30Cと同様にユーザaが広視野画像を閲覧できる。なお、拠点A以外の拠点に撮像装置10がさらに配置されていてもよいし、拠点Aに複数の撮像装置10が配置されていてもよい。
各通信端末30及び情報処理システム50は、通信ネットワークNを介して通信することができる。通信ネットワークNは、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワークNには、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
撮像装置10は、後述するように、広視野画像を撮像可能な撮像装置の一例として、被写体、風景等を撮像して元になる二つの半球画像を得て、一つの全天球画像を生成することが可能なデジタルカメラを例にして説明する。撮像装置10によって得られる広視野画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像と共に音声を含む映像であってもよい。
通信端末30は、各拠点のユーザによって使用されるPC等のコンピュータである。通信端末30は、自拠点で撮像することで得られた画像、他の拠点から配信された広視野画像(静止画又は動画)及び通常の画角の画像を表示する。通信端末30は、例えば、通信ネットワークNを介して、撮像装置10によって撮像された広視野画像を取得する。また、通信端末30には、OpenGL ES等の画像処理を実行するソフトウェアがインストールされており、広視野画像の一部の領域を特定する視点情報に基づく画像表示ができる。なお、OpenGL ESは画像処理を実行するソフトウェアの一例であって、他のソフトウェアであってもよい。また、画像処理を実行するソフトウェアをインストールしていなくても、外部から受信したソフトウェアによって画像処理を実行してもよいし、外部のソフトウェアによって実行される画像処理結果を受信することで画像表示を行ってもよい。すなわち、通信端末30は、広視野画像の一部の所定領域を表示可能である。
通信端末30はユーザの操作に応じて広視野画像の表示範囲に対する視点を任意に変更できる。通信端末30は、タッチパネル、方向ボタン、マウス、キーボード、タッチパッドなどに対するユーザ操作入力(キー入力、ドラッグ、スクロール等を含む)に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示できる。さらに、通信端末30が例えばVRゴーグル等のユーザが装着する通信端末の場合に、装着したユーザの動きの変更に応じて変更された通信端末30の姿勢情報を検知し、検知した姿勢情報に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示してもよい。
通信端末30Aは、後述の入出力I/F116に接続されたUSB(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮像装置10から取得した広視野画像を、情報処理システム50を介して、他の拠点の通信端末30に配信する。撮像装置10及び通信端末30Aの接続は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。拠点Aに複数の通信端末30Aが配置されてもよい。
拠点Aのユーザがスマートグラス88を装着し、スマートグラス88が通信ネットワークNに接続する場合もある。この場合、スマートグラス88が撮像した画像は通信ネットワークNを介して情報処理システム50に送信され、情報処理システム50が各拠点の通信端末30に配信することができる。
通信端末30Bは、ユーザbが存在する拠点Bに配置されており、通信端末30Cは、ユーザcが存在する拠点Cに配置されている。拠点B,Cに複数の通信端末30B,30Cが配置されてもよい。なお、通信端末30B、通信端末30Cは、ユーザb、ユーザcがそれぞれ持ち歩くことができてもよい。
なお、拠点A~Cの通信端末30A~30Cは撮像部としての一例のカメラ8、9を内蔵していたり外付けしたりすることが可能であり、通信端末30A~30Cは、自端末のカメラ8、9等によって自拠点が撮像された画像を他拠点に配信することができる。また、拠点A~Cには任意のデバイスが配置されてよい。
図2に示す各端末及び装置(通信端末30及び撮像装置)、並びにユーザの配置は一例であり、他の例であってもよい。また、通信端末30は、PCに限られず、例えば、タブレット端末、スマートフォン、PDA、ウェアラブル端末(スマートグラス、VRゴーグルを含む)、PJ(Projector:プロジェクタ)、電子黒板(相互通信が可能な電子式の黒板機能を有する白板)又は自律走行ロボット等であってもよい。通信端末30は、Webブラウザ又は画像配信サービスに専用のアプリケーションが動作するコンピュータであればよい。
さらに、撮像装置10がディスプレイを有する場合、他の拠点から配信された画像を表示する構成であってもよい。
情報処理システム50は、一台以上の情報処理装置を有している。情報処理システム50は、各拠点間の撮像装置10、通信端末30の通信を管理及び制御したり、送受信される広視野画像を管理したりする。情報処理システム50は、広視野画像の配信を行う画像配信サービスを提供するために必要な機能を利用できるプラットフォームを提供する。このプラットフォームを、画像配信サービスを提供したい個人又は企業等のサービス提供者が、契約により利用できるようにしてもよい。以下、画像配信サービスを受けるテナントと区別するため、契約したプラットフォームを利用して画像配信サービスをユーザに提供するサービス提供者をプラットフォーム契約者という。
このため、プラットフォームとして情報処理システム50がAPI(Application Programming Interface)を公開し、プラットフォーム契約者がこのAPIを使用して様々な画像配信サービスを提供できるようにしてもよい。プラットフォーム契約者は、主に通信端末30が表示する画面、APIの呼出しなどを行うアプリケーション等のソフトウェアを開発すればよく、画像配信等のAPIによって提供される機能を一から開発する必要がない。
情報処理システム50は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報処理システム50の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
ストレージ90は、広視野画像等のデータを記憶させる記憶装置である。ストレージ90は、情報処理システム50と別体となった外部ストレージ(クラウド上に配置されたストレージでもよいしオンプレミスに配置されたストレージでもよい)でもよいし、情報処理システム50に含まれるストレージでもよい。
<ハードウエア構成例>
続いて、図3、図4を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図3、図4に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
<<撮像装置のハードウエア構成>>
まず、図3を用いて、撮像装置10のハードウエア構成を説明する。図3は、撮像装置10のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は一つであっても、二つ以上あってもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラ又はスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
図3に示されているように、撮像装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119,加速度センサ120、及びネットワークI/F121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102b(以下区別する必要のないときは、レンズ102と称する。)、及び各レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサ又はCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平若しくは垂直同期信号又は画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット101が広角レンズを2つ備える構成はあくまで一例であって、1つだけ備えていてもよいし、3つ以上備えていてもよい。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像(広視野画像の一例)のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮像装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能、又は動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮像装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラム及び処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データ、又は処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、シャッターボタン等の種々の操作ボタン、電源スイッチ、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部115を操作することで、種々の撮像モード又は撮像条件等を入力する。
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
近距離通信回路117は、撮像装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から撮像装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
ジャイロセンサ119は、撮像装置10の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、三軸方向の加速度を検出するセンサである。撮像装置10は、加速度センサ120が検出した加速度に基づいて、自装置(撮像装置10)の姿勢(重力方向に対する角度)を算出する。撮像装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。
ネットワークI/F121は、ルーター等を介して、インターネット等の通信ネットワークNを利用したデータ通信を行うためのインターフェースである。また、撮像装置10のハードウエア構成はここに示すものに限られず、撮像装置10の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部は通信ネットワークN上に存在していてもよい。
<<通信端末のハードウエア構成>>
図4は、通信端末30及び情報処理システム50のハードウエア構成の一例を示す図である。まず、通信端末30について説明する。通信端末30のハードウエア構成は、300番台の符号で示されている。通信端末30は、コンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HDD(Hard Disk)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319、近距離通信回路320及びカメラ321を備えている。
これらのうち、CPU301は、通信端末30全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HDD304は、プログラム及びデータ等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHDD304に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。なお、ディスプレイ306は、表示部の一例である。表示部には、通信端末30に設けられたディスプレイだけなく、通信端末30の外付けのディスプレイ、通信端末30の外付けの他の通信端末のディスプレイ、又はプロジェクタで映し出されるスクリーン(プロジェクションマッピングの被表示対象も含む)が含まれる。
外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ又はプリンタ等である。ネットワークI/F309は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。バスライン310は、図4に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。なお、HDD304及びHDDコントローラ305は、それぞれプログラム又はデータ等を記憶するストレージの一例であって、それぞれSSD(Solid State Drive)又はSSDコントローラであってもよい。
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311及びポインティングデバイス312のみならず、タッチパネル又は音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW313は、DVD-R又はBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出し又は書き込み(記憶)を制御する。マイク318は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。近距離通信回路320は、NFC、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行うための通信回路である。カメラ321は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク318、スピーカ319及びカメラ321は、通信端末30の内蔵型ではなく、外付けの装置であってもよい。
また、通信端末30のハードウエア構成はここに示すものに限られず、通信端末30の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワークN上に存在していてもよい。
<<情報処理システムのハードウエア構成>>
図4に示すように、情報処理システム50の各ハードウエア構成は、括弧内の500番台の符号で示されている。情報処理システム50は、コンピュータによって構築されており、図4に示されているように、通信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
また、情報処理システム50のハードウエア構成はここに示すものに限られず、情報処理システム50の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
なお、上記各プログラム(閲覧アプリを含む)は、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な(非一時的な)記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信端末30は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。
<広視野画像、及び、視点情報について>
以下では、図5~図12を用いて広視野画像(全天球画像)の生成方法を説明する。
まず、図5を用いて、撮像装置10の外観を説明する。撮像装置10は、全天球(360°)画像の元になる撮像画像を得るためのデジタルカメラである。図5(a)は撮像装置の左側面図であり、図5(b)は撮像装置の正面図であり、図5(c)は撮像装置の平面図である。この外観図は撮像装置10のあくまで一例であって、他の外観であってもよい。
図5(a)に示されているように、撮像装置10は、人間が片手で持つことができる大きさであるが、この形状はあくまで一例であって、他の形状であってもよい。また、図5(a),図5(b),図5(c)に示されているように、撮像装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮像が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、図5(b)に示されているように、撮像装置10の正面側とは反対側の面には、シャッターボタン等の操作部115が設けられている。なお、上記したように撮像素子は1つだけであってもよいし、3つ以上備えていてもよい。
次に、図6を用いて、撮像装置10の使用状況を説明する。図6は、撮像装置の使用イメージ図である。撮像装置10は、図6に示されているように、例えば、撮像装置10の周りの被写体を撮像するために用いられる。この場合、図5に示されている撮像素子103a及び撮像素子103bによって、それぞれ撮像装置10の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
次に、図7及び図8を用いて、撮像装置10が撮像して得た画像から全天球画像が作成されるまでの処理の概略を説明する。図7(a)は撮像装置が撮像して得た半球画像(前側)、図7(b)は撮像装置が撮像して得た半球画像(後側)、図7(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図8(a)は正距円筒射影画像で球を被う状態を示した概念図、図8(b)は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像である。
図7(a)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、図7(b)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮像装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、図7(c)に示されているような正距円筒射影画像ECが作成する。
そして、撮像装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)等のソフトウェアを利用することで、図8(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、図8(b)に示されているような全天球画像(全天球パノラマ画像)CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像CEを作成してもよい。また、全天球画像CEは、静止画であっても動画であってもよい。なお、ここでは撮像装置10が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を情報処理システム50又は通信端末30が実行してもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置10又は通信端末30において、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図9乃至図10を用いて説明する。
図9は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの仮想的な視点の位置に相当するものである。図10において、(a)は図9の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
このように生成された全天球画像CEが、立体球CSであるとした場合、図9に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(図11参照)。
そして、図10(a)に示されている所定領域画像Qは、図10(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。図10(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮像方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域を位置座標(X,Y,Z)によって示してもよい。
また、図10(a)の状態から、図10(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、ディスプレイには、図10(b)に示されている画像が、図10(d)に示されている画像に変更表示される。
次に、図11を用いて、所定領域情報と所定領域Tの画像の関係について説明する。図11は、所定領域情報と所定領域Tの画像との関係を示した図である。図11に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮像方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CP(x,y)となるように変更される。図11に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CP(x,y)が、所定領域情報のパラメータ((x,y))となる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CP(x,y)までの距離である。Lは、所定領域Tの任意の頂点と中心点CP(x,y)との距離である(2Lは対角線)。そして、図11では、一般的に以下の(式1)で示される三角関数が成り立つ。
(L/f)=tan(α/2)・・・(式1)
なお、上記で説明した撮像装置10は、広視野画像を取得可能な撮像装置の一例であり、全天球画像は、広視野画像の一例である。ここで、広視野画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。
図12は、図11で説明した関係を球座標による三次元ユークリッド空間内の点で示した図である。ここで、図11で示した中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、図11で示した距離fに等しい。図12は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ,φ)を視点情報の一例として用いて説明する。なお、視点情報は、上記したように図10で示した所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される所定領域T(所定領域画像Q)が特定できるパラメータ情報であればよく、所定領域Tの対角頂点の座標も含む。また、図11で説明した仮想カメラICの画角αを示す情報及び中心点CP(x,y)を示す情報が視点情報であってもよい。また、図11で説明した仮想カメラICの画角αを示す情報及び方位角aaを示す情報が視点情報であってもよい。また、視点情報は球座標による位置座標情報だけでなく、直交座標による位置座標情報及び初期設定(デフォルト)された所定領域情報から座標の差分値等も含む。また、視点情報は図11で示したように角度及び距離といった座標情報以外の情報であってもよい。また、図11及び図12では所定領域Tの中心点を基準にしているが、所定領域Tの頂点のいずれかを基準としたパラメータ情報により所定領域Tを特定してもよい。なお、上記では広視野画像が全天球画像である場合を例として視点情報を説明したが、他の広視野画像の場合には、その広視野画像における所定領域Tを特定する情報が視点情報となる。また、視点情報には所定領域Tの高さ及び幅といったパラメータ情報、又は仮想カメラICのズーム等による拡大率といったパラメータ情報が含まれていてもよい。また、図7(c)に示されているような正距円筒射影画像ECの各画素の位置を球体の表面の座標(例えば緯度、経度の2軸とした座標)と対応付けた場合に、仮想カメラICの方向と画角といったパラメータ情報を視点情報としてもよいし、緯度及び経度といった情報を視点情報に含めてもよい。このように、視点情報とは、必ずしも点を示す情報に限られない。
<機能について>
続いて、図13を用いて、本実施形態に係る通信システム1aの機能構成について説明する。図13は、本実施形態に係る通信システム1aの機能構成の一例を示す図である。なお、図13では、図1に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
<<撮像装置の機能構成>>
まず、図13を参照して、撮像装置10の機能構成について説明する。撮像装置10は、通信部11、受付部12、撮像処理部13、解析部14、登録要求部15、接続部16、保存処理部17、画像送信制御部18、及び、記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置10は、図3に示されているROM112等によって構築される記憶部1000を有している。
通信部11は、主に、近距離通信回路117に対するCPU101の処理によって実現され、Wi-Fiなどの無線通信手段を利用して、通信ネットワークNに接続して、他の装置との間で各種データ又は情報の送受信を行う機能である。本実施形態では、主に、接続部16により、撮像処理部13によって取得された広視野画像を情報処理システム50に送信する形態を説明するが、通信部11が広視野画像を情報処理システム50に送信することも可能である。
受付部12は、主に、操作部115に対するCPU101の処理によって実現され、撮像装置10に対するユーザからの操作入力を受け付ける機能である。受付部12は、電源のオン、オフ、シャッターボタンのオン、オフ(広視野画像の送信開始又は送信停止)、タッチパネル又はボタン等に対するユーザの操作入力等を受け付ける。
撮像処理部13は、主に、画像処理ユニット104に対するCPU101の処理によって実現され、被写体又は風景画像等を撮像し、撮像画像を取得(生成)する。撮像処理部13によって取得される撮像画像は、動画であっても静止画であってもよく(両方でもよく)、画像と共に音声を含んでもよい。また、撮像処理部13は、例えば、通信端末30のディスプレイ306に表示された二次元コード(図20参照)を撮像する。また、撮像処理部13が撮像画像に対して図7及び図8で説明した画像処理を実行することによって広視野画像を生成してもよい。
解析部14は、主に、CPU101の処理によって実現され、撮像処理部13によって撮像されて取得された二次元コードを解析して二次元コードに含まれる情報(撮像装置をテナントに登録するためのURL、一時的なIDとパスワード)を抽出する。
登録要求部15は、主に、CPU101の処理によって実現され、解析部14によって読み取られた二次元コードに含まれる情報を用いて、情報処理システム50のテナントに撮像装置10を登録する要求を、通信部11を介して情報処理システム50に送信する。
接続部16は、主に、入出力I/F116に対するCPU101の処理によって実現され、通信端末30Aから電源供給を受けると共に、データ通信を行う機能である。
保存処理部17は、主に、CPU101の処理によって実現され、任意の拠点からの撮像要求に応じて撮像された広視野画像を、情報処理システム50から通知されたURL(例えばストレージ90等)に保存する処理を行う。
画像送信制御部18は、主に、CPU101の処理によって実現され、情報処理システム50に対する広視野画像の送信を制御する機能である。画像送信制御部18は、例えば、撮像処理部13によって取得された撮像画像を、静止画であれば定期的又はユーザ操作に応じて、動画であれば所定のFPS(Flame Per Second)で情報処理システム50に対して送信する。画像送信制御部18は通信部11と接続部16の切り替えも行う。
記憶・読出部19は、主に、CPU101の処理によって実現され、記憶部1000に各種データを記憶させ、又は記憶部1000から各種データを読み出す機能である。また、記憶部1000は、撮像処理部13によって取得された撮像画像データ、撮像装置ID等を記憶している。なお、記憶部1000に記憶されている撮像画像データは、撮像処理部13によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、情報処理システム50へ送信されたデータが削除される構成であってもよい。
なお、撮像装置10では、通信システム1aに対応するためのアプリケーション(プラグインともいう)がインストールされている。このアプリケーションは、撮像装置10を仮想ルームに対応付ける際、又は外部からの制御を受け付けたりするために使用される。図13に示した機能の一部(例えば登録要求部15)はこのアプリケーションによるものが含まれる。なお、通信システム1aに対応するためのアプリケーションを通信ネットワークN上に配置し、撮像装置10が有するWebブラウザ等によってアプリケーションにアクセスすることで同様の機能を実現させてもよい。
<<通信端末の機能構成>>
続いて、図13を用いて、通信端末30の機能構成について説明する。通信端末30は、通信部31、受付部32、表示制御部33、撮像部34、録画部35、記憶・読出部39、接続部36、及び画面生成部37を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラム(Webブラウザでも専用のアプリケーションでもよい)に従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末30は、図4に示されているROM302又は記録メディア315によって構築される記憶部3000を有している。
通信部31は、主に、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワークNに接続し、他の装置との間で各種データ又は情報の送受信を行う機能である。
受付部32は、主に、キーボード311及びポインティングデバイス312に対するCPU301の処理によって実現され、通信端末30への各種選択又は操作入力を受け付ける機能である。表示制御部33は、通信端末30のディスプレイ306に広視野画像、通常の画角の画像、及び、各種画面の少なくとも一画像を表示させる機能である。なお、通信端末30はタッチパネル、又はジェスチャ若しくは音声入力のインターフェースを備えていてもよく、このような場合には、タッチ入力、ジェスチャ又は音声入力によって、各種選択又は操作入力を受け付けてもよい。
表示制御部33は、主に、CPU301の処理によって実現され、例えば、情報処理システム50から送信された二次元コードを、ディスプレイ306に表示させる。二次元コードは、例えば、QRコード(登録商標)、DataMatrix(DataCode)、MaxiCode又はPDF417等である。二次元コードは、バーコードでもよい。
撮像部34は、主に、カメラ321に対するCPU301の処理によって実現され、被写体及び被写体の周囲を撮像する。
録画部35は、CPU301の処理によって実現され、情報処理システム50から配信された動画に係る広視野画像のデータを通信部31で受信された後に録画することで、記憶・読出部39を介して記憶部3000に録画データを保存する。
接続部36は、主に、近距離通信回路320に対するCPU301の処理によって実現され、撮像装置10に電源を供給すると共に、データ通信を行う機能である。
画面生成部37は、閲覧アプリケーション(「閲覧アプリ」)により、主に、CPU301の処理によって実現され、各視点情報で示された所定領域画像のサムネイル画像を生成(作成)する。なお、閲覧アプリを必ずしも事前にインストールしている必要はなく、画面生成部37と同等の機能を通信端末が予め備えていてもよいし、仮想ルームに入室する際に情報処理システム又は他のサーバから画面生成部37の機能を備える閲覧アプリと同等の機能を有するプログラムを通信端末が受信することによって、通信端末が画面生成部37の機能を実行してもよい。また、通信端末の閲覧アプリはWebブラウザによって実現されていてもよい。
記憶・読出部39は、主に、CPU301の処理によって実行され、記憶部3000に各種データを記憶させ、又は記憶部3000から各種データを読み出す機能である。記憶部3000には、画像管理情報記憶部3001が形成される。画像管理情報記憶部3001については情報処理システム50の説明において説明する。
<<情報処理システムの機能構成>>
次に、情報処理システム50の機能構成について説明する。情報処理システム50は、通信部51、画面生成部52、関連付け処理部53、画像配信部54、認証部55、通信グループ管理部56、通信制御部57、コネクション管理部58、記憶・読出部59、及び、API管理部60を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図4に示されているROM502、HDD504又は記録メディア515によって構築される記憶部5000を有している。
通信部51は、主に、ネットワークI/F509に対するCPU501の処理通信ネットワークNを介して、他の装置との間で各種データ又は情報の送受信を行う機能である。
画面生成部52は、主に、CPU501の処理によって実現され、通信端末30が表示する画面情報の生成を行う。通信端末30がWebアプリを実行する場合は、画面情報は、HTML、XML、CSS(Cascade Style Sheet)、及びJavaScript(登録商標)等により作成される。通信端末30がネイティブアプリを実行する場合は、画面情報は通信端末30が保持しており、表示される情報がXML等で送信される。画面生成部52は画像配信部54が通信部51を介して配信する広視野画像等が配置される画面情報を生成する。
関連付け処理部53は、主に、CPU501の処理によって実現され、広視野画像の視点情報の関連付け及び共有に関する制御を行う。関連付け処理部53は、通信端末30から視点情報と撮像要求を受信した場合、撮像装置10に撮像を要求して取得した広視野画像と視点情報を関連付ける処理を行う。さらに、関連付けた広視野画像と視点情報は、記憶・読出部59によって画像管理情報記憶部5001に保存される。また、関連付け処理部53は、関連付けられた該広視野画像と視点情報が保存される保存場所を示す情報として各保存場所情報(例えばURL)を通信端末30に送信する。なお、情報処理システム50は、通信端末30から視点情報と撮像要求を同時に受信する必要はなく、別々に受信した上で関連付ける処理を行ってもよい。また、URLは保存場所を示す保存場所情報の一例であって、URI等の他の形式であってもよい。
画像配信部54は、主に、CPU501の処理によって実現され、仮想ルームに入室中のユーザが操作する通信端末30に、同じ仮想ルームに対応付けられている撮像装置10が送信した広視野画像等の画像を、通信部51を介して配信する。通信端末30が有するカメラ又は接続されたカメラ8,9が撮像した通常の画角の画像についても同様に配信される。なお、配信される画像は、ストリーミング映像、動画、静止画等を含む。
認証部55は、主に、CPU501の処理によって実現され、通信部51によって受信された認証要求に基づいて、要求元の認証を行う機能である。認証部55は、例えば、通信部51によって受信された認証要求に含まれている認証情報(ユーザID及びパスワード)が予め保持する認証情報と一致するか否かにより、ユーザを認証する。なお、認証情報は、ICカードのカード番号、顔、指紋、声紋などの生体認証情報、デバイスID、パスコード、アクセストークン、セキュリティキー、チケット等でもよい。また、認証部55は、外部の認証システム又はOAuthなどの認証方法で認証してもよい。また、認証部55は、ユーザだけでなく撮像装置等のデバイスを認証してもよい。
通信グループ管理部56は、主に、CPU501の処理によって実現され、仮想ルームへの通信端末30(又はユーザ)の入室、デバイスの対応付け等を管理する。通信グループ管理部56は、認証部55による認証が成功した場合に、ユーザID及び通信端末30のIPアドレスを仮想ルーム情報記憶部5002に登録したり、仮想ルームに撮像装置10を対応付けたりする。
通信制御部57は、主に、CPU501の処理によって実現され、各仮想ルームに対応付けられた撮像装置10との通信の開始、確立、終了を管理する。また、通信制御部57は、通信端末30が仮想ルームに入室したり退室したりすることに応じて、広視野画像及び(又は)、音声を配信する通信の開始、確立、終了を管理する。
コネクション管理部58は、主に、CPU501の処理によって実現され、通信端末30及び撮像装置10が情報処理システム50と確立している通信(コネクション)を、仮想ルームに対応付けて管理をする。
API管理部60は、主に、CPU501の処理によって実現され、プラットフォーム契約者が広視野画像の画像配信サービスを提供する場合に使用するAPIを管理する。APIを利用する場合、プラットフォーム契約者は、別途、APIを呼び出すソフトウェアを開発すればよい。開発するソフトウェアはサーバ上で動作してもよいし、通信端末等のクライアント上で動作するものであってもよい。画像配信部54、関連付け処理部53、通信制御部57等のように情報処理システム50が備える機能であれば、APIとして提供可能である。また、後から情報処理システム50に追加した機能をAPIとして提供することも可能である。APIとして提供するか否かはプラットフォーム提供者が操作する通信端末が情報処理システム50にアクセスし、APIの公開設定を受け付けることによって、API管理部60が公開設定に基づいたAPIの制御ができる。また、API管理部60はAPIの呼び出しを要求する要求元のソフトウェアが正当なプラットフォーム契約者によって開発されたソフトウェアか否かを確認する認証処理を行ってもよい。認証処理は記憶部5000においてプラットフォーム契約者の情報として予め登録して記憶されている情報と、要求元のソフトウェアから送信された情報を対比させることで確認することができる。
認証処理の具体的な処理の一例として、プラットフォーム契約者が開発するソフトウェアに対して、API管理部60によって予め発行されたアプリIDを要求元のソフトウェアから情報処理システム50が受信し、API管理部60が、アプリIDが記憶部5000に記憶されていると判断できれば正当なソフトウェアとしてAPIを提供することを許可する制御をAPI管理部60が行う。一方で、正当なソフトウェアとして判断できなかった場合には、APIを提供することを許可しない制御をAPI管理部60が行う。
なお、アプリIDは正当性を判断するための認証情報の一例であって、予め情報処理システムのAPI管理部60もしくは外部システムが発行したアクセストークン、チケット、セキュリティキー、パスワード、PINコード等の認証情報によってAPI管理部60が要求元の正当性を確認してもよい。本実施形態では、APIとして情報処理システム50が備える機能を使用する形態は説明しないが、プラットフォーム契約者の開発したアプリケーション等のソフトウェアがAPI管理部60における判断を経由して情報処理システム50が備える機能を利用する以外の処理の流れは同じでよい。
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に各種データを記憶させ、又は記憶部5000から各種データを読み出す機能である。
「画像管理情報記憶部5001」
記憶部5000には、画像管理情報記憶部5001が構築されている。図14(a)は、画像管理情報記憶部5001に記憶される画像管理情報を示す概念図である。画像管理情報記憶部5001には、図14に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザが通信端末30から撮像要求を送信すると、1レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
・広視野画像のデータIDは、広視野画像のデータを識別するための識別情報である。データIDは、情報処理システム50が採番する。IDはIdentificationの略であり識別子又は識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。なお、データIDは広視野画像だけでなく、仮想ルームに対応付けられた撮像装置10によって通常の画角で撮像された画像に対しても関連付けてもよい。
・データ名称は、通信端末30のユーザが設定した広視野画像の名称である。データ名称はユーザが設定できるが、自動で設定されてもよい。
・撮像開始日時情報は、ユーザが通信端末30に撮像開始要求を入力した日時、撮像装置10が広視野画像等の撮像画像の撮像を開示した日時等、又は、広視野画像等の撮像画像の撮像開始日時を特定するための情報である。撮像開始日時情報は広視野画像等の撮像画像のタイムスタンプ情報で代用してもよい。
・撮像終了日時情報は、ユーザが通信端末30に撮像終了要求を入力した日時、撮像装置10が広視野画像等の撮像画像の撮像を終了した日時等、又は、広視野画像等の撮像画像の撮像終了日時を特定するための情報である。撮像終了日時情報は広視野画像等の撮像画像のタイムスタンプ情報で代用してもよい。
例えば、図14(a)の上から1つ目と2つ目のレコードでは、同じ場所において異なる日時に撮像されることで得られた広視野画像等が管理されている。
・撮像者情報は、通信端末30に撮像要求を入力したユーザの識別情報(ユーザID、又はユーザ名を含む)である。ユーザは仮想ルームに入室した状態で、通信端末30に撮像要求を入力するので、撮像者情報に登録されるユーザは情報処理システム50又は仮想ルームへの認証により特定されている。撮像者情報は、撮像要求と共に情報処理システム50に送信される。なお、撮像要求と撮像者情報は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像装置情報は、広視野画像を撮像した撮像装置10の識別情報(撮像装置ID)である。撮像装置IDは、情報処理システム50が採番して撮像装置10と共有するが、MACアドレス又はシリアル番号など撮像装置10に固有の情報が使用されてもよい。撮像装置IDは、広視野画像と共に情報処理システム50に送信される。なお、撮像装置IDと広視野画像は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像時の仮想ルームIDは、撮像装置10が対応付けられている仮想ルームの識別情報である。
・広視野画像のデータの保存場所情報(保存場所情報)は、広視野画像が保存されている場所を示す情報であって、URL又はファイルパス等である。また、保存場所情報によって特定される保存場所は所定のフォルダを示す情報であってもよい。フォルダは撮像時の仮想ルームに対応付けられたフォルダであってもよい。また、撮像日時、撮像装置、撮像者、撮像時の仮想ルーム等の分類の1つ又は2つ以上の組み合わせを示す識別情報(名称等の付加情報)に対応付けられたフォルダであってもよい。また、データの保存場所情報とデータID又はデータ名称等の情報と組み合わせてデータの保存場所を特定してもよい。
・参加者IDは、撮像時の仮想ルームIDで特定される仮想ルームに参加者したユーザを識別するためのユーザ識別情報の一例である。
図14(b)は、図14(a)の変形例として、画像管理情報を示す概念図である。図14(b)では、撮像時の仮想ルームIDが同じ広視野画像が保存されている。このように、画像管理情報は仮想ルーム単位で分類されてよい。
「仮想ルーム情報記憶部5002」
記憶部5000には、仮想ルーム情報記憶部5002が構築されている。図15(a)は、仮想ルーム情報記憶部5002に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部5002には、図15(a)に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、ここでは仮想ルームはテナントに登録されているが、テナントへの登録は必須ではなく、一時的に作成された仮想ルーム又は共有で利用できる仮想ルームの情報も仮想ルーム情報記憶部5002に記憶される。
・仮想ルームIDは、仮想ルームを識別する識別情報である。本実施形態では、仮想ルームはユーザが任意に作成できるものとする。
・仮想ルーム名称は、ユーザが仮想ルームを判別するための名称であり、ユーザが任意に設定できるものとする。なお、仮想ルームIDと仮想ルーム名称は同一の情報であってもよい。
・デバイス情報は、仮想ルームに対応付けられている撮像装置10を含むデバイスの識別情報(デバイスID)である。
・入室中のユーザは、現在、仮想ルームに入室しているユーザのユーザIDである。このユーザは仮想ルームの入室者に対して配信される広視野画像等の画像を閲覧可能なユーザである。入室方法については後述する。また、ユーザIDには該ユーザが操作する通信端末30のIPアドレスが対応付けられていてもよい。また、ユーザIDにはユーザ名が対応付けて記憶されていてもよい。
「テナント情報記憶部5003」
記憶部5000には、テナント情報記憶部5003が構築されている。図15(b)は、テナント情報記憶部5003に記憶されるテナント情報を示す概念図である。テナント情報記憶部5003には、図15(b)に示されているようなテナント情報が記憶されている。テナント情報は、テナント(ユーザグループ)に関する情報であり、テナントごとに保持される。テナント情報が有する各項目について説明する。なお、テナント情報にはユーザ情報など図示する以外に様々な情報が登録されており、図15(b)は一部に過ぎない。
・テナントIDは、テナントを識別する識別情報である。
・テナント名は、ユーザがテナントを判別するための名称である。なお、テナントIDとテナント名は同一の情報であってもよい。
・テナント登録仮想ルームIDは、テナントに登録された仮想ルームの識別情報である。
・テナント登録デバイスは、テナントに登録されたデバイスに関する情報である。
なお、テナント情報記憶部、テナントID、テナント名、テナント登録仮想ルームID、テナント登録デバイスは、それぞれ、ユーザグループ情報記憶部、ユーザグループID、ユーザグループ名、ユーザグループ登録仮想ルームID、ユーザグループ登録デバイスと言い換えることができる。
「視点関連情報記憶部5004」
記憶部5000には、視点関連情報記憶部5004が構築されている。図16は、視点関連情報記憶部5004に記憶される視点関連情報を示す概念図である。視点関連情報には、広視野画像のデータID、参加者ID、閲覧開始日時情報、及び視点情報の保存場所情報が関連付けられている。なお、広視野画像のデータID、及び参加者IDは、図14の画像管理情報における同じ名称の項目と同じ意味である。
・閲覧開始日時情報は、録画時に配信中の広視野画像のうち、各拠点で閲覧されているデフォルトの(初期設定されている)所定領域画像から変更されることで新たな所定領域画像の閲覧が開始された日時を示す。なお、閲覧開始日時ではなく、1つの動画における再生経過時間を示す情報であってもよい。
・視点情報の保存時間情報は、同じレコードの閲覧開始日時情報で示される日時に閲覧された所定領域を特定するための視点情報が保存されている場所を示す情報であって、URL又はファイルパス等である。
図16に示す視点関連情報により、所定の広視野画像に関して、どの拠点における通信端末30(ユーザ)が、いつから所望の所定領域画像に変更して表示(閲覧)したかを示す記録を残すことができる。
<通信端末の仮想ルームへの入室>
続いて、図17、図18を参照し、ユーザbが仮想ルームに入室する処理について説明する。なお、すでに撮像装置10が仮想ルームに対応付けられ、通信端末30Aが広視野画像と通常の画角の画像を情報処理システム50に送信しているものとする(撮像装置10の仮想ルームへの対応付け等については図19以降で説明する)。また、以下では、ユーザbが仮想ルームに入室することと、ユーザbが操作する通信端末30Bが仮想ルームに入室することを特に区別しないで説明する。
図17は、ユーザbが仮想ルームに入室する際に通信端末30Bが表示する画面例を示す。図17(a)は、入室画面200の一例である。補足すると、入室画面200の表示に先立って、ユーザbは情報処理システム50にログインしている。ログインすることでユーザbが所属するテナントが特定される。仮想ルームはテナントと関連付けられている。ユーザbはテナントに関連付けられている仮想ルームの一覧を通信端末30Bで表示し(図22参照)、一覧から入室する仮想ルームを選択する。図17(a)はこのようにユーザbが選択した仮想ルームに対する入室画面200である。なお、テナントに関連付けられていない一時的に作成した仮想ルーム又は共有の仮想ルームが図17(a)の画面に表示されてもよい。
あるいは、仮想ルームの作成者が仮想ルームに対応するURLの発行を情報処理システム50に要求し、このURLをメール等でユーザbに送信してもよい。ユーザbが通信端末30Bに表示されたURLを押下すると、通信端末30Bが図17(a)の入室画面200を表示する。
入室画面200は、仮想ルーム名称201、参加者名入力欄202、及び入室ボタン203を有している。仮想ルーム名称201は仮想ルーム情報記憶部5002に記憶されているものと同じである。参加者名入力欄202は、仮想ルーム内で表示されるユーザ名を入力する欄であって、ニックネームなどユーザbの呼称でもよい。ユーザbがログインすることでユーザbのユーザIDに紐づくユーザ名を特定し、この特定したユーザ名が自動で表示されてもよい。入室ボタン203は、ユーザbが仮想ルームへの入室を要求するボタンである。
なお、入室時に仮想ルームの入室のための認証が、テナントへのログインとは別に要求されてもよい。
図17(b)は、ユーザbが仮想ルームに入室したことで、通信端末30Bが表示する画像閲覧画面210である。図17(b)の画像閲覧画面210は、撮像装置10が情報処理システム50を介して広視野画像の配信をすでに開始しており、通信端末30Aが通常の画角の画像の配信をすでに開始している。このため、画像閲覧画面210は、第一の画像欄211と第二の画像欄212を有している。第一の画像欄211には広視野画像が表示され、第二の画像欄212には通常の画角の画像が表示されている。画像を送信する拠点が3つ以上になれば、送信元の拠点の数に応じて画像閲覧画面210が分割される。
第一の画像欄211には、広視野画像マーク213が表示されている。広視野画像マーク213は、情報処理システム50の画面生成部52が、第一の画像欄211に表示する画像が広視野画像であると判断して設定する。通信端末30Bが判断して表示してもよい。ユーザbは広視野画像マーク213を見ることで、視点を変更できる広視野画像が配信されていることが分かる。また、第一の画像欄211にはデバイスの名称214(広視野画像と共に撮像装置10から送信される)が表示される。デバイスの名称214は後述するようにユーザa等によって設定された情報である(図20参照)。
第二の画像欄212には、参加者名215が表示される。参加者名215はユーザ名であって、参加者名入力欄202に、すでに入室済みのユーザ(ここではユーザaが入室済みなので、ユーザaが参加者名入力欄202に入力した「AAA」)の参加者名が表示される。
図18は、ユーザb(又は通信端末30B)が仮想ルームに入室する処理を説明するシーケンス図である。
S1:まず、拠点Bのユーザbが仮想ルームの一覧画面の表示を行う操作を行う。なお、通信端末30Bは、ユーザbによる操作に応じて事前に情報処理システム50へアクセスし、仮想ルームの一覧画面を表示させるための仮想ルーム情報記憶部5002に記憶されている仮想ルームの情報を情報処理システム50から受信している。この際に、通信端末30Bはログイン等に必要な認証情報を情報処理システム50へ送信することによって、情報処理システム50の認証部55によって認証されてもよい。認証情報はユーザbに紐づく認証情報であっても、通信端末30Bに紐づく認証情報であってもよい。このような場合に、一覧画面に表示される仮想ルームは、ユーザbに紐づくテナントに登録されている仮想ルーム又は通信端末30Bに紐づくテナントに登録されている仮想ルームであってもよい。受付部32が一覧画面を表示する操作を受け付けることで、通信端末30Bの表示制御部33は、ディスプレイ306に選択画面を表示させる。
S2:ユーザbがある仮想ルームの選択ボタンを選択した場合、通信端末30Bの受付部32は、仮想ルームの選択を受け付ける。通信端末30Bの表示制御部33は、ディスプレイ306に図17(a)で示した入室画面200を表示させる。
S3:ユーザbが必要事項を入力し、入室ボタン203を押下する。受付部32が押下を受け付けることで、通信端末30Bの通信部31は、情報処理システム50に対して、仮想ルームへの入室要求を送信する。この入室要求は、ステップS2で選択された仮想ルームを示す仮想ルームID、ログイン等によって認証されたユーザbのユーザID、及び要求元端末である通信端末30BのIPアドレス等の情報を含む。これにより、情報処理システム50の通信部51は、入室要求を受信する。
S4:通信グループ管理部56は、仮想ルーム情報記憶部5002の仮想ルームIDで特定される仮想ルーム情報に、ログイン等によって認証されたユーザIDとIPアドレスを登録する。
S5:そして、情報処理システム50の通信部51は、通信端末30Bに対して、入室済みを示す応答を送信する。これにより、通信端末30Bの通信部31は、入室済みを示す応答を受信する。通信端末30Bの表示制御部33はステップS5に続けて、情報処理システム50の画面生成部52が生成した画面の情報と画像配信部54が配信した画像の情報を受信し、受信した情報に基づいて、図17(b)に示した画像閲覧画面210を表示させる。
<撮像装置のルームへの対応付け>
続いて、図19~図26を参照して、撮像装置10の仮想ルームへの対応付けについて説明する。なお、撮像装置10の仮想ルームへの対応付けは拠点Aのユーザaが行うとして説明するが、システム管理者又はテナント管理者等が行ってもよい。
図19は、通信端末30Aが表示するデバイス登録画面220の一例である。ユーザaは情報処理システム50にログイン等によって認証されている状態である。ログインすることでユーザaが所属するテナントが特定される。ユーザaはデバイス登録画面220の表示を情報処理システム50に要求し、通信端末30Aは情報処理システム50から受信したデバイス登録画面220を表示する。デバイス登録画面220によりまず、デバイスがテナントに登録される。
デバイス登録画面220は、撮像装置登録ボタン221、VRゴーグル登録ボタン222、スマートグラス登録ボタン223を有している。デバイスの種類ごとにボタンが用意されるのは、カメラの有無、登録に使用される情報等に違いがあるためである。また、デバイスの種類ごとにデバイスが登録されるので、情報処理システム50ではデバイスの種類も把握できる。
撮像装置登録ボタン221は、ユーザaが撮像装置10を登録するためのボタンであり、VRゴーグル登録ボタン222はVRゴーグル89を登録するためのボタンであり、スマートグラス登録ボタン223はスマートグラス88を登録するためのボタンである。
図20は、撮像装置登録ボタン221が押下された場合に表示される画面の一例である。図20(a)は、撮像装置登録ダイアログ230を示す。撮像装置登録ダイアログ230は、撮像装置10の名称欄231と、説明欄232と、次へボタン233を有している。ユーザaは登録する撮像装置10であることが分かるように撮像装置10の名称欄231に任意の名称を設定し、説明欄232に説明を設定する。
ユーザaが次へボタン233を押下すると、通信端末30Aが二次元コードを情報処理システム50に要求し、通信端末30Aが二次元コードを表示する。
図20(b)は、通信端末30Aが表示した二次元コード画面240の一例である。二次元コード画面240は、「××(名称欄に入力した名称)というデバイスを登録するため、以下の二次元コードをスキャンして下さい」という旨のメッセージ241、及び、二次元コード242を有している。ユーザaは二次元コード242を登録したい撮像装置10で撮像する。二次元コード242には、撮像装置10が自身の登録のために接続するURL、一時的なIDとパスワードといった登録に必要な認証情報が含まれている。
ユーザaが撮像装置10で二次元コード242を撮像すると、撮像装置10がURLに接続し、一時的なIDとパスワードで認証を受ける。認証が成功すると、正式な撮像装置IDが交換され、撮像装置10の名称、説明、及び、撮像装置IDがテナントに登録される。撮像装置10もこの撮像装置ID、名称、及び説明を保持する。テナントに登録された撮像装置10は、後述するユーザaの操作に応じて仮想ルームに対応付けられる。なお、二次元コード242はコード情報の一例であって、同様の認証情報が埋め込まれていればよく、バーコード等の他の形態のコードであってもよい。
続いて、図21を参照して、VRゴーグル89又はスマートグラス88等の通信端末のテナントへの登録方法の一例を説明する。図21は、VRゴーグル登録ボタン222が押下された場合に表示されるVRゴーグル登録画面250の一例である。VRゴーグル登録画面250は、一時コード入力欄251と、シークレット入力欄252を有している。
VRゴーグル89がカメラを有さない場合には二次元コードを撮像できない。このため、ユーザaはVRゴーグル89に一時コード(一時的なID)と、シークレット(パスワード)を出力させ(表示させ)、一時コード入力欄251と、シークレット入力欄252に入力してもよい。通信端末30Aは一時コードとシークレットを情報処理システム50に送信することで、VRゴーグル89をテナントに登録する。VRゴーグル89が情報処理システム50に接続し、一時コードとシークレットを送信することで、認証を受ける。認証が成功すると、正式なVRゴーグルIDが交換され、VRゴーグルIDがテナントに登録される。VRゴーグル89もこのVRゴーグルIDを保持する。テナントに登録されたVRゴーグル89は、後述するユーザaの操作に応じて仮想ルームに対応付けられる。スマートグラス88については詳細を説明するが、ユーザaは撮像装置10又はVRゴーグル89と同様に登録できる。なお、一時コードとシークレットは認証情報の一例であって、他の情報を認証情報に用いてもよい。なお、撮像装置ID、VRゴーグルID、スマートグラスIDはそれぞれデバイスIDの一例であるため、デバイスIDと言い換えることができる。そのため、撮像装置10、VRゴーグル、スマートグラス以外のデバイスを登録する際にも同様の手順によってデバイスIDを仮想ルーム又はテナントとの関連付けに利用することができる。なお、デバイスIDは、デバイスの所有者に紐づく識別情報であってもよい。
図22は、仮想ルームに撮像装置10を対応付けるための仮想ルーム対応付け画面(その1)260の一例を示す。VRゴーグル89、スマートグラス88の場合も画面構成は同じでよい。仮想ルーム対応付け画面(その1)260は、仮想ルームのリスト261を有している。仮想ルームのリスト261は、テナントに作成されている仮想ルームに基づいて仮想ルーム個別欄262~264を表示する。各仮想ルーム個別欄262~264は、リンク発行ボタン265と、入室ボタン266と、設定ボタン267と、仮想ルーム名称268と、を有する。リンク発行ボタン265は、仮想ルームへのリンク(招待するためのURL)とパスコードを発行するためのボタンである。入室ボタン266は仮想ルームにユーザaが入室するためのボタンである。設定ボタン267は、仮想ルームに撮像装置10を対応付けるためのボタンである。仮想ルーム名称268は仮想ルーム情報記憶部5002に記憶されているものと同じである。したがって、ユーザaは設定ボタン267を押下する。設定ボタン267の押下により、通信端末30Aは仮想ルーム対応付け画面(その2)270を表示する。
また、仮想ルームにすでにデバイスが対応付けられている場合、仮想ルーム個別欄(図では仮想ルーム個別欄264)にデバイスの名称269が表示される。
図23は、仮想ルーム対応付け画面(その2)270の一例を示す。なお、仮想ルーム対応付け画面(その2)270は仮想ルーム対応付け画面(その1)260にポップアップ表示されている。仮想ルーム対応付け画面(その1)260から仮想ルーム対応付け画面(その2)270への画面遷移は、情報処理システム50を経由しないが、経由する画面遷移も可能である。
仮想ルーム対応付け画面(その2)270は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称271(まだ登録されていないので図では未登録)と、接続ボタン272と、ストレージボタン273と、を有する。接続ボタン272は、仮想ルームにデバイスを対応付けるためにテナントに登録されているデバイスの一覧を対応付ける候補として表示させるボタンである。ストレージボタン273は当該仮想ルームに対応付けられている撮像装置10によって撮像された広視野画像又は通常の画角の画像を保存するストレージ90の一覧を表示させるボタンである。ストレージ90の一覧には、仮想ルームに対応付けるストレージ90の一覧だけでなく、ストレージ90上のフォルダ等の特定の保存場所の一覧が含まれていてもよい。ユーザが所定のストレージ90又はストレージ90上のフォルダ等の特定の保存場所を選択することで、仮想ルームに対してストレージ90を対応付けることができる。このようにして対応付けたストレージ90の情報(ストレージ90にアクセスするためのアドレス情報、又はストレージ90上のフォルダ等の保存場所)は、仮想ルーム情報記憶部5002において仮想ルームIDと関連付けて記憶させることができる。接続ボタン272の押下により、通信端末30Aは仮想ルーム対応付け画面(その3)を表示する。
通信端末30Aは情報処理システム50に仮想ルームIDを送信し、該仮想ルームが生成されているテナントに登録されているデバイスの名称(デバイスのID等も含む)、及び、仮想ルームに対応付けられているデバイスの名称(デバイスのID等も含む)を取得する。
図24は、仮想ルーム対応付け画面(その3)280の一例を示す。仮想ルーム対応付け画面(その3)280は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称281と、追加可能デバイス一覧282と、保存ボタン283と、を有している。ユーザaは追加可能デバイス一覧282から仮想ルームに追加で対応付けたいデバイスを選択し、保存ボタン283を押下する。これにより、仮想ルームにデバイスが対応付けられる(仮想ルーム情報記憶部5002に撮像装置ID等のデバイスIDが登録される)。なお、図24に示しているように、仮想ルームに対応付けられる撮像装置の数を制限してもよく、例えば上限が2台の場合に、仮想ルーム情報記憶部5002に既に登録されている撮像装置IDの数を参照することによって、追加で登録できるデバイスの残りの数を仮想ルーム対応付け画面(その3)に表示させてもよい。
<撮像装置に対する広視野画像の送信開始処理>
以上で、撮像装置10等のデバイスが仮想ルームに対応付けられたが、ユーザaがデバイスに対し画像の送信開始を操作する必要がある。
VRゴーグル89とスマートグラス88については、ユーザaがデバイス本体を操作して画像の送信をオン、オフする。これは、現在、VRゴーグル89とスマートグラス88については、通信システム1aに専用のアプリケーションが動作していないためである。VRゴーグル89とスマートグラス88においても通信システム1aに専用のアプリケーションが動作する場合、ユーザaが遠隔から画像の送信をオン、オフできる。
撮像装置10の場合、アプリケーションが有効になっていれば、ユーザaが仮想ルームに入室してメニューから広視野画像の送信をオン、オフできる。
図25は、通信端末30Aが表示する広視野画像送信制御ダイアログ290の一例である。広視野画像送信制御ダイアログ290は画像閲覧画面210にポップアップ表示されている。ユーザaが通信端末30Aを操作して、撮像装置10を対応付けた仮想ルームに入室したものとする。広視野画像送信制御ダイアログ290は、この仮想ルームに対応付けられている撮像装置10の名称292を表示する。名称292の近くにトグルボタン291が表示されており、ユーザaがトグルボタン291を操作して、撮像装置10による広視野画像の送信をオン(送信開始)又はオフ(送信停止)に設定できる。なお、トグルボタンによるオン又はオフの設定方法は一例であって、ユーザ操作の入力に応じて設定できればよい。例えば、ラジオボタン又は所定のアイコンの選択、メニュー操作等によって設定してもよい。また、ユーザ操作を不要として、撮像装置10が入室してから自動で広視野画像の送信を開始してもよい。また、日時、入室したユーザの人数、特定のユーザが参加したことなどの所定の条件を予め定めておき、その条件を満たしたことを判断した場合に、広視野画像の送信を開始してもよい。
通信端末30Aはトグルボタン291の操作による送信制御の設定情報を情報処理システム50に送信する。情報処理システム50は送信制御の設定情報に応じた送信開始要求又は送信停止要求を撮像装置10に送信する。
図25(a)はトグルボタン291がオフの設定の状態を示す。このため、図25(a)では広視野画像が表示されていない。一方、図25(a)では、通信端末30Aが入室した時点で、通信端末30Aのカメラ9が撮像した通常の画角の画像がすでに共有されており、画像閲覧画面210に表示されている。
図25(b)はトグルボタン291がオンの設定の状態を示す。トグルボタン291のオンにより、情報処理システム50が送信開始要求を撮像装置10に送信したため、撮像装置10が広視野画像の送信を開始した。このため、1つの仮想ルームで2つの画像が共有されるので、画像閲覧画面210が2つに分割される。また、オンの設定からオフの設定に変更した場合には、オフの設定情報を通信端末30Aが送信し、情報処理システム50がオフの設定情報の受信に応じて送信停止要求を撮像装置10に送信し、撮像装置10が広視野画像の送信を停止する。
図26で説明したように、ユーザが仮に現場にいる状況であっても、撮像装置10によってコード情報を撮像するといった簡易な操作によって、仮想ルームに撮像装置10を関連付けることができる。現場にいるユーザはPC等を持たないこともあるため、予め発行しておいたコード情報と撮像装置10さえあれば、その場で関連付け処理を行うことができることは現場のユーザにとって特に有用である。また、関連付け処理を予め実施しておけば、ユーザは仮想ルームの選択等しなくとも撮像装置10を所定の仮想ルームに接続させることができ、送信の開始又は停止についても遠隔拠点から指示できるため、現場の作業に集中したいユーザの負担を軽減することができる。したがって、事前準備の工程においても現場と遠隔拠点でのコミュニケーションを効率的に行えるシステムを提供することができる。
<<仮想ルームへの撮像装置の登録手順>>
次に、図26を参照して、図19~図25の一連の画面遷移で説明した仮想ルームへの撮像装置10の登録手順を説明する。図26は、ユーザaが仮想ルームに撮像装置10を登録する手順を示すシーケンス図の一例である。
S11:まず、ユーザaが通信端末30Aを情報処理システム50に接続させ、認証情報(ユーザID,パスワード等)を入力して、ログインを要求する。通信端末30Aの受付部32が操作を受け付ける。
S12:通信端末30Aの通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が指定された認証情報に基づいて認証を行う。ここでは認証が成功したものとする。また、この際に情報処理システム50はテナント情報記憶部5003を参照することで、認証されたユーザIDに関連付けられたテナントIDを特定することができる。
S13:ユーザ操作に応じて、情報処理システム50の画面生成部52はデバイス登録画面220を生成し、通信部51がデバイス登録画面220の画面情報を通信端末30Aに送信する。
S14:通信端末30Aの通信部31がデバイス登録画面220の画面情報を受信し、表示制御部33が図19に示したデバイス登録画面220を表示する。ユーザaはデバイスの種類を選択し(ここでは撮像装置10(例えば全天球カメラ)が選択されたものとする)、次いで、図20で示したように撮像装置10の名称、説明を入力する。受付部32が入力を受け付ける。
S15:通信端末30Aの通信部31は、ユーザaが入力した名称と説明を指定して、コード情報(例えば二次元コード)の要求を情報処理システム50に送信する。
S16:情報処理システム50の通信部51は、コード情報(例えば二次元コード)の要求を受信する。通信グループ管理部56は、名称と説明と関連付けてURL(登録のための接続先)を生成し、URL、一時的なID及びパスワードを含むコード情報(例えば二次元コード)を生成する。情報処理システム50の通信部51はコード情報(例えば二次元コード)を通信端末30Aに送信する。通信端末30Aの通信部31がコード情報(例えば二次元コード)を受信し、図20で示したように表示制御部33がコード情報(例えば二次元コード)を表示する。
S17:次に、ユーザaは仮想ルームに対応付けたい撮像装置10を操作して、コード情報(例えば二次元コード)を撮像する。撮像装置10の受付部12が操作を受け付ける。
S18:撮像装置10の撮像処理部13はコード情報(例えば二次元コード)を含む撮像対象に対して撮像処理を行うことで画像データを生成し、解析部14が画像データを解析してURL、一時的なID及びパスワードを抽出する。これにより、登録要求部15が接続部16を経由してURLに接続し、一時的なID及びパスワードを指定して撮像装置10の登録要求を情報処理システム50に送信する。なお、図21で説明した登録画面による登録方法を実施する場合は、コード情報を撮像しないため、撮像装置10がVRゴーグル89又はスマートグラス88等の通信端末に置き換わり、ステップS15~S17のステップは省略することができる。
S19:情報処理システム50の通信部51は、一時的なID及びパスワードを受信し、認証部55が接続されたURLに関連付けられている一時的なID及びパスワードと一致するかどうかを判断する。ここでは一致したものとする。
S20:情報処理システム50の通信グループ管理部56は、撮像装置10の登録が要求されているので、デバイスIDの一例として撮像装置IDを生成し、ユーザaがログインした際に特定したテナントIDに対応するテナントに撮像装置IDを登録する。なお、撮像装置IDには、名称又は説明が関連付けられている。具体的には、通信グループ管理部56が、テナント情報記憶部5003を参照し、特定したテナントIDに関連付けられるテナント登録デバイスに撮像装置IDを追加して登録する。なお、ここでは通信グループ管理部56が撮像装置IDを生成して登録しているが、撮像装置10から受信した撮像装置IDを登録してもよい。なお、撮像装置10ではなくVRゴーグル89又はスマートグラス88等の通信端末をテナントに登録する場合には、同様の手順でそれぞれに対応するデバイスIDをテナント情報記憶部5003に登録することができる。
S21:情報処理システム50の通信部51は、撮像装置IDを撮像装置10に送信する。撮像装置10の接続部16が撮像装置IDを受信し、記憶部1000に保存する。
S22:通信端末30Aには、情報処理システム50の通信部51から登録完了が通知され、これによりユーザaが仮想ルームへの撮像装置10の対応付けを開始することができる。ユーザaは仮想ルーム対応付け画面(その1)260を通信端末30Aに表示させ、テナントに登録した撮像装置10を対応付けたい仮想ルームを選択する。通信端末30Aの受付部32が選択を示す操作入力を受け付ける。具体的には、通信端末30Aの受付部32がユーザaからの操作入力を受け付けることによって、表示制御部33が仮想ルーム対応付け画面(その1)260を表示させる。この際に、通信部31は画面の更新要求を情報処理システム50の通信部51へ送信してもよい。情報処理システム50は更新要求を受信すると、テナント情報記憶部5003を参照し、認証されたユーザIDに関連付けられたテナントに登録された仮想ルームIDを特定する。さらに続けて、仮想ルーム情報記憶部5002を参照し、特定した仮想ルームIDに関連付けられた仮想ルーム名称を取得する。このようにして特定した仮想ルームID及び対応する仮想ルーム名称の情報(画面生成部52がこれらの情報に基づいて生成した画面の情報であってもよい)を情報処理システム50の通信部51は通信端末30Aへ送信する。通信端末30Aの通信部31は、仮想ルームID及び仮想ルーム名称の情報を受信し、受信した情報に基づいて表示制御部33が仮想ルーム対応付け画面(その1)260を更新表示することができる。なお、このような情報はユーザIDに基づいて特定することができるため、認証後のステップS13で受信しておいてもよい。このようにして表示した仮想ルーム対応付け画面(その1)260に対してユーザaからの選択を示す操作入力を受付部32が受け付けることによって、通信端末30Aが選択された仮想ルームIDを特定することができる。
S23:次に、ユーザaは仮想ルーム対応付け画面(その2)270を通信端末30Aに表示させ、デバイスを追加で仮想ルームに対応付けるために接続ボタン272を押下する。通信端末30Aの受付部32が押下を示す操作入力を受け付ける。具体的には、通信端末30Aの表示制御部33は、ステップS22で特定した選択された仮想ルームIDに対応する仮想ルーム対応付け画面(その2)270を表示する。さらに、受付部32は、ユーザaからデバイスを追加で仮想ルームに対応付ける指示を受け付ける(接続ボタン272の押下)。
S24:ステップS23における操作入力に応じて、通信端末30Aの通信部31は、仮想ルームに対応付けるデバイスの候補となるテナントに登録済みのデバイスと、ステップS22で選択された仮想ルームIDに既に対応付けられているデバイスの情報を情報処理システム50に要求する。
S25:情報処理システム50の通信部51は、テナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスの情報の要求を受信し、画面生成部52がテナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスのデバイスIDを含む仮想ルーム対応付け画面(その3)280を生成する。情報処理システム50の通信部51は仮想ルーム対応付け画面(その3)280の画面情報を通信端末30Aに送信する。
S26:通信端末30Aの通信部31が仮想ルーム対応付け画面(その3)280の画面情報を受信し、表示制御部33が仮想ルーム対応付け画面(その3)280を表示する。ユーザaは仮想ルームに対応付けるデバイス(ここでは撮像装置10を例に説明する)を選択する。通信端末30Aの受付部32が選択を受け付け、選択されたデバイスのデバイスIDとして撮像装置IDが特定される。
S27:通信端末30Aの通信部31は、ステップS22で選択された仮想ルームIDとステップS26で選択されたデバイスID(例えば撮像装置ID)を指定して、対応付け要求を情報処理システム50に送信する。
S28:情報処理システム50の通信部51は、対応付け要求を受信し、通信グループ管理部56が仮想ルームにデバイス(例えば撮像装置10)を登録する。すなわち、通信グループ管理部56は、仮想ルーム情報記憶部5002を参照し、ステップS27の要求で指定されている仮想ルームIDにデバイスID(例えば撮像装置ID)を関連付けて登録する。
S29:仮想ルームにデバイスID(例えば撮像装置ID)が対応付けられたので、情報処理システム50の通信部51は、仮想ルームID,名称、説明を撮像装置10に送信する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用して送信してもよい。撮像装置10の接続部16が仮想ルームID,名称、説明を受信し、記憶部1000に保存する。これにより、撮像装置10が広視野画像を送信する際は、撮像装置ID、仮想ルームID、名称、説明等を付加できる。撮像装置10以外のデバイスも同様の手順で仮想ルームに対応付けることができる。さらに続けて、情報処理システム50の通信部51は、通信端末30Aに対して対応付け完了を示す通知を送信してもよい。このステップ以降、仮想ルームに対して登録されたデバイス(撮像装置10)は、対応付けられた仮想ルームに接続することができる。ここでは、続けて撮像装置10が情報処理システム50に対して、ステップS29で受信した仮想ルームIDを指定して仮想ルームに接続要求を送信することで、仮想ルームに接続したものとして説明を続けるが、撮像装置10が仮想ルームに接続するタイミングはユーザの操作によって変更することができる。
S30:通信端末30A及び情報処理システム50は、図18で説明した入室処理を行うことで、通信端末30Aがデバイス(撮像装置10)の対応付けを行った仮想ルームに入室する。
S31:入室後、ユーザaが画像閲覧画面210において仮想ルームに対応付けられた撮像装置10のトグルボタン291をオンする。通信端末30Aの受付部32がオンを受け付ける。
S32:通信端末30Aの通信部31は、デバイスID(撮像装置ID)を指定して広視野画像の送信開始要求を情報処理システム50に送信する。なお、ユーザaが直接、撮像装置10のボタンを操作して、広視野画像の送信を開始してもよい。なお、ユーザaの操作により、通信端末30Aの通信部31が、送信停止要求を情報処理システム50に送信する場合もある。
S33:情報処理システム50の通信部51は、送信開始要求を受信し、デバイスID(撮像装置ID)で特定される撮像装置10に送信開始を要求する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用してもよい。撮像装置10の接続部16が送信開始を受信し、撮像処理部13が撮像を開始する。画像送信制御部18が接続部16を介して決まったFPS又は帯域に応じたFPSで広視野画像の送信を繰り返す。したがって、仮想ルームに入室した通信端末30は拠点Aの状況を画像閲覧画面210にリアルタイムに表示できる。
<広視野画像等の配信>
図27を参照して、広視野画像又は通常の画角の画像が共有される流れを説明する。図27は、広視野画像が共有される流れを説明するシーケンス図の一例である。図27では、通信端末30A、30Bが図18で説明した入室処理を実行し、仮想ルームに入室ずみである。また、通信端末30Aは通常の画角のカメラ9を有し、通信端末30Bと共有されている。通信端末30Aのカメラ9でなく、仮想ルームに対応付けられたスマートグラス88が撮像した画像等が共有されてもよい。また、図27では、図26で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
S41:通信端末30Aの撮像部34は周囲の撮像を行い、通信部31は入室している仮想ルームIDを指定して撮像で得た画像を含む映像及び音声を情報処理システム50に送信する。
S42,S43:情報処理システム50の通信部51が画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して画像を含む映像及び音声を送信する。なお、図27では、通信端末30Aの通信部31が通常の画角の画像を情報処理システム50から受信して表示しているが、撮像部34が撮像した通常の画角の画像を受信することなく表示してもよい。
S44:次に、撮像装置10が送信開始の設定に基づく送信開始要求に応じて、撮像処理部13は広視野画像の撮像を行い、画像送信制御部18が接続部16を介して自機が登録されている仮想ルームID、撮像装置ID、名称、説明を指定して広視野画像を含む映像及び音声を、情報処理システム50に送信する。
S45,S46:情報処理システム50の通信部51が広視野画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して広視野画像を含む映像及び音声を送信する。
S47:次に、カメラ9を備えた通信端末30Cが図18で説明した入室処理を実行することで新しく仮想ルームに入室した。
S48:通信端末30Cの通信部31は通常の画角の画像を含む映像及び音声を情報処理システム50に送信する。
S49~S51:情報処理システム50の通信部51は通信端末30Cから通常の画角の画像を含む映像及び音声を受信し、同じ仮想ルームに入室している通信端末30A~30CのIPアドレスを仮想ルーム情報記憶部5002から取得し、画像配信部54が通常の画角の画像を含む映像及び音声を送信する。
S52:また、情報処理システム50の通信部51は同じ仮想ルームに入室した通信端末30Cに対しても、広視野画像を含む映像及び音声を送信する。
このように、同じ仮想ルームに入室したユーザa,bは、仮想ルームに対応付けられた撮像装置10が撮像する広視野画像を含む映像をリアルタイムに共有できる。なお、図27で示した、各画像の送信順は一例であり、広視野画像が先に共有されてもよいし、通常の画角の画像が先に共有されてもよい。
ここで、スマートグラス88とVRゴーグル89について補足する。スマートグラス88は通常の画角のカメラと表示機能を有している。スマートグラス88が保持するカメラが撮像により得た通常の画角の画像は、カメラ8,9と同様に配信される。スマートグラス88が保持する表示機能は、通常のディスプレイと同様に平面なので、ユーザが指示する視点で広視野画像の一部が表示される。VRゴーグル89は表示機能を有している(通常の画角のカメラをさらに有していてもよい)。スマートグラス88が保持する表示機能は、ユーザの頭部の向きによって決まる視点の広視野画像を投影するので、ユーザの頭部の向きに応じた視点で広視野画像における所定領域Tの所定領域画像Qが表示される。ユーザは、スマートグラス88又はVRゴーグル89で広視野画像を閲覧中に、閲覧中の視点情報を指定した撮像要求を情報処理システム50に送信できる。
<通信端末からの指示による撮像装置の録画>
続いて、図29~図34を参照して、任意の通信端末30からの指示により撮像装置10が録画する処理について説明する。
まず、広視野画像の共有時において、通信端末30を操作してユーザが撮像装置10に録画を要求する際の画面を説明する。なお、任意のユーザが録画を指示できるが、ここでは、ユーザbが録画を指示するものとする。また、広視野画像の共有時であるので、厳密には撮像装置10はすでに「撮像」をリアルタイムに行っている。広視野画像の共有時の録画要求とは、広視野画像を保存のために録画することをいう。単に、広視野画像がリアルタイムに配信されている状態では広視野画像は保存されていないため、後から確認することができない(ある場面が任意に保存されていない)。
図29は、通信端末30Bが表示する画像閲覧画面400の一例である。なお、図29の説明では主に図25(b)との相違を説明する。通信端末30Aと30Bがリアルタイムに配信されている広視野画像を含む映像をそれぞれ表示し、通信端末30A、30Bは通信端末30Aが有するカメラ9が撮像した通常の画角の画像を含む映像も表示している。広視野画像の映像は、各拠点におけるユーザの操作により任意に仮想的な視点(図11参照)を変更することで、表示される広視野画像の所定領域T(図9、図10参照)を変更することができる。このため、通常の画角では確認できないような範囲まで現場の状況を確認することができる。
図29に示すように、広視野画像が表示された第一の画像欄211には、録画ボタン401が表示される。録画ボタン401は、現在、第一の画像欄211に表示されている広視野画像を含む映像の所定領域を特定するための視点情報を用いて、通信端末30Bが撮像装置10に録画要求を送信するためのボタンである。なお、図29では録画ボタン401に「360度映像を録画」といった説明が付与されているが、これは広視野画像の一例である全天球画像の映像を録画する場合のボタンの一例であって、他の説明が付与されたボタンであってもよいし、説明が付与されていないアイコン等の画像で表現されたボタンであってもよい。また、全天球画像以外の広視野画像の録画を指示するボタンであってもよい。録画ボタン401は、録画を指示可能なGUIの部品であればよく、図29の例に限られない。
図30は、通信端末30Bにおいて、録画ボタン401が押下されたことでダウンロードボタン402が表示された画像閲覧画面400を示す。図30では、第一の画像欄211の下方にダウンロードボタン402(表示部品の一例)が表示されている。ダウンロードボタン402には「撮像した映像をダウンロード」というメッセージが表示されている。ダウンロードボタン402には、撮像装置10が録画ボタン401の押下によって送信された録画要求に応じて録画した広視野画像をアップロードした保存場所情報(例えばURL)が埋め込まれており、ユーザbがダウンロードボタン402を押下すると、通信端末30BがURLに接続して、録画した広視野画像をダウンロードできる。広視野画像には視点情報が関連付けられているので、通信端末30Bがダウンロードした広視野画像を表示する際は、視点情報によって特定される広視野画像の所定領域を第一の画像欄211の中央に一致させるように仮想的な視点を設定して表示する。ダウンロードした広視野画像に複数の拠点の視点情報が関連付けられている場合には、何れの拠点の視点情報に基づいて表示するのか選択肢を画面上に表示させ、選択肢に対する選択の入力をユーザから受け付けることによって選択された視点情報に基づいて表示させてもよい。なお、視点を完全に中央に一致させる必要はなく、視点を第一の画像欄211の中央近傍の範囲に含まれるように設定して表示させてもよい。なお、ここではリアルタイムに配信されている広視野画像を含む映像が表示されていた第一の画像欄211にダウンロードした広視野画像を表示する例を説明したが、第一の画像欄211には、そのままリアルタイムに配信されている広視野画像を含む映像を表示し続け、新しい画像欄を画像閲覧画面400に追加し、新しい画像欄にダウンロードした広視野画像を表示させてもよい。このようにすることで、リアルタイムに配信されている広視野画像の映像によって現場の状況の変化を確認しつつ、現場の特定の状況を切り取った広視野画像も同時に確認することができる。
なお、ダウンロードボタン402の態様は一例であって、ダウンロードボタン402は例えば「全天球画像URL」のようなメッセージを表示してもよい。また、ボタンではなく保存場所情報(例えばURL)に対応するリンクが表示されてもよい。ユーザはリンクをクリックすることで同様にダウンロードすることができてもよい。
また、通信端末30Bはダウンロードボタン402を表示することなく、保存された広視野画像及び関連付けられた視点情報を自動的に受信して表示してもよい。
また、図30は、録画要求した通信端末30Bが表示する画像閲覧画面400であるが、リアルタイムに配信されている広視野画像を含む映像を表示している通信端末30Aが表示する画像閲覧画面400でもダウンロードボタン402が表示され得る。一つの実施例としては、ユーザbが録画要求によって撮像した広視野画像の共有を指示する操作を行うことに応じて、同じ仮想ルームに入室している参加者の通信端末30Aにダウンロードボタン402を表示するようにしてもよい。このようにすることによって、録画を指示した撮像者(ユーザb)が手元で録画した画像を確認した上で他の参加者に共有させることができるため、誤って録画した広視野画像、及び共有する必要のない広視野画像が共有されることを防ぐことができる。ただし、仮想ルームに入室している全ての通信端末30が、広視野画像の保存に応じて自動的にダウンロードボタン402を表示してもよい。
図31を参照し、通信端末30Aがダウンロードボタン402を表示したものとして説明する。図31(a)は、ユーザaがダウンロードボタン402を押下する前に表示される画像閲覧画面410の一例である。ユーザaがダウンロードボタン402を押下する前に、通信端末30Aが第一の画像欄211に、ユーザaが指定した任意の仮想的な視点として例えばドリルを備えた作業機械が含まれる画角での広視野画像を表示している。この状態で、ユーザaがダウンロードボタン402を押下した。
図31(b)は、ユーザbがダウンロードボタン402を押下した後に表示されるユーザa側の画像閲覧画面420の一例である。ユーザbが録画ボタン401を押下した際の視点情報が、図29の第一の画像欄211なので、図31(b)に示すように、通信端末30Aの第一の画像欄211に、図29の第一の画像欄211と同じ視点でダウンロードした録画された広視野画像が表示される。そのため、ドリルを備えた作業機械ではなく、建屋の屋上からクレーンで建材をつり上げるシーンが確認できる画角での録画された広視野画像を表示している。また、ユーザaは、図31(b)において第一の画像欄211に表示されたダウンロードした広視野画像に対して、リアルタイムに配信される広視野画像の映像と同様に、任意に仮想的な視点を変更することができる。そのため、ある特定のシーンを切り取った広視野画像に対しても、録画を要求したユーザの視点を初期値として反映できるとともに、通常の画角では確認できないような範囲まで現場の特定のシーンを確認することができる。
このように、異なる拠点のユーザ同士がある特定のシーンに関する録画された広視野画像の仮想的な視点を後から共有できる。なお、保存要求で保存された広視野画像は図31(b)における第一の画像欄211でなくポップアップ表示されてもよいし、別のウィンドウで表示されてもよい。このようにすることで、経時的に変化する現場の状況をリアルタイムに配信される広視野画像の映像で確認しつつ、録画されたある特定のシーンを切り取った広視野画像を利用して相互のコミュニケーションを効率化することができる。
なお、図31(b)に示すように、通信端末30Aがダウンロードした広視野画像を表示中は、録画ボタン401が表示されない。第一の画像欄211にリアルタイムの広視野画像が表示されていないからである。また、第一の画像欄211のデバイスの名称214には撮像装置10の名称と共に共有された画像である旨が表示される。なお、デバイスの名称214はテナント情報記憶部5003に記憶されているテナント登録デバイスの情報から特定することができる。また、デバイス名称214はデバイスIDであってもよい。
また、ダウンロードボタン402が表示された通信端末30A,30Bでは、ユーザa,bが任意にダウンロードボタン402を削除できる。
また、図32に示すように、ダウンロードボタン402と共に(ダウンロードボタン402を兼ねて)、通信端末30A,30Bが広視野画像のサムネイル画像404を表示してもよい。サムネイル画像404は情報処理システム50が作成しても通信端末30が作成してもよい。サムネイル画像404は視点情報により視点が定まっている。
また、ユーザa,bはそれぞれ、録画要求で録画された広視野画像にデータ名称(各通信端末30の画像管理情報記憶部3001に登録される)を設定できることが好ましい。
図33は、3つの画像欄がある場合の画像閲覧画面430の一例を示す。図33の画像閲覧画面430では、例えば、撮像装置10が撮像した広視野画像が表示される第一の画像欄211、通信端末30Aのカメラ9が撮像した通常の画角の画像が表示される第二の画像欄212、及び、通信端末30Cのカメラ8が撮像した通常の画角の画像が表示される第三の画像欄431が表示されている。ユーザa,b,cのうち任意のユーザが録画ボタンを押下でき、各拠点のユーザa,b,cが広視野画像を同じ視点で共有できる。
<<広視野画像の共有時における、録画要求に応じた動作又は処理>>
続いて、図28を参照し、広視野画像の共有時における、通信システム1bの録画要求に応じた動作又は処理を説明する。図28は、広視野画像の共有時において、通信端末30Bからユーザbが録画を要求する処理を説明するシーケンス図の一例である。図28の説明では、図18で説明した入室処理によって、通信端末30A、Bが仮想ルームに入室しているものとする。また、図28の説明では、ユーザbが録画ボタン401を押下し、ユーザaと視点情報を共有する場合を説明するが、ユーザaが録画ボタン401を押下し、ユーザbと視点情報を共有することもできる。また、図28では、図26で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。なお、図28では、実施形態の一例として、各通信端末30には、所定領域画像の表示及び視点情報の送信に関する機能を有する閲覧アプリケーション(閲覧アプリ)がインストールされている例を用いて説明する。なお、閲覧アプリを必ずしも事前にインストールしている必要はなく、同等の機能を通信端末が予め備えていてもよいし、仮想ルームに入室する際に情報処理システム又は他のサーバから閲覧アプリと同等の機能を有するプログラムを通信端末が受信することによって、通信端末が図28に記載の通信端末の処理を実行してもよい。また、通信端末の閲覧アプリはWebブラウザによって実現されていてもよい。
S61:ユーザbは、図29において録画ボタン401を押下する操作を入力する。通信端末30Bの受付部32は押下する操作入力を受け付ける。録画ボタン401の押下は録画要求を送信するための操作入力方法の一例であって、その他のユーザインターフェースに対する入力に応じて録画要求を送信してもよい。ユーザインターフェースはGUIだけでなく、音声又はジェスチャによるインターフェースも含む。
S62:録画要求を送信するための操作入力の受け付けに応じて、通信端末30Bの通信部31が、情報処理システム50に対して、録画要求を送信する。この録画要求には、現在利用中の仮想ルームを識別するための仮想ルームID、及び映像の配信元である撮像装置を識別するための撮像装置IDが含まれている。これにより、情報処理システム50の通信部51は、録画要求を受信する。なお、画像の録画だけでなく、音の録音も行われているが、以降、簡略化のために画像の録画について説明する。但し、本実施形態では、画像と同様に、音に関してもデータが通信され録音も行われる。
S63: 情報処理システム50の通信部51が録画要求を受信すると、関連付け処理部53が仮想ルーム情報記憶部5002を参照し、仮想ルームIDに基づいて録画された広視野画像の保存場所情報(例えばURL)を作成し、更に、仮想ルームに入室中の通信端末30Aを特定して同じ仮想ルームに設定されているストレージ90を対象とする視点情報の保存場所情報(例えばURL)を作成する。そして、通信部51が視点情報のアップロード開始指示を通信端末30Aに送信する。この開始指示には、通信端末30A専用の視点情報の保存用URLが含まれている。これにより、通信端末30Aの通信部31が開始指示を受信する。また、これに応じて、表示制御部33がダウンロードボタン402を表示する。
S64:情報処理システム50の通信部51は、録画要求元の通信端末30Bに対して、通信端末30Aに対する送信と同様に、視点情報のアップロード開始指示(視点情報の保存場所情報を含む)を送信すると共に、録画要求元に対する応答として、録画開始指示を送信する。この録画開始指示には、録画した広視野画像の保存場所情報が含まれている。
S65:通信端末30Bの録画部35は、撮像装置10から配信された動画に係る広視野画像(S46参照)の録画及び音声の録音を開始する。録画された録画データは、録画部35から記憶・読出部19を介して、一旦、記憶部3000に保存される。なお、画像データに音データが含まれている場合には、録画部35は音の録音も行う。
S66:ユーザbは、通信端末30Bによって表示されているデフォルトの所定領域画像に対して、ポインティングデバイス312、外付けマウス等により、仮想的な視点を移動(変更)させる操作を入力する。これにより、受付部32が視点の移動操作を受け付け、表示制御部33が変更後の視点に応じた所定領域画像を通信端末30Bのディスプレイ306上に表示させる。例えば、図10において、デフォルトで表示されてる所定領域画像が図10(b)に示されている場合、ユーザbによる操作により、図10(c)のように仮想カメラICの視点が移動することで、結果的にディスプレイ306上には図10(d)のような所定領域画像が表示される。なお、仮想の視点の移動は、ポインティングデバイス312等のユーザインターフェースに対する入力に限らず、音声又はジェスチャによる入力であってもよい。
S67:通信端末30Aの通信部31は、視点移動操作に応じて、情報処理システム50に対して、視点情報と視点関連情報をアップロードする。この視点情報は、仮想的な視点が移動された後の広視野画像の所定領域を特定するための情報である。また、視点関連情報には、図16に示されているように、録画対象の広視野画像のデータID、参加者であるユーザbのユーザID、仮想的な視点を移動させて新たな所定領域画像の閲覧を開始することができた日時を示す閲覧開始日時情報、及びステップS64で取得した視点情報の保存場所情報が含まれている。これにより、情報処理システム50の通信部51は、視点関連情報を受信し、記憶・読出部59が、視点関連情報記憶部5004に1レコードとして視点関連情報を記憶する。
S68:情報処理システム50の通信部51は、ステップS67で受信した視点情報の保存場所情報に係る保存場所(URL等)に対して、ステップS67で受信した視点情報を保存する。なお、情報処理システム50は、ストレージ90に視点情報を保存せずに、自システムにて、図16の視点関連情報記憶部5004に、視点関連情報における「視点情報の保存場所情報」の代わりに、視点情報を保存してもよい。
S69:ユーザaも、ステップS66のユーザbと同様に操作する。
S70:通信端末30Aの通信部31は、ステップS67と同様に、情報処理システム50に対して、視点情報と視点関連情報をアップロードする。
S71:情報処理システム50の通信部51は、ステップS68と同様に、ステップS70で受信した視点情報の保存場所情報に係る保存場所(URL等)に対して、ステップS70で受信した視点情報を保存する。
S72:ユーザbがマウス等で録画を停止する操作を入力した場合、受付部32が録画停止操作を受け付ける。
S73:録画停止操作の入力の受付に応じて、録画部35が録画の動作を停止する。
S74:通信端末30Bでは、記憶・読出部39が記憶部3000に保存されている録画データを読み出し、通信部31が、ステップS64で取得した広視野画像の保存場所情報に係るストレージ90の保存場所に対して、動画に係る広視野画像の録画データをアップロードして保存する。なお、ステップS74は情報処理システム50を介してストレージ90の保存場所に対してアップロードして保存してもよい。
S75:通信端末30Bの通信部31は、ステップS74でアップロードが完了すると、情報処理システム50に対して録画データのアップロードが完了した旨を通知する。
S76-1,S76-2:情報処理システム50の通信部51は、アップロードが完了した旨の通知を受信すると、広視野画像の保存場所情報(URL等)を仮想ルームに入室している通信端末30A及び通信端末30Bにそれぞれ通知する。これらの通知を受け取った通信端末30A及び通信端末30Bの表示制御部33は、それぞれ図30及び図31で説明したダウンロードボタン402を表示させることができる。通信端末30A及び通信端末30Bの通信部31はそれぞれ、ダウンロードボタン402の押下に対応する操作入力を受付部32によって受け付けることに応じて、保存場所情報に対応するストレージ90の保存場所に保存されている録画データをストレージ90に要求し(なお、情報処理システム50を介して要求してもよい)、録画データをストレージ90からダウンロードすることによって録画データの共有を行うことができる(なお、情報処理システム50を介してダウンロードしてもよい)。
以上により、図28の処理は終了する。
なお、スマートグラス88又はVRゴーグル89が通信端末30である場合も、同様に図28に示される処理が実行される。
図34には、図28の処理の変形例が示されている。図34は、視点情報及び広視野画像のアップロードの処理(その2)を示すシーケンス図である。なお、この変形例においても、図28におけるステップS61~S65と同様の処理が行われるため、これらの説明を省略し、通信端末30Bで録画が開始された後の処理について、ステップS86から説明する。
S86:上記ステップS66と同様に、ユーザbは、通信端末30Bによって表示されているデフォルトの所定領域画像に対して、ポインティングデバイス312又は外付けマウス等により、仮想的な視点を移動(変更)させる操作を入力する。これにより、通信端末30Bの受付部32が視点を移動させる操作入力を受け付け、表示制御部33が変更後の視点に応じた所定領域画像を通信端末30Bのディスプレイ306上に表示させる。
S87:通信端末30Bでは、記憶・読出部39が、ステップS86によって仮想的な視点が移動された後の所定領域を特定するための視点情報と、この視点情報に係る視点関連情報を記憶部3000に保存する。
S88:ユーザaもステップS86と同様に、ユーザaは、通信端末30Aによって表示されているデフォルトの所定領域画像に対して、ポインティングデバイス312又は外付けマウス等により、仮想的な視点を移動(変更)させる操作を入力する。これにより、通信端末30Aの受付部32が視点を移動させる操作入力を受け付け、表示制御部33が変更後の視点に応じた所定領域画像を通信端末30Aのディスプレイ306上に表示させる。
S89:通信端末30BでもステップS89と同様に、記憶・読出部39が、ステップS88によって仮想的な視点が移動された後の所定領域を特定するための視点情報と、この視点情報に係る視点関連情報を記憶部3000に保存する。
S90:ユーザbがマウス等で録画を停止した場合、ステップS72と同様に、受付部32が録画停止を受け付ける。
S91:録画部35が録画の動作を停止する。
S92:通信端末30Bの通信部92が、情報処理システム50に対して、録画を停止した旨を示す録画停止通知を送信する。これにより、情報処理システム50の通信部51が、録画停止通知を受信する。
S93:情報処理システム50の通信部51が、録画処理をしていない通信端末30Aに対して、視点情報と視点関連情報のアップロード要求を送信する。これにより、通信端末30Aの通信部31は、アップロード要求を受信する。
S94:通信端末30Bでは、記憶・読出部39が、これまで記憶部3000に保存しておいた、広視野画像の録画データ、視点情報、及び視点関連情報を読み出し、通信部31が、これらを情報処理システム50にアップロードする。なお、上述のように、視点関連情報には、視点情報の保存場所情報が含まれている。これにより、情報処理システム50の通信部51は、広視野画像の録画データ、視点情報、及び視点関連情報を受信する。
S95:情報処理システム50の通信部51は、ステップS94で受信した視点情報の保存場所情報に係る保存場所(URL等)に対して、ステップS94で受信した視点情報を保する。また、情報処理システム50の通信部51は、画像管理情報記憶部5001(図14参照)に記憶されている広視野画像のデータの保存場所情報で示されるストレージ90の保存場所(URL等)に対して、ステップS94で受信した広視野画像の録画データを保存する。なお、通信端末30Bが保存場所を特定できていれば、情報処理システム50を介さずに広視野画像の録画データと視点情報をストレージ90に保存してもよい。
S96:通信端末30Aでは、記憶・読出部39が、これまで記憶部3000に保存しておいた、視点情報及び視点関連情報を読み出し、通信部31が、これらを情報処理システム50に送信する。なお、上述のように、視点関連情報には、視点情報の保存場所情報が含まれてる。これにより、情報処理システム50の通信部51は、視点情報及び視点関連情報を受信する。
S97:情報処理システム50の通信部51は、ステップS96で受信した視点情報の保存場所情報に係るストレージ90の保存場所(URL等)に対して、ステップS96で受信した視点情報を保存する。また、情報処理システム50の通信部51は、画像管理情報記憶部5001(図14参照)に記憶されている広視野画像のデータの保存場所情報で示されるストレージ90の保存場所(URL等)に対して、ステップS96で受信した広視野画像の録画データを保存する。なお、通信端末30Aが保存場所を特定できていれば、情報処理システム50を介さずに視点情報をストレージ90に保存してもよい。
S98-1,S98-2:情報処理システム50の通信部51は、ステップS95,S97で説明した処理を実行することによって、ストレージ90への録画データと視点情報の保存が完了すると、広視野画像の保存場所情報(URL等)を仮想ルームに入室している通信端末30A及び通信端末30Bにそれぞれ通知する。これらの通知を受け取った通信端末30A及び通信端末30Bの表示制御部33は、それぞれ図30及び図31で説明したダウンロードボタン402を表示させることができる。通信端末30A及び通信端末30Bの通信部31はそれぞれ、ダウンロードボタン402の押下に対応する操作入力を受付部32によって受け付けることに応じて、保存場所情報に対応するストレージ90の保存場所に保存されている録画データをストレージ90に要求し(なお、情報処理システム50を介して要求してもよい)、録画データをストレージ90からダウンロードすることによって録画データの共有を行うことができる(なお、情報処理システム50を介してダウンロードしてもよい)。
以上により、図34の処理は終了する。
また、図28、図34の例では、通信端末30において録画の開始と停止を行っていたが、図27で説明したように、情報処理システム50も通信端末30と同様に撮像装置10によって撮像された広視野画像を受信しているため、通信端末30が備える録画部35を情報処理システム50が備え、情報処理システム50の録画部によって広視野画像の録画の開始又は停止を実行してもよい。このような場合にはクラウド等のサーバで録画する構成となるため、ユーザが操作する通信端末30に録画に係る処理負荷がかからないといった利点がある。このような変形例の場合には、ステップS74において通信端末30が録画データをアップロードしているが、情報処理システム50がストレージ90に録画データを保存する構成となる。
また、同様に撮像装置10が録画部35の機能を有している場合には、撮像装置10において広視野画像の録画を実行してもよい。このような場合には、情報処理システム50又は通信端末30に録画に係る処理負荷がかからないといった利点がある。このような変形例の場合には、ステップS62で情報処理システム50が録画要求を受信することに応じて、撮像装置IDに対応する撮像装置10に対して録画要求を情報処理システム50が送信することによって、撮像装置10が録画を開始することができる。また、ステップS72の録画停止操作の入力を受け付けることに応じて、通信端末30が録画停止要求を情報処理システム50に送信し、情報処理システム50がさらに撮像装置10に対して保存場所情報を含む録画停止要求を送信することで撮像装置10は録画を停止することができる。録画が停止された後は、ステップS74と同様に通信端末30ではなく、撮像装置10が保存場所情報に基づいてストレージ90(又は情報処理システム50を介して)へ録画データをアップロードすればよい。
また、図28、図34の例では、通信端末30のうち、録画要求を送信した通信端末30のみで録画を実行する構成となっていたが、仮想ルームに入室している全ての通信端末30が視点情報のアップロード開始指示を受信することに応じて、録画要求を送信した通信端末30と同様に配信されている広視野画像の録画の開始及び停止の制御を行い、広視野画像の録画データのアップロードを行ってもよい。
また、図28、図34の例において、視点情報を情報処理システム50又はストレージ90に送信する際に、視点情報が録画データに埋め込まれているデータ形式の場合には、視点情報を含む録画データを送信することによって、視点情報を送信してもよい。
<現在の画像と過去の画像の閲覧>
続いて、図35~図37を参照して、ユーザが現在の画像とストレージ90に保存されている過去の画像を閲覧する処理を説明する。図35は、ユーザが現在の画像とストレージに保存されている過去の画像を閲覧する処理を説明するシーケンスである。図36は、現在の所定領域画像を表示中に過去の画像を選択する画像閲覧画面を示す図である。図37は、現在の所定領域画像を表示中に同じ仮想的な視点の過去の所定領域画像を表示する画像閲覧画面を示す図である。なお、図35の処理は、既に任意のユーザがログインを行った後の処理を示す。また、図36及び図37は、図17(b)の変形例を示す。また、通信端末30には、上述の閲覧アプリがインストールされている。図35において、通信端末30は表示端末の一例である。
S301:情報処理システム50の記憶・読出部59は、画像管理情報記憶部5001(図14参照)を検索することで、ライブ画像である配信中の現在の広視野画像のデータ名称(又は撮像時の仮想ルームID)が同じであるレコードにおける過去画像特定情報を読み出す。過去画像特定情報は、過去に録画された広視野画像を特定するための情報であり、少なくとも広視野画像のデータIDが含まれる。ここでは、過去画像特定情報として、広視野画像のデータID、撮像開始日時情報、及び撮像終了日時情報が含まれている。
S302:情報処理システム50の通信部51は、ライブ画像である現在の広視野画像と共に、処理S301で検索された過去画像特定情報を配信する。これにより、通信端末30の通信部31は、現在の広視野画像及び過去画像特定情報を受信する。
S303:通信端末30では、図36に示すように、表示制御部33がディスプレイ306上に画像閲覧画面210aを表示させる。画像閲覧画面210aは基本的に図17(b)に示す画像閲覧画面210と同様であり、第一の画像欄211と第二の画像欄411を有している。なお、図36において、図17(b)と同じ内容は同じ符号を付して、説明を省略する。
第一の画像欄211には、現在の広視野画像における所定領域である所定領域画像(第1の所定領域画像の一例)が表示されている。第二の画像欄411には、過去画像特定情報を選択するためのプルダウンメニューpmが表示されている。また、第二の画像欄411には、プルダウンメニューpmで選択された過去画像特定情報で特定される画像を再生するための「再生」ボタン412が表示されている。なお、プルダウンメニューpmではなく、他の表示形態によって過去画像特定情報を表示してもよい。
S304:ユーザがプルダウンメニューpmで所定の過去画像特定情報を選択して、「再生」ボタン412を押下すると、受付部32が、所定の過去画像特定情報の選択を受け付ける。
S305:通信端末30の通信部31は、処理S304で選択された過去画像特定情報で特定される広視野画像の保存場所情報の要求を送信する。この要求には、所定の過去画像特定情報に係る広視野画像のデータIDが含まれている。これにより、情報処理システム50の通信部51が、広視野画像の保存場所情報の要求を受信する。
S306:情報処理システム50では、記憶・読出部59が、処理S305で受信された広視野画像のデータIDを検索キーとして画像管理情報記憶部5001(図14参照)を検索することにより、対応する保存場所情報を読み出す。
S307:情報処理システム50の通信部51は、通信端末30に対して、処理S306で読み出された保存場所情報を送信する。これにより、通信端末30の通信部31は、保存場所情報を受信する。
S308:通信端末30の通信部31は、処理S307で受信された保存場所情報で示される保存場所(URL等)にアクセスする。
S309:通信端末30の通信部31は、処理S308でアクセスした保存場所から、過去の広視野画像を取得する(ダウンロードする)。
S310:通信端末30では、表示制御部33が、図37に示すように、第二の画像欄411に、処理S309で取得された過去の広視野画像における所定領域である所定領域画像を表示させる。この場合、表示制御部33は、第一の画像欄211で表示させている所定領域画像の表示に用いられている視点情報を利用して、第一の画像欄211で表示させている所定領域画像と同じ視点で特定される所定領域の所定領域画像を表示させる。また、第二の画像欄411には、「(録画)」であることを明示したデバイスの名称414、及び広視野画像マーク413が表示されている。広視野画像マーク413は、広視野画像マーク213と同様に、第二の画像欄411に表示されている過去の広視野画像(所定領域画像)が視点を変更できる画像であることを示すマークである。
なお、第一の画像欄211と第二の画像欄411に表示される画像を生成する各撮像装置10は、基本的に同じ所定の場所に置かれている必要がある。但し、所定の場所は、厳密に全く同じ位置である必要はなく、互いに所定距離(例えば1m)の範囲内の位置に、第一の画像欄211と第二の画像欄411に表示される画像を生成する各撮像装置10が置かれてもよい。
また、図37では、第一の画像欄211と第二の画像欄411が同時に並列表示されているが、これに限らず、第一の画像欄211と第二の画像欄411を図37に示す表示サイズよりも大きく表示させる代わりに、切り替え表示させるようにしてもよい。また、第一の画像欄211と第二の画像欄411の表示サイズは、図37に示すように同じであってもよいし、異ならせてもよい。例えば、第一の画像欄211よりも第二の画像欄411の表示サイズを小さくしても良いし、小さくしてもよい。
更に、図37では、表示制御部33は、単一の第二の画像欄411を表示されているが、複数表示してもよい。この場合、処理S304においてユーザにより複数の過去画像特定情報が選択され、処理S307において複数の保存場所情報が送信され、処理S308において複数の保存場所にアクセスされて、処理S309において複数の広視野画像が取得される。また、表示制御部33は、現在の広視野画像における所定領域画像は表示せずに、複数の過去の広視野画像の各所定領域画像を表示してもよい。
S311:ユーザが、図37の第一の画像欄211において、マウス等での仮想的な視点の移動(変更)を操作させると、受付部32が操作の入力を受け付ける。この仮想的な視点の移動は、所定領域Tの変更、即ち図10(a)から図(c)へのような移動を示す。
S312:表示制御部33は、処理S311に基づき、変更後の視点に係る視点情報を用いて、変更後の視点に合わせるように第二の画像欄411に表示中の過去の所定領域画像を変更表示させる。このように、現在及び過去の広視野画像を表示させる場合に、同じ視点(所定領域)の所定領域画像を表示させることで、ユーザは両画像を比較しやすくなる。
なお、第二の画像欄411の視点を変更することで、第一の画像欄211の視点を合わせるように変更してもよい。この場合も、第二の画像欄411に表示される所定領域画像を特定するための視点情報が、第一の画像欄211に表示される所定領域画像の表示に用いられる。
以上により、図35の処理の説明は終了する。
<遠隔医療における通信システムの適用例>
図38は、通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。なお、この場合の通信システム1bの説明において、図38と図1との相違を説明する。
図38の拠点Aは手術室であるが、(1)~(6)の処理の流れについては図1と同様でよい。図38において、患者は手術台355に乗せられ、医師等の医療従事者による手術を受ける。医療従事者(ユーザに相当する)は、鉗子、メスなど各種の術具354を使用して、患者を手術する。また、医療従事者はスマートグラス88を装着でき、医療従事者の術野の画像を通信ネットワークNに送信できる。また、手術室には、術場カメラ351、術野カメラ352、内視鏡353など、各種のカメラが撮像装置10と同様の撮像装置として配置される。また、これらの撮像装置は何れも広視野画像を生成するための画像を撮像する撮像機能を有していてもよい。手術室の全ての撮像装置及びスマートグラス88は仮想ルームと対応付けられる例として説明する。
手術室には、患者のバイタル、医療機器の動作状態等をモニターするメインユニット356が配置される。メインユニット356が本実施形態の通信端末30に相当する。手術室にある通信端末30(メインユニット356)は図1の機能に加えて、内視鏡353又は術野カメラ352の映像を受信する機能も備えていてもよい。通信端末30は受信した広視野画像を含む映像をディスプレイ306に表示できるし、情報処理システム50に通信端末30の拠点の映像として送信することができる。操作パネル357は各種操作を受け付ける入力インターフェースであって、医療従事者が手術室にある機器を、操作パネル357を介して操作できるようにしてもよい。また、内視鏡353、術場カメラ351及び術野カメラ352は通信端末30を介さずに直接、情報処理システム50と通信してもよい。このように、複数の撮像装置10を同じ仮想ルームに対応付けることができるため、遠隔拠点のユーザは拠点Aの現場の様々なシーンを切り取った広視野画像の録画を要求することができる。例えば、患者の体内を撮像した映像を録画したい場合には内視鏡353に対応する撮像装置の映像に対して録画要求を送信し、手術室全体の状況を録画したい場合には術場カメラ351に対応する撮像装置の映像に対して録画要求を送信することができる。
また、通信端末30は電子カルテシステムの機能を備えていてもよいし、電子カルテシステムと通信する機能を備えていてもよい。通信端末30はディスプレイ306に電子カルテの情報を表示してもよい。また、ストレージ90が電子カルテシステムであってもよい。このような場合に、録画要求に応じて録画した広視野画像(及び関連付けられた視点情報)の録画データは、関連付け処理部53によって患者の電子カルテと関連付けて保存されてもよい。また、ストレージ90の保存場所が示すフォルダは、患者又は手術ごとに分類されていてもよい。また、仮想ルーム情報記憶部5002には、患者又は手術内容を示す情報が関連付けて記憶されていてもよい。このようにすることで、通信端末30の閲覧画面に常に患者又は手術に関する情報を表示し続けることができる。
図39は、遠隔医療の場合において、現在の所定領域画像を表示中に同じ視点の過去の所定領域画像を表示する画像閲覧画面を示す図である。図39に示すように、通信端末30では、表示制御部33が、図39に示すように、第二の画像欄411に過去の広視野画像における所定領域である所定領域画像を表示させる。この場合、表示制御部33は、第一の画像欄211で表示させている所定領域画像の表示に用いられている視点情報を利用して、第一の画像欄211で表示させている所定領域画像と同じ視点である所定領域の所定領域画像を表示させる。これにより、同じ手術の部位の状態が現在と過去で比較し易くなる。
<実施形態の主な効果>
以上説明したように、本実施形態の通信システムは、撮像場所がほぼ同じで撮像時間が異なる複数の広視野画像を表示する場合に、各広視野画像における所定領域を考慮して表示させることで、ユーザが比較しやすいように表示することができるという効果を奏する。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、図13などの構成例は、情報処理システム50、撮像装置10、及び、通信端末30による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方又は名称によって本願発明が制限されることはない。情報処理システム50、撮像装置10、通信端末30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサ、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、又は従来の回路モジュール等のデバイスを含むものとする。
また、上述の装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理システム50は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワーク、共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
さらに、情報処理システム50は、開示された処理ステップ、例えば図26、図27,図28,図34等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム50が有する複数の情報処理装置によって実行され得る。また、情報処理システム50は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
1a、1b 通信システム
10 撮像装置
30 通信端末(「表示端末」ともいう)
31 通信部
32 受付部
33 表示制御部
50 情報処理システム
51 通信部
306 ディスプレイ(表示部の一例)
特開2006-42249号公報

Claims (10)

  1. 広視野画像を表示画面に表示する表示端末であって、
    所定の場所で第1の日時に撮像されることで得られた第1の広視野画像の所定領域である第1の所定領域画像を前記表示画面に表示させ、前記所定の場所で前記第1の日時とは異なる第2の日時に撮像されることで得られた第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる表示制御部、
    を有する表示端末。
  2. 請求項1に記載の表示端末であって、
    前記表示画面に表示されている前記第1の所定領域画像に対する仮想的な視点の移動を受け付ける受付部を有し、
    前記表示制御部は、前記受付部によって受け付けられた前記仮想的な視点の移動による変更後の前記所定領域に合わせて前記第2の所定領域画像を変更表示させる、
    表示端末。
  3. 請求項1に記載の表示端末であって、
    前記表示画面に表示されている前記第2の所定領域画像に対する仮想的な視点の移動を受け付ける受付部を有し、
    前記表示制御部は、前記受付部によって受け付けられた前記仮想的な視点の移動による変更後の前記所定領域に合わせて前記第1の所定領域画像を変更表示させる、
    表示端末。
  4. 前記第1の日時に撮像された前記所定の場所と、前記第2の日時に撮像された前記所定の場所は、同じ位置又は所定距離の範囲内の位置である、請求項1に記載の表示端末。
  5. 前記第1の広視野画像は現在撮像中の画像であり、前記第2の広視野画像は録画された過去の画像である、請求項1に記載の表示端末。
  6. 前記第1の広視野画像及び前記第2の広視野画像は、録画された過去の画像である、請求項1に記載の表示端末。
  7. 広視野画像を配信する情報処理システムと、前記配信された広視野画像を受信して表示する表示端末と、を有する通信システムであって、
    前記情報処理システムは、
    所定の場所で異なる日時に撮像されることで得られた第1の広視野画像及び第2の広視野画像を配信し、
    前記表示端末は、
    前記第1の広視野画像における所定領域である第1の所定領域画像を表示画面に表示させ、前記第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる、
    通信システム。
  8. 広視野画像を表示画面に表示する表示端末が実行する表示方法であって、
    所定の場所で第1の日時に撮像されることで得られた第1の広視野画像の所定領域である第1の所定領域画像を前記表示画面に表示させ、前記所定の場所で前記第1の日時とは異なる第2の日時に撮像されることで得られた第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる、
    表示方法。
  9. 広視野画像を配信する情報処理システムと、前記配信された広視野画像を受信して表示画面に表示する表示端末と、を有する通信システムが実行する通信方法であって、
    前記情報処理システムは、
    所定の場所で異なる日時に撮像されることで得られた第1の広視野画像及び第2の広視野画像を配信し、
    前記表示端末は、
    前記第1の広視野画像における所定領域である第1の所定領域画像を前記表示画面に表示させ、前記第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる、
    通信方法。
  10. コンピュータに、広視野画像を表示画面に表示させるプログラムであって、
    前記コンピュータに、所定の場所で第1の日時に撮像されることで得られた第1の広視野画像の所定領域である第1の所定領域画像を前記表示画面に表示させ、前記所定の場所で前記第1の日時とは異なる第2の日時に撮像されることで得られた第2の広視野画像の前記所定領域に係る第2の所定領域画像を前記表示画面に表示させる、
    プログラム。
JP2023156333A 2022-11-30 2023-09-21 表示端末、通信システム、表示方法、通信方法、及びプログラム Pending JP2024079567A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/522,269 US20240179267A1 (en) 2022-11-30 2023-11-29 Display terminal, communication system, and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022191974 2022-11-30

Publications (1)

Publication Number Publication Date
JP2024079567A true JP2024079567A (ja) 2024-06-11

Family

ID=

Similar Documents

Publication Publication Date Title
JP6075066B2 (ja) 画像管理システム、画像管理方法、及びプログラム
JP2020150330A (ja) 画像通信システム、撮像装置、モード切替方法、プログラム
JP2014112302A (ja) 所定領域管理システム、通信方法、及びプログラム
JP2021039468A (ja) 撮影装置、通信システム、通信方法およびプログラム
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
JP2022057771A (ja) 通信管理装置、画像通信システム、通信管理方法及びプログラム
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
US20230308762A1 (en) Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium
US20230269482A1 (en) Information processing system, communication system, and image sharing method
TWI522725B (zh) 可與行動裝置連接之相機,及其操作方法
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
JP2024079567A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2024079570A (ja) 表示端末、通信システム、情報処理システム、表示方法、情報処理方法、通信方法、及びプログラム
US20240007610A1 (en) Display terminal, communication system, display method, and communication method
JP2023184430A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2023140923A (ja) 表示端末、情報処理システム、通信システム、表示方法、情報処理方法、通信方法、及びプログラム
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
US20240179267A1 (en) Display terminal, communication system, and display method
US20240179274A1 (en) Display terminal, communication system, display method, communication method, and recording medium
JP2023121637A (ja) 情報処理システム、通信システム、画像送信方法、プログラム
JP2023137080A (ja) 表示端末、表示方法、撮像装置、撮影方法、情報処理システム、情報処理方法、通信システム、通信方法、及びプログラム
JP2024033276A (ja) 通信システム、情報処理システム、動画作成方法、プログラム
JP2023140702A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2023168896A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム