JP2024033276A - 通信システム、情報処理システム、動画作成方法、プログラム - Google Patents
通信システム、情報処理システム、動画作成方法、プログラム Download PDFInfo
- Publication number
- JP2024033276A JP2024033276A JP2022136774A JP2022136774A JP2024033276A JP 2024033276 A JP2024033276 A JP 2024033276A JP 2022136774 A JP2022136774 A JP 2022136774A JP 2022136774 A JP2022136774 A JP 2022136774A JP 2024033276 A JP2024033276 A JP 2024033276A
- Authority
- JP
- Japan
- Prior art keywords
- video
- communication terminal
- information
- viewpoint
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 525
- 230000010365 information processing Effects 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 title claims description 87
- 238000003384 imaging method Methods 0.000 claims abstract description 339
- 239000002131 composite material Substances 0.000 claims description 31
- 238000010397 one-hybrid screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 76
- 238000003860 storage Methods 0.000 description 149
- 238000012545 processing Methods 0.000 description 67
- 230000006870 function Effects 0.000 description 50
- 238000007726 management method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 38
- 230000005540 biological transmission Effects 0.000 description 35
- 239000004984 smart glass Substances 0.000 description 32
- 238000009826 distribution Methods 0.000 description 20
- 230000004044 response Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 7
- 239000013256 coordination polymer Substances 0.000 description 7
- 238000010276 construction Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000004566 building material Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】異なる種類の注目点に関する複数の注目点動画を並列に再生する通信システムを提供すること。【解決手段】本発明は、広範囲の視野角を有する広視野画像を撮像可能な撮像装置と、該撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムとを備える通信システムであって、前記情報処理システムは、前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、複数の前記注目点動画が並列に再生される前記混成動画の画面情報を前記通信端末に送信する通信部と、を有する。【選択図】図30
Description
本発明は、情報処理システム、通信システム、動画作成方法、及びプログラムに関する。
一方の拠点から1つ以上の他の拠点にリアルタイムに画像や音声を送信し、遠隔地にいるユーザー同士で画像や音声を用いた遠隔コミュニケーションを行う通信システムが知られている。この画像として、通常の画角では確認しきれないような箇所も含む撮像範囲として例えば360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)を含む広い撮像範囲で撮像された広い視野角を有する広視野の画像が知られており、ユーザーは通信端末を操作して通信端末の表示画面に表示された広視野画像の一部の画像について、仮想的な視点を変更することで任意の仮想的な視点から広視野画像の一部の領域を見ることができる。
広視野画像を効率的に閲覧させる技術が知られている(例えば、特許文献1参照。)。特許文献1には、広視野画像において複数の視点の画像を同時に再生する技術が開示されている。
しかしながら、従来の技術では、異なる種類の注目点に関する複数の注目点動画を並列に再生していないという問題があった。例えば、定点、任意の対象物、又は、他者の閲覧視点の2つ以上を注目点として、複数の注目点動画を並列に再生することが行われていない。
本発明は、上記課題に鑑み、異なる種類の注目点に関する複数の注目点動画を並列に再生する通信システムを提供することを目的とする。
上記課題に鑑み、本発明は、広範囲の視野角を有する広視野画像を撮像可能な撮像装置と、該撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムとを備える通信システムであって、前記情報処理システムは、前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、複数の前記注目点動画が並列に再生される前記混成動画の画面情報を前記通信端末に送信する通信部と、を有する。
本発明は、異なる種類の注目点に関する複数の注目点動画を並列に再生する通信システムを提供することができる。
以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムが行う動画作成方法について説明する。
<遠隔コミュニケーションの一例>
図1は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図1では、3つの拠点A~Cが情報処理システム50を介して通信している。拠点の数は一例に過ぎず、2拠点でも、4拠点以上でもよい。
図1は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図1では、3つの拠点A~Cが情報処理システム50を介して通信している。拠点の数は一例に過ぎず、2拠点でも、4拠点以上でもよい。
拠点Aは一例として、工事現場である。拠点B,Cはどこでもよいが、例えばオフィス等、広視野画像を通信可能な場所であればよい。拠点Aには、例えば全天球画像と言われる広視野画像や、上下方向又は水平方向に180~360度といった周囲の広角な広視野画像を撮像可能な撮像装置10が配置されている。以下ではこのような広角な画像を単に広視野画像という。拠点A~Cには広視野画像を閲覧する各種の通信端末30A~30Cが配置されている。なお、以下では、通信端末30A~30Cのうち任意の通信端末を「通信端末30」と称する。
工事現場は、各場所で様々な工事が作業員により進められており、広視野画像によりその全体を撮像しつつ、着目したい工事や作業があれば各拠点A~Cのユーザーが仮想的な視点を任意に変えて確認できる。視点とは、広視野画像全体のうちディスプレイ等の表示画面に表示される所定領域の中心位置又は範囲である。
撮像装置10は三脚86に取り付けられたり、ジンバル87を介してアーム85に取り付けられたりする。工事現場には中継装置(図1では通信端末30Aが中継装置を兼ねている)が設置されており、通信端末30Aが有線又は無線で撮像装置10から受信した広視野画像を、情報処理システム50に送信する。通信端末30Aは、広視野画像の閲覧用の端末にもなり得る。通信端末30Aにカメラ9が接続されており(内蔵していてもよい)、カメラ9が撮像した通常の画角の画像(全天球画像を撮像できてもよい)も情報処理システム50に送信可能である。また、ユーザーA(例えば作業員でもよい)はスマートグラス88を装着でき、スマートグラス88が撮像する通常の画角の画像(全天球画像を撮像できてもよい)が情報処理システム50に送信される場合がある。スマートグラス88とは、視野を確保しながら、インターネット経由で取得した情報をディスプレイに表示する情報端末である。スマートグラス88は任意の拠点に配置されていてよい。
拠点Bには通信端末30Bの一例としてPC(Personal Computer)やスマートフォン等が配置されている。また、通信端末30Bは情報処理システム50と通信できる装置であればよく、これらの他、タブレット端末、PDA(Personal Digital Assistant)、電子黒板、プロジェクタ等でもよい。通信端末30Bにカメラが内蔵又は接続されていてもよい。
拠点Cには通信端末30Cの一例としてPC、スマートフォン、VRゴーグル89等が配置され、図1では、通信端末30Cにカメラ8が内蔵又は接続されている。VRゴーグル89とは、コンピュータ上の人工的な世界や全天球画像を、首や身体を動かした方向に合わせて表示する情報端末である。カメラ8は広角用でも通常画角用でもよい。また、通信端末30Cは情報処理システム50と通信できる装置であればよく、タブレット端末、PDA、電子黒板、プロジェクタ等でもよい。VRゴーグル89は任意の拠点に配置されていてよい。
本実施形態では、撮像装置10、及び、通信端末30が仮想ルームという通信グループで管理される。撮像装置10は仮想ルームに対応付けられており、通信端末30(通信端末30を操作するユーザー)はこの仮想ルームに入室することで、撮像装置10が送信する広視野画像を受信し、ユーザーが広視野画像を閲覧できる。スマートグラス88やVRゴーグル89も仮想ルームに対応付けることが可能である。カメラ8,9は、通信端末30と一体に仮想ルームに入室する。
拠点A~CのユーザーA~Cは任意に広視野画像の視点を変更できる。このため、リアルタイムに広視野画像を閲覧する各ユーザーA~Cはそれぞれ異なる視点を見ている可能性が生じて、意思の疎通が困難になるおそれがある。そこで、本実施形態では、例えば拠点Bの通信端末30の視点を他の拠点A、Cに通信端末30に送信するなどして、任意の拠点の通信端末30において設定されている仮想的な視点の情報を他の拠点の通信端末30でも共有できるようにする。共有の概略を説明する。以下では、説明のため、拠点Bのユーザーが指定した視点を拠点A、Cのユーザーに共有するものとする。
(1) 通信端末30A~30Cは撮像装置10が撮像する広視野画像(第一の広視野画像の一例)を共有している。ユーザーBが通信端末30Bで任意の視点で閲覧した状態で広視野画像の撮像を要求すると、通信端末30B(第一の通信端末の一例)が視点情報と撮像要求を情報処理システム50に送信する。
(2) 情報処理システム50は撮像要求に応じて、視点情報を指定して撮像装置10に撮像(静止画でも動画でもよい)を要求する。
(3) 撮像装置10は撮像要求に応じて撮像し、広視野画像(第二の広視野画像の一例)と視点情報を情報処理システム50から通知されたURL(保存先情報の一例。図1では、ストレージ90上の保存場所を示す。)に関連付けて保存する。ストレージ90に保存された広視野画像は任意の通信端末30がダウンロードして表示可能である。
(4) 情報処理システム50はURLを通信端末30Bに送信する。
(5)また、情報処理システム50は、自動で又はユーザーBの要求に応じて、URLを同じ仮想ルームに入室中の通信端末30A、30C(第二の通信端末の一例)に送信する。
(6) 通信端末30A、30CはURLに接続して視点情報と広視野画像を受信し、視点情報で特定される広視野画像の視点を画像欄の中央に一致させるように設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。
拠点Aのユーザーの視点を拠点B、Cのユーザーに共有する場合、拠点Cのユーザーの視点を拠点A、Bのユーザーに共有する場合も同様である。
以上のように、本実施形態の通信システム1は、広視野画像が配信された場合でも、各拠点で着目していた所定領域が表示されるように撮像された広視野画像に対する視点の移動を指示しなくとも、視点情報が共有されるので、ユーザーの意思疎通が容易になる。
(3)で撮像装置10が広視野画像そのものを情報処理システム50に送信し、(4)で情報処理システム50が広視野画像を通信端末30A~30Cに送信することもできる。
なお、図1では、工事現場に撮像装置10が配置される例を説明したが、VR(Virtual Reality)教育、イベント配信、リモート接客、遠隔医療等にも本実施形態を適用可能である。VR教育では、撮像装置10が研究室等の現場の拠点に配置され、遠隔拠点から学生が任意に視点を変えて黒板、器具、サンプル、実験結果等を閲覧できる。イベント配信では、撮像装置10が現場のイベントの開催場所に配置され、遠隔拠点から観客等のイベント参加者がオンラインで任意に視点を変えて開催場所の様子を閲覧できる。なお、開催場所の様子は演者、出場者、発表者、イベントで説明される製品や展示物などの被写体の映像、イベントで説明される資料の映像、開催場所の状態の映像等を含む。なお、イベントの開催場所は屋内であっても屋外であってもよく、スポーツ、コンサート、演劇等の会場も含まれる。リモート接客では、例えば旅行代理店の接客に適用する場合には、撮像装置10が現場の旅先に配置され、遠隔拠点から顧客が任意に視点を変えて旅程を検討できる。遠隔医療では、撮像装置10が手術室等の医療現場に配置され、遠隔拠点から医師、学生、医療機器の関係者等が任意に視点を変えて医療現場で医療行為を行っている医師の動作、看護師の動作、器具の配置、患者の状態、バイタル等を閲覧できる。
画像が撮像される拠点は、これらに限られず、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧側の拠点のユーザー(閲覧者)が遠隔拠点の現場の状況を把握したいニーズが存在する空間であればよい。
<用語について>
テナントとは、サービスの提供者(本実施形態では情報処理システム)から画像配信サービスを受けることを契約する際の契約単位に紐づくユーザーのグループを示しており、契約した企業、組織、個人等である。そのため、テナントは、ユーザーグループとも言い換えることができる。ユーザーは一例としてテナントに所属しているが、ユーザー個人でサービスに加入してもよい。テナント(ユーザーグループ)には、ユーザーの他、撮像装置、仮想ルーム等が登録されている。
テナントとは、サービスの提供者(本実施形態では情報処理システム)から画像配信サービスを受けることを契約する際の契約単位に紐づくユーザーのグループを示しており、契約した企業、組織、個人等である。そのため、テナントは、ユーザーグループとも言い換えることができる。ユーザーは一例としてテナントに所属しているが、ユーザー個人でサービスに加入してもよい。テナント(ユーザーグループ)には、ユーザーの他、撮像装置、仮想ルーム等が登録されている。
拠点とは、活動のよりどころとする場所をいう。本実施形態では、拠点の例として会議室を例にする。会議室は、主に会議に使用することを目的に設置された部屋のことである。会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり等ともいう。
デバイスとは、PCやスマートフォン等の汎用的な通信端末30でない装置をいい、撮像装置、又は、広視野画像の閲覧装置である。本実施形態では、撮像装置10、スマートグラス88、及び、VRゴーグル89が挙げられる。
視点情報とは、ディスプレイの表示画面に表示する広視野画像のどの所定領域をディスプレイの表示画面に表示するかを特定するパラメータ情報である。本実施形態ではディスプレイの表示画面に表示される広視野画像の中心に対応する動径、極角、方位角を視点情報の一例として説明するが、対角頂点の座標など他のパラメータ情報で特定されてもよい。
・広視野画像
360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)を含む広い撮像範囲で撮像された広い視野角を有する画像である。広視野画像は、所定の表示方法においてディスプレイの表示画面(広視野画像が表示される領域)に一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向360度(又は180度)、左右方向360度の視野分の表示範囲を持つが、上下360度未満、左右360度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。また、上下方向及び左右方向についてそれぞれ、160度以上の視野分の表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイの表示画面に一度に表示できる画像であっても、所定の表示方法に切り替えたり、変更したりすることによって、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像を例に説明するが、全方位画像、半球画像、3Dパノラマ画像、2Dパノラマ画像、VR(Virtual Reality)画像も広視野画像に含まれる。広視野画像は、例えばキューブマッピング形式、ドームマスター形式等の画像であってもよい。また、全天球画像はエクイレクタングラー(equirectangular)形式以外の形式であってもよい。
360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)を含む広い撮像範囲で撮像された広い視野角を有する画像である。広視野画像は、所定の表示方法においてディスプレイの表示画面(広視野画像が表示される領域)に一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向360度(又は180度)、左右方向360度の視野分の表示範囲を持つが、上下360度未満、左右360度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。また、上下方向及び左右方向についてそれぞれ、160度以上の視野分の表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイの表示画面に一度に表示できる画像であっても、所定の表示方法に切り替えたり、変更したりすることによって、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像を例に説明するが、全方位画像、半球画像、3Dパノラマ画像、2Dパノラマ画像、VR(Virtual Reality)画像も広視野画像に含まれる。広視野画像は、例えばキューブマッピング形式、ドームマスター形式等の画像であってもよい。また、全天球画像はエクイレクタングラー(equirectangular)形式以外の形式であってもよい。
通常の画角で撮像された画像は、広視野画像でない画像であるが、本実施形態では、広視野画像でない画像(平面画像)として説明する。
通信グループとは、広視野画像が共有される(配信される)ユーザーの集まりである。通常の空間では、各ユーザーが同じ部屋に入室した場合に各ユーザーにより広視野画像が共有可能となるという意味で、通信グループを仮想的な部屋(仮想ルーム)という用語で説明する。ここでの仮想とはネットワークを介した情報処理で実現されるという意味である。
各拠点のユーザーは遠隔地同士で遠隔コミュニケーションを行う。遠隔コミュニケーションは物理的に離れたところにいる相手と、ITツールを活用することによって画像や音声を通じた意思疎通を図ることを言う。必ずしも双方向通信である必要はない。したがって、仮想ルームを仮想会議室と称してもよい。
・VR教育、リモート接客
VR教育は、眼前に非現実の空間をもたらし、リアルさで見るものを没入させるVR(Virtual Reality)を活用して子供達の関心を引き、理解を深めるための教育ツールをいう。リモート接客は、タブレットやディスプレイ越しに、ビデオ会議を利用して遠隔地にいるスタッフがユーザーに対して商品案内を行う接客をいう。
VR教育は、眼前に非現実の空間をもたらし、リアルさで見るものを没入させるVR(Virtual Reality)を活用して子供達の関心を引き、理解を深めるための教育ツールをいう。リモート接客は、タブレットやディスプレイ越しに、ビデオ会議を利用して遠隔地にいるスタッフがユーザーに対して商品案内を行う接客をいう。
閲覧視点は、閲覧者がリアルタイムに広視野画像を閲覧しながら手動で変更した視点が時系列に並べられたものである。
注目点とは、記録映像から所定領域を特定し、動画を作成するための視点である。注目点の種類とは、注目点の決定方法の違いをいう。本実施形態では、定点、閲覧視点、又は、追従視点という種類を例にする。
注目点動画は、注目点を所定領域とする動画であり、混成動画は複数の注目点動画を有し、並列に再生可能な動画である。並列とは、一画面で再生可能であることをいう。一画面は、スクロールで表示可能な範囲を含む。なお、混成とは、2つ以上のものをいっしょにして、1つのもの又は集団とすることをいう。混成を合成、混在、統合などと称してもよい。
追従の対象物は有体物でも無体物でもよく、少なくとも一時的に広視野画像に写っている(可視できる)形状を有すればよい。対象物は、記録映像の最初から最後まで広視野画像の一部に常に写っていることまでは必要ない。記録映像の一部の時間で継続して写っていれば追従可能である。
<通信システムの構成例>
図2は、通信システム1の構成概略図の一例である。図1は、図2の通信システム1を現場との遠隔コミュニケーションに適用した一例である。通信システム1は、複数の拠点間において、撮像装置10が撮像した広視野画像や通常画角の画像を双方向に送受信するシステムであり、ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザーが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置10が撮像する全天球画像が配信される。通信システム1は、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
図2は、通信システム1の構成概略図の一例である。図1は、図2の通信システム1を現場との遠隔コミュニケーションに適用した一例である。通信システム1は、複数の拠点間において、撮像装置10が撮像した広視野画像や通常画角の画像を双方向に送受信するシステムであり、ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザーが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置10が撮像する全天球画像が配信される。通信システム1は、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
図2に示されているように、通信システム1では、拠点Aに配置された撮像装置10、通信端末30A、情報処理システム50、及び複数の拠点(拠点B,C)のそれぞれに配置された通信端末30B,30Cが通信可能に接続されている。
撮像装置10が直接、通信ネットワークNに接続できる通信機能を有している場合、中継装置(例えばルーター等)としての通信端末30Aは不要である。この場合、通信端末30Aは、撮像装置10を伴わずに通信ネットワークNに接続される。しかし、拠点Aに通信端末30Aが配置される場合、通信端末30Aが中継装置を兼ね、通信端末30B,30Cと同様にユーザーAが広視野画像を閲覧できる。なお、拠点A以外の拠点に撮像装置10がさらに配置されていてもよいし、拠点Aに複数の撮像装置10が配置されていてもよい。
各通信端末30及び情報処理システム50は、通信ネットワークNを介して通信することができる。通信ネットワークNは、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワークNには、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
撮像装置10は、後述するように、被写体や風景等を撮像して元になる二つの半球画像を得ることで、全天球画像を撮像可能なデジタルカメラである。撮像装置10によって得られる広視野画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像と共に音声を含む映像であってもよい。
通信端末30は、各拠点のユーザーによって使用されるPC等のコンピュータである。通信端末30は、自拠点で撮像された画像、他の拠点から配信された広視野画像(静止画又は動画)及び通常の画角の画像を表示する。通信端末30は、例えば、通信ネットワークNを介して、撮像装置10によって撮像された広視野画像を取得する。また、通信端末30には、OpenGL ES等の画像処理を実行するソフトウェアがインストールされており、広視野画像の一部の領域を特定する視点情報に基づく画像表示ができる。なお、OpenGL ESは画像処理を実行するソフトウェアの一例であって、他のソフトウェアであってもよい。また、画像処理を実行するソフトウェアをインストールしていなくても、外部から受信したソフトウェアによって画像処理を実行してもよいし、外部のソフトウェアによって実行される画像処理結果を受信することで画像表示を行ってもよい。すなわち、通信端末30は、広視野画像の一部の所定領域を表示可能である。
通信端末30はユーザーの操作に応じて広視野画像の表示範囲に対する視点を任意に変更できる。通信端末30は、タッチパネル、方向ボタン、マウス、キーボード、タッチパッドなどに対するユーザー操作入力(キー入力、ドラッグ、スクロール等を含む)に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示できる。さらに、通信端末30が例えばVRゴーグル等のユーザーが装着する通信端末の場合に、装着したユーザーの動きの変更に応じて変更された通信端末30の姿勢情報を検知し、検知した姿勢情報に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示してもよい。
通信端末30Aは、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮像装置10から取得した広視野画像を、情報処理システム50を介して、他の拠点の通信端末30に配信する。撮像装置10及び通信端末30Aの接続は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。拠点Aに複数の通信端末30Aが配置されてもよい。
拠点Aのユーザーがスマートグラス88を装着し、スマートグラス88が通信ネットワークに接続する場合もある。この場合、スマートグラス88が撮像した画像は通信ネットワークを介して情報処理システム50に送信され、情報処理システム50が各拠点の通信端末30に配信することができる。
通信端末30Bは、ユーザーBが存在する拠点Bに配置されており、通信端末30Cは、ユーザーCが存在する拠点Cに配置されている。拠点B,Cに複数の通信端末30B,30Cが配置されてもよい。なお、通信端末30Bや通信端末30CはユーザーBやユーザーCがそれぞれ持ち歩くことができてもよい。
なお、拠点A~Cの通信端末30A~30Cは撮像部としての一例のカメラ8、9を内蔵していたり外付けしたりすることが可能であり、通信端末30A~30Cは、自端末のカメラ8、9等によって自拠点が撮像された画像を他拠点に配信することができる。また、拠点A~Cには任意のデバイスが配置されてよい。
図2に示す各端末及び装置(通信端末30及び撮像装置)、並びにユーザーの配置は一例であり、他の例であってもよい。また、通信端末30は、PCに限られず、例えば、タブレット端末、スマートフォン、PDA、ウェアラブル端末(スマートグラスやVRゴーグルを含む)、プロジェクタ、電子黒板(相互通信が可能な電子式の黒板機能を有する白板)又は自律走行ロボット等であってもよい。通信端末30は、Webブラウザ又は画像配信サービスに専用のアプリケーションが動作するコンピュータであればよい。
さらに、撮像装置10がディスプレイを有する場合、他の拠点から配信された画像を表示する構成であってもよい。
情報処理システム50は、一台以上の情報処理装置を有している。情報処理システム50は、各拠点間の撮像装置10、通信端末30の通信を管理及び制御したり、送受信される広視野画像を管理したりする。情報処理システム50は、広視野画像の配信を行う画像配信サービスを提供するために必要な機能を利用できるプラットフォームを提供する。このプラットフォームを、画像配信サービスを提供したい個人や企業等のサービス提供者が、契約により利用できるようにしてもよい。以下、画像配信サービスを受けるテナントと区別するため、契約したプラットフォームを利用して画像配信サービスをユーザーに提供するサービス提供者をプラットフォーム契約者という。
このため、プラットフォームとして情報処理システム50がAPI(Application Programming Interface)を公開し、プラットフォーム契約者がこのAPIを使用して様々な画像配信サービスを提供できるようにしてもよい。プラットフォーム契約者は、主に通信端末30が表示する画面やAPIの呼出しなどを行うアプリケーション等のソフトウェアを開発すればよく、画像配信等のAPIによって提供される機能を一から開発する必要がない。
情報処理システム50は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報処理システム50の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
ストレージ90は、撮像した広視野画像等のデータを記憶させる記憶装置である。ストレージ90は、情報処理システム50と別体となった外部ストレージ(クラウド上に配置されたストレージでもよいしオンプレミスに配置されたストレージでもよい)でもよいし、情報処理システム50に含まれるストレージでもよい。
<ハードウエア構成例>
続いて、図3、図4を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図3、図4に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
続いて、図3、図4を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図3、図4に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
<<撮像装置のハードウエア構成>>
まず、図3を用いて、撮像装置10のハードウエア構成を説明する。図3は、撮像装置10のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は1つであっても、二つ以上あってもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
まず、図3を用いて、撮像装置10のハードウエア構成を説明する。図3は、撮像装置10のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は1つであっても、二つ以上あってもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
図3に示されているように、撮像装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102b(以下区別する必要のないときは、レンズ102と称する。)、及び各レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット101が広角レンズを2つ備える構成はあくまで一例であって、1つだけ備えていてもよいし、3つ以上備えていてもよい。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像(広視野画像の一例)のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮像装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮像装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザーは、操作部115を操作することで、種々の撮像モードや撮像条件等を入力する。
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
近距離通信回路117は、撮像装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から撮像装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。また、ジャイロセンサ119は、撮像装置10の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。さらに、加速度センサ120は、三軸方向の加速度を検出するセンサである。撮像装置10は、加速度センサ120が検出した加速度に基づいて、自装置(撮像装置10)の姿勢(重力方向に対する角度)を算出する。撮像装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。
ネットワークI/F121は、ルーター等を介して、インターネット等の通信ネットワークNを利用したデータ通信を行うためのインターフェースである。
また、撮像装置10のハードウエア構成はここに示すものに限られず、撮像装置10の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
<<通信端末のハードウエア構成>>
図4は、通信端末30及び情報処理システム50のハードウエア構成の一例を示す図である。まず、通信端末30について説明する。通信端末30のハードウエア構成は、300番台の符号で示されている。通信端末30は、コンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HDD(Hard Disk Drive)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319、近距離通信回路320及びカメラ321を備えている。
図4は、通信端末30及び情報処理システム50のハードウエア構成の一例を示す図である。まず、通信端末30について説明する。通信端末30のハードウエア構成は、300番台の符号で示されている。通信端末30は、コンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HDD(Hard Disk Drive)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319、近距離通信回路320及びカメラ321を備えている。
これらのうち、CPU301は、通信端末30全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HDD304は、プログラムやデータ等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHDD304に対する各種データの読み出し又は書き込みを制御する。ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ306は、表示部の一例である。なお、ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ又はプリンタ等である。ネットワークI/F309は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。バスライン310は、図4に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。なお、HDD304やHDDコントローラ305は、それぞれプログラムやデータ等を記憶するストレージの一例であって、それぞれSSD(Solid State Drive)やSSDコントローラであってもよい。
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311及びポインティングデバイス312のみならず、タッチパネル又は音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW313は、DVD-R又はBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出し又は書き込み(記憶)を制御する。マイク318は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。近距離通信回路320は、NFC、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行うための通信回路である。カメラ321は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク318、スピーカ319及びカメラ321は、通信端末30の内蔵型ではなく、外付けの装置であってもよい。
また、通信端末30のハードウエア構成はここに示すものに限られず、通信端末30の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
<<情報処理システムのハードウエア構成>>
図4に示すように、情報処理システム50の各ハードウエア構成は、括弧内の500番台の符号で示されている。情報処理システム50は、コンピュータによって構築されており、図4に示されているように、通信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
図4に示すように、情報処理システム50の各ハードウエア構成は、括弧内の500番台の符号で示されている。情報処理システム50は、コンピュータによって構築されており、図4に示されているように、通信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
また、情報処理システム50のハードウエア構成はここに示すものに限られず、情報処理システム50の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信端末30は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。
<広視野画像、及び、視点情報について>
以下では、図5~図12を用いて広視野画像(全天球画像)の生成方法を説明する。
以下では、図5~図12を用いて広視野画像(全天球画像)の生成方法を説明する。
まず、図5を用いて、撮像装置10の外観を説明する。撮像装置10は、全天球(360°)画像の元になる撮像画像を得るためのデジタルカメラである。図5(a)は撮像装置の左側面図であり、図5(b)は撮像装置の正面図であり、図5(c)は撮像装置の平面図である。この外観図は撮像装置10のあくまで一例であって、他の外観であってもよい。
図5(a)に示されているように、撮像装置10は、人間が片手で持つことができる大きさであるが、この形状はあくまで一例であって、他の形状であってもよい。また、図5(a),図5(b),図5(c)に示されているように、撮像装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮像が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、図5(b)に示されているように、撮像装置10の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。なお、上記したように撮像素子は1つだけであってもよいし、3つ以上備えていてもよい。
次に、図6を用いて、撮像装置10の使用状況を説明する。図6は、撮像装置の使用イメージ図である。撮像装置10は、図6に示されているように、例えば、撮像装置10の周りの被写体を撮像するために用いられる。この場合、図5に示されている撮像素子103a及び撮像素子103bによって、それぞれ撮像装置10の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
次に、図7及び図8を用いて、撮像装置10で撮像された画像から全天球画像が作成されるまでの処理の概略を説明する。図7(a)は撮像装置で撮像された半球画像(前側)、図7(b)は撮像装置で撮像された半球画像(後側)、図7(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図8(a)は正距円筒射影画像で球を被う状態を示した概念図、図8(b)は全天球画像を示した図である。
図7(a)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、図7(b)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮像装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、図7(c)に示されているような正距円筒射影画像ECが作成する。
そして、撮像装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)等のソフトウェアを利用することで、図8(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、図8(b)に示されているような全天球画像(全天球パノラマ画像)CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像CEを作成してもよい。また、全天球画像CEは、静止画であっても動画であってもよい。なお、ここでは撮像装置10が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を情報処理システム50又は通信端末30が実行してもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置10又は通信端末30において、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図9乃至図10を用いて説明する。
図9は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザーの仮想的な視点の位置に相当するものである。図10(a)は、図9の立体斜視図、図10(b)は、ディスプレイに表示された場合の所定領域画像を表す図である。図10(a)は、図9に示した全天球画像CEを、三次元の立体球CSで表している。このように生成された全天球画像CEが、立体球CSであるとした場合、図9に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(図11参照)。
そして、図10(a)に示されている所定領域画像Qは、図10(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。図10(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮像方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域を位置座標(X,Y,Z)によって示してもよい。
次に、図11を用いて、所定領域情報と所定領域Tの画像の関係について説明する。図11は、所定領域情報と所定領域Tの画像との関係を示した図である。図11に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮像方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CP(x,y)となるように変更される。図11に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CP(x,y)が、所定領域情報のパラメータ(x,y)となる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CP(x,y)までの距離である。Lは、所定領域Tの任意の頂点と中心点CP(x,y)との距離である(2Lは対角線)。そして、図11では、一般的に以下の(式1)で示される三角関数が成り立つ。
なお、上記で説明した撮像装置10は、広視野画像を取得可能な撮像装置の一例であり、全天球画像は、広視野画像の一例である。ここで、広視野画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。
図12は、図11で説明した関係を球座標による三次元ユークリッド空間内の点で示した図である。ここで、図11で示した中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、図11で示した距離fに等しい。図12は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r, θ , φ)を視点情報の一例として用いて説明する。なお、視点情報は、上記したように図10で示した所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される所定領域T(所定領域画像Q)が特定できるパラメータ情報であればよく、所定領域Tの対角頂点の座標も含む。また、図11で説明した仮想カメラICの画角αを示す情報及び中心点CP(x,y)を示す情報が視点情報であってもよい。また、図11で説明した仮想カメラICの画角αを示す情報及び方位角aaを示す情報が視点情報であってもよい。また、視点情報は球座標による位置座標情報だけでなく、直交座標による位置座標情報や初期設定(デフォルト)された所定領域情報から座標の差分値等も含む。また、視点情報は図11で示したように角度や距離といった座標情報以外の情報であってもよい。また、図11や図12では所定領域Tの中心点を基準にしているが、所定領域Tの頂点のいずれかを基準としたパラメータ情報により所定領域Tを特定してもよい。なお、上記では広視野画像が全天球画像である場合を例として視点情報を説明したが、他の広視野画像の場合には、その広視野画像における所定領域Tを特定する情報が視点情報となる。また、視点情報には所定領域Tの高さや幅といったパラメータ情報や、仮想カメラICのズーム等による拡大率といったパラメータ情報が含まれていてもよい。また、図7(c)に示されているような正距円筒射影画像ECの各画素の位置を球体の表面の座標(例えば緯度、経度の2軸とした座標)と対応付けた場合に、仮想カメラICの方向と画角といったパラメータ情報を視点情報としてもよいし、緯度や経度といった情報を視点情報に含めてもよい。このように、視点情報とは、必ずしも点を示す情報に限られない。
<機能について>
続いて、図13を用いて、本実施形態に係る通信システム1の機能構成について説明する。図13は、本実施形態に係る通信システム1の機能構成の一例を示す図である。なお、図13では、図1に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
続いて、図13を用いて、本実施形態に係る通信システム1の機能構成について説明する。図13は、本実施形態に係る通信システム1の機能構成の一例を示す図である。なお、図13では、図1に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
<<撮像装置の機能構成>>
まず、図13を参照して、撮像装置10の機能構成について説明する。撮像装置10は、通信部11、受付部12、撮像処理部13、解析部14、登録要求部15、接続部16、保存処理部17、画像送信制御部18、及び、記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置10は、図3に示されているROM112等によって構築される記憶部1000を有している。
まず、図13を参照して、撮像装置10の機能構成について説明する。撮像装置10は、通信部11、受付部12、撮像処理部13、解析部14、登録要求部15、接続部16、保存処理部17、画像送信制御部18、及び、記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置10は、図3に示されているROM112等によって構築される記憶部1000を有している。
通信部11は、Wi-Fiなどの無線通信手段を利用して、通信ネットワークNに接続して、他の装置との間で各種データ又は情報の送受信を行う機能である。本実施形態では、主に、接続部16により、撮像処理部13によって取得された広視野画像を情報処理システム50に送信する形態を説明するが、通信部11が広視野画像を情報処理システム50に送信することも可能である。
受付部12は、撮像装置10に対するユーザーからの操作入力を受け付ける機能である。受付部12は、電源のオン、オフ、シャッターボタンのオン、オフ(広視野画像の送信開始又は送信停止)、タッチパネルやボタン等に対するユーザーの操作入力等を受け付ける。
撮像処理部13は、被写体や風景画像等を撮像し、撮像画像を取得する。撮像処理部13によって取得される撮像画像は、動画であっても静止画であってもよく(両方でもよく)、画像と共に音声を含んでもよい。また、撮像処理部13は、例えば、通信端末30のディスプレイ306に表示された二次元コード(図22参照)を撮像する。また、撮像処理部13が撮像画像に対して図7及び図8で説明した画像処理を実行することによって広視野画像を生成してもよい。
解析部14は、撮像処理部13によって撮像されて取得された二次元コードを解析して二次元コードに含まれる情報(撮像装置をテナントに登録するためのURL、一時的なIDとパスワード)を抽出する。
登録要求部15は、解析部14によって読み取られた二次元コードに含まれる情報を用いて、情報処理システム50のテナントに撮像装置10を登録する要求を情報処理システム50に送信する。
接続部16は、例えば近距離通信回路117によって実現され、通信端末30Aから電源供給を受けると共に、データ通信を行う機能である。
保存処理部17は、任意の拠点からの撮像要求に応じて撮像された広視野画像を、情報処理システム50から通知されたURL(例えばストレージ90等)に保存する処理を行う。
画像送信制御部18は、情報処理システム50に対する広視野画像の送信を制御する機能である。画像送信制御部18は、例えば、撮像処理部13によって取得された撮像画像を、静止画であれば定期的又はユーザー操作に応じて、動画であれば所定のFPS(Flame Per Second)で情報処理システム50に対して送信する。画像送信制御部18は通信部11と接続部16の切り替えも行う。
記憶・読出部19は、記憶部1000に各種データを記憶させ、又は記憶部1000から各種データを読み出す機能である。また、記憶部1000は、撮像処理部13によって取得された撮像画像データ、撮像装置ID等を記憶している。なお、記憶部1000に記憶されている撮像画像データは、撮像処理部13によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、情報処理システム50へ送信されたデータが削除される構成であってもよい。
なお、撮像装置10では、通信システム1に対応するためのアプリケーション(プラグインともいう)がインストールされている。このアプリケーションは、撮像装置10を仮想ルームに対応付ける際や、外部からの制御を受け付けたりするために使用される。図13に示した機能の一部(例えば登録要求部15)はこのアプリケーションによるものが含まれる。なお、通信システム1に対応するためのアプリケーションをネットワーク上に配置し、撮像装置10が有するWebブラウザ等によってアプリケーションにアクセスすることで同様の機能を実現させてもよい。
<<通信端末の機能構成>>
続いて、図13を用いて、通信端末30の機能構成について説明する。通信端末30は、通信部31、受付部32、表示制御部33、撮像部34、記憶・読出部35、及び接続部36を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラム(Webブラウザでも専用のアプリケーションでもよい)に従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末30は、図4に示されているROM302又は記録メディア315によって構築される記憶部3000を有している。
続いて、図13を用いて、通信端末30の機能構成について説明する。通信端末30は、通信部31、受付部32、表示制御部33、撮像部34、記憶・読出部35、及び接続部36を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラム(Webブラウザでも専用のアプリケーションでもよい)に従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末30は、図4に示されているROM302又は記録メディア315によって構築される記憶部3000を有している。
通信部31(第二の通信部の一例)は、例えばネットワークI/F309によって実現され、通信ネットワークNに接続し、他の装置との間で各種データ又は情報の送受信を行う機能である。
受付部32は、通信端末30への各種選択又は操作入力を受け付ける機能である。表示制御部33は、通信端末30のディスプレイ306に広視野画像や通常の画角の画像、及び、各種画面を表示させる機能である。表示制御部33は、例えば、情報処理システム50から送信された二次元コードを、ディスプレイ306に表示させる。二次元コードは、例えば、QRコード(登録商標)、DataMatrix(DataCode)、MaxiCode又はPDF417等である。二次元コードは、バーコードでもよい。
接続部36は、例えば近距離通信回路320によって実現され、撮像装置10に電源を供給すると共に、データ通信を行う機能である。
記憶・読出部35は、図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、又は記憶部3000から各種データを読み出す機能である。記憶部3000には、画像管理情報記憶部3001が形成される。画像管理情報記憶部3001については情報処理システム50の説明において説明する。
<<情報処理システムの機能構成>>
次に、情報処理システム50の機能構成について説明する。情報処理システム50は、通信部51、画面生成部52、関連付け処理部53、画像配信部54、認証部55、通信グループ管理部56、通信制御部57、コネクション管理部58、記憶・読出部59、API管理部60、記録部61、注目点設定受付部62、追従視点作成部63、及び、動画作成部64、を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図4に示されているROM502、HDD504又は記録メディア515によって構築される記憶部5000を有している。
次に、情報処理システム50の機能構成について説明する。情報処理システム50は、通信部51、画面生成部52、関連付け処理部53、画像配信部54、認証部55、通信グループ管理部56、通信制御部57、コネクション管理部58、記憶・読出部59、API管理部60、記録部61、注目点設定受付部62、追従視点作成部63、及び、動画作成部64、を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図4に示されているROM502、HDD504又は記録メディア515によって構築される記憶部5000を有している。
通信部51(第一の通信部の一例)は、通信ネットワークNを介して、他の装置との間で各種データ又は情報の送受信を行う機能である。
画面生成部52は通信端末30が表示する画面情報の生成を行う。通信端末30がWebアプリを実行する場合は、画面情報は、HTML、XML、CSS(Cascade Style Sheet)、及びJavaScript(登録商標)等により作成される。通信端末30がネイティブアプリを実行する場合は、画面情報は通信端末30が保持しており、表示される情報がXML等で送信される。画面生成部52は画像配信部54が配信する広視野画像等が配置される画面情報を生成する。
関連付け処理部53は、広視野画像の視点情報の関連付け及び共有に関する制御を行う。関連付け処理部53は、通信端末30から視点情報と共に撮像要求を受信した場合、撮像装置10に撮像を要求して取得した広視野画像と視点情報を関連付ける処理を行う。さらに、関連付け処理部53は、関連付けた広視野画像と視点情報を画像管理情報記憶部5001に保存する。また、関連付け処理部53は、関連付けられた該広視野画像と視点情報が保存される保存場所を示す情報として保存先情報(例えばURL)を通信端末30に送信する。なお、情報処理システム50は、通信端末30から視点情報と撮像要求を同時に受信する必要はなく、別々に受信した上で関連付ける処理を行ってもよい。また、URLは保存場所を示す保存先情報の一例であって、URI等の他の形式であってもよい。
画像配信部54は、仮想ルームに入室中のユーザーが操作する通信端末30に、同じ仮想ルームに対応付けられている撮像装置10が送信した広視野画像等の画像を配信する。通信端末30が有するカメラ又は接続されたカメラ8,9が撮像した通常の画角の画像についても同様に配信される。なお、配信される画像はストリーミング映像、動画、静止画等を含む。
認証部55は、通信部51によって受信された認証要求に基づいて、要求元の認証を行う機能である。認証部55は、例えば、通信部51によって受信された認証要求に含まれている認証情報(ユーザーID及びパスワード)が予め保持する認証情報と一致するか否かにより、ユーザーを認証する。なお、認証情報は、ICカードのカード番号、顔、指紋や声紋などの生体認証情報、デバイスID、パスコード、アクセストークン、セキュリティキー、チケット等でもよい。また、認証部55は、外部の認証システムやOAuthなどの認証方法で認証してもよい。また、認証部55は、ユーザーだけでなく撮像装置等のデバイスを認証してもよい。
通信グループ管理部56は、仮想ルームへの通信端末30やユーザーの入室、デバイスの対応付け等を管理する。通信グループ管理部56は、認証部55による認証が成功した場合に、ユーザーID及び通信端末30のIPアドレスを仮想ルーム情報記憶部5002に登録したり、仮想ルームに撮像装置10を対応付けたりする。
通信制御部57は、各仮想ルームに対応付けられた撮像装置10との通信の開始、確立、終了を管理する。また、通信制御部57は、通信端末30が仮想ルームに入室したり退室したりすることに応じて、広視野画像や音声を配信する通信の開始、確立、終了を管理する。
コネクション管理部は、通信端末30及び撮像装置10が情報処理システム50と確立している通信(コネクション)を、仮想ルームに対応付けて管理をする。
API管理部60は、プラットフォーム契約者が広視野画像の画像配信サービスを提供する場合に使用するAPIを管理する。APIを利用する場合、プラットフォーム契約者は、別途、APIを呼び出すソフトウェアを開発すればよい。開発するソフトウェアはサーバ上で動作してもよいし、通信端末等のクライアント上で動作するものであってもよい。画像配信部54、関連付け処理部53、通信制御部57等のように情報処理システム50が備える機能であれば、APIとして提供可能である。また、後から情報処理システム50に追加した機能をAPIとして提供することも可能である。APIとして提供するか否かはプラットフォーム提供者が操作する通信端末が情報処理システム50にアクセスし、APIの公開設定を受け付けることによって、API管理部60が公開設定に基づいたAPIの制御ができる。また、API管理部60はAPIの呼び出しを要求する要求元のソフトウェアが正当なプラットフォーム契約者によって開発されたソフトウェアか否かを確認する認証処理を行ってもよい。認証処理は記憶部5000においてプラットフォーム契約者の情報として予め登録して記憶されている情報と、要求元のソフトウェアから送信された情報を対比させることで確認することができる。認証処理の具体的な処理の一例として、プラットフォーム契約者が開発するソフトウェアに対して、API管理部60によって予め発行されたアプリIDを要求元のソフトウェアから情報処理システム50が受信し、API管理部60が、アプリIDが記憶部5000に記憶されていると判断できれば正当なソフトウェアとしてAPIを提供することを許可する制御をAPI管理部60が行う。一方で、正当なソフトウェアとして判断できなかった場合には、APIを提供することを許可しない制御をAPI管理部60が行う。なお、アプリIDは正当性を判断するための認証情報の一例であって、予め情報処理システムのAPI管理部60もしくは外部システムが発行したアクセストークン、チケット、セキュリティキー、パスワード、PINコード等の認証情報によってAPI管理部60が要求元の正当性を確認してもよい。本実施形態では、APIとして情報処理システム50が備える機能を使用する形態は説明しないが、プラットフォーム契約者の開発したアプリケーション等のソフトウェアがAPI管理部60における判断を経由して情報処理システム50が備える機能を利用する以外の処理の流れは同じでよい。
記憶・読出部59は、記憶部5000に各種データを記憶させ、又は記憶部5000から各種データを読み出す機能である。また、記憶部5000には、画像管理情報記憶部5001、仮想ルーム情報記憶部5002、テナント情報記憶部5003、記録映像記憶部5004、注目点記憶部5005、及び、混成動画情報記憶部5006が形成されている。
記録部61は、閲覧者が視点を変えながら閲覧した広視野画像の動画を記録映像として記録する。記録部61は、記録映像を閲覧中に閲覧者が変更した閲覧者の視点を示す閲覧視点を記録映像に添付する。
注目点設定受付部62は、混成動画を作成する際に記録映像の注目点を、定点、閲覧視点、又は、追従視点のいずれにするかの設定をユーザーから受け付ける。
追従視点作成部63は、ユーザーが追従視点を注目点に設定した場合に、選択された対象物を追従する追従視点を作成する。記録映像は広視野画像の動画なので、追従視点作成部63は対象物を所定領域に収める視点を時系列に記録した追従視点情報を作成する。
動画作成部64は、定点、閲覧視点、又は、追従視点のそれぞれ(全てがなくてもよいし、1つの注目点が複数あってもよい)に基づいて作成された注目点動画を混成した混成動画を作成する。
「画像管理情報記憶部5001」
図14(a)は、画像管理情報記憶部5001に記憶される画像管理情報を示す概念図である。画像管理情報記憶部5001には、図14に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザーが通信端末30から撮像要求を送信すると、1レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
図14(a)は、画像管理情報記憶部5001に記憶される画像管理情報を示す概念図である。画像管理情報記憶部5001には、図14に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザーが通信端末30から撮像要求を送信すると、1レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
・データIDは、広視野画像等の画像データを識別する識別情報である。データIDは、情報処理システム50が採番する。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。なお、データIDは広視野画像だけでなく、仮想ルームに対応付けられた撮像装置10によって通常の画角で撮像された画像に対しても関連付けてもよい。
・データ名称は、通信端末30のユーザーが設定した広視野画像の名称である。データ名称はユーザーが設定できるが、自動で設定されてもよい。
・撮像日時情報は、ユーザーが通信端末30に撮像要求を入力した日時、撮像装置10が広視野画像等の撮像画像を撮像した日時等、広視野画像等の撮像画像の撮像日時を特定するための情報である。撮像日時情報は広視野画像等の撮像画像のタイムスタンプ情報で代用してもよい。
・撮像者情報は、通信端末30に撮像要求を入力したユーザーの識別情報(ユーザーIDやユーザー名を含む)である。ユーザーは仮想ルームに入室した状態で、通信端末30に撮像要求を入力するので、撮像者情報に登録されるユーザーは情報処理システム50又は仮想ルームへの認証により特定されている。撮像者情報は、撮像要求と共に情報処理システム50に送信される。なお、撮像要求と撮像者情報は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像装置情報は、広視野画像を撮像した撮像装置10の識別情報(撮像装置ID)である。撮像装置IDは、情報処理システム50が採番して撮像装置10と共有するが、MACアドレスやシリアル番号など撮像装置10に固有の情報が使用されてもよい。撮像装置IDは、広視野画像と共に情報処理システム50に送信される。なお、撮像装置IDと広視野画像は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像者の視点情報は、撮像者の通信端末30において指定されている視点情報である。例えば、視点情報は、通信端末30が表示中の広視野画像の中心座標を示しており、通信端末30において表示される広視野画像の所定領域を特定するために利用されるパラメータ情報である。ここではパラメータ情報の一例として、動径、極角及び方位角を示しているが、図10~図12で説明した他のパラメータ情報であってもよい。視点情報は撮像要求する通信端末30から送信される。なお、視点情報は、所定領域の表示範囲の幅と高さを指定する情報を有していてよい。あるいは、視点情報は表示範囲の幅と高さのみでもよい。
・撮像時の仮想ルームIDは、撮像装置10が対応付けられている仮想ルームの識別情報である。
・データの保存場所情報(保存先情報)は、広視野画像が保存されている場所を示す情報であって、URLやファイルパス等である。また、保存場所情報によって特定される保存場所は所定のフォルダを示す情報であってもよい。フォルダは撮像時の仮想ルームに対応付けられたフォルダであってもよい。また、撮像日時、撮像装置、撮像者、撮像時の仮想ルーム等の分類の1つ又は2つ以上の組み合わせを示す識別情報(名称等の付加情報)に対応付けられたフォルダであってもよい。また、データの保存場所情報とデータIDやデータ名称等の情報と組み合わせてデータの保存場所を特定してもよい。
図14(b)も同じく画像管理情報を示す概念図である。図14(b)では、撮像時の仮想ルームIDが同じ広視野画像が保存されている。このように、画像管理情報は仮想ルーム単位で分類されてよい。
「仮想ルーム情報記憶部5002」
図15(a)は、仮想ルーム情報記憶部5002に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部5002には、図15(a)に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、ここでは仮想ルームはテナントに登録されているが、テナントへの登録は必須ではなく、一時的に作成された仮想ルームや共有で利用できる仮想ルームの情報も仮想ルーム情報記憶部5002に記憶される。
図15(a)は、仮想ルーム情報記憶部5002に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部5002には、図15(a)に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、ここでは仮想ルームはテナントに登録されているが、テナントへの登録は必須ではなく、一時的に作成された仮想ルームや共有で利用できる仮想ルームの情報も仮想ルーム情報記憶部5002に記憶される。
・仮想ルームIDは、仮想ルームを識別する識別情報である。本実施形態では、仮想ルームはユーザーが任意に作成できるものとする。
・仮想ルーム名称は、ユーザーが仮想ルームを判別するための名称であり、ユーザーが任意に設定できるものとする。なお、仮想ルームIDと仮想ルーム名称は同一の情報であってもよい。
・デバイス情報は、仮想ルームに対応付けられている撮像装置10を含むデバイスの識別情報(デバイスID)である。
・入室中のユーザーは、現在、仮想ルームに入室しているユーザーのユーザーIDである。このユーザーは仮想ルームの入室者に対して配信される広視野画像等の画像を閲覧可能なユーザーである。入室方法については後述する。また、ユーザーIDには該ユーザーが操作する通信端末30のIPアドレスが対応付けられていてもよい。また、ユーザーIDにはユーザー名が対応付けて記憶されていてもよい。
・入室中のユーザーは、現在、仮想ルームに入室しているユーザーのユーザーIDである。このユーザーは仮想ルームの入室者に対して配信される広視野画像等の画像を閲覧可能なユーザーである。入室方法については後述する。また、ユーザーIDには該ユーザーが操作する通信端末30のIPアドレスが対応付けられていてもよい。また、ユーザーIDにはユーザー名が対応付けて記憶されていてもよい。
「テナント情報記憶部5003」
図15(b)は、テナント情報記憶部5003に記憶されるテナント情報を示す概念図である。テナント情報記憶部5003には、図15(b)に示されているようなテナント情報が記憶されている。テナント情報は、テナント(ユーザーグループ)に関する情報であり、テナントごとに保持される。テナント情報が有する各項目について説明する。なお、テナント情報にはユーザー情報など図示する以外に様々な情報が登録されており、図15(b)は一部に過ぎない。
・テナントIDは、テナントを識別する識別情報である。
・テナント名は、ユーザーがテナントを判別するための名称である。なお、テナントIDとテナント名は同一の情報であってもよい。
・テナント登録仮想ルームIDは、テナントに登録された仮想ルームの識別情報である。
・テナント登録デバイスは、テナントに登録されたデバイスに関する情報である。
なお、テナント情報記憶部、テナントID、テナント名、テナント登録仮想ルームID、テナント登録デバイスは、それぞれ、ユーザーグループ情報記憶部、ユーザーグループID、ユーザーグループ名、ユーザーグループ登録仮想ルームID、ユーザーグループ登録デバイスと言い換えることができる。
図15(b)は、テナント情報記憶部5003に記憶されるテナント情報を示す概念図である。テナント情報記憶部5003には、図15(b)に示されているようなテナント情報が記憶されている。テナント情報は、テナント(ユーザーグループ)に関する情報であり、テナントごとに保持される。テナント情報が有する各項目について説明する。なお、テナント情報にはユーザー情報など図示する以外に様々な情報が登録されており、図15(b)は一部に過ぎない。
・テナントIDは、テナントを識別する識別情報である。
・テナント名は、ユーザーがテナントを判別するための名称である。なお、テナントIDとテナント名は同一の情報であってもよい。
・テナント登録仮想ルームIDは、テナントに登録された仮想ルームの識別情報である。
・テナント登録デバイスは、テナントに登録されたデバイスに関する情報である。
なお、テナント情報記憶部、テナントID、テナント名、テナント登録仮想ルームID、テナント登録デバイスは、それぞれ、ユーザーグループ情報記憶部、ユーザーグループID、ユーザーグループ名、ユーザーグループ登録仮想ルームID、ユーザーグループ登録デバイスと言い換えることができる。
「記録映像記憶部5004」
図16は、記録映像記憶部5004に記憶される記録映像情報を示す概念図である。記録映像記憶部5004には、図16に示されているような記録映像に関連する記録映像情報が記憶されている。記録映像情報は、記録映像ID、仮想ルームID、記録映像、閲覧視点情報、保存先情報、記録開始日時と終了日時、閲覧視点名称の各項目を有している。
・記録映像IDは、記録映像を識別する識別情報である。記録映像は、広視野画像の動画である。記録映像は、閲覧者が見ながら記録されているが(閲覧者はいなくてもよい)、広視野画像なので閲覧視点がないと閲覧された所定領域が特定されない。
・仮想ルームIDは、記録映像の録画に使用された撮像装置10が対応付けられている仮想ルームの識別情報である。
・記録映像の項目は、記録映像のファイル名などである。図16ではファイル名は記録映像の記録開始日時であるが、ファイル名をユーザーが任意に設定できるとよい。
・閲覧視点情報は、閲覧視点が時刻に対応付けられたファイルである。
・保存先情報は、記録映像と閲覧視点情報の保存先(URLやパスなど)である。
・記録開始日時と終了日時は、記録映像の録画が開始された日時(当該国又は地域の標準時)と録画が停止された日時である。
・閲覧者名称は、記録映像を録画した閲覧者の氏名、ユーザーID、ニックネームである。閲覧視点名称は記録映像を識別する識別情報の機能を有している。閲覧視点名称は、閲覧者を特定できれば閲覧者の氏名を含んでいなくてもよい。
図16は、記録映像記憶部5004に記憶される記録映像情報を示す概念図である。記録映像記憶部5004には、図16に示されているような記録映像に関連する記録映像情報が記憶されている。記録映像情報は、記録映像ID、仮想ルームID、記録映像、閲覧視点情報、保存先情報、記録開始日時と終了日時、閲覧視点名称の各項目を有している。
・記録映像IDは、記録映像を識別する識別情報である。記録映像は、広視野画像の動画である。記録映像は、閲覧者が見ながら記録されているが(閲覧者はいなくてもよい)、広視野画像なので閲覧視点がないと閲覧された所定領域が特定されない。
・仮想ルームIDは、記録映像の録画に使用された撮像装置10が対応付けられている仮想ルームの識別情報である。
・記録映像の項目は、記録映像のファイル名などである。図16ではファイル名は記録映像の記録開始日時であるが、ファイル名をユーザーが任意に設定できるとよい。
・閲覧視点情報は、閲覧視点が時刻に対応付けられたファイルである。
・保存先情報は、記録映像と閲覧視点情報の保存先(URLやパスなど)である。
・記録開始日時と終了日時は、記録映像の録画が開始された日時(当該国又は地域の標準時)と録画が停止された日時である。
・閲覧者名称は、記録映像を録画した閲覧者の氏名、ユーザーID、ニックネームである。閲覧視点名称は記録映像を識別する識別情報の機能を有している。閲覧視点名称は、閲覧者を特定できれば閲覧者の氏名を含んでいなくてもよい。
「注目点記憶部5005」
図17は、注目点記憶部5005に記憶される注目点情報を示す概念図である。注目点記憶部5005には、図17(a)に示されているように注目点に関連する注目点情報が記憶されている。注目点情報は、記録映像IDにより記録映像と対応付けられている。注目点情報は、注目点ID、種類、保存先の各項目を有している。
・注目点IDは各注目点を識別するための識別情報である。
・種類は、注目点の種類であり、本実施形態では、一例として閲覧視点、定点、及び、追従がある。閲覧視点は、記録映像の録画時に閲覧者が閲覧した視点である。定点は、記録映像をある決まった視点でのみ閲覧するための一視点である。追従は、ユーザーが設定した対象物を追従するための視点である。各注目点については図17(b)~図17(e)に示す。
・保存先は、注目点情報の保存先を示す。なお、種類が追従の場合、保存先は対象物特徴量を示すものと追従視点を示すものがある。
図17は、注目点記憶部5005に記憶される注目点情報を示す概念図である。注目点記憶部5005には、図17(a)に示されているように注目点に関連する注目点情報が記憶されている。注目点情報は、記録映像IDにより記録映像と対応付けられている。注目点情報は、注目点ID、種類、保存先の各項目を有している。
・注目点IDは各注目点を識別するための識別情報である。
・種類は、注目点の種類であり、本実施形態では、一例として閲覧視点、定点、及び、追従がある。閲覧視点は、記録映像の録画時に閲覧者が閲覧した視点である。定点は、記録映像をある決まった視点でのみ閲覧するための一視点である。追従は、ユーザーが設定した対象物を追従するための視点である。各注目点については図17(b)~図17(e)に示す。
・保存先は、注目点情報の保存先を示す。なお、種類が追従の場合、保存先は対象物特徴量を示すものと追従視点を示すものがある。
図17(b)は、閲覧視点情報の一例を示す。閲覧視点情報は、記録映像の録画開始からの経過時間と、経過時間に対応付けられた閲覧視点を有している。記録映像の記録開始日時が記録されているので、経過時間は標準時に変換可能である。閲覧視点により、閲覧者が閲覧した所定領域が特定される。図17(b)では、閲覧視点が変化された場合にのみ閲覧視点が記録されているが、閲覧視点はその変化にかかわらず定期的に記録されてもよい。
図17(c)は、定点の一例を示す。定点は、時刻にかかわらず一定なので、1つのみあればよい。
図17(d)は、対象物特徴量の一例を示す。対象物特徴量がどのような情報であるかは、特徴量によって様々である。一般には特徴量はベクトルで表される。
図17(e)は、追従視点情報の一例である。追従視点は、対象物を追従する視点が時間と共に変化するという点で閲覧視点情報と同じであり、閲覧視点情報と同様の構成を有している。
「混成動画情報記憶部5006」
図18は、混成動画情報記憶部5006に記憶される混成動画情報を示す概念図である。混成動画情報は、ユーザーが注目点を設定して作成した混成動画に関する情報である。
・混成動画IDは、各混成動画を識別する識別情報である。
・ユーザーIDは、混成動画を作成したユーザーの識別情報である。各ユーザーは少なくとも自分が作成した混成動画を再生できる。
・記録映像IDは、混成動画の元になった記録映像の識別情報である。1つの混成動画が複数の記録映像を元に作成されている場合、記録映像IDが複数になる。
・混成動画は、後述する(i)(ii)のどちらの作成方法で作成されたかで、形式が異なる。混成動画1は、後述する(i)の方法で作成された混成動画であり、1つの動画を示す。
・混成動画2は、後述する(ii)の方法で作成された混成動画であり、後述するようにWebアプリ又はネイティブアプリが記録映像と注目点情報を使用して混成動画を再生するための形式である。
図18は、混成動画情報記憶部5006に記憶される混成動画情報を示す概念図である。混成動画情報は、ユーザーが注目点を設定して作成した混成動画に関する情報である。
・混成動画IDは、各混成動画を識別する識別情報である。
・ユーザーIDは、混成動画を作成したユーザーの識別情報である。各ユーザーは少なくとも自分が作成した混成動画を再生できる。
・記録映像IDは、混成動画の元になった記録映像の識別情報である。1つの混成動画が複数の記録映像を元に作成されている場合、記録映像IDが複数になる。
・混成動画は、後述する(i)(ii)のどちらの作成方法で作成されたかで、形式が異なる。混成動画1は、後述する(i)の方法で作成された混成動画であり、1つの動画を示す。
・混成動画2は、後述する(ii)の方法で作成された混成動画であり、後述するようにWebアプリ又はネイティブアプリが記録映像と注目点情報を使用して混成動画を再生するための形式である。
<通信端末の仮想ルームへの入室>
続いて、図19、図20を参照し、ユーザーBが仮想ルームに入室する処理について説明する。なお、すでに撮像装置10が仮想ルームに対応付けられ、通信端末30Aが広視野画像と通常の画角の画像を情報処理システム50に送信しているものとする(撮像装置10の仮想ルームへの対応付け等については図21以降で説明する)。また、以下では、ユーザーBが仮想ルームに入室することと、ユーザーBが操作する通信端末30Bが仮想ルームに入室することを特に区別しないで説明する。
続いて、図19、図20を参照し、ユーザーBが仮想ルームに入室する処理について説明する。なお、すでに撮像装置10が仮想ルームに対応付けられ、通信端末30Aが広視野画像と通常の画角の画像を情報処理システム50に送信しているものとする(撮像装置10の仮想ルームへの対応付け等については図21以降で説明する)。また、以下では、ユーザーBが仮想ルームに入室することと、ユーザーBが操作する通信端末30Bが仮想ルームに入室することを特に区別しないで説明する。
図19は、ユーザーBが仮想ルームに入室する際に通信端末30Bが表示する画面例を示す。図19(a)は、入室画面200の一例である。補足すると、入室画面200の表示に先立って、ユーザーBは情報処理システム50にログインしている。ログインすることでユーザーBが所属するテナントが特定される。仮想ルームはテナントと関連付けられている。ユーザーBはテナントに関連付けられている仮想ルームの一覧を通信端末30Bで表示し(図24参照)、一覧から入室する仮想ルームを選択する。図19(a)はこのようにユーザーBが選択した仮想ルームに対する入室画面200である。なお、テナントに関連付けられていない一時的に作成した仮想ルームや共有の仮想ルームが図19(a)の画面に表示されてもよい。
あるいは、仮想ルームの作成者が仮想ルームに対応するURLの発行を情報処理システム50に要求し、このURLをメール等でユーザーBに送信してもよい。ユーザーBが通信端末30Bに表示されたURLを押下すると、通信端末30Bが図19(a)の入室画面200を表示する。
入室画面200は、仮想ルーム名称201、参加者名入力欄202、及び入室ボタン203を有している。仮想ルーム名称201は仮想ルーム情報記憶部5002に記憶されているものと同じである。参加者名入力欄202は、仮想ルーム内で表示されるユーザー名を入力する欄であって、ニックネームなどユーザーBの呼称でもよい。ユーザーBがログインすることでユーザーBのユーザーIDに紐づくユーザー名を特定し、この特定したユーザー名が自動で表示されてもよい。入室ボタン203は、ユーザーBが仮想ルームへの入室を要求するボタンである。
なお、入室時に仮想ルームの入室のための認証が、テナントへのログインとは別に要求されてもよい。
図19(b)は、ユーザーBが仮想ルームに入室したことで、通信端末30Bが表示する画像閲覧画面210である。図19(b)の画像閲覧画面210は、撮像装置10が情報処理システム50を介して広視野画像の配信をすでに開始しており、通信端末30Aが通常の画角の画像の配信をすでに開始している。このため、画像閲覧画面210は、第一の画像欄211と第二の画像欄212を有している。第一の画像欄211には広視野画像が表示され、第二の画像欄212には通常の画角の画像が表示されている。画像を送信する拠点が3つ以上になれば、送信元の拠点の数に応じて画像閲覧画面210が分割される。
第一の画像欄211には、広視野画像マーク213が表示されている。広視野画像マーク213は、情報処理システム50の画面生成部52が、第一の画像欄211に表示する画像が広視野画像であると判断して設定する。通信端末30Bが判断して表示してもよい。ユーザーBは広視野画像マーク213を見ることで、視点を変更できる広視野画像が配信されていることが分かる。また、第一の画像欄211にはデバイスの名称214(広視野画像と共に撮像装置10から送信される)が表示される。デバイスの名称214は後述するようにユーザーA等によって設定された情報である(図22参照)。
第二の画像欄212には、参加者名215が表示される。参加者名215はユーザー名であって、参加者名入力欄202に、すでに入室済みのユーザー(ここではユーザーAが入室済みなので、ユーザーAが参加者名入力欄202に入力した「AAA」)の参加者名が表示される。
図20は、ユーザーB(又は通信端末30B)が仮想ルームに入室する処理を説明するシーケンス図である。
S1:まず、拠点BのユーザーBが仮想ルームの一覧画面の表示を行う操作を行う。なお、通信端末30Bは、ユーザーBによる操作に応じて事前に情報処理システム50へアクセスし、仮想ルームの一覧画面を表示させるための仮想ルーム情報記憶部5002に記憶されている仮想ルームの情報を情報処理システム50から受信している。この際に、通信端末30Bはログイン等に必要な認証情報を情報処理システム50へ送信することによって、情報処理システム50の認証部55によって認証されてもよい。認証情報はユーザーBに紐づく認証情報であっても、通信端末30Bに紐づく認証情報であってもよい。このような場合に、一覧画面に表示される仮想ルームはユーザーBに紐づくテナントに登録されている仮想ルームや通信端末30Bに紐づくテナントに登録されている仮想ルームであってもよい。受付部32が一覧画面を表示する操作を受け付けることで、通信端末30Bの表示制御部33は、ディスプレイ306に選択画面を表示させる。
S2:ユーザーBがある仮想ルームの選択ボタンを選択した場合、通信端末30Bの受付部32は、仮想ルームの選択を受け付ける。通信端末30Bの表示制御部33は、ディスプレイ306に図19(a)で示した入室画面200を表示させる。
S3:ユーザーBが必要事項を入力し、入室ボタン203を押下する。受付部32が押下を受け付けることで、通信端末30Bの通信部31は、情報処理システム50に対して、仮想ルームへの入室要求を送信する。この入室要求は、ステップS2で選択された仮想ルームを示す仮想ルームID、ログイン等によって認証されたユーザーBのユーザーID、及び要求元端末である通信端末30BのIPアドレス等の情報を含む。
S4:これにより、情報処理システム50の通信部51は、入室要求を受信する。通信グループ管理部56は、仮想ルーム情報記憶部5002の仮想ルームIDで特定される仮想ルーム情報に、ログイン等によって認証されたユーザーIDとIPアドレスを登録する。
S5:そして、情報処理システム50の通信部51は、通信端末30Bに対して、入室済みを示す応答を送信する。これにより、通信端末30Bの通信部31は、入室済みを示す応答を受信する。通信端末30Bの表示制御部33はS5に続けて、情報処理システム50の画面生成部52が生成した画面の情報と画像配信部54が配信した画像の情報を受信し、受信した情報に基づいて、図19(b)に示した画像閲覧画面210を表示させる。
<撮像装置のルームへの対応付け>
続いて、図21~図28を参照して、撮像装置10の仮想ルームへの対応付けについて説明する。なお、撮像装置10の仮想ルームへの対応付けは拠点AのユーザーAが行うとして説明するが、システム管理者やテナント管理者等が行ってもよい。
続いて、図21~図28を参照して、撮像装置10の仮想ルームへの対応付けについて説明する。なお、撮像装置10の仮想ルームへの対応付けは拠点AのユーザーAが行うとして説明するが、システム管理者やテナント管理者等が行ってもよい。
図21は、通信端末30Aが表示するデバイス登録画面220の一例である。ユーザーAは情報処理システム50にログイン等によって認証されている状態である。ログインすることでユーザーAが所属するテナントが特定される。ユーザーAはデバイス登録画面220の表示を情報処理システム50に要求し、通信端末30Aは情報処理システム50から受信したデバイス登録画面220を表示する。デバイス登録画面220によりまず、デバイスがテナントに登録される。
デバイス登録画面220は、撮像装置登録ボタン221、VRゴーグル登録ボタン222、スマートグラス登録ボタン223を有している。デバイスの種類ごとにボタンが用意されるのは、カメラの有無、登録に使用される情報等に違いがあるためである。また、デバイスの種類ごとにデバイスが登録されるので、情報処理システム50ではデバイスの種類も把握できる。
撮像装置登録ボタン221は、ユーザーAが撮像装置10を登録するためのボタンであり、VRゴーグル登録ボタン222はVRゴーグル89を登録するためのボタンであり、スマートグラス登録ボタン223はスマートグラス88を登録するためのボタンである。
図22は、撮像装置登録ボタン221が押下された場合に表示される画面の一例である。図22(a)は、撮像装置登録ダイアログ230を示す。撮像装置登録ダイアログ230は、撮像装置10の名称欄231と、説明欄232と、次へボタン233を有している。ユーザーAは登録する撮像装置10であることが分かるように撮像装置10の名称欄231に任意の名称を設定し、説明欄232に説明を設定する。
ユーザーAが次へボタン233を押下すると、通信端末30Aが二次元コードを情報処理システム50に要求し、通信端末30Aが二次元コードを表示する。
図22(b)は、通信端末30Aが表示した二次元コード画面240の一例である。二次元コード画面240は、「××(名称欄に入力した名称)というデバイスを登録するため、以下の二次元コードをスキャンして下さい」というメッセージ241、及び、二次元コード242を有している。ユーザーAは二次元コード242を登録したい撮像装置10で撮像する。二次元コード242には、撮像装置10が自身の登録のために接続するURL、一時的なIDとパスワードといった登録に必要な認証情報が含まれている。
ユーザーAが撮像装置10で二次元コード242を撮像すると、撮像装置10がURLに接続し、一時的なIDとパスワードで認証を受ける。認証が成功すると、正式な撮像装置IDが交換され、撮像装置10の名称、説明、及び、撮像装置IDがテナントに登録される。撮像装置10もこの撮像装置ID、名称、及び説明を保持する。テナントに登録された撮像装置10は、後述するユーザーAの操作に応じて仮想ルームに対応付けられる。なお、二次元コード242はコード情報の一例であって、同様の認証情報が埋め込まれていればよく、バーコード等の他の形態のコードであってもよい。
続いて、図23を参照して、VRゴーグル89やスマートグラス88等の通信端末のテナントへの登録方法の一例を説明する。図23は、VRゴーグル登録ボタン222が押下された場合に表示されるVRゴーグル登録画面250の一例である。VRゴーグル登録画面250は、一時コード入力欄251と、シークレット入力欄252を有している。
VRゴーグル89がカメラを有さない場合には二次元コードを撮像できない。このため、ユーザーAはVRゴーグル89に一時コード(一時的なID)と、シークレット(パスワード)を出力させ(表示させ)、一時コード入力欄251と、シークレット入力欄252に入力してもよい。通信端末30Aは一時コードとシークレットを情報処理システム50に送信することで、VRゴーグル89をテナントに登録する。VRゴーグル89が情報処理システム50に接続し、一時コードとシークレットを送信することで、認証を受ける。認証が成功すると、正式なVRゴーグルIDが交換され、VRゴーグルIDがテナントに登録される。VRゴーグル89もこのVRゴーグルIDを保持する。テナントに登録されたVRゴーグル89は、後述するユーザーAの操作に応じて仮想ルームに対応付けられる。スマートグラス88については詳細を説明するが、ユーザーAは撮像装置10又はVRゴーグル89と同様に登録できる。なお、一時コードとシークレットは認証情報の一例であって、他の情報を認証情報に用いてもよい。なお、撮像装置ID、VRゴーグルID、スマートグラスIDはそれぞれデバイスIDの一例であるため、デバイスIDと言い換えることができる。そのため、撮像装置10、VRゴーグル、スマートグラス以外のデバイスを登録する際にも同様の手順によってデバイスIDを仮想ルームやテナントとの関連付けに利用することができる。なお、デバイスIDは、デバイスの所有者に紐づく識別情報であってもよい。
図24は、仮想ルームに撮像装置10を対応付けるための仮想ルーム対応付け画面(その1)260の一例を示す。VRゴーグル89、スマートグラス88の場合も画面構成は同じでよい。仮想ルーム対応付け画面(その1)260は、仮想ルームのリスト261を有している。仮想ルームのリスト261は、テナントに作成されている仮想ルームに基づいて仮想ルーム個別欄262~264を表示する。各仮想ルーム個別欄262~264は、リンク発行ボタン265と、入室ボタン266と、設定ボタン267と、仮想ルーム名称268と、を有する。リンク発行ボタン265は、仮想ルームへのリンク(招待するためのURL)とパスコードを発行するためのボタンである。入室ボタン266は仮想ルームにユーザーAが入室するためのボタンである。設定ボタン267は、仮想ルームに撮像装置10を対応付けるためのボタンである。仮想ルーム名称268は仮想ルーム情報記憶部5002に記憶されているものと同じである。したがって、ユーザーAは設定ボタン267を押下する。設定ボタン267の押下により、通信端末30Aは仮想ルーム対応付け画面(その2)270を表示する。
また、仮想ルームにすでにデバイスが対応付けられている場合、仮想ルーム個別欄(図では仮想ルーム個別欄264)にデバイスの名称269が表示される。
図25は、仮想ルーム対応付け画面(その2)270の一例を示す。なお、仮想ルーム対応付け画面(その2)270は仮想ルーム対応付け画面(その1)260にポップアップ表示されている。仮想ルーム対応付け画面(その1)260から仮想ルーム対応付け画面(その2)270への画面遷移は、情報処理システム50を経由しないが、経由する画面遷移も可能である。
仮想ルーム対応付け画面(その2)270は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称271(まだ登録されていないので図では未登録)と、接続ボタン272と、ストレージボタン273と、を有する。接続ボタン272は、仮想ルームにデバイスを対応付けるためにテナントに登録されているデバイスの一覧を対応付ける候補として表示させるボタンである。ストレージボタン273は当該仮想ルームに対応付けられている撮像装置10によって撮像された広視野画像や通常の画角の画像を保存するストレージ90の一覧を表示させるボタンである。ストレージ90の一覧には、仮想ルームに対応付けるストレージ90の一覧だけでなく、ストレージ90上のフォルダ等の特定の保存場所の一覧が含まれていてもよい。ユーザーが所定のストレージ90やストレージ90上のフォルダ等の特定の保存場所を選択することで、仮想ルームに対してストレージ90を対応付けることができる。このようにして対応付けたストレージ90の情報(ストレージ90にアクセスするためのアドレス情報やストレージ90上のフォルダ等の保存場所)は、仮想ルーム情報記憶部5002において仮想ルームIDと関連付けて記憶させることができる。接続ボタン272の押下により、通信端末30Aは仮想ルーム対応付け画面(その3)を表示する。
通信端末30Aは情報処理システム50に仮想ルームIDを送信し、該仮想ルームが生成されているテナントに登録されているデバイスの名称(デバイスのID等も含む)、及び、仮想ルームに対応付けられているデバイスの名称(デバイスのID等も含む)を取得する。
図26は、仮想ルーム対応付け画面(その3)280の一例を示す。仮想ルーム対応付け画面(その3)280は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称281と、追加可能デバイス一覧282と、保存ボタン283と、を有している。ユーザーAは追加可能デバイス一覧282から仮想ルームに追加で対応付けたいデバイスを選択し、保存ボタン283を押下する。これにより、仮想ルームにデバイスが対応付けられる(仮想ルーム情報記憶部5002に撮像装置ID等のデバイスIDが登録される)。なお、図26に示しているように、仮想ルームに対応付けられる撮像装置の数を制限してもよく、例えば上限が2台の場合に、仮想ルーム情報記憶部5002に既に登録されている撮像装置IDの数を参照することによって、追加で登録できるデバイスの残りの数を仮想ルーム対応付け画面(その3)に表示させてもよい。
<撮像装置に対する広視野画像の送信開始処理>
以上で、撮像装置10等のデバイスが仮想ルームに対応付けられたが、ユーザーAがデバイスに対し画像の送信開始を操作する必要がある。
以上で、撮像装置10等のデバイスが仮想ルームに対応付けられたが、ユーザーAがデバイスに対し画像の送信開始を操作する必要がある。
VRゴーグル89とスマートグラス88については、ユーザーAがデバイス本体を操作して画像の送信をオン、オフする。これは、現在、VRゴーグル89とスマートグラス88については、通信システム1に専用のアプリケーションが動作していないためである。VRゴーグル89とスマートグラス88においても通信システム1に専用のアプリケーションが動作する場合、ユーザーAが遠隔から画像の送信をオン、オフできる。
撮像装置10の場合、アプリケーションが有効になっていれば、ユーザーAが仮想ルームに入室してメニューから広視野画像の送信をオン、オフできる。
図27は、通信端末30Aが表示する広視野画像送信制御ダイアログ290の一例である。広視野画像送信制御ダイアログ290は画像閲覧画面210にポップアップ表示されている。ユーザーAが通信端末30Aを操作して、撮像装置10を対応付けた仮想ルームに入室したものとする。広視野画像送信制御ダイアログ290は、この仮想ルームに対応付けられている撮像装置10の名称292を表示する。名称292の近くにトグルボタン291が表示されており、ユーザーAがトグルボタン291を操作して、撮像装置10による広視野画像の送信をオン(送信開始)又はオフ(送信停止)に設定できる。なお、トグルボタンによるオン又はオフの設定方法は一例であって、ユーザー操作の入力に応じて設定できればよい。例えば、ユーザーは、ラジオボタンや所定のアイコンの選択、メニュー操作等によって設定してもよい。また、ユーザー操作を不要として、撮像装置10が入室してから自動で広視野画像の送信を開始してもよい。また、日時や入室したユーザーの人数や特定のユーザーが参加したことなどの所定の条件を予め定めておき、その条件を満たしたことを判断した場合に、広視野画像の送信を開始してもよい。
通信端末30Aはトグルボタン291の操作による送信制御の設定情報を情報処理システム50に送信する。情報処理システム50は送信制御の設定情報に応じた送信開始要求又は送信停止要求を撮像装置10に送信する。
図27(a)はトグルボタン291がオフの設定の状態を示す。このため、図27(a)では広視野画像が表示されていない。一方、図27(a)では、通信端末30Aが入室した時点で、通信端末30Aのカメラ9が撮像した通常の画角の画像がすでに共有されており、画像閲覧画面210に表示されている。
図27(b)はトグルボタン291がオンの設定の状態を示す。トグルボタン291のオンにより、情報処理システム50が送信開始要求を撮像装置10に送信したため、撮像装置10が広視野画像の送信を開始した。このため、1つの仮想ルームで2つの画像が共有されるので、画像閲覧画面210が2つに分割される。また、オンの設定からオフの設定に変更した場合には、オフの設定情報を通信端末30Aが送信し、情報処理システム50がオフの設定情報の受信に応じて送信停止要求を撮像装置10に送信し、撮像装置10が広視野画像の送信を停止する。
図28で説明したように、ユーザーが仮に現場にいる状況であっても、撮像装置10によってコード情報を撮像するといった簡易な操作によって、仮想ルームに撮像装置10を関連付けることができる。現場にいるユーザーはPC等を持たないこともあるため、予め発行しておいたコード情報と撮像装置10さえあれば、その場で関連付け処理を行うことができることは現場のユーザーにとって特に有用である。また、関連付け処理を予め実施しておけば、ユーザーは仮想ルームの選択等しなくとも撮像装置10を所定の仮想ルームに接続させることができ、送信の開始又は停止についても遠隔拠点から指示できるため、現場の作業に集中したいユーザーの負担を軽減することができる。したがって、事前準備の工程においても現場と遠隔拠点でのコミュニケーションを効率的に行えるシステムを提供することができる。
<<仮想ルームへの撮像装置の登録手順>>
次に、図28を参照して、図21~図27の一連の画面遷移で説明した仮想ルームへの撮像装置10の登録手順を説明する。図28は、ユーザーAが仮想ルームに撮像装置10を登録する手順を示すシーケンス図の一例である。
次に、図28を参照して、図21~図27の一連の画面遷移で説明した仮想ルームへの撮像装置10の登録手順を説明する。図28は、ユーザーAが仮想ルームに撮像装置10を登録する手順を示すシーケンス図の一例である。
S11:まず、ユーザーAが通信端末30Aを情報処理システム50に接続させ、認証情報(ユーザーID,パスワード等)を入力して、ログインを要求する。通信端末30Aの受付部32が操作を受け付ける。
S12:通信端末30Aの通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が指定された認証情報に基づいて認証を行う。ここでは認証が成功したものとする。また、この際に情報処理システム50はテナント情報記憶部5003を参照することで、認証されたユーザーIDに関連付けられたテナントIDを特定することができる。
S13:ユーザー操作に応じて、情報処理システム50の画面生成部52はデバイス登録画面220を生成し、通信部51がデバイス登録画面220の画面情報を通信端末30Aに送信する。
S14:通信端末30Aの通信部31がデバイス登録画面220の画面情報を受信し、表示制御部33が図21に示したデバイス登録画面220を表示する。ユーザーAはデバイスの種類を選択し(ここでは撮像装置10(例えば全天球カメラ)が選択されたものとする)、次いで、図22で示したように撮像装置10の名称、説明を入力する。受付部32が入力を受け付ける。
S15:通信端末30Aの通信部31は、ユーザーAが入力した名称と説明を指定して、コード情報(例えば二次元コード)の要求を情報処理システム50に送信する。
S16:情報処理システム50の通信部51は、コード情報(例えば二次元コード)の要求を受信する。通信グループ管理部56は、名称と説明と関連付けてURL(登録のための接続先)を生成し、URL、一時的なID及びパスワードを含むコード情報(例えば二次元コード)を生成する。情報処理システム50の通信部51はコード情報(例えば二次元コード)を通信端末30Aに送信する。通信端末30Aの通信部31がコード情報(例えば二次元コード)を受信し、図22で示したように表示制御部33がコード情報(例えば二次元コード)を表示する。
S17:次に、ユーザーAは仮想ルームに対応付けたい撮像装置10を操作して、コード情報(例えば二次元コード)を撮像する。撮像装置10の受付部12が操作を受け付ける。
S18:撮像装置10の撮像処理部13はコード情報(例えば二次元コード)を含む撮像対象に対して撮像処理を行うことで画像データを生成し、解析部14が画像データを解析してURL、一時的なID及びパスワードを抽出する。これにより、登録要求部15が接続部16を経由してURLに接続し、一時的なID及びパスワードを指定して撮像装置10の登録要求を情報処理システム50に送信する。なお、図23で説明した登録画面による登録方法を実施する場合は、コード情報を撮像しないため、撮像装置10がVRゴーグル89やスマートグラス88等の通信端末に置き換わり、S15~S17のステップは省略することができる。
S19:情報処理システム50の通信部51は、一時的なID及びパスワードを受信し、認証部55が接続されたURLに関連付けられている一時的なID及びパスワードと一致するかどうかを判断する。ここでは一時的なID及びパスワードが一致したものとする。
S20:情報処理システム50の通信グループ管理部56は、撮像装置10の登録が要求されているので、デバイスIDの一例として撮像装置IDを生成し、ユーザーAがログインした際に特定したテナントIDに対応するテナントに撮像装置IDを登録する。なお、撮像装置IDには名称や説明が関連付けられている。具体的には、通信グループ管理部56が、テナント情報記憶部5003を参照し、特定したテナントIDに関連付けられるテナント登録デバイスに撮像装置IDを追加して登録する。なお、ここでは通信グループ管理部56が撮像装置IDを生成して登録しているが、撮像装置10から受信した撮像装置IDを登録してもよい。なお、撮像装置10ではなくVRゴーグル89やスマートグラス88等の通信端末をテナントに登録する場合には、同様の手順でそれぞれに対応するデバイスIDをテナント情報記憶部5003に登録することができる。
S21:情報処理システム50の通信部51は、撮像装置IDを撮像装置10に送信する。撮像装置10の接続部16が撮像装置IDを受信し、記憶部1000に保存する。
S22:通信端末30Aには、情報処理システム50の通信部51から登録完了が通知され、これによりユーザーAが仮想ルームへの撮像装置10の対応付けを開始することができる。ユーザーAは仮想ルーム対応付け画面(その1)260を通信端末30Aに表示させ、テナントに登録した撮像装置10を対応付けたい仮想ルームを選択する。通信端末30Aの受付部32が選択を示す操作入力を受け付ける。具体的には、通信端末30Aの受付部32がユーザーAからの操作入力を受け付けることによって、表示制御部33が仮想ルーム対応付け画面(その1)260を表示させる。この際に、通信部31は画面の更新要求を情報処理システム50の通信制御部57へ送信してもよい。情報処理システム50は更新要求を受信すると、テナント情報記憶部5003を参照し、認証されたユーザーIDに関連付けられたテナントに登録された仮想ルームIDを特定する。情報処理システム50は、さらに続けて、仮想ルーム情報記憶部5002を参照し、特定した仮想ルームIDに関連付けられた仮想ルーム名称を取得する。このようにして特定した仮想ルームID及び対応する仮想ルーム名称の情報(画面生成部52がこれらの情報に基づいて生成した画面の情報であってもよい)を情報処理システム50の通信部51は通信端末30Aへ送信する。通信端末30Aの通信部31は、仮想ルームID及び仮想ルーム名称の情報を受信し、受信した情報に基づいて表示制御部33が仮想ルーム対応付け画面(その1)260を更新表示することができる。なお、このような情報はユーザーIDに基づいて特定することができるため、認証後のS13で受信しておいてもよい。このようにして表示した仮想ルーム対応付け画面(その1)260に対してユーザーAからの選択を示す操作入力を受付部32が受け付けることによって、通信端末30Aが選択された仮想ルームIDを特定することができる。
S23:次に、ユーザーAは仮想ルーム対応付け画面(その2)270を通信端末30Aに表示させ、デバイスを追加で仮想ルームに対応付けるために接続ボタン272を押下する。通信端末30Aの受付部32が押下を示す操作入力を受け付ける。具体的には、通信端末30Aの表示制御部33は、S22で特定した選択された仮想ルームIDに対応する仮想ルーム対応付け画面(その2)270を表示する。さらに、受付部32は、ユーザーAからデバイスを追加で仮想ルームに対応付ける指示を受け付ける(接続ボタン272の押下)。
S24:S23における操作入力に応じて、通信端末30Aの通信部31は、仮想ルームに対応付けるデバイスの候補となるテナントに登録済みのデバイスと、ステップS22で選択された仮想ルームIDに既に対応付けられているデバイスの情報を情報処理システム50に要求する。
S25:情報処理システム50の通信部51は、テナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスの情報の要求を受信し、画面生成部52がテナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスのデバイスIDを含む仮想ルーム対応付け画面(その3)280を生成する。情報処理システム50の通信部51は仮想ルーム対応付け画面(その3)280の画面情報を通信端末30Aに送信する。
S26:通信端末30Aの通信部31が仮想ルーム対応付け画面(その3)280の画面情報を受信し、表示制御部33が仮想ルーム対応付け画面(その3)280を表示する。ユーザーAは仮想ルームに対応付けるデバイス(ここでは撮像装置10を例に説明する)を選択する。通信端末30Aの受付部32が選択を受け付け、選択されたデバイスのデバイスIDとして撮像装置IDが特定される。
S27:通信端末30Aの通信部31は、ステップS22で選択された仮想ルームIDとS26で選択されたデバイスID(例えば撮像装置ID)を指定して、対応付け要求を情報処理システム50に送信する。
S28:情報処理システム50の通信部51は、対応付け要求を受信し、通信グループ管理部56が仮想ルームにデバイス(例えば撮像装置10)を登録する。すなわち、通信グループ管理部56は、仮想ルーム情報記憶部5002を参照し、S27の要求で指定されている仮想ルームIDにデバイスID(例えば撮像装置ID)を関連付けて登録する。
S29:仮想ルームにデバイスID(例えば撮像装置ID)が対応付けられたので、情報処理システム50の通信部51は、仮想ルームID,名称、説明を撮像装置10に送信する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用して送信してもよい。撮像装置10の接続部16が仮想ルームID,名称、説明を受信し、記憶部1000に保存する。これにより、撮像装置10が広視野画像を送信する際は、撮像装置ID、仮想ルームID、名称、説明等を付加できる。撮像装置10以外のデバイスも同様の手順で仮想ルームに対応付けることができる。さらに続けて、情報処理システム50の通信部51は、通信端末30Aに対して対応付け完了を示す通知を送信してもよい。このステップ以降、仮想ルームに対して登録されたデバイス(撮像装置10)は、対応付けられた仮想ルームに接続することができる。ここでは、続けて撮像装置10が情報処理システム50に対して、S29で受信した仮想ルームIDを指定して仮想ルームに接続要求を送信することで、仮想ルームに接続したものとして説明を続けるが、撮像装置10が仮想ルームに接続するタイミングはユーザーの操作によって変更することができる。
S30:通信端末30A及び情報処理システム50は、図20で説明した入室処理を行うことで、通信端末30Aがデバイス(撮像装置10)の対応付けを行った仮想ルームに入室する。
S31:入室後、ユーザーAが画像閲覧画面210において仮想ルームに対応付けられた撮像装置10のトグルボタン291をオンする。通信端末30Aの受付部32がオンを受け付ける。
S32:通信端末30Aの通信部31は、デバイスID(撮像装置ID)を指定して広視野画像の送信開始要求を情報処理システム50に送信する。なお、ユーザーAが直接、撮像装置10のボタンを操作して、広視野画像の送信を開始してもよい。なお、ユーザーAの操作により、通信端末30Aの通信部31が、送信停止要求を情報処理システム50に送信する場合もある。
S33:情報処理システム50の通信部51は、送信開始要求を受信し、デバイスID(撮像装置ID)で特定される撮像装置10に送信開始を要求する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用してもよい。撮像装置10の接続部16が送信開始を受信し、撮像処理部13が撮像を開始する。画像送信制御部18が接続部16を介して決まったFPS又は帯域に応じたFPSで広視野画像の送信を繰り返す。したがって、仮想ルームに入室した通信端末30は拠点Aの状況を画像閲覧画面210にリアルタイムに表示できる。
<広視野画像等の配信>
図29を参照して、広視野画像や通常の画角の画像が共有される流れを説明する。図29は、広視野画像が共有される流れを説明するシーケンス図の一例である。図29では、通信端末30A、30Bが図20で説明した入室処理を実行し、仮想ルームに入室ずみである。また、通信端末30Aは通常の画角のカメラ9を有し、通信端末30Bと共有されている。通信端末30Aのカメラ9でなく、仮想ルームに対応付けられたスマートグラス88が撮像した画像等が共有されてもよい。また、図29では、図28で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
図29を参照して、広視野画像や通常の画角の画像が共有される流れを説明する。図29は、広視野画像が共有される流れを説明するシーケンス図の一例である。図29では、通信端末30A、30Bが図20で説明した入室処理を実行し、仮想ルームに入室ずみである。また、通信端末30Aは通常の画角のカメラ9を有し、通信端末30Bと共有されている。通信端末30Aのカメラ9でなく、仮想ルームに対応付けられたスマートグラス88が撮像した画像等が共有されてもよい。また、図29では、図28で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
S41:通信端末30Aの撮像部34は画像の撮像を行い、通信部31は入室している仮想ルームIDを指定して撮像した画像を含む映像及び音声を情報処理システム50に送信する。
S42,S43:情報処理システム50の通信部51が画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して画像を含む映像及び音声を送信する。なお、図29では、通信端末30Aの通信部31が通常の画角の画像を情報処理システム50から受信して表示しているが、撮像部34が撮像した通常の画角の画像を受信することなく表示してもよい。
S44:次に、撮像装置10が送信開始の設定に基づく送信開始要求に応じて、撮像処理部13は広視野画像の撮像を行い、画像送信制御部18が接続部16を介して自機が登録されている仮想ルームID、撮像装置ID、名称、説明を指定して広視野画像を含む映像及び音声を、情報処理システム50に送信する。
S45,S46:情報処理システム50の通信部51が広視野画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して広視野画像を含む映像及び音声を送信する。
S47:次に、カメラ9を備えた通信端末30Cが図20で説明した入室処理を実行することで新しく仮想ルームに入室した。
S48:通信端末30Cの通信部31は通常の画角の画像を含む映像及び音声を情報処理システム50に送信する。
S49~S51:情報処理システム50の通信部51は通信端末30Cから通常の画角の画像を含む映像及び音声を受信し、同じ仮想ルームに入室している通信端末30A~30CのIPアドレスを仮想ルーム情報記憶部5002から取得し、画像配信部54が通常の画角の画像を含む映像及び音声を送信する。
S52:また、情報処理システム50の通信部51は同じ仮想ルームに入室した通信端末30Cに対しても、広視野画像を含む映像及び音声を送信する。
このように、同じ仮想ルームに入室したユーザーA,Bは、仮想ルームに対応付けられた撮像装置10が撮像する広視野画像を含む映像をリアルタイムに共有できる。なお、図29で示した、各画像の送信順は一例であり、広視野画像が先に共有されてもよいし、通常の画角の画像が先に共有されてもよい。
スマートグラス88とVRゴーグル89について補足する。スマートグラス88は通常の画角のカメラと表示機能を有している。スマートグラス88が保持するカメラが撮像した通常の画角の画像は、カメラ8,9と同様に配信される。スマートグラス88が保持する表示機能は、通常のディスプレイと同様に平面なので、ユーザーが指示する視点で広視野画像の一部が表示される。VRゴーグル89は表示機能を有している(通常の画角のカメラをさらに有していてもよい)。スマートグラス88が保持する表示機能は、ユーザーの頭部の向きによって決まる視点の広視野画像を投影するので、ユーザーの頭部の向きに応じた視点で広視野画像の一部が表示される。ユーザーは、スマートグラス88やVRゴーグル89で広視野画像を閲覧中に、閲覧中の視点情報を指定した撮像要求を情報処理システム50に送信できる。
<複数の注目点に基づく混成画像の生成>
従来、複数の注目点に着目した複数の動画の同時再生技術では、通信端末30が異なる種類の注目点を使用して作成された複数の動画を並列に再生していない。従来は、例えば、定点を注目点とするかどうか、任意の対象物を注目点とするかどうか、又は、他者の閲覧視点を注目点とするかどうか、などの設定に応じて、複数の動画を作成することが行われていない。そこで、本実施形態の通信システム1は、ユーザーが様々な種類の注目点を設定できるようにし、様々な種類の注目点の動画を並列に再生することを可能にした。
従来、複数の注目点に着目した複数の動画の同時再生技術では、通信端末30が異なる種類の注目点を使用して作成された複数の動画を並列に再生していない。従来は、例えば、定点を注目点とするかどうか、任意の対象物を注目点とするかどうか、又は、他者の閲覧視点を注目点とするかどうか、などの設定に応じて、複数の動画を作成することが行われていない。そこで、本実施形態の通信システム1は、ユーザーが様々な種類の注目点を設定できるようにし、様々な種類の注目点の動画を並列に再生することを可能にした。
また、これまでは自分の好みの視点しか設定できず、個人都合の複数の視点の動画生成が行われていた。しかし、熟練者がどこに注目するかなどは一般にどの分野でも参考になるものであり、他人の視点で広視野画像を閲覧できることで新たな発見や気づきがあることが期待できる。そこで、本実施形態では、自分が設定した視点だけでなく、他者の視点などの客観的な視点を注目点として、複数の種類の注目点から見た動画を同時に再生する。
<混成動画の作成の概略>
図30は、混成動画の生成の概略を説明する図である。図30(a)は広視野画像を便宜上、歪みのない状態で示す。この広視野画像は動画である。閲覧者A、閲覧者Bは、それぞれリアルタイムに配信される広視野画像の視点151,152を任意に変えながら閲覧し、それぞれが記録映像を録画した。各記録映像には、閲覧者A、Bそれぞれの閲覧視点が対応付けられる。
図30は、混成動画の生成の概略を説明する図である。図30(a)は広視野画像を便宜上、歪みのない状態で示す。この広視野画像は動画である。閲覧者A、閲覧者Bは、それぞれリアルタイムに配信される広視野画像の視点151,152を任意に変えながら閲覧し、それぞれが記録映像を録画した。各記録映像には、閲覧者A、Bそれぞれの閲覧視点が対応付けられる。
このように保存された記録映像に対し、ユーザーは、複数の種類の注目点から見た動画が並列に再生可能な混成動画を作成する。ユーザーは、閲覧者A、Bの視点(以下、閲覧視点という)を用いるか否か、自動的に対象物に追従して視点を変更する追従視点を用いるか否か、及び、視点を移動しない定点を用いるか否か、等を設定できる。
情報処理システム50はユーザーの注目点に関する設定に応じて、情報処理システム50は、閲覧視点、追従視点、及び、定点の2つ以上を注目点として、混成動画を作成する。図30(b)は混成動画153の再生を模式的に示す。混成動画153では、1つの画面内に異なる注目点を所定領域とする注目点動画154がそれぞれ並列に再生される。図30(b)では、閲覧者Aの閲覧視点としてクレーンが建材を引き上げる注目点動画154、及び、閲覧者Bの閲覧視点として車が移動する注目点動画154が1つの混成動画153内で再生される。
このように、本実施形態の情報処理システムは、ユーザーが様々な注目点の種類を設定可能であり、異なる種類の注目点を使用して作成された複数の注目点動画を並列に再生できる。また、通信端末30は、自分の主観的な視点だけではなく、他の閲覧者の視点といった客観的な視点の動画を並列に表示できる。熟練者などの視点を参考し、各ユーザーが新たな発見や気づきを得ることができる。
<記録映像の録画>
まず、図31を参照して、閲覧者が閲覧視点と共に記録映像を録画する処理を説明する。 図31は、通信端末30が遠隔コミュニケーション中に、閲覧者が閲覧した記録映像を録画するシーケンス図である。通信端末30は、撮像装置10が撮像したリアルタイムの広視野画像をすでに閲覧している。
まず、図31を参照して、閲覧者が閲覧視点と共に記録映像を録画する処理を説明する。 図31は、通信端末30が遠隔コミュニケーション中に、閲覧者が閲覧した記録映像を録画するシーケンス図である。通信端末30は、撮像装置10が撮像したリアルタイムの広視野画像をすでに閲覧している。
S101:閲覧者が入室した仮想ルームに登録されている撮像装置10は繰り返し、広視野画像と音声を情報処理システム50に送信する。
S102:情報処理システムの通信部51は、仮想ルームに入室している通信端末30に広視野画像と音声を送信する。通信端末30は二台以上あってよい。通信端末30の通信部31は広視野画像と音声を受信し、表示制御部33がこれらを動画として表示する。
S103:閲覧者が録画開始操作として、通信端末30で動作するWebアプリに対し、録画ボタンを押下する。録画ボタンは、広視野画像の動画である記録映像を閲覧視点と共に保存するためのボタンである。受付部32が録画ボタンの押下を受け付ける。
S104:通信端末30の通信部31は、録画開始を情報処理システム50に要求する。
S105:情報処理システムの通信部51は録画開始要求を受信し、記録部61が、広視野画像の録画(動画)を開始する。
S106:閲覧者はWebアプリが表示する広視野画像の視点を任意に変更しながら閲覧できる。
S107:受付部32は閲覧者が変更する視点を随時、受け付け、表示制御部33が、操作に応じて広視野画像の所定領域をディスプレイに表示する。したがって、閲覧者の操作に応じて所定領域が移動する。
S108:通信端末30の通信部31は、閲覧者が操作した閲覧視点を含む閲覧視点情報を情報処理システム50に、変更の都度、送信する。上記のように、閲覧視点情報では、録画開始時刻を基準とする録画の経過時間に閲覧視点が対応付けられている。閲覧視点情報は、録画停止時に送信されてもよい。
S109:閲覧者が録画終了操作として、通信端末30で動作するWebアプリに対し録画停止ボタンを押下する。受付部32が録画停止ボタンの押下を受け付ける。
S110:通信端末30の通信部31は、録画停止を情報処理システム50に要求する。
S111:情報処理システムの通信部51は録画停止要求を受信し、記録部61が、記録映像の録画を停止する。
S112:記録部61は録画開始してから録画停止するまでに録画した記録映像と閲覧視点情報を記録映像IDに対応付けて記録映像記憶部5004に保存する。
<混成動画の生成の全体的な流れ>
次に、図32を参照して、情報処理システム50が混成動画を作成する全体的な流れについて説明する。図32は、通信端末30と情報処理システム50とが通信して、混成動画を作成する全体的な処理を示すシーケンス図である。なお、以下の通信端末30は、広視野画像の閲覧に使用された通信端末30に限らず任意の端末装置でよい。
次に、図32を参照して、情報処理システム50が混成動画を作成する全体的な流れについて説明する。図32は、通信端末30と情報処理システム50とが通信して、混成動画を作成する全体的な処理を示すシーケンス図である。なお、以下の通信端末30は、広視野画像の閲覧に使用された通信端末30に限らず任意の端末装置でよい。
S201:ユーザーが通信端末30を仮想ルームに入室させ、後述する図33のホーム画面390を表示させる。まず、ユーザーは記録映像を選択するために動画選択ボタン391を押下する。
S202:受付部32が選択を受け付け、通信部31が記録映像のリスト要求を情報処理システム50に送信する。
S203:情報処理システム50の通信部51は記録映像のリスト要求を受信し、記憶・読出部59が記録映像記憶部5004から記録映像のリストを取得する。記憶・読出部59は、例えばユーザーと同じテナントに登録されている記録映像のリストを取得する。
S204:情報処理システム50の画面生成部52は、記録映像記憶部5004に保存されている記録映像のリストで、図34に示す記録映像選択画面400を生成し、注目点設定受付部62が通信部51を介して通信端末30に送信する。これにより、通信端末30の通信部31は記録映像のリストを受信し、表示制御部33が記録映像選択画面400に記録映像のリストを表示する。
S205:ユーザーは記録映像選択画面400に対し、注目点を設定して混成動画を作成したい記録映像を選択する。ユーザーは記録映像を複数指定できる。
S206:受付部32が選択を受け付け、通信部31が選択された記録映像IDを指定して記録映像を情報処理システム50に要求する。
S207:情報処理システム50の通信部51は記録映像の要求を受信し、記憶・読出部59が記録映像記憶部5004から記録映像IDで特定される記録映像を取得する。
S208:情報処理システム50の注目点設定受付部62は、通信部51を介して、記録映像を通信端末30に送信する。この記録映像は定点や追従するための対象物をユーザーが設定するために使用される。
S209:ユーザーは、混成動画を作成する際の注目点を設定するために注目点設定ボタン392を押下する。
S210:受付部32が選択を受け付け、以降、図35に示す注目点設定処理が実行される。
S211:次に、ユーザーは、注目点を用いた混成動画を作成するために動画作成ボタン393を押下する。
S212:受付部32が選択を受け付け、以降、図41に示す動画作成処理が実行される。
<<ホーム画面、記録映像選択画面>>
図33は、混成動画作成の際に通信端末30が表示するホーム画面390を示す。ホーム画面390は、ユーザーが複数の注目点を使用して混成動画を作成する際に最初に表示される画面である。ホーム画面390は以下のボタンを有している。
・動画選択ボタン391は、混成動画を作成する元となる記録映像のリストを表示させ、ユーザーからの選択を受け付けるためのボタンである。
・注目点設定ボタン392は、混成動画を作成する際にどの注目点の種類を使用するかをユーザーから受け付けるためのボタンである。ユーザーは複数の注目点の種類を指定でき、種類ごとに複数の注目点を指定できる。
・動画作成ボタン393は、複数の注目点に基づく注目点動画がそれぞれ所定領域に表示される混成動画を作成するトリガーとなるボタンである。
図33は、混成動画作成の際に通信端末30が表示するホーム画面390を示す。ホーム画面390は、ユーザーが複数の注目点を使用して混成動画を作成する際に最初に表示される画面である。ホーム画面390は以下のボタンを有している。
・動画選択ボタン391は、混成動画を作成する元となる記録映像のリストを表示させ、ユーザーからの選択を受け付けるためのボタンである。
・注目点設定ボタン392は、混成動画を作成する際にどの注目点の種類を使用するかをユーザーから受け付けるためのボタンである。ユーザーは複数の注目点の種類を指定でき、種類ごとに複数の注目点を指定できる。
・動画作成ボタン393は、複数の注目点に基づく注目点動画がそれぞれ所定領域に表示される混成動画を作成するトリガーとなるボタンである。
図34は、記録映像選択画面400を示す。記録映像選択画面400は、ユーザーがホーム画面390で動画選択ボタン391を押下すると表示される。記録映像選択画面400には、ユーザーが注目点を指定可能な記録映像の一覧402が表示される。ユーザーが注目点を指定可能な記録映像は、例えばユーザーと同じテナントに対応付けられた記録映像であるが、これらに限るものではない。例えば、インターネット上にアップロードされている記録映像が選択可能でもよい。
ユーザーは記録映像選択画面400から混成動画を作成する元となる記録映像を選択し、OKボタン401を押下する。ユーザーがOKボタン401を押下すると、ホーム画面390に戻る。
<注目点設定処理>
次に、図35参照して、情報処理システム50が注目点の設定を受け付け、注目点情報を作成する処理について説明する。図35は、通信端末30と情報処理システム50とが通信して、情報処理システム50が注目点の設定を受け付け、注目点情報を作成する処理を示すシーケンス図である。
次に、図35参照して、情報処理システム50が注目点の設定を受け付け、注目点情報を作成する処理について説明する。図35は、通信端末30と情報処理システム50とが通信して、情報処理システム50が注目点の設定を受け付け、注目点情報を作成する処理を示すシーケンス図である。
S301:ユーザーがホーム画面390において注目点設定ボタン392を押下する。
S302:受付部32が押下を受け付け、表示制御部は図36に示す注目点設定画面410を表示する。まず、ユーザーが注目点設定画面410において定点設定ボタン412を押下したものとする。ユーザーが、注目点設定画面410においてどのボタンを押下するかは順不同でよい。
S303:受付部32が押下を受け付け、表示制御部33は図37に示す定点設定画面420を表示する。ユーザーは定点設定画面420で任意の定点を1つ以上設定する。
S304:選択ボタン422をユーザーが押下すると、通信端末30の通信部31は、ユーザーが選択した定点(動径、極角及び方位角)を情報処理システム50に送信する。
S305:情報処理システム50の通信部51は定点を受信し、注目点記憶部5005に保存する。
S306:次に、ユーザーが注目点設定画面410において閲覧視点設定ボタン411を押下したものとする。
S307:受付部32が押下を受け付け、通信端末30の通信部31は、図32のステップS205でユーザーが選択した記録映像に対応付けられた閲覧視点のリストを情報処理システム50に要求する。
S308:情報処理システム50の通信部51は閲覧視点のリスト要求を受信し、記憶・読出部59が記録映像に対応付けられた閲覧視点のリストを記録映像記憶部5004から取得する。記憶・読出部59は少なくとも注目点名称を読み出す。
S309:情報処理システム50の画面生成部52は、閲覧視点のリストを用いて、図38に示す閲覧視点設定画面430を生成し、注目点設定受付部62が通信部51を介して閲覧視点設定画面430の画面情報を通信端末30に送信する。
S310:通信端末30の通信部31は閲覧視点設定画面の画面情報を受信し、表示制御部33が閲覧視点設定画面430に閲覧視点のリストを表示する。ユーザーは閲覧視点設定画面430に対し、混成動画を作成したい閲覧視点を選択する。ユーザーは閲覧視点を複数指定できる。
S311:受付部32が押下を受け付け、通信端末30の通信部31は、閲覧視点名称を情報処理システム50に送信する。
S312:情報処理システム50の通信部51は閲覧視点名称を受信し、記憶・読出部59が閲覧視点名称で特定される閲覧視点情報を記録映像記憶部5004から取得する。
S313:注目点設定受付部62は、この閲覧視点情報を注目点記憶部5005に保存する。したがって、注目点記憶部5005には閲覧視点情報がコピーされる。
S314:次に、ユーザーが注目点設定画面410において追従視点設定ボタン413を押下したものとする。
S316:受付部32が押下を受け付け、表示制御部33は図39に示す追従設定画面440を表示する。ユーザーは追従設定画面440で、追従して表示させたい1つ以上の対象物を設定する。選択ボタン446の押下に応じて、通信端末30の通信部31は、ユーザーが選択した対象物の位置情報を含む静止画(対象物静止画)を指定して、追従視点の作成を情報処理システム50に要求する。
S317:情報処理システム50の通信部51は追従視点の作成要求を受信し、注目点設定受付部62が追従視点作成部63に対象物特徴量の抽出を要求する。
S318:追従視点作成部63は、対象物静止画における対象物の位置情報に基づいて対象物特徴量を抽出する。対象物特徴量はSIFT特徴量、エッジ形状と色ヒストグラムなどでよく、また、これらには限られない。
S319:追従視点作成部63は、対象物特徴量を注目点記憶部5005に保存する。
S320:次に、注目点設定受付部62が追従視点作成部63に対象物特徴量を用いた追従視点の作成を要求する。
S321:追従視点作成部63は、対象物特徴量を持つ対象物を記録映像のフレームごとに検出し、そのフレームにおける対象物の視点(動径・極角・方位角)を特定する。各フレームの視点を時系列に並べた動径・極角・方位角のリストが追従視点情報である。なお、対象物の視点(動径・極角・方位角)の特定はフレームごとでなく、数秒などの定期的に実行されてもよい。また、追従視点作成部63は、オプティカルフローにより対象物をトラッキングする方法で追従視点を作成してよい。
S322:追従視点作成部63は、追従視点情報を注目点記憶部5005に保存する。
<<注目点設定画面、閲覧視点設定画面、定点設定画面、対象物設定画面>>
図36は、通信端末30が表示する注目点設定画面410を示す。注目点設定画面410は、ユーザーがホーム画面390で注目点設定ボタン392を押下すると表示される。注目点設定画面410は、ユーザーが設定可能な注目点の種類を表示する。注目点設定画面410は以下のボタンを有している。
・閲覧視点設定ボタン411は、閲覧者が記録映像を閲覧した際の閲覧視点を注目点として設定するためのボタンである。閲覧視点設定ボタン411が押下されると、閲覧視点設定画面430に遷移する。
・定点設定ボタン412は、決まった固定の定点を注目点として設定するためのボタンである。定点設定ボタン412が押下されると、定点設定画面420に遷移する。
・追従視点設定ボタン413は、ユーザーが任意の対象物を追従する視点を注目点として設定するためのボタンである。追従視点設定ボタン413が押下されると、追従設定画面440に遷移する。
図36は、通信端末30が表示する注目点設定画面410を示す。注目点設定画面410は、ユーザーがホーム画面390で注目点設定ボタン392を押下すると表示される。注目点設定画面410は、ユーザーが設定可能な注目点の種類を表示する。注目点設定画面410は以下のボタンを有している。
・閲覧視点設定ボタン411は、閲覧者が記録映像を閲覧した際の閲覧視点を注目点として設定するためのボタンである。閲覧視点設定ボタン411が押下されると、閲覧視点設定画面430に遷移する。
・定点設定ボタン412は、決まった固定の定点を注目点として設定するためのボタンである。定点設定ボタン412が押下されると、定点設定画面420に遷移する。
・追従視点設定ボタン413は、ユーザーが任意の対象物を追従する視点を注目点として設定するためのボタンである。追従視点設定ボタン413が押下されると、追従設定画面440に遷移する。
なお、注目点の種類はこれらに限られず、注目点設定画面410には他の注目点の種類が表示されてよい。
図37は、通信端末30が表示する定点設定画面420を示す。定点設定画面420は、1つ以上の定点を注目点として設定するための画面である。ユーザーは、マウスなどのポインティングデバイスで矩形範囲421を指定する。この矩形範囲421を視点とする定点(動径、極角、方位角)が注目点記憶部5005に保存される。
図38は、通信端末30が表示する閲覧視点設定画面430を示す。閲覧視点設定画面430は、記録映像を閲覧した閲覧者の閲覧視点を選択するための画面である。閲覧視点設定画面430は、例えば閲覧視点名称のリスト431を表示する。閲覧視点名称は閲覧者名を含むため、どの閲覧者の視点かをユーザーが容易に判断できる。
ユーザーは参考にしたい視点で閲覧した閲覧視点名称をチェックボックス432で選択し、選択ボタン433を押下する。なお、ユーザーは、一度に複数の閲覧視点名称を選択できる。ここで選択された閲覧視点名称を識別情報として、閲覧視点名称で特定される閲覧者情報が注目点記憶部5005に保存される。閲覧者は広視野画像の視点を変えることで重要と感じた対象物を閲覧するので、ユーザーは、閲覧者が重要と感じた対象物を注目点に設定できる。
図39は、通信端末30が表示する追従設定画面440を示す。追従設定画面440は、ユーザーが追従させて注目点動画を作成したい任意の対象物を選択するための画面である。追従したい対象物は動くものである場合が多いので、追従設定画面440は停止ボタン442を有する。停止ボタン442はユーザーの押下により停止ボタンと再生ボタンが交互に切り替わる。追従設定画面440は先送りボタン443(所定秒先送りする)と後戻りボタン441(所定秒戻る)を有する。ユーザーはこれらを操作して、所望の対象物が写っている場面で記録映像を停止できる。
所望の対象物を見つけると、ユーザーは、マウスなどのポインティングデバイスで矩形範囲445を指定する。この矩形範囲445が位置情報で指定されるので、追従視点作成部63は対象物特徴量を抽出して注目点記憶部5005に保存できる。そして、追従視点作成部63は対象物特徴量が類似する対象物を記録映像の各フレームで検出して、該対象物の視点を追従視点情報として注目点記憶部5005に保存する。
あるいは、図40に示すように、追従設定画面450に対象物の候補が表示されてもよい。図40は追従設定画面(その2)450を示す。追従設定画面450(その2)には、記録映像で閲覧継続時間が長い順に(優先順位にしたがって)、記録映像から抽出された対象物の候補452が表示される。追従設定画面(その2)450には閲覧者が重要と感じた対象物ほど表示されやすくなる(閲覧継続時間の長い順に表示される)ので、ユーザーは、重要な対象物を追従するように注目点を設定できる。
ユーザーは、追従させたい対象物をチェックボックスで選択し、OKボタン453を押下する。これにより、選択された対象物の対象物特徴量が注目点記憶部5005に保存される。
<混成動画の作成>
次に、図41参照して、情報処理システム50が混成動画を作成する処理について説明する。図41は、通信端末30と情報処理システム50とが通信して、情報処理システム50が注目点情報を用いて混成動画を作成する処理を示すシーケンス図である。
次に、図41参照して、情報処理システム50が混成動画を作成する処理について説明する。図41は、通信端末30と情報処理システム50とが通信して、情報処理システム50が注目点情報を用いて混成動画を作成する処理を示すシーケンス図である。
S401:ユーザーがホーム画面390において動画作成ボタン393を押下する。
S402:受付部32が押下を受け付け、通信端末30の通信部31は、図32のステップS205で選択した記録映像の動画作成要求を情報処理システム50に送信する。
S403:情報処理システム50の通信部51は動画作成要求を受信し、記憶・読出部59が記録映像IDに対応付けられた注目点情報を注目点記憶部5005から取得する。
S404:次に、動画作成部64は、記録映像IDに対応付けられた記録映像を記録映像記憶部5004から取得する。
S405:動画作成部64は、注目点情報と記録映像とから混成動画を作成する。混成動画の作成処理を、図42を参照して説明する。
S406:動画作成部64は作成した混成動画を混成動画情報記憶部5006に保存する。
図42は、動画作成部64が混成動画を作成する処理を説明するフローチャート図である。
上記のように、動画作成部64は、注目点記憶部5005から注目点情報を取得した(S501)。
動画作成部64は、注目点情報を順番に参照し、未処理の注目点があるか否かを判断する(S502)。
未処理の注目点がある場合、動画作成部64は注目点の種類に応じた、定点、閲覧視点情報、又は、追従視点情報を取得する(S503)。
動画作成部64は、定点、閲覧視点情報、又は、追従視点情報のそれぞれに基づいて注目点動画を作成する(S504)。注目点動画は、定点、閲覧視点情報、又は、追従視点情報を所定領域とする記録映像の動画である。注目点動画の作成の詳細については後述する。
動画作成部64は、各注目点に基づいて作成した注目点動画を1画面に混成させた混成動画を作成する(S505)。
次に、図43~図45を参照して、注目点動画の作成方法を説明する。注目点動画の作成方法には主に2つの方法がある。
(i) 動画作成部64が、定点、閲覧視点、又は、追従視点に基づいて記録映像から所定領域の平面画像を切り出す。動画作成部64は、この処理を記録映像の各フレームで繰り返し、上記平面画像をフレームとして有する注目点動画を作成する。この方法では、注目点動画には所定領域の画角しか含まれないが、再生時の処理負荷が低い。
(ii) 動画作成部64は、記録映像を広視野画像のまま、映像ビューワーに定点、閲覧視点情報、又は、追従視点情報と記録映像を組み込む。この方法では、混成動画の再生時に、ユーザーが所定領域以外の画角に視点を変えることができるが、注目点動画における視点を自動的に変えながら記録映像を再生する映像ビューワーが必要になる。
図43(a)は、(i)の方法を説明する図である。図43(a)は、閲覧視点、又は、追従視点の場合の注目点動画の作成方法を示す。動画作成部64は、記録映像160の各時刻における所定領域Tを注目点動画のフレーム161~163とする。すなわち、動画作成部64は、フレーム161~163の作成タイミングである時刻t1,t2、t3……ごとに、閲覧視点、又は、追従視点を参照する。動画作成部64は、各時刻で閲覧視点、又は、追従視点が示す所定領域Tを決定し、通常の閲覧時と同様に透視投影変換する(切り出す)ことでフレーム161~163を作成する。動画作成部64は、このフレーム161~163を注目点動画のフレームとして注目点動画を構築する。
通常、フレーム161~163の枚数よりも閲覧視点、又は、追従視点の視点数の方が少ないので、動画作成部64は、閲覧視点、又は、追従視点が有する時刻を基準にフレーム161~163を作成してよい。動画作成部64は作成したフレーム161と次に作成したフレーム162(フレーム162と163の間も同様)を画像処理により補間して注目点動画を作成してもよい。
定点の場合は、各時刻で視点が変わらないだけで、注目点動画の作成方法は、閲覧視点情報又は追従視点情報と同じでよい。
図43(b)は、(ii)の方法を説明する図である。映像ビューワーは、ユーザーが手動で視点を操作しなくても与えられた視点で自動的に視点を変化させて、広視野画像である記録映像の所定領域Tを表示するプログラムである。このため、図43(b)に示すように、情報処理システム50が記録映像と、閲覧視点(閲覧者の人数分)、追従視点、及び、定点とを映像ビューワーに登録すれば、動画作成部64が注目点動画を作成できる。同様の処理を画面生成部52が行うこともできる。
なお、Webアプリの場合、映像ビューワーはWebアプリに含まれるJavaScript(登録商標)の記述として通信端末30に提供され、ネイティブアプリの場合、映像ビューワーはネイティブアプリが有している。ネイティブアプリの映像ビューワーは情報処理システム50から閲覧視点(閲覧者の人数分)、追従視点、及び、定点をダウンロードすればよい。
次に、図44を参照し、注目点動画を使用した混成動画の作成方法を説明する。図44(a)に示すように、閲覧者Aの閲覧視点に基づく注目点動画171、閲覧者Bの閲覧視点に基づく注目点動画172、追従視点に基づく注目点動画173、及び、定点に基づく注目点動画174が作成されている。これらの注目点動画は(i)(ii)のどちらで作成されたものでもよい。(ii)の方法で作成された場合、注目点動画171~174は所定領域以外の広がりを有している。ユーザーは各注目点動画の視点を任意に変更できる。
動画作成部64は、これら注目点動画171~174の各フレームを混成動画175の各フレームに配置することで、混成動画175を作成する(図44(b))。
図44(b)では、各注目点動画171~174に対し1つの動画操作ボタン177(再生、停止、先送り、後戻しなど)が配置されている。このように混成動画175を作成すると、混成動画は1つの動画となるので、再生、停止、先送り、後戻しなどをユーザーが操作すると全ての注目点動画171~174に同じ操作を行うことができる。ユーザーは混成動画175が含む各注目点動画を並列に再生できる。
一方、ユーザーとしては、混成動画の再生時に注目点動画を個別に再生したい場合がある。また、音声についても、1つの記録映像のみから混成動画が作成された場合は、混成動画が1つの動画として構築されてもよいが、複数の記録映像から混成動画が作成された場合は、音声が混在する可能性がある。このため、混成動画は複数の注目点動画を個別にユーザーが再生可能であることも有効である。
図44(c)は、複数の注目点動画171~174を個別にユーザーが再生可能である混成動画176の一例である。図44(c)では、各注目点動画171~174のそれぞれに再生、停止、先送り、後戻しなどの動画操作ボタン177が配置されている。また、音声についてもユーザーが個別に操作でき、任意の注目点動画の音声のみを再生させたり、複数の注目点動画の音声の音量を個別に調整したりすることができる。なお、図44(c)のような注目点動画171~174であっても、ユーザーが各注目点動画171~174を並列に再生できる点は同じである。
図44(b)(c)のように、混成動画175、176を作成することは、一般に、混成動画の再生時に行われることであり、混成動画175、176を作成することは、混成動画の再生と密接に関係した処理となる。一方、図44(b)の混成動画175が、(i)の方法で作成された注目点動画171~174を有する場合、動画作成部64が混成動画175,176を予め作成しておくことが可能となる。
また、図44(b)(c)の混成動画175,176は、通信端末30で再生される場合、混成動画再生画面460となる。混成動画再生画面460に配置される注目点動画の数は4つが上限というわけではなく、5つ以上でもよいし、Webアプリやネイティブアプリが表示できれば注目点動画の数に制約はない。
また、図44(b)(c)の混成動画175,176は、(i)(ii)のどちらの作成方法で注目点動画が作成されいてもよい。また、Webアプリであっても、ネイティブアプリであっても図44(b)(c)のいずれの混成動画175,176を再生可能である。
次に、図45を参照して注目点動画の拡大縮小表示について説明する。図44(b)(c)の混成動画175,176は、ユーザーが任意の注目点動画171~174を拡大したり、閲覧しない注目点動画を最小化したりすることができる。
図45(a)は、ユーザーが2つの注目点動画171,172のみを残して、残りの2つを最小化した混成動画を示す。図45(b)は、ユーザーが1つの注目点動画171のみを残して、残りの3つを最小化した混成動画を示す。このように、ユーザーは見たい視点がある注目点動画のみを拡大して閲覧できる。この他、ユーザーは、注目点動画171~174のサイズを個別に変更したり、配置を変更したりできてよい。
また、いずれの場合も注目点動画が、(ii)の方法で作成されている場合、ユーザーは注目点動画の視点を任意に変更できる。
<混成動画の再生>
次に、図46を参照し、ユーザーが混成動画を再生する処理について説明する。図46は、通信端末30と情報処理システム50とが通信して、情報処理システム50が混成動画を通信端末30に提供する処理を示すシーケンス図である。
次に、図46を参照し、ユーザーが混成動画を再生する処理について説明する。図46は、通信端末30と情報処理システム50とが通信して、情報処理システム50が混成動画を通信端末30に提供する処理を示すシーケンス図である。
S601:通信端末30が仮想ルームに入室したり、ユーザーがログインしたりすることで、通信端末30の通信部31は、ユーザーが自分で作成した混成動画のリストを受信できる。受信する混成動画のリストはユーザー本人のものに限らず、ユーザーと同じテナントに所属する他のユーザーの混成動画等が含まれてもよい。
S602:ユーザーは閲覧したい混成動画を選択する。
S603:受付部32が押下を受け付け、通信端末30の通信部31は、混成動画IDを指定して、混成動画を情報処理システム50に要求する。
S604:情報処理システム50の通信部51は混成動画の要求を受信し、記憶・読出部59が混成動画IDに対応付けられた混成動画を混成動画情報記憶部5006から取得する。
S605:次に、画面生成部52は、混成動画を用いて混成動画再生画面460を生成する。
・Webアプリが(i)の方法で作成された混成動画を表示する場合、画面生成部52は、動画再生機能と混成動画が含まれる画面情報を生成する。
・Webアプリが(ii)の方法で作成された混成動画を表示する場合、画面生成部52は、映像ビューワーに閲覧視点(閲覧者の人数分)、追従視点、及び、定点を組み込んだ画面情報を生成する。
・ネイティブアプリが(i)の方法で作成された混成動画を表示する場合、画面生成部52は、混成動画を用意すればよい。
・ネイティブアプリが(ii)の方法で作成された混成動画を表示する場合、画面生成部52は、閲覧視点(閲覧者の人数分)、追従視点、及び、定点を用意すればよい。
・Webアプリが(i)の方法で作成された混成動画を表示する場合、画面生成部52は、動画再生機能と混成動画が含まれる画面情報を生成する。
・Webアプリが(ii)の方法で作成された混成動画を表示する場合、画面生成部52は、映像ビューワーに閲覧視点(閲覧者の人数分)、追従視点、及び、定点を組み込んだ画面情報を生成する。
・ネイティブアプリが(i)の方法で作成された混成動画を表示する場合、画面生成部52は、混成動画を用意すればよい。
・ネイティブアプリが(ii)の方法で作成された混成動画を表示する場合、画面生成部52は、閲覧視点(閲覧者の人数分)、追従視点、及び、定点を用意すればよい。
S606:情報処理システム50の通信部51は混成動画再生画面460の画面情報を通信端末30に送信する。
S607:通信端末30の通信部31は、混成動画再生画面460の画面情報を受信し、表示制御部33が混成動画再生画面460を表示する。混成動画再生画面460は図44(b)(c)、図45と同様でよい。
<遠隔医療における通信システムの適用例>
図47は、通信システム1が遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。なお、図47の説明においては、主に図1との相違を説明する。図47の拠点Aは手術室であるが、(1)~(6)の処理の流れについては図1と同様でよい。図47において、患者は手術台355に乗せられ、医師等の医療従事者による手術を受ける。医療従事者(ユーザーに相当する)は鉗子やメスなど各種の術具354を使用して、患者を手術する。また、医療従事者はスマートグラス88を装着でき、医療従事者の術野の画像を通信ネットワークNに送信できる。また、手術室には、術場カメラ351、術野カメラ352、内視鏡353など、各種のカメラが撮像装置10と同様の撮像装置として配置される。また、これらの撮像装置はいずれも広視野画像を生成するための画像を撮像する撮像機能を有していてもよい。手術室の全ての撮像装置及びスマートグラス88は仮想ルームと対応付けられることができる。
図47は、通信システム1が遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。なお、図47の説明においては、主に図1との相違を説明する。図47の拠点Aは手術室であるが、(1)~(6)の処理の流れについては図1と同様でよい。図47において、患者は手術台355に乗せられ、医師等の医療従事者による手術を受ける。医療従事者(ユーザーに相当する)は鉗子やメスなど各種の術具354を使用して、患者を手術する。また、医療従事者はスマートグラス88を装着でき、医療従事者の術野の画像を通信ネットワークNに送信できる。また、手術室には、術場カメラ351、術野カメラ352、内視鏡353など、各種のカメラが撮像装置10と同様の撮像装置として配置される。また、これらの撮像装置はいずれも広視野画像を生成するための画像を撮像する撮像機能を有していてもよい。手術室の全ての撮像装置及びスマートグラス88は仮想ルームと対応付けられることができる。
手術室には、患者のバイタルや医療機器の動作状態等をモニターするメインユニット356が配置される。メインユニット356が本実施形態の通信端末30に相当する。手術室にある通信端末30(メインユニット356)は図1の機能に加えて、内視鏡353や術野カメラ352の映像を受信する機能も備えていてもよい。通信端末30は受信した広視野画像を含む映像をディスプレイ306に表示できるし、情報処理システム50に通信端末30の拠点の映像として送信することができる。操作パネル357は各種操作を受け付ける入力インターフェースであって、医療従事者が手術室にある機器を、操作パネル357を介して操作できるようにしてもよい。また、内視鏡353、術場カメラ351及び術野カメラ352は通信端末30を介さずに直接、情報処理システム50と通信してもよい。このように、複数の撮像装置10を同じ仮想ルームに対応付けることができるため、遠隔拠点のユーザーは拠点Aの現場の様々なシーンを切り取った広視野画像の撮像を要求することができる。例えば、患者の体内を撮像したい場合には内視鏡353に対応する撮像装置に対して撮像要求を送信し、手術室全体の状況を撮像したい場合には術場カメラ351に対応する撮像装置に対して撮像要求を送信することができる。
また、通信端末30は電子カルテシステムの機能を備えていてもよいし、電子カルテシステムと通信する機能を備えていてもよい。通信端末30はディスプレイ306に広視野画像と共に電子カルテの情報を表示してもよい。また、ストレージ90が電子カルテシステムであってもよい。このような場合に、撮像要求に応じて撮像した広視野画像(及び関連付けられた視点情報)は、関連付け処理部53によって患者の電子カルテと関連付けて保存されてもよい。また、ストレージ90の保存場所が示すフォルダは、患者や手術ごとに分類されていてもよい。また、仮想ルーム情報記憶部5002には、患者や手術内容を示す情報が関連付けて記憶されていてもよい。このようにすることで、通信端末の閲覧画面に常に患者や手術に関する情報を表示し続けることができる。
一例として、図48に撮像装置10が医療現場に配意された場合の混成動画再生画面460を示す。この混成動画再生画面460では、医療現場を撮像装置10が撮像した記録映像から、医療に関する視点で得られた注目点動画181~184が表示されている。このため図48では、医療現場の視点として、医師、メインユニット、術野、医療器具を、定点、閲覧視点、又は、追従視点とする注目点動画181~184が示されている。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、図13などの構成例は、情報処理システム50、撮像装置10、及び、通信端末30による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理システム50、撮像装置10、通信端末30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理システム50は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
さらに、情報処理システム50は、開示された処理ステップ、例えば図25、図26,図32,図33等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム50が有する複数の情報処理装置によって実行され得る。また、情報処理システム50は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
<請求項に関する付記>
[請求項1]
広範囲の視野角を有する広視野画像を撮像可能な撮像装置と、該撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムとを備える通信システムであって、
前記情報処理システムは、
前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、
種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、
複数の前記注目点動画が並列に再生される前記混成動画の画面情報を通信端末に送信する通信部と、
を有する通信システム。
[請求項2]
前記記録部は、前記通信端末で前記広視野画像が表示された際の閲覧視点と対応付けて前記記録映像を録画し、
注目点の種類には、前記閲覧視点が含まれる請求項1に記載の通信システム。
[請求項3]
前記情報処理システムは
前記通信端末から前記注目点動画を作成するための前記注目点の種類の設定を受け付ける注目点設定受付部を有し、
前記注目点設定受付部が受け付けた前記注目点の種類は複数であり、前記動画作成部は、異なる種類の前記注目点を用いて複数の注目点動画を作成する請求項2に記載の通信システム。
[請求項4]
前記注目点の種類は、前記記録映像に対する視点を固定する定点、前記記録部が記録した前記閲覧視点、及び、前記記録映像に含まれる対象物を追従する追従視点、のうち少なくとも2つ以上である請求項3に記載の通信システム。
[請求項5]
前記通信部は、前記記録映像の任意の視点を受け付ける画面情報を前記通信端末に送信し、
前記注目点設定受付部は、前記記録映像に対し前記通信端末が受け付けた前記任意の視点を前記定点として受け付ける請求項4に記載の通信システム。
[請求項6]
前記通信部は、前記記録映像を動画として再生し、任意の対象物を受け付ける画面情報を前記通信端末に送信し、
前記情報処理システムは、
前記記録映像に対し前記通信端末が受け付けた前記対象物を前記記録映像において追従する追従視点を作成する追従視点作成部を有し、
前記注目点設定受付部は、前記追従視点作成部が作成した前記追従視点を前記注目点として受け付ける請求項4に記載の通信システム。
[請求項7]
前記通信部は、前記記録映像を録画した閲覧者情報を前記通信端末に送信し、
前記情報処理システムは、
前記通信端末が受け付けた前記閲覧者情報に対応付けられた前記閲覧視点を前記注目点として受け付ける請求項4に記載の通信システム。
[請求項8]
前記動画作成部は、前記定点、前記閲覧視点、及び、前記追従視点のそれぞれで前記注目点動画を作成し、複数の注目点動画が配置された前記混成動画を作成する請求項4~7のいずれか1項に記載の通信システム。
[請求項9]
前記動画作成部は、前記定点、前記閲覧視点、及び、前記追従視点のそれぞれで特定される所定領域が前記記録映像から切り取られた平面画像の動画を前記注目点動画として作成し、複数の注目点動画が並列に再生される1つの混成動画を作成する請求項8に記載の通信システム。
[請求項10]
前記動画作成部は、前記記録映像の前記定点で特定される所定領域、前記記録映像の前記閲覧視点で特定される所定領域、及び、前記記録映像の前記追従視点で特定される所定領域の動画が、それぞれ前記注目点動画として1つの画面に配置された前記混成動画を作成する請求項8に記載の通信システム。
[請求項11]
前記混成動画は、任意の前記注目点動画の個別の動画操作が可能である請求項9又は10に記載の通信システム。
[請求項12]
前記注目点動画は、任意に視点の変更が可能である請求項9に記載の通信システム。
[請求項1]
広範囲の視野角を有する広視野画像を撮像可能な撮像装置と、該撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムとを備える通信システムであって、
前記情報処理システムは、
前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、
種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、
複数の前記注目点動画が並列に再生される前記混成動画の画面情報を通信端末に送信する通信部と、
を有する通信システム。
[請求項2]
前記記録部は、前記通信端末で前記広視野画像が表示された際の閲覧視点と対応付けて前記記録映像を録画し、
注目点の種類には、前記閲覧視点が含まれる請求項1に記載の通信システム。
[請求項3]
前記情報処理システムは
前記通信端末から前記注目点動画を作成するための前記注目点の種類の設定を受け付ける注目点設定受付部を有し、
前記注目点設定受付部が受け付けた前記注目点の種類は複数であり、前記動画作成部は、異なる種類の前記注目点を用いて複数の注目点動画を作成する請求項2に記載の通信システム。
[請求項4]
前記注目点の種類は、前記記録映像に対する視点を固定する定点、前記記録部が記録した前記閲覧視点、及び、前記記録映像に含まれる対象物を追従する追従視点、のうち少なくとも2つ以上である請求項3に記載の通信システム。
[請求項5]
前記通信部は、前記記録映像の任意の視点を受け付ける画面情報を前記通信端末に送信し、
前記注目点設定受付部は、前記記録映像に対し前記通信端末が受け付けた前記任意の視点を前記定点として受け付ける請求項4に記載の通信システム。
[請求項6]
前記通信部は、前記記録映像を動画として再生し、任意の対象物を受け付ける画面情報を前記通信端末に送信し、
前記情報処理システムは、
前記記録映像に対し前記通信端末が受け付けた前記対象物を前記記録映像において追従する追従視点を作成する追従視点作成部を有し、
前記注目点設定受付部は、前記追従視点作成部が作成した前記追従視点を前記注目点として受け付ける請求項4に記載の通信システム。
[請求項7]
前記通信部は、前記記録映像を録画した閲覧者情報を前記通信端末に送信し、
前記情報処理システムは、
前記通信端末が受け付けた前記閲覧者情報に対応付けられた前記閲覧視点を前記注目点として受け付ける請求項4に記載の通信システム。
[請求項8]
前記動画作成部は、前記定点、前記閲覧視点、及び、前記追従視点のそれぞれで前記注目点動画を作成し、複数の注目点動画が配置された前記混成動画を作成する請求項4~7のいずれか1項に記載の通信システム。
[請求項9]
前記動画作成部は、前記定点、前記閲覧視点、及び、前記追従視点のそれぞれで特定される所定領域が前記記録映像から切り取られた平面画像の動画を前記注目点動画として作成し、複数の注目点動画が並列に再生される1つの混成動画を作成する請求項8に記載の通信システム。
[請求項10]
前記動画作成部は、前記記録映像の前記定点で特定される所定領域、前記記録映像の前記閲覧視点で特定される所定領域、及び、前記記録映像の前記追従視点で特定される所定領域の動画が、それぞれ前記注目点動画として1つの画面に配置された前記混成動画を作成する請求項8に記載の通信システム。
[請求項11]
前記混成動画は、任意の前記注目点動画の個別の動画操作が可能である請求項9又は10に記載の通信システム。
[請求項12]
前記注目点動画は、任意に視点の変更が可能である請求項9に記載の通信システム。
10 撮像装置
30 通信端末
50 情報処理システム
30 通信端末
50 情報処理システム
Claims (15)
- 広範囲の視野角を有する広視野画像を撮像可能な撮像装置と、該撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムとを備える通信システムであって、
前記情報処理システムは、
前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、
種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、
複数の前記注目点動画が並列に再生される前記混成動画の画面情報を前記通信端末に送信する通信部と、
を有する通信システム。 - 前記記録部は、前記通信端末で前記広視野画像が表示された際の閲覧視点と対応付けて前記記録映像を録画し、
注目点の種類には、前記閲覧視点が含まれる請求項1に記載の通信システム。 - 前記情報処理システムは
前記通信端末から前記注目点動画を作成するための前記注目点の種類の設定を受け付ける注目点設定受付部を有し、
前記注目点設定受付部が受け付けた前記注目点の種類は複数であり、前記動画作成部は、異なる種類の前記注目点を用いて複数の注目点動画を作成する請求項2に記載の通信システム。 - 前記注目点の種類は、前記記録映像に対する視点を固定する定点、前記記録部が記録した前記閲覧視点、及び、前記記録映像に含まれる対象物を追従する追従視点、のうち少なくとも2つ以上である請求項3に記載の通信システム。
- 前記通信部は、前記記録映像の任意の視点を受け付ける画面情報を前記通信端末に送信し、
前記注目点設定受付部は、前記記録映像に対し前記通信端末が受け付けた前記任意の視点を前記定点として受け付ける請求項4に記載の通信システム。 - 前記通信部は、前記記録映像を動画として再生し、任意の対象物を受け付ける画面情報を前記通信端末に送信し、
前記情報処理システムは、
前記記録映像に対し前記通信端末が受け付けた前記対象物を前記記録映像において追従する追従視点を作成する追従視点作成部を有し、
前記注目点設定受付部は、前記追従視点作成部が作成した前記追従視点を前記注目点として受け付ける請求項4に記載の通信システム。 - 前記通信部は、前記記録映像を録画した閲覧者情報を前記通信端末に送信し、
前記情報処理システムは、
前記通信端末が受け付けた前記閲覧者情報に対応付けられた前記閲覧視点を前記注目点として受け付ける請求項4に記載の通信システム。 - 前記動画作成部は、前記定点、前記閲覧視点、及び、前記追従視点のそれぞれで前記注目点動画を作成し、複数の注目点動画が配置された前記混成動画を作成する請求項4~7のいずれか1項に記載の通信システム。
- 前記動画作成部は、前記定点、前記閲覧視点、及び、前記追従視点のそれぞれで特定される所定領域が前記記録映像から切り取られた平面画像の動画を前記注目点動画として作成し、複数の注目点動画が並列に再生される1つの混成動画を作成する請求項8に記載の通信システム。
- 前記動画作成部は、前記記録映像の前記定点で特定される所定領域、前記記録映像の前記閲覧視点で特定される所定領域、及び、前記記録映像の前記追従視点で特定される所定領域の動画が、それぞれ前記注目点動画として1つの画面に配置された前記混成動画を作成する請求項8に記載の通信システム。
- 前記混成動画は、任意の前記注目点動画の個別の動画操作が可能である請求項9に記載の通信システム。
- 前記注目点動画は、任意に視点の変更が可能である請求項9に記載の通信システム。
- 広範囲の視野角を有する広視野画像を撮像可能な撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムであって、
前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、
種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、
複数の前記注目点動画が並列に再生される前記混成動画の画面情報を前記通信端末に送信する通信部と、
を有する情報処理システム。 - 広範囲の視野角を有する広視野画像を撮像可能な撮像装置と、該撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムとを備える通信システムが行う動画作成方法であって、
前記情報処理システムは、
前記通信端末で表示された前記広視野画像の記録映像を録画するステップと、
種類が異なる注目点で録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成するステップと、
複数の前記注目点動画が並列に再生される前記混成動画の画面情報を前記通信端末に送信する通信部とステップと、
を有する動画作成方法。 - 広範囲の視野角を有する広視野画像を撮像可能な撮像装置が撮像した広視野画像を含む映像を通信端末に送信する情報処理システムを、
前記通信端末で表示された前記広視野画像の記録映像を録画する記録部と、
種類が異なる注目点で前記記録部に録画された前記記録映像の所定領域をそれぞれ再生する注目点動画が複数、配置された混成動画を作成する動画作成部と、
複数の前記注目点動画が並列に再生される前記混成動画の画面情報を前記通信端末に送信する通信部、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022136774A JP2024033276A (ja) | 2022-08-30 | 2022-08-30 | 通信システム、情報処理システム、動画作成方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022136774A JP2024033276A (ja) | 2022-08-30 | 2022-08-30 | 通信システム、情報処理システム、動画作成方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024033276A true JP2024033276A (ja) | 2024-03-13 |
Family
ID=90194339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022136774A Pending JP2024033276A (ja) | 2022-08-30 | 2022-08-30 | 通信システム、情報処理システム、動画作成方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024033276A (ja) |
-
2022
- 2022-08-30 JP JP2022136774A patent/JP2024033276A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6075066B2 (ja) | 画像管理システム、画像管理方法、及びプログラム | |
US11743590B2 (en) | Communication terminal, image communication system, and method for displaying image | |
US20220070412A1 (en) | Communication terminal, image communication system, method of displaying image, and recording medium | |
US11736802B2 (en) | Communication management apparatus, image communication system, communication management method, and recording medium | |
US20240137463A1 (en) | Communication management device, image communication system, communication management method, and recording medium | |
US20230308762A1 (en) | Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium | |
US20230269482A1 (en) | Information processing system, communication system, and image sharing method | |
JP2016194783A (ja) | 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム | |
TWI522725B (zh) | 可與行動裝置連接之相機,及其操作方法 | |
JP2017108356A (ja) | 画像管理システム、画像管理方法、プログラム | |
JP2024033276A (ja) | 通信システム、情報処理システム、動画作成方法、プログラム | |
JP2023130822A (ja) | 機器システム、撮像装置、表示方法 | |
JP2018061243A (ja) | 通信端末、表示方法、及びプログラム | |
US20240007610A1 (en) | Display terminal, communication system, display method, and communication method | |
US20240179267A1 (en) | Display terminal, communication system, and display method | |
US20230308764A1 (en) | Display terminal, communication system, method for displaying, method for communicating, and recording medium | |
US20230269481A1 (en) | Information processing system, communication system, and image transmission method | |
US20230308622A1 (en) | Display terminal, displaying method, and recording medium | |
US20240179274A1 (en) | Display terminal, communication system, display method, communication method, and recording medium | |
US20230326001A1 (en) | Display terminal, display method, and recording medium | |
JP2024033277A (ja) | 通信システム、情報処理システム、映像再生方法、プログラム | |
US20230368399A1 (en) | Display terminal, communication system, and non-transitory recording medium | |
JP2023184430A (ja) | 表示端末、通信システム、表示方法、通信方法、及びプログラム | |
JP2024079567A (ja) | 表示端末、通信システム、表示方法、通信方法、及びプログラム | |
JP2024079570A (ja) | 表示端末、通信システム、情報処理システム、表示方法、情報処理方法、通信方法、及びプログラム |