JP6776600B2 - 画像表示システム、情報処理装置、及びプログラム - Google Patents

画像表示システム、情報処理装置、及びプログラム Download PDF

Info

Publication number
JP6776600B2
JP6776600B2 JP2016087437A JP2016087437A JP6776600B2 JP 6776600 B2 JP6776600 B2 JP 6776600B2 JP 2016087437 A JP2016087437 A JP 2016087437A JP 2016087437 A JP2016087437 A JP 2016087437A JP 6776600 B2 JP6776600 B2 JP 6776600B2
Authority
JP
Japan
Prior art keywords
data
image
time
display
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016087437A
Other languages
English (en)
Other versions
JP2017199980A (ja
Inventor
陽平 藤田
陽平 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016087437A priority Critical patent/JP6776600B2/ja
Publication of JP2017199980A publication Critical patent/JP2017199980A/ja
Application granted granted Critical
Publication of JP6776600B2 publication Critical patent/JP6776600B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、画像表示システム、情報処理装置、及びプログラムに関する。
人の歩行動作を分析するモーションキャプチャシステムが従来から知られている。モーションキャプチャシステムでは、例えば、身体の関節位置等に所定のマーカを装着した人をカメラで撮像して、トラッカーによりマーカの動きを追跡することで、人の歩行動作を分析することができる。
ここで、モーションキャプチャシステムは、様々な角度から人の動作を捉えるために多数のマーカが必要であり、歩行動作の撮像までの準備や撮像後の分析に時間やコストが掛かる傾向があった。また、実験室等のような特別な環境以外では歩行動作の分析を行うことが困難であった。
これらの問題に対して、身体の所定の部位に複数のマークが装着された歩行者の撮像画像を用いて、比較的簡単な構成で歩行動作を分析できる技術が知られている（例えば特許文献１参照）。
しかしながら、上記の従来技術では、撮像可能な歩行動作が限られるという問題がある。これは、歩行することで人は徐々に移動するのに対して、カメラの位置や向きは固定されているためである。例えば、カメラが固定されている場合、直線的に歩行する歩行者の歩行動作以外の歩行動作等（例えば、カメラの周囲を旋回しながらの歩行する歩行者の歩行動作等）を撮像することは困難である。
本発明の実施の形態は、上記の点に鑑みてなされたもので、移動する対象の動作を評価しやすい画像表示システムを提供することを目的する。
上記目的を達成するため、本発明の実施の形態は、情報処理装置と、水平方向の周囲をそれぞれ撮像可能な複数の広角撮像装置と、移動する対象の動作を測定する測定装置とを有する画像表示システムであって、前記複数の広角撮像装置が前記対象をそれぞれ撮像することにより生成した複数の画像データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、前記複数の画像データそれぞれと、前記測定データとを対応づける対応付け手段と、前記測定データとそれぞれ対応付けられた前記複数の画像データのうち、表示対象の画像データを決定する決定手段と、決定された前記画像データと前記測定データとを表示装置に表示させる表示手段と、を有する。
本発明の実施の形態によれば、移動する対象の動作を評価しやすい画像表示システムを提供することができる。
画像表示システムの概略的な動作の一例を説明する図である。 画像表示システムのシステム構成の一例を示す図である。 サーバ及び表示装置のハードウェア構成の一例を示す図である。 加速度測定装置のハードウェア構成の一例を示す図である。 全天球画像撮像装置のハードウェア構成の一例を示す図である。 サーバ、表示装置、加速度測定装置、及び全天球画像撮像装置の機能ブロックの一例を示す図である。 歩行者の歩行の一例を説明する図である。 画像表示システムの全体的な動作の一例を説明するシーケンス図である。 画像表示システムの全体的な動作の変形例（その１）を説明するシーケンス図である。 画像表示システムの全体的な動作の変形例（その２）を説明するシーケンス図である。 画像表示システムの全体的な動作の変形例（その３）を説明するシーケンス図である。 画像表示システムの全体的な動作の変形例（その４）を説明するシーケンス図である。 画像表示システムの全体的な動作の変形例（その５）を説明するシーケンス図である。 表示画像作成処理の一例を説明するフローチャートである。 歩行者が写っている矩形領域の特定の一例を模式的に説明する図である。 表示画像作成処理の変形例を説明するフローチャートである。 歩行者の歩行の他の例を説明する図である。 表示装置に表示された表示画像データと測定データの一例を示す図である。 歩行者が写っている範囲を画像データ欄に表示する処理の一例の示すフローチャートである。 全天球画像の上面図における歩行者の足の位置の一例を模式的に説明する図である。 歩行者が写っている範囲を画像データ欄に表示する処理の他の例の示すフローチャートである。 顔の認識の一例を模式的に説明する図である。 画像表示システムのシステム構成の他の例を示す図である。 加速度測定装置が測定データと表示画像データを表示する場合における画像表示システムの全体的な動作の一例を説明するシーケンス図である。
以下、本発明の実施の形態について図面を参照しながら説明する。
＜画像表示システムの概略＞
まず、本実施形態に係る画像表示システム１００の概略的な動作について説明する。図１は、本実施形態に係る画像表示システム１００の概略的な動作の一例を説明する図である。
本実施形態に係る画像表示システム１００では、２台の全天球画像撮像装置６０Ａ及び６０Ｂが設置されており、ラインＬに沿って周囲を歩行する歩行者２００を全天球画像撮像装置６０Ａ及び６０Ｂが撮像する。また、歩行者２００には、加速度測定装置５０が身体に装着されており、歩行者２００の歩行中に生じる加速度を加速度測定装置５０が測定している。
（１）全天球画像撮像装置６０Ａは、歩行者２００を撮像することにより生成した画像データＡをサーバ１０に送信する。同様に、全天球画像撮像装置６０Ｂは、歩行者２００を撮像することにより生成した画像データＢをサーバ１０に送信する。
また、加速度測定装置５０は、歩行者２００の歩行中に生じた加速度を測定することにより生成した測定データをサーバ１０に送信する。
なお、画像データＡ及び画像データＢの撮像開始時刻と測定データの測定開始時刻とは同期しており、画像データＡ及び画像データＢの撮像終了時刻と測定データの測定終了時刻とは同期している。
（２）サーバ１０は、画像データＡと測定データの時間軸を同期させると共に、画像データＢと測定データの時間軸を同期させる。そして、サーバ１０は、時間に応じて、画像データＡ又は画像データＢのいずれかを表示する表示画像データを作成する。
（３）サーバ１０は、表示画像データと測定データを表示装置３０に送信する。これにより、表示装置３０は、表示画像データと測定データを同じ時間軸で表示することができる。なお、表示画像データとは、例えば、画像データＡ及び画像データＢのうち、歩行者２００がより大きく写っている方を表示する画像データである。
図１に示したような構成によれば、２台の全天球画像撮像装置６０Ａ及び６０Ｂが用いられ、その周囲を歩行する歩行者２００が撮像されるので、直線的に移動する歩行者２００だけでなく、旋回や右折、左折等する歩行者２００を撮像可能になる。歩行者２００は、旋回や右折、左折等する際に重心を崩し易いことが知られている。このため、本実施形態に係る画像表示システム１００では、直線的に移動する場合に加えて、旋回や右折、左折等する歩行者２００の歩行動作の分析を有効に行うことができるようになる。
また、全天球画像撮像装置６０Ａ及び６０Ｂは、カメラを移動させることなく歩行者２００の側面を撮像することができるため、歩行者２００の身体の前後方向の揺れ方等を撮像できる。このため、本実施形態に係る画像表示システム１００によれば、歩き方の指導者等は、歩行者２００の歩行動作を映像で確認及び評価して、改善点を指導することができるようになる。
また、本実施形態に係る画像表示システム１００では、歩行者２００の加速度等が測定された測定データが表示画像データと同じ時間軸で表示される。このため、指導者等が改善すべき歩行動作を発見した場合に、歩行動作が良好でないことを測定データで裏付けることができる。
また、本実施形態に係る画像表示システム１００では、予め用意されている良好とされる測定データと、歩行者２００の測定データとを比較することで、指導者等は、良好でない測定データを発見することもできる。良好でない測定データは、表示画像データと対応付けられているので、指導者等は改善すべき歩行動作を表示画像データから特定することができるようになる。
したがって、本実施形態に係る画像表示システム１００を用いることで、指導者等は、測定データと表示画像データとを相補的に利用して歩行動作を評価することができるようになる。
なお、以降では、全天球画像撮像装置６０Ａ及び６０Ｂについて、それぞれを区別しないときは、単に、「全天球画像撮像装置６０」と表す。また、全天球画像撮像装置６０Ａが撮像することにより生成した画像データＡと、全天球画像撮像装置６０Ｂが撮像することにより生成した画像データＢとをそれぞれ区別しないときは、単に「画像データ」と表す。さらに、以降では、画像データは、動画データであるものとして説明する。したがって、画像データには、１フレーム分の画像（フレーム画像）のデータであるフレームデータが複数含まれる。ただし、画像データは、動画に限られず、静止画の画像データ（静止画データ）であっても良い。
ここで、歩行者２００は、歩行等の動作により、前方、後方、横方向等に移動する対象であるが、人に限られず、例えば、動物、ロボット等であっても良い。また、歩行には、走ることが含まれていても良く、後ろ向きに歩行しても良い。さらに、移動する対象は、車椅子、義足を装着した人、自転車、竹馬、三輪車等であっても良い。以降では、便宜上、移動する対象は、「歩行者２００」であるものとして説明する。
また、測定データは、移動する対象の動作を評価するために用いられる情報であるが、加速度に限られず、例えば、角速度、位置、又は方位等であっても良い。
また、画像データＡと測定データとが対応付けられるとは、画像データＡに含まれるフレームデータＡのうち、１つ以上のフレームデータＡが決まると、測定データに含まれる測定値（具体的には、加速度等）のうち、１つ以上の測定値が決まることをいう。又は、ほぼ同じ時刻に撮像された画像データＡに含まれるフレームデータＡと、測定データに含まれる測定値とが特定された場合に、時刻、フレームデータＡ、又は測定値の１つが決まると残りが決まることをいう。なお、画像データＢや表示画像データについても同様である。
指導者とは、歩行者２００の歩行動作を映像で確認して、当該歩行動作を評価し、改善点等を立案できる者をいう。具体的には、保健師、臨床検査技師、義肢装具士等の資格の保有者が挙げられるが、資格はなくても良い。
また、歩行動作を評価し、改善点等を立案できる者でなくても、画像表示システム１００の操作は可能であり、指導者は、操作者、ユーザ、又は利用者等と呼ばれても良い。
＜システム構成＞
次に、本実施形態に係る画像表示システム１００のシステム構成について説明する。図２は、本実施形態に係る画像表示システム１００のシステム構成の一例を示す図である。
本実施形態に係る画像表示システム１００は、サーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０を有し、ネットワークＮを介して相互に通信可能に接続されている。
ネットワークＮは、画像表示システム１００が配置されている施設等に構築されているＬＡＮ（Local Area Network）等である。ネットワークＮには、インターネットや電話回線網等が含まれていても良い。また、ネットワークＮは、有線又は無線のいずれで構築されていても良く、有線と無線とが組み合わされていても良い。
全天球画像撮像装置６０は、全天球画像又は全方位画像（以降では、単に「全天球画像」と表す。）と呼ばれる周囲３６０°を撮像する撮像装置（カメラ）である。全天球画像撮像装置６０は、後述する光学系を備えることで、一回の撮像動作で全天球画像を得ることができる。全天球画像には、ほぼ死角なく周囲３６０°の画像が撮像されているため、指導者等は任意の領域を選択的にディスプレイ等に表示させて、閲覧することができる。
なお、本実施形態において、全天球画像撮像装置６０は、緯度方向（画像の上下方向）で３６０°の撮像範囲を有していなくても良い。天井や床等の領域には、歩行者２００が写らないためである。
また、全天球画像撮像装置６０は、経度方向（画像の水平方向）で３６０°の撮像範囲を有していなくても良い。これは、歩行者２００の歩行動作を指導者等が分析するために、全天球画像撮像装置６０の全周の画像までは必要ない場合があるためである。
なお、全天球画像撮像装置６０として、ある画角で複数の矩形範囲をそれぞれ撮像した複数の画像を繋ぎ合わせることで全天球画像を得る撮像装置が用いられても良い。
加速度測定装置５０は、歩行者２００の加速度を測定して、測定した加速度を示す測定値を含む測定データを得る装置である。加速度は、鉛直方向加速度、進行方向加速度、左右方向加速度の３軸それぞれで測定されることが好適であるが、少なくとも一方向の加速度でも良い。
加速度測定装置５０として加速度を測定する専用のセンサ（加速度センサ）も存在するが、加速度測定装置５０は、加速度センサを有している装置であっても良い。具体的には、加速度測定装置５０は、例えば、スマートフォン、携帯電話、タブレット端末、ノートＰＣ（Personal Computer）、ウェアラブル端末（ヘッドマウントディスプレイ、サングラスや腕時計等として装着されるＰＣ）、歩度計等であっても良い。
また、加速度測定装置５０は、加速度以外にも、例えば、角速度、位置、方位等を測定する機能を有していても良い。
角速度は、例えば、ジャイロセンサを用いて測定することができる。位置は、例えば、ＧＰＳ（Global Positioning System）衛星、ＩＭＥＳ（Indoor MEssaging System）、又はビーコン等を用いて測定することができる。方位は、例えば、東西南北の方位を、例えば北を基準に検出する方位センサを用いて測定することができる。これらは、いずれも加速度と同様に、歩行者２００の歩行動作の評価に用いることができる。
本実施形態では、加速度測定装置５０が加速度を測定するものとして説明するが、これに限られず、加速度測定装置５０は、角速度、位置、方位等、歩行動作の評価に用いられる各種の測定値を含む測定データをサーバ１０に送信しても良い。
サーバ１０は、全天球画像撮像装置６０から受信した画像データと、加速度測定装置５０から受信した測定データとの時間軸を同期させる情報処理装置である。また、サーバ１０は、全天球画像撮像装置６０から受信した画像データから表示画像データを作成する。なお、サーバ１０の機能は、加速度測定装置５０や表示装置３０が有していても良い。
表示装置３０は、指導者等が表示画像データと測定データとを表示させる端末装置として使用される情報処理装置である。具体的には、例えば、ＰＣ、スマートフォン、タブレット端末、携帯電話、カーナビゲーション端末、ウェアラブル端末、カメラ、電子黒板、プロジェクタ、ゲーム機、ＭＦＰ（Multifunction Peripheral/Printer/Product）等である。
＜ハードウェア構成＞
次に、本実施形態に係るサーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０のハードウェア構成について説明する。
図３は、サーバ１０及び表示装置３０のハードウェア構成の一例を示す図である。図３に示すサーバ１０及び表示装置３０のハードウェア構成は、１つの筐体に配置されている例を示しているが、これに限られない。サーバ１０及び表示装置３０のハードウェア構成は、それぞれのハードウェアが通信可能なように、例えば、複数の筐体等に分散して配置されていても良い。なお、サーバ１０及び表示装置３０は、同様のハードウェア構成を有しているため、以降では、主に、サーバ１０のハードウェア構成について説明する。
サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０５、及びメディアドライブ１０７を有する。また、サーバ１０は、ディスプレイ１０８、ネットワークＩ／Ｆ１０９、キーボード１１１、マウス１１２、及び光学ドライブ１１４を有する。これらの各ハードウェアは、それぞれがバス１１０で互いに接続されている。
ＣＰＵ１０１は、ＨＤ（Hard Disk）１０４に記憶されている画像処理プログラムを実行して、サーバ１０の全体の動作を制御する。ＲＯＭ１０２は、ＩＰＬ（Initial Program Reader）等、ＣＰＵ１０１の駆動に用いられるプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される主記憶装置である。ＨＤ１０４は、不揮発性メモリを搭載した記憶装置である。
ＨＤＤ１０５は、ＣＰＵ１０１の制御に従ってＨＤ１０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ１０８は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ネットワークＩ／Ｆ１０９は、ネットワークＮとのインタフェースである。なお、サーバ１０のディスプレイ１０８が表示装置３０であっても良い。
キーボード１１１及びマウス１１２は、入出力装置である。キーボード１１１は、文字、数値、各種指示等の入力のための複数のキーを備え、これらの複数のキーからの入力を受け付ける。マウス１１２は、マウスポインターの移動及び各種指示の選択や実行、処理対象の選択等を受け付ける。
メディアドライブ１０７は、フラッシュメモリ等の記録メディア１０６に対する各種データの読み出し又は書き込みを制御する。光学ドライブ１１４は、着脱可能な記録媒体の一例としてのＣＤ(Compact Disc)１１３等に対する各種データの読み出し又は書き込みを制御する。
なお、上記の画像処理プログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルで、記録メディア１０６やＣＤ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。画像処理プログラムは、例えば、所定のサーバ装置等からダウンロードされる形態で配布されても良い。
本実施形態に係るサーバ１０及び表示装置３０は、図３に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
図４は、加速度測定装置５０のハードウェア構成の一例を示す図である。なお、図４では、一例として、加速度測定装置５０がスマートフォンやタブレット端末である場合のハードウェア構成を示すが、加速度測定装置５０のハードウェア構成は、これに限られない。
加速度測定装置５０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、フラッシュメモリ２０４、加速度・方位センサ２０５、ジャイロセンサ２０６、及びメディアドライブ２０７を有する。また、加速度測定装置５０は、音声入力装置２１０、音声出力装置２１１、通信装置２１２、ＧＰＳ受信装置２１３、ディスプレイ２１４、及びタッチパネル２１５を有する。これらの各ハードウェアは、それぞれがバス２０９で互いに接続されている。
ＣＰＵ２０１は、フラッシュメモリ２０４に記憶されているプログラムを実行することで加速度測定装置５０全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬや基本入出力プログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１がプログラムを実行する際にワークエリアとして使用される主記憶装置である。
フラッシュメモリ２０４は、加速度測定装置５０が実行するプログラムや各種データを記憶する不揮発性の記憶装置である。なお、プログラムは、例えば、オペレーティングシステム、加速度測定装置５０が実行する装置プログラム等である。
加速度・方位センサ２０５は、地磁気を検知する電子磁気コンパスとしての機能や３軸方向の加速度を測定する機能等を備えている。ジャイロセンサ２０６は、ｘ軸、ｙ軸、又はz軸に対して、加速度測定装置５０が回転する際の角速度を検出する。なお、それぞれの軸の回転角度は、ヨー角、ピッチ角、ロール角と呼ばれる。
メディアドライブ２０７は、フラッシュメモリ等の記録メディア２０８に対するデータの読み出し又は書き込み（記憶）を制御する。
音声入力装置２１０は、音声を音声信号に変換するマイクである。音声出力装置２１１は、音声信号を音声に変換するスピーカである。通信装置２１２は、アンテナ２１２ａを利用して無線通信信号により通信を行う。なお、通信装置２１２は、ＬＡＮに接続するＬＡＮカード等であっても良い。
ＧＰＳ受信装置２１３は、ＧＰＳ衛星、又は屋内ＧＰＳとしてのＩＭＥＳ等によって加速度測定装置５０の位置情報（例えば、緯度や経度、高度等）を検出する。
ディスプレイ２１４は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。タッチパネル２１５は、ディスプレイ２１４上に重畳されており、指やタッチペン等による操作に対して、ディスプレイ２１４上におけるタッチ位置（座標）を検出する。
なお、上記の装置プログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルで、記録メディア２０８等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。装置プログラムは、例えば、所定のサーバ装置等からダウンロードされる形態で配布されても良い。
本実施形態に係る加速度測定装置５０は、図４に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
図５は、全天球画像撮像装置６０のハードウェア構成の一例を示す図である。図５では、一例として、全天球画像撮像装置６０は、２つの撮像素子を使用した撮像装置であるものとして説明するが、撮像素子は３つ以上であっても良い。また、全天球画像撮像装置６０は、必ずしも全天球画像を撮像するための専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全天球画像撮像ユニットを取り付けることで、実質的に全天球画像撮像装置６０と同じ機能を有するようにしても良い。
全天球画像撮像装置６０は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、音声出力装置３１９、及びＣＰＵ３１１を有する。また、全天球画像撮像装置６０は、ＲＯＭ３１２、ＳＲＡＭ（Static RAM）３１３、ＤＲＡＭ（Dynamic RAM）３１４、操作装置３１５、外部Ｉ／Ｆ３１６、及び通信装置３１７を有する。
撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる、魚眼レンズ）３０２ａ及び３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ及び３０３ｂとを備えている。
撮像素子３０３ａ及び３０３ｂは、それぞれ対応する広角レンズ３０２ａ又は３０２ｂによる光学像を電気信号の画像データに変換して出力する画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路等を有している。また、撮像素子３０３ａ及び３０３ｂは、これらの撮像素子の動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。なお、画像センサは、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等が挙げられる。
撮像ユニット３０１の撮像素子３０３ａ及び３０３ｂは、それぞれ、画像処理ユニット３０４とはパラレルＩ／Ｆバスで接続されている。また、撮像ユニット３０１の撮像素子３０３ａ及び３０３ｂは、撮像制御ユニット３０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。
画像処理ユニット３０４及び撮像制御ユニット３０５は、バス３１０を介してＣＰＵ３１１と接続されている。また、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作装置３１５、外部Ｉ／Ｆ３１６、通信装置３１７、及び電子コンパス３１８等も接続されている。
画像処理ユニット３０４は、撮像素子３０３ａ及び３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図法の画像の画像データを作成する。
撮像制御ユニット３０５は、一般に、撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ及び３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ及び３０３ｂのレジスタ群にコマンド等を設定する。このとき、必要なコマンド等は、ＣＰＵ３１１から受け取る。また、撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ及び３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。
また、撮像制御ユニット３０５は、操作装置３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ及び３０３ｂに画像データの出力を指示する。全天球画像撮像装置６０によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ及び３０３ｂからの画像データの出力は、所定のフレームレートによって連続して行われる。
また、撮像制御ユニット３０５は、ＣＰＵ３１１と協働して撮像素子３０３ａ及び３０３ｂの画像データの出力タイミングの同期をとる制御を行う。なお、本実施形態では、全天球画像撮像装置６０には、表示装置が設けられていないが、表示装置が設けられていても良い。
マイク３０８は、音を音データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施して音声信号を作成する。音声出力装置３１９は、音声信号を音声に変換するスピーカである。
ＣＰＵ３１１は、全天球画像撮像装置６０の全体の動作を制御すると共に、必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特に、ＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒図法により作成された画像の画像データを記憶する。
操作装置３１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネル等である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件等を入力することができる。
外部Ｉ／Ｆ３１６は、ＳＤカード等の外付けのメディアやＰＣ等とのインタフェース（例えば、ＵＳＢ Ｉ／Ｆ等）である。また、外部Ｉ／Ｆ３１６は、無線、有線を問わずにネットワークインタフェースであっても良い。ＤＲＡＭ３１４に記憶された正距円筒図法により作成された画像の画像データは、この外部Ｉ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じて外部Ｉ／Ｆ３１６を介して外部装置（例えば、ＰＣ等）に送信されたりしても良い。
通信装置３１７は、全天球画像撮像装置６０に設けられたアンテナ３１７ａを介して、Ｗｉ−Ｆｉ(Wireless Fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の無線技術によって外部装置と通信を行う。この通信装置３１７を介して、正距円筒図法により作成された画像の画像データを外部装置に送信しても良い。
電子コンパス３１８は、地球の磁気から全天球画像撮像装置６０の方位及び傾き(Ｒｏｌｌ回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はＥｘｉｆに沿った関連情報（メタデータ）であり、例えば、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、画像データのデータ容量等も含まれる。
本実施形態に係る全天球画像撮像装置６０は、図５に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
＜機能構成＞
次に、サーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０の機能構成について説明する。図６は、サーバ１０、表示装置３０、加速度測定装置５０、及び全天球画像撮像装置６０の機能ブロックの一例を示す図である。
≪サーバ１０の機能構成≫
サーバ１０は、通信部１１、画像調整部１２、加速度データ加工部１３、操作入力受付部１４、同期指示部１５、表示画像作成部１６、及び記憶・読出部１９を有する。これらの各部は、図３に示されている各構成要素のいずれかが、ＲＡＭ１０３上に展開された画像処理プログラム１０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される。
また、サーバ１０は、図３に示されているＨＤ１０４、ＲＯＭ１０２、及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部１０００を有する。記憶部１０００には、画像処理プログラム１０１０、測定データＤＢ１００１、及び画像データＤＢ１００２が記憶されている。測定データＤＢ１００１には、加速度測定装置５０から送信された測定データが記憶される。画像データＤＢ１００２には、全天球画像撮像装置６０から送信された画像データが記憶される。
通信部１１は、ＣＰＵ１０１からの命令、及びネットワークＩ／Ｆ１０９等によって実現され、ネットワークＮを介して、加速度測定装置５０、全天球画像撮像装置６０、及び表示装置３０と各種データの送受信を行う。
なお、以降では、サーバ１０が通信部１１の機能で通信する場合でも「通信部１１を介して通信する」という記載を省略する場合がある。表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０についても同様である。
画像調整部１２は、ＣＰＵ１０１からの命令等により実現され、全天球画像撮像装置６０から取得した画像データと、加速度測定装置５０から取得した測定データとの時間軸を同期させる。
加速度データ加工部１３は、ＣＰＵ１０１からの命令等により実現され、離散的な測定データを、例えば、滑らかに結合する等により、時間軸に対して連続的なグラフで表されるデータに変換する。
操作入力受付部１４は、ＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等によるサーバ１０への各種の操作や入力を受け付ける。
同期指示部１５は、ＣＰＵ１０１からの命令等により実現され、測定データと画像データとの同期に関する処理を行う。具体的には、同期指示部１５は、同時期に、加速度測定装置５０及び全天球画像撮像装置６０に対して、それぞれ測定開始及び撮像開始を要求する。同様に、同期指示部１５は、同時期に、加速度測定装置５０及び全天球画像撮像装置６０に対して、それぞれ測定終了及び撮像終了を要求する。また、同期指示部１５は、同期のための絶対時刻を全天球画像撮像装置６０及び加速度測定装置５０に提供したりする。
表示画像作成部１６は、ＣＰＵ１０１からの命令等により実現され、全天球画像撮像装置６０Ａ及び６０Ｂのそれぞれから受信した画像データＡ及び画像データＢに基づいて、表示画像データを作成する。例えば、表示画像作成部１６は、同時刻における画像データＡに含まれるフレームデータＡと、画像データＢに含まれるフレームデータＢとを比較して、フレーム画像において歩行者２００がより大きく写っているフレームデータを含む表示画像データを作成する。
記憶・読出部１９は、ＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶されている各種データを読み出したりする処理を行う。
なお、以降では、サーバ１０が記憶部１０００にアクセスする場合でも「記憶・読出部１９を介して読み書きする」という記載を省略する場合がある。表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０についても同様である。
≪表示装置３０の機能構成≫
表示装置３０は、通信部３１、表示制御部３２、操作入力受付部３３、画像回転部３４、及び記憶・読出部３９を有する。これら各部は、図３に示されている各構成要素のいずれかが、ＲＡＭ１０３上に展開された端末プログラム３０１０に従ったＣＰＵ１０１からの命令によって動作することで実現される。なお、これら各部は、端末プログラム３０１０に限られず、例えば、サーバ１０が送信するＷｅｂページ（ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）、ＪａｖａＳｃｒｉｐｔ（登録商標）等）によって実現されても良い。
また、表示装置３０は、図３に示されているＨＤ１０４、ＲＯＭ１０２、及びＲＡＭ１０３のいずれか１つ以上によって構築される記憶部３０００を有する。記憶部３０００には、端末プログラム３０１０が記憶されている。また、記憶部３０００にはサーバ１０から送信された測定データと表示画像データとが記憶される。
通信部３１は、ＣＰＵ１０１からの命令、及びネットワークＩ/Ｆ１０９等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
表示制御部３２は、ＣＰＵ１０１からの命令等によって実現され、サーバ１０から受信した表示画像データと測定データとをディスプレイ１０８に表示する。
操作入力受付部３３は、ＣＰＵ１０１からの命令、キーボード１１１、及びマウス１１２等によって実現され、指導者等による表示装置３０への各種の操作や入力を受け付ける。
画像回転部３４は、ＣＰＵ１０１からの命令等によって実現され、歩行者２００が写っている領域がディスプレイ１０８に表示されるように、全天球画像である表示画像データを水平方向に回転させる（又はトリミングする）。
記憶・読出部３９は、ＣＰＵ１０１からの命令及びＨＤＤ１０５等により実現され、記憶部３０００に各種データを記憶したり、記憶部３０００に記憶された各種データを読み出したりする処理を行う。
≪加速度測定装置５０の機能構成≫
加速度測定装置５０は、通信部５１、加速度検出部５２、音出力部５３、及び記憶・読出部５９を有する。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ２０３上に展開された装置プログラム５０１０に従ったＣＰＵ２０１からの命令によって動作することで実現される。
また、加速度測定装置５０は、図４に示されているフラッシュメモリ２０４、ＲＯＭ２０２及びＲＡＭ２０３のいずれか１つ以上によって構築される記憶部５０００を有する。記憶部５０００には、装置プログラム５０１０が記憶されている。また、記憶部５０００には、加速度測定装置５０が測定した加速度等の測定値を含む測定データが記憶される。
通信部５１は、ＣＰＵ２０１からの命令、及び通信装置２１２等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
加速度検出部５２は、ＣＰＵ２０１からの命令、及び加速度・方位センサ２０５等によって実現され、加速度測定装置５０に生じる加速度を測定する。加速度は、一定間隔又は不定期に測定され、時間と共に変化する加速度が測定値として得られる。そして、加速度検出部５２は、時系列で得られた測定値を含む測定データを記憶部５０００に記憶する。
音出力部５３は、ＣＰＵ２０１からの命令、及び音声出力装置２１１等によって実現され、例えばブザー音等の音を出力する。
記憶・読出部５９は、ＣＰＵ２０１からの命令、フラッシュメモリ２０４、ＲＯＭ２０２、及びＲＡＭ２０３等により実現され、記憶部５０００に各種データを記憶したり、記憶部５０００に記憶された各種データを読み出したりする処理を行う。
≪全天球画像撮像装置６０の機能構成≫
全天球画像撮像装置６０は、通信部６１、撮像部６２、音出力部６３、及び記憶・読出部６９を有する。これら各部は、図５に示されている各構成要素のいずれかが、ＳＲＡＭ３１３又はＤＲＡＭ３１４に展開された撮像プログラム６０１０に従ったＣＰＵ３１１からの命令によって動作することで実現される。
また、全天球画像撮像装置６０は、図５に示されているＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって構築される記憶部６０００を有する。記憶部６０００には、撮像プログラム６０１０が記憶されている。また、記憶部６０００には、全天球画像撮像装置６０により撮像された画像データが記憶される。
通信部６１は、ＣＰＵ３１１からの命令、通信装置３１７、及び外部Ｉ／Ｆ３１６等によって実現され、ネットワークＮを介してサーバ１０と各種データの送受信を行う。
撮像部６２は、ＣＰＵ３１１からの命令、撮像ユニット３０１、及び画像処理ユニット３０４等によって実現され、全天球画像を撮像し画像データを生成する。すなわち、撮像部６２は、例えば、一定間隔又は不定期に撮像することで、撮像間隔毎のフレームデータが含まれる画像データを生成する。
音出力部６３は、ＣＰＵ３１１からの命令、及び音声出力装置３１９等によって実現され、例えばブザー音等の音を出力する。
なお、本実施形態では、上述したように、画像データは、動画の画像データであるものとして説明するが、これに限られず、静止画の画像データであっても良い。この場合、撮像部６２は、例えば、歩行者２００が歩行している間に、所定の時間の間隔毎に撮像することで、複数の画像データを生成すれば良い。
そして、撮像部６２は、時系列のフレームデータが含まれる画像データを記憶部６０００に記憶する。なお、撮像部６２は、静止画の画像データを生成した場合には、時系列の複数の画像データを記憶部６０００に記憶する。
記憶・読出部６９は、ＣＰＵ３１１からの命令、ＲＯＭ３１２、ＳＲＡＭ３１３及びＤＲＡＭ３１４のいずれか１つ以上によって実現され、記憶部６０００に各種データを記憶したり、記憶部６０００に記憶された各種データを読み出したりする処理を行う。
＜歩行者２００の歩行について＞
ここで、全天球画像撮像装置６０の周囲を歩行者２００がどのように歩行するかについて説明する。図７は、歩行者２００の歩行の一例を説明する図である。
図７に示すように、歩行者２００は、加速度測定装置５０を腰等に装着している。加速度測定装置５０が装着される場所は、歩行者２００の重心に近い場所であることが好ましいが、腰の他、胸、背中、胴部等に装着されても良い。また、歩行者２００は、複数台の加速度測定装置５０を装着していても良い。
歩行者２００は、右旋回部分と、左旋回部分と、直線部分とが含まれるラインＬ（８の字型のラインＬ）に沿って、全天球画像撮像装置６０Ａ及び６０Ｂの周囲を歩行する。このように、ラインＬに沿って歩行者２００が歩行することで、指導者等は、歩行者２００が右に旋回して歩行している場合の歩行動作、左に旋回している場合の歩行動作、及び直進している場合の歩行動作を効率的に評価することができる。
なお、複数の歩行者２００間の歩行動作の比較を容易にするため、又は歩行者２００自身が歩行する経路を認識できるように、ラインＬ上にマーカ等が配置されていても良い。これにより、指導者等は、表示画像データを確認する際に、全天球画像撮像装置６０に対する歩行者２００の位置を容易に把握できる。
なお、歩行者２００がラインＬに沿って歩行している間、加速度測定装置５０は、歩行者２００の加速度を測定している。歩行者２００と加速度測定装置５０の相対位置は固定されているものとして、歩行者２００の進行方向（前方）をｘ方向、左右方向をｙ方向、垂直方向をｚ方向とする。
また、歩行者２００は８の字型のラインＬ全体を歩行しなければならないわけではなく、歩行動作の評価に適切な距離以上、歩行すれば良い。すなわち、歩行者２００は、例えば、ラインＬに含まれる２箇所の直線部分については、どちらか一方を歩行すれば良い。また、歩行者２００は、所定の回数、８の字型のラインＬを周回しても良い。
＜動作手順＞
次に、本実施形態に係る画像表示システム１００の動作手順について説明する。
≪全体的な動作≫
図８は、画像表示システム１００の全体的な動作の一例を説明するシーケンス図である。図８は、サーバ１０が、加速度測定装置５０及び全天球画像撮像装置６０に対して、それぞれ測定開始の要求及び撮像開始の要求を行う場合のシーケンス図である。
まず、歩行動作の測定を始める際、指導者等は、歩行動作の測定を開始するための操作をサーバ１０に入力する。すると、サーバ１０の操作入力受付部１４は、指導者等の操作を受け付ける（ステップＳ１０１）。
次に、サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作を受け付けると、通信部１１を介して、測定開始要求を加速度測定装置５０に送信する（ステップＳ１０２）。
加速度測定装置５０の音出力部５３は、通信部５１により測定開始要求を受信すると、ブザー音等を出力する（ステップＳ１０３）。これにより、歩行者２００は、歩行を開始して良いことを知ることができる。
なお、加速度測定装置５０は、例えば、「歩行を開始して下さい」等の音声メッセージ、バイブレーション機能による振動、ディスプレイ２１４へのメッセージの表示、ディスプレイ２１４の明滅等により歩行者２００に歩行開始を知らせても良い。
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像開始要求を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ送信する（ステップＳ１０４及びＳ１０５）。
全天球画像撮像装置６０Ａ及び６０Ｂの音出力部６３は、通信部６１により撮像開始要求を受信すると、それぞれブザー音等を出力する（ステップＳ１０６及びＳ１０７）。これにより、上記と同様に、歩行者２００は、歩行を開始して良いことを知ることができる。
なお、全天球画像撮像装置６０は、上記のステップＳ１０３と同様に、音声メッセージや振動等により歩行者２００に歩行開始を知らせても良い。
また、全天球画像撮像装置６０は、歩行者２００の視野に入る場合があるので、例えば、パトランプ等を点灯させても良い。これにより、歩行者２００だけでなく周囲の指導者等も、歩行者２００が歩行を開始して良いことを知ることができる。
なお、ステップＳ１０３、ステップＳ１０６、及びステップＳ１０７のブザーによる通知は、いずれか１つが行われれば良い。
次に、加速度測定装置５０の加速度検出部５２は、加速度の測定を開始する（ステップＳ１０８）。そして、加速度測定装置５０の加速度検出部５２は、歩行者２００が歩行している間に生じる加速度を測定して、時系列で得られた測定値を含む測定データを記憶部５０００に記憶させる。
また、全天球画像撮像装置６０Ａ及び６０Ｂの撮像部６２は、それぞれ撮像を開始する（ステップＳ１０９及びＳ１１０）。そして、全天球画像撮像装置６０Ａ及び６０Ｂの撮像部６２は、それぞれ、歩行する歩行者２００を撮像することで得られた画像データＡ及び画像データＢを記憶部６０００に記憶させる。
このように、加速度測定装置５０及び全天球画像撮像装置６０は、サーバ１０からの指示により、測定データの測定開始と画像データの撮像開始とをほぼ同時に同期させることができる。
なお、ステップＳ１０２、ステップＳ１０４、及びステップＳ１０５の順序は順不同である。サーバ１０は、同時期に、測定開始要求と撮像開始要求とを、それぞれ加速度測定装置５０と全天球画像撮像装置６０に送信すれば良い。
次に、例えば、歩行者２００が十分に歩行したと指導者等が判断した場合、指導者等は、歩行動作の測定を終了する操作をサーバ１０に入力する。すると、サーバ１０の操作入力受付部１４は、指導者等の操作を受け付ける（ステップＳ１１１）。
次に、サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作を受け付けると、通信部１１を介して、測定終了要求を加速度測定装置５０に送信する（ステップＳ１１２）。そして、加速度測定装置５０の加速度検出部５２は、通信部５１により測定終了要求を受信すると、加速度の測定を終了する。なお、ステップＳ１０３と同様に、測定の終了をブザー等で歩行者２００等に通知しても良い。
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像終了要求を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ送信する（ステップＳ１１３及びＳ１１４）。そして、全天球画像撮像装置６０の撮像部６２は、通信部６１により撮像終了要求を受信すると、撮像を終了する。なお、ステップＳ１０６及びステップＳ１０７と同様に、撮像の終了をブザー等で歩行者２００等に通知しても良い。
このように、加速度測定装置５０及び全天球画像撮像装置６０は、サーバ１０からの指示により、測定データの測定終了と画像データの撮像終了とをほぼ同時に同期させることができる。
なお、ステップＳ１１２、ステップＳ１１３、及びステップＳ１１４の順序は順不同である。サーバ１０は、同時期に、測定終了要求と撮像終了要求とを、それぞれ加速度測定装置５０と全天球画像撮像装置６０に送信すれば良い。
次に、加速度測定装置５０の通信部５１は、記憶部５０００に記憶されている測定データをサーバ１０に送信する（ステップＳ１１５）。また、全天球画像撮像装置６０Ａ及び６０Ｂの通信部６１は、それぞれ記憶部６０００に記憶されている画像データＡ及び画像Ｂをサーバ１０に送信する（ステップＳ１１６及びＳ１１７）。
次に、サーバ１０の加速度データ加工部１３は、通信部１１により測定データ、画像データＡ、及び画像データＢを受信すると、測定データを測定データＤＢ１００１に、画像データＡ及び画像データＢを画像データＤＢ１００２にそれぞれ記憶させる。そして、加速度データ加工部１３は、離散的なデータである測定データを、例えば、折線グラフ等で表される連続的なデータに加工する（ステップＳ１１８）。なお、このような加工は、表示装置３０が行っても良い。
次に、サーバ１０の画像調整部１２は、測定データと画像データＡの時間軸、及び測定データと画像データＢの時間軸をそれぞれ同期させる処理を行う（ステップＳ１１９）。すなわち、画像調整部１２は、測定データに含まれる各測定値と、画像データＡに含まれる各フレームデータＡとを対応付ける。同様に、画像調整部１２は、測定データに含まれる各測定値と、画像データＢに含まれる各フレームデータＢとを対応付ける。
ここで、測定データ及び画像データは、ほぼ同じ時間で取得されているが、測定データのデータ数（測定値の数）と、画像データのデータ数（フレームデータの数）とは異なっている場合が多い。このため、画像調整部１２は、測定データと画像データとを対応付けることで時間軸を同期させる。測定開始時刻と撮像開始時刻とがほぼ同じで、測定終了時刻と撮像終了時刻とがほぼ同じなので、画像調整部１２は、測定データと画像データのデータ数の比率で時間軸を同期させることができる。
例えば、測定データのデータ数が２００、画像データのデータ数が４００の場合、画像データに含まれる２つのフレームデータを、測定データに含まれる１つの測定値に対応付ければ良い。又は、測定時間に対する各測定値の測定時刻の比と、撮像時間に対する各フレームデータの撮像時刻の比とをそれぞれ算出し、比が最も近いフレームデータと測定値とを対応付けても良い。又は、測定開始からの経過時間と、撮像開始からの経過時間とがほぼ同じ測定値とフレームデータとを対応付けても良い。
また、後述するように、測定開始時刻、測定終了時刻、撮像開始時刻、及び撮像終了時刻の絶対時刻が得られる場合には、画像調整部１２は、次のようにして、測定データと画像データとを対応付けても良い。すなわち、画像調整部１２は、測定開始時刻から測定終了時刻までの時間と、撮像開始時刻から撮像終了時刻までの時間との重複部分における測定値及びフレームデータを取り出して、上記と同様の比率計算等で対応付ければ良い。
次に、サーバ１０の表示画像作成部１６は、画像データＡ及び画像データＢに基づいて、表示画像データを作成する（ステップＳ１２０）。すなわち、例えば、表示画像作成部１６は、同時刻における画像データＡに含まれるフレームデータＡ及び画像データＢに含まれるフレームデータＢを取得する。そして、表示画像作成部１６は、取得したフレームデータＡにより表示されるフレーム画像Ａと、フレームデータＢにより表示されるフレーム画像Ｂとを比較して、歩行者２００がより大きく写っている方のフレームデータが含まれるように表示画像データを作成する。
これにより、全天球画像撮像装置６０Ａと全天球画像撮像装置６０Ｂのそれぞれで撮像された画像のうち、歩行者２００がより大きく写っている方の画像を表示装置３０に表示させることができるようになる。このため、指導者等は、歩行者２００の歩行動作を確認し易くなる。なお、ステップＳ１２０の処理の詳細については後述する。
次に、サーバ１０の通信部１１は、測定データと表示画像データとを表示装置３０に送信する（ステップＳ１２１及びＳ１２２）。
具体的には、例えば、指導者等は、表示装置３０等を介して、サーバ１０に測定データと表示画像データとを要求する。又は、指導者等は、測定データと表示画像データとを要求する操作をサーバ１０に対して行って、サーバ１０の操作入力受付部１４がこの操作を受け付けても良い。又は、表示装置３０がポーリング等により、測定データと表示画像データの有無を問い合わせて、この問い合わせに対してサーバ１０が測定データと表示画像データを表示装置３０に送信しても良い。
次に、表示装置３０の表示制御部３２は、通信部３１により測定データと表示画像データとを受信すると、ディスプレイ１０８に測定データと表示画像データとを同じ時間軸で表示する（ステップＳ１２３）。なお、測定データと表示画像データとを表示するための処理については、後述する。
≪全体的な動作の変形例（その１）≫
ここで、画像表示システム１００の全体的な動作の変形例（その１）について説明する。図９は、画像表示システム１００の全体的な動作の変形例（その１）を説明するシーケンス図である。図９に示す変形例（その１）では、測定開始の契機が図８と異なる。なお、図９のステップＳ２０３〜ステップＳ２１１及びステップＳ２１４〜ステップＳ２２５は、それぞれ、図８のステップＳ１０２〜ステップＳ１１０及びステップＳ１１２〜ステップＳ１２３と同様であるため、その説明を省略する。
まず、歩行動作の測定を始める際、指導者等は、歩行動作の測定を開始するための操作を表示装置３０に入力する。すると、表示装置３０の操作入力受付部３３は、指導者等の操作を受け付ける（ステップＳ２０１）。
次に、表示装置３０の通信部３１は、操作入力受付部３３により指導者等の操作を受け付けると、測定開始要求をサーバ１０に送信する（ステップＳ２０２）。なお、表示装置３０は、例えば、ＨＴＴＰ（Hypertext Transfer Protocol）等でサーバ１０と通信することができる。また、測定開始要求は、加速度の測定開始と歩行者２００の撮像開始のうちの少なくとも一方を要求するものである。
例えば、歩行者２００が十分に歩行したと指導者等が判断した場合、指導者等は、歩行動作の測定を終了する操作を表示装置３０に入力する。すると、表示装置３０の操作入力受付部３３は、指導者等の操作を受け付ける（ステップＳ２１２）。
次に、表示装置３０の通信部３１は、操作入力受付部３３により指導者等の操作を受け付けると、測定終了要求をサーバ１０に送信する（ステップＳ２１３）。なお、測定終了要求は、加速度の測定終了と歩行者２００の撮像終了のうちの少なくとも一方を要求するものである。
このように、図９に示す全体的な動作の変形例（その１）では、指導者等は、サーバ１０を操作しなくても表示装置３０から測定開始と測定終了をサーバ１０に要求することができる。このため、指導者等が表示装置３０を操作している場合は、指導者等は、サーバ１０まで移動する必要なく、測定を開始することができる。
≪全体的な動作の変形例（その２）≫
次に、画像表示システム１００の全体的な動作の変形例（その２）について説明する。図１０は、画像表示システム１００の全体的な動作の変形例（その２）を説明するシーケンス図である。図１０に示す変形例（その２）では、歩行者２００が歩行を開始したことを測定開始の契機とするものである。歩行者２００は、例えば、指導者等の指示等により歩行を開始及び終了する。又は、ラインＬ上のスタート位置から歩行を開始して、ラインＬを一周してスタート位置に戻ること等で歩行を終了する。なお、図１０のステップＳ３０６〜ステップＳ３１０及びステップＳ３１５〜ステップ３２３は、それぞれ、図８のステップＳ１０８〜ステップＳ１１０及びステップＳ１１５〜ステップＳ１２３と同様であるため、その説明を省略する。
まず、加速度測定装置５０の加速度検出部５２は、加速度に基づいて歩行者２００が歩行を開始したことを検知する（ステップＳ３０１）。
例えば、加速度検出部５２は、ｘ方向、ｙ方向、及びｚ方向うちの１つ以上で閾値以上の加速度が検出されたことで、歩行者２００が歩行を開始したことを検知することができる。また、例えば、加速度検出部５２は、加速度を２回積分して得られる単位時間当たりの位置の変化が閾値以上になったことで、歩行者２００が歩行を開始したことを検知しても良い。これら以外にも、加速度検出部５２は、例えば、ジャイロセンサ２０６が検出する角速度や、ＧＰＳ受信装置２１３が検出する位置、加速度・方位センサ２０５が検出する方位等に基づいて、歩行者２００が歩行を開始したことを検知しても良い。
そして、加速度測定装置５０の加速度検出部５２は、歩行者２００の歩行の開始を検知したことで、加速度の測定を開始する。
次に、加速度測定装置５０の通信部５１は、歩行開始通知をサーバ１０に送信する（ステップＳ３０２）。また、加速度測定装置５０の音出力部５３は、歩行が開始されたことを知らせるためのブザー音等を出力する（ステップＳ３０３）。
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像開始要求を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ送信する（ステップＳ３０４及びＳ３０５）。なお、加速度測定装置５０は、全天球画像撮像装置６０Ａ及び６０Ｂに、撮像開始要求として、それぞれ歩行開始通知を送信しても良い。
加速度測定装置５０の加速度検出部５２は、加速度に基づいて歩行者２００が歩行を停止したことを検知する（ステップＳ３１１）。
例えば、加速度検出部５２は、ｘ方向、ｙ方向及びｚ方向の１つ以上で閾値以上の加速度が検出されなくなったことで、歩行者２００が歩行を停止したことを検知することができる。また、例えば、加速度検出部５２は、加速度を２回積分して得られる単位時間の位置の変化が閾値未満になったことで、歩行者２００が歩行を停止したことを検知しても良い。これら以外にも、加速度検出部５２は、例えば、ジャイロセンサ２０６が検出する角速度や、ＧＰＳ受信装置２１３が検出する位置、加速度・方位センサ２０５が検出する方位等に基づいて、歩行者２００が歩行を停止したことを検知しても良い。
そして、加速度検出部５２は、歩行者２００の歩行の停止を検知したことで、加速度の測定を終了する。
加速度測定装置５０の通信部５１は、歩行終了通知をサーバ１０に送信する（ステップＳ３１２）。
次に、サーバ１０の同期指示部１５は、通信部１１を介して、撮像終了要求を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ送信する（ステップＳ３１３及びＳ３１４）。なお、加速度測定装置５０は、全天球画像撮像装置６０Ａ及び６０Ｂに、撮像終了要求として、それぞれ歩行終了通知を送信しても良い。
このように、図１０に示す全体的な動作の変形例（その２）では、指導者等が測定開始や測定終了等の操作を行わなくても、歩行動作の測定を開始及び終了することができる。
≪全体的な動作の変形例（その３）≫
次に、画像表示システム１００の全体的な動作の変形例（その３）について説明する。図１１は、画像表示システム１００の全体的な動作の変形例（その３）を説明するシーケンス図である。図１１に示す変形例（その３）では、絶対時刻を用いて測定データと画像データとを同期させるものである。なお、図１１におけるステップＳ４０１〜ステップＳ４０３、ステップＳ４０５〜ステップＳ４０８、及びステップＳ４１１〜ステップＳ４１５は、それぞれ、図８のステップＳ１０１〜ステップＳ１０３、ステップＳ１０４〜ステップＳ１０７、及びステップＳ１０８〜ステップＳ１１２と同様であるため、その説明を省略する。また、図１１におけるステップＳ４１７〜ステップＳ４１８及びステップＳ４２１〜ステップＳ４２９は、それぞれ、図８のステップＳ１１３〜ステップＳ１１４及びステップＳ１１５〜ステップＳ１２３と同様であるため、その説明を省略する。
加速度測定装置５０の通信部５１は、測定開始要求を受信すると、開始時刻要求をサーバ１０に送信する（ステップＳ４０４）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、加速度測定装置５０が測定を開始した絶対時刻（測定開始時刻）を返信する。これにより、加速度測定装置５０は、測定開始時刻を得ることができる。
次に、全天球画像撮像装置６０Ａ及び６０Ｂの通信部６１は、撮像開始要求を受信すると、それぞれ、開始時刻要求をサーバ１０に送信する（ステップＳ４０９及びＳ４１０）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、全天球画像撮像装置６０Ａ及び６０Ｂが撮像を開始した絶対時刻（撮像開始時刻）を返信する。これにより、全天球画像撮像装置６０Ａ及び６０Ｂは、それぞれ撮像開始時刻を得ることができる。
加速度測定装置５０の通信部５１は、測定終了要求を受信すると、終了時刻要求をサーバ１０に送信する（ステップＳ４１６）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、加速度測定装置５０が測定を終了した絶対時刻（測定終了時刻）を返信する。これにより、加速度測定装置５０は、測定終了時刻を得ることができる。
全天球画像撮像装置６０Ａ及び６０Ｂの通信部６１は、撮像終了要求を受信すると、それぞれ、終了時刻要求をサーバ１０に送信する（ステップＳ４１９及びＳ４２０）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、全天球画像撮像装置６０Ａ及び６０Ｂが撮像を終了した絶対時刻（撮像終了時刻）を返信する。これにより、全天球画像撮像装置６０Ａ及び６０Ｂは、それぞれ撮像終了時刻を得ることができる。
このように、図１１に示す全体的な動作の変形例（その３）では、サーバ１０は、測定開始時刻と測定終了時刻を加速度測定装置５０に返信すると共に、撮像開始時刻と撮像終了時刻を全天球画像撮像装置６０に返信する。このため、変形例（その３）では、サーバ１０は、ステップＳ４２４において、測定データと画像データとを絶対時刻に基づいて対応付ける。したがって、例えば、何らかの理由で加速度の測定開始と撮像開始との間や、加速度の測定終了と撮像終了との間にタイムラグ等が発生しても、サーバ１０は、測定データと画像データの時間軸を同期させることができるようになる。
≪全体的な動作の変形例（その４）≫
次に、画像表示システム１００の全体的な動作の変形例（その４）について説明する。図１２は、画像表示システム１００の全体的な動作の変形例（その４）を説明するシーケンス図である。図１２に示す変形例（その４）では、加速度測定装置５０が全天球画像撮像装置６０に撮像開始要求を送信すると共に、全天球画像撮像装置６０からの要求に応じて、絶対時刻を返信するものである。なお、図１２のステップＳ５０１〜ステップＳ５０２及びステップＳ５０８は、それぞれ、図８のステップＳ１０１〜ステップＳ１０２及びステップＳ１０３と同様であるため、その説明を省略する。また、図１２のステップＳ５０９〜ステップＳ５１５及びステップＳ５２１〜ステップＳ５２９は、それぞれ、図８のステップＳ１０６〜ステップＳ１１２及びステップＳ１１５〜ステップＳ１２３と同様であるため、その説明を省略する。
加速度測定装置５０の通信部５１は、測定開始要求を受信すると、全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ撮像開始要求を送信する（ステップＳ５０３及びステップＳ５０４）。
全天球画像撮像装置６０Ａ及び６０Ｂの通信部６１は、撮像開始要求を受信すると、それぞれ開始時刻要求を加速度測定装置５０に送信する（ステップＳ５０５及びステップＳ５０６）。
次に、加速度測定装置５０の通信部５１は、開始時刻要求を受信すると、開始時刻要求をサーバ１０に送信する（ステップＳ５０７）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、測定開始時刻を返信する。そして、加速度測定装置５０の通信部５１は、測定開始時刻を受信すると、撮像開始時刻を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ返信する。
なお、加速度測定装置５０は、サーバ１０から受信した測定開始時刻と同じ時刻を、撮像開始時刻として全天球画像撮像装置６０に返信すれば良い。
なお、ステップＳ５０５及びステップＳ５０６において、加速度測定装置５０が保持している時刻（現在の時刻）を撮像開始時刻として全天球画像撮像装置６０に返信しても良い。加速度測定装置５０は、現在の時刻から加速度の測定を開始すると共に、全天球画像撮像装置６０は撮像開始時刻から撮像を開始するので、測定開始時刻と撮像開始時刻とを同期させることができる。
加速度測定装置５０の通信部５１は、測定終了要求を受信すると、全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ撮像終了要求を送信する（ステップＳ５１６及びステップＳ５１７）。
全天球画像撮像装置６０Ａ及び６０Ｂの通信部６１は、撮像終了要求を受信すると、終了時刻要求を加速度測定装置５０に送信する（ステップＳ５１８及びステップＳ５１９）。
次に、加速度測定装置５０の通信部５１は、終了時刻要求を受信すると、終了時刻要求をサーバ１０に送信する（ステップＳ５２０）。すると、サーバ１０の同期指示部１５は、通信部１１を介して、測定終了時刻を返信する。そして、加速度測定装置５０の通信部５１は、測定終了時刻を受信すると、撮像終了時刻を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ返信する。
なお、加速度測定装置５０は、サーバ１０から受信した測定終了時刻と同じ時刻を、撮像終了時刻として全天球画像撮像装置６０に返信すれば良い。
なお、ステップＳ５１８及びステップＳ５１９において、加速度測定装置５０が保持している時刻（現在の時刻）を撮像終了時刻として全天球画像撮像装置６０に返信しても良い。加速度測定装置５０は、現在の時刻で加速度の測定を終了すると共に、全天球画像撮像装置６０は撮像終了時刻に撮像を終了するので、測定終了時刻と撮像終了時刻とを同期させることができる。
≪全体的な動作の変形例（その５）≫
次に、画像表示システム１００の全体的な動作の変形例（その５）について説明する。図１３は、画像表示システム１００の全体的な動作の変形例（その５）を説明するシーケンス図である。図１３に示す変形例（その５）では、複数台の全天球画像撮像装置６０のうち、一台の全天球画像撮像装置６０が、他の全天球画像撮像装置６０に撮像開始を要求すると共に、加速度測定装置５０に測定開始を要求するものである。なお、図１３のステップＳ６０１及びステップＳ６０５は、それぞれ、図８のステップＳ１０１及び１０３と同様であるため、その説明を省略する。また、図１３のステップＳ６０６〜ステップＳ６１１及びステップＳ６１８〜ステップＳ６２３は、それぞれ、図８のステップＳ１０６〜ステップＳ１１１及びステップＳ１１８〜ステップＳ１２３と同様であるため、その説明を省略する。
サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作（歩行動作の測定を開始するための操作）を受け付けると、通信部１１を介して、撮像開始要求を全天球画像撮像装置６０Ａに送信する（ステップＳ６０２）。なお、通信部１１は、複数の全天球画像撮像装置６０のうち、予め設定された一台の全天球画像撮像装置６０に撮像開始要求を送信する。したがって、通信部１１は、例えば、全天球画像撮像装置６０Ｂに撮像開始要求を送信しても良い。以降では、サーバ１０の通信部１１は、全天球画像撮像装置６０Ａに撮像開始要求を送信した場合について説明する。
次に、全天球画像撮像装置６０Ａの通信部６１は、撮像開始要求を受信すると、測定開始要求を加速度測定装置５０に送信すると共に、撮像開始要求を全天球画像撮像装置６０Ｂに送信する（ステップＳ６０３及びステップＳ６０４）。このように、複数の全天球画像撮像装置６０のうちの一の全天球画像撮像装置６０が撮像開始要求を受信すると、当該一の全天球画像撮像装置６０は、加速度測定装置５０に測定開始要求を送信すると共に、他の全天球画像撮像装置６０に撮像開始要求を送信する。
サーバ１０の同期指示部１５は、操作入力受付部１４により指導者等の操作（歩行動作の測定を終了するための操作）を受け付けると、通信部１１を介して、撮像終了要求を全天球画像撮像装置６０Ａに送信する（ステップＳ６１２）。
次に、全天球画像撮像装置６０Ａの通信部６１は、撮像終了要求を受信すると、測定終了要求を加速度測定装置５０に送信すると共に、撮像終了要求を全天球画像撮像装置６０Ｂに送信する（ステップＳ６１３及びステップＳ６１４）。このように、複数の全天球画像撮像装置６０のうちの一の全天球画像撮像装置６０が撮像終了要求を受信すると、当該一の全天球画像撮像装置６０は、加速度測定装置５０に測定終了要求を送信すると共に、他の全天球画像撮像装置６０に撮像終了要求を送信する。
次に、加速度測定装置５０の通信部５１は、記憶部５０００に記憶されている測定データを全天球画像撮像装置６０Ａに送信する（ステップＳ６１５）。また、全天球画像撮像装置６０Ｂの通信部６１は、記憶部６０００に記憶されている画像データＢを全天球画像撮像装置６０Ａに送信する（ステップＳ６１６）。
次に、全天球画像撮像装置６０Ａの通信部５１は、加速度測定装置５０及び全天球画像撮像装置６０からそれぞれ受信した測定データ及び画像データＢを、記憶部６０００に記憶されている画像データＡと共に、サーバ１０に送信する（ステップＳ６１７）。
このように、図１３に示す全体的な動作の変形例（その５）では、１台の全天球画像撮像装置６０が中継して、加速度測定装置５０や他の全天球画像撮像装置６０に開始要求を送信する。このため、例えば、加速度測定装置５０や他の全天球画像撮像装置６０等がネットワークＮに接続されていない場合に、１台の全天球画像撮像装置６０により、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信を用いて、開始要求を送信することができる。
≪表示画像の作成処理≫
次に、図８のステップＳ１２０等の表示画像の作成処理について説明する。図１４は、表示画像作成処理の一例を説明するフローチャートである。ここで、以降では、全天球画像撮像装置６０により生成された画像データには、時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）毎に、Ｎ個のフレームデータが含まれているものとする。なお、Δｔｎ＝ｔｎ−ｔｎ−１（ｎ＝２，３，・・・，Ｎ）は、撮像間隔である。
まず、表示画像作成部１６は、時刻ｔ＝ｔｎ（ｎ＝２）とする（ステップＳ７０１）。
次に、表示画像作成部１６は、画像データＡ及び画像データＢのそれぞれから時刻ｔのフレームデータＡ及びフレームデータＢを取得する（ステップＳ７０２）。
次に、表示画像作成部１６は、フレームデータＡ及びフレームデータＢのそれぞれについて、１つ前のフレームデータ（すなわち、時刻ｔ＝ｔｎ−１のフレームデータ）との差分から歩行者２００が写っている矩形領域を特定する（ステップＳ７０３）。
ここで、歩行者２００が写っている矩形領域の特定について、図１５を用いて説明する。図１５は、歩行者２００が写っている矩形領域の特定の一例を模式的に説明する図である。
まず、図１５（ａ）では、ｔ＝ｔｎのフレームデータが表示するフレーム画像１８１と、ｔ＝ｔｎ−１のフレームデータが表示するフレーム画像１８２（すなわち、フレーム画像１８１の直前のフレーム画像）とが表示されている。なお、例えば、フレームレートが３０ｆｐｓであれば、フレーム画像１８１と、その直前のフレーム画像１８２との間に、約３３（ミリ秒）の間隔がある。
なお、フレーム画像１８１と、その直前のフレーム画像１８２でなく、フレーム画像１８１に対して、数フレーム前のフレーム画像をフレーム画像１８２としても良い。
表示画像作成部１６は、フレーム画像１８１と、その直前のフレーム画像１８２の差分を算出する。差分とは、フレーム画像１８１とフレーム画像１８２との同じ位置の画素の画素値を引き算することをいう。なお、全く同じ被写体が映っていても（動体がなくても）蛍光灯の点滅、遠方の人の動き、影の変化等により差分がゼロにならない場合があるので、差分が閾値未満の場合はゼロと見なす。
図１５（ｂ）は、差分画像の一例である。図１５（ｂ）では、差分が閾値以上の画素が白画素に置き換えられている。したがって、フレーム画像１８１と直前のフレーム画像１８２とを比較すると、白画素に重なるように歩行者２００が存在する可能性が高いといえる。
次に、図１５（ｃ）に示すように、表示画像作成部１６は、白画素に画素膨張処理を複数回実行する。画素膨張処理とは、白画素に接した８画素（又は上下左右に隣接した４画素）を白画素に置き換える処理である。複数回の画素膨張処理により白画素に接した画素が辿られるため、回数が増える毎に白画素が膨張するように見える。
なお、複数回とは、例えば、８回や１０回等、予め決められた数であり、実験的に好適値が定められている。又は、白画素の面積が一定以上になった場合に、画素膨張処理を止めても良い。
画素膨張処理を複数回実行することで、フレーム画像１８１と直前のフレーム画像１８２との差分を算出した直後では点在していた白画素が、大きさを持った塊になる。歩行者２００の場合は差分画像が縦長なので、画素膨張処理により白画素は縦方向に大きくなり、動体よりもやや大きな（歩行者２００よりやや大きい範囲）を特定できる。
次に、図１５（ｄ）に示すように、白画素が連続する領域の外接矩形を矩形領域６０１として特定する。これにより、歩行者２００が写っている矩形領域６０１が特定される。なお、全天球画像撮像装置６０の周囲には歩行者２００以外の動体が存在する可能性があるため、複数の矩形領域６０１が検出された場合は、例えば、矩形領域６０１のうち、面積が最も大きい矩形領域６０１を歩行者２００が写っているものとすれば良い。
図１４に戻る。表示画像作成部１６は、フレームデータＡ及びフレームデータＢのうち、上記のステップＳ７０３で特定された矩形領域が大きい（すなわち、面積が大きい）方のフレームデータを、表示フレームデータとする（ステップＳ７０４）。すなわち、表示画像作成部１６は、上記のステップＳ７０３で特定された矩形領域が大きい方のフレームデータを、表示画像データにおける時刻ｔ＝ｔｎのフレーム画像を表示するフレームデータ（表示フレームデータ）とする。
次に、表示画像作成部１６は、ｎがＮ未満であるか否かを判定する（ステップＳ７０５）。そして、表示画像作成部１６は、ｎがＮ未満である場合、ｎに１を加算して（ステップＳ７０６）、ステップＳ７０２に戻る。このように、表示画像作成部１６は、ｎ＝２〜Ｎに対して、フレームデータＡ及びフレームデータＢのうち、歩行者２００が大きく写っているフレームデータを、時刻ｔ＝ｔｎの表示フレームデータとする。
一方、表示画像作成部１６は、ｎがＮ未満でない場合、各時刻ｔ＝ｔｎ（ｎ＝１，２，・・・，Ｎ）の表示フレームデータを含む表示画像データを作成する（ステップＳ７０７）。表示画像作成部１６は、このように表示画像データを作成することで、フレームデータＡ及びフレームデータＢのうち、歩行者２００が大きく写っているフレームデータを表示フレームデータとした表示画像データを作成することができる。なお、ｎ＝１については、表示画像作成部１６は、ｎ＝２のときに表示フレームデータとしたフレームデータの直前のフレームデータを表示フレームデータとすれば良い。
なお、例えば、表示装置３０においてストリーミング等により表示画像データを再生する場合には、サーバ１０は、上記のステップＳ７０４の処理が実行された後に、表示フレームデータを表示装置３０に送信すれば良い。
≪表示画像の作成処理の変形例≫
次に、図８のステップＳ１２０等の表示画像の作成処理の変形例について説明する。図１６は、表示画像作成処理の変形例を説明するフローチャートである。図１６に示す表示画像作成処理の変形例では、直後のフレームデータにおける歩行者２００の矩形領域の大きさにも基づいて表示フレームデータを決めるものである。これにより、表示画像作成部１６は、歩行者２００が近付いている方向にある全天球画像撮像装置６０により撮像された画像データを表示することができる。言い換えれば、表示画像作成部１６は、歩行者２００の正面が撮像された画像データを表示することができる。
まず、表示画像作成部１６は、時刻ｔ＝ｔｎ（ｎ＝２）とする（ステップＳ８０１）。
次に、表示画像作成部１６は、画像データＡ及び画像データＢのそれぞれから時刻ｔ＝ｔｎ（ｎ＝２）のフレームデータＡ及びフレームデータＢを取得する（ステップＳ８０２）。
次に、表示画像作成部１６は、フレームデータＡ及びフレームデータＢのそれぞれについて、１つ前のフレームデータ（すなわち、時刻ｔ＝ｔｎ−１のフレームデータ）との差分から歩行者２００が写っている矩形領域を特定する（ステップＳ８０３）。これは、図１４のステップＳ７０３と同様の方法で矩形領域を特定すれば良い。
次に、表示画像作成部１６は、フレームデータＡ及びフレームデータＢのうち、上記のステップＳ８０３で特定された矩形領域が大きい（すなわち、面積が大きい）方のフレームデータを、時刻ｔ＝ｔｎ（ｎ＝２）の表示フレームデータとする（ステップＳ８０４）。
次に、表示画像作成部１６は、ｎがＮ未満であるか否かを判定する（ステップＳ８０５）。そして、表示画像作成部１６は、ｎがＮ未満である場合、ステップＳ８０６〜ステップＳ８１０を行う。
すなわち、まず、表示画像作成部１６は、表示フレームデータとしたフレームデータと、当該フレームデータが含まれる画像データにおける直後のフレームデータ（すなわち、時刻ｔ＝ｔｎ＋１のフレームデータ）との矩形領域を比較する（ステップＳ８０６）。例えば、時刻ｔ＝ｔｎの表示フレームデータがフレームデータＡである場合、表示画像作成部は、当該フレームデータＡと、時刻ｔ＝ｔｎ＋１のフレームデータＡとで、歩行者２００が写っている矩形領域の大きさを比較する。なお、矩形領域の特定方法は、図１４のステップＳ７０３と同様の方法を用いれば良い。
次に、表示画像作成部１６は、時刻ｔ＝ｔｎ＋１のフレームデータの矩形領域の方が小さいか否かを判定する（ステップＳ８０７）。そして、表示画像作成部１６は、時刻ｔ＝ｔｎ＋１のフレームデータの矩形領域の方が小さいと判定した場合、画像データを切り替えて、切り替えた画像データにおける時刻ｔ＝ｔｎ＋１のフレームデータを表示フレームデータとする（ステップＳ８０８）。
例えば、時刻ｔ＝ｔｎの表示フレームデータがフレームデータＡである場合、表示画像作成部１６は、画像データＡから画像データＢに切り替えて、画像データＢにおける時刻ｔ＝ｔｎ＋１のフレームデータＢを、時刻ｔ＝ｔｎ＋１の表示フレームデータとする。
一方、表示画像作成部１６は、時刻ｔ＝ｔｎ＋１のフレームデータの矩形領域の方が小さいと判定しなかった場合、当該フレームデータを表示フレームデータとする（ステップＳ８０９）。
例えば、時刻ｔ＝ｔｎの表示フレームデータがフレームデータＡである場合、表示画像作成部１６は、画像データＡにおける時刻ｔ＝ｔｎ＋１のフレームデータを、表示画像データにおける時刻ｔ＝ｔｎ＋１の時刻表示フレームデータとする。
このように、表示画像作成部１６は、表示フレームデータとしたフレームデータが含まれる画像データにおける次のフレームデータにおいて、歩行者２００の矩形領域が小さくなったか否かを判定する。そして、表示画像作成部１６は、当該矩形領域が小さくなった場合に、画像データを他の画像データに切り替える。これにより、歩行者２００が全天球画像撮像装置６０から離れていく方向に移動している場合に、他の画像データに切り替えて表示することができる。言い換えれば、歩行者２００が近付いていく方向にある全天球画像撮像装置６０により撮像された画像データを表示することができる。
次に、表示画像作成部１６は、ｎに１を加算して（ステップＳ８１０）、ステップＳ８０５に戻る。
また、表示画像作成部１６は、ステップＳ８０５においてｎがＮ未満でない場合、表示フレームデータとしたフレームデータが含まれる画像データにおける時刻ｔ＝ｔｎのフレームデータを表示フレームデータとする（ステップＳ８１１）。
そして、表示画像作成部１６は、表示フレームデータを含む表示画像データを作成する（ステップＳ８１２）。このように表示画像データを作成することで、フレームデータＡ及びフレームデータＢのうち、歩行者２００が正面を向いているフレームデータを表示フレームデータとした表示画像データを作成することができる。したがって、例えば、指導者等は、歩行者２００の歩行を容易に確認及び評価することができるようになる。
なお、ｎ＝１については、表示画像作成部１６は、ｎ＝２のときに表示フレームデータとしたフレームデータの直前のフレームデータを表示フレームデータとすれば良い。
なお、図８のステップＳ８０７では、表示画像作成部１６は、時刻ｔ＝ｔｎ＋１のフレームデータの矩形領域の方が小さいか否かを判定したが、当該矩形領域の方が大きいか否かを判定しても良い。そして、表示画像作成部１６は、当該矩形領域の方が大きい場合に、当該フレームデータを表示フレームデータとしても良い。
＜歩行者２００の歩行の他の例について＞
ここで、歩行者２００の歩行の他の例について説明する。図１７は、歩行者２００の歩行の他の例を説明する図である。
図１７（ａ）に示すように、歩行者２００は、全天球画像撮像装置６０Ａ及び６０Ｂの周囲を、楕円状のラインＬに沿って歩行しても良い。このような歩行により、指導者等は、歩行者２００が大きく旋回するような歩行の歩行動作を評価することができる。
また、図１７（ｂ）に示すように、歩行者２００は、全天球画像撮像装置６０Ａ及び６０Ｂの周囲を、２つの菱形状のラインＬに沿って歩行しても良い。このような歩行により、指導者等は、歩行者２００が直角に曲がる（右折や左折）歩行の歩行動作を評価することができる。
＜表示画像データと測定データの表示＞
次に、表示画像データと測定データの表示例について説明する。図１８は、表示装置３０に表示された表示画像データと測定データの一例を示す図である。
図１８に示すデータ表示画面５０１は、主に、画像データ欄５０２と、測定データ欄５０３とを有する。表示制御部３２は、画像データ欄５０２に表示画像データを表示し、測定データ欄５０３に測定データを表示する。
このとき、表示制御部３２は、表示画像データから歩行者２００の撮像範囲を取り出して、画像データ欄５０２に表示する。この処理については、後述する。
まず、画像データ欄５０２について説明する。指導者等がボタン５０４を押下すると、操作入力受付部３３が当該押下操作を受け付ける。そして、表示制御部３２は、フレームレート（ｆｐｓ）と同じ再生速度で表示画像データを動画として再生する。なお、高速再生や低速再生等が可能であっても良い。
指導者等が、再度、ボタン５０４を押下すると、操作入力受付部３３は、当該押下操作を受け付ける。そして、表示制御部３２は、表示画像データの再生を停止させる。このように、指導者等は、任意のタイミングの表示画像データを表示することができる。なお、表示画像データだけでなく、画像データＡや画像データＢと共に集音された音声を出力しても良い。
なお、表示画像データが静止画の場合、指導者等がボタン５０４を押下すると、表示制御部３２は、次の表示画像データを画像データ欄５０２に表示する。同様に、ボタン操作により、表示制御部３２は、前の表示画像データを画像データ欄５０２に表示することができる。また、表示制御部３２は、表示画像データを所定の時間間隔で次々に画像データ欄５０２に表示しても良い。
次に、測定データ欄５０３について説明する。図１８では、ｘ方向、ｙ方向、及びｚ方向のそれぞれの加速度が時系列で表示されている。図１８において、ｘ方向、ｙ方向、又はｚ方向のうち、指導者等の操作により、任意の１つ以上の方向の加速度を表示させても良い。なお、測定データは、連続的に表示されているが、例えば、表示画像データが静止画である場合には、全天球画像撮像装置６０が画像を撮像したタイミングで加速度測定装置５０により測定された加速度を表示しても良い。
表示制御部３２は、測定データに含まれる測定値の全てが測定データ欄５０３に表示されるように測定データを変倍して測定データ欄５０３に表示する。なお、表示制御部３２は、ある程度の時間分の測定値を測定データ欄５０３に表示し、所定の時間ごとに切り替えても良い。
図１８（ａ）のように、表示制御部３２は、画像データ欄５０２に表示されているフレーム画像の表示フレームデータに対応付けられている測定値を指し示すバー５０５を測定データ欄５０３に表示させる。例えば、測定データ欄５０３に全体又はある時間分の測定値が表示されており、表示画像データが再生されている場合、表示制御部３２は、表示中のフレーム画像の表示フレームデータに対応付けられている測定値にバー５０５を重畳させる。
したがって、表示制御部３２は、時間の経過と共に、又は動画の再生が進むにつれて、バー５０５を測定データ欄５０３において右方向に移動させる。なお、指導者等がバー５０５を移動させると操作入力受付部３３が操作を受け付けて、移動後のバー５０５が指し示す測定値に対応付けられている表示フレームデータのフレーム画像を、表示制御部３２が画像データ欄５０２に表示させても良い。
また、図１８（ｂ）のように、画像データ欄５０２に表示されているフレーム画像の表示フレームデータに対応付けられている測定値と、その前後の測定値とが測定データ欄５０３に表示される。測定データ欄５０３には、例えば、１秒〜数秒程度の間隔の測定値だけが同時に表示される。なお、破線の測定データは、測定データが連続していることを示すもので画面には表示されない。
図１８（ｂ）の場合、動画や静止画の進行に応じて、表示制御部３２は、画像データ欄５０２に表示されているフレーム画像の表示フレームデータと対応付けられている測定値を測定データ欄５０３の中央に表示する。サーバ１０により表示画像データと測定データとは対応付けられているので、表示制御部３２は、画像データ欄５０２に表示されているフレーム画像の表示フレームデータに対応付けられている測定値を少なくとも測定データ欄５０３に表示することができる。また、表示制御部３２は、画像データ欄５０２の動画や静止画が停止されると、測定データの表示も停止する。
≪測定データの評価について≫
ここで、測定データが加速度の場合、一般的な歩き方ではピークが周期的に現れると共に、ピークの高さもあまり変動しない。これに対して、年齢やケガ等で歩行機能が衰えたりすると、加速度のピークが周期的に現れなくなったり、ピークの高さも変動し易くなる。
このため、指導者等は、表示画像データを見るだけでも歩行動作を評価できる場合があるが、さらに、歩行動作が適切でないことを測定データにより裏付けることができる。また、指導者等は、測定データに乱れがある場所を特定して、表示画像データで確認したりすることができる。なお、表示画像データはある瞬間のフレーム画像しか表示されないが、測定データには一覧性があるため、指導者等は、適切でない歩行動作が表示されるフレーム画像を、測定データに基づいて短時間で探すことができる。
また、本実施形態では、加速度を例にして説明しているが、ジャイロセンサ２０６により検出した角速度、ＧＰＳ受信装置２１３等が検出した位置、加速度・方位センサ２０５が検出する方位等を用いて、歩行動作が適切かどうかの評価を行うことも可能である。
例えば、ジャイロセンサ２０６が検出した角速度により、歩行者２００が歩行する際のヨー角、ピッチ角、ロール角の変化の速さが分かる。この場合も、加速度と同様に、一般的な歩き方ではピークが周期的に現れると共に、ピークの高さもあまり変動しないことが知られている。
また、位置を２回微分すれば加速度が得られるため、ＧＰＳ受信装置２１３等が検出した位置も加速度と同等の情報として用いることができる。また、旋回歩行の場合、方位は定常的に変化するが、方位を２回微分することで方位の変化の加速度が得られる。この場合も、ピークの周期と高さが評価の目安となる。また、これらの測定データでは、ピークが周期的で、高さの変動が少ない場合でも、ピークが極端に大きいような場合には、歩行動作に改善点がある可能性があるとして、指導者等が表示画像データを確認することができる。
また、表示装置３０の表示制御部３２は、加速度と加速度＝０の軸との面積を算出し、表示しても良い。例えば、８の字型に歩行している歩行者２００が旋回歩行している場合には、ｙ方向は歩行者２００の左右方向の加速度なので、加速度が正側の面積と、負側の面積とは、ラインＬに対する左右のぶれを示す。ラインＬの上を歩行者２００が歩行すれば、正側の面積と、負側の面積とはほぼ等しくなる。したがって、正側の面積と負側の面積が大きく異なるような場合、歩行者２００の左脚と右脚のバランスが悪いことが分かる。
このように、指導者等は時間軸が同期された測定データと表示画像データとを見ることで、歩行者２００の歩行動作を評価するための多くの情報を得ることができる。
＜全天球画像の回転＞
表示画像データには、全天球画像撮像装置６０Ａ又は６０Ｂの周囲３６０°の画像が映っているため、全体を表示すると画像が歪んでしまい歩行動作がわかりにくい。このため、表示制御部３２は、歩行者２００が写っている範囲だけを画像データ欄５０２に表示することが好ましい。このような処理を全天球画像の回転、トリミング、歩行者２００の抽出、又は取り出し等と表現する。全天球画像の回転とは、全天球画像を水平方向に（経度方向に）回転させて、画像データ欄５０２に表示される範囲を決定することをいう。
図１９は、歩行者２００が写っている範囲を画像回転部３４が特定して、画像データ欄５０２に表示する処理の一例を示すフローチャートである。図１９の処理は、例えば、表示装置３０が表示画像データを受信して、当該表示画像データの再生が行われると開始される。
まず、画像回転部３４は、歩行者２００の足の位置を特定する（Ｓ９０１）。なお、足とは、歩行者２００が履いている靴等の部分を言うが、靴等を履いていない場合には、踵からつま先までの部分である。画像回転部３４は、腰より下や膝より下を足として特定しても良い。
ここで、表示画像データが動画の場合、歩行者２００が何回か足踏みするような動作を行えば、画像回転部３４は、動体を検出することで歩行者２００を検出することができる。また、画像回転部３４は、顔を認識しても歩行者２００を検出しても良い。全天球画像撮像装置６０の周囲に歩行者２００以外の人が存在する可能性があるが、画像回転部３４は、最も大きな画素範囲を占める移動体を歩行者２００として検出すれば良い。この他、画像回転部３４は、例えば、機械学習により足の画像を学習しておき、表示画像データから足を認識しても良い。
また、歩行者２００が予め決まった位置から歩行を開始する場合、歩行者２００の初期位置は、表示画像データの水平方向の決まった位置である。したがって、この場合、画像回転部３４は、測定対象の歩行者２００を容易に特定できる。
一方、静止画の場合、画像回転部３４は、顔を認識して歩行者２００を検出することができる。また、画像回転部３４は、パターンマッチング等により各静止画の表示画像データから歩行者２００を検出しても良いし、例えば指導者等が歩行者２００の位置を入力しても良い。
次に、画像回転部３４は、歩行者２００の歩行による足の位置の変化から単位時間毎の歩行者２００の角速度を算出する（Ｓ９０２）。
ここで、図２０を用いて角速度について説明する。図２０は、全天球画像の上面図における歩行者２００の足５１１の位置の一例を模式的に示す図である。
図２０では、一例として、北向きが基準であるとする。このとき、歩行者２００の足は、経度方向に３６０°の範囲で位置（北向きをゼロ度とする角度）θ１及びθ２を取り得る。そこで、１つのフレーム画像内における歩行者２００の２つの足の位置θ１及びθ２の平均を足５１１の位置θとする。
そして、例えば、過去の数秒間の位置θの変化量の平均を所定の時間毎（例えば、フレームを更新する毎）に算出する。これにより、画像回転部３４は、変動が少ない歩行者２００の角速度を算出することができる。なお、角速度は全天球画像撮像装置６０から見た歩行速度（進行速度情報）ということができる。なお、実空間におけるｘ方向の歩行速度は、ｘ方向の加速度を積分して得られる。
次に、画像回転部３４は、ステップＳ９０２で算出した角速度で、フレーム画像を回転させる（Ｓ９０３）。すなわち、表示画像データに含まれるフレームデータが切り替わると、画像回転部３４は、角速度で歩行者２００が移動した位置を中心に画像データ欄５０２の表示範囲（所定の範囲）を回転させることで、フレーム画像をトリミングする。これにより、画像回転部３４によりトリミングされたフレーム画像のほぼ中央に歩行者２００が写るようにすることができる。
表示制御部３２は、画像回転部３４によりトリミングされた表示範囲のフレーム画像を画像データ欄５０２に表示する（ステップＳ９０４）。このため、指導者等は、３６０°の範囲が撮像されている全天球画像から歩行者２００を探す必要なく、歩行者２００の歩行動作を評価することができる。
なお、通常の画角のカメラでは歩行者２００が映るように撮像されているので、回転やトリミング等の処理は必要ない。また、画像回転部３４の機能をサーバ１０又は全天球画像撮像装置６０が有していても良い。この場合、サーバ１０や全天球画像撮像装置６０から表示装置３０へ表示画像データや画像データＡ、画像データＢが送信される際の通信負荷や通信時間を低減することができる。
＜全天球画像の回転の他の例＞
ここで、フレーム画像から顔を認識することで歩行者２００を認識し、フレーム画像を回転させる場合について説明する。図２１は、歩行者２００が写っている範囲を画像データ欄５０２に表示する処理の他の例の示すフローチャートである。図２１の処理は、例えば、表示装置３０が表示画像データを受信して、当該表示画像データの再生が行われると開始される。
まず、画像回転部３４は、全天球画像（すなわち、フレーム画像）毎に顔を認識する（ステップＳ１００１）。図２２は、顔５１２の認識を模式的に説明する図の一例である。顔５１２の認識は、適切な特徴量の設定と、学習識別装置の学習により行われる。
例えば、画像回転部３４は、特徴量として、Ｈａａｒ−ｌｉｋｅ特徴量、ＬＢＰ(Local Binary Patterns)特徴量、ＨＯＧ(Histogram of Oriented Gradients)特徴等を用いることができる。また、画像回転部３４は、学習識別装置の学習方法として、ＳＶＭ(Support Vector Machines)、ＡｄａＢｏｏｓｔ等を用いることができる。ただし、これらに限られるものではなく、画像回転部３４は、顔５１２を認識できる種々の特徴量、学習識別装置の学習方法を用いることができる。
次に、画像回転部３４は、全天球画像（フレーム画像）から顔５１２を中心に、画像データ欄５０２の表示範囲５１３（所定範囲）の画像をトリミングする（ステップＳ１００２）。これにより、画像回転部３４が取り出す画像には、ほぼ中央に歩行者２００が写るようにすることができる。
表示制御部３２は、画像回転部３４によりトリミングされた表示範囲５１３のフレーム画像を画像データ欄５０２に表示する（ステップＳ１００３）。このため、指導者等は、３６０°の範囲が撮像されている全天球画像から歩行者２００を探す必要なく、歩行者２００の歩行動作を評価することができる。
なお、画像回転部３４は、全天球画像毎に顔５１２の位置を決定してトリミングするのではなく、過去のいくつかの全天球画像の顔５１２の位置から経度方向の移動速度を算出することで、次に表示する全天球画像から表示範囲を決定しても良い。これにより、顔５１２の位置が変動しにくくなるので、滑らかな動画を表示できる。
以上のように、本実施形態に係る画像表示システム１００では、複数の全天球画像撮像装置６０の周囲を旋回、右左折する歩行者２００が撮像されるので、歩行者２００の様々な歩行動作を撮像可能になる。そして、本実施形態に係る画像表示システム１００では、撮像された歩行者２００が大きく写っている画像や正面を向いている画像等を、歩行者２００の加速度等の測定データと共に表示装置３０に表示する。
このため、本実施形態に係る画像表示システム１００によれば、指導者等が歩行者２００の歩行動作を評価し易い画像を表示させることができる。
＜画像表示システム１００の他のシステム構成＞
ここで、画像表示システム１００の他のシステム構成について説明する。図２３は、画像表示システム１００のシステム構成の他の例を示す図である。
図２３（ａ）は、画像表示システム１００のシステム構成の他の例である。図２３（ａ）に示す画像表示システム１００では、サーバ１０がディスプレイ１０８を有している。図２３（ａ）に示す構成では、サーバ１０が表示装置３０の各種機能を有している。すなわち、サーバ１０は、測定データと画像データの時間軸の同期や表示画像データの作成に加えて、フレーム画像の回転等を行って、測定データと表示画像データを表示する。
図２３（ｂ）は、画像表示システム１００のシステム構成の他の例である。図２３（ｂ）に示す画像表示システム１００では、サーバ１０及び表示装置３０を有しない。図２３（ｂ）に示す構成では、加速度測定装置５０が、サーバ１０と表示装置３０の各種機能を有している。
ここで、図２３（ｂ）に示す画像表示システム１００における全体的な動作について説明する。図２４は、加速度測定装置５０が測定データと表示画像データを表示する場合における画像表示システム１００の全体的な動作の一例を説明するシーケンス図である。
まず、歩行動作の測定を始める際、指導者又は歩行者２００等は、歩行動作の測定を開始するための操作を加速度測定装置５０に入力する。すると、加速度測定装置５０は、指導者又は歩行者２００等の操作を受け付ける（ステップＳ１１０１）。
次に、加速度測定装置５０の通信部５１は、撮像開始要求を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ送信する（ステップＳ１１０２及びＳ１１０３）。
次に、加速度測定装置５０の加速度検出部５２は、加速度の測定を開始する（ステップＳ１１０４）。また、全天球画像撮像装置６０Ａ及び６０Ｂの撮像部６２は、それぞれ、歩行者２００の撮像を開始する（ステップＳ１１０５及びＳ１１０６）。
次に、歩行者２００の歩行が終了した場合、指導者又は歩行者２００は、歩行動作の測定を終了する操作を加速度測定装置５０に入力する。すると、加速度測定装置５０は、指導者又は歩行者２００の操作を受け付ける（ステップＳ１１０７）。
次に、加速度測定装置５０の通信部５１は、撮像終了要求を全天球画像撮像装置６０Ａ及び６０Ｂにそれぞれ送信する（ステップＳ１１０８及びＳ１１０９）。
全天球画像撮像装置６０Ａ及び６０Ｂの撮像部６２は、通信部６１により撮像終了要求を受信すると、撮像を終了する。そして、全天球画像撮像装置６０Ａ及び６０Ｂの通信部６１は、それぞれ、画像データＡ及び画像データＢを加速度測定装置５０に送信する（ステップＳ１１１０及びＳ１１１１）。
加速度測定装置５０の加速度データ加工部１３は、図８のステップＳ１１８と同様に、測定データを加工する（ステップＳ１１１２）。
次に、加速度測定装置５０の画像調整部１２は、図８のステップＳ１１９と同様に、測定データと画像データの時間軸を同期させる（ステップＳ１１１３）。
次に、加速度測定装置５０の表示画像作成部１６は、図８のステップＳ１２０と同様に、表示画像データを作成する（ステップＳ１１１４）。
次に、加速度測定装置５０は、自機のディスプレイ２１４に測定データと表示画像データを表示する（ステップＳ１１１５）。なお、加速度測定装置５０は、指導者等の端末（サーバ１０等）に測定データと表示画像データを送信しても良い（ステップＳ１１１６）。この場合、指導者等の端末は、測定データと表示画像データを表示する（ステップＳ１１１７）。
したがって、図２３（ｂ）に示す構成によれば、画像表示システム１００のシステム構成を簡易化できる。歩行者２００は、加速度測定装置５０を装着して歩行し、歩行の終了後は加速度測定装置５０を指導者等に渡せば指導者から指導を受けることができるようになる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、測定データの測定終了後及び画像データの撮像終了後に、測定データ及び表示画像データが表示されているが、リアルタイムに測定データ及び表示画像データが表示されても良い。この場合、表示される測定データ及び表示画像データはほぼ同時期に撮像されたものである。
また、以上の実施例で示した図６等の構成例は、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０の処理の理解を容易にするために、主な機能に応じて分割したものである。例えば、サーバ１０が複数台存在し、複数のサーバ１０が協働して本実施形態の処理を行っても良い。また、サーバ１０の記憶部１０００はサーバ１０が有している必要はなく、記憶部１０００は、サーバ１０が当該記憶部１０００のデータを読み書き可能な場所にあれば良い。
また、図６では、サーバ１０、表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０の機能をいくつかの処理単位に分割して説明した。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。サーバ１０、表示装置３０、全天球画像撮像装置６０、及び加速度測定装置５０の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。
１０ サーバ
１２ 画像調整部
１６ 表示画像作成部
３０ 表示装置
３２ 表示制御部
３３ 操作入力受付部
３４ 画像回転部
５０ 加速度測定装置
６０ 全天球画像撮像装置
１００ 画像表示システム
特開２０１０−１７２３９４号公報

Claims (12)

  1. 情報処理装置と、水平方向の周囲をそれぞれ撮像可能な複数の広角撮像装置と、移動する対象の動作を測定する測定装置とを有する画像表示システムであって、
    前記複数の広角撮像装置が前記対象をそれぞれ撮像することにより生成した複数の動画データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、
    前記複数の動画データそれぞれと、前記測定データとを対応づける対応付け手段と、
    各時刻毎に、前記複数の動画データそれぞれについて、前記時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさと、前記時刻の次の時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさとを比較することで、前記複数の動画データそれぞれの前記時刻におけるフレームデータのうち、前記対象が近付いていく方向に設置されている広角撮像装置で撮影された動画データに含まれるフレームデータを特定し、特定したフレームデータを表示対象フレームデータとして決定する決定手段と、
    各時刻毎に、前記時刻で決定された表示対象フレームデータと、前記測定データに含まれる、前記時刻における測定値とを表示装置に表示させる表示手段と、
    を有する画像表示システム。
  2. 前記複数の広角撮像装置は、
    方向を変えながら又は方向を変えて、前記複数の広角撮像装置の周囲を進行する前記対象をそれぞれ撮像し、
    前記対応付け手段は、
    方向を変えながら又は方向を変えて進行する前記対象がそれぞれ撮像された前記複数の動画データそれぞれと、前記測定データとを対応付ける、請求項１に記載の画像表示システム。
  3. 前記情報処理装置は、
    前記測定装置に測定開始及び測定終了を要求すると共に、前記複数の広角撮像装置のそれぞれに撮像開始及び撮像終了を要求する指示手段を有し、
    前記対応付け手段は、
    前記複数の動画データそれぞれの撮像開始及び前記測定データの測定開始と、前記複数の動画データそれぞれの撮像終了及び前記測定データの測定終了とに基づいて、前記複数の動画データそれぞれと、前記測定データとを対応付ける、請求項１又は２に記載の画像表示システム。
  4. 前記表示装置は、
    前記対象の動作の測定開始又は前記対象の撮像開始の少なくとも一方を受け付ける受付手段と、
    前記受付手段が受け付けた前記測定開始又は前記撮像開始の少なくとも一方を前記情報処理装置に通知する通知手段と、
    を有する、請求項３に記載の画像表示システム。
  5. 前記測定データには、前記対象の動作を測定した測定値が複数含まれ、
    前記測定装置は、
    所定の閾値以上の前記測定値が検出された場合に、前記測定データの生成を開始すると共に、撮像の開始を前記複数の広角撮像装置それぞれに要求する測定手段を有し、
    前記広角撮像装置は、
    前記測定手段による撮像の開始要求を受け取ると、前記対象の撮像を開始して、前記動画データの生成を開始する撮像手段、
    を有する、請求項１乃至４の何れか一項に記載の画像表示システム。
  6. 前記測定手段は、
    所定の閾値未満の前記測定値が検出された場合に、前記測定データの生成を終了すると共に、撮像の終了を前記複数の広角撮像装置それぞれに要求し、
    前記撮像手段は、
    前記測定手段による撮像の終了要求を受け取ると、前記対象の撮像を終了して、前記動画データの生成を終了する、請求項５に記載の画像表示システム。
  7. 前記広角撮像装置は、
    前記対象の撮像を開始することを報知する第１の報知手段を有する、請求項１乃至６の何れか一項に記載の画像表示システム。
  8. 前記測定装置は、
    前記対象の動作の測定を開始することを報知する第２の報知手段を有する、請求項１乃至７の何れか一項に記載の画像表示システム。
  9. 水平方向の周囲をそれぞれ撮像可能な複数の広角撮像装置と、移動する対象の動作を測定する測定装置と通信可能な情報処理装置であって、
    前記複数の広角撮像装置が前記対象をそれぞれ撮像することにより生成した複数の動画データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段と、
    前記複数の動画データそれぞれと、前記測定データとを対応づける対応付け手段と、
    各時刻毎に、前記複数の動画データそれぞれについて、前記時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさと、前記時刻の次の時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさとを比較することで、前記複数の動画データそれぞれの前記時刻におけるフレームデータのうち、前記対象が近付いていく方向に設置されている広角撮像装置で撮影された動画データに含まれるフレームデータを特定し、特定したフレームデータを表示対象フレームデータとして決定する決定手段と、
    各時刻毎に、前記時刻で決定された表示対象フレームデータと、前記測定データに含まれる、前記時刻における測定値とを表示装置に表示させる表示手段と、
    を有する情報処理装置。
  10. 水平方向の周囲をそれぞれ撮像可能な複数の広角撮像装置と通信可能な情報処理装置であって、
    移動する対象の動作を測定して、測定データを生成する測定手段と、
    前記複数の広角撮像装置が前記対象をそれぞれ撮像することにより生成した複数の動画データを取得する取得手段と、
    前記複数の動画データそれぞれと、前記測定データとを対応づける対応付け手段と、
    各時刻毎に、前記複数の動画データそれぞれについて、前記時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさと、前記時刻の次の時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさとを比較することで、前記複数の動画データそれぞれの前記時刻におけるフレームデータのうち、前記対象が近付いていく方向に設置されている広角撮像装置で撮影された動画データに含まれるフレームデータを特定し、特定したフレームデータを表示対象フレームデータとして決定する決定手段と、
    各時刻毎に、前記時刻で決定された表示対象フレームデータと、前記測定データに含まれる、前記時刻における測定値とを表示装置に表示させる表示手段と、
    を有する情報処理装置。
  11. 水平方向の周囲をそれぞれ撮像可能な複数の広角撮像装置と、移動する対象の動作を測定する測定装置と通信可能な情報処理装置を、
    前記複数の広角撮像装置が前記対象をそれぞれ撮像することにより生成した複数の動画データと、前記測定装置が前記対象の動作を測定することにより生成した測定データとを取得する取得手段、
    前記複数の動画データそれぞれと、前記測定データとを対応づける対応付け手段、
    各時刻毎に、前記複数の動画データそれぞれについて、前記時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさと、前記時刻の次の時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさとを比較することで、前記複数の動画データそれぞれの前記時刻におけるフレームデータのうち、前記対象が近付いていく方向に設置されている広角撮像装置で撮影された動画データに含まれるフレームデータを特定し、特定したフレームデータを表示対象フレームデータとして決定する決定手段、
    各時刻毎に、前記時刻で決定された表示対象フレームデータと、前記測定データに含まれる、前記時刻における測定値とを表示装置に表示させる表示手段、
    として機能させるためのプログラム。
  12. 水平方向の周囲をそれぞれ撮像可能な複数の広角撮像装置と通信可能な情報処理装置を、
    移動する対象の動作を測定して、測定データを生成する測定手段、
    前記複数の広角撮像装置が前記対象をそれぞれ撮像することにより生成した複数の動画データを取得する取得手段、
    前記複数の動画データそれぞれと、前記測定データとを対応づける対応付け手段、
    各時刻毎に、前記複数の動画データそれぞれについて、前記時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさと、前記時刻の次の時刻におけるフレームデータ中の前記対象が含まれる画像領域の大きさとを比較することで、前記複数の動画データそれぞれの前記時刻におけるフレームデータのうち、前記対象が近付いていく方向に設置されている広角撮像装置で撮影された動画データに含まれるフレームデータを特定し、特定したフレームデータを表示対象フレームデータとして決定する決定手段、
    各時刻毎に、前記時刻で決定された表示対象フレームデータと、前記測定データに含まれる、前記時刻における測定値とを表示装置に表示させる表示手段、
    として機能させるためのプログラム。
JP2016087437A 2016-04-25 2016-04-25 画像表示システム、情報処理装置、及びプログラム Active JP6776600B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016087437A JP6776600B2 (ja) 2016-04-25 2016-04-25 画像表示システム、情報処理装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016087437A JP6776600B2 (ja) 2016-04-25 2016-04-25 画像表示システム、情報処理装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017199980A JP2017199980A (ja) 2017-11-02
JP6776600B2 true JP6776600B2 (ja) 2020-10-28

Family

ID=60239521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016087437A Active JP6776600B2 (ja) 2016-04-25 2016-04-25 画像表示システム、情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP6776600B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021176347A (ja) * 2020-05-07 2021-11-11 コニカミノルタ株式会社 動作情報表示装置
WO2022009515A1 (ja) * 2020-07-06 2022-01-13 株式会社島津製作所 データ計測システムおよび計測データの提示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275557A (ja) * 1998-03-20 1999-10-08 Matsushita Electric Ind Co Ltd 監視画像記録装置
JP2006209468A (ja) * 2005-01-28 2006-08-10 Yakahi Kikuko 作業動作解析装置、作業動作解析方法および作業動作解析プログラム
JP2007158860A (ja) * 2005-12-06 2007-06-21 Canon Inc 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
JP5757482B2 (ja) * 2011-10-21 2015-07-29 トヨタ自動車東日本株式会社 技能習得支援システム及び技能習得支援方法
JP6164515B2 (ja) * 2013-03-13 2017-07-19 カシオ計算機株式会社 移動状態測定装置、移動状態測定方法、移動状態測定プログラム
JP6381252B2 (ja) * 2014-03-31 2018-08-29 株式会社早稲田エルダリーヘルス事業団 移動運動解析装置及びプログラム

Also Published As

Publication number Publication date
JP2017199980A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
US10827133B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5765019B2 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3772217A1 (en) Output control apparatus, display terminal, remote control system, control method, and carrier medium
CN104252712B (zh) 图像生成装置、图像生成方法和记录介质
JP6812203B2 (ja) 情報処理システム、情報処理方法、携帯投影端末
JP2017534933A (ja) 命令生成方法及び装置
JP2015159383A (ja) ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置
US20220343795A1 (en) Orientation assistance system
JP6776600B2 (ja) 画像表示システム、情報処理装置、及びプログラム
JP2017158169A (ja) 画像表示システム、表示装置、プログラム
US11195295B2 (en) Control system, method of performing analysis and storage medium
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2013143592A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
WO2020017600A1 (ja) 表示制御装置、表示制御方法及びプログラム
JP2017208631A (ja) 画像表示システム、情報処理装置、撮像装置、及びプログラム
JP2017151281A (ja) 画像表示システム、情報処理装置、プログラム
JP5801690B2 (ja) 画像処理装置、画像処理方法
JP2017225722A (ja) 情報処理装置、プログラム、画像表示システム
JP2017202020A (ja) 画像表示システム、情報処理装置、撮像装置、及びプログラム
US20200234046A1 (en) Information providing system, information providing method and management apparatus for information providing system
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R151 Written notification of patent or utility model registration

Ref document number: 6776600

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151