JP7435631B2

JP7435631B2 - 表示システムおよび表示方法

Info

Publication number: JP7435631B2
Application number: JP2021572251A
Authority: JP
Inventors: 遥久保田; 明片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-01-24
Filing date: 2020-01-24
Publication date: 2024-02-21
Anticipated expiration: 2040-01-24
Also published as: JPWO2021149262A1; WO2021149262A1; US20230046304A1

Description

本発明は、表示システムおよび表示方法に関する。

従来、映像情報は撮影時の状況を正確に再現可能であり、個人や事業を問わず他分野で活用可能であることが知られている。例えば、工事等の作業を行うにあたって、作業者視点でのカメラ映像等の動画映像を作業ログとして、マニュアル化、業務分析、作業証跡等に活用可能である。

このような活用にあたっては、連続的な映像から特定の場面（シーン）のみを抽出したいケースが多いが、目視での作業は手間がかかり非効率である。このため、各映像シーンへのタグ付けによる特定のシーンを検出する技術が知られている。例えば、映像から特定のシーンを抽出するために、ＧＰＳ（Global Positioning System）や設置型センサ等を利用して撮影位置を検出し、映像シーンと撮影位置とを紐付ける方法が知られている。

胡晟、劉健全、西村祥治「大量な映像における高速な動的場面の分析と検索」情報処理学会研究報告 2017/11/8

従来の方法では、映像から特定の場面を効率的に抽出することができない場合があるという課題があった。例えば、映像から特定の場面を効率的に抽出するために、ＧＰＳ等を利用して映像シーンと撮影位置とを紐付ける場合に、屋内や遮蔽物の多い環境では撮影位置と映像シーンとを紐付けることが難しい場合があった。また、このような環境ではセンサ等を設置することも考えられるが、設置に対するユーザの負荷が大きかった。

上述した課題を解決し、目的を達成するために、本発明の表示システムは、映像情報に基づいて、撮影された領域の地図を生成し、前記映像情報における各シーンの前記地図上の撮影位置の情報を取得する映像処理部と、ユーザの操作により前記地図上の撮影位置の指定を受け付けた場合には、該撮影位置の情報を用いて、該撮影位置で撮影した映像情報のシーンの情報を検索し、検索したシーンの情報を出力する検索処理部とを有することを特徴とする。

本発明によれば、映像から特定の場面を効率的に抽出することができるという効果を奏する。

図１は、第１の実施形態に係る表示システムの構成の一例を示す図である。図２は、地図上から撮影位置を指定して該当シーンを表示する処理例を説明する図である。図３は、第１の実施形態に係る表示装置における映像およびパラメータの保管時の処理の流れの一例を示すフローチャートである。図４は、第１の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。図５は、移動経路を含む地図の表示例を示す図である。図６は、移動経路を含む地図の表示例を示す図である。図７は、第２の実施形態に係る表示システムの構成の一例を示す図である。図８は、第２の実施形態に係る表示装置における位置合わせ処理の流れの一例を示すフローチャートである。図９は、第３の実施形態に係る表示システムの構成の一例を示す図である。図１０は、ユーザが地図を任意の単位にエリア分けする際の操作例を示す図である。図１１は、各シーンにおける撮影者の滞在エリアをタイムライン上に可視化する処理について説明する図である。図１２は、第３の実施形態に係る表示装置におけるエリア分割処理の流れの一例を示すフローチャートである。図１３は、第３の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。図１４は、第４の実施形態に係る表示システムの構成の一例を示す図である。図１５は、リアルタイム視点からシーンを検索する処理の概要を説明する図である。図１６は、第４の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。図１７は、第５の実施形態に係る表示システムの構成の一例を示す図である。図１８は、リアルタイムな位置に基づいて進行方向を提示する処理を説明する図である。図１９は、第５の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。図２０は、表示プログラムを実行するコンピュータを示す図である。

以下に、本願に係る表示システムおよび表示方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る表示システムおよび表示方法が限定されるものではない。

［第１の実施形態］
以下の実施の形態では、第１の実施形態に係る表示システム１００の構成、表示装置１０の処理の流れを順に説明し、最後に第１の実施形態による効果を説明する。

［表示システムの構成］
まず、図１を用いて、表示システム１００の構成について説明する。図１は、第１の実施形態に係る表示システムの構成の一例を示す図である。表示システム１００は、表示装置１０および映像取得装置２０を有する。

表示装置１０は、映像取得装置２０によって撮影された撮影範囲を含む地図上からオブジェクト位置や範囲を指定することで、映像から指定位置を被写体とした映像シーンを検索して出力する装置である。なお、図１の例では、表示装置１０が、端末装置として機能する場合を想定して図示しているが、これに限定されるものではなく、サーバとして機能してもよく、検索した映像シーンをユーザ端末に出力するようにしてもよい。

映像取得装置２０は、映像を撮影するカメラ等の機器である。なお、図１の例では、表示装置１０と映像取得装置２０とが別々の装置である場合を例示しているが、表示装置１０が映像取得装置２０の機能を有していてもよい。映像取得装置２０は、撮影者が撮影した映像のデータを映像処理部１１に通知するとともに、映像保管部１５に格納する。

表示装置１０は、映像処理部１１、パラメータ保管部１２、ＵＩ（User Interface）部１３、検索処理部１４および映像保管部１５を有する。以下では、各部について説明する。なお、上述した各部は、複数の装置が分散して保持してもよい。例えば、表示装置１０が映像処理部１１、パラメータ保管部１２、ＵＩ（User Interface）部１３、検索処理部１４を有し、映像保管部１５は他の装置が有していてもよい。

なお、パラメータ保管部１２および映像保管部１５は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。また、映像処理部１１、パラメータ保管部１２、ＵＩ部１３、検索処理部１４は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

映像処理部１１は、映像情報に基づいて、撮影された領域の地図を生成し、映像情報における各シーンの地図上の撮影位置の情報を取得する。

例えば、映像処理部１１は、ＳＬＡＭ（Simultaneous Localization and Mapping）の技術を用いて、映像情報から地図を生成し、地図の情報を入力処理部１３ａに通知する。また、映像処理部１１は、映像情報における各シーンの地図上の撮影位置を取得してパラメータ保管部１２に格納する。なお、ＳＬＡＭの技術に限定されるものではなく、他の技術を代用してもよい。

ＳＬＡＭとは自己位置推定と環境地図作成を同時に行う技術であるが、本実施形態では、ＶｉｓｕａｌＳＬＡＭの技術が用いられるものとする。ＶｉｓｕａｌＳＬＡＭでは、映像内の連続したフレーム間で画素や特徴点をトラッキングすることで、フレーム間での変位を用いて自己位置の変位を推定する。更に、その際に利用した画素や特徴点の位置を３次元点群としてマッピングすることで、撮影環境の環境地図を再構成する。

また、ＶｉｓｕａｌＳＬＡＭでは、自己位置がループした場合は、以前に生成した点群と新たにマッピングした点群が矛盾しないように点群地図全体を再構築（ループクロージング）する。なお、ＶｉｓｕａｌＳＬＡＭでは、単眼カメラやステレオカメラ、ＲＧＢ－Ｄカメラなど用いるデバイスによって精度、地図の特性、利用可能なアルゴリズム等が異なる。

映像処理部１１は、ＳＬＡＭの技術を適用して、映像、カメラパラメータ（例えば、ＲＧＢ－Ｄカメラのｄｅｐｔｈ値等）を入力データとして用いることで、点群地図、各キーフレームの姿勢情報（フレーム時刻（タイムスタンプ）、撮影位置（ｘ座標、ｙ座標、ｚ座標）、撮影方向（方向ベクトルもしくはクオータニオン））を出力データとして得ることができる。

パラメータ保管部１２は、映像シーンの各シーンに紐付けて、撮影位置を保存する。パラメータ保管部１２に記憶される情報は、後述する検索処理部１４によって検索される。

ＵＩ部１３は、入力処理部１３ａおよび出力部１３ｂを有する。入力処理部１３ａは、検索ユーザの操作により、地図上の撮影位置の指定を受け付ける。例えば、特定の撮影位置から撮影された映像シーンを検索ユーザが検索したい場合には、入力処理部１３ａは、検索ユーザの操作により地図上の撮影位置のポイントに対するクリック操作を受け付ける。

出力部１３ｂは、後述する検索処理部１４によって検索された映像シーンを表示する。例えば、出力部１３ｂは、検索処理部１４から検索結果として、該当シーンの時間帯を受信すると、該当シーンの時間帯に対応する映像シーンを映像保管部１５から読み出し、読み出した映像シーンを出力する。映像保管部１５は、映像取得装置２０によって撮影された映像情報を保存する。

検索処理部１４は、ユーザの操作により地図上の撮影位置の指定を受け付けた場合には、該撮影位置の情報を用いて、該撮影位置で撮影した映像情報のシーンの情報を検索し、検索したシーンの情報を出力する。例えば、検索処理部１４は、入力処理部１３ａによってユーザの操作により地図上の撮影位置の指定を受け付けた場合には、指定された撮影位置から映した撮影フレームについてパラメータ保管部１２への照会を行い、撮影フレームのタイムスタンプリストを取得し、該当シーンの時間帯を出力部１４ｃに出力する。

ここで、図２を用いて、地図上から撮影位置を指定して該当シーンを表示する処理例を説明する。図２は、地図上から撮影位置を指定して該当シーンを表示する処理例を説明する図である。図２に例示するように、表示装置１０は、画面にＳＬＡＭ地図を表示し、検索ユーザの操作により確認したい映像位置がクリックされると、撮影位置から一定距離内で撮影された該当シーンを検索して、該当シーンの動画を表示する。

また、表示装置１０は、検索された各シーンの動画内における時間帯を表示するとともに、該当シーンの撮影位置を地図上にプロットして表示する。また、図３に例示するように、表示装置１０は、検索結果を撮影時刻の早いものから自動再生し、表示中のシーンの撮影位置および撮影時刻も表示する。

［表示装置の処理手順］
次に、図３および図４を用いて、第１の実施形態に係る表示装置１０による処理手順の例を説明する。図３は、第１の実施形態に係る表示装置における映像およびパラメータの保管時の処理の流れの一例を示すフローチャートである。図４は、第１の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。

まず、図３を用いて、映像およびパラメータの保管時の処理の流れについて説明する。図３に例示するように、表示装置１０の映像処理部１１は、映像情報を取得すると（ステップＳ１０１）、取得した映像を映像保管部１５に映像を保存する（ステップＳ１０２）。また、映像処理部１１は、映像から撮影環境の地図と各シーンの撮影位置を取得する（ステップＳ１０３）。

そして、映像処理部１１は、映像に紐づいた撮影位置をパラメータ保管部１２に保存する（ステップＳ１０４）。また、入力処理部１３ａは、映像と紐づいた地図を受け取る（ステップＳ１０５）。

次に、図４を用いて、検索時の処理の流れについて説明する。図４に例示するように、表示装置１０の入力処理部１３ａは、点群地図を表示し、ユーザ入力を待機する（ステップＳ２０１）。そして、入力処理部１３ａがユーザ入力を受け付けると（ステップＳ２０２肯定）、検索処理部１４は、ユーザ入力で指定された撮影位置を引数に映像シーンをパラメータ保管部１２から呼出す（ステップＳ２０３）。

パラメータ保管部１２は、各映像シーンの位置情報を参照し、付近で撮影された各フレームのタイムスタンプを抽出する（ステップＳ２０４）。そして、検索処理部１４は、取得したフレームのタイムスタンプのうち連続したフレーム同士をつなげシーンとして検出する（ステップＳ２０５）。例えば、検索処理部１４は、取得したフレームのタイムスタンプのうち所定の閾値以下の差で連続するフレームを集約し、最初と最後のフレームからシーンの時間帯を取得する。その後、出力部１３ｂは、各シーンの時間帯に基づき映像シーンを呼出し、ユーザに提示する（ステップＳ２０６）。

［第１の実施形態の効果］
このように、第１の実施形態に係る表示システム１００の表示装置１０では、映像情報に基づいて、撮影された領域の地図を生成し、映像情報における各シーンの地図上の撮影位置の情報を取得する。そして、表示装置１０は、ユーザの操作により地図上の撮影位置の指定を受け付けた場合には、該撮影位置の情報を用いて、該撮影位置で撮影した映像情報のシーンの情報を検索し、検索したシーンの情報を出力する。このため、表示装置１０では、映像から特定の場面を効率的に抽出することができるという効果を奏する。

また、表示装置１０では、映像内から撮影位置を取得するＳＬＡＭの機能を導入することで、屋内や遮蔽物の多いＧＰＳ情報が利用しにくい空間での撮影でも撮影位置を適切に把握することができる。更に、表示装置１０は、利用環境へのセンサや画像マーカ等の設置稼働をかけずに、より高解像度で死角の少ない位置推定が可能となり、映像から特定の場面を効率的に抽出することが可能となる。

また、表示装置１０は、各映像シーンの撮影位置を把握するため、映像内から位置と環境地図を同期的に取得する機能を用いることで、撮影現場の地図の用意や、事前にセンサ出力と地図の対応付けを行わずとも、推定位置と地図の対応付いた環境地図を取得することができる。

［第２の実施形態］
上述した第１の実施形態では、検索時に地図を表示して検索ユーザから撮影位置の指定を受け付ける場合を説明したが、さらに、地図上において撮影者（撮影位置）の移動軌跡を可視化して撮影位置の指定を受け付けるようにしてもよい。

以下では、第２の実施形態として、表示システム１００Ａの表示装置１０Ａでは、地図上に撮影位置の移動軌跡をさらに表示し、該移動軌跡から撮影位置の指定を受け付ける場合について説明する。なお、第１の実施形態と同様の構成や処理については説明を適宜省略する。

例えば、表示装置１０Ａは、図５に例示するように、地図上に経路を表示することで、特定の撮影者の移動軌跡の中から撮影位置の指定を受け付けることが可能である。また、表示装置１０は、滞在時間や視点方向など、位置・向き・タイムスタンプから得られる情報をニーズに応じて可視化してもよい。また、表示装置１０は、移動軌跡の中から撮影範囲の指定を受け付けるようにしてもよい。このように、表示装置１０は、地図上に経路を表示することで、ある撮影者が各所で何をしたかを検索ユーザが判断する場合に有効であり、映像の活用を円滑にすることが可能である。

図７は、第２の実施形態に係る表示システムの構成の一例を示す図である。表示装置１０Ａは、第１の実施形態に係る表示装置１０と比較して位置合わせ部１６を有している点が異なる。

位置合わせ部１６は、外部から取得した画像地図と映像処理部１１によって生成された地図と位置が対応するように画像地図を変形し、該画像地図上に撮影位置を時系列順にプロットし、連続するプロット間を線でつなげた移動軌跡を含む地図を生成する。

入力処理部１３ａは、地図上に撮影位置の移動軌跡をさらに表示し、該移動軌跡から撮影位置の指定を受け付ける。つまり、入力処理部１３ａは、位置合わせ部１６によって生成された移動軌跡を含む地図を表示し、該移動軌跡から撮影位置の指定を受け付ける。

このように、表示装置１０Ａは、点群地図と画像地図の位置対応に基づき撮影位置を画像地図上にマッピングし、それらを時系列順につなぎ移動軌跡を可視化することが可能である。

また、入力処理部１３ａは、映像情報から撮影時のパラメータを抽出し、該撮影時のパラメータから得られる情報を表示するとともに、映像処理部１１によって生成された地図を表示し、表示した地図における撮影位置の指定を受け付ける。つまり、図５に例示するように、入力処理部１３ａは、例えば、撮影時のパラメータとして、映像内から各映像シーンの位置、向きおよびタイムスタンプを抽出し、位置、向きおよびタイムスタンプから、指定位置の撮影時刻や、滞在時の視点方向を地図上に表示したり、ポイントサイズで滞在時間の長さを表現したりするようにしてもよい。

［表示装置の処理手順］
次に、図８を用いて、第２の実施形態に係る表示装置１０Ａによる処理手順の例を説明する。図８は、第２の実施形態に係る表示装置における位置合わせ処理の流れの一例を示すフローチャートである。

図８に例示するように、表示装置１０Ａの位置合わせ部１６は、点群地図、撮影位置、タイムスタンプを取得し（ステップＳ３０１）、対象領域を表すユーザ任意の地図を取得する（ステップＳ３０２）。

そして、位置合わせ部１６は、任意地図と点群地図の位置が対応するよう、任意地図を座標移動・拡縮・回転する（ステップＳ３０３）。続いて、位置合わせ部１６は、変形済みの任意地図上に撮影位置をタイムスタンプ順にプロットし、連続するプロット間を線でつなぐ（ステップＳ３０４）。そして、位置合わせ部１６は、上書きした地図を入力処理部に通知する（ステップＳ３０５）。

［第２の実施形態の効果］
このように、第２の実施形態に係る表示システム１００Ａでは、表示装置１０Ａが、地図上において移動軌跡を可視化することで、ユーザが移動軌跡を確認した上で確認したい撮影位置を指定することができるという効果を奏する。つまり、検索ユーザが特定の作業者の行動概要を把握したうえで映像を検索することが可能である。

［第３の実施形態］
表示システムの表示装置は、ユーザが地図を任意の単位にエリア分けできるものとし、各シーンの撮影位置に基づき滞在ブロックをタイムライン上に可視化して、ユーザが滞在ブロックの遷移を確認しながら検索したい時間帯を指定できるようにしてもよい。そこで、第３の実施形態として、表示システム１００Ｂの表示装置１０Ｂが、地図上の領域を任意のエリアに区分けする指示を受け付け、該指示に基づいて、地図の領域をエリアに分割し、検索時には、エリアが分割された地図を表示し、表示した地図における撮影位置の指定を受け付ける場合を説明する。なお、第１の実施形態と同様の構成や処理については説明を適宜省略する。

図９は、第３の実施形態に係る表示システムの構成の一例を示す図である。図９に例示するように、表示装置１０Ｂは、第１の実施形態と比較して、エリア分割部１３ｃを有する点が異なる。エリア分割部１３ｃは、地図上の領域を任意のエリアに区分けする指示を受け付け、該指示に基づいて、地図の領域をエリアに分割する。例えば、エリア分割部１３ｃは、図１０に例示するように、ユーザの操作により地図上の領域を任意のエリアに区分けし、区分けしたエリアごとに色を付す。また、例えば、エリア分割部１３ｃは、エリアが分割された地図とともに、図１１に例示するように、各シーンの撮影者の滞在ブロックが分かるようにタイムラインを色分けする。

入力処理部１３ａは、エリア分割部１３ｃによってエリアが分割された地図を表示するとともに、表示した地図におけるエリアに対応する時間帯の指定を受け付ける。例えば、入力処理部１３ａは、エリア分割部１３ｃからエリア分け済みの地図とタイムラインを取得して表示し、検索ユーザによりタイムライン上から１つ以上の任意の時間帯の指定を受け付ける。

［表示装置の処理手順］
次に、図１２および図１３を用いて、第３の実施形態に係る表示装置１０Ｂによる処理手順の例を説明する。図１２は、第３の実施形態に係る表示装置におけるエリア分割処理の流れの一例を示すフローチャートである。図１３は、第３の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。

まず、図１２を用いて、エリア分割処理の流れについて説明する。図１２に例示するように、表示装置１０のエリア分割部１３ｃは、映像処理部１１から地図を取得し（ステップＳ４０１）、取得した地図を表示してユーザの入力を受け付ける（ステップＳ４０２）。

そして、エリア分割部１３ｃは、ユーザの入力に従いエリア分けし、各エリアにおける撮影者滞在状況をパラメータ保管部１２に照会する（ステップＳ４０３）。そして、パラメータ保管部１２は、各エリアにおける撮影フレームのタイムスタンプリストをエリア分割部１３ｃに返す（ステップＳ４０４）。

そして、エリア分割部１３ｃは、タイムライン上に各時刻の滞在エリアを地図上の各エリアとの対応がわかるように可視化し（ステップＳ４０５）、エリア分け済みの地図とタイムラインを入力処理部１３ａに渡す（ステップＳ４０６）。

次に、図１３を用いて、検索時の処理の流れについて説明する。図１３に例示するように、表示装置１０の入力処理部１３ａは、エリア分割部１３ｃから渡された地図およびタイムラインを表示してユーザ入力を待機する（ステップＳ５０１）。

そして、入力処理部１３ａがユーザ入力を受け付けると（ステップＳ５０２肯定）、検索処理部１４は、ユーザ入力で指定された時間帯の映像シーンをパラメータ保管部１２から呼出し、出力部１ｂに通知する（ステップＳ５０３）。その後、出力部１３ｂは、各シーンの時間帯に基づき映像シーンを呼出し、ユーザに提示する（ステップＳ５０４）。

［第３の実施形態の効果］
このように、第３の実施形態に係る表示システム１００Ｂでは、ユーザは地図上で任意のエリア分けを行い、表示装置１０Ｂが、各エリアにおける撮影時間帯を示すタイムラインをエリア分けされた地図と併せて表示するので、検索ユーザはタイムライン上から時間帯を選択して、容易に映像の検索を行うことが可能である。このため、表示システム１００Ｂは、複数個所を行き来する作業の特定や、ユーザが、各ブロックでの滞在時間を確認したい場合などに特に有効である。また、例えば、表示システム１００Ｂは、同じ作業を撮影した複数の映像において大幅に滞在時間が異なるブロックの参照、往復して作業を行われる特定の２ブロックでの映像シーンを切り出し、部屋単位のブロッキングで各部屋を選択し廊下などの移動中映像の除去等にも有効である。

［第４の実施形態］
上述した第１の実施形態では、検索時において検索ユーザが撮影位置を指定し、指定した撮影位置の映像シーンを検索する場合を説明したが、このような場合に限定されるものではなく、例えば、検索ユーザがリアルタイムに映像を撮影することで、撮影位置が同一の映像シーンを検索できるようにしてもよい。

以下では、第４の実施形態として、表示システム１００Ｃの表示装置１０Ｃが、ユーザが撮影したリアルタイムの映像情報を取得し、撮影された領域の地図を生成し、該映像情報から地図上におけるユーザの撮影位置を特定し、特定したユーザの撮影位置を用いて、撮影位置が同一または類似のシーンの情報を検索する場合を説明する。なお、第１の実施形態と同様の構成や処理については説明を適宜省略する。

図１４は、第４の実施形態に係る表示システムの構成の一例を示す図である。図１４に例示するように、表示システム１００Ｃの表示装置１０Ｃは、第１の実施形態と比較して、特定部１７および地図比較部１８を有する点が異なる。

特定部１７は、検索ユーザが撮影したリアルタイムの映像情報をウェアラブルカメラ等の映像取得装置２０から取得し、映像情報に基づいて、撮影された領域の地図Ｂを生成し、該映像情報から地図上におけるユーザの撮影位置を特定する。そして、特定部１７は、生成した地図Ｂを地図比較部１８に通知し、特定したユーザの撮影位置を検索処理部１４に通知する。なお、特定部１７は、撮影位置とともに向きも特定してもよい。

例えば、特定部１７は、映像処理部１１と同様に、ＳＬＡＭの技術を用いて、映像情報から特徴点のトラッキングにより地図を生成し、各シーンの撮影位置および撮影方向を取得するようにしてもよい。

地図比較部１８は、映像処理部１１から受信した地図Ａと特定部１７から受信した地図Ｂとを比較し、両者の対応関係をもとめ、地図間の対応関係を検索処理部１４に通知する。

検索処理部１４は、特定部１７によって特定されたユーザの撮影位置および撮影方向を用いて、パラメータ保管部１２に記憶された各シーンのなかから、撮影位置が同一または類似のシーンの情報を検索し、検索したシーンの情報を出力する。例えば、検索処理部１４は、先行者の地図Ａにおける検索ユーザの撮影位置および撮影方向に基づき映像シーンを照会し、撮影フレームのタイムスタンプリストを取得し、該当シーンの時間帯を出力部１３ｂに出力する。

これにより、表示装置１０Ｃでは、検索ユーザが検索地点までの視点映像を撮影し、得られた地図Ｂと保管された地図Ａとの比較に基づき、現在位置で撮影された映像シーンを受け取ることが可能である。ここで、図１５を用いて、リアルタイム視点からシーンを検索する処理の概要を説明する。図１５は、リアルタイム視点からシーンを検索する処理の概要を説明する図である。

例えば、ユーザが作業場Ａに関する過去の作業履歴を閲覧したい場合に、ウェアラブルカメラを装着したユーザは作業場Ａに移動して、作業場Ａの映像をウェアラブルカメラで撮影し、表示装置１０Ｃに検索実行を命令する。表示装置１０Ｃは、過去の作業場Ａにおける作業履歴のシーンを検索し、シーンの映像を表示する。

［表示装置の処理手順］
次に、図１６を用いて、第４の実施形態に係る表示装置１０Ｃによる処理手順の例を説明する。図１６は、第４の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。

図１６に例示するように、表示装置１０Ｃの特定部１７は、ユーザの移動中の視点映像（図１４における映像Ｂに相当）を取得する（ステップＳ６０１）。その後、特定部１７は、ユーザからの検索命令を受け付けたか判定する（ステップＳ６０２）。そして、特定部１７は、ユーザからの検索命令を受け付けると（ステップＳ６０２肯定）、ユーザの視点映像から地図Ｂとユーザの現在位置を取得する（ステップＳ６０３）。

そして、地図比較部１８は、地図Ａと地図Ｂを比較し、地図Ｂを地図Ａに重ねるために必要な移動・回転・拡縮の処理を算出する（ステップＳ６０４）。続いて、検索処理部１４は、ユーザの現在位置を地図Ａでの値に変換し、該当位置で撮影された映像シーンを照会する（ステップＳ６０５）。

パラメータ保管部１２は、各映像シーンの位置情報を参照し、全条件を満たす各フレームのタイムスタンプを抽出する（ステップＳ６０６）。そして、検索処理部１４は、取得したフレームのタイムスタンプのうち連続したフレーム同士をつなげてシーンとして検出する（ステップＳ６０７）。その後、出力部１３ｂは、各シーンの時間帯に基づき映像シーンを呼出し、ユーザに提示する（ステップＳ６０８）。

［第４の実施形態の効果］
このように、第４の実施形態に係る表示システム１００Ｃでは、表示装置１０Ｃが、ユーザが撮影したリアルタイムの映像情報を取得し、映像情報に基づいて、撮影された領域の地図を生成し、該映像情報から地図上におけるユーザの撮影位置を特定する。そして、表示装置１０Ｃは、特定したユーザの撮影位置を用いて、パラメータ保管部１２に記憶された各シーンのなかから、撮影位置が同一または類似のシーンの情報を検索し、検索したシーンの情報を出力する。このため、表示装置１０Ｃは、リアルタイムで得た映像から現在位置で撮影されたシーンの検索を実現することが可能であり、例えば、自己の位置を検索キーとして、現在位置の作業場に関する過去の作業履歴をリアルタイムに閲覧することが可能である。

［第５の実施形態］
上述した第５の実施形態では、検索ユーザが撮影したリアルタイムな映像を取得し、自己の位置を検索キーとして、現在位置で撮影されたシーンの検索を行う場合を説明したが、これに場合に限定されるものではなく、例えば、検索ユーザが撮影したリアルタイムな映像を取得し、自己の位置を検索キーとして、同段階での映像シーンと行動を再現するための進行方向を出力できるようにしてもよい。

以下では、第５の実施形態として、表示システム１００Ｄの表示装置１０Ｄが、検索ユーザが撮影したリアルタイムな映像を取得し、自己の位置を検索キーとして、同段階での映像シーンと行動を再現するための進行方向を出力する場合を説明する。なお、第１の実施形態や第４の実施形態と同様の構成や処理については説明を適宜省略する。

図１７は、第５の実施形態に係る表示システムの構成の一例を示す図である。図１７に例示するように、表示システム１００Ｄの表示装置１０Ｄは、第１の実施形態と比較して、特定部１７を有する点が異なる。

特定部１７は、検索ユーザが撮影したリアルタイムの映像情報をウェアラブルカメラ等の映像取得装置２０から取得し、映像情報に基づいて、撮影された領域の地図を生成し、該映像情報から地図上におけるユーザの撮影位置を特定する。なお、特定部１７は、撮影位置とともに向きも特定してもよい。例えば、特定部１７は、映像処理部１１と同様に、ＳＬＡＭの技術を用いて、映像情報から特徴点のトラッキングにより地図を生成し、各シーンの撮影位置および撮影方向を取得するようにしてもよい。

検索処理部１４は、特定部１７によって特定されたユーザの撮影位置を用いて、パラメータ保管部１２に記憶された各シーンのなかから、撮影位置が同一または類似のシーンの情報を検索するとともに、該シーンの後続フレームの撮影位置から映像情報の撮影者の進行方向を判定し、該進行方向をさらに出力する。

ここで、図１８を用いて、リアルタイムな位置に基づいて進行方向を提示する処理を説明する。図１８は、リアルタイムな位置に基づいて進行方向を提示する処理を説明する図である。

例えば、図１８に例示するように、開始地点においては、表示装置１０Ｄは、検索ユーザに対して現段階での映像シーンを表示するとともに、ユーザが参照映像の開始地点で視点映像の撮影を開始する。そして、表示装置１０Ｄは、リアルタイムに映像を取得して地図上の位置を推定し、ユーザの現在位置で撮影された映像シーンと撮影方向を提示する。

また、表示装置１０Ｄは、ユーザの移動に伴い、位置推定を再試行し、映像シーンと撮影方向の出力を更新する。これにより、図１８に例示するように、表示装置１０は、検索ユーザが先行者と同じルートを辿って開始地点から最終地点にたどり着けるようにナビゲーションを実行することが可能である。

［表示装置の処理手順］
次に、図１９を用いて、第５の実施形態に係る表示装置１０Ｄによる処理手順の例を説明する。図１９は、第５の実施形態に係る表示装置における検索時の処理の流れの一例を示すフローチャートである。

図１９に例示するように、表示装置１０Ｄの特定部１７は、ユーザの移動中の視点映像と位置・向きを取得する（ステップＳ７０１）。その後、特定部１７は、視点映像から参照映像の地図における現在位置を判断する（ステップＳ７０２）。なお、ここでは、参照映像の撮影開始地点と、視点映像の撮影開始地点とが同じであるものとする。

そして、検索処理部１４は、参照映像の移動軌跡とユーザの移動状況を比較し、同じ段階の時点の映像シーンと撮影方向を呼出す（ステップＳ７０３）。そして、出力部１３ｂは、該当した各映像シーンとユーザの向かうべき進行方向を提示する（ステップＳ７０４）。その後、表示装置１０Ｄは、最終地点に到達したか否かを判定し（ステップＳ７０５）、最終地点に到達していない場合には（ステップＳ７０５否定）、Ｓ７０１の処理に戻り、上記の処理を繰り返す。また、表示装置１０Ｄは、最終地点に到達した場合には（ステップＳ７０５肯定）、本フローの処理を終了する。

［第５の実施形態の効果］
このように、第５の実施形態に係る表示システム１００Ｄでは、表示装置１０Ｄが、検索ユーザが撮影したリアルタイムな映像を取得し、自己の位置を検索キーとして、同段階での映像シーンと行動を再現するための進行方向を出力する。このため、表示装置１０Ｄは、例えば、検索ユーザが先行者と同じルートを辿って開始地点から最終地点にたどり着けるようにナビゲーションを実行することが可能である。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
図２０は、表示プログラムを実行するコンピュータを示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１０５１、キーボード１０５２に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１０６１に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、表示装置の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、装置における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施の形態の処理で用いられるデータは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク、ＷＡＮを介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ表示装置
１１映像処理部
１２パラメータ保管部
１３ＵＩ部
１３ａ入力処理部
１３ｂ出力部
１４検索処理部
１５映像保管部
１６位置合わせ部
１７特定部
１８地図比較部
２０映像取得装置
１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ表示システム

Claims

映像情報に基づいて、撮影された領域の地図を生成し、前記映像情報における各シーンの前記地図上の撮影位置の情報を取得する映像処理部と、
外部から取得した画像地図と前記映像処理部によって生成された地図と位置が対応するように前記画像地図を変形し、該画像地図上に前記撮影位置を時系列順にプロットし、連続するプロット間を線でつなげた移動軌跡を含む地図を生成する位置合わせ部と、
前記位置合わせ部によって生成された移動軌跡を含む地図を表示し、該移動軌跡から撮影位置の指定を受け付ける入力処理部と、
前記入力処理部により前記地図上の撮影位置の指定を受け付けた場合には、該撮影位置の情報を用いて、該撮影位置で撮影した映像情報のシーンの情報を検索し、検索したシーンの情報を出力する検索処理部と
を有することを特徴とする表示システム。
前記入力処理部は、前記映像情報から撮影時のパラメータを抽出し、該撮影時のパラメータから得られる情報を表示するとともに、前記映像処理部によって生成された地図を表示し、表示した地図における撮影位置の指定を受け付けることを特徴とする請求項１に記載の表示システム。
前記地図上の領域を任意のエリアに区分けする指示を受け付け、該指示に基づいて、前記地図の領域をエリアに分割するエリア分割部をさらに有し、
前記入力処理部は、前記エリア分割部によってエリアが分割された地図を表示するとともに、表示した地図におけるエリアに対応する時間帯の指定を受け付けることを特徴とする請求項１に記載の表示システム。
ユーザが撮影したリアルタイムの映像情報を取得し、前記映像情報に基づいて、撮影された領域の地図を生成し、該映像情報から前記地図上における前記ユーザの撮影位置を特定する特定部をさらに有し、
前記検索処理部は、前記特定部によって特定されたユーザの撮影位置を用いて、各シーンのなかから、撮影位置が同一または類似のシーンの情報を検索し、検索したシーンの情報を出力することを特徴とする請求項１に記載の表示システム。
前記特定部は、前記映像処理部によって生成された地図上における前記ユーザの撮影位置を特定し、
前記検索処理部は、前記特定部によって特定されたユーザの撮影位置を用いて、各シーンのなかから、撮影位置が同一または類似のシーンの情報を検索するとともに、該シーンの後続フレームの撮影位置から前記映像情報の撮影者の進行方向を判定し、該進行方向をさらに出力することを特徴とする請求項４に記載の表示システム。
表示システムによって実行される表示方法であって、
映像情報に基づいて、撮影された領域の地図を生成し、前記映像情報における各シーンの前記地図上の撮影位置の情報を取得する映像処理工程と、
外部から取得した画像地図と前記映像処理工程によって生成された地図と位置が対応するように前記画像地図を変形し、該画像地図上に前記撮影位置を時系列順にプロットし、連続するプロット間を線でつなげた移動軌跡を含む地図を生成する位置合わせ工程と、
前記位置合わせ工程によって生成された移動軌跡を含む地図を表示し、該移動軌跡から撮影位置の指定を受け付ける入力処理工程と、
前記入力処理工程により前記地図上の撮影位置の指定を受け付けた場合には、該撮影位置の情報を用いて、該撮影位置で撮影した映像情報のシーンの情報を検索し、検索したシーンの情報を出力する検索処理工程と
を含むことを特徴とする表示方法。