JP6123618B2 - 映像出力装置、映像出力方法、及びプログラム - Google Patents

映像出力装置、映像出力方法、及びプログラム Download PDF

Info

Publication number
JP6123618B2
JP6123618B2 JP2013203435A JP2013203435A JP6123618B2 JP 6123618 B2 JP6123618 B2 JP 6123618B2 JP 2013203435 A JP2013203435 A JP 2013203435A JP 2013203435 A JP2013203435 A JP 2013203435A JP 6123618 B2 JP6123618 B2 JP 6123618B2
Authority
JP
Japan
Prior art keywords
hot spot
branch
viewpoint position
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013203435A
Other languages
English (en)
Other versions
JP2015069444A (ja
Inventor
孝博 松原
孝博 松原
河合　直樹
直樹 河合
晃洋 佐々木
晃洋 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2013203435A priority Critical patent/JP6123618B2/ja
Publication of JP2015069444A publication Critical patent/JP2015069444A/ja
Application granted granted Critical
Publication of JP6123618B2 publication Critical patent/JP6123618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

本発明は、空間内を移動するユーザの視点から見た視線に対応する映像を出力するための映像出力装置等に関するものである。
魚眼レンズや全方位ミラーを装着したカメラを用いて、周囲３６０°の視界をもつ全方位画像を撮影することができる。近年、予め撮影した全方位画像によって作られた実写空間内を、任意の視線方向を向きながら自由に移動するユーザの視野に応じたパノラマ画像を提供できるパノラマ画像提供サービスが開発されている。
パノラマ画像提供サービスを利用したものとして、例えば、オンライン地図検索サービスがあり、非特許文献１はその一例である。非特許文献１は、ユーザがマップ上のある地点をクリックすると、その地点で撮影されたパノラマ画像を閲覧することができるというサービスを提供するサイトである。また、画面に表示される矢印をクリックすることで、ユーザはパノラマ写真内の先や手前などに視点を動かすことができる。
また、非特許文献２では、撮影されたパノラマ画像を再生時に繋ぎ合せることによって、ユーザが視線方向を自由に変えながら移動しているような映像を閲覧することができる。
"GoogleStreet View"、［online］、Google,Inc、［平成２５年８月３０日検索］、インターネット <http://maps.google.co.jp/intl/ja/help/maps/streetview/ > "QuickTime VRを利用した動画パノラマＶＲ（MotionVR of the Month 2006calendar）"、［online］、Apple Computer,Inc、［平成２５年８月３０日検索］、インターネット<http://www.worldinmotionvr.com/motionvr_month/calendar.html>
しかしながら、上述の非特許文献１では、表示される画像は離散的な視点から見た複数の静止画像であり、空間内を移動するユーザに対して、移動に合わせた動画像を出力することはできない。
また、上述の非特許文献２では、表示される画像は動画像であるが双方向の移動はできない。また、ユーザが移動できる範囲は予め設定されたルート上のみであり、経路上に分岐が存在しない。
さらに、実写空間内の物体等のポイントに、そのポイントに対応した情報を付加して、ポイント近傍を移動するユーザに対して情報提供したいという要望があった。
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、予め撮影した空間内において、事前に設計したルート上を移動する視点から任意の視線方向で見える映像を自動で出力し、さらに、空間内の所定のポイントを映像に付加して表示することが可能な映像出力装置等を提供することである。
前述した課題を解決するために第１の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、全方位画像のフレームからなるシーケンスを、ノードと有向なブランチとから構成される前記経路の前記有向なブランチごとに対応付けて記憶する経路記憶手段と、前記座標空間上に存在するホットスポットの情報を記憶するホットスポット記憶手段と、前記視点位置及び前記視線方向を、連続的に移動させる入力手段と、前記視点位置と前記ホットスポットの情報とに基づいて、前記ホットスポットの方向を算出するホットスポット方向算出手段と、前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段と、前記ホットスポットの方向に基づいて、前記視野範囲に前記ホットスポットが存在するか否かを判定するホットスポット判定手段と、前記ホットスポットが存在する場合に、前記ホットスポットの方向に基づいて、前記視野範囲の映像に前記ホットスポットを表すマークを合成するホットスポット合成手段と、前記視野範囲の映像を出力する出力手段と、を具備し、前記ホットスポットの情報は、当該ホットスポットが属する前記ブランチと、当該ブランチにおける当該ホットスポットの表示範囲を含み、前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致し、かつ、前記表示範囲内に前記視点位置を含む前記ホットスポットに対して、前記ホットスポットの方向を算出することを特徴とする映像出力装置である。
第１の発明の映像出力装置によれば、予め撮影した空間内において、経路上を自由に移動する視点位置（空間内の位置情報）から任意の視線方向で見える映像を自動で出力することができる。また、映像提供者は空間内の物体等の所定の位置に情報を付加するポイント（以下、ホットスポットという。）を設定して、映像とともににホットスポットを出力することができ、ホットスポット近傍を移動するユーザに情報提供することが可能となる。
また、有向なブランチと全方位画像のフレームからなるシーケンスとを関連付ける方法は、経路上の全ての位置情報と全方位画像とを関連付ける方法と比較して、データ構築の作業負荷及びデータ量が小さくなるというメリットがある。さらに、ユーザは有向なブランチ上を移動するため、双方向の移動が容易に可能となる。
ここで、ノードとはブランチの繋ぎ目であり、ブランチとは起点となるノードと終点となるノードとを繋ぐ経路を表す有向グラフである。
また、ホットスポットの情報がブランチにおける当該ホットスポットの表示範囲を含むことにより、視点位置の近傍に障害物等が存在しても、ホットスポットが障害物を透過して表示されることのないようにすることができ、実際その場所にホットスポットが掲示されているかのような映像をユーザに提供することが可能となる。
また、前記ホットスポットの情報は、さらに、当該ブランチを含む基準面における当該ホットスポットの投影点を含み、前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致する前記ホットスポットに対して、前記視点位置を基準点として、前記投影点と当該ブランチとがなす角度を算出して、前記ホットスポットのパン方向とすることが望ましい。
これにより、視野範囲の映像の水平方向の適切な位置にホットスポットのマークを表示することができる。
また、前記ホットスポットの情報は、さらに、前記基準面に対する当該ホットスポットの高さを含み、前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致する前記ホットスポットに対して、さらに、前記視点位置における所定の高さを第２の基準点として、前記第２の基準点を含む前記基準面と平行な面と、前記ホットスポットとがなす角度を算出して、前記ホットスポットのチルト方向とすることが望ましい。
これにより、視野範囲の映像の垂直方向の適切な位置にホットスポットのマークを表示することができる。
また、前記ホットスポットの情報は、さらに、当該ホットスポットの付加情報を含み、前記入力手段は、さらに、前記ホットスポットを表すマークの選択を受け付け、前記出力手段は、さらに、前記ホットスポットを表すマークの選択がなされた場合には、前記視野範囲の映像とともに、当該ホットスポットの前記付加情報を出力することが望ましい。
これにより、選択されたホットスポットの付加情報を出力することができる。
第２の発明は、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する、全方位画像のフレームからなるシーケンスを、ノードと有向なブランチとから構成される前記経路の前記有向なブランチごとに対応付けて記憶する経路記憶手段と、前記座標空間上に存在するホットスポットの情報を記憶するホットスポット記憶手段と、を備えるコンピュータが行う映像出力方法であって、前記視点位置及び前記視線方向を、連続的に移動させる入力ステップと、前記視点位置と前記ホットスポットの情報とに基づいて、前記ホットスポットの方向を算出するホットスポット方向算出ステップと、前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成ステップと、前記ホットスポットの方向に基づいて、前記視野範囲に前記ホットスポットが存在するか否かを判定するホットスポット判定ステップと、前記ホットスポットが存在する場合に、前記ホットスポットの方向に基づいて、前記視野範囲の映像に前記ホットスポットを表すマークを合成するホットスポット合成ステップと、前記視野範囲の映像を出力する出力ステップと、を含み、前記ホットスポットの情報は、当該ホットスポットが属する前記ブランチと、当該ブランチにおける当該ホットスポットの表示範囲を含み、前記ホットスポット方向算出ステップは、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致し、かつ、前記表示範囲内に前記視点位置を含む前記ホットスポットに対して、前記ホットスポットの方向を算出することを特徴とする映像出力方法である。
第２の発明の映像出力方法によれば、予め撮影した空間内において、経路上を自由に移動する視点位置（空間内の位置情報）から任意の視線方向で見える映像を自動で出力することができる。また、映像提供者は空間内の物体等の所定の位置に情報を付加するホットスポットを設定して、映像とともににホットスポットを出力することができ、ホットスポット近傍を移動するユーザに情報提供することが可能となる。
第３の発明は、コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、前記コンピュータを、全方位画像のフレームからなるシーケンスを、ノードと有向なブランチとから構成される前記経路の前記有向なブランチごとに対応付けて記憶する経路記憶手段、前記座標空間上に存在するホットスポットの情報を記憶するホットスポット記憶手段、前記視点位置及び前記視線方向を、連続的に移動させる入力手段、前記視点位置と前記ホットスポットの情報とに基づいて、前記ホットスポットの方向を算出するホットスポット方向算出手段、前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段、前記ホットスポットの方向に基づいて、前記視野範囲に前記ホットスポットが存在するか否かを判定するホットスポット判定手段、前記ホットスポットが存在する場合に、前記ホットスポットの方向に基づいて、前記視野範囲の映像に前記ホットスポットを表すマークを合成するホットスポット合成手段、前記視野範囲の映像を出力する出力手段、として機能させ、前記ホットスポットの情報は、当該ホットスポットが属する前記ブランチと、当該ブランチにおける当該ホットスポットの表示範囲を含み、前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致し、かつ、前記表示範囲内に前記視点位置を含む前記ホットスポットに対して、前記ホットスポットの方向を算出することを特徴とするプログラムである。
第３の発明に係るプログラムを、汎用コンピュータにインストールすることにより、第１の発明に係る映像出力装置を得て、第２の発明に係る映像出力方法を実行することができる。
本発明によれば、予め撮影した空間内において、事前に設計したルート上を移動する視点から任意の視線方向で見える映像を自動で出力し、さらに、空間内の所定のポイントを映像に付加して表示することが可能な映像出力装置等を提供することができる。
本実施形態に係る映像出力装置のハードウエアの構成例を示すブロック図 視点位置が移動する施設館内の一例を示す平面図 映像出力装置の記憶部が保持するデータ構造の一例を示す図 ＸＹ二次元座標上に表した経路上の視点位置の一例を示す図 図４に示す経路を記憶するノード情報とブランチ情報とを示す図 映像出力装置の記憶部が保持するホットスポット情報の一例を示す図 ホットスポット情報について説明する図 映像出力装置の記憶部が保持するホットスポット付加情報の一例を示す図 ホットスポットデータの一例を示す図 本実施形態に係る映像出力処理の流れを示すフローチャート 映像出力処理にて、映像出力装置が一時的に保持するデータの一例を示す図 ユーザ入力画面の一例を示す図 視線方向に対応する視野範囲を説明する図 視点位置に対応する全方位画像から、視線方向に対応する画像を切り出す作業を説明する図 ホットスポット表示画面の一例を示す図 ホットスポット方向算出処理の流れを示すフローチャート ホットスポットの向きの算出方法を説明する図 ブレンド画像表示処理の流れを示すフローチャート 視線方向の移動について説明する図
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、本発明の実施形態に係る映像出力装置１を実現するコンピュータのハードウエア構成図である。コンピュータは、図１に示すように、例えば、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続されて構成される。
制御部１１は、ＣＰＵ（Central
Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、映像出力装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部１１が各処理を行うために使用するワークエリアを備える。
記憶部１２は、ＨＤＤ（Hard
Disk Drive）等であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating
System）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
メディア入出力部１３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、画像等のデータの入出力を行う。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
入力部１５は、データ入力を行い、例えば、上下左右に動くレバーやボタンを備えたコントローラ、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部１１へ出力する。
表示部１６は、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
尚、入力部１５と表示部１６は、それらの機能が一体化した、例えば、タッチパネル付ディスプレイであっても良い。
周辺機器Ｉ／Ｆ部（インターフェース）１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は、有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
図２は、本実施形態に係る視点位置が移動する施設館内の一例を示す平面図である。本実施形態に係る映像出力装置１は、所定の経路に沿って連続的に移動する視点位置から見た任意の視線方向に対応する画像を表示する機能を有する装置である。本実施形態に係る視点位置が移動する経路は、例えば、会社のフロアや、美術館などの施設等の空間内にある。経路上の映像を撮影できる空間であれば、屋外であっても良い。本実施形態では、図２に示される間取り図２０を有した施設の館内を、ユーザに提示する例について説明する。
映像出力装置１は、予め経路に沿って撮影された映像を構成するフレーム画像から、ユーザが入力する視点位置と視線方向に基づいて視野画像を切り出して、動画像として出力する。ユーザに視点位置と視線方向を自由に移動させながら館内の映像を提示することで、実際に歩き回って見学しているような体験をさせることが可能となる。
また、映像出力装置１は、映像内に情報を付加するポイント（以下、ホットスポット）を表示し、映像を出力する操作の途中で、ホットスポットをユーザによってクリック操作させることで、ホットスポットが位置するポイントにおける情報を表示することができる。
図２に示されるように、間取り図２０内の経路は、ノード２１とブランチ２２によって構成される。ノード２１とは経路の繋ぎ目であり、ブランチ２２とは起点となるノード２１（以下、起点ノード２１ａと表記）と終点となるノード２１（以下、終点ノード２１ｂと表記）とを接続する単位経路である。図２に示す例では、７個のノードＮ１〜Ｎ７と、６本のブランチＢ１〜Ｂ６とが定義されている。
図示されるように各ブランチ２２は直線で表現され、各ブランチ２２の矢印の向きは、矢印の起点が起点ノード２１ａであり、矢印の終点が終点ノード２１ｂであることを示す。即ち、起点ノード２１ａと終点ノード２１ｂが特定されると、当該ブランチ２２が特定されることとなる。ブランチ２２の向きは、記憶部１２に記憶される全方位画像を生成する際に、施設内を経路に沿って撮影した時の進行方向に一致する。
経路上のどの位置にノード２１を定義するかは、この装置の設計者の判断に委ねられるが、一般的には、経路上の端点（行き止まり）、曲り角、経路の分岐点にノード２１を定義する。図２に示す例では、Ｎ３、Ｎ４、Ｎ５、Ｎ７は経路上の端点を示すノード２１であり、Ｎ６は経路上の曲り角を示すノード２１であり、Ｎ１、Ｎ２は経路上の分岐点を示すノード２１である。
図３は、映像出力装置１の記憶部１２に記憶されるデータ構造の一例について説明する図である。映像出力装置１の記憶部１２には、（ａ）ノード情報２５と、（ｂ）ブランチ情報２６と、（ｃ）映像情報２７と、（ｄ）各種パラメータ２８と、後述するホットスポットデータ４７と、切り出された画像を映像として出力するためのアプリケーション（図示せず）が、予め記憶される。
（ａ）に示すノード情報２５とは、視点位置が移動可能な経路上に存在する複数の各ノード２１に関する情報であり、「ノードＩＤ」、「位置情報Ｘ」、「位置情報Ｙ」、「属性」を格納する。
「位置情報Ｘ」及び「位置情報Ｙ」とは、ノード２１の位置情報であり、ノード２１をＸＹ二次元座標上に表した際の「Ｘ座標値」と「Ｙ座標値」をそれぞれ格納する。ノード２１間の距離は、座標を距離単位に変換することで、実寸値で算出することができる。
「属性」とは、ノード２１の経路上の特徴を表す次数であり、各ノード２１から派生するブランチ２２の本数を示す値である。例えば、ノード２１が経路上の端点（行き止まり）にあれば「１」を格納し、ノード２１が経路上の曲り角にあれば「２」を格納し、ノード２１が経路上の三叉路にあれば「３」を格納し、ノード２１が経路上の十字路にあれば「４」を格納する。
（ｂ）に示すブランチ情報２６とは、起点ノード２１ａと終点ノード２１ｂとを繋ぐ複数の各ブランチ２２に関する情報であり、「ブランチＩＤ」、「起点ノード」、「終点ノード」、「映像ＩＤ」を格納する。
「起点ノード」には、ブランチ２２の端点のうち撮影開始側のノードＩＤを格納し、「終点ノード」には、ブランチ２２の端点のうち撮影終了側のノードＩＤを格納する。起点ノード２１ａから終点ノード２１ｂに向かう方向を、ブランチ２２の向きと定義する。「映像ＩＤ」には、ブランチ２２に対応する映像ＩＤを格納する。
（ｃ）に示す映像情報２７とは、各ブランチ２２上を撮影した全方位画像に関する情報であり、「映像ＩＤ」と、「画像データ」と、「フレーム数」を格納する。
「画像データ」には、全方位映像シーケンスが格納される。全方位画像シーケンスとは、全方位映像を構成する全方位画像を１フレームとした、連続した複数フレームからなる画像データ群である。全方位映像とは、ブランチ２２に沿って一定速度で移動しながら、全方位カメラを用いて撮影した映像である。一定速度で移動しながら撮影されるため、ブランチ２２上に定義された個々の地点について、それぞれの全方位画像フレームが対応付けられる。「フレーム数」には、全方位画像シーケンスを構成するフレーム数の値が格納される。
（ｄ）に示す各種パラメータ情報２８とは、全方位画像からユーザの視線方向に対応する視野範囲のパノラマ画像を切り出すために使用する「切出角度」等を格納する。詳細は後述する。
図４は、ＸＹ二次元座標上に表した経路上の視点位置５２の一例を示す図である。各ノードＮ１〜Ｎ４の符号に括弧書きで示した一対の座標は、当該ノードのＸ座標値とＹ座標値である。図示されるように、ブランチＢ１の向きはＸ軸の向きに一致し、Ｘ軸に対してブランチＢ２がなす角度は反時計回りに６０°であり、Ｘ軸に対してブランチＢ３がなす角度は時計回りに６０°である。
ここで、ブランチ角度とは、図示されるＸＹ座標系のＸ軸とブランチ２２の向きとがなす角度であり、反時計回りを正方向とする。ブランチ角度は、ブランチ２２の始点ノード２１ａの位置座標と終点ノード２２ｂの位置座標とによって算出することができる。図４に示す例では、ブランチＢ１のブランチ角度は０°であり、ブランチＢ２のブランチ角度は６０°であり、ブランチＢ３のブランチ角度は３００°（−６０°）である。
図４に、ブランチＢ１上に視点位置５２と視線方向５４の一例を示す。視線角度θＬ５５とは、Ｘ軸と視線方向５４とがなす角度（水平角）であり、反時計回りを正方向とする。この場合、映像出力装置１の表示部１６には、視点位置５２から視線方向５４に見える視野範囲の画像を配置したユーザ入力画面６１（図１２参照）が表示されることとなる。
図５は、図４に示す経路を記憶するノード情報２５ａとブランチ情報２６ａとを示す図である。
図５（ａ）に示すように、ノードＮ１の位置座標Ｘにはｘ１格納され、位置座標Ｙにはｙ１が格納され、属性にはノードＮ１から派生するブランチ２２の本数である３が格納される。ノードＮ２の位置座標Ｘにはｘ２格納され、位置座標Ｙにはｙ１が格納され、属性にはノードＮ２から派生するブランチ２２の本数である３が格納される。ノードＮ３の位置座標Ｘにはｘ３格納され、位置座標Ｙにはｙ３が格納され、属性にはノードＮ３から派生するブランチ２２の本数である１が格納される。ノードＮ４の位置座標Ｘにはｘ４格納され、位置座標Ｙにはｙ４が格納され、属性にはノードＮ４から派生するブランチ２２の本数である１が格納される。
図５（ｂ）に示すように、ブランチＢ１の映像ＩＤにはブランチＢ１に対応する映像ＩＤが格納され、起点ノードにはＮ１が格納され、終点ノードにはＮ２が格納される。ブランチＢ２の映像ＩＤにはブランチＢ２に対応する映像ＩＤが格納され、起点ノードにはＮ２が格納され、終点ノードにはＮ３が格納される。ブランチＢ３の映像ＩＤにはブランチＢ３に対応する映像ＩＤが格納され、起点ノードにはＮ２が格納され、終点ノードにはＮ４が格納される。
続いて、図６〜図９を参照して、映像出力装置１の記憶部１２に記憶されるホットスポットデータ４７について説明する。ホットスポットデータ４７は、図１０に示す映像出力処理で使用する。
図６は、ホットスポット情報２９について説明する図である。ホットスポットデータ４７（図９参照）は、ホットスポット３０の位置情報であるホットスポット情報２９と、ホットスポット３０における表示情報であるホットスポット付加情報３９とによって構成される。
ホットスポット情報２９は、例えば、ホットスポット３０の識別子である「ホットスポットのＩＤ３１」と、ホットスポット３０の近くに存在するブランチのブランチＩＤである「ホットスポットが属するブランチのＩＤ３２」と、「ホットスポットの進行率３３」と、「ホットスポットとブランチの距離３４」と、ホットスポット３０からＸＹ平面に下した垂線の長さの実寸値である「ホットスポットの高さ３５」と、「ホットスポットを表示する範囲３６」と、ホットスポット３０の名称である「ホットスポットの名前３７」を保持する。
ここで進行率とは、ブランチ２２内部でのブランチ２２上の点の相対的な位置を特定する値である。ブランチ２２の起点ノード２１ａの正規化座標を「０」とし、終点ノード２１ｂの正規化座標を「１」として、進行率は１次元の正規化座標（０〜１）で表現される。
図７を参照して、ホットスポット情報２９について説明する。
図７に示す起点ノード２１ａから終点ノード２１ｂを有するブランチ２２は、「ホットスポットが属するブランチ３２」である。ホットスポット３０をＸＹ平面に投影した点（投影点）３０ａからブランチ３２に下した垂線の長さの実寸値が「ホットスポットとブランチとの距離３４」であり、垂線とブランチ３２との交点のブランチ３２における進行率が「ホットスポットの進行率３３」である。
なお、投影点３０ａがブランチ３２の向きに対して左側に位置する合には、「ホットスポットとブランチの距離３４」は算出した実寸値を負の値で表現する。
図７に示す表示開始点３６ａと表示終了点３６ｂは、視点位置５２にホットスポット３０を表示させる範囲を示す点である。例えば、ブランチ３２の近傍に障害物４８がある場合には、起点ノード２１ａに視点位置５２が存在しても、視点位置５２からホットスポット３０が確認できない。このような場合、表示開始点３６ａを設定することにより、ホットスポット３３の見える視点位置５２の範囲を制限することができる。「ホットスポットを表示する範囲３６」は、表示開始点３６ａと表示終了点３６ｂとを保持し、いずれもブランチ３２における進行率で表される。
図８は、ホットスポット付加情報３９を説明する図である。
ホットスポット付加情報３９は、例えば、「付加する文字情報４１」と、「付加する静止画像情報４２」と、「付加する動画像情報４３」と、「付加する音声情報４４」と、「付加するリンク情報４５」を保持する。また、ホットスポット付加情報３９は、これらの中の１又は複数の情報を保持しても良い。
図９は、ｘｍｌ形式（eXtensible
Markup Language）で記述されたホットスポットデータ４７の一例であり、ホットスポット情報２９とホットスポット付加情報３９とを含む。なお、ホットスポットデータ４７は、ｘｍｌ形式で記述される例を示すが、いずれのフォーマットであっても良い。
図９に示すホットスポット情報２９について説明する。
「ホットスポットのＩＤ３１」＝「１」であり、「ホットスポットが属するブランチのＩＤ３２」＝「８」であり、「ホットスポットの進行率３３」＝「０．５」であり、「ホットスポットとブランチとの距離３４」＝「０（メートル）」であり、「ホットスポットの高さ３５」＝「１．５（メートル）」であり、「ホットスポットを表示する開始点３６ａ」＝「０．２」であり、「ホットスポットを表示する終了点３６ｂ」＝「０．８」であり、「ホットスポットの名前３７」＝「ホットスポット１」である。
続いて図９に示すホットスポット付加情報３９について説明する。
「付加する文字情報４１」には付加する文字の文字列が格納され、「付加する静止画像情報４２」には付加する静止画像の保存先を表すパスが格納され、「付加する動画像情報４３」には付加する動画像の保存先を表すパスが格納され、「付加する音声情報４４」には付加する音声の保存先を表すパスが格納され、「付加するリンク情報４５」には付加するｗｅｂページのＵＲＬが格納される。映像出力装置１の記憶部１２には、付加するデータが予め記憶されているものとする。
（映像出力処理）
続いて、図１０〜図１９を参照して、本実施形態に係る映像出力処理について説明する。
映像出力処理とは、ユーザによって視点位置５２及び視線方向５４の入力を受付け、ホットスポット３０の表示範囲内に視点位置５２が存在する場合に、視点位置５２から見えるホットスポットの向きを算出し、視点位置５２からの視線方向５４にホットスポット３０が存在する場合には、ホットスポット３０を表すマークを映像に付加して出力する処理である。
図１１は保持映像出力処理にて、映像出力装置１が一時的に保持する保持データ６０の一例を示す図である。保持データ６０は、映像出力装置１の記憶部１２に記憶せず、制御部１１のＲＡＭに記憶させるのみでもよい。
「対象ブランチのブランチＩＤ」とは、視点位置５２が位置するブランチ２２（以下、対象ブランチ２２ａと表記）のブランチＩＤである。対象ブランチのブランチＩＤは、視点位置５２が次のブランチ２２に移行した場合のみ更新される。「進行率Ｐ」とは、対象ブランチ２２ａ内部での視点位置５２の相対的な位置を特定する値である。
すなわち、視点位置５２は、「対象ブランチのブランチＩＤ」と、当該対象ブランチ２２ａの「進行率Ｐ」とにより特定される。
「視線角度θＬ」とは、視線方向５４が基準軸（Ｘ軸）となす角度（水平角）であり、反時計回りを正方向とする。保持データ６０は、さらに「視線高さ」を記憶しても良い。「視線高さ」とは、視線方向５４が基準面（ＸＹ平面）となす角度（垂直角）である。
すなわち、視線方向５４は、「視線角度θＬ」と、必要であれば「視線高さ」とにより特定される。
「進行率Ｐ」と「視線角度θＬ」（及び「視線高さ」）とは、映像出力処理が実行される毎に更新される値である。
「移動先ブランチのブランチＩＤ」と「視線角度の変化度合ｒ」と「ブレンド比率の変化度合ｒ1」と「ブレンド比率α」は、ステップＳ１１１にて実行するブレンド画像表示処理（図１８参照）にて使用するものである。「視線角度の変化度合ｒ」は、予め記憶されている固定値であり、例えば「１°」である。「移動先ブランチのブランチＩＤ」と「ブレンド比率の変化度合ｒ1」は、ブレンド画像表示処理が実行される毎に記憶される。「ブレンド比率α」は、ブレンド画像表示処理のステップＳ３０５〜ステップＳ３１１が実行される毎に更新される値である。詳細は後述する。
図１０は、本実施形態に係る映像出力処理の流れを示すフローチャートである。
映像出力装置１の制御部１１は、ユーザ入力画面６１を表示部１６に表示する（ステップＳ１０１）。
図１２は、ユーザ入力画面６１の一例を説明する図である。ユーザ入力画面６１には、視野画像領域６２と、経路表示領域６３と、入力受付領域７４とが表示される。視野画像領域６２には、ステップＳ１１１またはステップＳ１１５にて表示される画像が配置される。
また、視野画像領域６２には、視野画像にホットスポットマーク８０ａ、８０ｂが合成されて表示される。ホットスポットマーク８０ａ、８０ｂの表示が指示されると、該当するホットスポット３０のホットスポット表示画面９５（図１５参照）が表示される。
経路表示領域６３には、施設館内の間取り図２０と、視点位置５２が移動可能な経路と、現在の視点位置５２と視線方向５４を表現する視線方向指標５４ｅが表示される。図示される例では、視点位置５２として二重円が描かれ、視線方向指標５４ｅとして扇形が描かれる。
ユーザは、視野画像領域６２に表示される視野画像と、経路表示領域６３に表示される経路上の視点位置５２と視線方向指標５４ｅに基づいて、入力受付領域７４から視点位置５２の移動に関する指示と、視線方向５４の移動に関する指示とを入力する。
入力受付領域７４には、視点位置５２を移動させる場合や、視線方向５４を移動させる場合や、各種変更操作（例えば、移動速度の変更、視野画像領域６２に表示される視野画像の視野角の変更など）等を行う場合に、ユーザによって押下されるキーボード（図示せず）のキートップに印字される記号が表示される。入力受付領域７４に表示される各種ボタンの機能は、キーボード（図示せず）のいずれかのキーに割り付けられる。
ここで、前進ボタン７５ａと後退ボタン７５ｂとは、視点位置５２の移動を入力させる操作に利用され、前進ボタン７５ａが押されている間、視点位置５２が経路上の所定の進行方向に所定速度で移動するように進行率Ｐを増加または減少させる。また、後退ボタン７５ｂが押されている間、視点位置５２が経路上の所定の進行方向に所定速度で移動するように進行率Ｐを増加または減少させる。ここで、所定速度とは、例えば、ユーザが歩く速度にふさわしい速度などである。所定速度は、予め記憶部１２に記憶されているものであり、ユーザの指示により変更することも可能である。
別の方法として、前進ボタン７５ａと後退ボタン７５ｂは、視点位置５２が移動する経路上の進行方向を反転させるためにのみ用いられ、視点位置５２は所定の進行方向に所定速度で常に移動するように設定しても良い。この場合、停止ボタン７５ｃが押下されることで、視点位置５２の移動は停止する。
一方、右向きボタン７６ｂと左向きボタン７６ｄは、視線方向５４の移動を入力させる操作に利用され、右向きボタン７６ｂが押されている間、視線方向５４が所定の速度で進行方向に対して右向きに移動するように視線角度θＬを減少させる。また、左向きボタン７６ｄが押されている間、視線方向５４が所定の速度で進行方向に対して左向きに移動するように後述する視線角度θＬを増加させる。上向きボタン７６ａと下向きボタン７６ｃは、視線高さを変更させる場合に押下される。
変更操作ボタン７７には、例えば、移動速度の変更、視野画像領域６２に表示される視野画像の視野角の変更などの機能が割り当てられる。上記変更を行う際に、変更操作ボタン７７に対応するキーボード（図示せず）のキーがユーザによって押下される。
図１０の説明に戻る。映像出力装置１の制御部１１は、ユーザ入力画面６１の入力受付領域７４を介して、視点位置５２の移動と視線方向５４の移動の入力を受付ける（ステップＳ１０２）。続いて、映像出力装置１の制御部１１は、視線角度θＬを算出する（ステップＳ１０３）。
映像出力装置１は、ステップＳ１０２にて受け付けた視線方向５４の移動量を算出して視線角度θＬを更新し、記憶部１２に記憶させる。具体的には、ユーザによって右向きボタン７６ｂ（図１２参照）が押下され、視線方向５４の右方向への移動が指示された場合には、映像出力装置１は視線角度θＬを所定量減少させ、左向きボタン７６ｄ（図１２参照）が押下され、視線方向５４の左方向への移動が指示された場合には、映像出力装置１は視線角度θＬを所定量増加させて、視線角度θＬを更新して、記憶する。
続いて、映像出力装置１の制御部１１は、ステップＳ１０３にて算出された視線角度θＬに基づいて、視点位置５２の進行方向を特定する（ステップＳ１０４）。なお、「対象ブランチ２２ａのブランチＩＤ」は、保持データ６０に記憶されているものとする。
進行方向と特定する方法として、例えば、映像出力装置１は、ブランチ情報２６とノード情報２５から、対象ブランチ２２ａの起点ノード２１ａと終点ノード２１ｂの位置情報を検索し、対象ブランチ２２ａのブランチ角度θｂを算出する。視線角度θＬがθｂ−９０°＜θＬ≦θｂ＋９０°の範囲内にあれば、進行方向は対象ブランチ２２ａの向きに一致し、範囲外であれば、進行方向は対象ブランチ２２ａの逆向きに一致する。
映像出力装置１の制御部１１は、対象ブランチ２２ａ上の視点位置５２の進行率Ｐを算出する（ステップＳ１０５）。
映像出力装置１の制御部１１は、ステップＳ１０２にて受け付けた視点位置５２の移動量を算出して、視点位置５２の進行方向が対象ブランチ２２ａの正方向であれば、既存の進行率と算出された移動量との和を新しい進行率として、記憶部１２に記憶させる。また、視点位置５２の進行方向が対象ブランチ２２ａの負方向であれば、既存の進行率から算出された移動量を引いた値を新しい進行率として、記憶部１２に記憶させる。
算出された進行率が「０」未満の値となった場合は、進行率は「０」とし、算出された進行率が「１」を超える値となった場合には、進行率は「１」とする。
映像出力装置１の制御部１１は、対象ブランチ２２ａがホットスポットの属するブランチ３２と一致するか否かを判定する（ステップＳ１０６）。
映像出力装置１は、ホットスポットデータ４７の「ホットスポットが属するブランチのＩＤ３２」を検索し、保持データ６０の「対象ブランチ２２ａのブランチＩＤ」と一致するホットスポットデータ４７が存在するか否かを判定する。存在しない場合には（ステップＳ１０６のＮＯ）、映像出力装置１の制御部１１は、ステップＳ１１０の処理に進む。
存在する場合には（ステップＳ１０６のＹＥＳ）、映像出力装置１の制御部１１は、保持データ６０に記憶される「進行率Ｐ」が、検索したホットスポットデータ４７の「ホットスポットを表示する範囲３６」の範囲内にあるか否かを判定する（ステップＳ１０７）。範囲内にない場合には（ステップＳ１０７のＮＯ）、映像出力装置１の制御部１１は、ステップＳ１０９の処理に進む。
範囲内にある場合には（ステップＳ１０７のＹＥＳ）、映像出力装置１の制御部１１は、ホットスポット方向算出処理を実行する（ステップＳ１０８）。ホットスポット方向算出処理の詳細は後述する。
映像出力装置１の制御部１１は、全てのホットスポットデータ４７について、ステップＳ１０６の判定処理を実行したか否かを判定する（ステップＳ１０９）。実行していない場合には（ステップＳ１０９のＮＯ）、ステップＳ１０６に戻る。
実行済みの場合には（ステップＳ１０９のＹＥＳ）、映像出力装置１の制御部１１は、視点位置５２が対象ブランチ２２ａの端点に位置するか否かを判断する（ステップＳ１１０）。具体的には、保持データ６０に記憶される進行率が、「０」または「１」であるか否かを判定する。
端点にない場合には（ステップＳ１１０のＮＯ）、映像出力装置１の制御部１１は、ブランチ情報２６から、対象ブランチ２２ａの映像ＩＤを検索し、映像情報２７から検索された映像ＩＤのフレーム数を検索し、フレーム数と進行率Ｐを掛け合わせて、対象フレームを特定する。対象フレームの全方位画像から、視線方向５４及び視線高さに対応する画像を切り出して視野画像を生成する（ステップＳ１１３）。
図１３は、視線方向５４に対する視野範囲を説明する図である。映像出力装置１は、各種パラメータ２８に格納される切出角度をΔとすると、特定された対象フレームの全方位画像４０から、視野角「視線角度（視線高さ）−Δ／２」〜「視線角度（視線高さ）＋Δ／２」の視野範囲の画像を切り出して生成する。ユーザには視点位置５２から視線方向５４を中心に図示されるような視野角５４ｅの画像が提示されることとなる。
図１４は、特定された対象フレームの全方位画像９０から、視線方向に対応する画像９１を切り出す作業を説明する図である。図示される例では、視線角度θＬが９０°で、Δが９０°の画像９１を示す。
図１０の説明に戻る。端点に有る場合には（ステップＳ１１０のＹＥＳ）、映像出力装置１の制御部１１は、端点が分岐点又は曲り角であるか否かを判断する（ステップＳ１１１）。具体的には、映像出力装置１は、ノード情報２５から、進行率が「０」である場合には対象ブランチ２２ａの起点ノード２１ａの属性を検索し、進行率が「１」である場合には対象ブランチ２２ａの終点ノード２１ｂの属性を検索し、検索された属性が「２」以上であるか否かを判断する。
分岐点又は曲り角に有る場合には（ステップＳ１１１のＹＥＳ）、映像出力装置１の制御部１１は、後述するブレンド画像表示処理を実行して（ステップＳ１１２）、ステップＳ１０２に戻る。分岐点又は曲り角に無い場合には（ステップＳ１１１のＮＯ）、映像出力装置１の制御部１１は、ステップＳ１１３に進む。
映像出力装置１の制御部１１は、ステップＳ１１３にて切り出された視野角の範囲内に、ホットスポット方向算出処理にて算出したホットスポット３０のパン方向（水平角）θ１５０とチルト方向（垂直角）φ１５１とが含まれるか否かを判定する（ステップＳ１１４）。判定する際に、パン方向（水平角）θ１５０にブランチ角度θｂを加えて基準軸をＸ軸に変換する。範囲内に含まれない場合には（ステップＳ１１４のＮＯ）、映像出力装置１の制御部１１は、ステップＳ１１６に進む。
いずれも範囲内に含まれる場合には（ステップＳ１１４のＹＥＳ）、映像出力装置１の制御部１１は、ホットスポット３０ごとにステップＳ１１３にて生成した視野画像の、基準軸をＸ軸としたパン方向θ１５０と、チルト方向φ１５１とに対応する場所にホットスポットマーク８０（図１２の８０ａ、８０ｂ参照）を合成し（ステップＳ１１５）、視野画像をユーザ入力画面６１の視野画像領域６２に配置して表示部１５に出力し（ステップＳ１１６）、処理を終了する。
また、映像出力装置１は、進行率Ｐと視線角度θＬに基づいて、経路表示領域６３の経路上に視点位置５２と視線方向指標５４ｅとを配置する。
図１５は、ユーザ入力画面６１の視野画像領域６２に表示されるホットスポットマーク８０（８０ａ、８０ｂ等）がユーザによって選択された場合に、表示部１６に表示されるホットスポット画面９５である。ホットスポット画面９５には、ホットスポット３０に対応するホットスポットデータ４７のホットスポット付加情報３９が表示される。図示される例では、ホットスポット付加情報３９に、付加する文字情報４１と付加する静止画像情報４２とが格納されている。
映像出力装置１は、視野画像領域６２に配置される視線方向に対応する画像９１（図１４）を、映像としてユーザに認識されるように、例えば、０．０１〜０．５秒の短い時間間隔でステップＳ１０２〜ステップＳ１１６を繰り返して、視野画像領域６２に配置される画像を更新する。
以上のように、映像出力処理は、空間内の経路上を自由に移動する視点位置５２から任意の視線方向５４で見える映像を自動で出力することができる。また、映像出力装置１は映像提供者が映像空間内に設定したホットスポット３０を映像上に表示することができ、ホットスポット３０近傍を移動するユーザにホットスポット３０の場所の解説情報等を提供することが可能となる。
（ホットスポット方向算出処理）
次に、図１６、図１７を参照して、映像出力処理のステップＳ１０８にて実行するホットスポット方向算出処理について説明する。ホットスポット方向算出処理とは、視点位置５２から見えるホットスポット３０のパン方向（水平方向）の向きとチルト方向（垂直方向）の向きを算出するための処理である。視点位置５２が位置するブランチに属するホットスポット３０は複数であっても良く、その場合は該当する全てのホットスポット３０に対して、ホットスポット方向算出処理が実行される。
映像出力装置１の制御部１１は、ステップＳ１０６にて検索されたホットスポットデータ４７に基づいて、ホットスポットと視点位置との間の変化量５８を算出する（ステップＳ２０１）。
図１７は、ホットスポットの向きの算出方法を説明する図である。
図１７の視点位置５２は、ホットスポットの属するブランチ３２に位置し、視点位置５２の進行率Ｐは、ホットスポットを表示する範囲３６内に存在するものとする。ここで、ホットスポットと視点位置との間の変化量５８とは、ホットスポットの進行率３３と視点位置５２の進行率Ｐの差の絶対値に、ホットスポットの属するブランチ３２の実寸値を掛け合わせたものである。ホットスポットの属するブランチ３２の実寸値とは、ブランチ３２の始点ノード２１ａと終点ノード２１ｂの位置座標から算出することができる。
映像出力装置１の制御部１１は、ホットスポット３０のパン方向（水平角）θ１５０を算出する（ステップＳ２０２）。パン方向（水平角）θ１５０は、数式（１）にて算出される。パン方向（水平角）θ１５０とは、視点位置５２を基点としてブランチ３２の向きと投影点３０ａがなす角度である。
Figure 0006123618
映像出力装置１の制御部１１は、ホットスポットの高さ３５と視点高さ５３の差の絶対値を算出する（ステップＳ２０３）。視点高さ５３とは、平均的な目線の高さの実寸値であり、予め記憶部１２に記憶される。
映像出力装置１の制御部１１は、図１７に示すホットスポットと視点位置の距離５７を算出する（ステップＳ２０４）。ホットスポットと視点位置の距離５７は、数式（２）にて算出される。
Figure 0006123618
映像出力装置１の制御部１１は、ホットスポット３０のチルト方向（垂直角）φ１５１を算出する（ステップＳ２０５）。チルト方向（垂直角）φ１５１は、数式（３）にて算出される。チルト方向（垂直角）φ１５１とは、視点位置５２の視点高さを基点としてＸＹ平面に平行な面とホットスポット３０がなす角度である。
Figure 0006123618
以上のように、ホットスポット方向算出処理を実行することで、映像出力装置１は、視点位置５２から見えるホットスポット３０のパン方向の角度とチルト方向の角度を算出することが可能となる。また、全方位画像９０上にホットスポット３０の位置を直接紐付けることなく、ブランチ３２とホットスポット３０の距離と、ホットスポット３０の高さを予め記憶することにより、視野画像上にホットスポット３０を容易に表示することが可能となる。
（ブレンド画像表示処理）
次に、図１８、図１９を参照して、映像出力処理のステップＳ１１２にて実行するブレンド画像表示処理について説明する。ブレンド画像表示処理は、映像出力処理のステップＳ１１１にて、視点位置５２が分岐点又は曲り角に位置すると判断された場合に実行される処理である。ブレンド画像表示処理とは、視点位置５２が対象ブランチ２２ａから移動先ブランチに遷移する場合に、分岐点又は曲り角で見える映像を自動で連続的に表示する処理である。
映像出力装置１の制御部１１は、移動先ブランチを特定し（ステップＳ３０１）、移動先ブランチのブランチＩＤを記憶部１２（保持データ６０）に記憶させる。視点位置５２が曲り角に位置する場合には、対象ブランチ２２ａから遷移する移動先ブランチは１つに特定される。視点位置５２が分岐点に位置する場合に移動先ブランチを特定する方法としては、例えば、ユーザ入力画面６１の移動先経路選択ボタン（図示せず）によって、ユーザから入力を受付ける。
映像出力装置１の制御部１１は、ステップＳ３０１にて特定された移動先ブランチのブランチ角度θＥを算出する（ステップＳ３０２）。ブランチ角度θＥの算出方法については図４にて説明した通りである。次に、映像出力装置１の制御部１１は、視線方向５４の移動方向を特定する（ステップＳ３０３）。
図１９は、視点位置３１の移動について説明する図である。視点位置５２が対象ブランチ２２ａの終点ノード２１ｂに位置し、視線方向５４が対象ブランチ２２ａの向きと一致している場合、移動先ブランチ２２ｃの向きに到達するまで、視線方向５４は白抜きの矢印の向きで徐々に移動する。図１９に示す例では、視線方向５４の移動方向は反時計回りである。
映像出力装置１の制御部１１は、ブレンド比率の変化度合ｒ1を算出して（ステップＳ３０４）、記憶部１２（保持データ６０）に記憶させる。ブレンド比率の変化度合ｒ1の算出方法として、例えば、映像出力装置１は、保持データ６０の視線角度の変化度合ｒを、ステップＳ３０２にて算出されたブランチ角度θＥと視線角度θＬの差で割った値を、ブレンド比率の変化度合ｒ1とする。
図１９に示す例では、ブレンド比率の変化度合ｒ1は図に示される通りに算出される。
映像出力装置１の制御部１１は、ブレンド比率αに「０」を格納して、記憶部１２（保持データ６０）に記憶させる（ステップＳ３０５）。次に、映像出力装置１の制御部１１は、記憶部１２に記憶されるブレンド比率αをα＋ｒ１に更新し、視線角度θＬをθＬ＋ｒに更新する（ステップＳ３０６）。ステップＳ３０３にて特定された視線方向５４の移動方向が時計回りの場合では、視線角度θＬをθＬ−ｒに更新する。
映像出力装置１の制御部１１は、ブランチ情報２６から、対象ブランチ２２ａの映像ＩＤを検索し、視点位置５２が位置するノード２１に対応する対象フレームを特定する。対象フレームの全方位画像から、視線角度θＬに対応する画像を切り出して視野画像を生成する（ステップＳ３０７）。
映像出力装置１の制御部１１は、ブランチ情報２６から、移動先ブランチ２２ｃの映像ＩＤを検索し、視点位置５２が位置するノード２１に対応する対象フレームを特定する。対象フレームの全方位画像から、視線角度θＬに対応する画像を切り出して視野画像を生成する（ステップＳ３０８）。
映像出力装置１の制御部１１は、ステップ３０７にて生成した視野画像と、ステップ３０８にて生成した視野画像を、数式（４）に基づいてブレンドしたブレンド画像を生成する（ステップ３０９）。
Figure 0006123618
映像出力装置１の制御部１１は、生成したブレンド画像にホットスポット３０を付加して、ユーザ入力画面６１の視野画像領域６２に配置して、表示部１５に出力する（ステップＳ３１０）。
映像出力装置１の制御部１１は、記憶部１２に記憶されるブレンド比率αがα≧１を満たすか否かを判定する（ステップＳ３１１）。α≧１を満たさない場合には（ステップＳ３１１のＮＯ）、映像出力装置１の制御部１１は、ステップＳ３０６に戻る。
α≧１を満たす場合には（ステップＳ３１１のＹＥＳ）、映像出力装置１の制御部１１は、記憶部１２に記憶される対象ブランチ２２ａのブランチＩＤを移動先ブランチ２２ｃのブランチＩＤに更新して（ステップＳ３１２）、処理を終了し、映像出力処理のステップＳ１０２に戻る（図１０）。
以上のように、ブレンド画像表示処理を実行することで、視線角度θＬを移動先ブランチのブランチ角度θＥに向かって、徐々に変化させながら、且つ、ブレンド比率αを０〜１まで徐々に変化させながら、ステップＳ３０６〜ステップＳ３１０の処理を繰り返すことで、一連のブレンド画像を動画として出力し、視点位置５２が対象ブランチ２２ａから移動先ブランチ２２ｃに連続的に移動する映像を提示することができる。
以上、添付図面を参照しながら、本発明に係る映像出力装置１等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
１………映像出力装置
１１………制御部
１２………記憶部
１３………メディア入出力部
１４………通信制御部
１５………入力部
１６………表示部
１７………周辺機器Ｉ／Ｆ部
２０………間取り図
２１………ノード
２１ａ………起点ノード
２１ｂ………終点ノード
２２………ブランチ
２２ａ………対象ブランチ
２５………ノード情報
２６………ブランチ情報
２７………映像情報
２９………ホットスポット情報
３９………ホットスポット付加情報
４７………ホットスポットデータ
５２………視点位置
５４………視線方向
６０………保持データ
６１………ユーザ入力画面
９０………全方位画像
９５………ホットスポット画面

Claims (6)

  1. 座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置であって、
    全方位画像のフレームからなるシーケンスを、ノードと有向なブランチとから構成される前記経路の前記有向なブランチごとに対応付けて記憶する経路記憶手段と、
    前記座標空間上に存在するホットスポットの情報を記憶するホットスポット記憶手段と、
    前記視点位置及び前記視線方向を、連続的に移動させる入力手段と、
    前記視点位置と前記ホットスポットの情報とに基づいて、前記ホットスポットの方向を算出するホットスポット方向算出手段と、
    前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段と、
    前記ホットスポットの方向に基づいて、前記視野範囲に前記ホットスポットが存在するか否かを判定するホットスポット判定手段と、
    前記ホットスポットが存在する場合に、前記ホットスポットの方向に基づいて、前記視野範囲の映像に前記ホットスポットを表すマークを合成するホットスポット合成手段と、
    前記視野範囲の映像を出力する出力手段と、
    を具備し、
    前記ホットスポットの情報は、当該ホットスポットが属する前記ブランチと、当該ブランチにおける当該ホットスポットの表示範囲を含み、
    前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致し、かつ、前記表示範囲内に前記視点位置を含む前記ホットスポットに対して、前記ホットスポットの方向を算出することを特徴とする映像出力装置。
  2. 前記ホットスポットの情報は、さらに、当該ブランチを含む基準面における当該ホットスポットの投影点を含み、
    前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致する前記ホットスポットに対して、前記視点位置を基準点として、前記投影点と当該ブランチとがなす角度を算出して、前記ホットスポットのパン方向とする
    ことを特徴とする請求項１に記載の映像出力装置。
  3. 前記ホットスポットの情報は、さらに、前記基準面に対する当該ホットスポットの高さを含み、
    前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致する前記ホットスポットに対して、さらに、前記視点位置における所定の高さを第２の基準点として、前記第２の基準点を含む前記基準面と平行な面と、前記ホットスポットとがなす角度を算出して、前記ホットスポットのチルト方向とする
    ことを特徴とする請求項２に記載の映像出力装置。
  4. 前記ホットスポットの情報は、さらに、当該ホットスポットの付加情報を含み、
    前記出力手段は、前記入力手段によって、さらに、前記ホットスポットを表すマークの選択がなされた場合には、前記視野範囲の映像とともに、当該ホットスポットの前記付加情報を出力する
    ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の映像出力装置。
  5. 座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する、全方位画像のフレームからなるシーケンスを、ノードと有向なブランチとから構成される前記経路の前記有向なブランチごとに対応付けて記憶する経路記憶手段と、前記座標空間上に存在するホットスポットの情報を記憶するホットスポット記憶手段と、を備えるコンピュータが行う映像出力方法であって、
    前記視点位置及び前記視線方向を、連続的に移動させる入力ステップと、
    前記視点位置と前記ホットスポットの情報とに基づいて、前記ホットスポットの方向を算出するホットスポット方向算出ステップと、
    前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成ステップと、
    前記ホットスポットの方向に基づいて、前記視野範囲に前記ホットスポットが存在するか否かを判定するホットスポット判定ステップと、
    前記ホットスポットが存在する場合に、前記ホットスポットの方向に基づいて、前記視野範囲の映像に前記ホットスポットを表すマークを合成するホットスポット合成ステップと、
    前記視野範囲の映像を出力する出力ステップと、
    を含み、
    前記ホットスポットの情報は、当該ホットスポットが属する前記ブランチと、当該ブランチにおける当該ホットスポットの表示範囲を含み、
    前記ホットスポット方向算出ステップは、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致し、かつ、前記表示範囲内に前記視点位置を含む前記ホットスポットに対して、前記ホットスポットの方向を算出することを特徴とする映像出力方法。
  6. コンピュータを、座標空間上に配置された経路内を移動する視点位置における視線方向の映像を出力する映像出力装置として機能させるためのプログラムであって、
    前記コンピュータを、
    全方位画像のフレームからなるシーケンスを、ノードと有向なブランチとから構成される前記経路の前記有向なブランチごとに対応付けて記憶する経路記憶手段、
    前記座標空間上に存在するホットスポットの情報を記憶するホットスポット記憶手段、
    前記視点位置及び前記視線方向を、連続的に移動させる入力手段、
    前記視点位置と前記ホットスポットの情報とに基づいて、前記ホットスポットの方向を算出するホットスポット方向算出手段、
    前記視点位置及び前記視線方向における視野範囲の映像を、前記全方位画像から切り出して生成する映像生成手段、
    前記ホットスポットの方向に基づいて、前記視野範囲に前記ホットスポットが存在するか否かを判定するホットスポット判定手段、
    前記ホットスポットが存在する場合に、前記ホットスポットの方向に基づいて、前記視野範囲の映像に前記ホットスポットを表すマークを合成するホットスポット合成手段、
    前記視野範囲の映像を出力する出力手段、
    として機能させ、
    前記ホットスポットの情報は、当該ホットスポットが属する前記ブランチと、当該ブランチにおける当該ホットスポットの表示範囲を含み、
    前記ホットスポット方向算出手段は、前記ホットスポットが属する前記ブランチと前記視点位置が位置する前記ブランチとが一致し、かつ、前記表示範囲内に前記視点位置を含む前記ホットスポットに対して、前記ホットスポットの方向を算出することを特徴とするプログラム。
JP2013203435A 2013-09-30 2013-09-30 映像出力装置、映像出力方法、及びプログラム Active JP6123618B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013203435A JP6123618B2 (ja) 2013-09-30 2013-09-30 映像出力装置、映像出力方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013203435A JP6123618B2 (ja) 2013-09-30 2013-09-30 映像出力装置、映像出力方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2015069444A JP2015069444A (ja) 2015-04-13
JP6123618B2 true JP6123618B2 (ja) 2017-05-10

Family

ID=52836030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013203435A Active JP6123618B2 (ja) 2013-09-30 2013-09-30 映像出力装置、映像出力方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6123618B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6852295B2 (ja) * 2016-07-13 2021-03-31 株式会社リコー 画像処理装置、画像処理方法、および画像処理プログラム
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3641391B2 (ja) * 1999-06-17 2005-04-20 日本電気株式会社 情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
JP2005174024A (ja) * 2003-12-11 2005-06-30 Canon Inc 画像生成装置及び方法

Also Published As

Publication number Publication date
JP2015069444A (ja) 2015-04-13

Similar Documents

Publication Publication Date Title
US9525964B2 (en) Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
KR101722177B1 (ko) 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치
KR101816041B1 (ko) 시스루 스마트 안경 및 그 투시 방법
TW201108037A (en) Information processing device, information processing method, and program
JP2016144089A (ja) 画像処理装置およびその制御方法
JP2015509239A (ja) 電子マップに基づく位置検索方法及び装置
KR20180059765A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP2014235469A (ja) パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法
JP5870618B2 (ja) 自由視点映像表示装置
JP2012177808A (ja) 地図データ生成システム
JP6123618B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP2006329684A (ja) 画像計測装置及び方法
JP2014203175A (ja) 情報処理装置、情報処理方法及びプログラム。
JP5788810B2 (ja) 撮影対象検索システム
JP2013008257A (ja) 画像合成プログラム
JP2012078722A (ja) 情報提供システム
JP6051834B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP2015069445A (ja) 映像出力装置、映像出力方法、及びプログラム
JP5513806B2 (ja) 連携表示装置、連携表示方法、及びプログラム
JP6051835B2 (ja) 映像出力装置、映像出力方法、及びプログラム
JP2008219390A (ja) 画像閲覧装置
JP2014222446A (ja) 映像出力装置、映像出力方法、及びプログラム
JP6149967B1 (ja) 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法
JP5706715B2 (ja) ３次元地図表示システム
JP6899715B2 (ja) 図面作成システム、図面作成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160728

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160920

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170320

R150 Certificate of patent or registration of utility model

Ref document number: 6123618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150