JP7153522B2 - 字幕表示装置及びそのプログラム - Google Patents

Description

本発明は、字幕を全天周映像に合成する字幕表示装置及びそのプログラムに関する。

従来より、もっぱら字幕を表示する対象としては、平面画像（２次元画像）が想定されていた。この平面画像では、面積の制約があるため、大量の字幕を表示するには文字を小さくするか、１文字当たりの表示時間を短くする必要がある。このため、平面画像では、字幕の可読性が損なわれやすくなる。

一方、全天周映像では、広い視野を利用することができるため、大量の字幕を表示しても、その可読性が損なわれにくくなる。例えば、特許文献１では、歪まないように文字を全天周映像に埋め込んで、その全天周映像を表示する手法が提案されている。

国際公開２０１６／１６３３４２号

しかし、特許文献１に記載の発明は、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）において、全天周映像の字幕表示を考慮したものではない。ここで、時間とともに字幕がスクロールすることとする。この場合、特許文献１に記載の発明では、文字を全天周映像に埋め込むために、既に画面から消えてしまった字幕を表示する巻き戻しや、未だ画面に表示されていない字幕を表示する早送りを行うことができない。

そこで、本発明は、全天周映像の字幕を巻き戻し及び早送りできる字幕表示装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る字幕表示装置は、スクロールする字幕全文のうち、人物の頭部方向に応じて移動する表示範囲の字幕を全天周映像に合成する頭部装着型の字幕表示装置であって、初期位置算出部と、頭部方向算出部と、経過時間算出部と、視野中央位置算出部と、字幕画像生成部と、映像合成部と、を備える構成とした。

かかる構成によれば、初期位置算出部は、字幕全文上で視野中央位置の初期位置を算出する。
頭部方向算出部は、所定間隔で計測された頭部方向が入力され、入力された現在の頭部方向と前回計測時の頭部方向との頭部方向差分を算出する。
経過時間算出部は、前回字幕描画時から現在までの経過時間を算出する。

視野中央位置算出部は、前回字幕描画時の視野中央位置と、経過時間と、予め設定された字幕移動速度と、頭部方向差分とに基づいて、現在の視野中央位置を算出する。ここで、視野中央位置算出部は、初回字幕描画時において、初期位置を前回字幕描画時の視野中央位置として用いて、現在の視野中央位置を算出する。

字幕画像生成部は、視野中央位置算出部が算出した現在の視野中央位置に応じた表示範囲の字幕が描画されている字幕画像を生成する。
映像合成部は、字幕画像生成部が生成した字幕画像と全天周映像との合成映像を生成する。
このように、字幕表示装置は、人物の視野に応じて移動する表示範囲の字幕を全天周映像に合成表示するので、人物が頭部方向を変えることで、字幕の巻き戻しや早送りが可能となる。

なお、本発明に係る字幕表示装置は、一般的なコンピュータを前記した各手段として協調動作させるプログラムで実現することもできる。

本発明によれば、全天周映像の字幕を巻き戻し及び早送りできる。つまり、本発明によれば、人物が頭部方向を変えることで、既に画面から消えてしまった過去の字幕や、未だ画面に表示されていない未来の字幕を表示することができる。

実施形態において、全天周映像に表示されている字幕を説明する説明図である。 実施形態において、字幕の巻き戻し表示を説明する説明図である。 実施形態において、字幕の早送り表示を説明する説明図である。 図１の全天周映像を北極方向から見た図である。 実施形態における全天周映像システムの概略図である。 実施形態に係る字幕表示装置の外観図である。 図４の字幕表示装置の構成を示すブロック図である。 実施形態において、視野中央位置を説明する説明図である。 実施形態において、字幕が仮想球面を２周する場合の説明図である。 実施形態において、合成映像の一例を説明する説明図である。 図５の字幕表示装置の動作を示すフローチャートである。

以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段には同一の符号を付し、説明を省略した。

（実施形態）
［全天周映像システムの概略］
図１～図３を参照し、全天周映像システム１の概略について説明する。
全天周映像では、視聴者（人物）が映像制作者の意図しない箇所を注視していることがある。このため、全天周映像では、視聴者の視野に対応した箇所に字幕を表示することで、映像制作者の意図をより反映することができる。さらに、全天周映像では、空間解像度の制限はあるものの、平面画像と比べて、より多くの文字を字幕として表示することができる。これら全天周映像の特性を利用すれば、視聴者の希望に応じて、字幕の過去部分（巻き戻し）や未来部分（早送り）を自然に表示できる。

本実施形態では、時間とともにスクロール（一方向に移動）していく字幕を対象とする。説明を簡易にするため、左から右への横書で、右方向から左方向にスクロールしていく字幕を前提とする。図１Ａの例では、「明日の東京都の天気は晴れ時々曇り、ところによってにわか雨が降るでしょう。」という横書きの字幕Ｔが右側から左側にスクロールする。

まず、視聴者が頭部の方向を変えない場合を考える。この場合、全天周映像システム１は、全天周映像Ａの表示範囲ａと共に、右方向から左方向にスクロールする字幕Ｔを表示する。図１Ａでは、字幕Ｔ全文のうち、表示範囲ａに含まれている「東京都の天気は晴れ時々曇り、ところによってにわか雨が降る」という部分の字幕Ｔが全天周映像Ａの赤道（破線で図示）に沿って表示されている。つまり、視聴者の視野に応じて定まる表示範囲ａから外れている字幕Ｔの左右「明日の」や「でしょう。」という部分が表示されていない。

この表示範囲ａとは、球面状の全天周映像Ａ全体のうち、後記するヘッドマウントディスプレイ（字幕表示装置）３に実際に表示される範囲のことである。つまり、視聴者は、全天周映像Ａ全体のうち、全天周映像Ａの表示範囲ａを視聴することになる。そして、視聴者が頭部の方向に変えると、それに伴って、全天周映像Ａの表示範囲ａも移動する。

ここで、視線の移動は考慮しないものとし、頭部の向いている方向に対して視野が広がるものとする。実際には、視野として定義された領域中の任意の位置に対して視線を向けることが可能であるが、字幕を表示する対象としての視野は、前記したように頭部方向に対して固定されたものとして扱う。

なお、図１Ａでは、表示範囲ａに含まれる字幕Ｔを実線で図示し、表示範囲ａから外れている字幕Ｔを白抜きで図示した。
また、図１Ａでは、Ｌ（正）、Ｒ（負）は、説明を分かりやすくするために図示したものであり、実際には表示されない。

次に、視聴者が頭部を字幕Ｔの過去側（左側Ｌ）に向けた場合を考える。この場合、全天周映像システム１は、図１Ｂに示すように、図１Ａの表示範囲ａから既に消えてしまった字幕Ｔの過去側を再び表示する。図１Ｂでは、字幕Ｔ全文のうち、図１Ａの表示範囲ａから消えてしまった「明日の」を含め、「明日の東京都の天気は晴れ時々曇り、」という部分の字幕Ｔが巻き戻し表示されている。

次に、視聴者が頭部を字幕Ｔの未来側（右側Ｒ）に向けた場合を考える。この場合、全天周映像システム１は、図１Ｃに示すように、図１Ａの表示範囲ａに未だ表示されていない字幕Ｔの未来側を表示する。図１Ｃでは、字幕Ｔ全文のうち、図１Ａの表示範囲ａに未だ表示されていない「でしょう。」を含め、「ところによってにわか雨が降るでしょう。」という部分の字幕Ｔが早送り表示されている。
なお、図１Ａ～図１Ｃにおいて、視聴者の頭部が真後を向いた場合、全天周映像Ａの表示範囲ａには字幕Ｔが表示されない。

このように、全天周映像システム１では、視聴者が頭部の向きを左右に変えることで字幕Ｔを過去に遡って又は未来に向かって読むことができる。このように、全天周映像システム１では、手指等による操作を必要とせずに字幕Ｔの巻き戻しや早送りを行うことができる。

ここで、全天周映像Ａを表示するときの仮想球面Ｂの座標系について説明する。
全天周映像Ａと字幕Ｔは、視聴者の頭部を中心Ｃとする仮想球面Ｂに貼り付けられる。この仮想球面Ｂでは、地球と同様の形式で座標を定める。図１Ａに示すように、重力方向（下方向）の頂点を南極Ｐ_Ｓ、重力方向の反対方向（上方向）の頂点を北極Ｐ_Ｎとする。このとき、仮想球面Ｂ上の任意の点を原点Ｐ_Ｏとする。そして、北極Ｐ_Ｎ、原点Ｐ_Ｏ及び南極Ｐ_Ｓを通過する経線（破線で図示）の経度０°とする。また、北極Ｐ_Ｎと南極Ｐ_Ｓとを結ぶ線に垂直で中心Ｃを含む平面が仮想球面Ｂに交わる円を緯度０°の赤道とする。仮想球面Ｂを北極Ｐ_Ｎの方向から見た場合、図２に示すように、視聴者を基準として、東方向（左側Ｌ）を正、西方向（右側Ｒ）を負とする。ここでは、字幕Ｔは、仮想球面Ｂ上を反時計回りに、負方向から正方向に移動することになる。以下、仮想球面Ｂ上での位置は、経度及び緯度によって表現する。

なお、図１Ａでは、仮想球面Ｂ上において緯度０°の緯線を破線で図示した。
また、図２では、字幕Ｔの移動方向を矢印αで図示し、表示範囲ａに含まれる字幕Ｔをハッチングで図示し、表示範囲ａから外れている字幕Ｔを白抜きで図示した。また、図２の視野中央位置Ｔ_Ｃについては後記する。

［全天周映像システムの全体構成］
図３に示すように、全天周映像システム１は、映像記憶装置２と、ヘッドマウントディスプレイ（字幕表示装置）３とを備える。以後、「ヘッドマウントディスプレイ」を「ＨＭＤ」と略記する場合がある。
映像記憶装置２は、ＨＭＤ３で表示する全天周映像を記憶する一般的なコンピュータである。また、映像記憶装置２は、字幕の合成表示に必要な各種情報（後記する初期情報、字幕情報、ディスプレイ情報）を記憶する。本実施形態では、映像記憶装置２は、任意の伝送手段（例えば、無線通信）を用いて、全天周映像及び各種情報をＨＭＤ３に送信する。

ＨＭＤ３は、視聴者の頭部に装着される頭部装着型映像表示装置であり、映像記憶装置２からの全天周映像と字幕とを合成表示するものである。図４に示すように、ＨＭＤ３は、本体部３ａと、ベルト部３ｂとで構成される。本体部３ａは、プラスティック等の素材をゴーグル状に形成したケースであり、そのケース内部に演算装置３ｃ、頭部方向計測部３２及び映像表示部４３を収容する。ベルト部３ｂは、本体部３ａを視聴者の眼前に保持するベルトである。

［ＨＭＤの構成］
図５を参照し、ＨＭＤ３の構成について説明する。
図５に示すように、ＨＭＤ３は、初期情報入力部３０と、初期位置算出部３１と、頭部方向計測部（頭部方向計測センサ）３２と、頭部方向算出部３３と、時間計測部３４と、経過時間算出部３５と、表示更新命令部３６と、字幕情報入力部３７と、視野中央位置算出部３８と、ディスプレイ情報入力部３９と、字幕レンダリング部（字幕画像生成部）４０と、全天周映像入力部４１と、映像統合部（映像合成部）４２と、映像表示部４３とを備える。
なお、頭部方向計測部３２及び映像表示部４３を除いたＨＭＤ３の各手段が、図３の演算装置３ｃに対応する。

初期情報入力部３０は、例えば映像記憶装置２から、視野中央位置の初期位置の算出に必要な初期情報（ｘ・Ｒ又はｘ_ｒ）が入力されるものである。そして、初期情報入力部３０は、入力された初期情報を初期位置算出部３１に出力する。

初期位置算出部３１は、初期情報入力部３０からの初期情報を参照し、字幕全文上で視野中央位置の初期位置Ｔ_Ｃ０を算出するものである。ここで、初期位置算出部３１は、頭部方向と字幕先頭位置との差分により、仮想球面Ｂ上で視野中央位置の初期位置Ｔ_Ｃ０を算出する。そして、初期位置算出部３１は、算出した視野中央位置の初期位置Ｔ_Ｃ０を視野中央位置算出部３８に出力する。

＜視野中央位置＞
以下、視野中央位置の初期位置Ｔ_Ｃ０の前提として、視野中央位置Ｔ_Ｃについて説明する（適宜図２参照）。なお、視野中央位置の初期位置Ｔ_Ｃ０とは、視野中央位置Ｔ_Ｃの初期値のことである。
視野中央位置Ｔ_Ｃとは、図６に示すように、字幕Ｔの先頭Ｔ_ＴＯＰから、視聴者の視野の中央が字幕Ｔの何処に位置するのかを表す情報である。ここで、字幕Ｔの先頭Ｔ_ＴＯＰは、表示範囲ａに含まれない部分も含め、字幕Ｔ全文の先頭（字幕Ｔの左端）を指す。

この視野中央位置Ｔ_Ｃは、字幕Ｔの先頭Ｔ_ＴＯＰからの相対的な値であり、字幕Ｔの先頭Ｔ_ＴＯＰからテキストの末尾に向かって正の値をとる。
例えば、字幕Ｔの先頭Ｔ_ＴＯＰが視野中央に位置する場合（視聴者が字幕Ｔの先頭Ｔ_ＴＯＰを見ている場合）、視野中央位置Ｔ_Ｃは０となる。
また、例えば、字幕Ｔが１００文字であり、字幕Ｔの１文字の大きさが仮想球面Ｂ上で経度１°の範囲に相当する場合を考える。視聴者の頭部が字幕Ｔの２０文字目の方向を向いているとき、視聴者の視野中央には２０文字目の中央が位置する。字幕Ｔの先頭文字の左端位置が０なので、０．５文字分の大きさを引いて、視野中央位置Ｔ_Ｃ＝２０×１－０．５となる。
このように、視野中央位置Ｔ_Ｃは、字幕Ｔをレンダリングして仮想球面Ｂに貼り付けたとき、視野中央に位置する部分が、字幕Ｔの先頭Ｔ_ＴＯＰから何処にあるかを表している。

＜第１例：頭部方向と無関係に字幕先頭位置を定義する場合＞
以下、初期位置算出部３１が視野中央位置の初期位置Ｔ_Ｃ０を算出する２つの方法を説明する。
仮想球面Ｂ上の任意位置をｘとした場合、字幕先頭位置の初期位置Ｔ_Ｌ０は、下記の式（１－１）で表される。このとき、視野中央位置の初期位置Ｔ_Ｃ０は、後記する頭部方向の初期値Ｈ_０が含まれる下記の式（１－２）で表される。
Ｔ_Ｌ０＝ｘ …式（１－１）
Ｔ_Ｃ０＝ｘ－Ｈ_０＋３６０・Ｒ …式（１－２）

ここで、式（１－２）の定数Ｒについて説明する。図７に示すように、字幕Ｔの全長が、緯度０°における仮想球面Ｂの断面の円周よりも長い場合がある。つまり、字幕Ｔが仮想球面Ｂを２周以上する場合がある。この場合、定数Ｒは、視野中央位置の初期位置Ｔ_Ｃ０が仮想球面Ｂの何周目にあるのかを表す整数である（但し、Ｒ≧０）。この場合、視野中央位置の初期位置Ｔ_Ｃ０は、Ｒ＝０の場合に１週目（０°～３６０°の範囲）となり、Ｒ＝１の場合に２週目（３６０°～７２０°の範囲）となる。この定数Ｒについては、３周目以降も同様である。

＜第２例：頭部方向との相対関係で字幕先頭位置を定義する場合＞
頭部方向との字幕先頭の相対的な位置関係をｘ_ｒとした場合、字幕先頭位置の初期位置Ｔ_Ｌ０は、下記の式（２－１）で表される。このとき、視野中央位置の初期位置Ｔ_Ｃ０は、下記の式（２－２）で表される。
Ｔ_Ｌ０＝Ｈ_０＋ｘ_ｒ …式（２－１）
Ｔ_Ｃ０＝－ｘ_ｒ …式（２－２）

結局のところ、第１例及び第２例とも、頭部方向と字幕先頭位置との相対位置（差分）から視野中央位置の初期位置Ｔ_Ｃ０を求めている。また、第１例及び第２例の何れを採用するかは任意であり、映像演出を考慮して採用できる。例えば、仮想球面Ｂに対して字幕先頭位置の初期位置Ｔ_Ｌ０を決定する場合、第１例を採用すればよい。また、視聴者の頭部方向に対して字幕先頭位置の初期位置Ｔ_Ｌ０を相対的に決定する場合、第２例を採用すればよい。
なお、第１例及び第２例では、説明を簡易にするため、字幕先頭位置の初期位置Ｔ_Ｌ０を定義したものである。実際には、初期位置算出部３１は、視野中央位置の初期位置Ｔ_Ｃ０のみを算出すればよく、式（１－１）及び式（２－１）を用いて、字幕先頭位置の初期位置Ｔ_Ｌ０を求める必要がない。

図５に戻り、ＨＭＤ３の構成について説明を続ける。
頭部方向計測部３２は、視聴者の頭部方向を計測するものである。本実施形態では、頭部方向計測部３２は、後記する表示更新命令部３６が表示更新命令を発する毎、視聴者の頭部方向を計測する。この頭部方向計測部３２は、仮想球面Ｂ上で頭部方向（経度）を計測できるものであればよく、例えば、３軸で頭部方向を計測するジャイロセンサである。
初回字幕描画時、頭部方向計測部３２は、計測した頭部方向を頭部方向の初期値Ｈ_０として、初期位置算出部３１に出力する。２回目以降の字幕描画時、頭部方向計測部３２は、計測した頭部方向Ｈを頭部方向算出部３３に出力する。

なお、初回字幕描画時とは、全天周映像に最初に字幕を描画するときのことである。例えば、新たなシーンに全天周映像が切り替わり、そのシーンに対応した字幕を最初に描画するとき、初回字幕描画時となる。
また、２回目以降の字幕描画時とは、既に字幕が表示されている全天周映像の字幕を更新するときのことである。従って、２回目以降の字幕描画時において、１回前に字幕を描画したときが前回字幕描画時となる。

頭部方向算出部３３は、頭部方向計測部３２から入力された現在の頭部方向Ｈ_ｔと、頭部方向記憶部（不図示）に記憶されている前回計測時の頭部方向Ｈ_ｔ-１との差分を、頭部方向差分ΔＨとして算出するものである。そして、頭部方向算出部３３は、算出した頭部方向差分ΔＨを視野中央位置算出部３８に出力する。さらに、頭部方向算出部３３は、入力された現在の頭部方向Ｈ_ｔを、次回演算時の頭部方向Ｈ_ｔ-１として用いるために頭部方向記憶部に記憶する。
なお、添え字ｔは、後記する経過時間のことである。

時間計測部３４は、初回字幕描画時からの経過時間ｔを計測するものである。本実施形態では、時間計測部３４は、初回字幕描画時、及び、表示更新命令部３６が表示更新命令を発する毎に、経過時間ｔを計測する。そして、時間計測部３４は、計測した経過時間ｔを経過時間算出部３５に出力する。

経過時間算出部３５は、前回字幕描画時から現在までの経過時間Δｔを算出するものである。すなわち、経過時間算出部３５は、時間計測部３４から入力された経過時間ｔと、経過時間記憶部（不図示）に記憶されている経過時間ｔ－１との差分を経過時間Δｔとして算出する。つまり、経過時間Δｔは、前回字幕を描画してから今回字幕を描画するまでの字幕の更新間隔を表す。そして、経過時間算出部３５は、算出した経過時間Δｔを視野中央位置算出部３８に出力する。さらに、経過時間算出部３５は、入力された経過時間ｔを、次回演算時の経過時間ｔ－１として用いるために経過時間記憶部に書き込む。

表示更新命令部３６は、字幕を更新する必要があるときに、頭部方向計測部３２及び時間計測部３４に表示更新命令を発するものである。ここで、表示更新命令部３６は、全天周映像を構成する各フレーム画像の更新に合わせて、表示更新命令を発する。例えば、表示更新命令部３６は、全天周映像のフレーム周期が１／６０秒の場合、表示更新命令を１／６０間隔で発する。

字幕情報入力部３７は、例えば映像記憶装置２から、字幕の描画に関連する字幕情報が入力されるものである。この字幕情報には、単位時間当たりの字幕移動量（字幕移動速度）ΔＴ_Ｌ、字幕本文、字形、字間、緯度で表された字幕表示位置が含まれる。
ここで、字幕情報入力部３７は、字幕情報のうち、字幕移動量ΔＴ_Ｌを視野中央位置算出部３８に出力する。また、字幕情報入力部３７は、字幕情報のうち、字幕本文、字形、字間及び字幕表示位置を、字幕レンダリング部４０に出力する。

視野中央位置算出部３８は、前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}と、経過時間算出部３５からの経過時間Δｔと、字幕情報入力部３７からの字幕移動量ΔＴ_Ｌと、頭部方向算出部３３からの頭部方向差分ΔＨとに基づいて、現在の視野中央位置Ｔ_Ｃｔを算出するものである。

＜視野中央位置の算出＞
以下、視野中央位置算出部３８による視野中央位置の算出を詳細に説明する。
経過時間Δｔのとき、字幕の先頭位置Ｔ_Ｌは、下記の式（３－１）で表される。このとき、現在の視野中央位置Ｔ_Ｃｔは、下記の式（３－２）で表される。つまり、視野中央位置算出部３８は、式（３－２）を用いて、現在の視野中央位置Ｔ_Ｃｔを仮想球面Ｂ上で算出する。なお、ｔｕは、字幕を表示するときの単位時間を表す。
Ｔ_Ｌ＝Ｔ_Ｌ０＋ｔ／ｔｕ×ΔＴ_Ｌ …式（３－１）
Ｔ_Ｃｔ＝Ｔ_{Ｃｔ－Δｔ}＋Δｔ／ｔｕ×ΔＴ_Ｌ－ΔＨ …式（３－２）

視野中央位置算出部３８は、初回字幕描画時、式（３－２）において、初期位置算出部３１から入力された視野中央位置の初期位置Ｔ_Ｃ０を、前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}として用いる。そして、視野中央位置算出部３８は、式（３－２）で算出した現在の視野中央位置Ｔ_Ｃｔを字幕レンダリング部４０に出力する。さらに、視野中央位置算出部３８は、次回演算時の視野中央位置Ｔ_{Ｃｔ－Δｔ}として、算出した現在の視野中央位置Ｔ_Ｃｔを視野中央位置記憶部（不図示）に書き込む。

また、視野中央位置算出部３８は、２回目以降の字幕描画時、視野中央位置記憶部に記憶されている視野中央位置Ｔ_Ｃｔを、前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}として用いる。他の点、初回字幕描画時の計算処理と同様のため、説明を省略する。
なお、説明を簡易にするため、字幕の先頭位置Ｔ_Ｌを定義したものである。実際には、視野中央位置算出部３８は、現在の視野中央位置Ｔ_Ｃｔのみを算出すればよく、式（３－１）を用いて、字幕の先頭位置Ｔ_Ｌを求める必要がない。

ディスプレイ情報入力部３９は、例えば映像記憶装置２から、字幕を表示する映像表示部４３に関連するディスプレイ情報が入力されるものである。このディスプレイ情報には、映像表示部４３の解像度、及び、表示範囲情報が含まれる。この表示範囲情報は、表示範囲ａのサイズを緯度及び経度で表した情報である。
ディスプレイ情報入力部３９は、入力されたディスプレイ情報を字幕レンダリング部４０に出力する。

字幕レンダリング部４０は、字幕全体のうち、現在の視野中央位置Ｔ_Ｃｔに応じた表示範囲の字幕が描画されている字幕画像を生成するものである。
この字幕レンダリング部４０は、字幕情報入力部３７から字幕情報が入力され、視野中央位置算出部３８から現在の視野中央位置Ｔ_Ｃｔが入力され、ディスプレイ情報入力部３９からディスプレイ情報が入力される。そして、字幕レンダリング部４０は、入力された字幕情報、現在の視野中央位置Ｔ_Ｃｔ及びディスプレイ情報に基づいて、表示範囲の字幕をレンダリングする。

ここで、字幕レンダリング部４０は、一般的な手法で字幕をレンダリングできる。以下、字幕のレンダリング手法の一例を説明する。まず、字幕レンダリング部４０は、字形、字間及び表示範囲情報から、全天周映像の表示範囲に含まれる字幕が何文字分に相当するか算出し、算出した文字数の１／２を文字数Ｗ_Ｈとする。次に、字幕レンダリング部４０は、字形、字間及び表示範囲情報から、現在の視野中央位置Ｔ_Ｃｔが字幕で何文字目にあたるかを算出し、これを文字数Ｃ_Ｃとする。すると、字幕全文のうち、表示範囲に含まれる字幕は、Ｃ_Ｃ－Ｗ_Ｈ文字目からＣ_Ｃ＋Ｗ_Ｈ文字目までとなる。そこで、字幕レンダリング部４０は、Ｃ_Ｃ－Ｗ_Ｈ文字目からＣ_Ｃ＋Ｗ_Ｈ文字目までの字幕を字幕画像として、字幕表示位置にレンダリングする。
字幕レンダリング部４０は、生成した字幕画像を映像統合部４２に出力する。

全天周映像入力部４１は、例えば、無線通信により、映像記憶装置２から全天周映像が入力されるものである。そして、全天周映像入力部４１は、入力された全天周映像を映像統合部４２に出力する。

映像統合部４２は、字幕レンダリング部４０から入力された字幕画像と、全天周映像入力部４１から入力された全天周映像とを統合するものである。本実施形態では、映像統合部４２は、一般的な手法により統合を行い、その統合映像を映像表示部４３に出力する。

映像表示部４３は、映像統合部４２からの統合映像を表示するディスプレイである。例えば、映像表示部４３は、図８に示すように、風景の全天周映像Ａに天気予報を内容とする字幕Ｔが統合されている統合映像を表示する。

［ＨＭＤの動作］
図９を参照し、ＨＭＤ３の動作について説明する。
図９に示すように、初期位置算出部３１は、初期情報入力部３０からの初期情報を参照し、視野中央位置の初期位置Ｔ_Ｃ０を算出する（ステップＳ１）。
頭部方向算出部３３は、頭部方向計測部３２が計測した現在の頭部方向Ｈ_ｔと前回計測時の頭部方向Ｈ_ｔ-１との差分を、頭部方向差分ΔＨとして算出する（ステップＳ２）。

視野中央位置算出部３８は、前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}と、経過時間Δｔと、字幕移動量ΔＴ_Ｌと、ステップＳ２で算出した頭部方向差分ΔＨとに基づいて、前記した式（３－２）により現在の視野中央位置Ｔ_Ｃｔを算出する。ここで、初回字幕描画時、視野中央位置算出部３８は、ステップＳ１で算出した視野中央位置の初期位置Ｔ_Ｃ０を、前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}として用いる（ステップＳ３）。
字幕レンダリング部４０は、ステップＳ３で算出した視野中央位置Ｔ_Ｃｔに応じた表示範囲の字幕が描画されている字幕画像を生成する（ステップＳ４）。

全天周映像入力部４１は、全天周映像が入力される（ステップＳ５）。
映像統合部４２は、ステップＳ４で生成した字幕画像と、ステップＳ５で入力された全天周映像とを統合する（ステップＳ６）。
映像表示部４３は、ステップＳ６で統合した統合映像を表示する（ステップＳ７）。
このように、ＨＭＤ３の処理は、字幕のレンダリング（ステップＳ１～ステップＳ４）と、字幕の統合表示（ステップＳ５～Ｓ７）に分かれる。

［作用・効果］
ＨＭＤ３は、視聴者の視野に応じた表示範囲の字幕を全天周映像に合成表示するので、視聴者が頭部方向を変えることで、字幕の巻き戻しや早送りが可能となる。つまり、ＨＭＤ３は、視聴者が頭部方向を変えることで、既に映像表示部４３から消えてしまった過去の字幕や、未だ映像表示部４３に表示されていない未来の字幕を表示することができる。

さらに、ＨＭＤ３は、頭部方向差分ΔＨと前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}の差分によって、字幕の表示範囲を逐次更新する。これにより、ＨＭＤ３は、字幕が仮想球面を２周以上する場合でも、正しい表示範囲で字幕を表示できる。仮に、字幕の先頭位置と頭部方向の差分だけで字幕の表示範囲を決定した場合、仮想球面を２周以上する長い字幕を正しく表示することができない。

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
仮想球面上では、緯度により表示範囲が変化することから、ＨＭＤは、この変化を考慮して字幕を表示してもよい。

前記した実施形態では、日本語や英語の字幕のように、左から右への横書で右方向から左方向にスクロールする字幕を例示したが、これに限定されない。つまり、ＨＭＤは、アラビア語のように、右から左への横書で左方向から右方向にスクロールする字幕にも対応できる。

前記した実施形態では、常に字幕の巻き戻しや早送りを行うこととして説明したが、巻き戻しや早送りを意図せずに視聴者が視野を変えることもある。そこで、視聴者が巻き戻し及び早送りの要否をＨＭＤに通知する手段を設けてもよい。例えば、視聴者がボタンを押している間のみ、ＨＭＤは、字幕の巻き戻しや早送りを行う。

前記した実施形態では、視聴者の頭部が傾いていないこととして説明したが、実際には、視聴者の頭部が傾いていることもある。この場合、ＨＭＤは、視聴者の頭部の傾きに合せて字幕を傾けて表示してもよい。一方、ＨＭＤは、視聴者の頭部の傾きを考慮せずに、常に字幕を水平に表示してもよい。

前記した実施形態では、字幕表示装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した字幕表示装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 全天周映像システム
２ 映像記憶装置
３ ＨＭＤ（字幕表示装置）
３ａ 本体部
３ｂ ベルト部
３ｃ 演算装置
３０ 初期情報入力部
３１ 初期位置算出部
３２ 頭部方向計測部（頭部方向計測センサ）
３３ 頭部方向算出部
３４ 時間計測部
３５ 経過時間算出部
３６ 表示更新命令部
３７ 字幕情報入力部
３８ 視野中央位置算出部
３９ ディスプレイ情報入力部
４０ 字幕レンダリング部（字幕画像生成部）
４１ 全天周映像入力部
４２ 映像統合部（映像合成部）
４３ 映像表示部
Ａ 全天周映像
Ｂ 仮想球面
Ｃ 中心
ａ 表示範囲
Ｐ_Ｎ 北極
Ｐ_Ｏ 原点
Ｐ_Ｓ 南極
Ｔ 字幕
α 移動方向

Claims (6)

1. スクロールする字幕全文のうち、人物の頭部方向に応じて移動する表示範囲の字幕を全天周映像に合成する頭部装着型の字幕表示装置であって、
   前記字幕全文上で視野中央位置の初期位置を算出する初期位置算出部と、
   所定間隔で計測された前記頭部方向が入力され、入力された現在の前記頭部方向と前回計測時の前記頭部方向との頭部方向差分を算出する頭部方向算出部と、
   前回字幕描画時から現在までの経過時間を算出する経過時間算出部と、
   前回字幕描画時の視野中央位置と、前記経過時間と、予め設定された字幕移動速度と、前記頭部方向差分とに基づいて、現在の前記視野中央位置を算出する視野中央位置算出部と、
   前記視野中央位置算出部が算出した現在の視野中央位置に応じた前記表示範囲の字幕が描画されている字幕画像を生成する字幕画像生成部と、
   前記字幕画像生成部が生成した字幕画像と前記全天周映像との合成映像を生成する映像合成部と、を備え、
   前記視野中央位置算出部は、初回字幕描画時において、前記初期位置を前記前回字幕描画時の視野中央位置として用いて、前記現在の視野中央位置を算出することを特徴とする字幕表示装置。
2. 前記視野中央位置算出部は、前記前回字幕描画時の視野中央位置Ｔ_{Ｃｔ－Δｔ}と、前記経過時間Δｔと、前記字幕移動速度ΔＴ_Ｌと、前記頭部方向差分ΔＨとが含まれる式（Ａ）を用いて、前記現在の視野中央位置Ｔ_Ｃｔを算出する
   Ｔ_Ｃｔ＝Ｔ_{Ｃｔ－Δｔ}＋Δｔ／ｔｕ×ΔＴ_Ｌ－ΔＨ …式（Ａ）
   ことを特徴とする請求項１に記載の字幕表示装置。
3. 前記初期位置算出部は、前記頭部方向と字幕先頭位置との差分により前記初期位置を算出することを特徴とする請求項１又は請求項２に記載の字幕表示装置。
4. 前記視野中央位置算出部は、前記全天周映像を表示する仮想球面上で前記現在の視野中央位置を算出することを特徴とする請求項１から請求項３の何れか一項に記載の字幕表示装置。
5. 所定間隔で前記頭部方向を計測する頭部方向計測センサと、
   前記映像合成部が生成した合成映像を表示する映像表示部と、
   をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載の字幕表示装置。
6. コンピュータを、請求項１から請求項５の何れか一項に記載の字幕表示装置として機能させるためのプログラム。

Images