JP7271276B2 - 表示制御装置および表示制御方法、プログラム - Google Patents

Description

本発明は、表示制御装置および表示制御方法、プログラムに関する。

近年、動画配信技術の発展により、ＶＲ画像における表示範囲の移動を可能とした動画配信技術が実現されている。このような動画配信技術では、ユーザは、スマートフォンやヘッドマウントディスプレイなどの情報端末の向きを操作することにより、様々な範囲（角度）から動画を観賞することができる（特許文献１）。

また、例えば、特許文献１には、ヘッドマウントディスプレイの傾きに応じて、早送り、巻き戻しなどの操作を行う技術が記載されている。

特開２０１７－１１１５３９号公報

ＶＲ画像におけるオブジェクトを追跡（トラッキング）して、ユーザが観賞する際、そのオブジェクトの動きが速い場合には、ユーザは、当該オブジェクトを見失ってしまうことがある。これは、当該オブジェクトが、ユーザが観賞している領域の範囲外に移動してしまうことで発生する。従って、ユーザは、表示されているオブジェクトを、容易に追跡することができなかった。

よって、本発明は、ＶＲ画像の一部を表示する場合において、表示されているオブジェクトをユーザが追跡しやすくすることを目的とする。

本発明の第１の態様は、
ＶＲ画像の一部である視点領域を表示手段に表示することにより、動画として再生する表示制御装置であって、
前記視点領域におけるオブジェクトの位置を取得する物体認識手段と、
前記オブジェクトが、前記視点領域の範囲外に移動するか否かを判定する判定手段と、
前記オブジェクトが、前記視点領域の範囲外に移動すると判定されれば、前記ＶＲ画像の再生速度を現在よりも遅くする制御手段と、
を有する、
ことを特徴とする表示制御装置である。

本発明の第２の態様は、
ＶＲ画像の一部である視点領域を表示手段に表示することにより、動画として再生する表示制御方法であって、
前記視点領域におけるオブジェクトの位置を取得する物体認識工程と、
前記オブジェクトが、前記視点領域の範囲外に移動するか否かを判定する判定工程と、
前記オブジェクトが、前記視点領域の範囲外に移動すると判定されれば、前記ＶＲ画像の再生速度を現在よりも遅くする制御工程と、
を有する、
ことを特徴とする表示制御方法である。

本発明によれば、ＶＲ画像の一部を表示する場合において、表示されているオブジェクトをユーザが追跡しやすくすることができる。

実施形態１に係る表示制御装置の構成図である。 実施形態１に係るディスプレイの表示とＶＲ画像との関係を示す図である。 実施形態１に係るディスプレイの表示とＶＲ画像との関係を示す図である。 実施形態１に係る表示データリストを示す図である。 実施形態１に係る表示データリストを示す図である。 実施形態１に係る追跡するオブジェクトを説明する図である。 実施形態１に係るオブジェクトの移動の判定を説明する図である。 実施形態１に係る再生速度の変更を説明する図である。 実施形態１に係るＶＲ画像の再生の処理を示すフローチャートである。 変形例１に係る表示制御装置を説明する図である。

以下、本発明の実施形態について図面を参照しながら説明する。

＜実施形態１＞
本実施形態では、ＶＲ画像の一部である視点領域を表示する表示制御装置であって、視点領域（画像表示領域）に含まれているオブジェクトが、視点領域の範囲外に移動する場合に、ＶＲ画像の再生速度を現在よりも遅くする表示制御装置を説明する。これによれば、オブジェクトが、視点領域（画像表示領域）から消えてしまう場合には、ＶＲ画像の再生速度が遅くなるため、ユーザが、当該オブジェクトの追跡を容易に行える。具体的には、当該オブジェクトが視点領域から消える前に、ユーザは、ＶＲ画像の一部を変更することによって、例えば、視点領域の中央に当該オブジェクトを移動させるなどの追跡を容易にすることができる。

［表示制御装置１００の構成］
実施形態１に係る表示制御装置１００のハードウェア構成について、図１の構成図を用いて説明する。表示制御装置１００は、ＣＰＵ１０１、ＤＲＡＭ１０２、ＲＯＭ１０３、ＲＡＭ１０４、表示制御部１０５、入力部１０６、方向検出部１０７、通信ＩＦ部１０８、内部バス１０９、ディスプレイ１１０、物体認識部１１１を有する。なお、表示制御装置１００は、スマートフォンやヘッドマウントディスプレイなどである。本実施形態では、表示制御装置１００には、自身の向きを検出可能であれば任意の装置を用いることができる。

ＣＰＵ１０１は、内部バス１０９を介して、表示制御装置１００の各機能部を制御する制御部である。ＣＰＵ１０１は、例えば、ユーザ操作に応じて入力部１０６が生成する制御信号に基づき、表示制御装置１００の各機能部を制御する。これにより、表示制御装置１００は、ユーザ操作に応じた処理を行うことができる。

ＤＲＡＭ１０２は、表示制御装置１００のメインメモリである。本実施形態では、ＤＲＡＭ１０２は、ディスプレイ１１０に画像を表示するための再生画像データや、動画配信サーバ１０との通信に用いる表示データリストなどを記憶する。

ＲＯＭ１０３は、表示制御装置１００の全体動作を制御するプログラムや、後述する動画プレーヤのアプリケーションプログラムなどの各種プログラムを記憶する。なお、これ
らのプログラムは、ＣＰＵ１０１によって実行可能である。

ＲＡＭ１０４は、ＣＰＵ１０１の一時記憶に用いられるワークメモリである。

表示制御部１０５には、ＣＰＵ１０１が生成した表示制御信号が入力される。また、表示制御部１０５は、表示制御信号に基づき表示信号を生成して、ディスプレイ１１０に対して、当該表示信号を出力することによって、ディスプレイ１１０に画像を表示する。なお、表示制御部１０５を介さずに、ＣＰＵ１０１がディスプレイ１１０の表示を表示制御信号に基づいて制御してもよい。

入力部１０６は、ユーザ操作を受け付け、ユーザ操作に応じた制御信号を生成して、ＣＰＵ１０１に出力する。入力部１０６は、例えば、タッチパネルといったポインティングデバイスなどを有する。タッチパネルは、平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。本実施形態では、入力部１０６は、ディスプレイ１１０に備えられたタッチパネルによってユーザ操作を受けつける。つまり、本実施形態では、入力部１０６とディスプレイ１１０は一体であるといえる。

方向検出部１０７は、ジャイロセンサや磁気センサから構成され、表示制御装置１００の向いている方向である視点方向（視点角度Θ、視点仰角Φ）の情報を検出（取得）し、ＣＰＵ１０１に出力する。

通信ＩＦ部１０８は、ＣＰＵ１０１の制御に基づき、インターネットなどのネットワーク１２０に対する通信を行う通信部である。表示制御装置１００は、ＶＲ画像のデータの一部である再生画像データを配信する動画配信サーバ１０と、通信ＩＦ部１０８を介して接続される。

内部バス１０９には、ＣＰＵ１０１、ＤＲＡＭ１０２、ＲＯＭ１０３、ＲＡＭ１０４、表示制御部１０５、入力部１０６、方向検出部１０７、通信ＩＦ部１０８、物体認識部１１１が接続される。内部バス１０９に接続される各機能部は、内部バス１０９を介して互いにデータのやり取りを行うことができる。

ディスプレイ１１０は、液晶パネルなどの表示デバイスを有する表示部である。ディスプレイ１１０は、表示制御部１０５によって、後述する動画プレーヤに応じた表示の制御がされる。

物体認識部１１１は、再生画像データを取得すると、予め登録されたオブジェクトを示す画像データと比較することによって、再生画像データに当該オブジェクトが存在するか否かを判定する。物体認識部１１１は、再生画像データにおいてオブジェクトが存在すれば、そのオブジェクトの位置情報を取得して、ＣＰＵ１０１に出力する。

動画配信サーバ１０は、ＶＲ画像のデータ（全天球画像データ）を記憶している。動画配信サーバ１０は、ＶＲ画像の再生の要求が表示制御装置１００からあると、表示制御装置１００の向いている方向（視点方向）および再生時間位置に応じて、ＶＲ画像のデータから対応する領域を再生画像データとして切り出す。ここで、再生時間位置とは、再生するＶＲ画像の時間的な位置であり、例えば、ＶＲ画像における何フレーム目の画像を表示するかを示す。

そして、動画配信サーバ１０は、ネットワーク１２０を介して、表示制御装置１００に再生画像データを送信する。また、ＣＰＵ１０１は、再生画像データに基づいた画像をデ
ィスプレイ１１０に表示する。つまり、ＣＰＵ１０１は、視点方向および再生時間位置に応じた、ＶＲ画像の一部をディスプレイ１１０に表示する。この処理を、ＣＰＵ１０１は、表示制御装置１００の表示更新タイミングごとに行うことで、視点方向および再生時間位置に応じたＶＲ画像の一部を動画として再生することができる。

なお、動画配信サーバ１０が切り出す再生画像データのサイズは固定でもよいし、表示制御装置１００における入力部１０６に対するユーザ操作よって当該サイズの変更ができてもよい。また、再生画像データを受信した表示制御装置１００が、表示する際に当該データを縮小または拡大してもよい。なお、ＶＲ画像のデータから再生画像データを切り出す方法などには、公知の技術を用いることができる。

［ディスプレイの表示］
図２（Ａ）は、表示制御装置１００におけるディスプレイ１１０の表示を説明する図であり、表示制御装置１００の外観を示している。ＲОＭ１０３に記憶された動画プレーヤのアプリケーションプログラムをＣＰＵ１０１が起動することによって、図２に示すような表示がされる。ディスプレイ１１０には、動画プレーヤとして、画像表示領域３０１、再生ボタン３０２、一時停止ボタン３０３、停止ボタン３０４、早送りボタン３０５が表示されている。

なお、画像表示領域３０１および各ボタンに対して、ユーザがタッチすることによって、ユーザ操作を入力部１０６に入力することが可能である。そのため、入力部１０６が、画像表示領域３０１、再生ボタン３０２、一時停止ボタン３０３、停止ボタン３０４、早送りボタン３０５を有しているということもできる。

画像表示領域３０１は、再生時間位置および表示制御装置１００の向き（視点方向）に応じたＶＲ画像の一部を表示する領域である。

再生ボタン３０２は、ＶＲ画像を再生するためのボタンである。
一時停止ボタン３０３は、再生されているＶＲ画像の一時停止を行うためのボタンである。
停止ボタン３０４は、ＶＲ画像の再生を終了（停止）するためのボタンである。

早送りボタン３０５は、ＶＲ画像の再生速度を変更するためのボタンである。ＣＰＵ１０１は、早送りボタン３０５が１回押下されると、再生速度を通常の５倍に設定し、さらにもう一度、早送りボタン３０５が押下されると、再生速度を通常の１０倍に設定する。

［ディスプレイの表示とＶＲ画像との関係］
図２（Ｂ）、図３（Ａ）～図３（Ｄ）を用いて、ディスプレイ１１０の表示とＶＲ画像との関係について説明する。図２（Ｂ）は、動画配信サーバ１０が記憶するＶＲ画像のＶＲ空間４０１を示している。なお、ＶＲ空間４０１は、半球状の空間として示されているが、全球状の空間であってもよい。

基準面４０２は、水平面と平行な面であり、基準方向４０３は、ＶＲ画像の再生開始時に表示制御装置１００が向いていた方向の基準面４０２と平行な成分である。しかしながら、これに限らず、基準方向４０３が基準面４０２と平行であれば、基準方向４０３と基準面４０２のそれぞれは、任意なものであってよい。

ここで、図２（Ａ）において画像表示領域３０１が表示する画像が、図２（Ｂ）のＶＲ空間４０１（ＶＲ画像）における視点領域４０４である。従って、本実施形態では、再生画像データとは、視点領域４０４の画像データである。なお、視点領域４０４は、表示制
御装置１００の向きである視点方向４０５に応じて決定（変更）される。

また、視点方向４０５は、基準方向４０３に対する、基準面４０２に平行な方向の傾きである視点角度Θと、基準面４０２に垂直な方向の傾きである視点仰角Φとから構成される。図２（Ｂ）が示す例では、視点角度Θは、基準方向４０３と直線ＴＰとがなす角度であり、視点仰角Φは、視点方向４０５と直線ＴＰとがなす角度である。なお、点Ｔは、ＶＲ空間４０１における中心点（基準点）である。点Ｐは、視点領域４０４の中心から基準面４０２に対する垂線と基準面４０２との交点である。

図３（Ｂ）は、「円柱」が表示されている視点領域４０４が存在する方向に、表示制御装置１００が向いている場合のＶＲ空間４０１を示している。一方、図３（Ａ）は、当該場合におけるディスプレイ１１０の表示を示しており、画像表示領域３０１には、ＶＲ空間４０１における視点領域４０４の「円柱」の画像が表示されている。

図３（Ｄ）は、「星」が表示されている視点領域４０４が存在する方向に、表示制御装置１００が向いている場合のＶＲ空間４０１を示している。ここで、図３（Ｂ）が示す場合と比較して、図３（Ｄ）が示す場合では、表示制御装置１００が向いている方向が左回転しているため、視点領域４０４が当該回転分だけ移動している。一方、図３（Ｃ）は、当該場合におけるディスプレイ１１０の表示を示しており、画像表示領域３０１には、ＶＲ空間４０１における視点領域４０４の「星」の画像が表示されている。

このように、ユーザは、表示制御装置１００の向き（視点方向；視点角度Θおよび視点仰角Φ）を変更することにより、視点領域４０４を自由に移動（変更）させることが可能である。つまり、ユーザは、ＶＲ画像の任意の領域を画像表示領域３０１に表示させることができる。

［表示データリスト］
次に、表示制御装置１００が行うＶＲ画像の再生に用いられる表示データリストについて説明する。図４（Ａ）～図５（Ｂ）は、様々な再生形態における表示データリストを示している。

表示データリストは、ＣＰＵ１０１が生成して、ＤＲＡＭ１０２に記憶されている。表示データリストは、カウンタごとの、再生時間位置と視点角度Θと視点仰角Φを有する。なお、表示制御装置１００は、カウンタが増加するごとに、表示データリストに基づいて、当該カウンタに対応する再生時間位置と視点角度Θと視点仰角Φを動画配信サーバ１０に出力する。これにより、表示制御装置１００は、カウンタが増加するごとに、動画配信サーバから、再生時間位置と視点角度Θと視点仰角Φとに応じた再生画像データを取得することができる。

カウンタは、再生開始時点の値を１として、表示更新タイミングごとに１ずつ増加（カウントアップ）する値を示す。本実施形態では、カウンタは、３０フレーム／秒の速度のフレーム単位ごとに増加する。

再生時間位置は、当該カウンタにおけるＶＲ画像の再生時間の位置を示す。つまり、再生時間位置は、ＶＲ画像を再生開始してから、何フレーム目の画像を表示しているかを示す情報であるといえる。

表示データリストにおける視点角度Θと視点仰角Φは、当該カウンタにおける視点方向を示す視点方向情報である。

（通常再生の場合）
図４（Ａ）は、表示制御装置１００が、３０フレーム／秒の速度でＶＲ画像を再生（通常再生）している場合の表示データリストを示している。

この場合には、カウンタが１から増加するごとに、再生時間位置が１フレーム増加している。また、カウンタが１から５までは、視点角度Θが１２０度であり、視点仰角Φが２０度である。一方、カウンタが６以降は、視点角度Θが１００度であり、視点仰角Φが２０度である。このため、カウンタが５と６の間の期間において、表示制御装置１００が向いている方向が変化したことを示している。

（一時停止再生の場合）
図４（Ｂ）は、表示制御装置１００が、ＶＲ画像を一時停止再生している場合の表示データリストを示している。

この場合には、カウンタが１から４までは、再生時間位置がフレーム単位で更新されているため、ＶＲ画像は通常再生をしている。しかし、カウンタが５以降は、再生時間位置は００：００：０４から更新されていないため、ＶＲ画像は一時停止再生している。

また、視点方向情報については、カウンタが１から５までは視点角度Θが１２０度であり、視点仰角Φが２０度である。一方、カウンタが６以降は、視点角度Θが１００度であり、視点仰角Φが２０度である。このため、一時停止再生中に、表示制御装置１００が向いている方向が変化したことを示している。

（早送り再生の場合）
図５（Ａ）は、表示制御装置１００が、ＶＲ画像を早送り再生している場合の表示データリストを示している。

この場合には、カウンタが１から３０までは、再生時間位置は００：００：００のまま更新がなく、カウンタが３１をとると再生時間位置が００：０５：００に更新されている。なお、更新せずに再生時間位置を維持する期間は任意であり、早送り中のＶＲ画像をユーザに認識させるために、図５（Ａ）が示す例では、１秒としている。

３０フレーム／秒でカウンタが更新されるのであれば、カウンタが３１である場合、カウンタが１である時点から１秒経過しているため、通常再生の場合には、再生時間位置が００：０１：００の位置のＶＲ画像が再生される。一方、５倍の早送り再生の場合には、００：０５：００（５秒）の位置のＶＲ画像が再生される。同様に、カウンタが６１である時点では、００：１０：００（１０秒）の位置のＶＲ画像が再生される。

なお、早送り再生の速度は、早送りボタン３０５をユーザが押すごとに１０倍速、２０倍速と変更することが可能である。すなわち、ユーザは、早送りボタン３０５を押下することにより、再生時間位置を更新する（増加させる）量（更新量）が変更されるため、様々な速度におけるＶＲ画像を視点できる。

（スロー再生の場合）
図５（Ｂ）は、表示制御装置１００が、ＶＲ画像を０．５倍速のスロー再生している場合の表示データリストを示している。

カウンタが１から２までは、再生時間位置は００：００：００のまま更新がなく、カウンタが３に変化すると、再生時間位置が００：００：０１と１フレーム更新されている。

このように、カウンタが２増加するごとに、再生時間位置が１フレーム更新されることによって０．５倍速のスロー再生が実現可能である。また、カウンタが４増加すると、再生時間位置が１フレーム更新されることによって０．２５倍速のスロー再生が実現可能である。なお、スロー再生については、例えば、早送りボタン３０５を、所定の期間以上、ユーザがタッチし続けることによって行われる。

［オブジェクトの移動の判定］
図６（Ａ）～図７（Ｂ）を用いて、ユーザが視点可能なＶＲ画像が表示される画像表示領域３０１の範囲外に、ユーザが追跡するオブジェクトの移動を判定する移動判定処理について説明する。なお、画像表示領域３０１は、視点領域４０４を表示する領域であるため、当該オブジェクトが画像表示領域３０１の範囲外に移動するとは、当該オブジェクトが視点領域４０４の範囲外に移動するともいえる。

（オブジェクトの選択と位置）
まず、以下では、ユーザが追跡をするオブジェクトを選択する方法および、当該オブジェクトの位置の決定方法について説明する。

図６（Ａ）は、画像表示領域３０１（視点領域４０４）が、「円柱」を示すオブジェクト６０４を表示している（含んでいる）例を示している。ここで、「円柱」を示すオブジェクトを含む画像領域６０２を、ユーザの指６０３がタッチすることにより、追跡するオブジェクト６０４が選択される。なお、追跡するオブジェクト６０４の選択の解除は、もう一度、画像領域６０２にタッチされることにより可能である。

図６（Ｂ）は、物体認識部１１１が行う、画像表示領域３０１におけるオブジェクト６０４の位置の決定方法を説明する図である。ここで、画像表示領域３０１の幅はＷであり、画像表示領域３０１の高さがＨである。なお、幅Ｗ、高さＨは、ディスプレイ１１０の物理的な画面のサイズに依存しない、ピクセルなどによって示される値であるとよい。つまり、画像表示領域３０１の幅Ｗ、高さＨは、視点領域４０４（再生画像データ）の幅Ｗ、高さＨということもできる。

図６（Ｂ）において、オブジェクト６０４は、画像表示領域３０１における位置６０１（ｘ，ｙ）＝（Ｘ，Ｙ）に表示されている。なお、位置６０１は、オブジェクト６０４における中心点の位置であってもよいし、画像領域６０２の中心点の位置であってもよい。また、画像表示領域３０１の左下を原点（ｘ，ｙ）＝（０，０）であり、右上を頂点（ｘ，ｙ）＝（Ｗ，Ｈ）である。

物体認識部１１１は、オブジェクト６０４の位置６０１の情報に基づき、幅Ｗ１、幅Ｗ２、高さＨ１、高さＨ２を決定する。なお、物体認識部１１１は、再生画像データを取得するごと（カウンタが更新されるごと）に、幅Ｗ１、幅Ｗ２、高さＨ１、高さＨ２を決定して、位置情報としてＣＰＵ１０１に出力する。

幅Ｗ１は、（ｘ，ｙ）＝（Ｘ，０）から位置６０１までの長さであり、幅Ｗ２は、位置６０１から（ｘ，ｙ）＝（Ｗ，０）までの長さである。高さＨ２は、（ｘ，ｙ）＝（Ｘ，０）から位置６０１までの長さであり、高さＨ１は、位置６０１から（ｘ，ｙ）＝（Ｘ，Ｈ）までの長さである。すなわち、Ｗ１＋Ｗ２＝Ｗ、Ｈ１＋Ｈ２＝Ｈという関係が常に成り立つ。また、位置６０１は（ｘ，ｙ）＝（Ｘ，Ｙ）＝（Ｗ１，Ｈ１）である。また、幅Ｗ１、幅Ｗ２、高さＨ１、高さＨ２は、位置６０１から、画像表示領域３０１の境界である各辺までの距離であるともいえる。

なお、本実施形態では、幅Ｗ１，Ｗ２、高さＨ１，Ｈ２のそれぞれは、位置６０１から
画像表示領域３０１の各辺までの距離としたが、これには限られない。例えば、画像領域６０２の各辺（境界）から画像表示領域３０１の各辺（境界）までの距離のそれぞれを、幅Ｗ１，Ｗ２、高さＨ１，Ｈ２としてもよい。なお、この場合には、Ｗ１＋Ｗ２＝Ｗ、Ｈ１＋Ｈ２＝Ｈという関係が成り立つ必要はない。

（オブジェクトの移動の判定の処理）
以下にて、画像表示領域３０１において、追跡するオブジェクトの移動を判定する処理について説明する。

ここで、当該判定を行うために、ＣＰＵ１０１は、図７（Ａ）が示すような位置データリストを用いる。位置データリストは、カウンタが１からＮまでの、追跡するオブジェクトの幅Ｗ１、高さＨ１、幅Ｗ２、高さＨ２を記憶している。なお、ＣＰＵ１０１が、物体認識部１１１から取得した位置情報を用いて位置データリストを生成して、ＤＲＡＭ１０２に記憶している。

なお、ＣＰＵ１０１は、現在の再生時間位置より進んだ再生時間位置に該当する再生画像データを動画配信サーバ１０から受信し、当該再生画像データに基づき位置データリストを生成してもよい。つまり、ＣＰＵ１０１は、カウンタがＮ以降の幅Ｗ１などを有する位置データリストを生成していてもよい。

（移動判定処理の処理フロー）
図７（Ｂ）は、追跡するオブジェクトの移動を判定する処理のフローチャートである。なお、本フローチャート開始時におけるカウンタは、Ｎであるとする。なお、本フローチャートの処理は、ＣＰＵ１０１によって行われるため、ＣＰＵ１０１は、各機能部を制御する制御手段でもあり、判定手段でもあるといえる。

Ｓ７０１において、ＣＰＵ１０１は、ＤＲＡＭ１０２が記憶する位置データリストから、カウンタがＮの時点の幅Ｗ１，幅Ｗ２、高さＨ１、高さＨ２などの位置情報を取得する。図７（Ａ）が示す例では、Ｗ１＝５０、Ｗ２＝３９５０、Ｈ１＝１００、Ｈ２＝１９００である。

Ｓ７０２において、ＣＰＵ１０１は、幅Ｗ１，幅Ｗ２、高さＨ１、高さＨ２のうちの最小値であるＭ（Ｎ）を抽出する。従って、画像表示領域３０１の境界とオブジェクトの位置との最小距離が最小値Ｍ（Ｎ）として抽出されている。図７（Ａ）の例では、ＣＰＵ１０１は、幅Ｗ１が最も小さいため、最小値Ｍ（Ｎ）＝Ｗ１＝５０を抽出する。

Ｓ７０３において、ＣＰＵ１０１は、過去のカウンタにおける最小値として、カウンタがＮ－４およびＮ－９である場合の最小値Ｍ（Ｎ－４）、最小値Ｍ（Ｎ－９）を抽出する。なお、図７（Ａ）の例では、Ｍ（Ｎ－４）＝９０、Ｍ（Ｎ－９）＝１００である。

Ｓ７０４において、ＣＰＵ１０１は、Ｍ（Ｎ）が予め決定されている閾値より小さい否か判定する。閾値より小さいと判定されるとＳ７０５に進み、それ以外の場合には、Ｓ７０８に進む。なお、閾値は、予め決定されている必要はなく、例えば、幅Ｗと高さＨとの大きさに応じて、ＣＰＵ１０１が決定してもよい。具体的には、ＣＰＵ１０１は、幅Ｗと高さＨとうち小さい値が、大きいほど、閾値を大きく決定する。図７（Ａ）の例において、閾値を４０であるとした場合、Ｍ（Ｎ）＝５０であるため、Ｍ（Ｎ）は閾値以上であると判定される。

Ｓ７０５において、ＣＰＵ１０１は、Ｍ（Ｎ）とＭ（Ｎ－４）の大きさを比較する。つまり、Ｓ７０５では、カウンタがＮのときのオブジェクトが、カウンタがＮ－４のときの
オブジェクトよりも、画像表示領域３０１の境界に近づいているか否かが判定されている。Ｍ（Ｎ－４）の方が大きいと判定されるとＳ７０６に進み、それ以外の場合にはＳ７０８に進む。

Ｓ７０６において、ＣＰＵ１０１は、Ｍ（Ｎ－４）とＭ（Ｎ－９）の大きさを比較する。つまり、Ｓ７０５では、カウンタがＮ－４のときのオブジェクトが、カウンタがＮ－９のときのオブジェクトよりも、画像表示領域３０１の境界に近づいているか否かが判定されている。Ｍ（Ｎ－９）の方が大きいと判定されるとＳ７０７に進む、それ以外の場合には、Ｓ７０８に進む。

Ｓ７０７において、ＣＰＵ１０１は、画像表示領域３０１（視点領域４０４）の範囲外にオブジェクトが移動すると判定する。つまり、ＣＰＵ１０１は、現在のオブジェクトの位置が、過去のオブジェクトの位置よりも画像表示領域３０１の境界に近づいているため、今後、オブジェクトが画像表示領域３０１の外に移動する可能性が高いと判定している。

Ｓ７０８において、ＣＰＵ１０１は、画像表示領域３０１（視点領域４０４）の内部においてオブジェクトが移動もしくは静止していると判定する。

なお、Ｓ７０５からＳ７０６の処理は、画像表示領域３０１の範囲外にオブジェクトが移動するか否かを判定する処理である。そのため、本実施形態では、現在のオブジェクトの位置情報と過去２点の位置情報との計３点の位置情報によって当該判定したが、これには限られず、２以上の任意の数の時点におけるオブジェクトの位置情報によって当該判定は可能である。従って、例えば、Ｓ７０５において、Ｍ（Ｎ－４）の方がＭ（Ｎ）より大きいと判定されるとＳ７０７に進み、それ以外の場合にはＳ７０８に進んでもよい。

また、ＣＰＵ１０１は、必ずしも、過去のオブジェクトの位置情報を用いる必要はない。つまり、Ｓ７０４において、Ｍ（Ｎ）が予め決定されている閾値より小さい場合には、Ｓ７０７に進み、それ以外の場合には、Ｓ７０８に進んでもよい。

［再生速度の変更］
続いて、ＣＰＵ１０１が、画像表示領域３０１の範囲外に、追跡するオブジェクトが移動すると判定した場合の、ＶＲ画像の再生速度の変更処理について説明する。

図８は、ＶＲ画像の再生中に、ＣＰＵ１０１が行う、オブジェクトの状態に応じた再生速度の設定を説明するための対応表である。図８が示すように、ＣＰＵ１０１は、オブジェクトが選択されていない場合、または、オブジェクトが画像表示領域３０１の内部で移動すると判定されている場合には、再生速度を現在の値から変更しない。一方、オブジェクトが画像表示領域３０１の範囲外に移動すると判定されている場合には、ＣＰＵ１０１は、現在よりも再生速度を遅くする。例えば、ＣＰＵ１０１は、現在、通常再生している場合には、スロー再生（０．５）倍に変更し、早送り再生（５倍）している場合には、通常再生に変更する。

なお、ＣＰＵ１０１は、オブジェクトが画像表示領域３０１の範囲外に移動する場合には、現在の再生速度より遅い再生速度に設定すれば、一時停止に設定するなど任意の設定を行ってよい。

［表示制御装置のＶＲ画像の再生処理のフロー］
図９のフローチャートを用いて、表示制御装置１００のＶＲ画像の再生処理のフロー（表示制御方法）を説明する。このフローチャートにおける各処理は、ＣＰＵ１０１がＲＯ
Ｍ１０３に格納されたプログラムを読み出し、実行することにより実現される。

なお、本フローチャートの開始時点において、予め表示するＶＲ画像のコンテンツが決定されている。また、表示データリストおよび位置データリストは、ＤＲＡＭ１０２に記憶されており、カウンタは１である。また、早送り再生において、更新せずに再生時間位置を維持する期間は、３０フレームである。

Ｓ９０１において、ＣＰＵ１０１は、図３に示すような各ボタンなどの部材を含む動画プレーヤの画像データを生成し、ＤＲＡＭ１０２に格納する。ＣＰＵ１０１は、さらに、当該画像データの表示制御信号を生成する。表示制御部１０５は、表示制御信号に基づき表示信号を生成し、ディスプレイ１１０に表示信号を出力する。これにより、ディスプレイ１１０は、動画プレーヤを表示する。

Ｓ９０２において、ＣＰＵ１０１は、再生ボタン３０２、一時停止ボタン３０３、早送りボタン３０５のいずれかのボタンが、ユーザによって押下されたか否かを判定する。これによって、ＶＲ画像の再生速度の変更の指示がユーザからあったか否かが判定される。押下された場合には、Ｓ９０３に進み、それ以外の場合には、Ｓ９０４に進む。

Ｓ９０３において、ＣＰＵ１０１は、再生時間位置の更新量を設定する。具体的には、Ｓ９０２において再生ボタン３０２が押下された場合であれば、ＣＰＵ１０１は、更新量を１フレームに設定する。一時停止ボタン３０３が押下された場合であれば、ＣＰＵ１０１は、更新量を０フレームに設定する。早送りボタン３０５が押下された場合であれば、ＣＰＵ１０１は、例えば、更新量を１５０フレームや３００フレームに設定する。

Ｓ９０４において、ＣＰＵ１０１は、方向検出部１０７が検出した表示制御装置１００の向いている方向（視点角度Θ、視点仰角Φ）の情報を取得する。そして、ＣＰＵ１０１は、表示データリストにおけるカウンタに対応するように、視点角度Θおよび視点仰角Φを視点方向情報として登録する。

さらに、ＣＰＵ１０１は、更新量が１フレーム以下であれば、再生時間位置を当該更新量の分だけ更新（増加）して、表示データリストにおける再生時間位置を登録する。なお、更新量が１フレームよりも大きいような早送り再生時には、更新せずに再生時間位置を維持する期間が３０フレームである。このため、ＣＰＵ１０１は、例えば、カウンタが１、３１、６１、・・・と３０の倍数＋１をとる場合にのみ、再生時間位置を更新量だけ更新する。

Ｓ９０５において、ＣＰＵ１０１は、通信ＩＦ部１０８を介して、動画配信サーバ１０に対して、表示データリストが示す、現在のカウンタに対応する視点方向情報（視点角度Θおよび視点仰角Φ）、再生時間位置を送信する。

Ｓ９０６において、ＣＰＵ１０１は、通信ＩＦ部１０８を介して、動画配信サーバ１０から再生画像データ（視点領域４０４の画像データ）を受信し、画像表示領域３０１に対応するＤＲＡＭ１０２の領域に格納する。なお、視点方向情報および再生時間位置が前回と変化がない場合には、ＣＰＵ１０１は、Ｓ９０５とＳ９０６における動画配信サーバとの通信を行わずに、前回のＳ９０６にて受信した再生画像データを、当該領域に格納してもよい。

Ｓ９０７において、ＣＰＵ１０１は、動画プレーヤの画像データに基づいた表示制御信号を生成する。表示制御部１０５は、表示制御信号に基づき表示信号を生成し、ディスプレイ１１０に表示信号を出力する。これによって、ディスプレイ１１０における動画プレ
ーヤが、再生画像データに基づいた画像（視点領域４０４）を含むような表示に更新される。

Ｓ９０８において、ＣＰＵ１０１は、画像表示領域３０１におけるオブジェクトを、ユーザが選択したか否かを判定する。選択されたと判定されるとＳ９０９に進み、それ以外の場合にはＳ９１２に遷移する。なお、当該オブジェクトが選択された場合には、選択されたことを示す選択信号が入力部１０６からＣＰＵ１０１に出力され、ＣＰＵ１０１は、選択信号に基づいて当該判定をする。また、選択信号は、画像表示領域３０１における選択された位置の情報を含む。

Ｓ９０９において、ＣＰＵ１０１は、Ｓ９０８にて選択されたオブジェクトが物体認識部１１１に登録されているか判定する。登録されていると判定されるとＳ９１０に進み、登録されていなければＳ９１１に進む。

Ｓ９１０において、ＣＰＵ１０１は、Ｓ９０８にて選択されたオブジェクトの画像データの、物体認識部１１１における登録を解除（破棄）する。

Ｓ９１１において、ＣＰＵ１０１は、Ｓ９０８にて選択されたオブジェクトの画像データを生成し、物体認識部１１１に当該画像データを登録する。

Ｓ９１２において、ＣＰＵ１０１は、ユーザがオブジェクトを追跡しているか否かを判定する。ここで、ＣＰＵ１０１は、物体認識部１１１に登録されたオブジェクトがあれば、ユーザがオブジェクトを追跡していると判定する。追跡していると判定されるとＳ９１３に進み、それ以外の場合にはＳ９１６に進む。

Ｓ９１３において、ＣＰＵ１０１は、ＤＲＡＭ１０２に格納した再生画像データを物体認識部１１１に出力する。物体認識部１１１は、追跡しているオブジェクトの位置情報を決定して、ＣＰＵ１０１に出力する。ＣＰＵ１０１は、当該位置情報を用いて、位置データリストを更新する。また、ＣＰＵ１０１は、更新した位置データリストをＤＲＡＭ１０２に格納する。

Ｓ９１４において、ＣＰＵ１０１は、Ｓ９１３にて更新した位置データリストに基づいて、図７が示す移動判定処理により、オブジェクトが画像表示領域３０１の範囲外に移動するか否かを判定する。画像表示領域３０１の範囲外に移動すると判定されるとＳ９１５に進み、それ以外の場合にはＳ９１６に進む。

Ｓ９１５において、ＣＰＵ１０１は、図８を用いて説明したように、ＶＲ画像の再生速度を現在よりも遅くする処理を行う。

Ｓ９１６において、ＣＰＵ１０１は、カウンタを１だけ増加させ（インクリメントし）、Ｓ９１７に進む。

Ｓ９１７において、ＣＰＵ１０１は、停止ボタン３０４をユーザが押下したか否かを判定する。押下された場合には、本フローチャートにおける処理が全て終了し、それ以外の場合には、Ｓ９０２に進む。

なお、本実施形態では、動画配信サーバ１０は、表示制御装置１００の向きに応じて、ＶＲ画像のデータの一部である再生画像データを切り出していたが、これには限られない。例えば、動画配信サーバ１０は、入力部１０６に対するユーザ操作に応じた、再生画像データを切り出してもよい。この場合には、表示制御装置１００のＣＰＵ１０１は、当該
ユーザ操作に応じて視点方向情報（視点角度Θおよび視点仰角Φ）を決定するとよい。

なお、本実施形態における動画配信サーバ１０の処理は、表示制御装置１００がＶＲ画像のデータをダウンロードするのであれば、表示制御装置１００が行ってもよい。従って、表示制御装置１００が動画配信サーバ１０を有するような構成であってもよい。また、表示制御装置１００が、入力部１０６やディスプレイ１１０を有している構成に限らず、これらの代わりに、外部の入力装置を介してユーザ操作を受けつけ、外部の表示装置に画像を表示するような構成であってもよい。

［効果］
本実施形態では、表示制御装置は、追跡するオブジェクトが表示範囲外（視点領域外）に移動する可能性があれば、ＶＲ画像の再生速度を遅くする。これによれば、当該オブジェクトが表示範囲外に移動するまでの期間を長くすることができる。このため、ユーザは、表示制御装置１００の向きを当該期間内に変更することによって、当該オブジェクトを容易に追跡することができる。

［変形例１］
次に、変形例１に係る表示制御装置１００について説明する。変形例１に係る表示制御装置１００は、実施形態１に係る表示制御装置１００の処理に加えて、追跡しているオブジェクトが表示領域の範囲外に移動すると判定して再生速度を変更した場合に、再生速度を変更した理由を表示する。

図１０（Ａ）は、オブジェクトが画像表示領域３０１（視点領域４０４）の範囲外に移動すると判定されて、再生速度が変更された場合における画像表示領域３０１（視点領域４０４）の例である。画像表示領域３０１には、表示文字列１００１がＶＲ画像（視点領域４０４）に対して重畳して表示されている。表示文字列１００１は、ユーザに対し、再生速度を変更した理由を示す表示をしている。

なお、本変形例では、図１０（Ｂ）が示すように、実施形態１に係る図９が示すＶＲ画像の再生のフローチャートにおけるＳ９０６とＳ９０７との処理の間に、Ｓ１１０１とＳ１１０２の処理が行われる。

Ｓ１１０１において、ＣＰＵ１０１は、現在の１つ前の値のカウンタにおいて、Ｓ９１５にて再生速度を変更したか否かを判定する。変更したと判定されるとＳ１１０２に進み、それ以外の場合にはＳ９０７に進む。

Ｓ１１０２において、ＣＰＵ１０１は、再生速度を変更した理由を示す表示文字列１００１のデータを生成して、ＤＲＡＭ１０２に格納した再生画像データに表示文字列１００１のデータを重畳する。これにより、Ｓ９０７において、ディスプレイ１１０には、表示文字列１００１が表示される。

なお、変形例１では、画像表示領域３０１に表示文字列１００１を表示する例を示したが、これに限ったものではなく、再生速度を変更した理由をユーザが把握しえる表示であれば任意のものでよい。例えば、追跡しているオブジェクトが画像表示領域３０１の範囲外に移動すると判定された場合のみ、画像表示領域３０１に「！」などのアイコンが表示されてもよいし、当該オブジェクトを囲うような破線が表示されてもよい。

これによれば、ユーザは、再生速度が変更された理由が分かるため、当該表示を確認した後に、表示制御装置１００の向きを変化させて、オブジェクトを即座に追跡することができる。

なお、実施形態１および変形例１において、「以上」と記載したものは、「より大きい」と読み替えてもよく、「以下」と記載したものは、「より小さい（未満）」と読み替えても、表示制御装置１００は実現可能である。また、逆に、実施形態１および変形例１において、「より大きい」と記載したものは、「以上」と読み替えてもよく、「より小さい（未満）」と記載したものは、「以下」と読み替えても、表示制御装置１００は実現可能である。

なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：表示制御装置、１０１：ＣＰＵ、１１１：物体認識部、４０４：視点領域

Claims (8)

1. ＶＲ画像の一部である視点領域を表示手段に表示することにより、動画として再生する表示制御装置であって、
   前記視点領域におけるオブジェクトの位置を取得する物体認識手段と、
   前記オブジェクトが、前記視点領域の範囲外に移動するか否かを判定する判定手段と、
   前記オブジェクトが、前記視点領域の範囲外に移動すると判定されれば、前記ＶＲ画像の再生速度を現在よりも遅くする制御手段と、
   を有する、
   ことを特徴とする表示制御装置。
2. 前記判定手段は、
   前記視点領域の境界と前記オブジェクトの位置との最小距離が閾値よりも小さい場合に、前記オブジェクトが前記視点領域の範囲外に移動すると判定する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記判定手段は、
   前記視点領域の境界と前記オブジェクトの位置との最小距離が閾値よりも小さく、かつ、
   現在のオブジェクトの位置が、過去のオブジェクトの位置よりも前記視点領域の境界に近づいている場合に、
   前記オブジェクトが前記視点領域の範囲外に移動すると判定する、
   ことを特徴とする請求項１に記載の表示制御装置。
4. 前記オブジェクトを選択するユーザ操作を受け付ける入力手段を、さらに有する、
   ことを特徴とする請求項１から３のいずれか１項に記載の表示制御装置。
5. 前記表示制御装置の向きである視点方向を検出する方向検出手段を、さらに有し、
   前記制御手段は、前記視点方向に応じて表示する前記視点領域を変更する、
   ことを特徴とする請求項１から４のいずれか１項に記載の表示制御装置。
6. 前記制御手段は、前記再生速度を遅くする場合には、前記再生速度を遅くした理由を示す表示を前記視点領域に重畳して、前記表示手段に表示する、
   ことを特徴とする請求項１から５のいずれか１項に記載の表示制御装置。
7. ＶＲ画像の一部である視点領域を表示手段に表示することにより、動画として再生する表示制御方法であって、
   前記視点領域におけるオブジェクトの位置を取得する物体認識工程と、
   前記オブジェクトが、前記視点領域の範囲外に移動するか否かを判定する判定工程と、
   前記オブジェクトが、前記視点領域の範囲外に移動すると判定されれば、前記ＶＲ画像の再生速度を現在よりも遅くする制御工程と、
   を有する、
   ことを特徴とする表示制御方法。
8. コンピュータを請求項１から６のいずれか１項に記載の表示制御装置の各手段として機能させるプログラム。

Images