JP5919544B1 - 画像再生方法、画像再生装置、及び画像再生プログラム - Google Patents

Abstract

【課題】 処理負荷を軽減して融通性のある処理を行う。【解決手段】 ＨＭＤ１２のジャイロセンサ１２１からの角速度信号に基づき、ＨＭＤ１２に変位があったか否かを判定する（ステップＳ１３）。ステップＳ１３において、ＨＭＤ１２に変位があったと判定されると、その量に基づき表示領域ＤＡを移動させるのであるが、このとき、変位により新たに含まれた表示部分（図３の右下がり斜線部分）のみを含む各ブロックのみの画像情報をデコードする（ステップＳ１４）。そして、新たなデコードにより得られた画像を球面のポリゴンに貼り付けて球面全方位画像の一部を構成してＨＭＤ１２に出力する（ステップＳ１５）。【選択図】 図２

Description

本発明は、画像再生方法、画像再生装置、及び画像再生プログラムに関し、特に、球面全方位カメラにより撮像された動画を再生する際の画像再生方法、画像再生装置、及び画像再生プログラムに関する。

最近では、仰角０度のパノラマ画像が撮像できる全方位カメラのみならず、鉛直方向、すなわち天空に向けたカメラを備え、仰角９０度までを含めた画像、すなわち少なくとも半球面の範囲の画像（以下、「球面全方位画像」と称す）、を撮像することができる球面全方位カメラも普及し始めている。また、それらの全方位カメラは、動画としても撮像できる。

このような複数のカメラを備えた全方位カメラにより動画が撮像された場合、時系列に係る各フレームごとに、各カメラで得られた画像情報は、球面変換されたうえで合成されてフレーム単位では１つの球面全方位画像として構成され、更にそれらの球面全方位画像がフレームごとに平面にマッピングされ、例えばＪＰＥＧ（Joint Photographic Expert Group）等の手法により圧縮符号化されて記憶部に記憶される。

静止画としての球面全方位画像や、それらをフレームとして時系列に並べることにより構成される動画像（以下、「球面全方位動画」と称す）の情報は、例えば、ジャイロセンサを備えたヘッドマウントディスプレイ（Head Mount Display）（以下、「ＨＭＤ」と称す）に供給してやれば、それを装着したユーザは、頭の動き（向き）に応じて見る方向が変わる球面全方位画像又は動画を観賞することが可能となる。また、所定の処理により、立体視観賞も可能となる。

このように全方位カメラの記憶部に格納された動画情報は、必要に応じて、画像編集装置に導入され、不要なシーンのカットや各シーンの連結処理等の画像編集が施されたのち、所望のサーバ等に格納される。かかる画像編集装置は、例えば特許文献１に開示されている。

特開２００５−２２３４１６号公報

このようにサーバ等に格納された動画情報は、前述のようにジャイロセンサを備えたＨＭＤ装置に供給してやれば、それを装着したユーザは、頭の動き（向き）に応じて見る方向が変わる球面全方位動画を視聴することが可能となる。

しかしながら、このような球面全方位動画の視聴方法にはいくつかの課題がある。
第一に、各フレームごとに、球面全方位の一部を見ているだけにも拘らず、フレーム全体の画像情報をデコードするのでは、処理制御部に不必要な負担がかかり、効率が悪い。第二に、サーバ等に格納された球面全方位動画の情報をそのまま再生したのでは、不都合な場合がある。例えば、表示させたくないカメラマンが写っていたりする場合である。また、公序良俗に反する類の映像は、通常編集の段階で削除されるものであるが、特別に独自に特定の人又は物の表示を避けたいときがある場合等である。かかる場合、事前に表示範囲に制限をかけることが望ましい。なお、特許文献１には、編集段階で、時系列に並んだフレームごとに表示する範囲を効率的に指定できる技術が開示されているが、表示する範囲（対象）を予め任意に特定できるのは従来からであり、表示禁止範囲を設けることとは概念が異なる。

本発明は上述のような事情から為されたものであり、本発明の目的は、処理負荷を軽減して融通性のある処理を行うことができる画像再生方法、画像再生装置、及び画像再生プログラムを提供することにある。

上記目的を達成するため、本発明の画像再生方法は、動画情報格納部に格納された、球面全方位カメラにより撮像された球面全方位動画を、ジャイロセンサを有する画像再生装置により再生する際の画像再生方法であって、前記ジャイロセンサからの変位信号に基づいて、球面全方位のうち、操作者が見ている方位の変化を判定し、その結果、前記球面全方位における表示すべき領域の変化があった場合に、前記変化の前後に共通の領域をその全部に含む符号化処理ブロックの各々については前記動画情報格納部から再度読み出して復号化することはせず、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化し、その復号化処理により得られた画像情報を、前記変化の前後に共通の領域に係る、前記変化前における復号化処理により得られた画像情報に付加して再生することを要旨とする。

ここで、例えば、前記画像再生装置は、ヘッドマウントディスプレイである。

更に特徴的には、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化することにより得られた画像を球面のポリゴンに貼り付けて前記球面全方位動画の一部を構成して再生する。

また、上記目的を達成するため、本発明の画像再生装置は、ジャイロセンサと、表示部と、動画情報格納部と、その動画情報格納部に格納された、球面全方位カメラにより撮像された球面全方位動画を、前記ジャイロセンサからの変位信号に基づいて、前記表示部に表示するように制御を行う表示制御手段と、を備える画像再生装置であって、前記表示制御手段は、前記変位信号に基づいて、球面全方位のうち、操作者が見ている方位の変化を判定し、その結果、前記球面全方位における表示すべき領域の変化があった場合に、前記変化の前後に共通の領域をその全部に含む符号化処理ブロックの各々については前記動画情報格納部から再度読み出して復号化することはせず、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化し、その復号化処理により得られた画像情報を、前記変化の前後に共通の領域に係る、前記変化前における復号化処理により得られた画像情報に付加して再生するように制御を行うことを要旨とする。

更に特徴的には、前記表示制御手段は、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化することにより得られた画像を球面のポリゴンに貼り付けて前記球面全方位動画の一部を構成して表示制御する。

また、上記目的を達成するため、本発明の画像再生プログラムは、動画情報格納部及びジャイロセンサを有する画像再生装置に、前記動画情報格納部に格納された、球面全方位カメラにより撮像された球面全方位動画を再生するための画像再生プログラムであって、前記ジャイロセンサからの変位信号に基づいて、球面全方位のうち、操作者が見ている方位の変化を判定し、その結果、前記球面全方位における表示すべき領域の変化があった場合に、前記変化の前後に共通の領域をその全部に含む符号化処理ブロックの各々については前記動画情報格納部から再度読み出して復号化することはせず、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化し、その復号化処理により得られた画像情報を、前記変化の前後に共通の領域に係る、前記変化前における復号化処理により得られた画像情報に付加して再生するように制御を行うことを要旨とする。

更に特徴的には、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化することにより得られた画像を球面のポリゴンに貼り付けて前記球面全方位動画の一部を構成して再生する。

本発明の画像再生方法、画像再生装置、及び画像再生プログラムによれば、処理負荷を軽減して融通性のある処理を行うことができる。

本発明の画像再生装置の一実施形態であるＨＭＤ装置のハードウェア構成ブロック図である。 動画再生プログラムにおけるデコード処理部分のアルゴリズムを示すフローチャートである。 図２のデコード処理を説明するための図である。 動画再生プログラムにおける表示範囲制限処理部分のアルゴリズムを示すフローチャートである。 図４の表示範囲制限処理を説明するための図である。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の画像再生装置の一実施形態であるＨＭＤ装置のハードウェア構成ブロック図である。同図に示すＨＭＤ装置１は、再生制御装置１１と、それに接続されたＨＭＤ１２とで構成されている。なお、再生制御装置１１とＨＭＤ１２とを併せてＨＭＤと称することもある。また、この実施形態においては、ＨＭＤ１２専用の再生制御装置としての再生制御装置１１を構成としているが、再生制御装置の機能は、例えば汎用のパーソナルコンピュータによっても実現できる。

そのうち、再生制御装置１１は、概して、ＣＰＵ（Central Processing Unit）１１１、ＲＡＭ（Random Access Memory）１１２、ＲＯＭ（Read Only Memory）１１３、動画再生プログラム格納部１１４、動画情報格納部１１５を少なくとも備えている。ここで、動画再生プログラム格納部１１４及び動画情報格納部１１５は、フラッシュメモリやハードディスクである。一方、ＨＭＤ１２は、少なくともジャイロセンサ１２１及び表示部１２２を備えている。なお、動画情報格納部１１５には、各フレームについて、複数のブロック単位で符号化が行える符号化方式により動画が符号化されて格納されている。そのような符号化方式としては前述のＪＰＥＧがあるがそれには限られない。

上述のような構成のＨＭＤ装置１の一般的な動作としては、動画再生プログラム格納部１１４から動画再生プログラムが読み出されてＲＡＭ１２に展開されつつ実行されると、ＨＭＤ１２のジャイロセンサ１２１からの角速度情報に基づき、動画情報格納部１１５から必要な動画情報が読み出されてデコードされ、ＨＭＤ１２側に送られてその表示部１２２に表示される。

次に、本発明の特徴部分に係る処理構成について説明する。
図２は、上述した動画再生プログラムにおけるデコード処理部分のアルゴリズムを示すフローチャートである。また、図３は、そのデコード処理を説明するための図である。図２において、初期状態から説明すると、初期的な表示領域ＤＡのみに係る、各ブロックの画像情報をデコードし（ステップＳ１１）、球面のポリゴンに貼り付けて球面全方位画像の一部を構成してＨＤＭ１２に出力する（ステップＳ１２）。次に、ＨＭＤ１２のジャイロセンサ１２１からの角速度信号に基づき、ＨＭＤ１２に変位があったか否かを判定する（ステップＳ１３）。ステップＳ１３において、ＨＭＤ１２に変位があったと判定されると、その量に基づき表示領域ＤＡを移動させるのであるが、このとき、変位により新たに含まれた表示部分（図３の右下がり斜線部分）のみを含む各ブロックのみの画像情報をデコードする（ステップＳ１４）。そして、新たなデコードにより得られた画像を球面のポリゴンに貼り付けて球面全方位画像の一部を構成してＨＭＤ１２に出力する（ステップＳ１５）。

図２及び図３に基づく処理によれば、表示処理を担うハードウェア構成の負荷を軽減することができる。

次に、図４は、図１に示した動画再生プログラムにおける表示範囲制限処理部分のアルゴリズムを示すフローチャートである。また、図５は、その表示範囲制限処理を説明するための図である。図４において、初期的な表示領域ＤＡに係る、各ブロックの画像情報をデコードし（ステップＳ２１）、球面のポリゴンに貼り付けて球面全方位画像の一部を構成してＨＤＭ１２に出力する（ステップＳ２２）。次に、ＨＭＤ１２のジャイロセンサ１２１からの角速度信号に基づき、ＨＭＤ１２に変位があったか否かを判定する（ステップＳ２３）。当該ステップにおいて、ＨＭＤ１２に変位があったと判定されると、次に、その信号量から、表示領域ＤＡが、図５に示すように、表示禁止領域ＥＡに到達するものであるか否かを判定する（ステップＳ２４）。ステップＳ２４において、表示禁止領域ＥＡに到達するものではないと判定された場合（否定判定）には、角速度信号量に基づいて決定される表示領域ＤＡのデコード済み画像情報を球面のポリゴンに貼り付けて球面全方位画像の一部を構成してＨＭＤ１２に出力する（通常表示）（ステップＳ２５）。一方、ステップＳ２４において、表示禁止領域ＥＡに到達するものではあると判定された場合（肯定判定）には、図５に示すように、表示領域ＤＡを表示禁止領域ＥＡに接するまで進めるものの、表示禁止領域ＥＡには入り込まない、すなわち表示禁止領域ＥＡを表示しないように、デコード済み画像情報を球面のポリゴンに貼り付けて球面全方位画像の一部を構成してＨＭＤ１２に出力する（ステップＳ２５）。このとき、実際、ＨＭＤ１２を頭に装着した操作者においては、実際の首振り動作に拘わらず、表示が一定位置で移動することなく止まるように見えることとなり、操作者にとっては違和感のあるものではあるが、その軽減を目的として表示禁止領域ＥＡの端部に到達したら表示をいわゆるバウンド表示にするという工夫も有効である。

なお、表示禁止領域ＥＡの特定は、任意のフレームに対して、例えば表示したくない人物を含む所定領域を特定し、各フレームに渡ってそれが追従するような従来の仕組み（例えば暈かし領域が人又は物の動きに追従する）を応用して採用すればよい。

図４及び図５に基づく処理によれば、各動画再生者の意向に応じて、個別に表示制限を行うことができる。

なお、上述の実施形態においては、説明の便宜上、デコード処理部分のアルゴリズムと表示範囲制限処理部分のアルゴリズムを別々に説明したが、実際には両者は組み合わさって処理が行われるということは当業者には自明であろう。

また、上述の実施形態においては、ジャイロセンサを備えたＨＭＤ装置で説明したが、ジャイロセンサを備えた他の映像出力機器でもよく、例えばスマートフォンのような携帯情報端末であってもよい。

以上のように、本発明の画像再生方法、画像再生装置、及び画像再生プログラムにおける一実施形態によれば、処理負荷を軽減して融通性のある処理を行うことができる。

本発明の画像再生方法、画像再生装置、及び画像再生プログラムは、例えば、ヘッドマウントディスプレイに応用できる。

１ ＨＭＤ装置
１１ 再生制御装置
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ 動画再生プログラム格納部
１１５ 動画情報格納部
１２ ＨＭＤ
１２１ ジャイロセンサ
１２２ 表示部

Claims (7)

1. 動画情報格納部に格納された、球面全方位カメラにより撮像された球面全方位動画を、ジャイロセンサを有する画像再生装置により再生する際の画像再生方法であって、
   前記ジャイロセンサからの変位信号に基づいて、球面全方位のうち、操作者が見ている方位の変化を判定し、その結果、前記球面全方位における表示すべき領域の変化があった場合に、前記変化の前後に共通の領域をその全部に含む符号化処理ブロックの各々については前記動画情報格納部から再度読み出して復号化することはせず、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化し、その復号化処理により得られた画像情報を、前記変化の前後に共通の領域に係る、前記変化前における復号化処理により得られた画像情報に付加して再生することを特徴とする画像再生方法。
2. 前記画像再生装置は、ヘッドマウントディスプレイであることを特徴とする請求項１に記載の画像再生方法。
3. 前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化することにより得られた画像を球面のポリゴンに貼り付けて前記球面全方位動画の一部を構成して再生することを特徴とする請求項１に記載の画像再生方法。
4. ジャイロセンサと、
   表示部と、
   動画情報格納部と、
   その動画情報格納部に格納された、球面全方位カメラにより撮像された球面全方位動画を、前記ジャイロセンサからの変位信号に基づいて、前記表示部に表示するように制御を行う表示制御手段と、
   を備える画像再生装置であって、
   前記表示制御手段は、前記変位信号に基づいて、球面全方位のうち、操作者が見ている方位の変化を判定し、その結果、前記球面全方位における表示すべき領域の変化があった場合に、前記変化の前後に共通の領域をその全部に含む符号化処理ブロックの各々については前記動画情報格納部から再度読み出して復号化することはせず、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化し、その復号化処理により得られた画像情報を、前記変化の前後に共通の領域に係る、前記変化前における復号化処理により得られた画像情報に付加して再生するように制御を行うことを特徴とする画像再生装置。
5. 前記表示制御手段は、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化することにより得られた画像を球面のポリゴンに貼り付けて前記球面全方位動画の一部を構成して表示制御することを特徴とする請求項４に記載の画像再生装置。
6. 動画情報格納部及びジャイロセンサを有する画像再生装置に、前記動画情報格納部に格納された、球面全方位カメラにより撮像された球面全方位動画を再生するための画像再生プログラムであって、
   前記ジャイロセンサからの変位信号に基づいて、球面全方位のうち、操作者が見ている方位の変化を判定し、その結果、前記球面全方位における表示すべき領域の変化があった場合に、前記変化の前後に共通の領域をその全部に含む符号化処理ブロックの各々については前記動画情報格納部から再度読み出して復号化することはせず、前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化し、その復号化処理により得られた画像情報を、前記変化の前後に共通の領域に係る、前記変化前における復号化処理により得られた画像情報に付加して再生するように制御を行うことを特徴とする画像再生プログラム。
7. 前記変化によって新たに加わった領域のみを含む符号化処理ブロックの各々のみを前記動画情報格納部から読み出して復号化することにより得られた画像を球面のポリゴンに貼り付けて前記球面全方位動画の一部を構成して再生することを特徴とする請求項６に記載の画像再生プログラム。

Images