JP6359993B2

JP6359993B2 - 映像配信方法、映像配信装置及び映像配信プログラム

Info

Publication number: JP6359993B2
Application number: JP2015046284A
Authority: JP
Inventors: 弾三上; 明小島; 越智　大介; 大介越智; 麻理子五十川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-03-09
Filing date: 2015-03-09
Publication date: 2018-07-18
Anticipated expiration: 2035-03-09
Also published as: JP2016167699A

Description

本発明は、高体感品質全天球映像配信を行う映像配信方法、映像配信装置及び映像配信プログラムに関する。

全天球映像は、広視野パノラマ合成画像、広視野パノラマ映像、全方位映像、Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌｖｉｄｅｏなどとも呼ばれ、カメラの位置から３６０度全方向が記録された映像を指す。

全天球映像の視聴方法は数多く存在するが、全方位の映像が含まれることから映像全体を視聴するのではなく、映像の一部分のみを拡大して視聴することが一般的である。その拡大する部分、すなわち視聴する部分を、マウス、タッチパネルなどの操作で指定するものもあれば、ＨＭＤ（Head Mount Display）に付随するセンサにより視聴者が現在視聴している方向を取得し、視聴方向に合わせた映像を提示することも行われている。

全天球映像では撮影範囲が非常に広いため、高画質な映像視聴のためには広い映像帯域が必要となる。ただし、一度に視聴している範囲は通常の映像視聴と違いがないため、視聴中の領域は高解像度で配信することで高解像度での視聴を可能とし、視聴領域外は低解像度で配信することで、視聴領域が変化した場合にも低解像度ながら映像視聴が可能となるシステムを構成することは可能である（例えば、非特許文献１参照）。以降、このような配信方法を、部分高解像度配信と呼ぶこととする。

Kimata et al. 、"Mobile and Multi-device Interactive Panorama Video Distribution System"、IEEE GCCE, 2012

しかしながら、非特許文献１では、視点変更時に低解像度から高解像度に画像が切り替わるのに時間がかかり映像視聴の体感品質が低下してしまうという問題を有している。

本発明は、このような事情に鑑みてなされたもので、部分高解像度配信における視線変更時の体感品質を向上することができる映像配信方法、映像配信装置及び映像配信プログラムを提供することを目的とする。

本発明は、ユーザに映像データを配信する際に、全体映像データのうち、前記ユーザに提示する映像領域である現在提示領域を含む部分映像については高解像度の映像データを配信し、その他の部分映像については低解像度の映像データで配信する映像配信方法であって、前記ユーザの頭部姿勢データを取得する頭部姿勢取得ステップと、前記ユーザが視認しようとしている映像領域を予測する提示対象予測ステップと、前記頭部姿勢データと前記ユーザが視認しようとしている前記映像領域とから前記現在提示領域を含む高解像度配信領域を送信するタイミングを決定する提示位置制御ステップとを有し、前記提示位置制御ステップは、前記高解像度配信領域を送信するタイミングを前記頭部姿勢データの遷移に対応するタイミングよりも遅らせるステップであって、前記提示位置制御ステップでは、前記頭部姿勢データから頭部姿勢遷移方向を算出し、前記頭部姿勢遷移方向に存在する配信済みの高解像度配信領域が前記現在提示領域の大きさに基づく所定の閾値よりも小さい場合に、前記所定の閾値以上の場合よりも前記高解像度配信領域を送信するタイミングが遅くなるように、高解像度配信領域を送信するタイミングを決定することを特徴とする。

本発明は、ユーザに映像データを配信する際に、全体映像データのうち、前記ユーザに提示する映像領域である現在提示領域を含む部分映像については高解像度の映像データを配信し、その他の部分映像については低解像度の映像データで配信する映像配信装置であって、前記ユーザの頭部姿勢データを取得する頭部姿勢取得手段と、前記ユーザが視認しようとしている映像領域を予測する提示対象予測手段と、前記頭部姿勢データと前記ユーザが視認しようとしている前記映像領域とから前記現在提示領域を含む高解像度配信領域を送信するタイミングを決定する提示位置制御手段とを備え、前記提示位置制御手段は、前記高解像度配信領域を送信するタイミングを前記頭部姿勢データの遷移に対応するタイミングよりも遅らせる手段であって、前記提示位置制御手段は、前記頭部姿勢データから頭部姿勢遷移方向を算出し、前記頭部姿勢遷移方向に存在する配信済みの高解像度配信領域が前記現在提示領域の大きさに基づく所定の閾値よりも小さい場合に、前記所定の閾値以上の場合よりも前記高解像度配信領域を送信するタイミングが遅くなるように、高解像度配信領域を送信するタイミングを決定することを特徴とする。

本発明は、前記映像配信方法をコンピュータに実行させるための映像配信プログラムである。

本発明によれば、部分高解像度配信における視線変更時の体感品質を向上することができる映像配信を行うことができるという効果が得られる。

本発明の一実施形態における映像配信装置の構成を示すブロック図である。図１に示す映像配信装置の変形例の構成を示すブロック図である。図２に示す視聴領域記憶部６で記録する情報の例を示す図である。視聴者に提示する領域（現在視聴領域）を含む高解像度配信領域を決定する動作を示す説明図である。時刻と角度の関係を示す図である。時刻と角度の関係を示す図である。図１、２に示す映像配信装置の動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による映像配信装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、映像配信システムは頭部姿勢取得部１、注視対象予測部２、提示位置制御部３、映像配信部４、映像提示部５を備えている。一般に、映像配信部４は、サービス提供側に設置され、また、映像提示部５は通信回線を介して視聴者側に設置される。頭部姿勢取得部１、注視対象予測部２、提示位置制御部３については、サービス提供側、視聴者側のいずれに備えていてもよい。

頭部姿勢取得部１では、現在の視聴者の頭部姿勢を取得する。頭部姿勢とは、視聴開始時点からの姿勢の変化のことで、ピッチ角、ロール角、ヨー角など、３軸周りの回転角で表される。

頭部姿勢取得部１による頭部姿勢の取得には、例えば、ＯｃｕｌｕｓＬｉｆｔ（バーチャルリアリティに特化したヘッドマウントディスプレイ）を用いることが可能である。ＯｃｕｌｕｓＬｉｆｔでは、初期状態からの頭部姿勢の変化を取得することができる。ＯｃｕｌｕｓＬｉｆｔについては、公知であるため、ここでは詳細な説明を省略する。また、視聴者の頭部にジャイロセンサを装着することでも同様に頭部姿勢の取得が可能である。さらには、カメラにより視聴者の顔画像を取得し、参考文献１に記載された画像処理により頭部姿勢推定することも可能である。
参考文献１：三上弾、大塚和弘、大和淳司、“姿勢とアピアランスの変化に頑健な対象追跡を実現するアピアランス統合メモリベースパーティクルフィルタ”、電子情報通信学会論文誌Ｄ、Vol.94-D No.8 pp.1194-1205、2011

注視対象予測部２では、視聴者が注視しようとしている（必ずしも注視である必要はなく、視認しようとしているのでもよい）対象領域（注視対象領域）を予測する。注視対象予測部２では、これから視聴する領域を予測する。視聴者が注視しようとしている対象領域は、例えば、以下のようにして予測する。

現在の頭部姿勢遷移方向の延長上に存在するオブジェクトを注視対象とし、このオブジェクトを含む領域を注視対象領域（提示対象領域でもある）とする。頭部姿勢遷移方向とは、頭部姿勢の遷移する方向のことであり、現在時刻の頭部姿勢から１単位時刻前の頭部姿勢を減算することで頭部姿勢移動方向を求めることができる。

また、図１に示す構成を変形して注視対象予測を行うようにしてもよい。図２は、図１に示す映像配信装置の変形例を示すブロック図である。図２に示す映像配信装置が、図１に示す配信装置と異なる点は、視聴領域記憶部６を新たに設けた点である。視聴領域記憶部６は、過去の一定時間における視聴者の視聴領域を記憶するものである。この視聴領域記憶部６から複数の視聴領域を取得し、現在の頭部姿勢遷移方向の延長上に存在し、一定以上の視聴数を有するオブジェクトを注視対象とする。

次に、図３を参照して、図２に示す視聴領域記憶部６で記録する情報の例を説明する。図３は、図２に示す視聴領域記憶部６で記録する情報の例を示す図である。視聴領域記憶部６映像先頭からの「時刻」、視聴毎に付与される視聴「ＩＤ」、その時刻に視聴者に提示されている角度（この例では、「ピッチ角（Ｐｉｔｃｈ）」、「ロール角（Ｒｏｌｌ）」、「ヨー角（Ｙａｗ）」で示す）を保持するものとする。だたし、視聴者に提示されている領域を記録できる方法であればどのような方法であっても構わない。

提示位置制御部３では、注視対象予測部２で予測した視聴者が注視しようとしている領域（注視対象領域）と、頭部姿勢取得部１で取得した現在の頭部姿勢に基づいて、実際に視聴者に提示する領域（現在視聴領域）を含む高解像度配信領域を図４に示すように決定する。図４は、視聴者に提示する領域（現在視聴領域）を含む高解像度配信領域を決定する動作を示す説明図である。

図４に示す符号ａは、全方位（広視野パノラマ合成）画像である。符号ｂは、高解像度範囲（高解像度配信領域）である。符号ｃは、現在視聴領域（ユーザ（視聴者）に提示する映像領域）である。高解像度配信領域ｂは、配信対象である全方位画像の一部であり、現在視聴領域ｃを含む。

映像提示部５は、映像配信部４から配信される映像（高解像度配信領域）を提示する装置であり、ヘッドマウントディスプレイを主に想定しているが、通常のディスプレイでも構わない。

映像配信部４では、提示位置制御部３で指定された高解像度配信領域については高解像度に配信し、それ以外の部分については、低解像度映像を配信する。

本実施形態では、提示位置制御部３での提示位置の制御に特徴がある。以降でこれを詳しく説明する。

図４では、本実施形態で想定する状況の詳細を示している。本実施形態では、広視野あるいは全方位を撮影した画像・映像（全方位（広視野パノラマ合成）画像ａ）が存在することを想定する。ただし、この広視野画像・映像は帯域の都合上すべてを高解像度で送信することが困難であり、そのうちの一部のみが高解像度配信領域として高解像度で配信される。その高解像度配信領域の一部（現在視聴領域ｃ）を視聴者が視聴しているという状況である。ここでは、視聴としているが、視認のみでもよい。すなわち、映像データには必ずしも音声が含まれている必要はなく、画像のみを提示するデータであってもよい。

ここで、Ｐｓｅｕｄｏ−ｈａｐｔｉｃと呼ばれる技術がある（参考文献２参照）。Ｐｓｅｕｄｏ−Ｈａｐｔｉｃｓはユーザの身体動作の一部位又はそれを投影するポインタを時間的、空間的に変調させることで擬似的な触力覚を錯覚する現象であり、この現象を利用することで物理的に力を発生させるデバイスを用いることなく視覚刺激のみで触力覚を生成することが可能である。

Ｌｅｃｕｙｅｒらによる３次元入力装置Ｓｐａｃｅｂａｌｌを用いた実験では、棒とＳｐａｃｅｂａｌｌをディスプレイ上ではバネのついた棒とボールに見立て、ボールを細い管に入れるタスクを被験者に行わせた。ボールが管に入る瞬間にボールの動くスピードを遅くすることで反射的にボールに対して強い力をこめることによって押し込む方向に抵抗を感じることを示唆した。この研究では動的に力を発生する機構を用いることで触力覚を提示できる可能性を示すと共に、視覚刺激で触力覚を提示できる可能性を示している。
参考文献２：http://crossmodal-design.tumblr.com/post/63799407721/pseudo-haptic-feedback-pseudo-haptics

現在視聴領域（ユーザに提示する映像領域）ｃは、視聴者の頭部姿勢から決定されることからもわかるように、視聴者の頭部姿勢、あるいはタブレット端末の向きなどに連動して変化する。本実施形態では、頭部姿勢の変化に対して、その変化を正しく反映した映像を提示するのではなく、その変化量を歪めた映像を提示することで、Ｐｓｅｕｄｏ−ｈａｐｔｉｃ効果による重さを提示し、（１）高解像度配信領域の範囲を視聴者に伝え、（２）高解像度の映像が提示されるまでの体感的な待ち時間を低下させる。

ここで提示位置制御部の動作を図５を用いながら説明する。図５は、時刻と角度の関係を示す図である。図５において、横軸は時刻、縦軸は角度を示す。太実線は視聴者の頭部姿勢の角度変化を示す。これに対して、細線は視聴者に提示される映像領域（姿勢）変化を示す。また、点線は、高解像度の映像が用意されておらず低解像度映像が表示されていることを示す。

換言すると、時刻Ａまでは過去に配信された現在の高解像度配信領域を、時刻Ａ＋Ｎまでは低解像度の画像を、時刻Ａ＋Ｎ以降は新たに配信された高解像度配信領域を視聴者は視聴していることになる。すなわち、図５は、非特許文献１における提示位置制御に相当し、視聴者が首振り、あるいはタブレット操作などで見ようとしている位置をそのまま提示する。

次に、本実施形態における提示位置制御部３の動作を図６を参照して説明する。図６は、時刻と角度の関係を示す説明図である。本実施形態では、視聴者の頭部姿勢遷移による視点遷移に対して、遅れを伴った映像を提示する。遅れの幅は、姿勢遷移方向に存在する高解像度配信領域の広さに依存し、高解像度配信領域が広く残っている場合、遅延幅は小さく、高解像度配信領域が少ない場合遅延を大きくする。

図４に示す例では、高解像度範囲ｂ内において、現在視聴領域ｃは、左側に寄っている状態（左側の高解像度範囲の領域が狭く、右側の高解像度範囲の領域が広い）である。したがって、図４に示す例では、これから右側を向く場合、遅延幅が小さく、これから左側を向く場合、遅延幅が大きくなる。頭部姿勢遷移に対する、視覚的に提示される映像の遅れにより、視聴者は重さ、あるいは頭部姿勢変化に対する抵抗を感じる。

さらに、提示映像が、視聴対象領域に到達するタイミングが遅れ、同時に、遅延により現在の高解像度配信領域ｂで高解像度に提示可能な領域を外れるタイミングが遅れるため、体感的に高解像度映像を待つ時刻が低減される。

図５、図６において、高解像度配信映像提示までにかかる時間をＮ［ｓｅｃ］とし、姿勢遷移開始後の時刻Ａにおいて、注視対象予測部２において、注視対象の予測が完了しているものとする。

次に、図７を参照して、図１、２に示す映像配信装置の動作を説明する。図７は、図１、２に示す映像配信装置の動作を示すフローチャートである。まず、頭部姿勢取得部１は、頭部の姿勢データを取得する（ステップＳ１）。この頭部姿勢データを取得することは、視聴者の視線を特定することに相当する。

次に、注視対象予測部２は、頭部姿勢データから頭部姿勢の遷移方向を算出する（ステップＳ２）。ここでいう頭部姿勢の遷移方向を算出とは、次に頭部はどの方向へ動くかを特定することに相当する。

次に、提示位置制御部３は、高解像度範囲中の現在注視領域の位置関係を特定する（ステップＳ３）。そして、提示位置制御部３は、高解像度範囲中の現在注視領域の位置関係から頭部姿勢遷移方向の映像領域の広さを特定する（ステップＳ４）。

次に、提示位置制御部３は、特定した頭部姿勢遷移方向の映像領域の広さが広いか否かを判定する（ステップＳ５）。この判定の結果、特定した頭部姿勢遷移方向の映像領域の広さが広い場合（ステップＳ５においてＹｅｓ）、提示位置制御部３は、送信遅延幅を小さくする（ステップＳ６）。一方、特定した頭部姿勢遷移方向の映像領域の広さが広くない場合（ステップＳ５においてＮｏ）、提示位置制御部３は、送信遅延幅を大きくする（ステップＳ７）。

なお、映像領域が広いか否かの判定は、現在注視領域の大きさに基づく所定の閾値より広いか否かによって判定を行えばよい。

以上説明したように、全天球映像の一部を高解像度映像、その他を低解像度で配信する部分配信する際に、視点移動の変化量を正しく反映した映像を提示するのではなく、視点移動の変化量を歪めた映像を提示することにより、Ｐｓｅｕｄｏ−ｈａｐｔｉｃ効果による重さを提示し、視点移動に伴う低解像度画像から高解像度画像への切り替えに時間がかかることに起因した映像視聴体感品質の低下を抑制することができる。

なお、請求項でいうユーザとは、映像配信装置を利用する者であって、映像を視聴する者のことである。

前述した実施形態における映像配信装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

部分高解像度配信における視線変更時の体感品質を向上することが不可欠な用途に適用できる。

１・・・頭部姿勢取得部、２・・・注視対象予測部、３・・・提示位置制御部、４・・・映像配信部、５・・・映像提示部、６・・・視聴領域記憶部

Claims

ユーザに映像データを配信する際に、全体映像データのうち、前記ユーザに提示する映像領域である現在提示領域を含む部分映像については高解像度の映像データを配信し、その他の部分映像については低解像度の映像データで配信する映像配信方法であって、
前記ユーザの頭部姿勢データを取得する頭部姿勢取得ステップと、
前記ユーザが視認しようとしている映像領域を予測する提示対象予測ステップと、
前記頭部姿勢データと前記ユーザが視認しようとしている前記映像領域とから前記現在提示領域を含む高解像度配信領域を送信するタイミングを決定する提示位置制御ステップとを有し、
前記提示位置制御ステップは、
前記高解像度配信領域を送信するタイミングを前記頭部姿勢データの遷移に対応するタイミングよりも遅らせるステップであって、
前記提示位置制御ステップでは、
前記頭部姿勢データから頭部姿勢遷移方向を算出し、前記頭部姿勢遷移方向に存在する配信済みの高解像度配信領域が前記現在提示領域の大きさに基づく所定の閾値よりも小さい場合に、前記所定の閾値以上の場合よりも前記高解像度配信領域を送信するタイミングが遅くなるように、高解像度配信領域を送信するタイミングを決定することを特徴とする映像配信方法。
ユーザに映像データを配信する際に、全体映像データのうち、前記ユーザに提示する映像領域である現在提示領域を含む部分映像については高解像度の映像データを配信し、その他の部分映像については低解像度の映像データで配信する映像配信装置であって、
前記ユーザの頭部姿勢データを取得する頭部姿勢取得手段と、
前記ユーザが視認しようとしている映像領域を予測する提示対象予測手段と、
前記頭部姿勢データと前記ユーザが視認しようとしている前記映像領域とから前記現在提示領域を含む高解像度配信領域を送信するタイミングを決定する提示位置制御手段とを備え、
前記提示位置制御手段は、
前記高解像度配信領域を送信するタイミングを前記頭部姿勢データの遷移に対応するタイミングよりも遅らせる手段であって、
前記提示位置制御手段は、
前記頭部姿勢データから頭部姿勢遷移方向を算出し、前記頭部姿勢遷移方向に存在する配信済みの高解像度配信領域が前記現在提示領域の大きさに基づく所定の閾値よりも小さい場合に、前記所定の閾値以上の場合よりも前記高解像度配信領域を送信するタイミングが遅くなるように、高解像度配信領域を送信するタイミングを決定することを特徴とする映像配信装置。
請求項１に記載の映像配信方法をコンピュータに実行させるための映像配信プログラム。