JP5986039B2

JP5986039B2 - 映像表示方法及び映像表示プログラム

Info

Publication number: JP5986039B2
Application number: JP2013114532A
Authority: JP
Inventors: 弾三上; 越智　大介; 大介越智; 鮎美松本; 明小島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-05-30
Filing date: 2013-05-30
Publication date: 2016-09-06
Anticipated expiration: 2033-05-30
Also published as: JP2014236238A

Description

本発明は、映像表示方法及び映像表示プログラムに関する。

従来から、パノラマ撮影技術など、広い範囲を高解像度で撮影する技術が盛んに研究されている（例えば、非特許文献１参照）。パノラマ撮影技術を用いてサッカー場の様子を撮影した場合に得られるパノラマ映像のスナップショットの例を図１１に示す。以下、パノラマ撮影された映像を、パノラマ映像と呼ぶ。パノラマ映像は、広い空間を撮影しているため、選手は非常に小さくなってしまう場合がある。

そこで、パノラマ映像を用いて、その中から見たい部分を視聴者がインタラクティブに選択する、インタラクティブパノラマ視聴システムなどが提案されている（例えば、非特許文献２参照）。

また、画像をリサイズする技術としてＳｅａｍＣａｒｖｉｎｇが知られている（例えば、非特許文献３参照）。ＳｅａｍＣａｒｖｉｎｇでは、画像・映像中でオブジェクトを含まない部分を効果的に削除することで、見た目に違和感の少ないリサイズを実現している。

M. Isogai, H. Noto, and N. Matsuura, A panoramic video rendering system using a probability mapping method, Proc. International symposium on consumer electronics, 264-267, 2011 H. Kimata, M. Isogai, H. Noto, M. Inoue, K. Fukazawa, and N. Matsuura, Interactive panorama video distribution system, In Telecom World 2011 Technical Symposium at ITU, 45-50, 2011. D.-S. Hwang and S.-Y.Chien, Content-aware image resizing using perceptual seam carving with human attention model, In ICME, 1029-1032.

しかしながら、パノラマ映像は、広い範囲を撮影しているため、既存のテレビ等の表示装置のアスペクト比（縦横比）に適しておらず、オブジェクトが極めて小さくなってしまう。一方、非特許文献２に記載のインタラクティブのパノラマ映像技術では、視聴領域を選択することにより注目領域については、見やすく拡大して視聴可能となるが、注目領域以外の領域に関しては表示されないため、その領域の映像を確認することができない。

また、非特許文献３に記載のＳｅａｍＣａｒｖｉｎｇでは、オブジェクトは保持されるものの、オブジェクト間の距離は保持されない。図１１に示すようにサッカー場で行われているサッカーなどスポーツを対象とした場合、オブジェクト（選手やゴールなど）間の位置や相対的な位置関係は非常に重要な情報であり、その関係を崩すリサイズは適切ではないという問題がある。

本発明は、このような事情に鑑みてなされたもので、注目領域を見やすく表示しつつ、他の領域の確認も行うことができる映像表示方法及び映像表示プログラムを提供することを目的とする。

本発明は、表示画面の縦横比と映像の縦横比が異なる場合に、前記映像を前記画面に表示する映像表示装置が行う映像表示方法であって、前記表示装置に表示すべき前記映像を取得する映像取得ステップと、前記映像に対して主要平面及び主要軸を設定する主要平面・主要軸設定ステップと、前記映像が前記主要平面の中心点における法線上にある主要情報面中心から撮影された映像でない場合は、前記主要情報面中心から撮影された映像になるように変換を施す映像変換ステップと、前記映像変換ステップにより生成した映像に対して奥行き情報を付与する奥行き情報設定ステップと、前記映像中において興味の対象となる注目領域を設定する領域設定ステップと、前記注目領域が画面の中央になるように、前記奥行き情報と前記主要軸とに基づき前記映像変換ステップにより生成した前記映像を凸形状の物体に投影した場合に得られる映像を前記画面に表示する映像表示ステップとを有することを特徴とする。

本発明は、前記凸形状をした物体は楕円柱であることを特徴とする。

本発明は、前記凸形状をした物体は楕円球であることを特徴とする。

本発明は、コンピュータに、前記映像表示方法を実行させるための映像表示プログラムである。

本発明によれば、注目領域を見やすく表示しつつ、他の領域の確認も行うことができるという効果が得られる。

本発明の一実施形態の構成を示すブロック図である。サッカー場を撮像した一例を示す図である。コンサートの様子を撮像した映像の一例を示す図である。取得したサッカー場の映像に対して、サッカーフィールドの４隅を指定し、この４点がサッカーフィールドのサイズになるようアフィン変換を行った後の映像の一例を示す図である。図３に示す映像から変換を行った映像の一例を示す図である。凸物体（楕円柱）の投影面と、主要平面と、主要軸、注目領域との関係を示す図である。サッカー場の映像を楕円柱に投影した場合に得られる映像を生成した映像の一例を示す図である。サッカーを楕円球に投影した映像の一例を示す図である。コンサート映像を楕円柱に投影した映像の一例を示す図である。図１に示す装置の動作を示すフローチャートである。パノラマ撮影技術を用いてサッカー場の様子を撮影した場合に得られるパノラマ映像のスナップショットの例の映像を示す図である。

以下、図面を参照して、本発明の一実施形態による映像表示装置を説明する。図１は同実施形態の構成を示すブロック図である。映像表示装置は、映像取得部１、主要平面設定部２、映像変換部３、奥行き情報設定部４、注目領域設定部５、映像表示部６及び表示装置７を備えている。

映像取得部１は、外部から対象映像を取得する。ここで、取得する映像は例えば、パノラマ映像である。映像取得部１は、映像が蓄積された記憶装置から読み込んでも構わないし、あるいは、映像を撮像する撮像装置等からリアルタイムに読み込んでも構わない。主要平面設定部２は、主要平面および主要軸を設定する。ここで、主要平面とは、視聴者にとって最も意味のある平面をさすものとする。これを図２を参照して説明する。図２はサッカー場を撮像した例であり、この場合、ｘｙ平面がサッカーのゲームを行うフィールド領域に相当し、ｘｙ平面が最も大きな情報量を持つため、ｘｙ平面を主要平面とする。

また、主要軸とは、主要平面のなかで大きな情報量を持つ軸であり、図２に示す例ではｘ軸が主要軸となる。例えば、サッカー場の例では、ゴールとゴールを結ぶ方向がサッカーボールの主な移動方向であるため、この軸を主要軸とする。また、図３に示す例（アップアップガールズ（仮）のコンサートの様子を撮像した映像）では、ｘｚ平面が主要平面となる。また、図３に示す例では、視聴者の視点の移動方向がｘ軸が主であるためｘ軸が主要軸となる。主要平面および主要軸は、映像に写っている対象物の種類によって予め定められているものとする。

映像変換部３は、映像取得部１において取得した映像から、主要平面中心視点からの映像を作成する。ここで、主要平面中心視点とは、主要平面の中心の鉛直方向に仮想的に定めた視点のことである。主要平面中心視点からの映像は様々な方法で求めることができる。その一例を図４、図５に示す。図４は、取得したサッカー場の映像に対して、サッカーフィールドの４隅の点を指定し、この４点と映像の４隅の点が一致するようアフィン変換を行って視点位置を変換したものである。図４に示す例は、４隅を手動で指定したが、サッカー場という事前情報に基づけば、白線検出および、Ｈｏｕｇｈ変換による直線検出などにより自動化が可能である。また、撮像装置が固定であり、得られる映像のシーンが常時同じ場合は、予め決められたアフィン変換を行うことにより、容易に視点変換を行うことができる。これにより、視点変換後の映像面と主要平面が一致したことになる。主要平面と一致させた映像を主要平面映像という。

また、図５は、図３に示す映像から変換を行った映像であるが、図３に示す例では撮影時に既に主要平面中心から撮影が行われているため、既に主要平面と映像面とが一致しているため、アフィン変換等の映像変換を行うことなく図５に示す映像が得られることになる。

奥行き情報設定部４は、映像変換部３において作成された、主要平面中心視点の映像に対して奥行き情報を付与する。ここで、説明のため、主要平面中心視点の映像の時刻ｔにおけるスナップショットをＶ_ｔ（ｐ，ｑ）とする。ただし、ｐは主要軸であり、ｑは、主要平面の主要軸ではない軸である。奥行き情報設定部４は、主要平面映像Ｖ_ｔ（ｐ，ｑ）の各ピクセルに対して次の（１）式、または（２）式に基づいて奥行き情報ｚ_ｔ（ｐ，ｑ）を設定する。（１）式は、凸物体として楕円柱を用いる場合、（２）式は、凸物体として楕円球を用いる場合である
ただし、α、β、γはそれぞれ曲率を決めるパラメータである。

注目領域設定部５は、現在のシーンにおいて視聴者の興味の中心となる注目領域を指定する。ここでは、注目中心とズーム倍率を決めるものとする。ここで、注目中心とは、映像表示ステップにおいて表示される映像の中心となる部分であり、ズーム倍率とは映像表示ステップにおいて表示される映像の拡大率のことである。また、注目中心、ズーム倍率はそれぞれ映像作成者が、映像表示ステップに表示された映像を確認しながら対話的に決定することができる。

すなわち、本来は平面である映像を、平面上にあるのではなく凸物体（楕円柱や楕円球）の表面に貼り付いた状態として扱い、映像表示ステップでは、この凸物体を、注目中心が視点の近くに来るように回転し、ズームに合わせて拡大・縮小することによって、注目中心付近が拡大され、離れるにしたがって遠方（つまり小さく）表示されるようになる。これにより、注目中心付近の見やすさを確保しつつ、同時に全体を把握することが可能になる。

映像表示部６は、凸物体（（１）式の場合は楕円柱、（２）式の場合は楕円球）を回転、拡大・縮小させることで表示装置７に表示すべき映像を生成して、生成した映像を表示装置７に対して出力することにより、投影して得られる映像を表示装置７に表示する。図６は、凸物体（楕円柱）の投影面と、主要平面と、主要軸、注目領域との関係を示す図である。図６に示すように、投影は、所定の視点から主要平面映像を所定の凸物体（ここでは、楕円柱）に対して投影し、主要平面映像の４隅と凸物体の投影面の４隅とが一致するように投影する。また、このとき、注目領域（破線の円）が投影後の映像の中央付近になるように投影を行う。また、主要軸は、楕円柱の楕円弧に沿った方向になるように設定される。図６は、楕円柱の例であるが、楕円球の場合も同様である。

凸物体に投影した場合に得られる映像を表示装置７に表示した例を図７、図８、図９に示す。図７は、サッカー場の映像を凸物体である楕円柱に投影した場合に得られる映像を生成して表示した例である。図７に示すように、注目領域付近は拡大率が大きく、ゴールを結ぶ方向（主要軸方向）に移動するにしたがって、拡大率が小さくなったような映像が得られることになる。これにより、直感的にどのような形状に投影されているかを容易に認識できることが分かる。また、サッカー場のほぼ端から端までが映っていることが確認できる。一方でボールがある注目領域に関しては、他の領域と比較して大きく表示されていることが確認できる。これにより、注目領域を見やすく表示しつつ、他の領域の確認も行うことができる。

図８はサッカー場の映像を凸物体である楕円球に投影した例である。図８に示すように、注目領域付近は拡大率が大きく、ゴールを結ぶ方向（主要軸方向）と、主要軸と直交する方向に移動するにしたがって、拡大率が小さくなったような映像が得られることになる。これにより、同様に、投影した物体が容易に想像でき、広い範囲が撮影され、注目領域領域が大きく表示されていることが分かる。

また、図９はコンサート映像を凸物体である楕円柱に投影した例である。図９に示すように、中央にいる人物の拡大率が大きく、左右に移動するにしたがって、拡大率が小さくなったような映像が得られることになる。これにより、投影した物体が容易に想像でき、広い範囲が撮影され、注目領域領域が大きく表示されていることが分かる。

次に、図１０を参照して、図１に示す映像表示装置の動作を説明する。図１０は、図１に示す映像表示装置の動作を示すフローチャートである。まず、映像取得部１は、対象映像を取得する（ステップＳ１）。この映像は蓄積された記憶装置から読み込むか、または、映像を撮像する撮像装置等からリアルタイムに読み込む。

次に、主要平面設定部２は、主要平面と主要軸を設定する（ステップＳ２）。主要平面と主要軸が予め決められている場合は、その決められている主要平面と、主要軸を適用する。一方、主要平面と主要軸が予め決められていない場合は、視聴者が画面上に指定することにより設定する。なお、用いる凸物体が楕円球である場合は、２つの主要軸を設定する。この２つの主要軸は、楕円球の長径と短径のそれぞれに対応させて設定する。

次に、映像変換部３は、映像取得部１において取得した映像から、主要平面中心視点からの映像を作成するために、映像の視点変換を行う（ステップＳ３）。この視点変換は、アフィン変換を用いることにより行う。アフィン変換については公知の技術であるため、ここでは詳細な説明を省略する。このアフィン変換によって、図２に示す映像から図４に示す映像が得られることになる。ここで得られた映像が主要平面映像である。

次に、奥行き情報設定部４は、映像変換部３において作成された、主要平面中心視点の映像（主要平面映像）に対して奥行き情報を設定する（ステップＳ４）。奥行き情報の設定は、凸物体として用いる形状によって異なり、凸物体が楕円柱であれば、（１）式を用いて設定する。また、凸物体が楕円球であれば、（２）式を用いて設定する。このとき、曲率を決めるパラメータであるα、β、γはそれぞれ予め決まっていてもよいし、視聴者が指定するようにしてもよい。

次に、注目領域設定部５は、現在のシーンにおいて興味の中心となる注目領域を設定する（ステップＳ５）。注目中心は、映像表示ステップにおいて表示される映像の中心となる部分であり、ズーム倍率とは映像表示する際に表示される映像の拡大率のことである。また、注目中心、ズーム倍率はそれぞれ映像作成者が、映像表示ステップに表示された映像を確認しながら対話的に決定する。

以上の動作によって、主要平面、主要軸、奥行き情報、注目領域の情報が特定するされたことになる。これらの情報は、内部に保持されて、後に続く映像に対して適用される。そして、映像表示部６は、凸物体（（１）式の場合は楕円柱、（２）式の場合は楕円球）を回転、拡大・縮小させることで映像を生成し、得られた映像を表示装置７に表示する（ステップＳ６）。これにより、図７（楕円柱の場合）または、図８（楕円球の場合）に示す映像が表示装置７に表示されることになる。

なお、映像表示における回転量・拡大・縮小の割合は、視聴者または映像制作者により適切な値を設定すればよい。

また、前述した説明においては、楕円柱と楕円球を例にして説明したが、凸物体は、任意の形状であってもよい。すなわち、画面の中央部分は拡大率が大きく、周辺に移動するにしたがって拡大率が小さくなるように表示できる形状の凸物体であれば適用可能である。このとき、周辺に移動するにしたがって、一律に拡大率が小さくなるものである必要はない。例えば、中央と右下部分は拡大率が大きく、右上、左上、左下へ移動するにしたがって拡大率が小さくなるようにしてもよい。この設定は、表示する映像に応じて、凸物体を適宜設定することにより実現することができる。

以上説明したように、注目領域が画面の中央になるように、奥行き情報に基づき映像変換して生成した映像を凸形状（例えば楕円柱や楕円球）の物体に投影した場合に得られる映像を画面に表示するようにした。これにより、凸物体表面に映像を投影した際に得られる映像を表示することで、注目領域部分は大きく、そして周辺領域は小さく表示されるため、注目領域を見やすく表示しつつ、他の領域の確認も行うことができる。また、投影面として楕円柱や楕円球を用いるようにしたため、直感的な位置関係の把握が容易となる。

前述した実施形態における映像表示装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

注目領域を見やすく表示しつつ、他の領域の確認も行うことが不可欠な用途に適用できる。

１・・・映像取得部、２・・・主要平面設定部、３・・・映像変換部、４・・・奥行き情報設定部、５・・・注目領域設定部、６・・・映像表示部、７・・・表示装置

Claims

表示画面の縦横比と映像の縦横比が異なる場合に、前記映像を前記画面に表示する映像表示装置が行う映像表示方法であって、
前記表示装置に表示すべき前記映像を取得する映像取得ステップと、
前記映像に対して主要平面及び主要軸を設定する主要平面・主要軸設定ステップと、
前記映像が前記主要平面の中心点における法線上にある主要情報面中心から撮影された映像でない場合は、前記主要情報面中心から撮影された映像になるように変換を施す映像変換ステップと、
前記映像変換ステップにより生成した映像に対して奥行き情報を付与する奥行き情報設定ステップと、
前記映像中において興味の対象となる注目領域を設定する領域設定ステップと、
前記注目領域が画面の中央になるように、前記奥行き情報と前記主要軸とに基づき前記映像変換ステップにより生成した前記映像を凸形状の物体に投影した場合に得られる映像を前記画面に表示する映像表示ステップと
を有することを特徴とする映像表示方法。
前記凸形状をした物体は楕円柱であることを特徴とする請求項１に記載の映像表示方法。
前記凸形状をした物体は楕円球であることを特徴とする請求項１に記載の映像表示方法。
コンピュータに、請求項１から３に記載のいずれか１項の映像表示方法を実行させるための映像表示プログラム。