WO2020184188A1

WO2020184188A1 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: WO2020184188A1
Application number: PCT/JP2020/007850
Authority: WO
Inventors: 尚尊小代; 遼平高橋; 俊也浜田; 平林　光浩
Original assignee: ソニー株式会社
Priority date: 2019-03-08
Filing date: 2020-02-26
Publication date: 2020-09-17
Also published as: US20220150464A1; JPWO2020184188A1

Abstract

本開示に係る画像処理装置は、広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する取得部と、第１視野情報及び第２視野情報に基づいて、第１の視野から第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する生成部と、を備える。

Description

画像処理装置、画像処理方法及び画像処理プログラム

　本開示は、画像処理装置、画像処理方法及び画像処理プログラムに関する。詳しくは、広画角映像において、違和感の少ないシームレスな画面遷移を提供するための画像処理に関する。

　全天球コンテンツやパノラマ画像等、ディスプレイに表示される画角よりも広い画角を有する画像（以下、「広画角画像」と総称する）が普及している。広画角画像は、通常、表示機器に全画角を同時に表示することができないため、映像の一部が切り出されて表示される。

　このような広画角画像の表示に関して、種々の技術が提案されている。例えば、コンテンツ制作者によって提供される推奨視野情報（ＲＯＩ（Region　of　Interest））に基づき、再生表示される映像の視野が時系列に沿って自動的に変わりながら視聴するような、受動的な視聴手法が提案されている。

ISO/IEC　FDIS　23090-2　(2018.4.26,　w17563)　[MPEG-I　Part-2:　OMAF]

　従来技術によれば、ユーザは、何ら操作を必要とせずに、コンテンツとともに提供されている推奨視野情報に従い、あたかも視線を動かしているかのように広画角画像を視聴することができる。

　しかしながら、上記の従来技術では、広画角画像に関するユーザ体験を向上させることができるとは限らない。例えば、広画角画像の動画再生時には、推奨視野情報に従って画像が表示される受動的な視聴の他に、画像のうちユーザが視聴したい位置（視野）を選択する能動的な視聴が想定される。この２種類の視聴スタイルを任意のタイミングで切り替え可能とする場合、能動的な視聴における視野の映像と、受動的な視聴における視野の情報との間で、視野の映像の時系列的不連続が発生する。このため、ユーザは、視聴における方向感が失われ、違和感を覚えるおそれがある。結果として、広画角画像への没入感が損なわれる可能性がある。

　そこで、本開示では、広画角画像に関するユーザ体験を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提案する。

　上記の課題を解決するために、本開示に係る一形態の画像処理装置は、広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する取得部と、前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する生成部と、を備える。

全天球コンテンツを説明する図である。全天球コンテンツにおける視線移動を説明する図である。全天球コンテンツにおける視野領域を説明する図である。全天球コンテンツにおける推奨視野情報を説明する図である。第１の実施形態に係る画像処理装置の構成例を示す図である。第１の実施形態に係る視野情報取得処理を説明する図である。第１の実施形態に係る生成処理を説明する図である。第１の実施形態に係る遷移視野情報を概念的に示す図である。第１の実施形態に係る映像表示の例を示す図（１）である。第１の実施形態に係る映像表示の例を示す図（２）である。第１の実施形態に係る処理の流れを示すフローチャート（１）である。第１の実施形態に係る処理の流れを示すフローチャート（２）である。第１の実施形態に係る処理の流れを示すフローチャート（３）である。推奨視野メタデータの欠落を概念的に示す図である。第１の実施形態の変形例に係る画像処理の一例を示す図（１）である。第１の実施形態の変形例に係る画像処理の一例を示す図（２）である。補完画像の生成処理の一例を示す図である。第２の実施形態に係る画像処理の一例を示す図である。第２の実施形態に係る画像処理の一例を説明する図である。第２の実施形態に係る処理の流れを示すフローチャートである。画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

　以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．広画角画像に関する画像処理について
　　　１－２．第１の実施形態に係る画像処理装置の構成
　　　１－３．第１の実施形態に係る情報処理の手順
　　　１－４．第１の実施形態に係る変形例
　　２．第２の実施形態
　　３．その他の実施形態
　　４．本開示に係る画像処理装置の効果
　　５．ハードウェア構成

（１．第１の実施形態）
［１－１．広画角画像に関する画像処理について］
　本開示に係る画像処理の説明に先立って、本開示の画像処理の前提となる、広画角画像の表示処理の方式について説明する。

　なお、本開示に係る広画角画像とは、全天球コンテンツやパノラマ画像等、ディスプレイに表示される画角よりも広い画角を有する画像である。本開示では、広画角画像の一例として、全天球コンテンツを例に挙げて説明する。

　全天球コンテンツは、例えば３６０度全方位を撮影できる全天球カメラで撮影されることにより生成される。全天球コンテンツは、一般的なディスプレイ（例えば、液晶ディスプレイや、ユーザが装着するＨＭＤ（Head　Mounted　Display）等）よりも広い画角を有するため、再生される際には、ディスプレイの大きさ（言い換えれば、ユーザの視野画角）に応じて切り取られた一部領域のみが表示される。例えば、ユーザは、タッチディスプレイを操作して表示箇所を変更したり、装着したＨＭＤを介して視線や姿勢の変化を与えたりして、表示位置を変えながら全天球コンテンツを視聴する。

　図１を用いて、全天球コンテンツの視聴について具体的に説明する。図１は、全天球コンテンツを説明する図である。図１には、広画角画像の一例である全天球コンテンツ１０を示す。

　具体的には、図１では、ユーザが全天球コンテンツ１０を視聴する際の位置関係を概念的に示している。図１に示す例において、ユーザは、全天球コンテンツ１０の中心２０に所在し、全天球コンテンツ１０の一部を視聴する。

　ユーザが能動的に全天球コンテンツ１０を視聴する場合、ユーザは、例えば装着したＨＭＤの向きを変化させたり、ディスプレイに表示された映像を移動させる操作を実行したりして、全天球コンテンツ１０に対する視野を変更する。

　なお、本開示における視野とは、広画角画像においてユーザが視聴している範囲を示す。ユーザの視野は、視野を特定するための情報である視野情報により特定される。視野情報は、ユーザの視野を特定することができる情報であれば、どのような態様であってもよい。例えば、視野情報は、広画角画像におけるユーザの視線方向や、広画角画像における表示画角（すなわち視野領域）である。また、視野情報は、広画角画像の中心からの座標やベクトルによって示されてもよい。

　ユーザは、中心２０から所定の方向に視線を向けることにより、例えば、全天球コンテンツ１０の一部である視野領域２２に対応する映像を視聴する。また、ユーザは、曲線２４に示された移動経路に視線を移動させることで、視野領域２６に対応する映像を視聴する。このように、全天球コンテンツ１０において、ユーザは、能動的に視線を移すことで、様々な角度に対応した映像を視聴することができる。

　次に、図２を用いて、図１において示した例を別の角度から説明する。図２は、全天球コンテンツ１０における視線移動を説明する図である。

　図２には、図１で示した全天球コンテンツ１０を天頂から見下ろした場合のユーザの視線を示す。例えば、ユーザは、視野領域２２に対応する映像を視聴したのち、視野領域２６に対応する映像を視聴しようとする場合、ベクトル２８の方向に向き直ることで、視野領域２６に対応する映像を視聴することができる。

　また、図３を用いて、全天球コンテンツ１０における視野領域について説明する。図３は、全天球コンテンツにおける視野領域を説明する図である。

　図３では、図１及び図２で示した視野領域２６をｘ軸、ｙ軸、ｚ軸を用いて概念的に示している。図３に示すように、視野領域２６は、ｙ軸からｘ軸へ向かう角度（一般に仰角（elevation）と称される）や、ｚ軸からｙ軸へ向かう角度（一般に方位角（azimuth）と称される）に基づいて特定される。また、図３に示すように、視野領域２６は、方位角側の画角（azimuth_range）や、仰角側の画角（elevation_range）等に基づいて特定される。本開示では、これら視野領域２６を特定する情報を、視野領域２６に対応する視野情報と称する。なお、視野領域を特定するための情報は、図３で示した例に限られず、視線方向及び領域の範囲（画角）を特定可能な情報であれば、いずれであってもよい。例えば、視野情報を示す変数（パラメータ）は、中心を基準とした場合の視線方向をヨー、ピッチ、ロールの数値で示すものであってもよい。

　上述してきたように、全天球コンテンツ１０のような広画角画像では、例えばＨＭＤでの視聴ではユーザが首を振って頭の向きを変えることによって、あるいは、平面ディスプレイの視聴ではリモコンのカーソル操作等によって視線方向の変更が行われ、任意の方向の映像が切り出される。すなわち、全天球コンテンツ１０は、ユーザの操作に応じて、上下方向や左右方向（パンもしくはチルト）に視線が遷移するかのような映像表現を行うことができる。

　図１乃至図３では、ユーザが能動的に視線を変化させる例を示した。しかし、コンテンツには、コンテンツ制作者によって予め推奨する視線方向が登録されている場合もある。このような情報は、推奨視野情報（ＲＯＩ（Region　of　Interest））と称される。なお、本開示では、コンテンツに埋め込まれた推奨視野情報を推奨視野メタデータと称する。

　例えば、全天球コンテンツ１０が動画コンテンツである場合、時間軸に沿って、ユーザが視聴する視野領域を特定するための推奨視野メタデータがコンテンツ内に登録される場合がある。この場合、ユーザは、自らが視線を変化させなくても、コンテンツ制作者の意図に沿って自動的に視線が移動するような映像表現を体験することができる。

　この点について、図４を用いて説明する。図４は、全天球コンテンツ１０における推奨視野情報を説明する図である。

　図４には、時系列に沿って、全天球コンテンツ１０を正距円筒図法で示した画像と、当該画像に対応する画角４２と、ユーザが実際に視聴する映像セット４４を示す。

　図４の例では、全天球コンテンツ１０に、オブジェクト３１、オブジェクト３２、オブジェクト３３、オブジェクト３４、オブジェクト３５及びオブジェクト３６が表示される領域が存在するものとする。全天球コンテンツ１０は、一度に全ての画角が表示されることはないため、これらのオブジェクトは画角に応じて一部が表示される。例えば、図４に示すように、方位角が０°に対応する視野領域４０では、オブジェクト３２からオブジェクト３５までが表示される。

　また、図４に示す全天球コンテンツ１０には、オブジェクト３１からオブジェクト３６までを時系列に沿って順に表示するような推奨視野メタデータが含まれるものとする。

　この場合、ユーザは、全天球コンテンツ１０を再生した場合、自身が視線を移動させなくても、推奨視野メタデータに応じて動画を視聴することができる。例えば、図４の例では、ユーザは、方位角－３０°から方位角３０°までを連続した映像（動画）として視聴する。

　具体的には、ユーザは、方位角－３０°では、オブジェクト３１とオブジェクト３２とが表示される映像５１を視聴する。続けて、ユーザは、方位角－１５°では、オブジェクト３１、オブジェクト３２及びオブジェクト３３が表示される映像５２を視聴する。続けて、ユーザは、方位角０°では、オブジェクト３２からオブジェクト３５が表示される映像５３を視聴する。続けて、ユーザは、方位角１５°では、オブジェクト３４、オブジェクト３５及びオブジェクト３６が表示される映像５５を視聴する。最後に、ユーザは、方位角３０°では、オブジェクト３５とオブジェクト３６とが表示される映像５５を視聴する。

　このように、ユーザは、時系列に沿って、コンテンツ制作者の意図に沿って全天球コンテンツ１０を視聴することができる。図１乃至図４を用いて説明したように、全天球コンテンツ１０においては、ユーザが能動的に視線を変化させる能動的な視聴と、推奨視野情報に従った受動的な視聴とが存在する。そして、コンテンツには、この２種類の視聴スタイルを任意のタイミングで切り替え可能とするものがある。例えば、動画の再生中はユーザが任意に視線を動かすことが可能であっても、ある時間には特定の角度を視聴するよう設定されているコンテンツや、ユーザが能動的な操作を止めてから所定時間後には推奨視野情報に遷移する（予め登録されていたメタデータ通りの視点に戻る）コンテンツ等がある。

　このようなコンテンツにおいては、能動的な視聴における視野の映像と、受動的な視聴における視野の情報との間で、視野の映像の時系列的不連続が発生する。このため、ユーザは、視聴における方向感が失われ、違和感を覚えるおそれがある。すなわち、広画角画像に係る技術には、異なる視聴スタイル間の映像表示をシームレスに遷移させるという課題がある。

　そこで、本開示に係る画像処理は、以下に説明する手段により、異なる視聴スタイル間の映像表示をシームレスに遷移させることを可能とする。具体的には、本開示に係る画像処理装置１００は、広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、第１の視聴視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する。そして、画像処理装置１００は、取得した第１視野情報及び第２視野情報に基づいて、第１の視野から第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する。

　具体的には、画像処理装置１００は、ユーザが能動的に視聴していた視野（第１の視野）の視野情報と、推奨視野情報に基づき所定時間後に表示されるであろう視野（第２の視野）の視野情報とを取得し、その間を滑らかに遷移するための情報（言い換えれば、視野を移動させる移動経路）を生成する。これにより、ユーザは、急激な視線の移動による視野の切り替えを体験せずに済むため、違和感を覚えることなく、視線の切り替えを受け入れることができる。すなわち、画像処理装置１００は、広画角画像に関するユーザ体験を向上させることができる。以下、本開示に係る画像処理について詳細に説明する。

［１－２．第１の実施形態に係る画像処理装置の構成］
　本開示に係る画像処理装置１００は、広画角画像を外部データサーバ等から取得して再生する、いわゆるクライアントである。すなわち、画像処理装置１００は、広画角画像を再生するための再生装置である。画像処理装置１００は、ＨＭＤであってもよいし、パソコンやタブレット端末、スマートフォン等の情報処理端末であってもよい。

　図５を用いて、本開示に係る画像処理を実現する画像処理装置１００の構成について説明する。図５は、第１の実施形態に係る画像処理装置１００の構成例を示す図である。

　図５に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０と、出力部１４０とを有する。なお、画像処理装置１００は、画像処理装置１００を操作するユーザ等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）を有してもよい。

　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１１０は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、広画角画像等を提供する外部データサーバ等との間で情報の送受信を行う。

　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、例えば、取得した広画角画像等のコンテンツデータを記憶する。

　制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等によって、画像処理装置１００内部に記憶されたプログラム（例えば、本開示に係る画像処理プログラム）がＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。

　図５に示すように、制御部１３０は、画像取得部１３１と、表示制御部１３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

　画像取得部１３１は、有線又は無線ネットワーク等を介して各種情報を取得する。例えば、画像取得部１３１は、外部データサーバ等から広画角画像を取得する。

　表示制御部１３２は、画像取得部１３１によって取得された広画角画像の出力部１４０（すなわち映像の表示画面）への表示を制御する。例えば、表示制御部１３２は、広画角画像のデータを展開し、適時取り出し再生される映像データ及び音声データを抽出する。また、表示制御部１３２は、広画角画像に予め登録された推奨視野（ＲＯＩ）メタデータを抽出し、後段の処理部に供給する。

　図５に示すように、表示制御部１３２は、視野決定部１３３と、再生部１３４と、視野情報取得部１３５と、生成部１３６とを含む。

　視野決定部１３３は、広画角画像を表示する視野を決定する。すなわち、視野決定部１３３は、広画角画像におけるユーザの視線方向を特定する。例えば、視野決定部１３３は、広画角画像に初期設定されている視野角や、推奨視野メタデータや、ユーザの操作等に基づき、広画角画像のうち実際に出力部１４０に表示される位置（視野）を決定する。

　視野決定部１３３は、例えば画像処理装置１００がＨＭＤである場合、ＨＭＤを装着したユーザの動作情報、いわゆるヘッドトラッキング情報を検知する。具体的には、視野決定部１３３は、ＨＭＤが備えるセンサを制御することにより、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検知する。より具体的には、視野決定部１３３は、ユーザの動作に関する情報として、ユーザの頭部や姿勢に関する情報、ユーザの頭部や身体の動き（加速度や角速度）、視野の方向や視点移動の速度等を検知する。例えば、視野決定部１３３は、センサとして、３軸加速度センサや、ジャイロセンサや、速度センサ等の各種モーションセンサを制御し、ユーザの動作に関する情報を検知する。なお、センサは、必ずしもＨＭＤ内部に備えられることを要せず、例えば、ＨＭＤと有線もしくは無線で接続された外部センサであってもよい。

　また、視野決定部１３３は、ＨＭＤのディスプレイ上でユーザが注視する視点の位置を検知する。視野決定部１３３は、種々の既知の手法を用いて、視点位置を検知してもよい。例えば、視野決定部１３３は、上述した３軸加速度センサや、ジャイロセンサ等を用いて、ユーザの頭部の向きを推定することにより、ユーザの視点位置を検知してもよい。また、視野決定部１３３は、センサとして、ユーザの目を撮像するカメラを用いて、ユーザの視点位置を検知してもよい。例えば、センサは、ＨＭＤをユーザが頭部に装着したときに、撮像範囲内にユーザの眼球が位置するような位置（例えば、ディスプレイに近接し、ユーザ側にレンズが向く位置）に設置される。そして、センサは、撮像したユーザの右眼の眼球の画像と、右眼との間の位置関係とに基づき、右眼の視線が向いている方向を認識する。同様に、センサは、撮像したユーザの左眼の眼球の画像と、左眼との間の位置関係とに基づき、左眼の視線が向いている方向を認識する。視野決定部１３３は、このような眼球の位置に基づいて、ディスプレイのどの位置をユーザが注視しているかを検知してもよい。

　上記の処理により、視野決定部１３３は、広画角画像のうち、ディスプレイに表示されている領域（広画角画像における視野）に関する情報を取得する。すなわち、視野決定部１３３は、広画角画像のうち、ユーザの頭部や姿勢情報によって指定された領域や、ユーザがタッチ操作等によって指定された領域を示す情報を取得する。また、視野決定部１３３は、領域に表示されている広画角画像のうちの部分的な画像の画角の設定を検知してもよい。画角の設定とは、例えば、ズーム倍率の設定等である。

　再生部１３４は、広画角画像を映像データとして再生する。具体的には、再生部１３４は、視野決定部１３３によって決定された視野に基づいて、広画角画像を表示用に加工（例えば、視線方向及び画角指定で切り出し、平面投影画像に加工）する。そして、再生部１３４は、加工された映像データをレンダリングし、出力部１４０に表示する。

　また、再生部１３４は、広画角画像に登録された推奨視野メタデータを取得し、時系列に沿って供給される推奨視野情報を抽出し、適時、レンダリングに利用する。すなわち、再生部１３４は、視野決定部１３３によって決定された視野に基づいて表示領域を決定してレンダリング（画像生成）を行うレンダラー（renderer）として機能する。具体的には、再生部１３４は、予め決められたフレームレート（例えばfps（frame　per　second）等）に基づいてレンダリングを行い、広画角画像に対応する映像を再生する。

　視野情報取得部１３５は、再生部１３４によって再生されている広画角画像における視野情報を取得する。例えば、視野情報取得部１３５は、広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報を取得する。具体的には、視野情報取得部１３５は、広画角画像再生中のユーザの操作やユーザの頭部の位置や視線等に基づいて、ユーザが現時点で視聴している視野を特定する視野情報を取得する。

　例えば、視野情報取得部１３５は、広画角画像の一例である全天球コンテンツ１０におけるユーザの視野に関する情報を取得する。すなわち、視野情報取得部１３５は、第１視野情報として、全天球コンテンツ１０の中心から全天球コンテンツ１０をユーザが視聴する領域に対応した視野情報を取得する。

　また、視野情報取得部１３５は、第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報を取得する。例えば、視野情報取得部１３５は、広画角画像に予め登録された視線移動を示す情報である推奨視野情報に基づいて、第１の視野から所定時間後に遷移すると予測される第２の視野の第２視野情報を取得する。

　この点について、図６を用いて説明する。図６は、第１の実施形態に係る視野情報取得処理を説明する図である。

　図６に示す例では、ユーザは、中心２０に位置し、全天球コンテンツ１０を視聴する。このとき、全天球コンテンツ１０には、推奨視野メタデータとして、時系列に沿って移動する視線の情報（移動経路や視野角等の情報）が登録されているものとする。図６の例では、全天球コンテンツ１０には、推奨視野メタデータとして移動経路６０が登録されている。この場合、ユーザが何ら操作を行わない場合、再生部１３４は、推奨視野メタデータである移動経路６０に沿って、順に映像データを表示する。

　ここで、分岐点６２において、ユーザが視線を変更する操作を行ったとすると、全天球コンテンツ１０の再生は、受動的な視聴（移動経路６０に沿った視聴）から、能動的な視聴に切り替わる。例えば、ユーザは、移動経路６３に示すように視線を動かし、全天球コンテンツ１０を視聴するものとする。

　例えば、任意の時刻ｔにおいてユーザが視聴している（画面に表示されている）視野をＶＰ_ｄ（ｔ）とし、推奨視野メタデータによる視野をＶＰ_ｍ（ｔ）とする。この場合、分岐点６２における時刻（Ｔｄ）までは、ＶＰ_ｄ（ｔ）＝ＶＰ_ｍ（ｔ）である。時刻Ｔｄ以降、ユーザの意図を優先した視野表示に移行した際の現在時刻をＴｃとすると、ＶＰ_ｄ（ｔ）≠ＶＰ_ｍ（ｔ）（Ｔｄ＜ｔ＜Ｔｃ）となる。例えば、ユーザは、現在時刻Ｔｃにおいては、視野領域６４に対応する映像データを視聴するものとする。

　一方で、推奨視野メタデータに沿って全天球コンテンツ１０が表示されていた場合、視線の移動は、移動経路６１に沿って行われるので、ユーザは、所定の時刻ｔにおいて、視野領域６５に対応する映像データを視聴していたと想定される。

　例えば、ユーザが、視野領域６４に対応する映像データを視聴したのちに、能動的な視聴を中断し、推奨視野情報により受動的な視聴に切り替えたとする。この場合、視野情報取得部１３５は、推奨視野メタデータ（例えば、時系列情報と移動経路６１とが対応付けられた情報）に基づいて、視野領域６５に対応する映像データが表示されると想定される時刻ｔと、視野領域６５に対応する視野情報とを特定することができる。

　すなわち、視野情報取得部１３５は、ユーザの能動的な操作に基づいて表示部に表示された第１の視野を特定する情報（図６の例では、視野領域６４に対応する視野情報）を第１視野情報として取得するとともに、推奨視野情報に基づいて、第１の視野が表示部に表示された所定時間後に表示されると予測される第２の視野を特定する情報（図６の例では、視野領域６５に対応する視野情報）を第２視野情報として取得することができる。

　なお、図６において、時刻ｔ＝Ｔｃにおいて、推奨視野情報に基づく視聴に戻る操作をユーザが行ったとする。仮に、画像処理装置１００が映像１フレーム間で瞬間的に映像を切り替えると、ＶＰ_ｄ（Ｔｃ＋１）＝ＶＰ_ｍ（Ｔｃ＋１）となり、その後は、ＶＰ_ｄ（ｔ）＝ＶＰ_ｍ（ｔ）（Ｔｃ＋１＜ｔ）という関係が継続することになる。

　しかしながら、上述のように、瞬間的に映像を切り替えると、広画角画像におけるユーザ体験を低下させるおそれがある。そこで、生成部１３６は、第１視野情報及び第２視野情報に基づいて、第１の視野から第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する。

　生成部１３６は、例えば、ユーザの能動的な操作によって推奨視野情報とは異なる視線の移動経路が検知された場合に、遷移視野情報を生成する。

　一例として、生成部１３６は、第１視野情報及び推奨視野情報に基づいて、第１の視野から第２の視野までの視線の移動経路を含む遷移視野情報を生成する。

　例えば、視野情報取得部１３５が、第１視野情報が取得されるまでのユーザの視線の移動経路を取得した場合、生成部１３６は、第１視野情報が取得されるまでのユーザの視線の移動経路、及び、推奨視野情報に基づいて、第１の視野から第２の視野までの視線の移動経路を含む遷移視野情報を生成する。

　また、視野情報取得部１３５が、第１視野情報が取得されるまでのユーザの視線の移動における速度及び加速度を取得した場合、生成部１３６は、第１視野情報が取得されるまでのユーザの視線の移動における速度及び加速度、並びに、推奨視野情報として登録された視線の移動における速度及び加速度とに基づいて、第１の視野から第２の視野までの視線の移動経路を含む遷移視野情報を生成する。

　上記の点について、図７及び図８を用いて説明する。図７は、第１の実施形態に係る生成処理を説明する図である。

　図７に示す例では、ユーザが視野領域６４に対応する映像を視聴した現在時刻Ｔｃにおいて、推奨視野情報への視線の切り替えが行われたものとする。この場合、生成部１３６は、ｔ＝Ｔｃ時点において検知された視線の動き（例えば、移動経路６３に示されるユーザの視線の移動）や、推奨視野メタデータにおける移動経路６１や、各々の移動経路における速度や加速度等を考慮し、最適な遷移視野情報を生成する。具体的には、生成部１３６は、ユーザの現在の視野から、推奨視野情報に沿った視野に到達する時刻Ｔｒまでの移動経路として、遷移視野情報を生成する。なお、遷移視野情報は、移動経路であり、かつ、広画角画像のどの位置を表示するかといった視線位置（視野）を特定する視野情報でもある。

　一例として、ユーザが時刻ｔ＝Ｔｃ時点において視線を止めて映像を注視していた場合、視線移動の初動方向に制限は無いため、生成部１３６は、推奨視野情報に沿った視野ＶＰ_ｍ（Ｔｒ）に最短で到達する経路を生成する。例えば、生成部１３６は、図７に示す移動経路６８を遷移視野情報として生成する。

　一方、時刻ｔ＝Ｔｃ時点においてユーザが視線を移動させている途中である場合（移動経路６３に沿って視線の速度及び加速度が検知される場合）、生成部１３６は、視線移動の初動方向を移動経路６３と共通にし、その後、滑らかに推奨視野情報に合流する経路を生成してもよい。具体的には、生成部１３６は、図７に示す移動経路６７を遷移視野情報として生成する。この場合、生成部１３６は、時刻ｔ＝Ｔｒ時点においても、ＶＰ_ｍ（Ｔｒ）にＶＰ_ｄ（ｔ）が追いつく際には、ＶＰ_ｍ（Ｔｒ）＞ＶＰ_ｄ（Ｔｒ＋１）の移動方向に滑らかに繋がる向きで視線を移動させるような遷移視野情報を生成してもよい。そして、生成部１３６は、生成した遷移視野情報である移動経路６７に沿って、視野領域６４から順に映像を表示しながら、推奨視野情報への合流先となる視野領域６６を表示する。これにより、生成部１３６は、ユーザに違和感を与えない視線の切り替えを行うことができる。

　生成部１３６が実行する生成処理について、視線移動の速度及び加速度を概念的に示した図８を用いて、さらに説明する。図８は、第１の実施形態に係る遷移視野情報を概念的に示す図である。

　図８には、視線方向の移動を全天球コンテンツ１０に対応した角度で示す軸と、時間軸との関係性を示す。具体的には、図８には、推奨視野情報に従った視聴において、球の中心面を等速で水平右回りに視線が移動すると仮定した場合の時刻と視線の向きとの関係を示す。

　点線７０は、推奨視野情報に従った場合の視線方向の速度の関係を示す。図８に示すように、点線７０は、時間に沿って等速に水平右回りに視線が移動することを示す。

　ここで、分岐点７１に到達した時刻を時刻Ｔｄとする。点線７２は、推奨視野情報に従った視聴が継続したと仮定した場合の視線方向の速度の関係を示す。なお、球８１は、推奨視野情報に従って等速に正面まで視線が移動した状況を模式的に示したものである。

　一方、点線７４は、ユーザの能動的な動作により、視点がある角度で止まったことを示す。例えば、点線７４は、ユーザが時刻Ｔｄにおいて視線移動を止め、特定の方向（図８の例では正面）を一定時間注視したことを示す。

　その後、時刻Ｔｃでユーザが推奨視野情報に従った視野に全天球コンテンツ１０の表示を瞬時に戻そうとすると、生成部１３６は、分岐点７５から線７３に直接合流する遷移視野情報７６を生成することになる。この場合、瞬時（例えば１フレーム間）に映像が切り替わるため、ユーザ体験を低下させるおそれがある。なお、球８２は、正面の視線方向から、時系列に応じた推奨視野情報が示す視線方向に表示が切り替わった状況を模式的に示したものである。

　上記のような急な切り替えを避けるため、生成部１３６は、時刻Ｔｃから所定時間後の時刻Ｔｒを任意に設定し、時刻Ｔｒで推奨視野情報に合流するような遷移視野情報を生成する。

　すなわち、生成部１３６は、Ｔｃ＜ｔ＜Ｔｒの時刻にかけて、視線を滑らかに切り替えるための遷移視野情報７７を生成する。このとき、遷移視野情報７７の速度及び加速度は、図８に示す遷移視野情報７７の傾きによって示される。すなわち、図８における遷移視野情報７７の傾きが速度となり、遷移視野情報７７の傾きの変化が加速度となる。なお、球８３は、正面の視線方向から、時系列に応じた推奨視野情報が示す視線方向に滑らかに表示が切り替わる状況を模式的に示したものである。

　この場合、図８に示すように、生成部１３６は、遷移視野情報７７を一定の傾き（速度）とするのではなく、滑らかに視線が移動する箇所と、速やかに視線が移動する箇所とを設けてもよい。例えば、滑らかに視線が移動する箇所とは、推奨視野情報と比較して視線の移動（言い換えれば、球における回転速度）が遅い箇所を示す。また、速やかに視線が移動する箇所とは、推奨視野情報と比較して視線の移動が速い箇所を示す。

　生成部１３６は、遷移視野情報の速度や加速度については、種々の要素に基づき最適な値を算出するようにしてもよい。例えば、生成部１３６は、推奨視野情報に設定された速度に対する所定の割合に基づいて、遷移視野情報の速度や加速度を算出してもよい。また、生成部１３６は、人間の体感上、適切と想定される速度や加速度の登録を管理者やユーザから受け付け、受け付けた値に基づいて、遷移視野情報の速度や加速度を算出してもよい。なお、本開示に係る速度や加速度とは、球面上を通る視野の中心点が移動する線速度であってもよいし、球の中心点から見てユーザの視線方向を回転する角速度であってもよい。

　上記のように、生成部１３６は、推奨視野情報に設定された速度よりも高速な速度が設定された遷移視野情報を生成することができる。これにより、生成部１３６は、ユーザの能動的な操作から速やかに推奨視野情報に復帰することができるため、途中で視線の切り替えがあった場合にも、コンテンツ制作者の意図に沿った表示に速やかに復帰することができる。

　例えば、生成部１３６は、視線移動を一時停止した時刻Ｔｄから、推奨視野情報ＶＰ_ｍ（ｔ）に追いつく時刻Ｔｒまでの期間に、もともと推奨視野が通っていたはずの視線経路をなぞる遷移視野情報を生成する。このとき、生成部１３６は、推奨視野情報に対して、より高速な視線移動を行う遷移視野情報を生成する。これにより、生成部１３６は、途中で推奨視野から外れた視線を、所定時間をかけて、推奨視野情報が示す移動経路に追いつかせることができる。

　この場合、ユーザは、あたかも映像を１サンプルずつスキップしながら視聴しているような（言い換えれば、２倍速で視線が移動しているような）視聴体験となるが、急激な視線の切り替えを伴わないため、ユーザ体験を損ねることはない。また、生成部１３６は、遷移視野情報として速度を変化させた情報を生成するのみでよく、移動経路を算出する処理を省くことができるため、処理負荷を低減させることができる。

　なお、全天球コンテンツ１０に対して、図８に示すような滑らかな推奨視野情報が登録されているのではなく、視線方向や速度を刻々変化させるような推奨視野情報が設定されている場合、生成部１３６は、上記と異なる手法で遷移視野情報を生成してもよい。例えば、生成部１３６は、現状の視野（第１の視野）と、遷移先の視野（第２の視野）、及び、推奨視野情報の状況に応じて、ユーザ体験を低下させないような移動経路を含む遷移視野情報を新たに生成してもよい。

　ここで、図９及び図１０を用いて、実際の映像表示における遷移視野情報の利用例を示す。図９は、第１の実施形態に係る映像表示の例を示す図（１）である。図９は、遷移視野情報が生成されない場合の映像表示の例を示す。

　図９では、図４と同様、ユーザが、オブジェクト３１乃至オブジェクト３６までが含まれる映像を視聴する例を挙げる。例えば、推奨視野情報に従う場合、ユーザは、映像セット８５に含まれる映像９１から映像９５までを時系列に沿って視聴する。

　一方、ユーザが能動視聴を行った場合、ユーザは、例えば映像セット９０に示されるように、映像９１から映像９５までのうち映像９３が除かれた映像を時系列に沿って視聴する。この場合、映像９２から映像９４までの間が１フレームで切り替わるため、ユーザは、視聴体感上、視線が移動したとは認識し難い。すなわち、ユーザは、自身が視聴している内容が推奨視野情報に移行したか否かがわからず、視聴体験が損なわれるおそれがある。

　このような状況を避けるため、生成部１３６は、遷移視野情報を生成し、遷移視野情報に従って表示される映像をユーザに視聴させることで、ユーザに対して違和感のない映像表示を提供する。この点について、図１０を用いて説明する。図１０は、第１の実施形態に係る映像表示の例を示す図（２）である。図１０は、図９で示した映像と同様の例において、遷移視野情報が生成された場合の映像表示の例を示す。

　図１０に示す例では、ユーザは、例えば映像セット９９に示されるように、映像９１から映像９５までの移動において、遷移視野情報に基づいて表示された映像９６を含む映像を時系列に沿って視聴する。すなわち、ユーザは、時刻Ｔｃにおける映像９２の視聴後、瞬時に切り替えられた映像９４ではなく、映像９２から映像９４までの間を埋める視野情報に対応する映像９６を視聴し、その後、映像９５を視聴する。これにより、ユーザは、自身が注視した映像から瞬時に切り替えられた映像ではなく、時系列に沿って滑らかに遷移した映像を視聴することができるため、違和感のなく映像を視聴することができる。

　ところで、全天球コンテンツ１０に異なる２つ以上の推奨視野情報が登録されている状況では、ある推奨視野に沿って映像が表示されている間に、ユーザの操作によって、他の推奨視野に切り替えられることがありうる。この場合も、生成部１３６は、例えば図７や図８に示した処理を適用し、推奨視野同士の切り替えを滑らかに行うよう、遷移視野情報を生成してもよい。すなわち、遷移視野情報とは、ユーザの能動的な操作と推奨視野情報との切り替えのみに適用されるものではなく、様々な視線の切り替えにおいて利用可能な情報である。

　図５に戻り、説明を続ける。出力部１４０は、各種信号を出力する。例えば、出力部１４０は、画像処理装置１００において画像を表示する表示部であり、例えば有機ＥＬ（Electro-Luminescence）ディスプレイや、液晶ディスプレイ等によって実現される。また、出力部１４０は、広画角画像が音声データを含む場合、当該音声データに基づいて音声を出力する。

［１－３．第１の実施形態に係る画像処理の手順］
　次に、図１１乃至図１３を用いて、第１の実施形態に係る画像処理の手順について説明する。図１１は、第１の実施形態に係る処理の流れを示すフローチャート（１）である。

　図１１に示すように、画像処理装置１００は、広画角画像に係る動画データを取得する（ステップＳ１０１）。そして、画像処理装置１００は、取得した動画データから再生データを抽出する（ステップＳ１０２）。

　画像処理装置１００は、次に再生するフレームを更新する（ステップＳ１０３）。このとき、画像処理装置１００は、視線の切り替え要求を受け付けたか否かを判定する（ステップＳ１０４）。

　視線の切り替え要求を受け付けた場合（ステップＳ１０４；Ｙｅｓ）、画像処理装置１００は、表示する視野情報を決定するための視野決定処理を行う（ステップＳ１０５）。一方、視線の切り替え要求を受け付けていない場合（ステップＳ１０４；Ｎｏ）、画像処理装置１００は、前のフレームから継続する視野情報（例えば、推奨視野メタデータに基づいて決定される視野情報）に基づいて、フレーム（映像）を表示する（ステップＳ１０６）。

　その後、画像処理装置１００は、再生の終了を受け付けたか、もしくは動画が終了したか否かを判定する。再生の終了を受け付けていない、もしくは動画が終了していない場合（ステップＳ１０７；Ｎｏ）、画像処理装置１００は、次のフレームを更新する処理を継続する（ステップＳ１０３）。再生の終了を受け付けた、もしくは動画が終了した場合（ステップＳ１０７；Ｙｅｓ）、画像処理装置１００は、画像処理装置１００は、動画の再生を終了する（ステップＳ１０８）。

　続けて、図１２を用いて、視野決定処理の詳細な手順について説明する。図１２は、第１の実施形態に係る処理の流れを示すフローチャート（２）である。

　図１２に示すように、画像処理装置１００は、ユーザの操作に基づいて広画角画像における視野を決定する（ステップＳ２０１）。なお、この場合のユーザの操作とは、ユーザが能動的な視聴を行おうとする操作、及び、受動的な視聴に切り替えることを要望する操作のいずれもが含まれる。

　そして、画像処理装置１００は、ユーザの操作において視線の切り替え要求が発生したか否かを判定する（ステップＳ２０２）。視線の切り替え要求が発生した場合（ステップＳ２０２；Ｙｅｓ）、画像処理装置１００は、遷移視野情報の生成処理を実行する（ステップＳ２０３）。一方、視線の切り替え要求が発生していない場合（ステップＳ２０２；Ｎｏ）、画像処理装置１００は、ユーザの操作に基づいて決定された視野（より具体的には、視野を特定する視野情報）に基づいて、フレームを表示する処理を実行する（ステップＳ１０６）。

　続けて、図１３を用いて、視野決定処理の詳細な手順について説明する。図１３は、第１の実施形態に係る処理の流れを示すフローチャート（３）である。

　図１３に示すように、画像処理装置１００は、推奨視野情報に乗り換える時刻Ｔｒを決定する（ステップＳ３０１）。続けて、画像処理装置１００は、時刻Ｔｒにおける視野情報（第２視野情報）を検知し、第２視野情報に関する情報を取得する（ステップＳ３０２）。

　そして、画像処理装置１００は、第１視野情報及び第２視野情報に基づいて、現在時刻と、時刻Ｔｒとを結ぶ経路（すなわち、視線の移動経路）を決定する（ステップＳ３０３）。決定した情報に基づいて、画像処理装置１００は、遷移視野情報を生成する（ステップＳ３０４）。続けて、画像処理装置１００は、生成した遷移視野情報に基づいて、現時点で表示するフレームの視野を決定し（ステップＳ３０５）、当該フレームを表示する処理を実行する（ステップＳ１０６）。

［１－４．第１の実施形態の変形例］
　上記で説明した第１の実施形態に係る画像処理は、様々な変形を伴ってもよい。以下に、第１の実施形態の変形例について説明する。

　推奨視野（ＲＯＩ）には、先行技術文献における「Recommended　Viewport」の他に、例えば「Initial　Viewing　Orientation」と称される技術に基づくものがある。「Initial　Viewing　Orientation」は、任意のタイミングで視野をリセットする仕組みである。任意のタイミングで視野をリセットされる場合、視線の不連続が発生しやすいため、この技術が利用される場合にも、上記した遷移視野情報を利用することで、画像処理装置１００は、滑らかな画面表示を実現することができる。

　第１の実施形態では、ユーザが全天球コンテンツ１０の中心に位置する例（いわゆる、３ＤｏＦ（Degree　of　Freedom））を示した。しかし、本開示に係る画像処理は、ユーザが全天球コンテンツ１０の中心に位置しない場合（いわゆる、３ＤｏＦ＋）であっても適用可能である。すなわち、視野情報取得部１３５は、第１視野情報として、全天球コンテンツ１０の中心以外の点から全天球コンテンツ１０をユーザが視聴する領域に対応した視野情報を取得してもよい。

　この場合、画像処理装置１００は、時刻Ｔｃや時刻Ｔｒにおいて、表示画角や視聴位置のずれ量が異なっている場合には、時刻Ｔｃから時刻Ｔｒ間で値を徐々に変化させ、滑らかに繋げば良い。また、画像処理装置１００は、視点位置（ユーザ位置）の動的な情報に基づき、視線方向や視野画角等と並行して視聴位置座標を時系列で変化させることで、視聴位置の滑らかな移動も実現できる。なお、画像処理装置１００は、ユーザの意図に基づき視点位置が中心からずれている場合には、ずれた位置を示す座標位置を取得し、取得した情報に基づいて、上記の画像処理を実行すればよい。

　なお、現状のMPEG-I　OMAFで定義されている視野メタデータを３ＤｏＦ＋視聴にも適用できるよう、例えば下記数１に示す様に拡張することができる。例えば、推奨視野再生用の視点位置情報を示すViewingPosStructを新規定義し、OMAF　ed.1で規定されるＲＯＩのsampleであるSphereRegionSampleでシグナルする（信号化する）。

　更に、RvcpInfoBoxで、視点位置が動的に変わるか否かの情報をシグナルする。動的に変わらない場合は、RvcpInfoBoxでスタティックな視点位置をシグナルする。動的に変わらない場合において、上記したSphere　Region　Sampleの情報量を削減できるという効果がある。また、例えば下記数２に示す様に、その他のBoxでシグナルしてもよい。

　上記のような拡張がある視野データの場合は、視線方向や視野画角等と並行して視聴位置座標（pos　x,pos　y,pos　z）を時系列で変化させれば、視聴位置の滑らかな移動も実現できる。拡張が無い場合には、クライアント（実施形態では画像処理装置１００）がローカルで保持している、視聴者（ユーザ）の意図でずらした座標をそのまま用いればよい。

　上記第１の実施形態では、全天球コンテンツ１０等の動画データを画像処理装置１００が取得していることを前提として説明した。この場合、動画データに埋め込まれた推奨視野メタデータと、動画データとの対応が失われることはない。しかし、動画データがストリーミング配信される場合等には、何らかの原因で推奨視野メタデータの供給が一時的に途切れる可能性もある。例えば、動画データ配信時に伝送路でパケットがロストしたり、ライブ配信時にオーサリングトラブルが起きたりすると、推奨視野メタデータの供給が一時的に途切れるおそれがある。また、場合によっては、画像処理装置１００側の伝送路の帯域確保のため、映像と音声を優先し、推奨視野メタデータの取得を意図的にドロップすることも考えられる。

　図１４に、データが欠落する状況を概念的に示す。図１４は、推奨視野メタデータの欠落を概念的に示す図である。図１４に示す例では、動画データ２００のうちデータ２０１は、既に再生が終了して破棄された状況を示す。また、データ２０２は、キャッシュが完了しており、現時点で再生中である状況を示す。また、データ２０３は、何らかの理由で欠落した状況を示す。また、データ２０４は、キャッシュが完了している状況を示す。また、データ２０５は、ダウンロード中であり、キャッシュが行われている途中である状況を示す。なお、キャッシュ単位は、例えばMPEG　DASH配信のsegment等により定義される。

　画像処理装置１００は、推奨視野メタデータの欠落が発生した場合には、その前後の視野の不連続をうまく繋ぐことで視聴体験を損なわせないよう処理する。

　この点について、図１５を用いて説明する。図１５は、第１の実施形態の変形例に係る画像処理の一例を示す図（１）である。例えば、図１５に示す全天球コンテンツ１０において、視野領域２１１から視野領域２１３の間の推奨視野メタデータが欠落していると仮定する。

　この場合、画像処理装置１００は、欠落後の時刻（例えば、図１４で示したデータ２０４やデータ２０５）の推奨視野メタデータに基づいて、欠落している時間帯の視野データを遷移視野情報として生成する。例えば、画像処理装置１００は、前後の推奨視野メタデータに基づいて、図１５に示す移動経路２１４を遷移視野情報として生成する。

　そして、画像処理装置１００は、生成した移動経路２１４と、欠落後のキャッシュされている推奨視野メタデータである移動経路２１０を接続する。これにより、画像処理装置１００は、推奨視野メタデータが欠落した時間帯の視野領域２１２等についても、支障なく再生を行うことができる。なお、図１５の場合、画像処理装置１００は、例えば欠落直前の時刻ｔを、第１の実施形態で示した分岐点の時刻Ｔｄや、ユーザが能動的に視点を変えた時刻である時刻Ｔｃと見立て、欠落後のキャッシュ済みデータの先頭時刻を時刻Ｔｒと見立てることで、第１の実施形態と同様の処理を行うことができる。

　なお、欠落後の推奨視野メタデータが取得できない可能性もある。この場合、画像処理装置１００は、例えば、視野を推奨視野メタデータが途切れる直前の状態に固定して視聴を継続し、推奨視野メタデータの再取得が可能となるのを待機してもよい。言い換えれば、画像処理装置１００は、データの欠落した状況を「視線移動をユーザが能動的に止めた状況」と同様であると見立てる。その後、画像処理装置１００は、ＶＰ_m（ｔ）が途切れた時刻を時刻Ｔｄ、データが再取得できるようになった時刻を時刻Ｔｃと見立てることにより、推奨視野メタデータに復帰するような遷移視野情報を生成する。これにより、画像処理装置１００は、データが欠落した場合であっても、違和感のない映像表示をユーザに提供することができる。

　また、画像処理装置１００は、データ欠落時において、ユーザの視線経路を予測する処理を行ってもよい。この点について、図１６を用いて説明する。図１６は、第１の実施形態の変形例に係る画像処理の一例を示す図（２）である。

　例えば、図１６に示す全天球コンテンツ１０において、視野領域２１１から視野領域２１３の間の推奨視野メタデータが欠落していると仮定する。また、図１６の例において、ユーザは、データが欠落する前に視線を移動し、視野領域２２２を視聴していたものとする。この場合、画像処理装置１００は、ユーザの視線の過去（ｔ≦Ｔｄ）の移動経路２２１に基づいて、ユーザの視線の予測経路である移動経路２２３を遷移視野情報として生成する。例えば、画像処理装置１００は、移動経路２２１の傾きや速度等に基づいて移動経路２２３を算出する。一例として、画像処理装置１００は、移動経路２２１が水平等速度の移動であれば、その移動が継続されると想定し、移動経路２２３を算出する。また、画像処理装置１００は、過去の推奨視野メタデータが、例えば画面内の特定の人物を中心に配置するように追いかけているメタデータであった場合などは、画像解析等を用いて追跡する視線を導出してもよい。なお、画像処理装置１００は、推奨視野メタデータの取得が再び可能となった後は、予測により視線移動していた現時点の視野から遷移視野情報を用いて、推奨視野メタデータ（図１６に示す移動経路２１０）に戻してもよい。

（２．第２の実施形態）
　次に、第２の実施形態について説明する。第１の実施形態では、画像処理装置１００が第１の視野と第２の視野との間の移動経路を生成することにより、滑らかな画面表示の遷移を実現する処理を示した。第２の実施形態では、画像処理装置１００は、さらに遷移視野情報に基づいて補完画像を生成することにより、より滑らかな画面表示の遷移を実現する。

　具体的には、画像処理装置１００は、遷移視野情報に基づいて、第１の視野から第２の視野までの視線の移動経路における表示を補完する画像である補完画像を生成する。例えば、画像処理装置１００は、広画角画像に対応する映像のフレームレートよりも表示部（出力部１４０）による画像の描画処理のフレームレートが高い場合に、補完画像を生成する。

　この点について、図１７乃至図１９を用いて説明する。まず、図１７を用いて、画像処理装置１００が第２の実施形態に係る画像処理を実行しない場合の処理について説明する。図１７は、補完画像の生成処理の一例を示す図である。

　なお、図１７の例では、広画角画像のフレームレート（例えば６０ｆｐｓ）よりも、表示デバイス（すなわち画像処理装置１００）の描画のフレームレート（例えば１２０ｆｐｓ）が高いものとする。

　図１７に示すように、画像処理装置１００は、外部データサーバ２３０から広画角画像データを取得する。その後、画像処理装置１００は、広画角画像データの信号を分離し、動画や音声を含む動画データ２４０と、推奨視野メタデータ２５０とに分離する。

　その後、画像処理装置１００は、双方のデータをデコードし、結合部２６０で信号を結合する。そして、画像処理装置１００は、映像の出力時に、高フレームレート（図１７の例では１２０ｆｐｓ）に画像補間して表示デバイスに出力する。もしくは、画像処理装置１００は、低フレームレート（図１７の例では６０ｆｐｓ）で表示デバイスに出力し、表示デバイス側で１２０ｆｐｓに画像補間して映像を表示する。

　図１７に示した処理では、いずれの場合も、広画角画像が平面投影されたのち、すなわち広画角画像から表示される部分だけを切り抜いた映像に加工されたのち、時系列的に前後する２枚の映像から補間映像を生成することになる。このような生成処理では、画像認識等、比較的高度な処理を伴うため高負荷となり、また精度的にも必ずしも優れているとはいえない場合がある。

　これに対して、第２の実施形態に係る画像処理では、平面投影映像の生成前に推奨視野メタデータ自体を補間生成することにより、処理負荷を低減しつつ、滑らかな映像を生成する。

　この点について、図１８を用いて説明する。図１８は、第２の実施形態に係る画像処理の一例を示す図である。

　図１８に示すように、画像処理装置１００は、図１７と比較して、分離した推奨視野メタデータの生成処理部２７０を経て、推奨視野メタデータを補完（アップスケーリング）する。これにより、画像処理装置１００は、描画に合わせた高フレームレート（図１８の例では１２０ｆｐｓ）に対応する推奨視野メタデータを得ることができる。また、これにより、画像処理装置１００は、補完した推奨視野メタデータに対応した補完画像を生成することも可能となる。

　このようにして補完画像を生成した場合の映像表示の例を図１９に示す。図１９は、第２の実施形態に係る画像処理の一例を説明する図である。

　図１９に示す映像セット３００は、補完された推奨視野メタデータに対応した補完画像を含む。具体的には、映像セット３００は、通常のフレームレート（広画角画像自体のフレームレート）で生成された映像３０１、映像３０２、映像３０３、映像３０４、映像３０５に加えて、補完された推奨視野メタデータに基づいて生成された補完画像３１１、補完画像３１２、補完画像３１３、補完画像３１４、補完画像３１５を含む。

　なお、図１８や図１９の例では、広画角画像のフレームレートが、描画処理のフレームレートよりも低いことを想定している。このため、補完された推奨視野メタデータに基づく補完画像は、基本的に通常の広画角画像のフレームの直後に生成される。

　図１８及び図１９で示した処理によれば、高度な画像解析処理を必要としないため、平面投影後の画像から補完画像を生成するよりも低負荷であり、また、広画角画像をそのまま利用使用できることから、生成される映像の精度も高く維持できる。なお、図１９に示した例では、視聴においては、連続する映像２フレーム間で映像内の人物やオブジェクトは動かず、視野のみが動くことになる。

　次に、図２０を用いて、第２の実施形態に係る画像処理の手順について説明する。図２０は、第２の実施形態に係る処理の流れを示すフローチャートである。

　図２０に示すように、画像処理装置１００は、表示される映像のフレームレートよりも描画処理におけるフレームレートの方が高いか否かを判定する（ステップＳ４０１）。

　映像フレームレートよりも描画フレームレートが高い場合（ステップＳ４０１；Ｙｅｓ）、画像処理装置１００は、補完する視野情報を生成するか否かを判定する（ステップＳ４０２）。なお、補完する視野情報を生成するか否かという設定は、例えば、広画角画像の提供者やユーザにより任意に設定されてもよい。

　補完する視野情報を生成する場合（ステップＳ４０２；Ｙｅｓ）、画像処理装置１００は、視野情報の生成タイミングを示すパラメータをＮ（Ｎは任意の整数）に設定する（ステップＳ４０３）。かかるパラメータとは、補完フレーム用の視野情報を生成するタイミングを制御するパラメータであり、映像フレームレートと描画フレームレートの比により決定される。例えば、映像フレームレートが６０ｆｐｓである時に、表示デバイスの描画フレームレートが１２０ｆｐｓであれば、パラメータは「２」となる。また、映像フレームレートが６０ｆｐｓである時に、表示デバイスの描画フレームレートが２４０ｆｐｓであれば、パラメータは「４」となる。なお、パラメータが整数値とならない場合には、適宜変換処理を用いてもよい。

　なお、映像フレームレートよりも描画フレームレートの方が高くない場合（ステップＳ４０１；Ｎｏ）や、補完する視野情報を生成しない場合（ステップＳ４０２；Ｎｏ）、画像処理装置１００は、視野情報の生成タイミングを示すパラメータを１に設定する（ステップＳ４０４）。これは、補完フレームが生成されず、通常のレンダリング（広画角画像に対応するフレームレートでのレンダリング）が行われることを意味する。

　パラメータが決定したのち、画像処理装置１００は、フレームとパラメータを更新する処理を行う（ステップＳ４０５）。そして、画像処理装置１００は、パラメータの値に基づいて、通常のフレーム（広画角画像に対応するフレーム）を生成するタイミングが否かを判定する（ステップＳ４０６）。画像処理装置１００は、通常のフレームを生成するタイミングであれば、通常の視野情報を生成する（ステップＳ４０７）。一方、画像処理装置１００は、通常のフレームを生成するタイミングでなければ、補完用の視野情報を生成する（ステップＳ４０８）。すなわち、パラメータの値が大きいほど、補完用の視野情報は多く生成される。

　そして、画像処理装置１００は、生成した視野情報に基づいて広画角画像を切り出し、レンダリングを行い、表示部に映像を表示する（ステップＳ４０９）。その後、画像処理装置１００は、再生の終了を受け付けたか否かを判定する（ステップＳ４１０）。再生の終了を受け付けていない場合（ステップＳ４１０；Ｎｏ）、画像処理装置１００は、次のフレームのレンダリングを行う。一方、再生の終了を受け付けた場合（ステップＳ４１０；Ｙｅｓ）、画像処理装置１００は、再生を終了する（ステップＳ４１１）。

（３．その他の実施形態）
　上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。

　例えば、上記各実施形態では、再生装置である画像処理装置１００が、本開示に係る画像処理を実行する例を示した。しかし、本開示に係る画像処理は、例えばクラウド上の外部サーバ等により実行されてもよい。この場合、外部サーバは、生成した遷移視野情報を再生装置に送信し、再生処理を実行させる。すなわち、本開示に係る画像処理装置とは、必ずしも再生装置ではなく、サーバで実現されてもよいし、サーバとクライアント（再生装置）により構成されるシステムにより実現されてもよい。

　また、上記各実施形態では、広画角画像の例として、全天球コンテンツを示した。しかし、本開示に係る画像処理は、全天球コンテンツ以外にも適用可能である。例えば、本開示に係る画像処理は、ディスプレイに表示可能な領域よりも広い領域を有する、いわゆるパノラマ画像やパノラマ動画にも適用可能である。また、１８０度の範囲で構成されたＶＲ画像やＶＲ動画（いわゆる半天球コンテンツ）にも適用可能である。また、広画角画像は、静止画や動画に限らず、例えばＣＧ（Computer　Graphics）で作成されたゲームコンテンツ等であってもよい。

　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図５に示した視野決定部１３３と再生部１３４は統合されてもよい。

　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

（４．本開示に係る画像処理装置の効果）
　上述のように、本開示に係る画像処理装置（実施形態では画像処理装置１００）は、取得部（実施形態では視野情報取得部１３５）と、生成部（実施形態では生成部１３６）とを備える。取得部は、広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する。生成部は、第１視野情報及び第２視野情報に基づいて、第１の視野から第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する。

　このように、本開示に係る画像処理装置は、第１の視野から第２の視野への遷移を示す情報を生成することにより、第１の視野と第２の視野とを滑らかに遷移させる。これにより、ユーザは、急激な視線の移動による視野の切り替えを体験せずに済むため、違和感を覚えることなく、視線の切り替えを受け入れることができる。すなわち、画像処理装置は、広画角画像に関するユーザ体験を向上させることができる。

　また、取得部は、広画角画像に予め登録された視線移動を示す情報である推奨視野情報に基づいて、第１の視野から所定時間後に遷移すると予測される第２の視野の第２視野情報を取得する。これにより、画像処理装置は、第２視野情報を精度よく特定することができる。

　また、生成部は、ユーザの能動的な操作によって推奨視野情報とは異なる視線の移動経路が検知された場合に、遷移視野情報を生成する。これにより、画像処理装置は、ユーザの操作に基づいて視線の切り替えが発生した場合に、急激な視線の移動を起こさせることなく、滑らかな画像遷移を実現できる。

　また、取得部は、ユーザの能動的な操作に基づいて表示部に表示された第１の視野を特定する情報を第１視野情報として取得するとともに、推奨視野情報に基づいて、第１の視野が表示部に表示された所定時間後に表示されると予測される第２の視野を特定する情報を第２視野情報として取得する。これにより、画像処理装置は、ユーザの視線の移動先となる第２の視野を精度よく特定することができる。

　また、生成部は、第１視野情報及び推奨視野情報に基づいて、第１の視野から第２の視野までの視線の移動経路を含む遷移視野情報を生成する。これにより、画像処理装置は、違和感のない自然な移動経路で視線の切り替えを行うことができる。

　また、取得部は、第１視野情報が取得されるまでのユーザの視線の移動経路を取得する。生成部は、第１視野情報が取得されるまでのユーザの視線の移動経路、及び、推奨視野情報に基づいて、第１の視野から第２の視野までの視線の移動経路を含む遷移視野情報を生成する。これにより、画像処理装置は、違和感のない自然な移動経路で視線の切り替えを行うことができる。

　また、取得部は、第１視野情報が取得されるまでのユーザの視線の移動における速度及び加速度を取得する。生成部は、第１視野情報が取得されるまでのユーザの視線の移動における速度及び加速度、並びに、推奨視野情報として登録された視線の移動における速度及び加速度とに基づいて、第１の視野から第２の視野までの視線の移動経路を含む遷移視野情報を生成する。これにより、画像処理装置は、移動経路のみならず、速度や加速度も含めた滑らかな画面遷移を実現することができる。

　また、生成部は、推奨視野情報に設定された速度よりも高速な速度が設定された遷移視野情報を生成する。これにより、画像処理装置は、視線が推奨視野から外れた場合にも、速やかに推奨視野に復帰させることができる。

　また、生成部は、遷移視野情報に基づいて、第１の視野から第２の視野までの視線の移動経路における表示を補完する画像である補完画像を生成する。これにより、画像処理装置は、移動経路に加えて、画面表示の観点からも、滑らかな画像遷移を実現することができる。

　また、生成部は、広画角画像に対応する映像のフレームレートよりも表示部による画像の描画処理のフレームレートが高い場合に、補完画像を生成する。これにより、画像処理装置は、より自然な画面遷移をユーザに体験させることができる。

　また、取得部は、第１視野情報として、全天球コンテンツの中心から全天球コンテンツをユーザが視聴する領域に対応した視野情報を取得する。これにより、画像処理装置は、全天球コンテンツを対象とした画面表示において、滑らかな画面遷移を実現することができる。

　また、取得部は、第１視野情報として、全天球コンテンツの中心以外の点から全天球コンテンツをユーザが視聴する領域に対応した視野情報を取得する。これにより、画像処理装置は、３ＤｏＦ＋に関する技術においても、滑らかな画面遷移を実現することができる。

（５．ハードウェア構成）
　上述してきた各実施形態に係る画像処理装置１００等の情報機器は、例えば図２１に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る画像処理装置１００を例に挙げて説明する。図２１は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る画像処理プログラムを記録する記録媒体である。

　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

　例えば、コンピュータ１０００が第１の実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

　なお、本技術は以下のような構成も取ることができる。
（１）
　広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する取得部と、
　前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する生成部と
　を備える画像処理装置。
（２）
　前記取得部は、
　広画角画像に予め登録された視線移動を示す情報である推奨視野情報に基づいて、前記第１の視野から所定時間後に遷移すると予測される前記第２の視野の第２視野情報を取得する
　前記（１）に記載の画像処理装置。
（３）
　前記生成部は、
　前記ユーザの能動的な操作によって前記推奨視野情報とは異なる視線の移動経路が検知された場合に、前記遷移視野情報を生成する
　前記（２）に記載の画像処理装置。
（４）
　前記取得部は、
　前記ユーザの能動的な操作に基づいて表示部に表示された第１の視野を特定する情報を前記第１視野情報として取得するとともに、前記推奨視野情報に基づいて、当該第１の視野が表示部に表示された所定時間後に表示されると予測される第２の視野を特定する情報を前記第２視野情報として取得する
　前記（３）に記載の画像処理装置。
（５）
　前記生成部は、
　前記第１視野情報及び前記推奨視野情報に基づいて、前記第１の視野から前記第２の視野までの視線の移動経路を含む前記遷移視野情報を生成する
　前記（３）又は（４）に記載の画像処理装置。
（６）
　前記取得部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動経路を取得し、
　前記生成部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動経路、及び、前記推奨視野情報に基づいて、前記第１の視野から前記第２の視野までの視線の移動経路を含む前記遷移視野情報を生成する
　前記（５）に記載の画像処理装置。
（７）
　前記取得部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動における速度及び加速度を取得し、
　前記生成部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動における速度及び加速度、並びに、前記推奨視野情報として登録された視線の移動における速度及び加速度とに基づいて、前記第１の視野から前記第２の視野までの視線の移動経路を含む前記遷移視野情報を生成する
　前記（６）に記載の画像処理装置。
（８）
　前記生成部は、
　前記推奨視野情報に設定された速度よりも高速な速度が設定された前記遷移視野情報を生成する
　前記（７）に記載の画像処理装置。
（９）
　前記生成部は、
　前記遷移視野情報に基づいて、前記第１の視野から前記第２の視野までの視線の移動経路における表示を補完する画像である補完画像を生成する
　前記（２）～（７）のいずれか一つに記載の画像処理装置。
（１０）
　前記生成部は、
　前記広画角画像に対応する映像のフレームレートよりも表示部による画像の描画処理のフレームレートが高い場合に、前記補完画像を生成する
　前記（９）に記載の画像処理装置。
（１１）
　前記取得部は、
　前記第１視野情報として、全天球コンテンツの中心から当該全天球コンテンツをユーザが視聴する領域に対応した視野情報を取得する
　前記（１）～（１０）のいずれか一つに記載の画像処理装置。
（１２）
　前記取得部は、
　前記第１視野情報として、全天球コンテンツの中心以外の点から当該全天球コンテンツをユーザが視聴する領域に対応した視野情報を取得する
　前記（１）～（１１）のいずれか一つに記載の画像処理装置。
（１３）
　コンピュータが、
　広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得し、
　前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する
　画像処理方法。
（１４）
　コンピュータを、
　広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する取得部と、
　前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する生成部と、
　として機能させるための画像処理プログラム。

　１００　画像処理装置
　１１０　通信部
　１２０　記憶部
　１３０　制御部
　１３１　画像取得部
　１３２　表示制御部
　１３３　視野決定部
　１３４　再生部
　１３５　視野情報取得部
　１３６　生成部

Claims

　広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する取得部と、
　前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する生成部と
　を備える画像処理装置。
　前記取得部は、
　広画角画像に予め登録された視線移動を示す情報である推奨視野情報に基づいて、前記第１の視野から所定時間後に遷移すると予測される前記第２の視野の第２視野情報を取得する
　請求項１に記載の画像処理装置。
　前記生成部は、
　前記ユーザの能動的な操作によって前記推奨視野情報とは異なる視線の移動経路が検知された場合に、前記遷移視野情報を生成する
　請求項２に記載の画像処理装置。
　前記取得部は、
　前記ユーザの能動的な操作に基づいて表示部に表示された第１の視野を特定する情報を前記第１視野情報として取得するとともに、前記推奨視野情報に基づいて、当該第１の視野が表示部に表示された所定時間後に表示されると予測される第２の視野を特定する情報を前記第２視野情報として取得する
　請求項３に記載の画像処理装置。
　前記生成部は、
　前記第１視野情報及び前記推奨視野情報に基づいて、前記第１の視野から前記第２の視野までの視線の移動経路を含む前記遷移視野情報を生成する
　請求項３に記載の画像処理装置。
　前記取得部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動経路を取得し、
　前記生成部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動経路、及び、前記推奨視野情報に基づいて、前記第１の視野から前記第２の視野までの視線の移動経路を含む前記遷移視野情報を生成する
　請求項５に記載の画像処理装置。
　前記取得部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動における速度及び加速度を取得し、
　前記生成部は、
　前記第１視野情報が取得されるまでの前記ユーザの視線の移動における速度及び加速度、並びに、前記推奨視野情報として登録された視線の移動における速度及び加速度とに基づいて、前記第１の視野から前記第２の視野までの視線の移動経路を含む前記遷移視野情報を生成する
　請求項６に記載の画像処理装置。
　前記生成部は、
　前記推奨視野情報に設定された速度よりも高速な速度が設定された前記遷移視野情報を生成する
　請求項７に記載の画像処理装置。
　前記生成部は、
　前記遷移視野情報に基づいて、前記第１の視野から前記第２の視野までの視線の移動経路における表示を補完する画像である補完画像を生成する
　請求項２に記載の画像処理装置。
　前記生成部は、
　前記広画角画像に対応する映像のフレームレートよりも表示部による画像の描画処理のフレームレートが高い場合に、前記補完画像を生成する
　請求項９に記載の画像処理装置。
　前記取得部は、
　前記第１視野情報として、全天球コンテンツの中心から当該全天球コンテンツをユーザが視聴する領域に対応した視野情報を取得する
　請求項１に記載の画像処理装置。
　前記取得部は、
　前記第１視野情報として、全天球コンテンツの中心以外の点から当該全天球コンテンツをユーザが視聴する領域に対応した視野情報を取得する
　請求項１に記載の画像処理装置。
　コンピュータが、
　広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得し、
　前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する
　画像処理方法。
　コンピュータを、
　広画角画像におけるユーザの第１の視野を特定する情報である第１視野情報と、前記第１の視野から遷移した遷移先の視野である第２の視野を特定する情報である第２視野情報とを取得する取得部と、
　前記第１視野情報及び前記第２視野情報に基づいて、前記第１の視野から前記第２の視野までの視野の遷移を示す情報である遷移視野情報を生成する生成部と、
　として機能させるための画像処理プログラム。