JP6751205B2 - ディスプレイ装置及びその制御方法 - Google Patents

Description

本発明は、ディスプレイ装置及びその制御方法に関し、特に、コンテンツ映像を受信するためのディスプレイ装置及びその制御方法に関する。

多方位映像（Ｅｘｔｅｎｄｅｄ Ｖｉｄｅｏ）は、複数個のレンズで撮影した映像を、スティッチング（Ｓｔｉｔｃｈｉｎｇ）方式でつなぎ合わせた映像である。多方位映像の例として、３６０度映像の場合、２個以上のレンズを用いて３６０度四方で隙間なく撮影して製作される。このように製作された３６０度映像は、例えばＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）装置などから映像の左、右、上、下、前、後の全面を見ることが可能である。

最近、映像技術の発展に伴ってこのような多方位映像が普遍化しつつあるが、高い画質の多方位映像をユーザに提供するには、一般映像に比べてはるかに大きい帯域幅が要求される。しかし、ユーザが使用する視聴装置のネットワーク状態は千差万別であり、高い画質の多方位映像を連続的に提供することが困難であった。

また、限定されたネットワーク帯域幅を持つ場合にも、ユーザは鮮明で生き生きとした多方位映像を視聴しようとする欲求がある。

ユーザが使用する視聴装置のネットワーク状態は千差万別であり、高い画質の多方位映像を連続的に提供することは困難である。

また、限定されたネットワーク帯域幅を持つ場合にも、ユーザは鮮明で生き生きとした多方位映像を視聴しようとする欲求がある。

したがって、本発明の目的は、多方位映像の視聴時に、ユーザに高い画質の多方位映像を連続的に提供するためのディスプレイ装置及びその制御方法を提供することである。

また、本発明の他の目的は、多方位映像の視聴時に、限定されたネットワーク状態でもユーザに鮮明で生き生きとした多方位映像を提供するためのディスプレイ装置及びその制御方法を提供することである。

一実施例によって、セグメントに分割された複数の解像度のコンテンツを提供するサーバーと通信可能な通信回路を有する通信部と、コンテンツに対して映像処理を行う映像処理部と、処理されたコンテンツの映像を表示するディスプレイ部と、サーバーからコンテンツの第１解像度のセグメントを受信し、受信したセグメントに基づいて立体映像の一領域をディスプレイ部に表示し、立体映像において表示可能性が高い領域に関連した情報をサーバーに伝送し、サーバーから、表示可能性の高い領域に対応し、第１解像度よりも高い第２解像度のセグメントを受信し、受信した第２解像度のセグメントに基づいて立体映像を表示するよう、ディスプレイ装置を制御する制御部と、を備えるディスプレイ装置が提供される。

一実施例によって、多方位映像（例えば、３６０度映像）の視聴時に、ユーザに高い画質の多方位映像を連続的に提供することができる。

前記情報は、前記ユーザの現在視線に関する情報、ユーザたちの時間帯別視線移動に関する情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つを含むことができる。

前記サーバーは、前記ディスプレイ装置から受信された情報、前記コンテンツに含まれている前記コンテンツの製作情報、及び広告情報のうち少なくとも一つに基づいて、前記立体映像において表示可能性が高い領域を決定することができる。これによって、ユーザの視線の移動を予測するための様々な情報を考慮して、画面に表示される可能性が高い多方位映像の領域を高解像度でストリーミングすることができる。

前記制御部は、前記ディスプレイ装置のネットワーク状態に関する情報を前記サーバーに伝送するようにディスプレイ装置を制御し、前記伝送されたネットワーク状態に基づいて前記サーバーから受信されるセグメントの映像の最大解像度を決定することができる。これによって、ユーザの視聴装置のネットワーク状態を考慮して、最適及び／又は向上した解像度で多方位映像をストリーミングすることができる。

前記制御部は、前記サーバーから、前記表示可能性の高い領域に対応しなく、前記第１解像度よりも低い第３解像度で処理されたセグメントを受信することができる。これによって、ユーザの視線移動によって画面に表示される可能性が高い多方位映像の一部を他の部分に比べて高い解像度で処理し、限定されたネットワーク状態でより高い品質の映像を提供することができる。

前記制御部は、前記サーバーから受信される前記表示可能性の高い領域に対応する第１セグメントと、前記表示可能性の高い領域に対応しない第２セグメントとをスティッチング方式で連結するように前記映像処理部を制御することができる。これによって、それぞれ異なる解像度で受信されるセグメントを連結して一つのフレームとして再生することができる。

前記制御部は、前記サーバーから、前記表示可能性の高い領域に対応する第１セグメントを優先的に受信し、前記表示可能性の高い領域に対応しない第２セグメントを後に受信することができる。これによって、画面に表示される可能性が高い多方位映像の一部を優先的にストリーミングし、画面に表示される可能性が小さい部分はその次にストリーミングすることにより、限定されたネットワーク状態でより高い品質の映像を提供することができる。

前記制御部は、前記サーバーに前記表示可能性の高い領域に関連した情報を周期的に伝送するようにディスプレイ装置を制御することができる。これによって、ユーザの視線の移動を予測するための最新の情報を反映して、画面に表示される可能性の高い多方位映像の一部をストリーミングすることができる。

前記制御部は、前記ユーザの現在視線が所定時間以上維持される場合、前記サーバーに前記ユーザの現在視線に関する情報を伝送するようにディスプレイ装置を制御することができる。これによって、画面に表示される可能性が高い多方位映像の一部を決定するに当たり、ユーザの現在視線が一定時間以上維持される状態を有意の情報として反映させることができる。

前記サーバーは、前記セグメントに分割されたコンテンツを複数の解像度別に処理して保存することができる。これによって、画面に表示される可能性が高い多方位映像の領域に対応し、あらかじめ保存されている高解像度のセグメントをストリーミングすることができる。

一実施例によって、セグメントに分割された複数の解像度のコンテンツを提供可能なサーバーと通信する段階と、サーバーからコンテンツの第１解像度のセグメントを受信し、受信したセグメントに基づいて立体映像の一領域を表示する段階と、立体映像において表示可能性が高い領域に関連した情報をサーバーに伝送する段階と、サーバーから、表示可能性の高い領域に対応し、第１解像度よりも高い第２解像度のセグメントを受信する段階と、受信した第２解像度のセグメントに基づいて立体映像を表示する段階とを含むディスプレイ装置の制御方法が提供される。

一実施例によって、多方位映像（例えば、３６０度映像）の視聴時に、ユーザに、高い画質の多方位映像を連続的に提供することができる。

前記情報は、前記ユーザの現在視線に関する情報、ユーザたちの時間帯別視線移動に関する情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つを含むことができる。

前記サーバーは、前記ディスプレイ装置から受信された情報、前記コンテンツに含まれている前記コンテンツの製作情報、及び広告情報のうち少なくとも一つに基づいて、前記立体映像において表示可能性が高い領域を決定することができる。これによって、ユーザの視線の移動を予測するための様々な情報を考慮して、画面に表示される可能性の高い多方位映像の領域を高解像度でストリーミングすることができる。

上記の方法は、前記ディスプレイ装置のネットワーク状態に関する情報をサーバーに伝送する段階と、前記伝送されたネットワーク状態に基づいて前記サーバーから受信されるセグメントの映像の最大解像度を決定する段階とをさらに含むことができる。これによって、ユーザの視聴装置のネットワーク状態を考慮して、最適及び向上した解像度で多方位映像をストリーミングすることができる。

上記の方法は、サーバーから、前記表示可能性の高い領域に対応しなく、前記第１解像度よりも低い第３解像度で処理されたセグメントを受信する段階をさらに含むことができる。これによって、ユーザの視線移動によって画面に表示される可能性が高い多方位映像の一部を、他の部分に比べて高い解像度で処理し、限定されたネットワーク状態でより高い品質の映像を提供することができる。

上記の方法は、サーバーから受信される前記表示可能性の高い領域に対応する第１セグメントと、前記表示可能性の高い領域に対応しない第２セグメントとをスティッチング方式で連結する段階を含むことができる。これによって、それぞれ異なる解像度で受信されるセグメントを連結して一つのフレームとして再生させることができる。

上記の方法は、サーバーから前記表示可能性の高い領域に対応する第１セグメントを優先的に受信する段階と、その次に、前記表示可能性の高い領域に対応しない第２セグメントを受信する段階とをさらに含むことができる。これによって、画面に表示される可能性が高い多方位映像の一部を優先的にストリーミングし、画面に表示される可能性が小さい部分はその次にストリーミングし、限定されたネットワーク状態でより高い品質の映像を提供することができる。

上記の方法は、前記表示可能性の高い領域に関連した情報を周期的にサーバーに伝送する段階をさらに含むことができる。これによって、ユーザの視線の移動を予測するための最新の情報を反映して、画面に表示される可能性が高い多方位映像の一部をストリーミングすることができる。

上記の方法は、ユーザの現在視線が所定時間以上維持される場合、前記ユーザの現在視線に関する情報を前記サーバーに伝送する段階を含むことができる。これによって、画面に表示される可能性が高い多方位映像の一部を決定するに当たり、ユーザの現在視線が一定時間以上維持される状態を有意の情報として反映させることができる。

上記の方法は、サーバーによって前記セグメントに分割されたコンテンツを複数の解像度別に処理して保存する段階をさらに含むことができる。これによって、画面に表示される可能性の高い多方位映像の領域に対応してあらかじめ保存されている高解像度のセグメントをストリーミングすることができる。

上記の通り、本発明によれば、多方位映像の視聴時に、ユーザに高い画質の多方位映像を連続的に提供することができる。

また、本発明によれば、多方位映像の視聴時に、限定されたネットワーク状態でもユーザに鮮明で生き生きとした多方位映像を提供することができる。

本発明の一実施例に係るディスプレイ装置の構成を示すブロック図である。 本発明の一実施例に係るユーザに提供される多方位映像の仮想インターフェースを示す例である。 本発明の一実施例に係る多方位映像の生成方法を示す例である。 本発明の一実施例に係るユーザの視線移動によって画面に表示される多方位映像の例である。 本発明の一実施例に係るディスプレイ装置がサーバーから多方位映像をストリーミングするための過程を示す例である。 本発明の一実施例に係るディスプレイ装置がサーバーから多方位映像をストリーミングするための構成を示すブロック図である。 本発明の一実施例に係るディスプレイ装置の制御方法を示すフローチャートである。

以下、添付の図面を参照して、本発明の実施例について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳しく説明する。本発明は様々な実施の形態が可能であり、ここで説明する実施例に限定されない。本発明を明確に説明するために、明細書全体を通じて同一又は類似の構成要素には同一の参照符号を付ける。

以下では、図１〜図６を用いて、本発明に係るディスプレイ装置１０の構成及び主要実施例について説明する。図１は、本発明の一実施例に係るディスプレイ装置の構成を示すブロック図である。図１に示すように、本発明の実施例によるディスプレイ装置１０は、通信部１１（例えば、通信回路を有り）、映像処理部１２（例えば、映像処理回路を有り）、ディスプレイ部１３、ユーザ入力部１４（例えば、入力回路を有り）、制御部１５（例えば、処理回路を有り）、及び記憶部１６を備え、例えば、限定されず、ＶＲ装置、ＴＶ、スマートフォン、タブレット、コンピュータなどによって具現することができる。本発明のディスプレイ装置１０は、通信部１１を介してサーバー１９に接続され、接続されたサーバー１９からコンテンツの映像信号を受信する。本発明のディスプレイ装置１０に備えられる構成は、上に述べた一実施例によって限定されず、一部の構成が省かれたり、別の構成がさらに備えられてもよい。

本発明の一実施例によるディスプレイ装置１０は、コンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、ディスプレイ部１３に表示される可能性が高いコンテンツの映像の表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を受信する。

また、本発明の一実施例によるディスプレイ装置１０は、コンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、ディスプレイ部１３に表示される可能性が高いコンテンツの映像の表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を処理する。

サーバー１９は、コンテンツ製作者によって製作されたコンテンツの映像を保存し、ディスプレイ装置１０の要請に応じてコンテンツの映像を提供するコンテンツ提供装置とすることができる。ここで、コンテンツの映像は、多方位映像でよく、例えば、全方向から視聴可能な３６０度映像でよい。多方位映像は、２つ以上のレンズでそれぞれ撮影された２つ以上の映像をスティッチング方式でつなぎ合わせて製作する。一実施例として、多方位映像は、領域及び時間帯別にコンテンツ製作者が設定した加重値情報を含むことができ、設定された加重値情報によって、領域及び時間帯別に適用する解像度が決定され得る。

サーバー１９は、複数のコンテンツの複数の映像を保存し、それぞれのコンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…を複数の解像度別に保存する。例えば、サーバー１９に３６０度映像を保存するに、３６０度映像を上、下、左、右、前、後などの全方向を考慮して、上左、上右、上前、上後、下左、下右、下前、下後などの領域に対応する複数のセグメントに分割して保存する。この時、サーバー１９は、分割されたそれぞれのセグメントに対して、解像度が異なる複数の映像として保存する。例えば、３６０度映像から分割された複数のセグメントのうち、上左領域に該当するセグメントに対して、１２８０＊７２０（７２０ｐ）、１９２０＊１０８０（１０８０ｐ）、及び３８４０＊２１６０（４Ｋ）の解像度で映像をそれぞれ保存し、同様に、他のセグメントに対しても複数の解像度別に映像を保存する。

通信部１１は、様々な通信回路（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｃｉｒｃｕｉｔｒｙ）を備えることができ、複数のコンテンツの映像を保存しているサーバー１９と、例えば有線又は無線通信方式で通信し、サーバー１９からコンテンツの映像を受信する。また、通信部１１は、ディスプレイ装置１０に収集されたネットワーク状態、ユーザの現在視線、ユーザのジェスチャー及び音声に関する情報などを、サーバー１９に伝送する。通信部１１は、イーサネット（Ｅｔｈｅｒｎｅｔ（登録商標））などのような有線通信方式でサーバー１９と通信したり、ワイファイ（Ｗｉ−Ｆｉ）又はブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））などのような無線通信方式で無線中継機を介してサーバー１９と通信することができる。例えば、通信部１１は、限定されず、ワイファイのような無線通信モジュールを含む回路基板（ＰＣＢ：Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ）とすることができる。通信部１１が通信する方式はこれに限定されず、他の通信方式を用いてサーバー１９と通信してもよい。

映像処理部１２は、様々な映像処理回路（ｖｉｄｅｏ ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）を備えることができ、通信部１１を介してサーバー１９から受信されたコンテンツの映像信号に対して、既に設定された映像処理プロセスを行う。本発明の実施例によれば、映像処理部１２は、コンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、ディスプレイ部１３に表示される可能性が高いコンテンツ映像の表示予想領域１３１が含まれる少なくとも一つのセグメントの映像が受信されると、受信された少なくとも一つのセグメントの映像に対応するフレームをスティッチング方式で結合し、一つのフレームとなるよう映像処理を行う。

映像処理部１２で行う映像処理プロセスの例には、デマルチプレクシング（ｄｅ−ｍｕｌｔｉｐｌｅｘｉｎｇ）、デコーディング（ｄｅｃｏｄｉｎｇ）、デインターレーシング（ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ）、スケーリング（ｓｃａｌｉｎｇ）、ノイズ減少（ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）、ディテールエンハンスメント（ｄｅｔａｉｌ ｅｎｈａｎｃｅｍｅｎｔ）などがあり、その種類は限定されない。映像処理部１２は、このような様々な機能を統合したＳＯＣ（Ｓｙｓｔｅｍ−Ｏｎ−Ｃｈｉｐ）、又は各プロセスを独自で実行可能な個別構成が装着された映像処理ボードとすることができる。

ディスプレイ部１３は、映像処理部１２で処理された映像信号に基づいて、コンテンツの映像を表示する。本発明の実施例によれば、ディスプレイ部１３は、ユーザ入力に基づいてコンテンツの映像の一部領域を表示する。具体的に、ディスプレイ部１３は、コンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、表示される可能性が高いコンテンツ映像の表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を表示する。

ディスプレイ部１３の具現方式は限定されず、ディスプレイ部１３は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）などの様々な形態とすることができる。

ユーザ入力部１４は、様々な入力回路（ｉｎｐｕｔ ｃｉｒｃｕｉｔｒｙ）を備えることができ、ディスプレイ装置１０の少なくとも一つの機能を制御するためのユーザ入力を受信する。本発明の実施例によれば、ユーザ入力部１４は、ディスプレイ部１３にコンテンツの映像の一部領域を表示するためのユーザ入力を受信する。

ユーザ入力部１４は様々な入力回路を含むことができ、例えば、赤外線方式でディスプレイ装置１０と通信し、複数のボタンを有するリモートコントローラによって具現することができる。ユーザ入力部１４は、キーボード、マウスなどによって具現したり、ディスプレイ装置１０に設けられるタッチスクリーン又は外側に設けられる入力パネルによって具現することもできる。また、ユーザ入力部１４は、瞳孔又は首の動きにしたがってユーザの視線移動を感知できる虹彩認識センサー（ｓｅｎｓｏｒ）やジャイロセンサー（Ｇｙｒｏ ｓｅｎｓｏｒ）によって具現することもできる。その他にも、ユーザ入力部１４は、ユーザの音声を感知できる音声認識センサーや、ユーザのジェスチャーを感知できるモーション認識センサーなどによって具現することもできる。

記憶部１６は、ディスプレイ装置１０で再生可能な複数のコンテンツの映像を保存する。記憶部１６は、通信部１１を介してサーバー１９から受信されたコンテンツの映像を保存したり、ディスプレイ装置１０に直接接続されるＵＳＢメモリなどの装置から取得したコンテンツの映像を保存することができる。記憶部１６は、保存されたコンテンツ映像のデータに対して読出し（ｒｅａｄ）、書込み（ｗｒｉｔｅ）、修正（ｅｄｉｔ）、削除（ｄｅｌｅｔｅ）、更新（ｕｐｄａｔｅ）が行われるようにする。記憶部１６は、ディスプレイ装置１０のシステム電源の提供有無に関係なくデータを保存できるよう、フラッシュメモリ（ｆｌａｓｈ−ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ−ｄｉｓｃ ｄｒｉｖｅ）のような不揮発性メモリによって具現される。

制御部１５は、様々な処理回路（ｐｒｏｃｅｓｓｉｎｇ ｃｉｒｃｕｉｔｒｙ）を備えることができ、ディスプレイ装置１０に含まれた全ての構成が動作を実行できるようプログラム命令の実行を制御する少なくとも一つのプロセッサ（ｐｒｏｃｅｓｓｏｒ）によって具現される。少なくとも一つのプロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって具現することができ、例えば、制御、演算、レジスターの３つの領域を有する。制御領域はプログラム命令語を解析し、解析された命令の意味によって、ディスプレイ装置１０の各構成に動作を指示する。演算領域は、算術演算及び論理演算を行い、制御領域の指示にしたがってディスプレイ装置１０の各構成が動作するために必要な演算を行う。レジスター領域は、ＣＰＵで命令語を実行する上で必要な情報を保存する記憶場所であり、ディスプレイ装置１０の各構成に対する命令語及びデータを保存し、演算された結果を保存する。

制御部１５は、コンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、ディスプレイ部１３に表示される可能性が高いコンテンツの映像の表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を受信する。制御部１５は、受信されたセグメントの映像を処理してディスプレイ部１３に表示する。

ここで、表示予想領域は、ユーザの現在視線、ユーザたちの時間帯別視線移動情報、当該コンテンツの製作情報、広告情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つに基づいて決定することができる。

一実施例として、制御部１５は、ユーザの現在視線方向に対応するコンテンツ映像の一部が含まれたセグメントの映像を、サーバー１９からストリーミングすることができる。これによって、コンテンツ映像を視聴する際に、ユーザの現在視線が止まっている領域をより高い品質で視聴可能にする。

制御部１５は、ユーザの現在視線が所定時間以上止まる（例えば、維持される）場合、ユーザの現在視線に関する情報をサーバー１９に伝送し、現在視線に対応するコンテンツ映像の一部がユーザによって再度選択される場合、高い品質で処理されるようにし得る。例えば、ディスプレイ装置１０は、ユーザがコンテンツ映像の再生時に選択した画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）が所定時間維持される場合、当該画角に関する情報をサーバー１９に伝送する。これによって、ユーザが選択した有意の画角に対して高品質の映像をストリーミングできるようにする。

一実施例として、制御部１５は、コンテンツの映像を、以前に視聴したユーザたちの視聴ヒストリー情報のうち、時間帯別ユーザたちの視線移動情報を用いて、ディスプレイ部１３に表示される可能性が高い領域に対応するセグメントの映像を、サーバー１９からストリーミングすることができる。

ここで、サーバー１９は、時間帯別ユーザたちの視線移動情報に基づいて、コンテンツ映像に対する時間帯別推薦画角情報を生成することができる。この時、サーバー１９は、生成した時間帯別推薦画角情報を用いて、ストリーミングのための画角別コンテンツ映像の解像度を調整することができる。

これによって、コンテンツ映像を視聴するに当たり、以前に視聴したユーザたちの時間帯別視線移動情報を考慮して、現在のユーザによって表示される可能性が高いコンテンツ映像の領域をより高い品質で視聴できるようにし得る。

一実施例として、制御部１５は、コンテンツ製作者によってコンテンツの映像に対して与えられた領域及び時間帯別の加重値情報に対応するセグメントの映像を、サーバー１９からストリーミングすることができる。これによって、ユーザがコンテンツ映像を視聴する際に、コンテンツ製作者が意図した領域及び時間帯に対応するコンテンツ映像の領域をより高い品質で視聴できるようにし得る。

一実施例として、制御部１５は、コンテンツの映像に挿入される広告コンテンツが含まれる領域及び時間帯に対応するセグメントの映像を、サーバー１９からストリーミングすることができる。これによって、ユーザがコンテンツ映像を視聴する際に、コンテンツの映像に含まれた広告をより高い品質で視聴できるようにする。

一実施例として、制御部１５は、ユーザの音声発話又はジェスチャーに基づいて、ディスプレイ部１３に表示される可能性が高い領域に対応するセグメントの映像を、サーバー１９からストリーミングすることができる。これによって、ユーザがコンテンツ映像を視聴する際に、ユーザの音声又はジェスチャーによって表示されるコンテンツ映像の領域をより高い品質で視聴できるようにし得る。

制御部１５は、表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を高い解像度で処理し、優先的に受信することができる。例えば、ユーザがコンテンツ映像を視聴時に、ユーザの現在視線が所定時間以上止まっている領域を、より高い解像度で提供することができる。

制御部１５は、複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、表示予想領域１３１に対応する少なくとも一つの第１セグメントの映像を受信した後、表示予想領域１３１に対応しない少なくとも一つの第２セグメントの映像を受信することができる。例えば、コンテンツ映像を視聴時に、以前に視聴したユーザたちの時間帯別視線移動情報を考慮して、現在ユーザの視線移動によって表示される可能性が高い領域に対応するセグメントの映像を優先的に受信することによって、限定されたネットワーク状態でも高い品質の映像を提供することができる。

制御部１５はサーバー１９から、表示予想領域１３１が含まれる少なくとも一つのセグメントの映像をストリーミングすることができる。ここで、制御部１５は、ディスプレイ装置１０のネットワーク状態に関する情報をサーバー１９に伝送し、伝送されたネットワーク状態に関する情報に基づいてサーバー１９からストリーミングされる少なくとも一つのセグメントの映像の最大解像度を決定することができる。これによって、サーバー１９から、ディスプレイ部１３に表示される可能性が高い表示予想領域１３１の映像を高い品質で連続的に提供することができる。また、ディスプレイ装置１０のネットワーク状態を考慮して最適及び／又は向上した解像度で映像を提供することができる。

本発明のさらに他の実施例によれば、制御部１５は、コンテンツの映像から分割された複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、ディスプレイ部１３に表示される可能性が高いコンテンツの映像の表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を、高い品質で処理する。

ここで、表示予想領域１３１は、ユーザの現在視線、ユーザたちの時間帯別視線移動情報、当該コンテンツの製作情報、広告情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つに基づいて決定することができる。これによって、ユーザの視線の移動を予測するための様々な情報を考慮して、画面に表示されるコンテンツ映像の領域を予測し、より高い品質で処理することができる。

制御部１５は、表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を高い解像度で処理することができる。これによって、ユーザの視線移動によって画面に表示される可能性が高いコンテンツ映像の一部を高い画質で提供することができる。

制御部１５は、複数のセグメントの映像１９１，１９２，１９３，１９４，１９５，１９６，…のうち、表示予想領域１３１に対応する少なくとも一つの第１セグメントの映像を第１解像度で処理し、表示予想領域１３１に対応しない上記少なくとも一つの第２セグメントの映像を、第１解像度よりも低い第２解像度で処理することができる。

制御部１５はサーバー１９から、表示予想領域１３１が含まれる少なくとも一つのセグメントの映像を高い解像度でストリーミングすることができる。例えば、図４に示すように、ユーザの視線移動４９によって、ディスプレイ部１３に表示されていた多方位映像２１の第１表示予想領域４８１が第２表示予想領域４８２に移動する場合、多方位映像２１から分割された複数のセグメントの映像４１，４２，４３，４４，４５，４６のうち、第２表示予想領域４８２が含まれる４個のセグメントの映像４２，４３，４５，４６を高い解像度でストリーミングする。この時、複数のセグメントの映像４１，４２，４３，４４，４５，４６のうち、第２表示予想領域４８２が含まれないセグメントの映像４１，４４は、４個のセグメントの映像４２，４３，４５，４６よりも低い解像度でストリーミングする。

このような実施例によれば、ユーザの視線移動によって画面に表示される可能性が高いコンテンツ映像の一部を、他の部分に比べて高い解像度でストリーミングすることにより、限定されたネットワーク状態でユーザに鮮明な画質の映像を提供することができる。

制御部１５は、ディスプレイ装置１０のネットワーク状態に関する情報をサーバー１９に伝送し、伝送されたネットワーク状態に基づいてサーバー１９からストリーミングされる少なくとも一つのセグメントの映像の最大解像度を決定することができる。これによって、ディスプレイ装置１０のネットワーク状態を考慮して、ユーザに最適の解像度でコンテンツ映像を提供することができる。

上記のように、本発明の実施例によるディスプレイ装置１０は、多方位映像の視聴時に、ユーザに高い画質の多方位映像を連続的に提供することができる。また、限定されたネットワーク状態でもユーザに鮮明で生き生きとした多方位映像を提供することができる。

図２は、本発明の一実施例に係る、ユーザに提供される多方位映像の仮想インターフェースを示す例である。図２に示すように、ユーザがＶＲ装置２２を介して多方位映像２１を視聴する場合、ＶＲ装置２２の画面には、ユーザの現在視線方向に対応して、多方位映像２１の一部、すなわち第１表示予想領域の映像２３が表示される。この時、多方位映像２１において第１表示予想領域の映像２３が含まれる領域を高い解像度でストリーミングし、ユーザに高い品質の映像を提供することができる。

一実施例として、多方位映像２１を以前に視聴したユーザたちの視聴ヒストリー情報のうち、時間帯別ユーザたちの視線移動情報を参照して、ＶＲ装置２２の画面に表示される可能性の高い映像として第２表示予想領域の映像２４を予測することができる。この場合、多方位映像２１において第２表示予想領域の映像２４が含まれる領域を優先的にストリーミングすることができる。また、第２表示予想領域の映像２４が含まれる領域を高い解像度でストリーミングすることができる。

他の実施例として、多方位映像２１に挿入されている広告コンテンツが含まれる領域及び時間帯に関する情報を参照して、ＶＲ装置２２の画面に表示される可能性の高い映像として第３表示予想領域の映像２５が予測されてもよい。この場合、多方位映像２１において第３表示予想領域の映像２５が含まれる領域を優先的にストリーミングすることができる。また、第３表示予想領域の映像２５が含まれる領域を高い解像度でストリーミングすることができる。

上記のように、本発明の実施例によれば、多方位映像２１の視聴時に、ユーザの現在視線情報、以前に視聴したユーザたちの視聴ヒストリー情報及び広告情報など、ユーザの視線移動を予測するための様々な情報を考慮して、画面に表示される可能性が高い多方位映像２１の一部を高い品質で提供することができる。

図３は、本発明の一実施例に係る多方位映像の生成方法を示す例である。図３に示すように、多方位映像の例として、３６０度映像を生成するために、まず複数台のカメラを用いて全方位に対応する複数の映像を撮影する。例えば、撮影範囲が１８０度である第１レンズ及び第２レンズを用いてそれぞれ撮影された第１方位映像３１及び第２方位映像３２を取得する。

第１方位映像３１及び第２方位映像３２がスティッチング方式で連結されて球形（Ｓｐｈｅｒｅ）にマップされ、その後、個別の機器で互換可能に正弦円筒（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ）平面映像３４の形態にマップされる。この時、正弦円筒平面映像３４は、例えば、地球儀を平面地図（ｆｌａｔ ｍａｐ）として表現する方式で生成される。

次に、ユーザがディスプレイ装置１０で正弦円筒平面映像３４を再生できるよう、正弦円筒平面映像３４をワーピング（Ｗａｒｐｉｎｇ）方式で球形にマップすることによって球形立体映像３５が生成される。この時、球形立体映像３５からユーザの選択した領域が抽出され（ｃｒｏｐｐｅｄ）、拡大及び縮小され（ｚｏｏｍｅｄ ｉｎ ａｎｄ ｏｕｔ）、抽出された映像の画質を補正した後、画面に出力する。

上記のように、本発明の実施例によれば、複数のレンズによって撮影された全方位に対応する複数の映像を連結して３６０度映像のような多方位映像を生成することができる。

図４は、本発明の一実施例に係る、ユーザの視線移動によって画面に表示される多方位映像の例を示す。図４に示すように、多方位映像２１は、複数のセグメントの映像４１，４２，４３，４４，４５，４６に分割されてサーバー１９に保存される。この時、複数のセグメントの映像４１，４２，４３，４４，４５，４６は、異なる複数の解像度別に保存され得る。

一実施例として、複数のセグメントの映像４１，４２，４３，４４，４５，４６のうち、ユーザの視線が所定時間以上止まっている多方位映像２１の第１表示予想領域４８１が含まれる第６セグメントの映像４６を高い解像度でストリーミングする。

一実施例として、ユーザの視線移動４９によって、ディスプレイ部１３に表示された多方位映像２１の第１表示予想領域４８１が第２表示予想領域４８２へ移動する場合を予測できよう。このとき、ユーザの視線移動４９による第１表示予想領域４８１から第２表示予想領域４８２への移動は、以前に視聴したユーザたちの時間帯別視線移動情報、コンテンツの製作情報、広告情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つに基づいて予測され得る。

このように第２表示予想領域４８２への移動が予測される場合、複数のセグメントの映像４１，４２，４３，４４，４５，４６のうち、第２表示予想領域４８２が含まれる４個のセグメントの映像４２，４３，４５，４６を優先的に受信する。この時、第２表示予想領域４８２が含まれる４個のセグメントの映像４２，４３，４５，４６は高い解像度でストリーミングし、第２表示予想領域４８２が含まれないセグメントの映像４１，４４は、４個のセグメントの映像４２，４３，４５，４６よりも低い解像度でストリーミングする。

このように、ユーザの視線移動によって画面に表示される可能性が高いコンテンツ映像の一部を、他の部分に比べて高い解像度でストリーミングすることによって、限定されたネットワーク状態でユーザに鮮明な画質の映像を提供することができる。

図５は、本発明の一実施例に係る、ディスプレイ装置がサーバーから多方位映像をストリーミングするための過程を示す例である。図５に示すように、サーバー１９は、コンテンツ製作者によって製作されたコンテンツの映像を、複数のセグメントに分割して保存する。この時、コンテンツの映像は、複数台のカメラを用いて全方位に対応して撮影された複数の映像をスティッチング方式で連結して生成した多方位映像（例えば、３６０度映像）でよい。サーバー１９は、このように生成された多方位映像２１を正弦円筒平面映像の形態にマップした後、複数のセグメントに分割してそれぞれ保存する。

ここで、サーバー１９は、多方位映像２１を複数のセグメントに分割して保存する時、それぞれのセグメントを複数の解像度別に処理して保存することができる。

図５の（１）を参照すると、ディスプレイ装置１０は、ユーザの再生要請に応じて、サーバー１９から、多方位映像２１が分割された複数のセグメントの映像のそれぞれを受信する。この時、受信される複数のセグメントの映像は、第１解像度を有する。

図５の（２）を参照すると、ディスプレイ装置１０は、受信された第１解像度の複数のセグメントの映像をスティッチング方式で連結して立体映像３５を生成する。例えば、サーバー１９に保存されたコンテンツの映像が３６０度映像である場合、ディスプレイ装置１０に球形立体映像３５として生成される。

図５の（３）を参照すると、ユーザの選択によって球形立体映像３５の一部３３３を画面に表示する。この時、球形立体映像３５の一部３３３は、受信された複数のセグメントに対応して第１解像度で表示される。

図５の（４）を参照すると、ディスプレイ装置１０は、画面に表示される可能性が高い領域を決定するための情報を、サーバー１９に伝送する。情報は、ユーザの現在視線、ユーザたちの時間帯別視線移動情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つを含む。例えば、ユーザの現在視線が所定時間以上止まる場合、ユーザの現在視線に関する情報をサーバー１９に伝送し、ストリーミングする領域を決定することができる。他の例として、多方位映像２１を以前に再生したユーザたちの時間帯別視線移動情報をサーバー１９に伝送し、ストリーミングする領域を決定することができる。サーバー１９に伝送される情報は、このような本発明の実施例に限定されず、多方位映像２１の全領域のうち、ユーザが画面に表示する可能性の高い領域を決定するために必要な追加の情報をさらに含んでもよい。

図５の（５）を参照すると、ディスプレイ装置１０はサーバー１９から、情報に基づいて決定された表示可能性の高い領域６６６に対応し、第１解像度よりも高い第２解像度を持つように処理された少なくとも一つのセグメントを受信する。

図５の（６）を参照すると、ディスプレイ装置１０は、球形立体映像３５のうち、受信された第２解像度の少なくとも一つのセグメントに対応する領域を画面に表示する。

上記のような実施例によって、本発明のディスプレイ装置１０は、３６０度映像を視聴する際に、ユーザの視線又は既存ユーザたちの視線移動情報などを用いて、画面に表示される可能性が高い３６０度映像の一部をより鮮明な画質で提供することができる。

図６は、本発明の一実施例に係るディスプレイ装置がサーバーから多方位映像をストリーミングするための構成を示すブロック図である。図６に示すように、多方位映像２１は、コンテンツ製作者によって映像製作装置５１で製作され、コンテンツプロバイダー側のサーバー１９にアップロードされる。映像製作装置５１は、例えばＰＣ、スマートフォン、タブレットなどの装置でよく、コンテンツ映像の撮影及び編集機能を有することができる。サーバー１９にアップロードされた多方位映像２１は、ディスプレイ装置１０からのユーザの再生要請に応じてディスプレイ装置１０に提供される。

多方位映像２１を製作するために、映像製作装置５１は、コンテンツ製作者が複数のレンズを用いて全方位に対応して撮影（５１１）した複数の映像を取得する。映像製作装置５１は、撮影されたそれぞれの映像のフレームをイメージの形態で抽出（５１２）する。映像製作装置５１は、抽出されたそれぞれのイメージに対して、特定領域及び時間帯別に加重値を設定（５１３）する。この時、特定領域及び時間帯別の加重値は、コンテンツ製作者の製作意図によって設定され、このように設定された加重値は、サーバー１９で多方位映像２１のストリーミング時に複数のセグメント別解像度に反映され得る。

それぞれのイメージに対して加重値を設定した後、映像製作装置５１は、それぞれのイメージをスティッチング方式で連結（５１４）し、連結されたイメージをフレームの形態に映像処理して多方位映像２１を生成する。

上記のとおりに、映像製作装置５１によって生成された多方位映像２１は、コンテンツプロバイダー側に設けられたサーバー１９にアップロードされる。

サーバー１９は、映像製作装置５１で製作された複数の多方位映像２１を受信して保存する。ここで、サーバー１９は、多方位映像２１から、複数のセグメント及び複数の解像度別の全ての組合せに対応するそれぞれの映像５２を生成し、保存する。一実施例として、サーバー１９は、多方位映像２１の全体領域を上左、上右、上前、上後、下左、下右、下前、下後などの領域に対応する複数のセグメントに分割し、それぞれのセグメントに対して解像度が異なる複数の映像に保存する。例えば、多方位映像２１から分割された複数のセグメントのうち、上左領域に該当するセグメントに対して、１２８０＊７２０（７２０ｐ）、１９２０＊１０８０（１０８０ｐ）及び３８４０＊２１６０（４Ｋ）の解像度で映像をそれぞれ保存することができる。同様に、他のセグメントに対しても複数の解像度別に映像を保存することができる。

ディスプレイ装置１０は、多方位映像２１を視聴するためのユーザの再生要請を受信する。ユーザの再生要請に応答して、ディスプレイ装置１０は、現在のネットワーク状態５３１に関する情報、例えば虹彩認識センサー又はジャイロセンサーなどによって感知されたユーザの現在視線に関する情報、ユーザのジェスチャー及び音声に関する情報などを収集（５３２）し、収集された情報をサーバー１９に伝送する。

サーバー１９は、ディスプレイ装置１０から伝送されたネットワーク状態５３１に関する情報に基づいて、多方位映像２１をストリーミングするための最大解像度を決定する。

サーバー１９は、ディスプレイ装置１０から伝送されたユーザの現在視線に関する情報及びユーザのジェスチャー及び音声に関する情報と、以前に視聴したユーザたちの時間帯別視線移動情報、多方位映像２１の製作時に設定された加重値情報、広告情報のうち少なくとも一つに基づいて、複数のセグメントのそれぞれに対する加重値を判断する。

サーバー１９は、上記のように判断された複数のセグメント別加重値情報を用いて、多方位映像２１の複数のセグメント別ストリーミングのための解像度を決定する。例えば、複数のセグメントのうち、上左領域に該当するセグメントの加重値が高く判断された場合、１２８０＊７２０（７２０ｐ）、１９２０＊１０８０（１０８０ｐ）及び３８４０＊２１６０（４Ｋ）の解像度で保存されたそれぞれの映像のうち、最高の解像度で処理された３８４０＊２１６０（４Ｋ）の映像がストリーミングされるようにする。一方、上右領域に該当するセグメントの加重値が低く判断された場合、最低の解像度で処理された１２８０＊７２０（７２０ｐ）の映像をストリーミングさせる。

上記のように、サーバー１９は、多方位映像２１の複数のセグメント別に異なる解像度で処理されたそれぞれの映像をディスプレイ装置１０にストリーミングさせることによって、アダプティブストリーミング（ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ）を具現することになる。

ディスプレイ装置１０は、サーバー１９からアダプティブストリーミングによって受信した複数のセグメント別に異なる解像度のそれぞれの映像を、スティッチング方式で連結して一つのフレームとし、このように生成されたイメージフレームを用いて多方位映像２１を再生（５３３）する。

ディスプレイ装置１０は、多方位映像２１の再生（５３３）時に、ユーザの視線に対応する画角情報を用いて、多方位映像２１の全領域のうち、該当の画角に対応する領域を抽出（ｃｒｏｐｐｉｎｇ）して画面に表示する。

上記のように、サーバー１９から受信した複数のセグメント別映像を、スティッチング方式で連結し、連結された全体映像の中から視線に対応する一部を抽出する動作は、ディスプレイ装置１０のグラフィックプロセシングユニット（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって行うことができる。

ディスプレイ装置１０は、多方位映像２１が再生（５３３）される間に、ネットワーク状態、ユーザの現在視線、ユーザのジェスチャー及び音声などの情報をサーバー１９に連続的に伝送する。サーバー１９は、ディスプレイ装置１０から連続的に提供される情報を用いて、複数のセグメント別加重値情報を調整し、調整された情報を用いて複数のセグメント別解像度を変更してアダプティブストリーミングすることができる。

図７は、本発明の一実施例に係るディスプレイ装置の制御方法を示すフローチャートである。図７に示すように、動作Ｓ６１で、ディスプレイ装置１０は、複数のセグメントに分割されたコンテンツの映像を保存しているサーバー１９と通信する。ここで、サーバー１９は、複数のセグメントに分割されたコンテンツの映像を複数の解像度別に処理して保存することができる。

動作Ｓ６２で、ディスプレイ装置１０は、サーバー１９から第１解像度で処理された複数のセグメントの映像を受信し、立体映像３５を生成する。サーバー１９に保存されたコンテンツの映像が複数のカメラによって撮影されて製作された３６０度映像である場合、立体映像は球形に生成される。

動作Ｓ６３で、ディスプレイ装置１０は、立体映像３５の一領域を表示する。動作Ｓ６３は、立体映像３５の全領域のうち、ユーザによって選択された領域を表示したり、デフォルトに設定された立体映像３５の初期再生位置に対応する領域を表示する動作を含むことができる。

動作Ｓ６４で、ディスプレイ装置１０は、立体映像３５の全領域のうち表示可能性の高い領域を決定するための情報を、サーバー１９に伝送する。ここで、情報は、ユーザの現在視線、ユーザたちの時間帯別視線移動情報、ユーザのジェスチャー及び音声に関する情報のうち少なくとも一つを含むことができる。

一実施例によって、動作Ｓ６４は、サーバー１９に情報を周期的に伝送する動作を含むことができる。これによって、ユーザの視線の移動を予測するための最新の情報を反映して、画面に表示される可能性が高い多方位映像の一部をストリーミングすることができる。

一実施例によって、動作Ｓ６４は、ディスプレイ装置１０のネットワーク状態に関する情報をサーバー１９に伝送する動作と、伝送されたネットワーク状態に関する情報に基づいてサーバー１９から受信される少なくとも一つのセグメントの映像の最大解像度を決定する動作を含むことができる。これによって、ネットワーク状態を考慮して、最適の解像度で多方位映像をストリーミングすることができる。

動作Ｓ６５で、ディスプレイ装置１０はサーバー１９から、情報に基づいて決定された表示可能性の高い領域に対応し、第１解像度よりも高い第２解像度を持つように処理された少なくとも一つのセグメントを受信する。ここで、サーバー１９は、ディスプレイ装置１０から受信した情報とコンテンツ映像に付加情報として含まれているコンテンツの製作情報及び広告情報のうち少なくとも一つに基づいて、立体映像３５の全領域のうち、ディスプレイ部１３に表示される可能性の高い領域を決定することができる。

一実施例によって、動作Ｓ６５は、決定された表示可能性の高い領域に対応しなく、且つ第１解像度よりも低い第３解像度で処理された少なくとも一つのセグメントを、サーバー１９から受信する動作を含むことができる。これによって、画面に表示される可能性が高い多方位映像の一部を、他の部分に比べて高い解像度で処理し、限定されたネットワーク状態でより高い品質の映像を提供することができる。

一実施例によって、動作Ｓ６５は、サーバー１９から、決定された表示可能性の高い領域に対応する少なくとも一つの第１セグメントを優先的に受信し、その次に、表示可能性の高い領域に対応しない少なくとも一つの第２セグメントを受信する動作を含むことができる。これによって、画面に表示される可能性が高い多方位映像の一部を優先的にストリーミングし、限定されたネットワーク状態でより高い品質の映像を提供することができる。

一実施例によって、動作Ｓ６５は、サーバー１９から受信する、決定された表示可能性が高い領域に対応する少なくとも一つの第１セグメントと、表示可能性が高い領域に対応しない少なくとも一つの第２セグメントとをスティッチング方式で連結する動作を含むことができる。これによって、異なる解像度で受信される複数のセグメントを連結して一つのフレームとして再生することができる。

動作Ｓ６６で、ディスプレイ装置１０は、受信した第２解像度の少なくとも一つのセグメントに対応する領域を表示する。

上記のような一実施例に係るディスプレイ装置の制御方法は、多方位映像の視聴時に、限定されたネットワーク状態でもユーザに鮮明で生き生きとした多方位映像を提供する。

上記のように、一実施例によれば、ユーザが多方位映像を視聴する際に、ユーザに高い画質の多方位映像を連続的に提供することができる。

また、一実施例によれば、ユーザが多方位映像を視聴する際に、限定されたネットワーク状態でもユーザに鮮明で生き生きとした多方位映像を提供することができる。

以上、好適な実施例を挙げて本発明に関して詳しく説明したが、本発明はそれらに限定されるものではなく、特許請求の範囲内で様々に実施可能である。

Claims (15)

1. ディスプレイ装置であって、
   サーバーと通信可能な通信回路を有する通信部と、
   ディスプレイ部と、
   前記サーバーからコンテンツのセグメントを受信し、
   該受信されたセグメントに基づいて球形映像を生成し、
   前記球形映像の第１領域を前記ディスプレイ部に表示し、
   前記球形映像において表示可能性が高い第２領域を予測するために、前記サーバーによって使用可能な情報を前記サーバーに伝送し、
   前記サーバーから、前記第２領域に対応するセグメントと、前記球形映像において第３領域に対応するセグメントを受信し、前記第２領域に対応するセグメントは、前記第３領域に対応するセグメントよりも高い解像度を有し、
   第２領域に対応する前記受信されたセグメントと第３領域に対応する前記受信されたセグメントに基づいて前記球形映像を生成するよう、前記ディスプレイ装置を制御する制御部と、
   を備えるディスプレイ装置。
2. 前記情報は、現在視線に関する情報、時間帯別視線移動に関する情報、ジェスチャー又は音声に関する情報のうち少なくとも一つを含む、請求項１に記載のディスプレイ装置。
3. 前記サーバーは、前記ディスプレイ装置から受信された情報、前記コンテンツに含まれている前記コンテンツの製作情報、又は広告情報のうち少なくとも一つに基づいて、前記第２領域を識別する、請求項２に記載のディスプレイ装置。
4. 前記制御部は、前記ディスプレイ装置のネットワーク状態に関する情報をさらに前記サーバーに伝送し、前記ネットワーク状態に基づいて前記サーバーから受信されるセグメントの映像の最大解像度を識別する、請求項１に記載のディスプレイ装置。
5. 前記第３領域は、表示可能性の高くない領域に対応する、請求項１に記載のディスプレイ装置。
6. 前記制御部は、前記第２領域に対応する第１セグメントと、前記第３領域に対応する第２セグメントとをスティッチング方式で連結するように映像処理部を制御する、請求項１に記載のディスプレイ装置。
7. 前記制御部は、前記第２領域に対応する第１セグメントを受信し、次に、前記第３領域に対応する第２セグメントを受信する、請求項１に記載のディスプレイ装置。
8. 前記制御部は、前記サーバーに前記第２領域を予測するために前記サーバーによって使用可能な情報を周期的に伝送するように前記ディスプレイ装置を制御する、請求項１に記載のディスプレイ装置。
9. 前記制御部は、ユーザの現在視線が所定時間以上維持される場合、前記現在視線に関する情報を前記サーバーに伝送するように前記ディスプレイ装置を制御する、請求項２に記載のディスプレイ装置。
10. 前記サーバーは、前記セグメントに分割されたコンテンツを複数の解像度別に処理して保存する、請求項１に記載のディスプレイ装置。
11. ディスプレイ装置の制御方法であって、
    サーバーからコンテンツのセグメントを受信する段階と、
    前記受信されたセグメントに基づいて球形映像を生成する段階と、
    前記球形映像の第１領域を表示する段階と、
    前記球形映像において表示可能性が高い第２領域を予測するために、前記サーバーによって使用可能な情報を前記サーバーに伝送する段階と、
    前記サーバーから、前記第２領域に対応するセグメントと、前記球形映像において第３領域に対応するセグメントを受信する段階と、
    第２領域に対応する前記受信されたセグメントと第３領域に対応する前記受信されたセグメントに基づいて前記球形映像を表示する段階と、
    を含むディスプレイ装置の制御方法。
12. 前記情報は、現在視線に関する情報、時間帯別視線移動に関する情報、ジェスチャー又は音声に関する情報のうち少なくとも一つを含む、請求項１１に記載のディスプレイ装置の制御方法。
13. 前記サーバーは、前記ディスプレイ装置から受信された情報、前記コンテンツに含まれている前記コンテンツの製作情報、又は広告情報のうち少なくとも一つに基づいて、前記第２領域を識別する、請求項１２に記載のディスプレイ装置の制御方法。
14. 前記サーバーに前記ディスプレイ装置のネットワーク状態に関する情報を伝送する段階と、
    前記ネットワーク状態に基づいて前記サーバーから受信されるセグメントの映像の最大解像度を識別する段階とをさらに含む、請求項１１に記載のディスプレイ装置の制御方法。
15. 前記第３領域は、表示可能性の高くない領域に対応する、請求項１１に記載のディスプレイ装置の制御方法。

Images