JP7091703B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP7091703B2 JP7091703B2 JP2018031475A JP2018031475A JP7091703B2 JP 7091703 B2 JP7091703 B2 JP 7091703B2 JP 2018031475 A JP2018031475 A JP 2018031475A JP 2018031475 A JP2018031475 A JP 2018031475A JP 7091703 B2 JP7091703 B2 JP 7091703B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image data
- video
- display
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明の目的は、広画角動画を表示する場合に、広画角動画から切り出した一部の動画を表示装置に送信する構成と比較して、表示方向が変化した場合であっても広画角動画を連続して表示させる可能性を高めることにある。
請求項2に記載の発明は、前記予め定められた領域は、前記予め定められた複数の方向の方向毎に、当該方向を基準として予め定められた大きさを持つ領域であることを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記記憶手段に記憶された動画データは、前記予め定められた複数の方向の方向毎に、前記広画角動画からなる球を、当該球を囲む多面体に投影して得られる動画データであることを特徴とする請求項1に記載の情報処理装置である。
請求項4に記載の発明は、前記予め定められた領域は、前記多面体の面のうち、予め定められた方向の方向先を含む一の面であり、前記周辺領域は、当該多面体の面のうち、当該一の面を除く面であることを特徴とする請求項3に記載の情報処理装置である。
請求項5に記載の発明は、前記多面体は、前記球に外接する立方体であることを特徴とする請求項3に記載の情報処理装置である。
請求項6に記載の発明は、前記送信手段は、前記予め定められた領域に前記表示方向の方向先を含む動画データとして、前記予め定められた複数の方向の中で当該表示方向に最も近い方向の動画データを送信することを特徴とする請求項1に記載の情報処理装置である。
請求項7に記載の発明は、前記送信手段は、前記予め定められた複数の方向の中で前記表示方向に最も近い方向である第1の方向の動画データを送信した後、当該表示方向に最も近い方向が当該第1の方向から第2の方向に変化した場合には、当該第2の方向の動画データを送信することを特徴とする請求項6に記載の情報処理装置である。
請求項8に記載の発明は、広画角動画について、予め定められた複数の方向の方向毎に、当該方向を基に予め定められた領域の動画と当該予め定められた領域の周辺にある周辺領域の動画であって当該予め定められた領域の動画よりも解像度の低い動画とを示す動画データを作成する作成手段と、前記予め定められた複数の方向の方向毎に作成された複数の動画データのうち、指定された方向に対応する動画データを、前記広画角動画を表示する表示装置に送信する送信手段とを備える情報処理システムである。
請求項9に記載の発明は、コンピュータに、広画角動画の表示方向の指定を受け付ける機能と、前記広画角動画について、予め定められた複数の方向の方向毎に、当該方向を基に予め定められた領域の動画と当該予め定められた領域の周辺にある周辺領域の動画であって当該予め定められた領域の動画よりも解像度の低い動画とを示す動画データを記憶する機能と、前記広画角動画の動画データとして、前記予め定められた複数の方向の方向毎に記憶された複数の動画データのうち、前記予め定められた領域に前記表示方向の方向先を含む動画データを、当該広画角動画を表示する表示装置に送信する機能とを実現させるためのプログラムである。
請求項2記載の発明によれば、より確実に、広画角動画を連続して表示させる可能性を高めることができる。
請求項3記載の発明によれば、より確実に、広画角動画を連続して表示させる可能性を高めることができる。
請求項4記載の発明によれば、より確実に、広画角動画を連続して表示させる可能性を高めることができる。
請求項5記載の発明によれば、立方体を除く多面体に投影する場合と比較して、送信する動画データのデータ容量を削減する可能性を高めることができる。
請求項6記載の発明によれば、予め定められた複数の方向の中で表示方向に最も近い方向ではない他の方向の動画データを送信する構成に比較して、当該表示方向の方向先を高解像度で表示する可能性を高めることができる。
請求項7記載の発明によれば、表示方向が変化した場合であっても、当該表示方向の方向先を高解像度で表示する可能性を高めることができる。
請求項8記載の発明によれば、広画角動画を表示する場合に、広画角動画から切り出した一部の動画を表示装置に送信する構成と比較して、表示方向が変化した場合であっても広画角動画を連続して表示させる可能性を高めることができる。
請求項9記載の発明によれば、広画角動画を表示する場合に、広画角動画から切り出した一部の動画を表示装置に送信する構成と比較して、表示方向が変化した場合であっても広画角動画を連続して表示させる可能性を高める機能を、コンピュータにより実現できる。
まず、本実施の形態に係る動画表示システム1の全体構成について説明する。図1は、本実施の形態に係る動画表示システム1の全体構成例を示した図である。図示するように、この動画表示システム1では、動画配信装置100、動画受信装置200がネットワーク300に接続される。
この動画配信装置100は、外部から、例えば全方位の動きを捉えた全天球動画などの広画角動画の動画データを受信する。また、動画配信装置100は、受信した動画データを、予め定められた複数の方向の方向毎に編集して保存しておく。さらに、動画配信装置100は、動画受信装置200から動画の表示方向が通知されると、保存した動画データの中から、通知された表示方向に対応する動画データを選択する。そして、動画配信装置100は、選択した動画データを動画受信装置200に送信する。なお、以下では、予め定められた複数の方向のそれぞれを、「量子化方向」と称する場合がある。
動画受信装置200は、操作者の操作等によって指定された表示方向の入力を受け付ける。そして、動画受信装置200は、複数の量子化方向の中から、指定された表示方向に最も近い量子化方向を選定し、選定した量子化方向を動画配信装置100に通知する。この通知に応じて動画配信装置100から動画データが送信されると、動画受信装置200は、送信された動画データを表示する。その際、動画受信装置200は、必要に応じて動画データを回転して、操作者等により指定された表示方向の部分がディスプレイ等の画面の中心(又は予め定められた位置)に配置されるように、表示する。
次に、本実施の形態に係る動画配信装置100のハードウェア構成について説明する。図2は、本実施の形態に係る動画配信装置100のハードウェア構成例を示す図である。
次に、動画表示システム1の機能構成について説明する。図3は、本実施の形態に係る動画表示システム1の機能構成例を示したブロック図である。
また、以下では、動画変換部111によって動画変換処理が施される前の動画データ(即ち、外部から入力された動画データ)を「変換前動画データ」と称する。また、動画変換部111によって動画変換処理が施された後の動画データを「変換後動画データ」と称する。なお、本実施の形態では、解像度処理手段、配置変更手段、作成手段の一例として、動画変換部111が用いられる。
さらに、例えば、操作者が、動画配信装置100から送信される動画を見るために、動画受信装置200において、動画配信装置100から動画をダウンロードするためのURL(Uniform Resource Locator)を指定する場合も考えられる。この場合には、表示方向決定部211は、動画の表示方向として、例えば、デフォルトの方向の指定を受け付ける。
次に、動画表示システム1にて行われる一連の処理の流れについて説明する。図4は、動画表示システム1にて行われる処理の手順の一例を示したフローチャートである。図4に示す処理は、例えば一定時間毎(例えば、1~5秒間毎)に行われる。
ここで、ステップ104において、配信動画決定部113は、外部から受信した動画データの全時間に対応する変換後動画データを送信する必要はなく、単位時間当たりに区切った変換後動画データを送信すればよい。ただし、変換後動画データの時間が短ければ、動画受信装置200において、次に変換後動画データを受信する前に動画が終了してしまう可能性がある。そのため、配信動画決定部113は、例えば、表示方向決定部211が表示方向の指定を受け付ける一定時間(図4に示す例では、1~5秒間)と同じ時間、又はそれよりも長い時間の変換後動画データを送信する。
次に、図5~図8を参照しながら、動画配信装置100の動画変換部111による動画変換処理について説明する。
ここで、図5(a)に示すように、動画データの一例として球形の動画データ11を想定し、この動画データ11において直交座標系を考える。具体的には、例えば、動画データ11の中心を原点Oとし、XY平面を水平面とする。また、図中左右方向をY軸方向(図中右方向が正のY軸方向)、Y軸方向に直交する方向をX軸方向(図中手前方向が正のX軸方向)、XY平面に垂直な方向をZ軸方向(図中上方向が正のZ軸方向)とする。
このようにして、動画変換部111は、予め定められた量子化方向を基に、変換前動画データ12を補正する処理を行う。
このようにして、動画変換部111は、補正後の変換前動画データ12を立方体13に投影して、展開する処理を行う。なお、本実施の形態では、広画角動画からなる球を囲む多面体の一例として、立方体13が用いられる。
図8(a)に示す変換前動画データ12は、図7(c)に示す立方体13の展開図である。ここで、動画変換部111は、θ=0度、φ=0度の方向先(補正対象である量子化方向の方向先)を含む領域の動画については解像度を維持する一方で、当該領域の周辺にある周辺領域の動画については解像度を低くする処理を行う。
付言すると、動画データを送信する場合には、矩形のデータで送信するのが一般的である。例えば、図8(a)に示すデータを送信する場合には、図8(c)の破線で囲んだ矩形16のデータが送信される。即ち、立方体13の展開図のデータに加えて、斜線を付したデータが余計に送信されることになる。そこで、本実施の形態において、動画変換部111は、動画データを再配置することによって、送信する動画データのデータ容量を小さくする。
例えば、図8(d)に示す例では、動画変換部111は、領域14b,14c,14d,14eの解像度を半減し、領域15b,15c,15d,15e,面13fの解像度を1/4にした結果、変換後動画データ17は矩形にはなっていない。そこで、動画変換部111は、変換後動画データ17が矩形になるように、各領域の解像度を変更してもよい。例えば、変換後動画データ17が矩形になるように、図8(d)の領域13fの解像度を大きくしたり、領域14b,14c,14d,14eのそれぞれの解像度を小さくしたりしてもよい。
次に、動画配信装置100の動画再構成部212による再構成処理について説明する。
動画再構成部212は、動画変換処理の手順を逆に実施して、変換後動画データから広画角動画の動画データを再構成する。ここでは、動画受信装置200が図8(d)に示す変換後動画データ17を受信したものとして、この変換後動画データ17に対して再構成処理を行う場合について説明する。
次に、動画表示システム1にて行われる処理について、具体例を挙げて説明する。なお、以下に示す例では、量子化方向として、図5で説明したように26通りの方向が予め定められているものとする。
本実施の形態では、第1の動画データの一例として、θ=0度、φ=0度用の変換後動画データが用いられる。また、第2の動画データの一例として、θ=45度、φ=45度用の変換後動画データが用いられる。
上述した例では、動画受信装置200が、操作者等に指定された表示方向に最も近い量子化方向を選定し、選定した量子化方向を動画配信装置100に通知した。ただし、本実施の形態では、このような構成に限られない。例えば、動画受信装置200の代わりに、動画配信装置100が、操作者等に指定された表示方向に最も近い量子化方向を選定してもよい。そこで、動画表示システム1における処理手順の他の例として、動画配信装置100が、操作者等に指定された表示方向に最も近い量子化方向を選定するものとして、その手順の一例を説明する。
このように、動画配信装置100が量子化方向の選定を行うことにより、動画データを表示してもよい。
例えば、変換前動画データを立方体ではない直方体に投影してもよい。なお、直方体に投影する場合には、立方体に投影する場合と比較して、動画が投影される領域が増えることとなり、変換後動画データのデータ容量が大きくなる。
また、例えば、変換前動画データを立方体や直方体ではない多面体に投影してもよい。なお、このような多面体に投影する場合には、直方体の場合と同様に、動画が投影される領域が増えることにより、変換後動画データのデータ容量が大きくなる場合がある。また、このような多面体の場合には、動画データを再配置する処理において、立方体の場合と比較して、作成する矩形のデータが大きくなる場合がある。
また、本開示は上記の実施形態に何ら限定されるものではなく、本開示の要旨を逸脱しない範囲で種々の形態で実施することができる。
Claims (9)
- 広画角動画の表示方向の指定を受け付ける受付手段と、
前記広画角動画について、予め定められた複数の方向の方向毎に、当該方向を基に予め定められた領域の動画と当該予め定められた領域の周辺にある周辺領域の動画であって当該予め定められた領域の動画よりも解像度の低い動画とを示す動画データを記憶する記憶手段と、
前記広画角動画の動画データとして、前記予め定められた複数の方向の方向毎に記憶された複数の動画データのうち、前記予め定められた領域に前記表示方向の方向先を含む動画データを、当該広画角動画を表示する表示装置に送信する送信手段と
を備える情報処理装置。 - 前記予め定められた領域は、前記予め定められた複数の方向の方向毎に、当該方向を基準として予め定められた大きさを持つ領域であること
を特徴とする請求項1に記載の情報処理装置。 - 前記記憶手段に記憶された動画データは、前記予め定められた複数の方向の方向毎に、前記広画角動画からなる球を、当該球を囲む多面体に投影して得られる動画データであること
を特徴とする請求項1に記載の情報処理装置。 - 前記予め定められた領域は、前記多面体の面のうち、予め定められた方向の方向先を含む一の面であり、前記周辺領域は、当該多面体の面のうち、当該一の面を除く面であること
を特徴とする請求項3に記載の情報処理装置。 - 前記多面体は、前記球に外接する立方体であること
を特徴とする請求項3に記載の情報処理装置。 - 前記送信手段は、前記予め定められた領域に前記表示方向の方向先を含む動画データとして、前記予め定められた複数の方向の中で当該表示方向に最も近い方向の動画データを送信すること
を特徴とする請求項1に記載の情報処理装置。 - 前記送信手段は、前記予め定められた複数の方向の中で前記表示方向に最も近い方向である第1の方向の動画データを送信した後、当該表示方向に最も近い方向が当該第1の方向から第2の方向に変化した場合には、当該第2の方向の動画データを送信すること
を特徴とする請求項6に記載の情報処理装置。 - 広画角動画について、予め定められた複数の方向の方向毎に、当該方向を基に予め定められた領域の動画と当該予め定められた領域の周辺にある周辺領域の動画であって当該予め定められた領域の動画よりも解像度の低い動画とを示す動画データを作成する作成手段と、
前記予め定められた複数の方向の方向毎に作成された複数の動画データのうち、指定された方向に対応する動画データを、前記広画角動画を表示する表示装置に送信する送信手段と
を備える情報処理システム。 - コンピュータに、
広画角動画の表示方向の指定を受け付ける機能と、
前記広画角動画について、予め定められた複数の方向の方向毎に、当該方向を基に予め定められた領域の動画と当該予め定められた領域の周辺にある周辺領域の動画であって当該予め定められた領域の動画よりも解像度の低い動画とを示す動画データを記憶する機能と、
前記広画角動画の動画データとして、前記予め定められた複数の方向の方向毎に記憶された複数の動画データのうち、前記予め定められた領域に前記表示方向の方向先を含む動画データを、当該広画角動画を表示する表示装置に送信する機能と
を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018031475A JP7091703B2 (ja) | 2018-02-26 | 2018-02-26 | 情報処理装置、情報処理システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018031475A JP7091703B2 (ja) | 2018-02-26 | 2018-02-26 | 情報処理装置、情報処理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019149595A JP2019149595A (ja) | 2019-09-05 |
JP7091703B2 true JP7091703B2 (ja) | 2022-06-28 |
Family
ID=67849511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018031475A Active JP7091703B2 (ja) | 2018-02-26 | 2018-02-26 | 情報処理装置、情報処理システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7091703B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312778A (ja) | 2001-04-09 | 2002-10-25 | Be Here Corp | モーションパノラマ画像を電子的に配信する方法および装置 |
JP2011024018A (ja) | 2009-07-16 | 2011-02-03 | Gunzoo Inc | 送信装置、受信装置、送信方法、受信方法及び伝送システム |
JP2016167699A (ja) | 2015-03-09 | 2016-09-15 | 日本電信電話株式会社 | 映像配信方法、映像配信装置及び映像配信プログラム |
WO2017187821A1 (ja) | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに3次元画像データの伝送方法 |
-
2018
- 2018-02-26 JP JP2018031475A patent/JP7091703B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312778A (ja) | 2001-04-09 | 2002-10-25 | Be Here Corp | モーションパノラマ画像を電子的に配信する方法および装置 |
JP2011024018A (ja) | 2009-07-16 | 2011-02-03 | Gunzoo Inc | 送信装置、受信装置、送信方法、受信方法及び伝送システム |
JP2016167699A (ja) | 2015-03-09 | 2016-09-15 | 日本電信電話株式会社 | 映像配信方法、映像配信装置及び映像配信プログラム |
WO2017187821A1 (ja) | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びに3次元画像データの伝送方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019149595A (ja) | 2019-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9491357B2 (en) | Image-processing system and image-processing method in which a size of a viewing angle and a position of a viewing point are changed for zooming | |
JP6672315B2 (ja) | 画像生成装置、及び画像表示制御装置 | |
JP6944863B2 (ja) | 画像補正装置、画像補正方法およびプログラム | |
US10321109B1 (en) | Large volume video data transfer over limited capacity bus | |
JP4622570B2 (ja) | 仮想現実感生成装置およびそれに用いられるプログラム | |
WO2019131577A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112204993A (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
JPWO2019078033A1 (ja) | 再生装置および方法、並びに、生成装置および方法 | |
JP6719596B2 (ja) | 画像生成装置、及び画像表示制御装置 | |
JP2019047492A (ja) | 画像処理装置、情報処理システム、情報処理方法及びプログラム | |
JP7091703B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP7469762B2 (ja) | イメージ出力方法及び装置 | |
KR101773929B1 (ko) | 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램 | |
JP6791991B2 (ja) | 画像配信装置 | |
EP3706410B1 (en) | Image processing device, image processing method, program, and projection system | |
KR20180117867A (ko) | 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법 | |
JP2023067635A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7091703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |