JP7324251B2 - 情報処理装置および情報処理方法、映像表示システム、プログラム - Google Patents
情報処理装置および情報処理方法、映像表示システム、プログラム Download PDFInfo
- Publication number
- JP7324251B2 JP7324251B2 JP2021114389A JP2021114389A JP7324251B2 JP 7324251 B2 JP7324251 B2 JP 7324251B2 JP 2021114389 A JP2021114389 A JP 2021114389A JP 2021114389 A JP2021114389 A JP 2021114389A JP 7324251 B2 JP7324251 B2 JP 7324251B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- video
- viewpoint video
- distribution
- distribution method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
Description
仮想視点映像の配信に係る配信方法として、前記仮想視点映像の生成に使用される被写体データを外部装置から受信することにより前記仮想視点映像を生成する第1の方法と、前記仮想視点映像を生成するための仮想視点を指定することにより生成された仮想視点映像を前記外部装置から受信する第2の方法と、のいずれを使用するかを判定する判定手段と、
前記判定手段により判定された配信方法を使用して、前記仮想視点映像を取得する取得手段と、を有する。
(切替後の座標-変更前の座標)÷(フレームレート×解消時間) ...式1
である。
上述した実施形態では、複数の撮影装置により取得された複数の撮影画像に基づいて生成される被写体データを使用して生成された仮想視点映像を配信する場合について説明した。しかしながら、これに限定されず、例えばコンピュータグラフィック(CG)等により生成された3次元形状データやテクスチャデータを使用して生成される映像に対しても、本実施形態は適用可能である。この場合の映像は、例えばビデオゲームなどでありうる。例えばビデオゲームの配信を行う場合にも、本実施形態における被写体データに相当するデータをユーザ端末に配信するか、仮想視点を指定して外部装置により生成された映像をユーザ端末に配信するかを切り替える構成としてもよい。
Claims (20)
- 仮想視点映像の配信に係る配信方法として、前記仮想視点映像の生成に使用される被写体データを外部装置から受信することにより前記仮想視点映像を生成する第1の方法と、前記仮想視点映像を生成するための仮想視点を指定することにより生成された仮想視点映像を前記外部装置から受信する第2の方法と、のいずれを使用するかを判定する判定手段と、
前記判定手段により判定された配信方法を使用して、前記仮想視点映像を取得する取得手段と、を有することを特徴とする情報処理装置。 - 前記判定手段は、前記被写体データを受信するために用いられる通信帯域に基づいて、いずれの配信方法を使用するかを判定することを特徴とする請求項1に記載の情報処理装置。
- 前記判定手段は、前記取得手段により取得された仮想視点映像のうちの表示を待つ滞留フレームの数に基づいて、いずれの配信方法を使用するかを判定することを特徴とする請求項1または2に記載の情報処理装置。
- 前記判定手段は、前記外部装置からテスト用の被写体データを受信し、前記取得手段が前記テスト用の被写体データから仮想視点映像を生成する時間当たりのフレーム数に基づいて、いずれの配信方法を使用するかを判定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記判定手段による判定の結果に基づいて、前記第1の方法から前記第2の方法への切り替えが行われることをユーザに通知する通知手段をさらに有することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記取得手段は、前記通知の後、ユーザが前記第1の方法から前記第2の方法への切り替えを指示した場合に、前記第2の方法を用いて表示のための仮想視点映像を取得することを決定することを特徴とする請求項5に記載の情報処理装置。
- 前記第1の方法と前記第2の方法を用いることが可能な場合に、前記第1の方法と前記第2の方法のいずれかをユーザに選択させる選択手段を有することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記取得手段は、前記第2の方法を用いる場合に、前記外部装置に対して行われる仮想視点の指定方法が異なる複数の第2の方法のうち1つを選択することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記複数の第2の方法は、
ユーザにより指定された仮想視点の位置及び仮想視点からの視線方向を前記外部装置に送信し、送信した仮想視点の位置と視線方向に対応する仮想視点映像を前記外部装置から受信する第3の方法と、
あらかじめ設定された複数の仮想視点のうちの一つを選択する指示を前記外部装置に送信し、選択した仮想視点に対応する仮想視点映像を前記外部装置から受信する第4の方法と、を含むことを特徴とする請求項8に記載の情報処理装置。 - 前記判定手段は、前記第3の方法を前記第4の方法よりも優先して用いると判定することを特徴とする請求項9に記載の情報処理装置。
- 前記第1の方法から前記第4の方法に切り替えることが決定された場合に、ユーザにより指定されている仮想視点を前記第4の方法で用いられる前記複数の仮想視点のうちの1つへ徐々に変化させた仮想視点映像を得る補完手段をさらに有することを特徴とする請求項9または10に記載の情報処理装置。
- 前記補完手段は、前記第1の方法を用いて表示される仮想視点映像の時刻を停止する、所定倍速で戻す、または所定倍速で進めることにより、前記第1の方法を用いて表示されている仮想視点映像の時刻と、前記第4の方法で取得される仮想視点映像の時刻との差が小さくなるように処理を行うことを特徴とする請求項11に記載の情報処理装置。
- 仮想視点映像の配信に係る配信方法として、前記仮想視点映像の生成に使用される被写体データを外部装置に出力する第1の方法と、前記被写体データと前記外部装置から受信した仮想視点の指定とに基づいて生成される前記仮想視点映像を出力する第2の方法とのうち、いずれかの指定を受信する受信手段と、
前記受信手段により受信された指定に基づいて、前記被写体データ又は前記仮想視点映像を出力する出力手段と、を有することを特徴とする情報処理装置。 - 前記出力手段は、前記外部装置からテスト用の被写体データが要求された場合に、仮想視点映像の生成に用いられる所定の被写体データを前記外部装置へ出力することを特徴とする請求項13に記載の情報処理装置。
- 前記外部装置から指定される仮想視点に基づいて仮想視点映像を生成する第1の生成処理と、予め設定された仮想視点に対応する仮想視点映像を生成する第2の生成処理と、を行う生成手段を有し、
前記出力手段は、前記受信手段により前期第2の方法の指定が受信された場合、前記第1の生成処理と前記第2の生成処理のいずれかにより生成された仮想視点映像を前記外部装置へ出力することを特徴とする請求項13または14に記載の情報処理装置。 - 前記外部装置からの問い合わせに応じて、前記生成手段により行われる前記第1の生成処理により生成される仮想視点映像のうちの1つを前記外部装置のために使用できるか否かを前記外部装置に返答する返答手段をさらに備えることを特徴とする請求項15に記載の情報処理装置。
- 映像配信を行う映像配信装置と、前記映像配信装置により配信された映像を表示する映像視聴装置とを有する映像表示システムであって、
前記映像視聴装置が、
仮想視点映像の配信に係る配信方法として、前記仮想視点映像の生成に使用される被写体データを前記映像配信装置から受信することにより前記仮想視点映像を生成する第1の方法と、前記仮想視点映像を生成するための仮想視点を指定することにより生成された仮想視点映像を前記映像配信装置から受信する第2の方法と、のいずれを使用するかを判定する判定手段と、
前記判定手段により判定された配信方法を使用して、前記仮想視点映像を取得する取得手段と、を有し、
前記映像配信装置が、
前記第1の方法と前記第2の方法とのうちのいずれかの指定を前記映像視聴装置より受信する受信手段と、
前記受信手段により受信された指定に基づいて、前記被写体データ又は前記仮想視点映像を前記映像視聴装置へ出力する出力手段と、を有する、ことを特徴とする映像表示システム。 - 仮想視点映像の配信に係る配信方法として、前記仮想視点映像の生成に使用される被写体データを外部装置から受信することにより前記仮想視点映像を生成する第1の方法と、前記仮想視点映像を生成するための仮想視点を指定することにより生成された仮想視点映像を前記外部装置から受信する第2の方法と、のいずれを使用するかを判定する判定工程と、
前記判定工程により判定された配信方法を使用して、前記仮想視点映像を取得する取得工程と、を有することを特徴とする情報処理方法。 - 仮想視点映像の配信に係る配信方法として、前記仮想視点映像の生成に使用される被写体データを外部装置に出力する第1の方法と、前記被写体データと前記外部装置から受信した仮想視点の指定とに基づいて生成される前記仮想視点映像を出力する第2の方法とのうち、いずれかの指定を受信する受信工程と、
前記受信工程により受信された指定に基づいて、前記被写体データ又は前記仮想視点映像を出力する出力工程と、を有することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至16のいずれか1項に記載された情報処理装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021114389A JP7324251B2 (ja) | 2021-07-09 | 2021-07-09 | 情報処理装置および情報処理方法、映像表示システム、プログラム |
EP22181226.6A EP4117293A1 (en) | 2021-07-09 | 2022-06-27 | Information processing apparatus, information processing method, and program |
US17/857,306 US20230009185A1 (en) | 2021-07-09 | 2022-07-05 | Information processing apparatus, information processing method, video display system, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021114389A JP7324251B2 (ja) | 2021-07-09 | 2021-07-09 | 情報処理装置および情報処理方法、映像表示システム、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023010326A JP2023010326A (ja) | 2023-01-20 |
JP7324251B2 true JP7324251B2 (ja) | 2023-08-09 |
Family
ID=82321467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021114389A Active JP7324251B2 (ja) | 2021-07-09 | 2021-07-09 | 情報処理装置および情報処理方法、映像表示システム、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230009185A1 (ja) |
EP (1) | EP4117293A1 (ja) |
JP (1) | JP7324251B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123801A1 (ja) | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
JP2020173629A (ja) | 2019-04-11 | 2020-10-22 | キヤノン株式会社 | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム |
JP2020187706A (ja) | 2019-05-17 | 2020-11-19 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5593356B2 (ja) | 2012-08-22 | 2014-09-24 | ヤフー株式会社 | 広告配信装置、広告配信方法および広告配信プログラム |
JP6871801B2 (ja) * | 2017-05-11 | 2021-05-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム |
JP7073128B2 (ja) * | 2018-02-08 | 2022-05-23 | キヤノン株式会社 | 通信装置、通信方法、及びプログラム |
JP7091133B2 (ja) * | 2018-05-09 | 2022-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2021
- 2021-07-09 JP JP2021114389A patent/JP7324251B2/ja active Active
-
2022
- 2022-06-27 EP EP22181226.6A patent/EP4117293A1/en active Pending
- 2022-07-05 US US17/857,306 patent/US20230009185A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123801A1 (ja) | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
JP2020173629A (ja) | 2019-04-11 | 2020-10-22 | キヤノン株式会社 | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム |
JP2020187706A (ja) | 2019-05-17 | 2020-11-19 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4117293A1 (en) | 2023-01-11 |
JP2023010326A (ja) | 2023-01-20 |
US20230009185A1 (en) | 2023-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110073414B (zh) | 图像处理设备、方法和非暂时性计算机可读存储介质 | |
CN113347405B (zh) | 缩放相关的方法和装置 | |
JP6433559B1 (ja) | 提供装置および提供方法、プログラム | |
JP7065836B6 (ja) | 画像処理 | |
JPWO2018199052A1 (ja) | 画像表示方法及び画像表示装置 | |
WO2019054360A1 (ja) | 画像表示方法、画像配信方法、画像表示装置及び画像配信装置 | |
US11956408B2 (en) | Information processing system, information processing method, and storage medium | |
WO2018100928A1 (ja) | 画像処理装置および方法 | |
US11317124B2 (en) | Apparatus and method for generating an image data stream | |
US20190379917A1 (en) | Image distribution method and image display method | |
JP6572368B2 (ja) | 生成装置および生成方法、プログラム | |
JP7324251B2 (ja) | 情報処理装置および情報処理方法、映像表示システム、プログラム | |
JP2018136793A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020187706A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP7277184B2 (ja) | 情報処理装置、情報処理方法ならびにプログラム。 | |
US20240242422A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable medium | |
JP2021033347A (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP4221234A1 (en) | Information processing device, information processing method, and information processing system | |
US10976985B2 (en) | Recording medium recording data display program, data display method, and electronic apparatus for displaying received data by delaying an adjustment time | |
EP4187904A1 (en) | Information processing apparatus, information processing system, and program | |
JP7522605B2 (ja) | 送信装置、受信装置、ネットワークノード、及びプログラム | |
US20240305835A1 (en) | Image sharing method and image sharing system, and storage medium | |
JP2021118517A (ja) | 映像処理装置 | |
JP2017041707A (ja) | 再生装置、情報処理方法及び通信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220713 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230728 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7324251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |