JP5558862B2 - 映像処理装置及びその制御方法 - Google Patents
映像処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP5558862B2 JP5558862B2 JP2010036296A JP2010036296A JP5558862B2 JP 5558862 B2 JP5558862 B2 JP 5558862B2 JP 2010036296 A JP2010036296 A JP 2010036296A JP 2010036296 A JP2010036296 A JP 2010036296A JP 5558862 B2 JP5558862 B2 JP 5558862B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- viewpoint
- video
- information
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
そこで本発明は、任意視点映像の視聴が可能な領域を含むマップ情報を提示することで、ユーザの利便性を向上させることを目的とする。
図1を用いて本発明の第1実施形態に係る装置の構成例を説明する。コンテンツ配信装置1は電波やインターネット通信網を利用してコンテンツデータを送信する。映像処理装置としての受信装置2はコンテンツデータを受信し、該データから映像や音声を再生する。伝送路3は電波やIP(Internet Protocol)網によってコンテンツデータを伝送する。
情報生成部12はカメラ10−1乃至16の座標情報、視野角と視野方向に関する情報を取得する。図2の配置例における各カメラの座標情報、視野角、視野方向を表1に示す。
エンコード部13は多視点映像のデータを圧縮した後、圧縮した多視点映像のデータとカメラ情報を含むTS信号を生成し、これを送信部14が任意視点映像放送信号として送信する。
以上のように第1実施形態によれば、ユーザは視点位置の移動を指示する際にマップを参照することで視聴可能領域を認識できる。したがって、任意視点映像の視聴が許可されていない領域に該当する視点位置への変更操作が行われないようにすることで、ユーザは視点をスムーズに決定することができる。任意視点映像の視聴が許可された領域内に視点を配置した上で任意視点映像の表示が開始されるので、開始時に領域外の不適切な映像が表示されることはない。
次に本発明の第2実施形態を説明する。図8に示すコンテンツ配信装置2001が図1のコンテンツ配信装置1と相違する部分は、情報生成部2012、マルチプレクサ2015、システムコントローラ2016であり、システムコントローラ2016はマップ生成機能を有する。また受信装置2002と図1の受信装置2との相違点は、デマルチプレクサ2021と任意視点映像生成部22及びシステムコントローラ23との間の信号伝送及び描画部2025であり、システムコントローラ23はマップ取得機能を有する。よって、以下では相違点を中心に説明し、第1実施形態の場合と同様の構成部については第1実施形態における各構成部に用いた符号を付すことによってそれらの説明を省略する。
次に図9のフローチャートを用いて、受信装置2002の動作を説明する。以下、図5と相違するS202、S203乃至205の処理のみを説明する。
S202にてシステムコントローラ23はマップ情報を取得した後、S203にて視点位置(初期位置)を決定する。視点はマップにて任意視点映像の視聴可能領域内に設定される。さらにシステムコントローラ23は視点位置情報を任意視点映像生成部22に出力する。
以上のように、第2実施形態に係る受信装置2002は、コンテンツ配信装置2001が配信するマップ情報を受信し、該情報とともに視点位置を表示する。よって、受信装置2002に対してマップ生成処理の負担をかけずに前記第1実施形態と同様の効果が得られる。
次に本発明の第3実施形態を説明する。例えばマラソン中継放送のように、各被写体の位置が複数のグループに分かれている場合、任意視点映像の視聴を実現するには、任意視点映像の視聴可能領域を複数に分けて生成する処理が行われる。
図10(A)はマラソン中継放送におけるカメラと被写体の位置関係を例示する。本例では先頭の第1グループ500と後続の第2グループ501が存在し、第1グループ500では、丸印で示す走者526と527をカメラ510乃至525で撮影している。第2グループ501では、丸印で示す走者566と567をカメラ550乃至565で撮影している。このように任意視点映像の視聴可能領域が複数の領域に分かれて存在する場合、視点を一方の領域から他方の領域へと連続的に移動することが出来ない。何故なら視点の配置が許容される範囲は任意視点映像の視聴可能領域の内部に制限されるからである。第3実施形態に係る受信装置では、このような場合でも視点を容易に移動できる。なお、第3実施形態に係る装置の構成は第1実施形態の場合と同様であるため、その説明を省略し、装置の動作について図11を用いて説明する。以下、図5と相違するS302、S304、S307乃至309に示す処理を説明する。
以上のように、第3実施形態によれば、任意視点映像の視聴可能領域が複数の領域に分断して存在する場合であっても、各領域に対応する番号をユーザが指定するだけで、所望の視聴可能領域に変更できる。
次に本発明の第4実施形態を説明する。本実施形態では、任意視点映像の視聴可能領域の形状が複雑な場合でもユーザが視点移動操作を容易に行える。例えば、観光番組や建物内の様子などを紹介する番組では、任意視点映像の視聴可能領域の形状が複雑な形をとる場合がある。図13(A)は、ある街の撮影において、複数台のカメラを配置して視聴範囲を設定した場合のマップ例を概略的に示す。街路601上に任意に設定可能な視点602(カメラの形をしたアイコンで示す)が存在し、撮影用に複数のカメラ603が街路601に沿って配置されている。この場合、ユーザがカーソル操作によって視点602を移動させる方法を採用すると、リモコン等の操作が煩雑となるため、この方法は面倒であり、手間がかかる。そこで、視点移動操作の負担を軽減する方法について以下に説明する。なお、第4実施形態に係る装置の構成は第1実施形態の場合と同様であるため、その説明を省略し、装置の動作について図14を用いて説明する。以下、図11と相違するS403、S404の処理を主に説明する。本実施形態に係るシステムコントローラは、視点の移動目標位置を示す目印をマップ上に生成する目標位置生成機能を有する。
以上のように、第4実施形態の受信装置によれば、任意視点映像の視聴可能領域の形状が複雑であっても、適切に配置された目的地マーカーに対応する番号を指定するだけで、ユーザは視点位置を容易に変更できる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
20 受信部
22 任意視点映像生成部
23 システムコントローラ
25 描画部
2002 受信装置
2025 描画部
Claims (16)
- 指定された視点の映像データを処理することが可能な映像処理装置であって、
指定された視点の映像データの生成が可能な第1領域と、指定された視点の映像データの生成が可能でない第2領域とを識別可能なマップ情報を生成し、前記第1領域の内部で視点移動を制御する制御手段と、
前記制御手段が前記第1領域の内部に設定した視点の映像データを生成する映像生成手段と、を備え、
前記制御手段は、被写体を異なる位置から撮影した複数のカメラの座標情報を少なくとも用いて、前記第1領域と前記第2領域との境界を判断して前記マップ情報を生成することを特徴とする映像処理装置。 - 前記制御手段は、前記複数のカメラの座標情報と視野角及び視野方向の情報を用いて、前記複数のカメラに係る視野境界の交点を算出して該交点を結線することにより前記第1領域と前記第2領域との境界を特定して前記マップ情報を生成することを特徴とする、請求項1に記載の映像処理装置。
- 前記制御手段は視点の移動目標位置を示す目印を前記第1領域の内部に生成してマップ上に表示するように制御し、前記第1領域の内部で指定された移動目標位置に視点を移動させることを特徴とする、請求項1又は請求項2に記載の映像処理装置。
- 前記制御手段は、複数の前記第1領域が存在する場合、領域ごとに前記移動目標位置を設定することを特徴とする、請求項3に記載の映像処理装置。
- 前記制御手段は、前記第1領域の内部の分岐点又は端点又は曲がり角に前記移動目標位置を設定することを特徴とする、請求項3に記載の映像処理装置。
- 前記制御手段は、予め設定された距離の整数倍の間隔をもって前記移動目標位置を設定することを特徴とする、請求項3に記載の映像処理装置。
- 生成された前記マップ情報に基づいて、前記第1領域と前記第2領域とを識別可能なマップを描画する描画手段をさらに備えることを特徴とする、請求項1から請求項6までのいずれか1項に記載の映像処理装置。
- 指定された視点の映像データを処理することが可能な映像処理装置であって、
映像情報及び付帯情報を受信する受信手段と、
前記受信手段が受信した付帯情報から、前記指定された視点の映像データの生成が可能な第1領域と前記指定された視点の映像データの生成が可能でない第2領域を示すマップ情報を取得し、前記第1領域の内部で視点移動を制御する制御手段と、
前記制御手段が前記第1領域の内部に設定した視点での映像データを生成する映像生成手段と、
取得された前記マップ情報に基づいて、前記第1領域と前記第2領域とを識別可能なマップを描画する描画手段と、を備えることを特徴とする映像処理装置。 - 指定された視点の映像データを処理することが可能な映像処理装置で実行される映像処理方法であって、
制御手段が、指定された視点の映像データの生成が可能な第1領域と、指定された視点の映像データの生成が可能でない第2領域とを識別可能なマップ情報を生成し、前記第1領域の内部で視点移動を制御する制御ステップと、
映像生成手段が、前記制御ステップで前記第1領域の内部に設定された視点の映像データを生成する映像生成ステップと、を有し、
前記制御ステップでは前記制御手段が、被写体を異なる位置から撮影した複数のカメラの座標情報を少なくとも用いて、前記第1領域と前記第2領域との境界を判断して前記マップ情報を生成することを特徴とする映像処理方法。 - 前記制御ステップでは前記制御手段が、前記複数のカメラの座標情報と視野角及び視野方向の情報を用いて、前記複数のカメラに係る視野境界の交点を算出して該交点を結線することにより前記第1領域と前記第2領域との境界を特定して前記マップ情報を生成することを特徴とする、請求項9に記載の映像処理方法。
- 前記制御ステップでは前記制御手段が、視点の移動目標位置を示す目印を前記第1領域の内部に生成してマップ上に表示するように制御し、前記第1領域の内部で指定された移動目標位置に視点を移動させることを特徴とする、請求項9又は請求項10に記載の映像処理方法。
- 前記制御ステップでは、複数の前記第1領域が存在する場合、領域ごとに前記移動目標位置を前記制御手段が設定することを特徴とする、請求項11に記載の映像処理方法。
- 前記制御ステップでは前記制御手段が、前記第1領域の内部の分岐点又は端点又は曲がり角に前記移動目標位置を設定することを特徴とする、請求項11に記載の映像処理方法。
- 前記制御ステップでは前記制御手段が、予め設定された距離の整数倍の間隔をもって前記移動目標位置を設定することを特徴とする、請求項11に記載の映像処理方法。
- 描画手段が、生成された前記マップ情報に基づいて、前記第1領域と前記第2領域とを識別可能なマップを描画する描画ステップをさらに有することを特徴とする、請求項9から請求項14までのいずれか1項に記載の映像処理方法。
- 指定された視点の映像データを処理することが可能な映像処理装置で実行される映像処理方法であって、
受信手段が映像情報及び付帯情報を受信する受信ステップと、
前記受信ステップで前記受信手段が受信した付帯情報から、前記指定された視点の映像データの生成が可能な第1領域と前記指定された視点の映像データの生成が可能でない第2領域を示すマップ情報を制御手段が取得し、前記第1領域の内部で視点移動を制御する制御ステップと、
前記制御ステップで前記第1領域の内部に設定された視点での映像データを映像生成手段が生成する映像生成ステップと、
描画手段が、取得された前記マップ情報に基づいて、前記第1領域と前記第2領域とを識別可能なマップを描画する描画ステップと、を有することを特徴とする映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010036296A JP5558862B2 (ja) | 2010-02-22 | 2010-02-22 | 映像処理装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010036296A JP5558862B2 (ja) | 2010-02-22 | 2010-02-22 | 映像処理装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011172169A JP2011172169A (ja) | 2011-09-01 |
JP2011172169A5 JP2011172169A5 (ja) | 2013-03-28 |
JP5558862B2 true JP5558862B2 (ja) | 2014-07-23 |
Family
ID=44685788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010036296A Active JP5558862B2 (ja) | 2010-02-22 | 2010-02-22 | 映像処理装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5558862B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6357023B2 (ja) * | 2014-06-06 | 2018-07-11 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理装置の制御方法および情報処理システム |
JP6482498B2 (ja) * | 2016-05-25 | 2019-03-13 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
US10970915B2 (en) | 2017-01-06 | 2021-04-06 | Canon Kabushiki Kaisha | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium |
JP7042561B2 (ja) * | 2017-06-02 | 2022-03-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6790145B2 (ja) * | 2019-02-13 | 2020-11-25 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3809309B2 (ja) * | 1999-09-27 | 2006-08-16 | キヤノン株式会社 | カメラ制御システム及びカメラ制御方法及び記憶媒体 |
JP2002135744A (ja) * | 2000-10-19 | 2002-05-10 | Nippon Broadband Communications Kk | ブロードバンドを利用した住宅紹介システム |
JP2003179913A (ja) * | 2001-12-10 | 2003-06-27 | Toshiba Corp | 遠隔監視システム |
JP4437677B2 (ja) * | 2004-03-01 | 2010-03-24 | 三菱電機株式会社 | 景観表示装置 |
JP4671873B2 (ja) * | 2006-01-23 | 2011-04-20 | シャープ株式会社 | 合成映像生成システム |
-
2010
- 2010-02-22 JP JP2010036296A patent/JP5558862B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011172169A (ja) | 2011-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6385139B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR101915369B1 (ko) | 표시 제어 장치 및 컴퓨터 판독가능 기록 매체 | |
US7810039B2 (en) | Image displaying method, image displaying program, and display | |
JP5558862B2 (ja) | 映像処理装置及びその制御方法 | |
CN102223555B (zh) | 图像显示装置及其控制方法 | |
JP6065195B2 (ja) | 表示映像形成装置及び表示映像形成方法 | |
US10375305B2 (en) | Information processing device, imaging device, information processing method, and program | |
JPH09238367A (ja) | テレビジョン信号送信方法,テレビジョン信号送信装置,テレビジョン信号受信方法,テレビジョン信号受信装置,テレビジョン信号送信受信方法,テレビジョン信号送信受信装置 | |
US20190045125A1 (en) | Virtual reality video processing | |
JP2009205556A (ja) | ユーザインタフェース装置 | |
KR20180130504A (ko) | 정보 처리 장치, 정보 처리 방법, 프로그램 | |
CN107623812A (zh) | 一种实现实景展示的方法、相关装置及系统 | |
US10732706B2 (en) | Provision of virtual reality content | |
JP2011130234A (ja) | 放送用カメラシステム | |
US9811943B2 (en) | Processing device for label information for multi-viewpoint images and processing method for label information | |
KR20130137927A (ko) | 영상표시장치 및 그 동작방법 | |
JP2012015788A (ja) | 映像受信装置、及びその制御方法 | |
JP2019012533A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR102240933B1 (ko) | Vr 온라인 스토어를 위한 360 영상 데이터 송신 장치 및 그 동작 방법 | |
JP5960095B2 (ja) | 映像配信システム | |
JP2020010111A (ja) | 表示装置、撮像装置、及びこれらの制御方法、プログラム、撮像システム | |
JPWO2019038885A1 (ja) | 情報処理装置および画像出力方法 | |
JP5127972B1 (ja) | 電子機器、電子機器の制御方法 | |
KR101912635B1 (ko) | 영상표시장치 및 그 동작방법 | |
KR101836846B1 (ko) | 영상표시장치, 및 그 동작방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5558862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |