JP7455524B2 - 情報処理装置、設定方法、及びプログラム - Google Patents
情報処理装置、設定方法、及びプログラム Download PDFInfo
- Publication number
- JP7455524B2 JP7455524B2 JP2019129614A JP2019129614A JP7455524B2 JP 7455524 B2 JP7455524 B2 JP 7455524B2 JP 2019129614 A JP2019129614 A JP 2019129614A JP 2019129614 A JP2019129614 A JP 2019129614A JP 7455524 B2 JP7455524 B2 JP 7455524B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- interest
- image
- virtual
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 64
- 238000000034 method Methods 0.000 title description 23
- 238000003672 processing method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 45
- 238000003384 imaging method Methods 0.000 description 30
- 239000000463 material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 240000004050 Pentaglottis sempervirens Species 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Description
本実施形態に係る画像処理システム10の構成例を図1に示す。画像処理システム10は、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
情報処理装置3のハードウェア構成について、図2を用いて説明する。なお、画像処理装置9のハードウェア構成も、以下で説明する情報処理装置3の構成と同様である。あるいは、情報処理装置3のハードウェアに画像処理装置9の機能を統合してもよい。情報処理装置3は、CPU301、ROM302、RAM303、補助記憶装置304、表示I/F305、操作I/F306、通信I/F307、及びバス308を有する。
以下では、仮想視点画像に対応する仮想視点を設定するための操作方法の例を説明する。図3は、操作部1、操作部2、情報処理装置3、表示部4、及び表示部5の具体的なデバイス構成の一例を示した図である。図3の操作部1は、操作卓11にジョイスティック12A及びジョイスティック12Bが取り付けられた構成である。各ジョイスティックの操作に基づいて、操作卓11の電気回路によって操作信号が生成される。操作信号は操作信号ケーブル13によって情報処理装置3へ伝送される。操作部2についても同様に、ジョイスティック22A及びジョイスティック22Bの操作に基づいて操作卓21で生成された操作信号が、操作信号ケーブル23によって情報処理装置3へ伝送される。操作部1と操作部2とは、独立して操作が可能である。例えば図3に示すように、操作部1と操作部2とはそれぞれ物理的に独立したデバイス(操作卓)を有する。
図8のフローチャートを用いて、情報処理装置3の動作について説明する。図8に示す処理は、情報処理装置3のCPU301がROM302に格納されたプログラムをRAM303に展開して実行することで実現される。なお、図8に示す処理の少なくとも一部を、CPU301とは異なる1又は複数の専用のハードウェアにより実現してもよい。図8に示す処理は、画像処理装置9と情報処理装置3とが接続され、仮想視点画像の生成に係る視点操作を行うための指示が情報処理装置3に入力されたタイミングで開始される。ただし、図8に示す処理の開始タイミングはこれに限定されない。また、図8におけるS1001からS1011までの処理ループは、画像処理部7から動画として出力される仮想視点画像の1フレームにつき1回ずつ処理される。
図3に示したデバイス構成は一例であり、制御システム6の構成はこれに限定されない。図9に、制御システム6の変形例を示す。操作部1は、操作卓11Aにジョイスティック12A、操作卓11Bにジョイスティック12Bがそれぞれ取り付けられた構成である。ジョイスティック12Aの操作に基づいて、操作卓11Aの電気回路によって操作信号が生成される。操作信号は操作信号ケーブル13Aによって情報処理装置3へ伝送される。また、ジョイスティック12Bの操作に基づいて、操作卓11Bの電気回路によって操作信号が生成される。操作信号は操作信号ケーブル13Bによって情報処理装置3へ伝送される。操作部2も操作部1と同様に、操作卓21Aに取り付けられたジョイスティック22Aと、操作卓21Bに取り付けられたジョイスティック22Bとを有する。操作卓21Aと操作卓21Bはそれぞれ操作信号ケーブル23Aと操作信号ケーブル23Bに接続される。
以下では、複数の仮想視点画像を生成するために、同じ注目点103に向けた複数の仮想カメラ102を設定することを可能とする制御システム6の例について説明する。図11は、制御システム6の具体的なデバイス構成の一例を示した図である。図11の例においては、1つの操作部1に対して、操作卓21-1、操作卓21-2、及び操作卓21-3という独立した3つの操作卓を有する操作部2が対応付けられている。
以下では、操作部1が独立した複数の操作デバイス(例えば操作卓)を有し、複数の注目点103を設定することを可能とする制御システム6の例について説明する。図14は、制御システム6の具体的なデバイス構成の一例を示した図である。図14の例においては、操作部1は操作卓11-1と操作卓11-2を有し、操作部2は操作卓21-1、操作卓21-2、及び操作卓21-3を有する。ただし、操作部1と操作部2のそれぞれが有する独立した操作デバイスの数はこれに限定されない。
以下では、注目点103を仮想カメラ102の視野内のどこに位置させるか、すなわち仮想視点画像内のどの位置に注目点103を表示させるかを、調整可能とする制御システム6の例について説明する。
2 操作部
3 情報処理装置
102 仮想カメラ
Claims (13)
- 第1操作部に対する操作に応じた第1入力を受け付ける第1受付部と、
第2操作部に対する操作に応じた第2入力を受け付ける第2受付部と、
第3操作部に対する操作に応じた第3入力を受け付ける第3受付部と、
前記第1入力に基づいて、第1仮想視点に応じた視野および第2仮想視点に応じた視野に含まれる注目位置を設定する第1設定部と、
前記第2入力に基づいて、前記注目位置に対応する前記第1仮想視点の位置と前記第1仮想視点からの視線方向とを設定し、前記第3入力に基づいて、前記注目位置に対応する前記第2仮想視点の位置と前記第2仮想視点からの視線方向とを設定する第2設定部と、
前記第1仮想視点に対応する第1仮想視点画像と前記第2仮想視点に対応する第2仮想視点画像とを同時に表示する制御を行う表示制御部と
を有することを特徴とする情報処理システム。 - 前記第2設定部は、前記第1仮想視点から見て所定の方向に前記注目位置が存在するように、前記第1仮想視点の位置と前記第1仮想視点からの視線方向とを連動させて設定し、前記第2仮想視点から見て所定の方向に前記注目位置が存在するように、前記第2仮想視点後と前記第2仮想視点からの視線方向とを連動させて設定することを特徴とする請求項1に記載の情報処理システム。
- 前記第1仮想視点から見て所定の方向は、前記第1仮想視点からの視線方向であり、前記第2仮想視点から見て所定の方向は、前記第2仮想視点からの視線方向であることを特徴とする請求項2に記載の情報処理システム。
- 前記第1仮想視点から見て所定の方向は、前記第1仮想視点画像においてユーザ操作により指定された位置に前記注目位置が表示されるように設定された前記第1仮想視点からの視線方向であり、前記第2仮想視点から見て所定の方向は、前記第2仮想視点画像においてユーザ操作により指定された位置に前記注目位置が表示されるように設定された前記第2仮想視点からの視線方向であることを特徴とする請求項2に記載の情報処理システム。
- 前記第2設定部は、前記第2入力に基づいて、前記第1仮想視点の画角を設定し、前記第3入力に基づいて、前記第2仮想視点の画角を設定することを特徴とする請求項1乃至4の何れか1項に記載の情報処理システム。
- 第4操作部に対する操作に応じた入力を受け付ける第4受付部を有し、
前記第1設定部は、第1の注目位置を前記第1受付部により受け付けられた入力に基づいて設定し、且つ、第2の注目位置を前記第4受付部により受け付けられた入力に基づいて設定し、
前記第2設定部は、前記第1の注目位置と前記第2の注目位置とを含む複数の注目位置のうち選択された注目位置に対する前記第1仮想視点の位置と前記第1仮想視点からの視線方向とを前記第2入力に基づいて設定し、前記第1の注目位置と前記第2の注目位置とを含む複数の注目位置のうち選択された注目位置に対する前記第2仮想視点の位置と前記第2仮想視点からの視線方向とを前記第2入力に基づいて設定することを特徴とする請求項1乃至5の何れか1項に記載の情報処理システム。 - 前記第1操作部と前記第2操作部と前記第3操作部とは、それぞれ別個の筐体に備えられた操作部であることを特徴とする請求項1乃至6の何れか1項に記載の情報処理システム。
- 前記第1操作部と前記第2操作部と前記第3操作部とは、それぞれ別個のジョイスティックであることを特徴とする請求項1乃至6の何れか1項に記載の情報処理システム。
- 前記表示制御部は、前記第1仮想視点画像と前記第2仮想視点画像とをそれぞれ異なる表示装置の表示部に表示する制御を行うことを特徴とする請求項1乃至8の何れか1項に記載の情報処理システム。
- 前記表示制御部は、前記第1仮想視点画像と前記第2仮想視点画像とを同一の表示装置のそれぞれ異なる表示領域に表示する制御を行うことを特徴とする請求項1乃至8の何れか1項に記載の情報処理システム。
- 更に、前記第1仮想視点の位置と前記第1仮想視点からの視線方向とに基づいて前記第1仮想視点画像を生成し、前記第2仮想視点の位置と前記第2仮想視点からの視線方向とに基づいて前記第2仮想視点画像を生成する生成部を有することを特徴とする請求項1乃至10の何れか1項に記載の情報処理システム。
- 第1操作部に対する操作に応じた第1入力を受け付ける第1受付工程と、
第2操作部に対する操作に応じた第2入力を受け付ける第2受付工程と、
第3操作部に対する操作に応じた第3入力を受け付ける第3受付工程と、
前記第1入力に基づいて、第1仮想視点に応じた視野および第2仮想視点に応じた視野に含まれる注目位置を設定する第1設定工程と、
前記第2入力に基づいて、前記注目位置に対応する前記第1仮想視点の位置と前記第1仮想視点からの視線方向とを設定し、前記第3入力に基づいて、前記注目位置に対応する前記第2仮想視点の位置と前記第2仮想視点からの視線方向とを設定する第2設定工程と、
前記第1仮想視点に対応する第1仮想視点画像と前記第2仮想視点に対応する第2仮想視点画像とを同時に表示する制御を行う表示制御工程と
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至11の何れか1項に記載の情報処理システムとして動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129614A JP7455524B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、設定方法、及びプログラム |
US16/922,913 US11606503B2 (en) | 2019-07-11 | 2020-07-07 | Information processing apparatus, setting method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019129614A JP7455524B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、設定方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021015440A JP2021015440A (ja) | 2021-02-12 |
JP7455524B2 true JP7455524B2 (ja) | 2024-03-26 |
Family
ID=74103381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019129614A Active JP7455524B2 (ja) | 2019-07-11 | 2019-07-11 | 情報処理装置、設定方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11606503B2 (ja) |
JP (1) | JP7455524B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7418101B2 (ja) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015001635A1 (ja) | 2013-07-03 | 2015-01-08 | 株式会社日立製作所 | 遠隔モニタリングシステムおよびモニタリング方法 |
WO2018199052A1 (ja) | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像表示方法及び画像表示装置 |
WO2019012817A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6539253B2 (ja) | 2016-12-06 | 2019-07-03 | キヤノン株式会社 | 情報処理装置、その制御方法、およびプログラム |
US10594786B1 (en) * | 2017-01-10 | 2020-03-17 | Lucasfilm Entertainment Company Ltd. | Multi-device interaction with an immersive environment |
-
2019
- 2019-07-11 JP JP2019129614A patent/JP7455524B2/ja active Active
-
2020
- 2020-07-07 US US16/922,913 patent/US11606503B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015001635A1 (ja) | 2013-07-03 | 2015-01-08 | 株式会社日立製作所 | 遠隔モニタリングシステムおよびモニタリング方法 |
WO2018199052A1 (ja) | 2017-04-25 | 2018-11-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像表示方法及び画像表示装置 |
WO2019012817A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021015440A (ja) | 2021-02-12 |
US11606503B2 (en) | 2023-03-14 |
US20210014425A1 (en) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6539253B2 (ja) | 情報処理装置、その制御方法、およびプログラム | |
JP7330683B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US6377264B1 (en) | Game screen display control method and character movement control method | |
JP5861499B2 (ja) | 動画提示装置 | |
JP2024050721A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP6670794B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置、および、情報処理方法 | |
US20040041822A1 (en) | Image processing apparatus, image processing method, studio apparatus, storage medium, and program | |
US20080113792A1 (en) | Storage medium storing game program and game apparatus | |
JP7459341B2 (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
JPH0785312A (ja) | 3次元動画作成装置 | |
CN112640472B (zh) | 信息处理设备、信息处理方法和存储介质 | |
JPH11235466A (ja) | コンピュータゲーム装置 | |
JP3496205B2 (ja) | ゲーム機における球技ゲームでの視点変更方法 | |
JP2020042362A (ja) | 制御装置及びその制御方法 | |
JP7455524B2 (ja) | 情報処理装置、設定方法、及びプログラム | |
JP2024019537A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2020205549A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP7387286B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2021200494A1 (ja) | 仮想空間における視点変更方法 | |
JP7403956B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2010125040A (ja) | 画像処理装置 | |
JP2024058941A (ja) | 制御装置、制御方法及びコンピュータプログラム | |
JP7458735B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2023019727A (ja) | 撮影制御システム及びその動作方法 | |
JP2017163245A (ja) | 多視点映像生成システム、多視点映像生成装置およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7455524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |