JP7459195B2 - 生成装置、生成方法、及びプログラム - Google Patents
生成装置、生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7459195B2 JP7459195B2 JP2022140511A JP2022140511A JP7459195B2 JP 7459195 B2 JP7459195 B2 JP 7459195B2 JP 2022140511 A JP2022140511 A JP 2022140511A JP 2022140511 A JP2022140511 A JP 2022140511A JP 7459195 B2 JP7459195 B2 JP 7459195B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- parameter
- file
- image data
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 102100038359 Xaa-Pro aminopeptidase 3 Human genes 0.000 description 1
- 101710081949 Xaa-Pro aminopeptidase 3 Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/2125—Display of information relating to the still picture recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Generation (AREA)
Description
[第1実施形態]
図8には、仮想視点の軌跡(図中の破線の矢印線801)を仮想視点映像に重ねて表示した場合の表示例が示されている。例えば、仮想視点パラメータ付与部105が、第二の仮想視点映像データ130、すなわち仮想視点パラメータが付与された仮想視点映像データを、不図示の表示装置に出力する。そして、不図示の表示装置が、仮想視点映像データによって示される仮想視点映像を表示する際に、該仮想視点映像データに付与された仮想視点パラメータに基づき、仮想視点の軌跡801を仮想視点映像に重ねて表示する。それにより、図8に示されるような仮想視点映像の表示を行うことが可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104 仮想視点映像生成部
105 仮想視点パラメータ付与部
Claims (13)
- 複数の撮影装置が撮影することにより取得される画像データと仮想視点の位置と前記仮想視点からの視線方向とに基づく仮想視点画像の生成に使用される、前記仮想視点の位置を表すパラメータと前記仮想視点からの視線方向を表すパラメータと前記仮想視点画像に対応するフレームを示す情報とが含まれる仮想視点パラメータ群を複数取得する取得手段と、
前記取得手段が取得した複数の仮想視点パラメータ群と、複数の仮想視点画像に対応する仮想視点画像データと、が含まれるファイルを生成する生成手段と、
を有し、
前記複数の仮想視点パラメータ群の各々は、前記仮想視点画像データに含まれる複数のフレームのうちの1つのフレームに対応する
ことを特徴とする生成装置。 - 前記仮想視点の位置を表すパラメータは、前記仮想視点画像データに含まれる複数のフレームのうちの1つのフレームに対応しており、
前記仮想視点からの視線方向を表すパラメータは、前記仮想視点画像データに含まれる複数のフレームのうちの1つのフレームに対応する
ことを特徴とする請求項1に記載の生成装置。 - 前記ファイルは、静止画フォーマットのファイルであり、
前記複数の仮想視点パラメータ群を特定するための情報は、前記ファイルのメタデータの領域に含まれる
ことを特徴とする請求項1または請求項2に記載の生成装置。 - 前記静止画フォーマットは、Exifであり、
前記複数の仮想視点パラメータ群を特定するための情報は、前記ファイルのメタデータの領域のうち、Exif規格で定義されるIFD領域に含まれる
ことを特徴とする請求項3に記載の生成装置。 - 前記静止画フォーマットは、Exifであり、
前記複数の仮想視点パラメータ群は、前記ファイルのメタデータの領域のうち、Exif規格で定義されていないAPPnマーカセグメントに含まれる
ことを特徴とする請求項3に記載の生成装置。 - 前記ファイルは、動画フォーマットのファイルであり、
前記生成手段は、
前記仮想視点画像データ及び前記複数の仮想視点パラメータ群を特定するための情報は、フレームの時系列順に前記ファイルに含まれる
ことを特徴とする請求項1または請求項2のいずれか1項に記載の生成装置。 - 前記ファイルは、動画フォーマットのファイルであり、
前記動画フォーマットは、Ogg Vorbisである
ことを特徴とする請求項1または請求項2に記載の生成装置。 - 前記仮想視点パラメータ群には、前記仮想視点の画角を表すパラメータがさらに含まれる
ことを特徴とする請求項1から請求項6のうちのいずれか1項に記載の生成装置。 - 前記ファイルに基づいて表示装置に表示される仮想視点画像には、前記ファイルにおける仮想視点パラメータに対応する仮想視点の軌跡を表す図形が含まれる
ことを特徴とする請求項1から請求項8のうちのいずれか1項に記載の生成装置。 - 前記仮想視点画像データに含まれる複数のフレームのうちの1つのフレームを特定する前記パラメータは、当該1つのフレームのフレーム番号である
ことを特徴とする請求項1から請求項9のうちのいずれか1項に記載の生成装置。 - 前記仮想視点画像データに含まれる複数のフレームのうちの1つのフレームを特定する前記パラメータは、当該1つのフレームのタイムコードである
ことを特徴とする請求項1から請求項9のうちのいずれか1項に記載の生成装置。 - 複数の撮影装置が撮影することにより取得される画像データと仮想視点の位置と前記仮想視点からの視線方向とに基づく仮想視点画像の生成に使用される、前記仮想視点の位置を表すパラメータと前記仮想視点からの視線方向を表すパラメータと前記仮想視点画像に対応するフレームを示す情報とが含まれる仮想視点パラメータ群を複数取得する取得ステップと、
前記取得ステップにて取得した複数の仮想視点パラメータ群と、複数の仮想視点画像に対応する仮想視点画像データと、が含まれるファイルを生成する生成ステップと、
を有し、
前記複数の仮想視点パラメータ群の各々は、前記仮想視点画像データに含まれる複数のフレームのうちの1つのフレームに対応する
ことを特徴とする生成装置が行う生成方法。 - コンピュータを、請求項1から請求項11のうちのいずれか1項に記載の生成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022140511A JP7459195B2 (ja) | 2018-03-09 | 2022-09-05 | 生成装置、生成方法、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018043459A JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
JP2022140511A JP7459195B2 (ja) | 2018-03-09 | 2022-09-05 | 生成装置、生成方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043459A Division JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022171739A JP2022171739A (ja) | 2022-11-11 |
JP7459195B2 true JP7459195B2 (ja) | 2024-04-01 |
Family
ID=67846029
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043459A Active JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
JP2022140511A Active JP7459195B2 (ja) | 2018-03-09 | 2022-09-05 | 生成装置、生成方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043459A Active JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US11451759B2 (ja) |
JP (2) | JP7140517B2 (ja) |
WO (1) | WO2019171733A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022090786A (ja) | 2020-12-08 | 2022-06-20 | キヤノン株式会社 | 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007150747A (ja) | 2005-11-28 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 受信装置及び本線映像配信装置 |
JP2010206774A (ja) | 2009-02-05 | 2010-09-16 | Fujifilm Corp | 3次元画像出力装置及び方法 |
WO2012105121A1 (ja) | 2011-02-03 | 2012-08-09 | 富士フイルム株式会社 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
JP2013172456A (ja) | 2012-02-17 | 2013-09-02 | Samsung Electronics Co Ltd | マルチメディアコンテンツのフレーム検索方法及び装置 |
WO2016167160A1 (ja) | 2015-04-17 | 2016-10-20 | シャープ株式会社 | データ生成装置および再生装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003242043A (ja) | 2002-02-15 | 2003-08-29 | Oki Electric Ind Co Ltd | 再生装置およびデータ管理システムにおけるコンテンツ管理方法 |
KR100977193B1 (ko) * | 2002-04-25 | 2010-08-20 | 샤프 가부시키가이샤 | 화상 데이터 생성 장치, 화상 데이터 재생 장치, 및 화상데이터 기록 매체 |
KR100779634B1 (ko) * | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
WO2009046435A1 (en) * | 2007-10-05 | 2009-04-09 | Aharon Mizrahi | System and method for enabling search of content |
US8786596B2 (en) * | 2008-07-23 | 2014-07-22 | Disney Enterprises, Inc. | View point representation for 3-D scenes |
WO2011136191A1 (ja) | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置 |
KR101926477B1 (ko) * | 2011-07-18 | 2018-12-11 | 삼성전자 주식회사 | 콘텐츠 재생 방법 및 장치 |
JP2014215828A (ja) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
-
2018
- 2018-03-09 JP JP2018043459A patent/JP7140517B2/ja active Active
- 2018-12-28 WO PCT/JP2018/048468 patent/WO2019171733A1/ja active Application Filing
-
2020
- 2020-09-03 US US17/011,579 patent/US11451759B2/en active Active
-
2022
- 2022-08-17 US US17/889,429 patent/US20220394230A1/en active Pending
- 2022-09-05 JP JP2022140511A patent/JP7459195B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007150747A (ja) | 2005-11-28 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 受信装置及び本線映像配信装置 |
JP2010206774A (ja) | 2009-02-05 | 2010-09-16 | Fujifilm Corp | 3次元画像出力装置及び方法 |
WO2012105121A1 (ja) | 2011-02-03 | 2012-08-09 | 富士フイルム株式会社 | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 |
JP2013172456A (ja) | 2012-02-17 | 2013-09-02 | Samsung Electronics Co Ltd | マルチメディアコンテンツのフレーム検索方法及び装置 |
WO2016167160A1 (ja) | 2015-04-17 | 2016-10-20 | シャープ株式会社 | データ生成装置および再生装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200404240A1 (en) | 2020-12-24 |
WO2019171733A1 (ja) | 2019-09-12 |
JP7140517B2 (ja) | 2022-09-21 |
US20220394230A1 (en) | 2022-12-08 |
US11451759B2 (en) | 2022-09-20 |
JP2019159594A (ja) | 2019-09-19 |
JP2022171739A (ja) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3495921A1 (en) | An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content | |
US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
US11044398B2 (en) | Panoramic light field capture, processing, and display | |
WO2020213426A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20210266511A1 (en) | Information processing system, information processing method, and storage medium | |
US20190155465A1 (en) | Augmented media | |
JP7459195B2 (ja) | 生成装置、生成方法、及びプログラム | |
WO2020166376A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
CN109863746B (zh) | 用于数据探索的沉浸式环境系统和视频投影模块 | |
KR102218843B1 (ko) | 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법 | |
WO2023236656A1 (zh) | 互动画面的渲染方法、装置、设备、存储介质及程序产品 | |
Aguilar et al. | ARStudio: A low-cost virtual studio based on Augmented Reality for video production | |
US10032447B1 (en) | System and method for manipulating audio data in view of corresponding visual data | |
GB2549723A (en) | A system and method for video editing in a virtual reality enviroment | |
WO2022230718A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
KR20170142090A (ko) | 360도 vr 영상 제작을 위한 이벤트 기반의 3차원 동적 콘티 생성 방법 및 장치 | |
US20170287521A1 (en) | Methods, circuits, devices, systems and associated computer executable code for composing composite content | |
JP7378960B2 (ja) | 画像処理装置、画像処理システム、画像生成方法、および、プログラム | |
WO2022230715A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP5647813B2 (ja) | 映像提示システム、プログラム及び記録媒体 | |
JP2023072709A (ja) | 三次元vr撮影装置、三次元vr再生システム、三次元vr撮影方法、並びに、その方法のプログラムおよびそのプログラムを記録した記録媒体 | |
Ronfard et al. | Introducing 3D Cinematography [Guest editors' introduction] | |
JP2019121158A (ja) | データ表示装置、方法、およびプログラム | |
KR20240098501A (ko) | 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 | |
CN116503483A (zh) | 姿态标定方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7459195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |