JP7282887B2 - 仮想カメラパスを決定するシステム及び方法 - Google Patents
仮想カメラパスを決定するシステム及び方法 Download PDFInfo
- Publication number
- JP7282887B2 JP7282887B2 JP2021530280A JP2021530280A JP7282887B2 JP 7282887 B2 JP7282887 B2 JP 7282887B2 JP 2021530280 A JP2021530280 A JP 2021530280A JP 2021530280 A JP2021530280 A JP 2021530280A JP 7282887 B2 JP7282887 B2 JP 7282887B2
- Authority
- JP
- Japan
- Prior art keywords
- path
- template
- camera
- movement path
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 50
- 230000033001 locomotion Effects 0.000 claims description 34
- 230000010365 information processing Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 48
- 230000015654 memory Effects 0.000 description 23
- 238000003860 storage Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Image Generation (AREA)
Description
本出願は、その全体の開示が参照により本明細書に組み込まれている、2018年12月27日に出願された米国特許出願第16/201812号の出願日の35U.S.C.§119の下での利益を主張するものである。
カメラ120A~120Xによって撮影されたビデオフレームは、ネットワーク接続1121を介して、プロセッサとも呼ばれる演算ビデオ処理部1105に利用可能にされる前に、カメラの近くで処理及び一時的に記憶される。演算ビデオ処理部1105は、制御装置180からの制御入力を受け取り、制御入力は、フィールド110内の仮想カメラ150に対する位置、向き、ズーム、及び場合によっては他のシミュレートされたカメラ特徴を特定する。演算ビデオ処理部1105の役割は、フィールド110を取り囲むカメラ120A~120Xから利用可能なビデオストリームに基づいて、特定の仮想カメラパースペクティブ190を合成することである。「仮想カメラ」は、物理カメラ間の補間などの方法によって、又はシーンを取り囲む多くのカメラからのデータを使用して構築されたモデル化された三次元シーンから、単に単一の物理カメラの出力ではなくレンダリングすることによって、その機能性が計算上導出されるので、仮想カメラと呼ばれる。
電子デバイス1101はまた、キー、キーパッド又は同様の制御装置によって通常構成されるユーザ入力デバイス1113も含む。ある実施例では、ユーザ入力デバイス1113は、タッチスクリーンをまとめて構成するようにディスプレイ1114に物理的に関連付けられたタッチ感知パネルを含み得る。したがって、そのようなタッチスクリーンは、プロンプトの対語としてのグラフィカルユーザインターフェース(GUI)、又はキーパッド-ディスプレイとともに通常用いられるメニュー駆動GUIの一方の形式として動作し得る。音声コマンドのためのマイク(図示せず)又はメニューについてのナビゲーションを容易にするためのジョイスティック/サムホイール、又はゲームパッド(図示せず)などの、他の形式のユーザ入力デバイスも用いられ得る。仮想カメラを制御するためのユーザ入力は、ユーザ入力デバイス1113を介して、通常、電子デバイス1101がタブレットコンピュータの場合にはタッチスクリーン1114を介して受信され得る。
Claims (15)
- 仮想視点の位置の変化パターンと前記仮想視点が向けられる対象位置の第1移動経路とを表す複数の異なるテンプレートの中から、ユーザ入力に基づいてテンプレートを決定する決定手段と、
3次元空間におけるシーン内において、ユーザ入力に基づいて仮想視点が向けられる対象位置の第2移動経路を特定する特定手段と、
前記決定手段によって決定されたテンプレートに対応する前記第1移動経路上の所定の数の点と前記第2移動経路上の所定の数の点とを一致させて修正させた第1移動経路と、前記決定手段により決定されたテンプレートにより表される仮想視点の位置の変化パターンとに基づいて、前記第2移動経路に対応する仮想視点の位置の変化パターンを設定する設定手段と
を有することを特徴とする情報処理装置。 - 前記第2移動経路は、少なくとも2つの異なる時刻における前記シーン内の位置によって決定されることを特徴とする請求項1に記載の情報処理装置。
- 前記第2移動経路は、前記シーン内の特定のオブジェクトの移動経路に基づいて決定されることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記仮想視点からの視線方向は、前記特定のオブジェクトに向けられるように設定されることを特徴とする請求項3に記載の情報処理装置。
- 前記第2移動経路は、直線または曲線であることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記テンプレートは、前記仮想視点からの視線方向の変化パターンをさらに表すことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記第2移動経路は、前記シーンにおける位置と時刻とを有する2つ以上の点によって定義されることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記2以上の点に基づいて特定される速度特性と、前記テンプレートの速度特性とが合うように、前記決定手段により決定されたテンプレートの速度特性が決定されることを特徴とする請求項7に記載の情報処理装置。
- 前記仮想視点の位置の変化は、前記テンプレートの前記速度特性に応じて調整されることを特徴とする請求項8に記載の情報処理装置。
- 前記第1移動経路に対する修正が前記テンプレートに対応して適用されるように、前記テンプレートと前記第1移動経路とが関連付けられることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 前記テンプレートは、複数の異なるテンプレートカメラパスの中からユーザ入力に基づいて選択されることにより決定されることを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
- 前記設定手段により設定された前記仮想視点の位置及び前記仮想視点からの視線方向に基づくビデオデータが生成されることを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
- 前記シーンは、複数の撮影装置により撮影されるイベントにおけるシーンであることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 仮想視点の位置の変化パターンと前記仮想視点が向けられる対象位置の第1移動経路とを表す複数の異なるテンプレートの中から、ユーザ入力に基づいてテンプレートを決定する決定工程と、
3次元空間におけるシーン内において、ユーザ入力に基づいて仮想視点が向けられる対象位置の第2移動経路を特定する特定工程と、
前記決定工程によって決定されたテンプレートに対応する前記第1移動経路上の所定の数の点と前記第2移動経路上の所定の数の点とを一致させて修正させた第1移動経路と、前記決定工程により決定されたテンプレートにより表される仮想視点の位置の変化パターンとに基づいて、前記第2移動経路に対応する仮想視点の位置の変化パターンを設定する設定工程と
を有することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至13のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/201,812 US10685679B1 (en) | 2018-11-27 | 2018-11-27 | System and method of determining a virtual camera path |
US16/201,812 | 2018-11-27 | ||
PCT/AU2019/050765 WO2020107058A1 (en) | 2018-11-27 | 2019-07-23 | System and method of determining a virtual camera path |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022510658A JP2022510658A (ja) | 2022-01-27 |
JP7282887B2 true JP7282887B2 (ja) | 2023-05-29 |
Family
ID=70770341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021530280A Active JP7282887B2 (ja) | 2018-11-27 | 2019-07-23 | 仮想カメラパスを決定するシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10685679B1 (ja) |
JP (1) | JP7282887B2 (ja) |
WO (1) | WO2020107058A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747138A (zh) * | 2021-07-30 | 2021-12-03 | 杭州群核信息技术有限公司 | 虚拟场景的视频生成方法和装置、存储介质及电子设备 |
JP2023167486A (ja) * | 2022-05-12 | 2023-11-24 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN117395510B (zh) * | 2023-12-12 | 2024-02-06 | 湖南快乐阳光互动娱乐传媒有限公司 | 虚拟机位的控制方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018107793A (ja) | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 仮想視点画像の生成装置、生成方法及びプログラム |
JP2018112997A (ja) | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、画像処理システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5977978A (en) | 1996-11-13 | 1999-11-02 | Platinum Technology Ip, Inc. | Interactive authoring of 3D scenes and movies |
US9070402B2 (en) | 2006-03-13 | 2015-06-30 | Autodesk, Inc. | 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI |
US20120098925A1 (en) | 2010-10-21 | 2012-04-26 | Charles Dasher | Panoramic video with virtual panning capability |
US10175345B2 (en) * | 2014-10-17 | 2019-01-08 | Voxtel, Inc. | Event tracking imager |
US9852351B2 (en) * | 2014-12-16 | 2017-12-26 | 3Ditize Sl | 3D rotational presentation generated from 2D static images |
US10593048B2 (en) * | 2016-01-07 | 2020-03-17 | Rapsodo Pte. Ltd. | Object surface matching with a template for flight parameter measurement |
JP6672075B2 (ja) | 2016-05-25 | 2020-03-25 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
US10351237B2 (en) * | 2016-07-28 | 2019-07-16 | Qualcomm Incorporated | Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users |
US10970915B2 (en) | 2017-01-06 | 2021-04-06 | Canon Kabushiki Kaisha | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium |
-
2018
- 2018-11-27 US US16/201,812 patent/US10685679B1/en active Active
-
2019
- 2019-07-23 JP JP2021530280A patent/JP7282887B2/ja active Active
- 2019-07-23 WO PCT/AU2019/050765 patent/WO2020107058A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018107793A (ja) | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 仮想視点画像の生成装置、生成方法及びプログラム |
JP2018112997A (ja) | 2017-01-13 | 2018-07-19 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
WO2020107058A1 (en) | 2020-06-04 |
US10685679B1 (en) | 2020-06-16 |
JP2022510658A (ja) | 2022-01-27 |
US20200168252A1 (en) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10902676B2 (en) | System and method of controlling a virtual camera | |
US11164282B2 (en) | Virtual lens simulation for video and photo cropping | |
US11533438B2 (en) | Method to configure a virtual camera path | |
JP7282887B2 (ja) | 仮想カメラパスを決定するシステム及び方法 | |
CN114727022B (zh) | 在全向视频中的跟踪感兴趣对象 | |
EP2583449B1 (en) | Mobile and server-side computational photography | |
CN110944727A (zh) | 控制虚拟照相机的系统和方法 | |
EP3668093B1 (en) | Method, system and apparatus for capture of image data for free viewpoint video | |
US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
KR102464944B1 (ko) | 카메라 워크를 재현하는 방법 및 장치 | |
KR102356448B1 (ko) | 이미지 합성 방법 및 그 전자 장치 | |
US20160323507A1 (en) | Method and apparatus for generating moving photograph | |
KR101484844B1 (ko) | 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법 | |
JP2019033430A (ja) | 動画再生装置およびその制御方法、並びにプログラム | |
CA2838878A1 (en) | Method and apparatus for controlling contents in electronic device | |
US20200106967A1 (en) | System and method of configuring a virtual camera | |
US9600160B2 (en) | Image processing device, image processing method, and program | |
KR20160053428A (ko) | 유저 인터페이스를 통한 카메라 장치의 동작 방법 | |
US10200606B2 (en) | Image processing apparatus and control method of the same | |
KR20190122053A (ko) | 객체 영상 트랙킹 스트리밍 시스템 및 이를 이용한 스트리밍 방법 | |
WO2021131991A1 (ja) | 映像生成装置、映像生成方法および映像生成プログラム | |
KR101511868B1 (ko) | 다중 카메라 디바이스를 활용한 멀티미디어 촬영 방법 및 그 시스템 | |
Vanherle et al. | Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System | |
JP2002232782A (ja) | 画像処理装置および画像処理方法、並びにプログラム記憶媒体 | |
CN113284044A (zh) | 图像生成方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20220630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230517 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7282887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |