JP7418101B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7418101B2 JP7418101B2 JP2019138006A JP2019138006A JP7418101B2 JP 7418101 B2 JP7418101 B2 JP 7418101B2 JP 2019138006 A JP2019138006 A JP 2019138006A JP 2019138006 A JP2019138006 A JP 2019138006A JP 7418101 B2 JP7418101 B2 JP 7418101B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- virtual viewpoint
- image
- update interval
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 51
- 238000003672 processing method Methods 0.000 title 1
- 238000003384 imaging method Methods 0.000 claims description 70
- 239000000463 material Substances 0.000 description 81
- 238000000034 method Methods 0.000 description 47
- 230000008569 process Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 7
- 230000001629 suppression Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000003028 Stuttering Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
以下、図面を参照しながら本発明の実施形態について説明する。図1(a)は、画像処理システム10の構成例を示す。画像処理システム10は、複数の撮像装置による撮像に基づく複数の画像(複数視点画像)と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。画像処理システム10は、動画を構成するフレームの画像として静止画の前記仮想視点画像を所定のフレーム更新間隔で更新することで再生される、仮想視点の動画を生成する。以降の説明に於いては、特に断りがない限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。
図1(b)は、情報処理装置103のハードウェア構成例を示す。なお、画像生成装置102のハードウェア構成も、以下で説明する情報処理装置103の構成と同様である。情報処理装置103は、CPU111、RAM112、ROM113、通信部114、及び入出力部115を有する。
図2は、画像処理システム10の機能構成の例を示す。視点入力部201は、音声入出力部116や操作部117を介して、仮想視点を指定するための入力を受け付ける。仮想視点を指定するための入力は、例えば仮想視点を特定の方向に動かすための、ジョイスティックに対するユーザ操作に応じた入力である。なお、視点入力部201は、外部の装置から送信された視点情報や、情報処理装置103内で生成された視点情報の入力を受け付けてもよい。そして視点入力部201は、受け付けた入力に応じた仮想視点の移動方向、移動速度、回転方向、及び回転速度等に関する情報を、ぶれ判定部205、制御部207、及び視点設定部208に送信する。
ここで、図6を用いて、本実施形態における仮想視点の更新間隔の制御により得られる効果について説明する。スローモーションの仮想視点画像などを生成する場合に、仮想視点画像のフレーム更新間隔と、仮想視点画像の生成に用いられる素材データの更新間隔が異なる場合がある。例えば、仮想視点画像のフレームレートが60fpsであり、複数視点画像等の素材データのフレームレートも60fpsであるものとする。この素材データを用いて1/2倍速のスローモーションの仮想視点画像を生成する場合、1フレームの素材データから2フレームの仮想視点画像が生成されるため、1秒分の仮想視点画像の生成に用いられる素材データは30フレーム分となる。すなわち、仮想視点画像のフレームが切り替わるフレーム更新間隔は1/60秒である一方、使用される素材データが切り替わる素材データの更新間隔は1/30秒となる。このような場合に、仮想視点画像の生成に係る仮想視点の位置及び向きが更新される仮想視点の更新間隔を仮想視点画像のフレーム更新間隔に合わせると、仮想視点の更新間隔と素材データの更新間隔とが異なることになる。その結果、オブジェクトや仮想視点の動き方によっては、仮想視点画像におけるオブジェクトの位置にぶれやカクつきが生じることがある。
図3は、情報処理装置103の動作の例を示すフローチャートである。図3に示す処理は、情報処理装置103のCPU111がROM113に格納されたプログラムをRAM112に展開して実行することで実現される。なお、図3に示す処理の少なくとも一部を、CPU111とは異なる1又は複数の専用のハードウェアにより実現してもよい。図3に示す処理は、画像生成装置102と情報処理装置103とが接続され、仮想視点画像の生成に係る視点の指定を行うための指示が情報処理装置103に入力されたタイミングで開始される。ただし、図3に示す処理の開始タイミングはこれに限定されない。なお、図3を用いた以下の説明においては、予め記憶部203に記憶された素材データに基づいてリプレイ仮想視点画像が生成されるものとし、図3の処理は一連の仮想カメラパスに対応する一連の仮想視点画像ごとに実行される。
情報処理装置103による仮想視点の更新間隔の制御に関する3つの具体例を、図7から図9を用いて説明する。図7に示す1つ目の例は、素材データの更新間隔に基づいて仮想視点の更新間隔を制御する例である。図8に示す2つ目の例は、仮想視点とオブジェクトの動き方に基づいて仮想視点の更新間隔を制御する例である。図9に示す3つ目の例は、オブジェクトのぶれが発生するかの判定結果に基づいて仮想視点の更新間隔を制御する例である。
以上では、画像処理システム10及びその処理の例を説明したが、本発明は上述の実施形態に限られるものではなく、種々の変形が行われてもよい。また、上述の実施形態の一部を適宜組み合わせてもよい。
101 撮像システム
102 画像生成装置
103 情報処理装置
Claims (13)
- オブジェクトを複数の方向から撮像する複数の撮像装置による撮像に基づく複数視点画像を用いて生成される仮想視点画像に対応する仮想視点の位置及び前記仮想視点からの視線方向を示す視点情報を生成する情報処理装置であって、
仮想視点映像を構成するフレームとして前記仮想視点画像を更新することで再生される前記仮想視点映像を生成するための前記複数視点画像の更新間隔であって、前記複数視点画像を取得するための前記複数の撮像装置による撮像に係るそれぞれ異なる撮像時刻に基づいて特定される前記複数視点画像の更新間隔を示す情報と、前記仮想視点映像のフレームの更新間隔を示す情報と、を取得する取得手段と、
前記複数視点画像の更新間隔と前記仮想視点映像のフレームの更新間隔とに基づいて生成される前記視点情報であって、前記複数視点画像の更新間隔が前記フレームの更新間隔よりも長い場合に、前記フレームの更新間隔より長い間隔で前記視点情報を生成する生成手段と、を有することを特徴とする情報処理装置。 - 前記生成手段は、前記複数視点画像の更新間隔と同じ間隔で前記視点情報を生成することを特徴とする請求項1に記載の情報処理装置。
- 前記生成手段は、
所定の条件が満たされる場合、前記仮想視点映像のフレームの更新間隔よりも長い間隔で前記視点情報を生成し、
前記所定の条件が満たされない場合、前記仮想視点映像のフレームの更新間隔と同じ間隔で前記視点情報を生成することを特徴とする請求項1又は2の何れかに記載の情報処理装置。 - 前記所定の条件は、前記仮想視点映像のフレーム数と前記仮想視点映像を生成するために用いられる前記複数視点画像のフレーム数との比率に関する条件を含むことを特徴とする請求項3に記載の情報処理装置。
- 前記所定の条件は、3次元空間における前記オブジェクトの移動速度と仮想視点の変化速度との少なくとも何れかに関する条件を含むことを特徴とする請求項3又は4の何れかに記載の情報処理装置。
- 前記所定の条件は、3次元空間におけるオブジェクトの移動方向と、仮想視点の移動方向と、仮想視点の向きとの関係に関する条件を含むことを特徴とする請求項3乃至5の何れか1項に記載の情報処理装置。
- 前記仮想視点映像における前記オブジェクトのぶれを判定する判定手段を有し、
前記所定の条件は、前記判定手段による判定の結果に関する条件を含むことを特徴とする請求項3乃至6の何れか1項に記載の情報処理装置。 - 前記生成手段により生成される前記視点情報は、前記仮想視点映像のフレームの更新間隔に応じた複数の時刻それぞれにおける仮想視点の位置及び前記仮想視点からの視線方向を示すことを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
- 前記複数視点画像は、前記複数の撮像装置により取得された複数の撮像画像から前記オブジェクトに対応する領域を抽出することで得られる複数の画像であることを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- 前記複数視点画像と前記生成手段により生成された前記視点情報とに基づいて前記仮想視点画像を生成する生成手段を有することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
- 前記複数視点画像を用いて前記仮想視点画像を生成する画像生成装置へ前記視点情報を出力する出力手段を有することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
- オブジェクトを複数の方向から撮像する複数の撮像装置による撮像に基づく複数視点画像を用いて生成される仮想視点画像に対応する仮想視点の位置及び前記仮想視点からの視線方向を示す視点情報を生成する情報処理装置であって、
仮想視点映像を構成するフレームとして前記仮想視点画像を更新することで再生される前記仮想視点映像を生成するための前記複数視点画像の更新間隔であって、前記複数視点画像を取得するための前記複数の撮像装置による撮像に係るそれぞれ異なる撮像時刻に基づいて特定される前記複数視点画像の更新間隔を示す情報と、前記仮想視点映像のフレームの更新間隔を示す情報と、を取得する取得工程と、
前記複数視点画像の更新間隔と前記仮想視点映像のフレームの更新間隔とに基づいて生成される前記視点情報であって、前記複数視点画像の更新間隔が前記フレームの更新間隔よりも長い場合に、前記フレームの更新間隔より長い間隔で前記視点情報を生成する生成工程と、を有することを特徴とする情報処理装置。 - コンピュータを、請求項1乃至11の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019138006A JP7418101B2 (ja) | 2019-07-26 | 2019-07-26 | 情報処理装置、情報処理方法、及びプログラム |
KR1020200088019A KR102563512B1 (ko) | 2019-07-26 | 2020-07-16 | 정보 처리 장치, 정보 처리 방법 및 저장 매체 |
EP20187410.4A EP3771199A1 (en) | 2019-07-26 | 2020-07-23 | Information processing apparatus, information processing method, and program |
US16/937,372 US11350076B2 (en) | 2019-07-26 | 2020-07-23 | Information processing apparatus, information processing method, and storage medium |
CN202010730177.2A CN112312114B (zh) | 2019-07-26 | 2020-07-27 | 信息处理设备、信息处理方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019138006A JP7418101B2 (ja) | 2019-07-26 | 2019-07-26 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021022135A JP2021022135A (ja) | 2021-02-18 |
JP7418101B2 true JP7418101B2 (ja) | 2024-01-19 |
Family
ID=71783906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019138006A Active JP7418101B2 (ja) | 2019-07-26 | 2019-07-26 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11350076B2 (ja) |
EP (1) | EP3771199A1 (ja) |
JP (1) | JP7418101B2 (ja) |
KR (1) | KR102563512B1 (ja) |
CN (1) | CN112312114B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113254137B (zh) * | 2021-06-08 | 2023-03-14 | Tcl通讯(宁波)有限公司 | 动态图像展示方法、装置、存储介质及移动终端 |
JP2023167486A (ja) * | 2022-05-12 | 2023-11-24 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195091A (ja) | 2006-01-23 | 2007-08-02 | Sharp Corp | 合成映像生成システム |
US20150002636A1 (en) | 2013-06-28 | 2015-01-01 | Cable Television Laboratories, Inc. | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras |
WO2017038541A1 (ja) | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
JP2019004229A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム |
WO2019012817A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
JP2019102845A (ja) | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP2019114869A (ja) | 2017-12-21 | 2019-07-11 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5850352A (en) * | 1995-03-31 | 1998-12-15 | The Regents Of The University Of California | Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images |
JP2006165795A (ja) * | 2004-12-03 | 2006-06-22 | Canon Inc | 画像形成装置およびその方法 |
US20070103558A1 (en) * | 2005-11-04 | 2007-05-10 | Microsoft Corporation | Multi-view video delivery |
GB2527503A (en) * | 2014-06-17 | 2015-12-30 | Next Logic Pty Ltd | Generating a sequence of stereoscopic images for a head-mounted display |
US20160140733A1 (en) * | 2014-11-13 | 2016-05-19 | Futurewei Technologies, Inc. | Method and systems for multi-view high-speed motion capture |
JP6674247B2 (ja) * | 2015-12-14 | 2020-04-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
JP6429829B2 (ja) * | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
JP6482498B2 (ja) | 2016-05-25 | 2019-03-13 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
CN109661812B (zh) * | 2016-09-01 | 2021-04-02 | 松下知识产权经营株式会社 | 多视点摄像系统、三维空间重构系统及三维空间识别系统 |
JP6918455B2 (ja) * | 2016-09-01 | 2021-08-11 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6419128B2 (ja) * | 2016-10-28 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
JP7086522B2 (ja) * | 2017-02-28 | 2022-06-20 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
JP2018180687A (ja) * | 2017-04-05 | 2018-11-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6482696B2 (ja) * | 2017-06-23 | 2019-03-13 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP7033865B2 (ja) * | 2017-08-10 | 2022-03-11 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
US10812770B2 (en) * | 2017-09-13 | 2020-10-20 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, image processing method, and program |
JP2019103067A (ja) * | 2017-12-06 | 2019-06-24 | キヤノン株式会社 | 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム |
JP7023696B2 (ja) * | 2017-12-12 | 2022-02-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019114147A (ja) * | 2017-12-25 | 2019-07-11 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP7045218B2 (ja) * | 2018-02-28 | 2022-03-31 | キヤノン株式会社 | 情報処理装置および情報処理方法、プログラム |
JP7223978B2 (ja) * | 2018-05-23 | 2023-02-17 | パナソニックIpマネジメント株式会社 | 校正装置および校正方法 |
WO2020004162A1 (ja) * | 2018-06-27 | 2020-01-02 | キヤノン株式会社 | 撮像システム、配置決定装置、配置決定方法およびプログラム |
JP7170441B2 (ja) * | 2018-07-12 | 2022-11-14 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7207913B2 (ja) * | 2018-09-07 | 2023-01-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11132838B2 (en) * | 2018-11-06 | 2021-09-28 | Lucasfilm Entertainment Company Ltd. LLC | Immersive content production system |
JP7341674B2 (ja) * | 2019-02-27 | 2023-09-11 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7281923B2 (ja) * | 2019-03-01 | 2023-05-26 | キヤノン株式会社 | 制御装置、画像処理システム、制御方法及びプログラム |
JP7250588B2 (ja) * | 2019-03-28 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、送信方法、及びプログラム |
JP7353782B2 (ja) * | 2019-04-09 | 2023-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7455524B2 (ja) * | 2019-07-11 | 2024-03-26 | キヤノン株式会社 | 情報処理装置、設定方法、及びプログラム |
JP7423251B2 (ja) * | 2019-10-25 | 2024-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2021086189A (ja) * | 2019-11-25 | 2021-06-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、映像処理システム、およびプログラム |
US11064096B2 (en) * | 2019-12-13 | 2021-07-13 | Sony Corporation | Filtering and smoothing sources in camera tracking |
-
2019
- 2019-07-26 JP JP2019138006A patent/JP7418101B2/ja active Active
-
2020
- 2020-07-16 KR KR1020200088019A patent/KR102563512B1/ko active IP Right Grant
- 2020-07-23 EP EP20187410.4A patent/EP3771199A1/en active Pending
- 2020-07-23 US US16/937,372 patent/US11350076B2/en active Active
- 2020-07-27 CN CN202010730177.2A patent/CN112312114B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195091A (ja) | 2006-01-23 | 2007-08-02 | Sharp Corp | 合成映像生成システム |
US20150002636A1 (en) | 2013-06-28 | 2015-01-01 | Cable Television Laboratories, Inc. | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras |
WO2017038541A1 (ja) | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
JP2019004229A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム |
WO2019012817A1 (ja) | 2017-07-14 | 2019-01-17 | ソニー株式会社 | 画像処理装置、画像処理装置の画像処理方法、プログラム |
JP2019102845A (ja) | 2017-11-28 | 2019-06-24 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP2019114869A (ja) | 2017-12-21 | 2019-07-11 | キヤノン株式会社 | 表示制御装置、表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112312114A (zh) | 2021-02-02 |
JP2021022135A (ja) | 2021-02-18 |
CN112312114B (zh) | 2023-01-17 |
KR20210012927A (ko) | 2021-02-03 |
EP3771199A1 (en) | 2021-01-27 |
KR102563512B1 (ko) | 2023-08-07 |
US11350076B2 (en) | 2022-05-31 |
US20210029342A1 (en) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
KR101655078B1 (ko) | 움직이는 사진 생성 방법 및 장치 | |
JP6450064B2 (ja) | 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。 | |
JP7418101B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101831516B1 (ko) | 멀티 스티커를 이용한 영상 생성 방법 및 장치 | |
JP6218787B2 (ja) | 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 | |
WO2018135343A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2016139898A1 (ja) | ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 | |
JP2020140285A (ja) | 情報処理装置、情報処理装置の制御方法、及び、プログラム | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
GB2612418A (en) | Rendering image content | |
JP2021086189A (ja) | 情報処理装置、情報処理方法、映像処理システム、およびプログラム | |
CN112791417B (zh) | 游戏画面的拍摄方法、装置、设备及存储介质 | |
US11622099B2 (en) | Information-processing apparatus, method of processing information, and program | |
WO2021230073A1 (ja) | 情報処理装置、情報処理方法、及び表示装置 | |
JP7458713B2 (ja) | 画像処理装置、画像処理システム、制御方法、および、プログラム | |
KR101713670B1 (ko) | 분할 화면을 제공하는 사용자 인터페이스를 통한 카메라 장치의 동작 방법 | |
JP5962692B2 (ja) | 端末装置、及びプログラム | |
JP2022043539A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP2016001833A (ja) | 映像再生システム、及び制御方法 | |
JP6910405B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7204843B2 (ja) | 送信装置および送信方法、プログラム | |
JP2001148806A (ja) | 映像合成演算処理装置、その方法及びシステム | |
JP4687748B2 (ja) | 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム | |
JP2023167486A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7418101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |