JP7054677B2 - カメラワーク生成方法及び映像処理装置 - Google Patents
カメラワーク生成方法及び映像処理装置 Download PDFInfo
- Publication number
- JP7054677B2 JP7054677B2 JP2018532951A JP2018532951A JP7054677B2 JP 7054677 B2 JP7054677 B2 JP 7054677B2 JP 2018532951 A JP2018532951 A JP 2018532951A JP 2018532951 A JP2018532951 A JP 2018532951A JP 7054677 B2 JP7054677 B2 JP 7054677B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video
- camera work
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 87
- 238000000034 method Methods 0.000 title claims description 75
- 238000004458 analytical method Methods 0.000 claims description 71
- 238000011156 evaluation Methods 0.000 claims description 31
- 230000008859 change Effects 0.000 claims description 6
- 230000010365 information processing Effects 0.000 description 66
- 238000004891 communication Methods 0.000 description 40
- 238000009877 rendering Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 23
- 238000012986 modification Methods 0.000 description 22
- 230000004048 modification Effects 0.000 description 22
- 238000012790 confirmation Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000036544 posture Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000003672 processing method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
図1は、本実施の形態に係る映像配信システム100の構成を示すブロック図である。この映像配信システム100は、スポーツ競技場、又はライブ会場等における自由視点映像を生成し、生成した自由視点映像を配信するシステムである。映像配信システム100は、複数の撮像装置101と、映像処理装置102と、複数の視聴装置103とを含む。
上記説明では、表示部125を操作する編集者により、カメラワーク154が選択又は修正される例を述べたが、映像配信システム100は、上記機能に加え、視聴装置103Aを操作する視聴者がカメラワーク154を編集する機能を有してもよい。
本実施の形態では、映像処理装置102の一部の機能を視聴装置103が備える例を説明する。図7は、本実施の形態に係る映像配信システム100Bの構成を示すブロック図である。図7に示す映像配信システム100Bでは、映像処理装置102Bは、カメラワーク生成部123、レンダリング部124及び表示部125を備えない。一方で、映像処理装置102Bは、評価情報受信部127を備える。
上記各実施の形態で示した画像処理方法及び装置の構成の他の応用例とそれを用いたシステムを説明する。当該システムは、インテリジェント化と対象空間の広域化とが進む映像システムに適用でき、例えば、(1)店舗或いは工場のセキュリティカメラ、又は警察の車載カメラなどに実装される監視システム、(2)個人所有のカメラ或いは各車載カメラ、又は道路に備えられたカメラなどを用いた交通情報システム、(3)ドローンなど遠隔操作又は自動制御可能な装置を用いた環境調査又は配送システム、及び(4)エンターテイメント施設又はスタジアム等における設置カメラ、ドローン等の移動カメラ、又は個人所有のカメラなどを用いた映像などのコンテンツ送受信システムなどに適用できる。
なお、上記説明では、移動カメラに移動を指示する指示信号が送信される例を述べたが、指示信号は、ユーザカメラのユーザに移動を指示するための信号であってもよい。例えば、ユーザカメラは、指示信号に基づき、ユーザにカメラの方向を変更するように指示する指示画像を表示する。なお、ユーザカメラは、ユーザの移動の指示として、地図上に移動経路を示した指示画像を表示してもよい。また、ユーザカメラは、取得される画像の質を向上させるために撮影方向、角度、画角、画質、及び撮影領域の移動など詳細な撮影の指示を表示してもよく、さらに映像情報処理装置ex101側で制御可能であれば、映像情報処理装置ex101は、そのような撮影に関するカメラex102の特徴量を自動で制御してもよい。
解析部ex112は、例えばSfMを用いて、保存部ex111に保存された映像データから施設内又はスタジアム内の三次元形状を復元することで自由視点映像(三次元再構成データ)を生成してもよい。この自由視点映像は、保存部ex111に保存される。映像情報処理装置ex101は、映像受信装置ex103から送信される視野情報(及び/又は、視点情報)に応じた映像データを保存部ex111から読み出して、映像受信装置ex103に送信する。なお、映像受信装置ex103は、複数のカメラの一つであってもよい。
映像情報処理装置ex101は、撮影禁止領域を検出してもよい。この場合、解析部ex112は撮影画像を解析し、移動カメラが撮影禁止領域を撮影している場合には移動カメラに対して撮影禁止信号を送信する。移動カメラは撮影禁止信号を受信している間は撮影を停止する。
映像から三次元の仮想空間を構築するためには、複数視点の映像を集める必要があるため、映像情報処理システムex100は、撮影映像を転送したユーザに対してインセンティブを設定する。例えば、映像情報処理装置ex101は、映像を転送したユーザに対し、無料又は割引料金で映像配信を行ったり、オンライン又はオフラインの店又はゲーム内で使用できるような金銭的な価値、又はゲームなどのバーチャル空間での社会的地位など非金銭的な価値のあるポイントを付与する。また、映像情報処理装置ex101は、リクエストが多いなど価値のある視野(及び/又は、視点)の撮影映像を転送したユーザに対しては特に高いポイントを付与する。
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して付加情報を送信してもよい。この場合、ユーザカメラは撮影映像に付加情報を重畳して、画面に表示する。付加情報とは、例えば、スタジアムでの試合が撮影されている場合には、選手名又は身長などの選手の情報であり、映像内の各選手に対応付けて当該選手の名前又は顔写真などが表示される。なお、映像情報処理装置ex101は、映像データの一部又は全部の領域に基づきインターネット経由の検索により、付加情報を抽出してもよい。また、カメラex102は、Bluetooth(登録商標)をはじめとする近距離無線通信又は、スタジアム等の照明から可視光通信によりそのような付加情報を受け取り、受け取った付加情報を、映像データにマッピングしてもよい。また、カメラex102は、このマッピングを、カメラex102に有線又は無線により接続される記憶部に保持されるテーブルであって、可視光通信技術により得られる情報と付加情報との対応関係を示すテーブルなどの一定規則に基づいて行なってもよいし、インターネット検索により最も確からしい組み合わせの結果を用いて行なってもよい。
解析部ex112は,自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定してもよい。なお、撮影領域の判定方法はこれに限られず、上述した各実施の形態で説明した様々な撮影領域の判定方法又はその他の撮影領域の判定方法を用いられてもよい。
映像情報処理装置ex101は、解析部ex112の解析結果に基づき、ユーザカメラに対して広告情報を送信してもよい。ユーザカメラは撮影映像に広告情報を重畳して、画面に表示する。
映像受信装置ex103は、カメラex102(ユーザカメラ)の一つであってもよい。この場合、解析部ex112は、自由視点映像とユーザカメラの撮影映像とのマッチングを取ることで、ユーザカメラが施設内又はスタジアム内のどの領域を撮影中かを判定する。なお、撮影領域の判定方法はこれに限らない。
各カメラex102で撮影された映像データの重要度に基づき映像データを映像情報処理装置ex101に転送する速度が指示されてもよい。
解析部ex112は、映像受信装置ex103から送信された視野情報(及び/又は、視点情報)に基づき、映像データの重要度を判定してもよい。例えば、解析部ex112は、視野情報(及び/又は、視点情報)が示す領域を多く含む撮影映像データの重要度を高く設定する。また、解析部ex112は、映像中に含まれる人の数、又は移動物体の数を考慮して、映像データの重要度を判定してもよい。なお、重要度の判定方法はこれに限らない。
映像配信システムにおいて、映像情報処理装置ex101は、撮影シーンの全体を示す概観映像を映像受信装置ex103に送信してもよい。
なお、映像情報処理装置ex101は、例えば、設計図面などから事前に生成された施設又はスタジアムの三次元形状復元データを事前映像として、予め保存しておいてもよい。なお、事前映像はこれに限らず、デプスセンサから得られる空間の凹凸と、過去又はキャリブレーション時の画像又は映像データから導出されるピクチャとをオブジェクトごとにマッピングした仮想空間データであってもよい。
各装置の時刻は、サーバの基準時刻等に基づき、撮影開始時にキャリブレーションされてもよい。解析部ex112は、複数のカメラex102で撮影された複数の撮影映像データのうち、時刻設定の精度に応じて、予め設定された時間範囲内に属する時刻に撮影された複数の映像データを用いて、三次元形状の復元を行う。この時刻の検出には、例えば撮影映像データが保存部ex111に格納された時刻が用いられる。なお、時刻の検出方法はこれに限らない。これにより、映像情報処理装置ex101は、三次元形状の復元を効率的に行うことができるので、自由視点映像の高フレームレート化及び高画質化を実現できる。
解析部ex112は、カメラ属性情報を用いて、三次元形状の復元を行ってもよい。例えば、解析部ex112は、カメラ属性情報を用いて、視体積交差法又はマルチビューステレオ法などの手法により三次元映像を生成してもよい。この場合、カメラex102は、撮影映像データとカメラ属性情報とを映像情報処理装置ex101に送信する。カメラ属性情報は、例えば、撮影位置、撮影角度、撮影時刻、又はズーム倍率などである。
当該システムはスマートフォン等のモバイル端末上で動作するアプリケーションとして提供されてもよい。
上記システムを用いて、例えば、警察の車載カメラ、及び警察官のウェアラブルカメラの映像などから、地域全体の大雑把な状態を、当該システムに接続されたセンターで管理することができる。
上記システムは、例えば、複数のカメラを利用して建物又は設備の測距又はモデリングを行うシステムにも適用できる。
上記各実施の形態で示した画像処理方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ICカード、半導体メモリ等、プログラムを記録できるものであればよい。
101 撮像装置
102、102B 映像処理装置
103、103A、103B 視聴装置
111 カメラ
112 センサ
121 モデル生成部
122 解析部
123 カメラワーク生成部
124 レンダリング部
125、131 表示部
126 配信部
127 評価情報受信部
132 評価部
151 多視点映像
152 三次元モデル
153 対象シーン
154 カメラワーク
155 カメラワーク確認用映像
156 自由視点映像
201 カメラワーク表示欄
202 カメラ情報表示欄
203 自由視点映像表示欄
204 スライドバー
205 評価表示欄
206 アップロードボタン
Claims (6)
- 同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成ステップと、
前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する対象シーン決定ステップと、
前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成ステップとを含み、
前記カメラワーク生成ステップでは、前記三次元モデルが生成されていない領域又は前記三次元モデルの品質が予め定められた値より低い領域を判定し、判定した領域が前記自由視点映像に含まれないように前記カメラワークを生成する
カメラワーク生成方法。 - 前記カメラワーク生成方法は、さらに、
前記カメラワークを表示するカメラワーク表示ステップを含む
請求項1記載のカメラワーク生成方法。 - 前記カメラワーク生成方法は、さらに、
前記カメラワークを用いて、前記三次元モデル又は前記多視点映像から前記自由視点映像を生成する映像生成ステップを含む
請求項1又は2記載のカメラワーク生成方法。 - 前記映像生成ステップでは、前記自由視点映像にブレを追加する
請求項3記載のカメラワーク生成方法。 - 前記カメラワーク生成方法は、さらに、
前記カメラワークに対するユーザの評価を取得する取得ステップを含み、
前記カメラワーク生成ステップでは、前記評価に基づき、カメラワークを生成する
請求項1~4のいずれか1項に記載のカメラワーク生成方法。 - 同一シーンを異なる視点から撮影した多視点映像から前記シーンの三次元モデルを生成するモデル生成部と、
前記シーンのうち、前記三次元モデルを仮想カメラから見た自由視点映像を生成する対象である対象シーンを決定する解析部と、
前記自由視点映像における前記仮想カメラの位置及び姿勢の時間変化を示すカメラワークを生成するカメラワーク生成部とを備え、
前記カメラワーク生成部は、前記三次元モデルが生成されていない領域又は前記三次元モデルの品質が予め定められた値より低い領域を判定し、判定した前記領域が前記自由視点映像に含まれないように前記カメラワークを生成する
映像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662372947P | 2016-08-10 | 2016-08-10 | |
US62/372,947 | 2016-08-10 | ||
PCT/JP2017/027833 WO2018030206A1 (ja) | 2016-08-10 | 2017-08-01 | カメラワーク生成方法及び映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018030206A1 JPWO2018030206A1 (ja) | 2019-06-06 |
JP7054677B2 true JP7054677B2 (ja) | 2022-04-14 |
Family
ID=61162436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018532951A Active JP7054677B2 (ja) | 2016-08-10 | 2017-08-01 | カメラワーク生成方法及び映像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10778951B2 (ja) |
EP (1) | EP3499897B1 (ja) |
JP (1) | JP7054677B2 (ja) |
CN (1) | CN109565605B (ja) |
WO (1) | WO2018030206A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102608117B1 (ko) * | 2022-06-16 | 2023-11-30 | 주식회사 엘지유플러스 | 이미지 보정 방법 및 이미지 보정 시스템 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
JP6980496B2 (ja) * | 2017-11-21 | 2021-12-15 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7051457B2 (ja) * | 2018-01-17 | 2022-04-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US11308577B2 (en) | 2018-04-04 | 2022-04-19 | Sony Interactive Entertainment Inc. | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method |
WO2019225681A1 (ja) * | 2018-05-23 | 2019-11-28 | パナソニックIpマネジメント株式会社 | 校正装置および校正方法 |
JP7275484B2 (ja) * | 2018-07-05 | 2023-05-18 | 凸版印刷株式会社 | 物体配置支援システム、物体配置支援方法及びプログラム |
JP2020013470A (ja) | 2018-07-20 | 2020-01-23 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7309849B2 (ja) * | 2018-07-24 | 2023-07-18 | マジック リープ, インコーポレイテッド | 画像ディスプレイデバイスの位置特定マップを決定および/または評価するための方法および装置 |
JP7301507B2 (ja) * | 2018-08-08 | 2023-07-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US11451757B2 (en) * | 2018-09-28 | 2022-09-20 | Intel Corporation | Automated generation of camera paths |
JP7237538B2 (ja) * | 2018-11-14 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法、およびプログラム |
US10818077B2 (en) * | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
WO2020137584A1 (ja) * | 2018-12-25 | 2020-07-02 | ソニー株式会社 | 映像再生装置、再生方法、およびプログラム |
JP7361468B2 (ja) * | 2018-12-28 | 2023-10-16 | 株式会社バンダイナムコエンターテインメント | サーバシステム、制御方法およびプログラム |
US11025989B2 (en) * | 2019-02-13 | 2021-06-01 | Live Inc. | Live event video stream service |
WO2020213426A1 (ja) * | 2019-04-18 | 2020-10-22 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
US11482005B2 (en) | 2019-05-28 | 2022-10-25 | Apple Inc. | Techniques for secure video frame management |
JP7360989B2 (ja) * | 2019-06-27 | 2023-10-13 | 株式会社ドワンゴ | 制御サーバ、端末、配信システム、制御方法、情報処理方法、及びプログラム |
CN114026622B (zh) * | 2019-07-09 | 2024-03-05 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法及存储介质 |
CN110430416B (zh) * | 2019-07-17 | 2020-12-08 | 清华大学 | 自由视点图像生成方法和装置 |
CN110418161A (zh) * | 2019-08-02 | 2019-11-05 | 广州虎牙科技有限公司 | 视频审核方法及装置、电子设备及可读存储介质 |
GB2586838B (en) * | 2019-09-05 | 2022-07-27 | Sony Interactive Entertainment Inc | Free-viewpoint method and system |
CN111223188A (zh) * | 2019-10-31 | 2020-06-02 | 中车青岛四方机车车辆股份有限公司 | 一种生产工序的展示方法和装置 |
JP2021086189A (ja) * | 2019-11-25 | 2021-06-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、映像処理システム、およびプログラム |
EP4083991A4 (en) * | 2019-12-23 | 2023-06-28 | Sony Group Corporation | Image generation device, image generation method, and image generation program |
KR102399955B1 (ko) * | 2019-12-27 | 2022-05-20 | 주식회사 맥스트 | 점군 정보 생성 장치 및 방법 |
KR102638162B1 (ko) * | 2020-01-30 | 2024-02-20 | 아마텔러스 인크. | 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램 |
JPWO2021199735A1 (ja) | 2020-03-30 | 2021-10-07 | ||
DE112021002080T5 (de) | 2020-03-30 | 2023-01-19 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
WO2021199715A1 (ja) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2021200503A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 学習システム及びデータ収集装置 |
JP7367198B2 (ja) * | 2020-04-30 | 2023-10-23 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN111556248B (zh) * | 2020-05-09 | 2021-09-03 | Tcl移动通信科技(宁波)有限公司 | 拍摄方法、装置、存储介质及移动终端 |
US20230186628A1 (en) * | 2020-06-12 | 2023-06-15 | Intel Corporation | Systems and methods for virtual camera highlight creation |
US11460867B2 (en) * | 2020-06-30 | 2022-10-04 | Sony Group Corporation | System of multi-swarm drone capturing |
EP4184444A4 (en) * | 2020-07-17 | 2023-12-20 | Sony Group Corporation | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
JP2022025468A (ja) * | 2020-07-29 | 2022-02-10 | 株式会社AniCast RM | アニメーション制作システム |
JPWO2022070603A1 (ja) * | 2020-09-30 | 2022-04-07 | ||
JP6942872B1 (ja) * | 2020-10-22 | 2021-09-29 | ヤフー株式会社 | 表示プログラム、端末装置および表示方法 |
JP6959422B1 (ja) * | 2020-10-22 | 2021-11-02 | ヤフー株式会社 | 送信プログラム、端末装置および送信方法 |
WO2022141369A1 (en) * | 2020-12-31 | 2022-07-07 | SZ DJI Technology Co., Ltd. | Systems and methods for supporting automatic video capture and video editing |
CN116888619A (zh) * | 2021-02-26 | 2023-10-13 | 富士胶片株式会社 | 图像处理装置、图像处理方法及程序 |
US11475766B1 (en) * | 2021-04-16 | 2022-10-18 | Hayden Ai Technologies, Inc. | Systems and methods for user reporting of traffic violations using a mobile application |
JP2022182477A (ja) * | 2021-05-28 | 2022-12-08 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法、及びプログラム |
JP7406528B2 (ja) * | 2021-07-28 | 2023-12-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2023127430A1 (ja) * | 2021-12-28 | 2023-07-06 | ソニーグループ株式会社 | 情報処理装置、画像処理方法、プログラム |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
JP2024042540A (ja) * | 2022-09-15 | 2024-03-28 | 株式会社Jvcケンウッド | 画像生成装置、画像生成方法およびプログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5729471A (en) * | 1995-03-31 | 1998-03-17 | The Regents Of The University Of California | Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene |
JP3681633B2 (ja) | 2000-11-27 | 2005-08-10 | 日本電信電話株式会社 | 遠隔観戦サービスサーバ |
WO2010071291A1 (ko) * | 2008-12-18 | 2010-06-24 | (주)엘지전자 | 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치 |
US9648346B2 (en) * | 2009-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Multi-view video compression and streaming based on viewpoints of remote viewer |
CN102592275B (zh) * | 2011-12-16 | 2013-12-25 | 天津大学 | 虚拟视点绘制方法 |
EP2795907A4 (en) * | 2011-12-22 | 2015-07-15 | Ericsson Telefon Ab L M | METHOD AND PROCESSOR FOR 3D SCENE REPRESENTATION |
EP2839436B1 (en) * | 2012-04-20 | 2019-08-07 | Affirmation,LLC | Systems and methods for real-time conversion of video into three-dimensions |
US9357195B2 (en) * | 2012-08-16 | 2016-05-31 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
US20140071235A1 (en) * | 2012-09-13 | 2014-03-13 | Qualcomm Incorporated | Inter-view motion prediction for 3d video |
JP6787667B2 (ja) * | 2012-09-21 | 2020-11-18 | ノキア テクノロジーズ オサケユイチア | ビデオコーディングのための方法と装置 |
US9357214B2 (en) * | 2012-12-07 | 2016-05-31 | Qualcomm Incorporated | Advanced merge/skip mode and advanced motion vector prediction (AMVP) mode for 3D video |
WO2014145722A2 (en) * | 2013-03-15 | 2014-09-18 | Digimarc Corporation | Cooperative photography |
US9609347B2 (en) * | 2013-04-04 | 2017-03-28 | Qualcomm Incorporated | Advanced merge mode for three-dimensional (3D) video coding |
US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10750161B2 (en) * | 2015-07-15 | 2020-08-18 | Fyusion, Inc. | Multi-view interactive digital media representation lock screen |
JP6917378B2 (ja) * | 2015-09-17 | 2021-08-11 | ファゾム・オプティクス・インコーポレイテッド | マルチビューディスプレイ並びに関連するシステム及び方法 |
JP6754992B2 (ja) * | 2016-04-22 | 2020-09-16 | パナソニックIpマネジメント株式会社 | 三次元再構成方法 |
CN114627664A (zh) * | 2016-08-26 | 2022-06-14 | 松下电器(美国)知识产权公司 | 三维信息处理方法以及三维信息处理装置 |
JP7320352B2 (ja) * | 2016-12-28 | 2023-08-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置 |
US20180192033A1 (en) * | 2016-12-30 | 2018-07-05 | Google Inc. | Multi-view scene flow stitching |
US10200677B2 (en) * | 2017-05-22 | 2019-02-05 | Fyusion, Inc. | Inertial measurement unit progress estimation |
-
2017
- 2017-08-01 EP EP17839279.1A patent/EP3499897B1/en active Active
- 2017-08-01 JP JP2018532951A patent/JP7054677B2/ja active Active
- 2017-08-01 WO PCT/JP2017/027833 patent/WO2018030206A1/ja unknown
- 2017-08-01 CN CN201780047885.2A patent/CN109565605B/zh active Active
-
2019
- 2019-02-08 US US16/270,931 patent/US10778951B2/en active Active
Non-Patent Citations (10)
Title |
---|
FAN CHEN, et al.,"An Autonomous Framework to Produce and Distribute Personalized Team-Sport Video Summaries: A Basketball Case Study",IEEE TRANSACTIONS ON MULTIMEDIA,2011年08月30日,Vol.13, No.6,Pages 1381-1394,Print ISSN:1520-9210, <DOI: 10.1109/TMM.2011.2166379>. |
HANSUNG KIM, et al.,"Cinematized Reality: Cinematographic 3D Video System for Daily Life Using Multiple Outer/Inner Cameras",Proceedings of the 2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW'06),2006年07月05日,Pages 1-8,Print on Demand ISBN: 0-7695-2646-2, <DOI: 10.1109/CVPRW.2006.53>. |
HANSUNG KIM, et al.,"VITUAL CAMERA CONTROL SYSTEM FOR CINEMATOGRAPHIC 3D VIDEO RENDERING",Proceedings of 3DTV Conference 2007,2007年11月12日,Pages 1-4,Print ISBN: 978-1-4244-0721-7, <DOI: 10.1109/3DTV.2007.4379412>. |
SAKAMOTO, R., et al.,"Applicability of Camera Works to Free Viewpoint Videos with Annotation and Planning",IEICE TRANSACTIONS on Informations and Systems,Vol.E90-D, No.10,2007年10月01日,Pages 1637-1648,[online], [平成29年10月10日検索], インターネット, <URL: https://search.ieice.org/bin/summary.php?id=e90-d_10_1637>,Online ISSN:1745-1361, <DOI: 10.1093/ietisy/e90-d.10.1637>. |
北原 格(外3名),「Cinematized Reality: 自由視点映像技術を用いた日常行動映像の映画的演出手法」,電子情報通信学会技術研究報告,日本,社団法人 電子情報通信学会,2006年06月08日,Vol.106, No.99,第31~36頁,ISSN:0913-5685. |
北原 格(外3名),「サッカーの自由視点映像提示における気の利いた視点選択手法」,日本バーチャルリアリティ学会論文誌,日本,特定非営利活動法人 日本バーチャルリアリティ学会,2007年06月30日,Vol.12, No.2,第171~179頁,ISSN:1344-011X. |
大城 英裕(外3名),「起承結ストーリ構成に対応する構図決めからの選手移動のアニメーション化」,電気学会研究会資料,日本,社団法人 電気学会,2007年08月12日,IP-07-22~30, IIS-07-46~54,第39~43頁. |
太田 篤史(外2名),「3DCGにおけるカメラワークの自動生成及び支援」,情報処理学会研究報告,日本,社団法人 情報処理学会,2000年12月08日,Vol.2000, No.115,第61~66頁,ISSN: 0919-6072. |
西山 学(外1名),「3次元形状モデルを用いたカメラワークプランニング」,情報処理学会研究報告,日本,社団法人 情報処理学会,2002年05月09日,Vol.2002, No.34,第49~56頁,ISSN: 0919-6072. |
西山 学(外2名),「高精細3次元形状復元のための多視点カメラワーク最適化」,Visual Computing グラフィクスとCAD 合同シンポジウム2004予稿集,日本,画像電子学会,社団法人 情報処理学会,2004年06月03日,第141~146頁. |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102608117B1 (ko) * | 2022-06-16 | 2023-11-30 | 주식회사 엘지유플러스 | 이미지 보정 방법 및 이미지 보정 시스템 |
Also Published As
Publication number | Publication date |
---|---|
EP3499897A4 (en) | 2019-06-19 |
EP3499897A1 (en) | 2019-06-19 |
US10778951B2 (en) | 2020-09-15 |
WO2018030206A1 (ja) | 2018-02-15 |
EP3499897B1 (en) | 2021-05-19 |
CN109565605B (zh) | 2021-06-29 |
JPWO2018030206A1 (ja) | 2019-06-06 |
CN109565605A (zh) | 2019-04-02 |
US20190174109A1 (en) | 2019-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7054677B2 (ja) | カメラワーク生成方法及び映像処理装置 | |
JP7113294B2 (ja) | 多視点撮像システム | |
JP7466115B2 (ja) | 撮像システムおよび校正方法 | |
JP6948624B2 (ja) | 映像配信方法及びサーバ | |
JP7223978B2 (ja) | 校正装置および校正方法 | |
JP6820527B2 (ja) | 映像同期装置及び映像同期方法 | |
JP6607433B2 (ja) | 映像配信方法及びサーバ | |
JP7122694B2 (ja) | 撮像システムおよび校正方法 | |
JP6778912B2 (ja) | 映像表示方法及び映像表示装置 | |
EP3133819A1 (en) | Image delivery method, image reception method, server, terminal apparatus, and image delivery system | |
WO2015159487A1 (ja) | 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム | |
WO2015194082A1 (ja) | 画像処理方法および画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7054677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |