JP6957215B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6957215B2 JP6957215B2 JP2017111603A JP2017111603A JP6957215B2 JP 6957215 B2 JP6957215 B2 JP 6957215B2 JP 2017111603 A JP2017111603 A JP 2017111603A JP 2017111603 A JP2017111603 A JP 2017111603A JP 6957215 B2 JP6957215 B2 JP 6957215B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- camera
- image
- virtual
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
一方、複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバ等の画像処理部に集約し、画像処理部にて、三次元モデル生成、レンダリング等の処理を施し、ユーザ端末に伝送を行うことで実現できる。
仮想視点画像を生成する際、視点の移動はユーザが自由に操作できる。このとき、特定のシーンでは常に同じ視点移動を行うケースが少なくない。例えばサッカーの場合、ペナルティキックやコーナーキックではキッカーを中心に弧を描くように、又はサイドを駆け上がるドリブルシーンではドリブラーと並走するように視点を移動するといったものである。よって、視点移動パターン(以下、カメラパスと表記)を予め決めておき、特定のシーンを検出したら予め設定しておいたカメラパスを選択するだけで仮想視点画像を生成できると便利である。しかし、選択したカメラパスに基づいて仮想視点画像を生成する際に、例えばカメラの故障等で実カメラの映像が破綻している場合、仮想視点画像が生成できず、品位のよくない映像が表示されてしまう。
特許文献1には、予め指定した経路上に異常を検出した場合、経路の検索を行い、異常箇所を通らないように経路を決定しユーザに通知する技術が開示されている。
競技場(スタジアム)やコンサートホール等の施設に複数のカメラ及びマイクを設置し撮影及び集音を行う画像処理システムについて、図1を用いて説明する。画像処理システム100は、センサシステム110a−センサシステム110z、画像コンピューティングサーバ200、コントローラ300、スイッチングハブ180、及びエンドユーザ端末190を有する。図1に示される画像処理システムは、情報処理システムの一例である。
コントローラ300は、制御ステーション310と仮想カメラ操作UI330とを有する。制御ステーション310は、画像処理システム100を構成するそれぞれのブロックに対してネットワーク310a−310c、180a、180b、及び170a−170yを通じて動作状態の管理及びパラメータ設定制御等を行う。制御ステーション310は、センサシステム110の機器に異常を検出した場合、故障カメラ情報を生成する。故障カメラ情報には、異常のあったカメラを識別するための情報と異常期間とが記載されている。故障カメラ情報は、仮想視点画像生成時に利用され、その用途は異常のあったカメラの出力映像を仮想視点画像生成に使用しないようにするためである。ここで、ネットワークはEthernet(登録商標)であるIEEE標準準拠のGbE(ギガビットイーサーネット(登録商標))や10GbEでもよいし、インターコネクトInfiniband、産業用イーサーネット等を組合せて構成されてもよい。また、これらに限定されず、他の種別のネットワークであってもよい。コントローラ300は、情報処理装置の一例である。
本実施形態において、特別な説明がない場合は、センサシステム110aからセンサシステム110zまでの26セットのシステムを区別せずセンサシステム110と記載する。各センサシステム110内の装置についても同様に、特別な説明がない場合は区別せず、マイク111、カメラ112、雲台113、外部センサ114、及びカメラアダプタ120と記載する。センサシステムの台数として26セットと記載しているが、あくまでも一例であり、台数をこれに限定するものではない。本実施形態では、特に断りがない限り、画像という文言が、動画と静止画との概念を含むものとして説明する。すなわち、本実施形態の画像処理システム100は、静止画及び動画の何れについても処理可能である。また、本実施形態では、画像処理システム100により提供される仮想視点画像には、仮想視点画像と仮想視点音声とが含まれる例を中心に説明するが、これに限らない。例えば、仮想視点画像に音声が含まれていなくてもよい。また例えば、仮想視点画像に含まれる音声が、仮想視点に最も近いマイクにより集音された音声であってもよい。また、本実施形態では、説明の簡略化のため、部分的に音声についての記載を省略しているが、基本的に画像と音声とは共に処理されるものとする。
これに限らず、接続形態として、各センサシステム110a−110zがスイッチングハブ180に接続されて、スイッチングハブ180を経由してセンサシステム110間のデータ送受信を行うスター型のネットワーク構成としてもよい。
また、図1では、デイジーチェーンとなるようセンサシステム110a−110zの全てがカスケード接続されている構成を示したがこれに限定するものではない。例えば、複数のセンサシステム110をいくつかのグループに分割して、分割したグループ単位でセンサシステム110間をデイジーチェーン接続してもよい。そして、分割単位の終端となるカメラアダプタ120がスイッチングハブに接続されて画像コンピューティングサーバ200へ画像の入力を行うようにしてもよい。このような構成は、スタジアムにおいて特に有効である。例えば、スタジアムが複数階で構成され、フロア毎にセンサシステム110を配備する場合が考えられる。この場合に、フロア毎、又はスタジアムの半周毎に画像コンピューティングサーバ200への入力を行うことができ、全センサシステム110を1つのデイジーチェーンで接続する配線が困難な場所でも設置の簡便化及びシステムの柔軟化を図ることができる。
しかし、画像入力を行うカメラアダプタ120が複数になる(センサシステム110がグループに分割される)場合は、それぞれのデイジーチェーンのレーン(経路)によって遅延が異なる場合が考えられる。そのため、画像コンピューティングサーバ200において全周の画像データが揃うまで待って同期をとる同期制御によって、画像データの集結をチェックしながら後段の画像処理を行う必要がある。
本実施形態では、センサシステム110aはマイク111a、カメラ112a、雲台113a、外部センサ114a、及びカメラアダプタ120aを有する。この構成に限定するものではなく、少なくとも1台のカメラアダプタ120aと、1台のカメラ112a又は1台のマイク111aを有していればよい。また例えば、センサシステム110aは1台のカメラアダプタ120aと複数のカメラ112aとで構成されてもよいし、1台のカメラ112aと複数のカメラアダプタ120aとで構成されてもよい。即ち、画像処理システム100内の複数のカメラ112と複数のカメラアダプタ120とはN対M(NとMは共に1以上の整数)で対応する。また、センサシステム110は、マイク111a、カメラ112a、雲台113a、及びカメラアダプタ120a以外の装置を含んでいてもよい。また、カメラ112とカメラアダプタ120とが一体となって構成されていてもよい。更に、カメラアダプタ120の機能の少なくとも一部をフロントエンドサーバ230が有していてもよい。本実施形態では、センサシステム110b−110zについては、センサシステム110aと同様の構成なので説明を省略する。センサシステム110aと同じ構成に限定されるものではなく、其々のセンサシステム110が異なる構成でもよい。
前述した動作を続けることにより、センサシステム110a−センサシステム110zが取得した画像及び音声は、センサシステム110zからネットワーク180bを用いてスイッチングハブ180に伝わる。そして、その後、画像及び音声は、画像コンピューティングサーバ200へ伝送される。
本実施形態では、カメラ112a−112zとカメラアダプタ120a−120zとが分離された構成にしているが、同一筺体で一体化されていてもよい。その場合、マイク111a−111zは一体化されたカメラ112に内蔵されてもよいし、カメラ112の外部に接続されていてもよい。
タイムサーバ290は、時刻及び同期信号を配信する機能を有し、スイッチングハブ180を介してセンサシステム110a−センサシステム110zに時刻及び同期信号を配信する。時刻及び同期信号を受信したカメラアダプタ120a−120zは、カメラ112a−112zを時刻及び同期信号を基にGenlockさせ画像フレーム同期を行う。即ち、タイムサーバ290は、複数のカメラ112の撮影タイミングを同期させる。これにより、画像処理システム100は同じタイミングで撮影された複数の撮影画像に基づいて仮想視点画像を生成できるため、撮影タイミングのずれによる仮想視点画像の品質低下を抑制できる。本実施形態ではタイムサーバ290が複数のカメラ112の時刻同期を管理するものとするが、これに限らず、時刻同期のための処理を各カメラ112又は各カメラアダプタ120が独立して行ってもよい。
フロントエンドサーバ230は、センサシステム110zから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換した後に、カメラの識別子やデータ種別、フレーム番号に応じてデータベース250に書き込む。
次に、バックエンドサーバ270では、仮想カメラ操作UI330から視点の指定を受け付け、受け付けられた視点に基づいて、データベース250から対応する画像及び音声データを読み出し、レンダリング処理を行って仮想視点画像を生成する。また、バックエンドサーバ270は、制御ステーション310から故障カメラ情報を取得する。
画像コンピューティングサーバ200の構成はこれに限らない。例えば、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270のうち少なくとも2つが一体となって構成されていてもよい。また、フロントエンドサーバ230、データベース250、及びバックエンドサーバ270の少なくとも何れかが複数含まれていてもよい。また、画像コンピューティングサーバ200内の任意の位置に上記の装置以外の装置が含まれていてもよい。更に、画像コンピューティングサーバ200の機能の少なくとも一部をエンドユーザ端末190や仮想カメラ操作UI330が有していてもよい。
また、仮想カメラ操作UI330は、直接、データベース250にアクセスせずにバックエンドサーバ270を介してアクセスする構成である。バックエンドサーバ270で画像生成処理に係わる共通処理を行い、操作UIに係わるアプリケーションの差分部分を仮想カメラ操作UI330で行っている。このことにより、仮想カメラ操作UI330の開発において、UI操作デバイスや、生成したい仮想視点画像を操作するUIの機能要求に対する開発に注力することができる。また、バックエンドサーバ270は、仮想カメラ操作UI330の要求に応じて画像生成処理に係わる共通処理を追加又は削除することもできる。このことによって仮想カメラ操作UI330の要求に柔軟に対応することができる。
このように、画像処理システム100においては、被写体を複数の方向から撮影するための複数のカメラ112による撮影に基づく画像データに基づいて、バックエンドサーバ270により仮想視点画像が生成される。本実施形態における画像処理システム100は、上記で説明した物理的な構成に限定される訳ではなく、論理的に構成されていてもよい。
まず仮想カメラ801について図4(a)を用いて説明する。仮想カメラ801は、設置されたどのカメラ112とも異なる視点において撮影を行うことができる仮想的なカメラである。即ち、画像処理システム100において生成される仮想視点画像が、仮想カメラ801による撮影画像である。図4(a)において、円周上に配置された複数のセンサシステム110それぞれがカメラ112を有している。例えば、仮想視点画像を生成することにより、あたかもサッカーゴールの近くにあるカメラで撮影されたかのような画像を生成することができる。仮想カメラ801の撮影画像である仮想視点画像は、設置された複数のカメラ112の画像を画像処理することで生成される。オペレータ(ユーザ)は仮想カメラ801の位置等、操作することで、自由な視点からの撮影画像を得ることができる。また、オペレータが、仮想カメラ801のカメラパスを予め設定しておくようにしておくことによって、特定のシーンが検出された場合、カメラパスが選択されて仮想視点画像が生成される。仮想カメラ801は、仮想撮影装置の一例である。
送信部811は、オペレータが指定したカメラパスをパッキングし、仮想カメラ操作UI330へ送信する。送信部811は、エンドユーザ端末190の画面上でオペレータからカメラパスの設定を受け付けると、処理を開始し、仮想カメラパスを仮想カメラ操作UI330の取得部812へ送信する。カメラパスの設定方法については後述する。仮想カメラパスとは、世界座標系の3次元空間上にある曲線を表現した数式と、注目オブジェクトの位置を示す世界座標値と、である。曲線数式は、スプラインによるデータ点を結ぶことで算出される。数式の算出方法は、空間曲線を表現できるならば他の方法を利用してもよく、特に限定されない。
導出部813は、取得した仮想カメラパスから仮想カメラパラメータに変換する。仮想カメラパラメータとは、例えば、外部パラメータを表す行列と内部パラメータを表す行列とが用いられる。ここで、仮想カメラ801の位置と姿勢とは外部パラメータに含まれ、ズーム値は内部パラメータに含まれる。仮想カメラパラメータは、1フレームごと位置や姿勢を表す情報の列である。例えば、仮想視点画像が60フレーム/秒のフレームレートの設定である場合、仮想カメラパラメータは1/60秒毎のデータ列となる。つまり図4(b)の例では、カメラパス802上における7フレーム分の仮想カメラパラメータとなり、7/60秒分のデータ列であることを表している。導出部813は、取得部812から仮想カメラパスを取得すると、仮想カメラ801の位置や姿勢等を表す仮想カメラパラメータを導出し、マッピング部814へ仮想カメラパラメータを送出する。仮想カメラパラメータは、演算によって導出されてもよいし、ルックアップテーブルの参照等によって導出されてもよい。
判断部815は、オペレータが指定した仮想カメラパスの修正が必要か否かを判断する。判断部815は、マッピング部814から仮想カメラパラメータと実カメラマッピング情報とを取得すると、バックエンドサーバ270から取得した故障カメラ情報を取得する。次に、判断部815は、取得した故障カメラ情報を用いて、仮想視点画像を生成する期間において出力映像に異常のあるカメラ112を確認する。その後、判断部815は、故障カメラ情報に記載のカメラ112が、実カメラマッピング情報に記載のカメラ112に有るか否かを検出する。故障カメラ情報に記載のカメラ112が、実カメラマッピング情報に記載のカメラ112に有る場合は、仮想視点画像の生成の際、故障したカメラの映像を使用してしまうため、品位のよくない画像となることを意味する。よって、判断部815は、ユーザが指定したカメラパスは修正が必要であると判断し、修正部816へ仮想カメラパス修正要求を送出する。故障カメラ情報に記載のカメラ112が、実カメラマッピング情報に記載のカメラ112に無い場合は、判断部815は、カメラパスの修正は不要であると判断し、送信部817へ仮想カメラパラメータを送出する。本実施形態では、判断部815は、故障カメラを使用していた場合にカメラパスの修正が必要と判断している。しかし、例えば、故障期間が1/60秒の場合、判断部815は、1フレームの映像が仮想視点画像へ及ぼす影響は小さいので修正は不要と判断するようにしてもよい。他の例として、判断部815は、故障カメラが1台のみの場合は仮想視点画像生成可能なので修正は不要と判断するようにしてもよい。また、判断部815は、故障カメラがデイジーチェーン接続上で2台以上連続していた場合は仮想視点画像の生成が不可能なので修正必要と判断するようにしてもよい。つまり、判断部815は、故障の状況に応じて仮想視点画像への影響度を鑑みて修正要否を判断するようにしてもよい。修正要否判断の方法は、仮想視点画像の品位を保つことができるのであれば、特に限定されない。判断部815の処理は、カメラパスを修正する必要があるか否かを判断する判断処理の一例である。
送信部817は、最終決定した仮想カメラパラメータをパッキングし、バックエンドサーバ270へ送信する。最終決定した仮想カメラパラメータとは、仮想カメラパスの修正が不要と判断された場合は、オペレータが指定した仮想カメラパスのパラメータを意味し、修正が必要と判断された場合は、修正後の仮想カメラパスのパラメータを意味する。つまり、送信部817は、判断部815から取得した仮想カメラパラメータをバックエンドサーバ270へ送出する。バックエンドサーバ270は、受信した仮想カメラパラメータを用いて、仮想視点画像及び仮想視点音声を生成する。
その後、エンドユーザ端末190の出力部818は、バックエンドサーバ270から受け取った仮想カメラ画像・音声を出力する。
以上、本実施形態によれば、予め指定した経路の変更が必要な場合、予め指定した経路に基づいて生成した仮想視点画像の特徴が変化しないように新しい経路を決定することで、ユーザの見たい内容を損なうことなく映像を提供することができる。
本実施形態では、予め指定した経路に基づいて生成した仮想視点画像の特徴が変化しないように新しい経路を決定するシステムにおいて、仮想視点画像生成の演算処理の負荷を検出し、経路修正を判断する方法について説明する。演算処理が高負荷になるほど、仮想視点画像の生成が困難となり、品位のよくない画像を表示してしまうことから、これを防ぐためである。
カメラアダプタ120は、実施形態1の機能に加え、カメラ112から取得した画像を前景画像と背景画像とに分離し、次のカメラアダプタへ送信する機能を備える。分離の目的は、画像中に変化のない部分については背景画像としてフレームレートを落として送信し、画像中に変化の有る部分のみ前景画像としてフレームレートを落とさずに送信することで、データ転送量を減らすことである。よって、データベース250には、全カメラの前景画像と背景画像とが格納されている。バックエンドサーバ270は、実施形態1の機能に加え、データベース250から全ての前景データを取得し、座標位置を検出する機能を備える。
判断部900は、マッピング部814から仮想カメラパラメータを取得すると、バックエンドサーバ270から取得した前景座標情報を取得する。前景座標情報とは、仮想視点画像を生成する期間において、前景と認識したオブジェクトの世界座標位置及び大きさを指す。その後、判断部900は、仮想カメラパラメータと前景座標情報とを用いて、仮想視点画像毎に画像内で前景の占める割合を算出する。この割合が設定された閾値を超えている場合、仮想視点画像の生成が困難となり、品位のよくない画像となることを意味する。ここで、設定された閾値とは、予め仮想視点画像生成に用いるアルゴリズムによって一意に決まる値であってもよく、又は撮影時点の背景画像によって動的に変わる値であってもよく、特に限定されない。割合が設定された閾値を超えている場合、判断部900は、ユーザが指定したカメラパスは修正が必要であると判断し、修正部901へ仮想カメラパス修正要求を送出する。割合が設定された閾値を超えてい無い場合、判断部900は、カメラパスの修正は不要であると判断し、送信部817へ仮想カメラパラメータを送出する。
修正部901は、判断部900から仮想カメラパス修正要求を取得すると、取得部812から仮想カメラパスを取得し、仮想カメラパスの修正処理を開始する。
本実施形態では、予め指定した経路に基づいて生成した仮想視点画像の特徴が変化しないように新しい経路を決定するシステムにおいて、予め指定した経路が利用できないと判断したときにユーザが選択できないようにする方法について説明する。
エンドユーザ端末190の画面上で設定するカメラパスの設定方法について、図11を用いて説明する。図11は、図4(a)のカメラ配置、撮影内容を例にしている。表示画面は、カメラパスリスト910、カメラパス設定画面402、仮想視点画像表示画面405を含む。カメラパスリスト910は、注目オブジェクトとカメラパスとの組み合わせが一覧で表示される。まず、オペレータは、カメラパス設定画面402上に表示する映像を、どのカメラ112の映像にするか選択する。図11では、カメラ112eが選択されている。次に、オペレータは、カメラパス設定画面402上で注目オブジェクト403を指定する。ここで、エンドユーザ端末190の送信部811は、カメラパスリスト910にある全仮想カメラパスを仮想カメラ操作UI330へ送信する。その後、仮想カメラ操作UI330は、受信した仮想カメラパスに修正が必要か否かを判断する。この判断方法は実施形態1と同等であり、説明を省略する。その後、仮想カメラ操作UI330は、全仮想カメラパスの修正要否情報をエンドユーザ端末190へ送信する。エンドユーザ端末190は、修正要否情報を取得すると、カメラパスリスト910に表示されているカメラパスの内、修正が必要と判断されたカメラパスの表示領域を例えばグレーに表示する。更に、エンドユーザ端末190は、グレーで表示したカメラパスを、オペレータが選択できないように表示制御する。図11の例では、図4(a)のカメラ112qが故障した場合を例にしている。カメラパス911は、カメラ112qを利用して仮想視点画像を生成してしまうため、修正が必要と判断され、グレーで表示され、選択不可となっている。表示内容については、図11の例ではグレー表示を採用しているが、カメラパス911の表示を透過する、又は消去するでもよく、ユーザが選択不可であることを理解できるのであれば、特に限定されない。
本実施形態では、予め指定した経路に基づいて生成した仮想視点画像の特徴が変化しないように新しい経路を決定するシステムにおいて、予め指定した経路が利用できないと判断したときに、カメラパスを修正し表示する。このことで、ユーザは自動で修正されたカメラパスを選択できるようにする方法について説明する。
エンドユーザ端末190の画面上で設定するカメラパスの設定方法について、図12を用いて説明する。図12は、図4(a)のカメラ配置、撮影内容を例にしている。表示画面は、カメラパスリスト1000、カメラパス設定画面402、仮想視点画像表示画面405を含む。カメラパスリスト1000は、注目オブジェクトとカメラパスとの組み合わせが一覧で表示される。まず、オペレータは、カメラパス設定画面402上に表示する映像を、どのカメラ112の映像にするか選択する。図12では、カメラ112eが選択されている。次に、オペレータは、カメラパス設定画面402上で注目オブジェクト403を指定する。ここで、エンドユーザ端末190の送信部811は、カメラパスリスト1000にある全仮想カメラパスを仮想カメラ操作UI330へ送信する。その後、仮想カメラ操作UI330は、取得した仮想カメラパスに修正が必要か否かを判断し、必要な場合は修正カメラパスを導出する。この判断及ぶ導出方法は実施形態1と同等であり、説明を省略する。その後、仮想カメラ操作UI330は、全仮想カメラパスの修正要否情報、及び修正要と判断したカメラパスにおいては修正カメラパスをエンドユーザ端末190へ送信する。エンドユーザ端末190は、修正要否情報及び修正カメラパスを取得すると、カメラパスリスト1000に表示されているカメラパスの内、修正が必要と判断されたカメラパスの表示領域に修正後の仮想カメラ移動経路を表示する。修正後の表示内容はカメラパス1001に示されている。また、エンドユーザ端末190は、修正したことをユーザが理解するために、修正アイコン1002をカメラパス1001上に表示する。図12の例では、Modifyの頭文字をとってMを表示している。図12の例では、修正済みの通知方法として、文字の表示を採用しているが、カメラパス表示枠の太さや色の変更でもよく、又は背景色の変更、仮想カメラの移動経路の色やスタイルの変更でもよい。修正済みであることがユーザに理解できる内容であれば、通知方法は特に限定されない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
仮想カメラ操作UIの機能構成の一部又は全てはハードウェア構成として、コントローラ300に実装されてもよい。
300 コントローラ
Claims (19)
- 複数の撮影装置による異なる位置からの撮影により得られる複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の移動経路を規定する設定を受け付ける受付手段と、
前記仮想視点画像を生成するために用いられる前記仮想視点の移動経路を前記受付手段により受け付けられた設定が規定する移動経路から他の移動経路へ変更すべきかを、前記複数の画像データに含まれる画像データの内容と前記複数の撮影装置に含まれる撮影装置の異常との少なくとも何れかに基づいて判断する判断手段と、
前記判断手段による判断に応じて前記仮想視点の移動経路を変更する変更手段と、を有することを特徴とする情報処理装置。 - 前記変更手段は、前記複数の画像データのうち所定の内容を有する画像データが前記仮想視点画像の生成に使用されないように、前記仮想視点の移動経路を変更することを特徴とする請求項1に記載の情報処理装置。
- 前記所定の内容を有する画像データは、画像データにおいて前記複数の撮影装置により撮影されるオブジェクトに対応する領域が占める割合が閾値以上である画像データを含むことを特徴とする請求項2に記載の情報処理装置。
- 前記受付手段により受け付けられた設定が規定する前記仮想視点の移動経路に応じた仮想視点画像の生成のために使用される撮影装置を特定する特定手段を有し、
前記特定手段により特定された撮影装置により取得される画像データが所定の内容を有する場合に、前記判断手段は、前記仮想視点の移動経路を変更すべきと判断することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記受付手段により受け付けられた設定が規定する前記仮想視点の移動経路に応じた仮想視点画像の生成のために使用される撮影装置を特定する特定手段と、
前記特定手段により特定された撮影装置のうち異常状態にある撮影装置を検出する検出手段と、を有し、
前記判断手段は、前記仮想視点の移動経路を変更すべきかを、前記検出手段による検出の結果に基づいて判断することを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。 - 前記判断手段は、前記検出手段により異常状態にある撮影装置が所定数以上検出された場合に、前記仮想視点の移動経路を変更すべきと判断することを特徴とする請求項5に記載の情報処理装置。
- 前記判断手段は、前記検出手段により異常状態にある期間が所定時間以上である撮影装置が検出された場合に、前記仮想視点の移動経路を変更すべきと判断することを特徴とする請求項5に記載の情報処理装置。
- 前記変更手段は、前記受付手段により受け付けられた設定が規定する前記仮想視点の移動経路に応じた仮想視点画像に含まれる所定のオブジェクトが、前記変更手段により変更された後の前記仮想視点の移動経路に応じた仮想視点画像にも含まれるように、前記仮想視点の移動経路を変更することを特徴とする請求項1乃至7の何れか1項に記載の情報処理装置。
- 前記変更手段は、前記仮想視点の移動経路の変更の前後で前記仮想視点の高さが維持されるように、前記仮想視点の移動経路を変更することを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- 前記変更手段は、前記受付手段により受け付けられた設定が規定する前記仮想視点の移動経路に応じた仮想視点画像における所定のオブジェクトの大きさと、前記変更手段により変更された後の前記仮想視点の移動経路に応じた仮想視点画像における前記所定のオブジェクトの大きさとが一致するように、前記仮想視点の移動経路を変更することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
- 前記変更手段は、候補となる複数の移動経路の優先度に基づいて前記仮想視点の移動経路を変更することを特徴とする請求項1乃至10の何れか1項に記載の情報処理装置。
- 前記判断手段は、前記仮想視点の移動経路を変更すべきかを、仮想視点画像における前景の占める割合に基づいて判断することを特徴とする請求項1乃至11の何れか1項に記載の情報処理装置。
- 前記受付手段は、前記仮想視点の移動経路を指定するユーザ操作に応じた設定を受け付けることを特徴とする請求項1乃至12の何れか1項に記載の情報処理装置。
- 前記変更手段により変更された前記仮想視点の移動経路に応じた仮想視点画像を表示画面に表示させる表示制御手段を有することを特徴とする請求項1乃至13の何れか1項に記載の情報処理装置。
- 前記複数の画像データに基づいて仮想視点画像を生成する生成装置へ、前記変更手段により変更された前記仮想視点の移動経路を示す情報を出力する出力手段を有することを特徴とする請求項1乃至14の何れか1項に記載の情報処理装置。
- 前記変更手段により変更された前記仮想視点の移動経路に応じた仮想視点画像を前記複数の画像データに基づいて生成する生成手段を有することを特徴とする請求項1乃至14の何れか1項に記載の情報処理装置。
- 複数の撮影装置による異なる位置からの撮影により得られる複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の移動経路を規定する設定を受け付ける受付工程と、
前記仮想視点画像を生成するために用いられる前記仮想視点の移動経路を前記受付工程において受け付けられた設定が規定する移動経路から他の移動経路へ変更すべきかを、前記複数の画像データに含まれる画像データの内容と前記複数の撮影装置に含まれる撮影装置の異常との少なくとも何れかに基づいて判断する判断工程と、
前記判断工程における判断に応じて前記仮想視点の移動経路を変更する変更工程と、を有することを特徴とする情報処理方法。 - 前記変更工程は、前記複数の画像データのうち所定の内容を有する画像データが前記仮想視点画像の生成に使用されないように、前記仮想視点の移動経路を変更することを特徴とする請求項17に記載の情報処理方法。
- コンピュータを、請求項1乃至16の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111603A JP6957215B2 (ja) | 2017-06-06 | 2017-06-06 | 情報処理装置、情報処理方法及びプログラム |
US15/994,282 US10757397B2 (en) | 2017-06-06 | 2018-05-31 | Information processing apparatus, information processing system, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017111603A JP6957215B2 (ja) | 2017-06-06 | 2017-06-06 | 情報処理装置、情報処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018207336A JP2018207336A (ja) | 2018-12-27 |
JP2018207336A5 JP2018207336A5 (ja) | 2020-07-09 |
JP6957215B2 true JP6957215B2 (ja) | 2021-11-02 |
Family
ID=64460883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017111603A Active JP6957215B2 (ja) | 2017-06-06 | 2017-06-06 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10757397B2 (ja) |
JP (1) | JP6957215B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
JP6482696B2 (ja) * | 2017-06-23 | 2019-03-13 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US10417744B2 (en) * | 2017-09-20 | 2019-09-17 | Amatelus Inc. | Video distribution device, video distribution system, video distribution method, and video distribution program |
US11468681B1 (en) | 2018-06-28 | 2022-10-11 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
US11468698B1 (en) | 2018-06-28 | 2022-10-11 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
US11482045B1 (en) | 2018-06-28 | 2022-10-25 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
JP2020010300A (ja) * | 2018-07-12 | 2020-01-16 | キヤノン株式会社 | 映像生成装置、映像生成装置の制御方法及びプログラム |
JP2020013470A (ja) * | 2018-07-20 | 2020-01-23 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7233867B2 (ja) * | 2018-07-20 | 2023-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7254464B2 (ja) * | 2018-08-28 | 2023-04-10 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、及びプログラム |
JP7341674B2 (ja) * | 2019-02-27 | 2023-09-11 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7258605B2 (ja) * | 2019-03-05 | 2023-04-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2020262391A1 (ja) * | 2019-06-28 | 2020-12-30 | 富士フイルム株式会社 | 表示制御装置、表示制御方法、及びプログラム |
JPWO2021002256A1 (ja) * | 2019-07-02 | 2021-01-07 | ||
JP7378243B2 (ja) * | 2019-08-23 | 2023-11-13 | キヤノン株式会社 | 画像生成装置、画像表示装置および画像処理方法 |
GB2586838B (en) * | 2019-09-05 | 2022-07-27 | Sony Interactive Entertainment Inc | Free-viewpoint method and system |
JP7458731B2 (ja) * | 2019-09-30 | 2024-04-01 | キヤノン株式会社 | 画像生成システム、画像処理装置、情報処理装置、画像生成方法、及びプログラム |
WO2021199714A1 (ja) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2021199715A1 (ja) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
US11398094B1 (en) | 2020-04-06 | 2022-07-26 | Amazon Technologies, Inc. | Locally and globally locating actors by digital cameras and machine learning |
US11443516B1 (en) * | 2020-04-06 | 2022-09-13 | Amazon Technologies, Inc. | Locally and globally locating actors by digital cameras and machine learning |
WO2021220893A1 (ja) * | 2020-04-28 | 2021-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004069311A (ja) | 2002-08-01 | 2004-03-04 | Toshiba Corp | 経路検索サーバ、および経路検索方法 |
JP2005354289A (ja) * | 2004-06-09 | 2005-12-22 | Ntt Docomo Inc | 端末装置、環境管理サーバ、カメラサーバ及び映像生成方法 |
GB2452508A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | Generating a three-dimensional representation of a sports game |
JP5300777B2 (ja) * | 2010-03-31 | 2013-09-25 | 株式会社バンダイナムコゲームス | プログラム及び画像生成システム |
JP5562103B2 (ja) * | 2010-04-16 | 2014-07-30 | キヤノン株式会社 | 画像処理装置および方法 |
EP2413286A1 (en) * | 2010-07-29 | 2012-02-01 | LiberoVision AG | Image processing method and device for instant replay |
TWI539823B (zh) * | 2014-09-29 | 2016-06-21 | 晶睿通訊股份有限公司 | 攝影畫面切換方法與監控系統 |
US10523929B2 (en) * | 2016-04-27 | 2019-12-31 | Disney Enterprises, Inc. | Systems and methods for creating an immersive video content environment |
-
2017
- 2017-06-06 JP JP2017111603A patent/JP6957215B2/ja active Active
-
2018
- 2018-05-31 US US15/994,282 patent/US10757397B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018207336A (ja) | 2018-12-27 |
US20180352215A1 (en) | 2018-12-06 |
US10757397B2 (en) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6957215B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7121470B2 (ja) | 画像処理システム、制御方法、及び、プログラム | |
WO2018070121A1 (ja) | 画像処理システム、画像処理装置、及び、制御方法 | |
JP6871801B2 (ja) | 画像処理装置、画像処理方法、情報処理装置、撮像装置および画像処理システム | |
JP2018112997A (ja) | 画像処理装置及びその方法、プログラム、画像処理システム | |
US10742951B2 (en) | Image generation apparatus and method of generating virtual view-point image | |
JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
US10623715B2 (en) | Information processing apparatus and control method therefor | |
JP2018092580A (ja) | 画像生成装置および方法 | |
JP2022536182A (ja) | データストリームを同期させるシステム及び方法 | |
JP2019191989A (ja) | 仮想視点画像を生成するシステム、方法及びプログラム | |
JP2019036791A (ja) | 画像処理装置、画像処理システム、制御方法、及び、プログラム | |
JP2019022151A (ja) | 情報処理装置、画像処理システム、制御方法、及び、プログラム | |
US20180376131A1 (en) | Image processing apparatus, image processing system, and image processing method | |
JP2019050451A (ja) | 画像処理装置及びその制御方法及びプログラム及び画像処理システム | |
JP2021119459A (ja) | 生成装置、生成方法 | |
JP2019140483A (ja) | 画像処理システム、画像処理システムの制御方法、伝送装置、伝送方法及びプログラム | |
JP7258605B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7104504B2 (ja) | 画像処理システム、画像処理装置、画像伝送方法、及び、プログラム | |
JP2019003325A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7134636B2 (ja) | 制御装置、制御方法及びプログラム | |
US11184557B2 (en) | Image generating system, image generation method, control apparatus, and control method | |
JP2018191236A (ja) | 情報処理システム、情報処理方法、装置およびプログラム | |
JP2020005109A (ja) | 撮像システム、配置決定装置、配置決定方法及びプログラム | |
JP2021082864A (ja) | システム、その制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211006 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6957215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |