JP7401196B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7401196B2
JP7401196B2 JP2019096656A JP2019096656A JP7401196B2 JP 7401196 B2 JP7401196 B2 JP 7401196B2 JP 2019096656 A JP2019096656 A JP 2019096656A JP 2019096656 A JP2019096656 A JP 2019096656A JP 7401196 B2 JP7401196 B2 JP 7401196B2
Authority
JP
Japan
Prior art keywords
viewpoint
information
information processing
predetermined
viewpoint change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019096656A
Other languages
English (en)
Other versions
JP2020190978A (ja
Inventor
和希 緑川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019096656A priority Critical patent/JP7401196B2/ja
Publication of JP2020190978A publication Critical patent/JP2020190978A/ja
Application granted granted Critical
Publication of JP7401196B2 publication Critical patent/JP7401196B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Description

本発明は、三次元空間内で視点を移動できる映像システムにおける、視点の設定技術に関する。
エンターテイメントやスポーツ観戦において、複数のカメラでそれぞれ異なる方向から撮影した複数の画像に基づいて、実際には存在しないカメラ(仮想カメラ)の視点からオブジェクト(被写体)を観察できる仮想視点映像システムが開発されている。この仮想視点映像システムでは、特定の人や物の追尾、全体を俯瞰しての状況把握、人や物の動きの解析等、それを視聴するユーザの目的にあった視点を設定することが可能である。
仮想視点映像における視点設定には、専用のコントローラやマウス、タッチパネル等のユーザインタフェース(UI)が用いられ、これらUIを介して入力される位置情報がインタラクティブに仮想視点映像に反映される。特許文献1には、仮想視点を設定するユーザが、注目するオブジェクトを見失った場合に、別の視点の画像を表示することで、当該注目するオブジェクトを再度見つけやすくする機能を有する技術が開示されている。
特開2018-055279号公報
しかしながら、撮影対象の空間に存在する複数のオブジェクトの状況によっては、適切な視点の設定が困難になる場合がある。例えば、2つのオブジェクトが近接している場合において、適切に視点を設定しないと、映像内において一方のオブジェクトが他方のオブジェクトを遮蔽してしまう。このような見づらい映像になることを避けたり、視聴者の興味を引く映像を生成したりするための、オブジェクトに対する適切な視点位置の判断および視点操作は、特に視点操作に習熟していないユーザにとっては困難である。またこのような課題は、設置された複数のカメラの撮像画像の中から表示する撮像画像を選択的に切り替える視点切換映像システムにおいても同様に当て嵌まる。
本開示に係る情報処理装置は、撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、予め定めた視点変更要件を取得する取得手段と、前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、を備え、前記視点変更要件には、前記3次元空間に存在する3次元オブジェクトのうち予め指定した2つ以上の注目する3次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、ことを特徴とする。
本開示の技術によれば、三次元空間内で視点を移動できる映像システムにおいて、視点の設定に係る利便性を向上させることができる。
仮想視点映像を生成する映像システムの構成の一例を示す図 情報処理装置のハードウェア構成の一例を示す図 実施形態1に係る仮想視点映像の生成・出力処理の流れを示すフローチャートを示す図 視点変更要件管理テーブルの一例を示す図 オブジェクト管理テーブルの一例を示す図 関係条件管理テーブルの一例を示す図 視点変更要件の更新処理の流れを示すフローチャートを示す図 注目オブジェクト設定処理の流れを示すフローチャートを示す図 関係条件設定処理の流れを示すフローチャートを示す図 視点変更要件の有効性判定処理の流れを示すフローチャートを示す図 視点変更要件の成立判定処理の流れを示すフローチャートを示す図 視点の自動遷移を説明する図 視点の自動遷移を説明する図 実施形態2に係る仮想視点映像を生成・出力する処理の流れを示すフローチャートを示す図 視点変更要件管理テーブルの一例を示す図 関係条件管理テーブルの一例を示す図 同時に複数の視点変更要件が成立した場合のUI画面の一例を示す図
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
[実施形態1]
以下、図面を参照して実施形態を説明する。図1は、本実施形態に係る、仮想視点映像を生成する映像システムの構成の一例を示す図である。図1に示す映像システム100は、異なる視点に配置した複数のカメラで同期撮影して得られた映像に基づき、ユーザ等が指示する仮想的な視点(以下、「仮想視点」とも表記)からの見えを表す仮想視点映像を生成して出力する。本実施形態の映像システム100は、情報処理装置110とユーザ端末120とを有する。ユーザ端末120には、情報処理装置110に仮想視点映像の生成を指示したり、生成された仮想視点映像を表示したりするための専用アプリケーションがインストールされている。そして、情報処理装置110は、ユーザ端末120の専用アプリケーションから送られてくる指示や要求を受けて、予め規定した複数のオブジェクト間の関係性に基づき仮想視点を自動で設定して仮想視点映像を生成し、ユーザ端末120に提供する。
情報処理装置110は、例えばサーバコンピュータであり、映像取得部111、映像保持部112、制御部113、描画部114、判定部115及び映像生成部116の各機能部を有する。ユーザ端末120は、情報処理装置110とネットワーク経由で接続される例えばパーソナルコンピュータなどであり、表示部121と入力部122を有する。
情報処理装置110の映像取得部111は、複数のカメラ(不図示)で同期撮影された映像データを、外部のカメラアレイやストレージ(いずれも不図示)などから取得する。取得した映像データは、映像保持部112に保存される。制御部113は、ユーザ端末120からのユーザ指示を受信し、当該ユーザ指示に基づき、情報処理装置110内の各部を制御する。描画部114は、映像保持部112に蓄積された映像データを用いて、ユーザ端末120のGUI(Graphical User Interface)で用いるUI画面の描画処理、映像生成部115が生成する仮想視点映像やUI画面のレイアウト処理を行う。判定部115は、撮影対象の3次元空間に存在するオブジェクトの位置情報や形状情報を参照し、指定された複数のオブジェクトの位置関係が予め規定した所定の条件を満たすか否かを判定する。映像生成部116は、描画部114におけるレイアウト処理の結果に従い、制御部113から入力された仮想視点に従った仮想視点映像を生成する。描画部114で生成されたUI画面や映像生成部116が生成した仮想視点映像のデータは制御部113内の外部インタフェース(不図示)を介して、ユーザ端末120に送られる。
ユーザ端末120の表示部121は、一般的な液晶ディスプレイなどで構成され、情報処理装置110から提供されたUI画面や仮想視点映像を表示する。UI画面と仮想視点映像は、同じディスプレイ上に切り替えて表示してもよいし、それぞれ別のディスプレイに表示してもよい。入力部122は、マウスやキーボードなどで構成され、表示部121に表示されたUI画面に対する入力を受け付け、当該受け付けた入力に応じたユーザ指示を情報処理装置110の制御部113に出力する。なお、ユーザ端末120は、例えばタブレット機器やスマートフォンといった携帯型のコンピュータでもよい。また、ユーザ端末120は、表示部121と入力部122の両方の機能を兼ね備えたタッチパネルを有する機器であってもよい。また、本実施形態では、情報処理装置110で生成した仮想視点映像をユーザ端末120の表示部121に表示することとしているが、例えば、イベント会場に別途設置されたモニタなど、ユーザ端末120から独立した表示装置に表示してもよい。
(情報処理装置のハードウェア構成)
情報処理装置110のハードウェア構成について、図2を用いて説明する。なお、ユーザ端末120も、基本的には同様のハードウェア構成を有している。情報処理装置110は、CPU201、ROM202、RAM203、補助記憶装置204、表示部205、操作部206、通信I/F207及びバス208を有する。
CPU201は、ROM202やRAM203に格納されているプログラムやデータを用いて情報処理装置110の全体を制御し、図1に示した各機能部を実現する。なお、情報処理装置110がCPU201とは異なる1又は複数の専用のハードウェアを有し、CPU201による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、およびDSP(デジタルシグナルプロセッサ)などがある。ROM202は、変更を必要としないプログラムなどを格納する。RAM203は、補助記憶装置204から提供されるプログラムやデータ、及び通信I/F207を介して外部から提供されるデータなどを一時記憶する。補助記憶装置204は、例えばHDDやSSD等で構成され、映像データや音声データといった入力データの他、後述の各種処理で参照されるテーブル、各種アプリケーションプログラムなど、様々なデータやプログラムを記憶する。
表示部205は、例えば液晶ディスプレイ等で構成され、ユーザが情報処理装置110を操作するためのGUIなどを表示する。操作部206は、例えばキーボードやマウス、ジョイスティック等で構成され、ユーザによる操作を受けて各種の指示をCPU201に入力する。通信I/F207は、外部装置との通信に用いられる。例えば、情報処理装置110が外部装置と有線で接続される場合には、通信用のケーブルが通信I/F207に接続される。情報処理装置110が外部装置と無線通信する機能を有する場合には、通信I/F207はアンテナを備える。バス208は、上記各部を繋いでデータや信号を伝達する。
(仮想視点映像の生成・出力処理)
続いて、本実施形態に係る情報処理装置110が、予め規定した複数のオブジェクト間の関係性に基づき視点を自動設定して仮想視点映像を生成・出力する処理の流れを、図3のフローチャートを参照しつつ説明する。図3のフローチャートは、ユーザ端末120から視点自動設定処理の開始リクエストを受信した情報処理装置110の制御部113が、所定の制御プログラムに従って必要なテーブル等を取得して適宜参照等することで実現される。開始リクエストは、例えばユーザが前述の専用アプリケーションにおいて視点の自動変更モードを選択する等の明示の操作を行うことで発行される。或いは、原則として開始リクエストが所定間隔で発行されるようにし、ユーザが手動による視点操作を行っている場合や現視点を維持したい特定期間中など、ユーザの意図に反した視点変更を避ける必要がある場合にその発行が停止される仕様であってもよい。なお、以下の説明において記号「S」はステップを表す。
S301では、受信した視点自動設定処理の開始リクエストに、視点を変更する場合の要件(以下、「視点変更要件」と呼ぶ。)の更新指示が含まれているか判定される。1つの視点変更要件は、撮影対象の3次元空間に存在する人や物のうち注目対象とする2つ以上の人や物(以下、「注目オブジェクト」と呼ぶ)と、当該2つ以上の注目オブジェクト間の位置関係を規定する条件(以下、「関係条件」と呼ぶ。)との組み合わせから成る。ここで、サッカーの試合を対象に撮影が行われるときの2つ以上の注目オブジェクトの例を挙げると、ゴールキーパーとボール、所属チームの異なるフィールドプレイヤー同士、ゴールとボールなどが該当する。図4は、視点変更要件を管理するテーブル(以下、「視点変更要件管理テーブル」と呼ぶ。)の一例である。視点変更要件管理テーブルは、「視点変更要件ID」、「注目オブジェクトID」、「関係条件ID」、「視点情報」、「ステータス」の5つの要素を持つ。以下、各要素について順に説明する。
「視点変更要件ID」には、各視点変更要件を識別するID情報(ここでは“MOVE-1”)が格納される。いま、図4の視点変更要件管理テーブルに存在する視点変更要件は1つであるが、複数の視点変更要件が存在する場合、視点変更要件IDに格納されたID情報によって、それぞれの視点変更要件が特定される。
「注目オブジェクトID」には、各注目オブジェクトを識別するID情報が入る。図4に示すMOVE-1の視点変更要件では注目オブジェクトIDとして“OBJ1/OBJ3”が格納されている。図5は、注目オブジェクトとなり得る様々なオブジェクトの情報を管理するテーブル(以下、「オブジェクト管理テーブル」と呼ぶ。)の一例である。オブジェクト管理テーブルは、「オブジェクトID」、「更新情報」、「位置情報」で構成され、上記「注目オブジェクトID」に格納されるID情報もこのテーブルによって管理される。いま、“OBJ1”と“OBJ2”はフィールド上に2つあるゴール(ゴールA/ゴールB)それぞれに対応し、“OBJ3”はボールに対応し、“OBJ4”と“OBJ5”はプレイヤー(プレイヤーA/プレイヤーB)に対応している。図4の例では、注目オブジェクトIDとして“OBJ1”と“OBJ3”が指定されているので、ボールと一方のゴールAが“MOVE-1”における注目オブジェクトとなる。「更新情報」には、各注目オブジェクトの位置情報が定数なのか定期更新なのかを示す情報と、定期更新の場合における更新タイミングの情報が入る。フィールド上に設置されたゴールのような静的オブジェクトの場合は、位置情報が変化することはないので“定数”となる。一方、ボールやプレイヤーといった動的オブジェクトの場合は、位置情報がフレーム間で変化し得るので“定期更新”となる。定期更新における更新タイミングは、フレーム数によって定義される。図5の例では、OBJ3のボールに対して、更新タイミングの値として“2”が設定されている。この場合、判定部115において、2フレーム毎にボールの位置情報の取得・更新がなされることになる。また、本実施形態では、位置情報として“定数”を設定したオブジェクトに対しては更新不要であることを示す値として、更新タイミングに負の値(-1)を設定している。なお、フレーム数に代えて、更新タイミングをタイマーで制御してもよい。或いは、オブジェクト単位ではなく、視点変更要件内の後述する「注目オブジェクト情報」や「視点情報」において更新タイミングを規定し、同じオブジェクトであっても視点変更要件によって更新タイミングを異ならせてもよい。
「位置情報」には、仮想視点映像の世界座標系における各オブジェクトの位置を特定する座標情報が、そのオブジェクトを表現する形状の情報と対応付けて格納される。本実施形態では、OBJ-1及びOBJ-2(ゴールA及びB)はその横幅を示す線分で表現され、その両端の座標情報が入る。OBJ3(ボール)は球で表現され、球の半径の情報と、球の中心点の座標情報が入る。OBJ-4及びOBJ-5(プレイヤーA及びB)は筒で表現され、筒の半径の情報と、筒の芯線の両端を表す座標情報が入る。なお、座標情報にカメラ座標系を用い、各オブジェクトの形状を二次元(例えば、ボールを球ではなく円)で表現してもよい。さらに、単純化のため、各オブジェクトを代表点の位置座標のみで表現し、形状情報を省いてもよい。或いは注目オブジェクトの輪郭や形状を近似する図形に置き換えて、当該図形の頂点の位置座標を用いてもよい。また、1つの注目オブジェクトを複数の形状にて表現し、その形状毎に位置情報を設定して、当該注目オブジェクトを用いる関係条件によって参照する位置情報を変えてもよい。
「関係条件ID」には、注目オブジェクト同士がどのような位置関係になったときに仮想視点を変更するのかを規定する関係条件のID情報が入る。図6は、関係条件を管理するテーブル(以下、「関係条件管理テーブル」と呼ぶ。)の一例である。関係条件管理テーブルは、「条件ID」と「条件定義」の2つの要素を持つ。「条件ID」には、各関係条件を識別するID情報が入り、「条件定義」では、複数の注目オブジェクト間においてどのような関係性が成立したら視点移動を行うかが規定される。例示の“REL1-approach”は、注目オブジェクト同士が閾値となる一定距離(「距離C」と表記)以下まで接近したときに仮想視点を変更することを規定する関係条件である。この場合において、注目オブジェクト間の距離は、対象3次元空間を縦:X、横:Y、高さ:Zの3軸で表したときのX-Z平面或いはY-Z平面上における各注目オブジェクトの代表点の間隔である。なお、複数の注目オブジェクト間の関係性は距離以外の要素、例えば、各注目オブジェクトを表現した図形の重なり度合い(例えば重なりが15%以上など)で規定してもよい。図6の関係条件管理テーブルには1つの関係条件しか存在しないが、複数の関係条件を用意・格納してもよい。複数の関係条件が存在する場合、条件IDに格納されたID情報によって、それぞれの確認条件が特定される。図4の視点変更要件管理テーブルの場合、条件IDは“REL1-(20)”となっている。これは、上述のID情報“REL1-approach”で特定される関係条件において、距離Cの値が“20”であることを意味している。条件定義の例としては、上記の他にも注目オブジェクト同士が接触・衝突したことや、注目オブジェクト同士の距離が一定距離以上に離間したことなどがあり得る。接触・衝突の場合は、複数の注目オブジェクト間の関係性を、例えば、各注目オブジェクトを表現した図形の重なり度合い(例えば重なりが15%以上など)で規定してもよい。なお、本実施形態で例示するような、オブジェクト同士の距離に基づく関係条件をユーザがUI画面等で設定する場合には、実空間上の距離(例えばメートル単位)で設定できることが望ましい。この場合は、カメラ座標空間と実空間との関係を、カメラパラメータから求めておけばよい。
「視点情報」は、視点変更要件が成立した時に、どのような仮想視点(仮想カメラの位置・姿勢)から注目オブジェクトを見るかを決定するために必要な情報が入り、本実施形態では「視点移動先」と「視点再評価」の情報から成る。「視点移動先」は、仮想視点映像を提供する映像システムの場合、注目オブジェクトの観察に適した仮想視点の3次元座標を特定するための情報が、視点移動先の情報として格納されることになる。適切な仮想視点は、何が注目オブジェクトとして指定されているのか、関係条件としてどのような条件定義が規定されているのかによってその内容は異なる。そのため、ユーザが、対象の注目オブジェクト及び関係条件と関連付けて、その内容を事前に定義しておく。図4の例では、「視点移動先」の情報として、“注目オブジェクト間の距離が最大の視点位置”が格納されている。いま、注目オブジェクトとして“ゴールA”と“ボール”が指定されているので、ボールからゴールAまでの距離の変化が観察しやすい、双方が最も離間して見えるような所定の位置に仮想視点が設定されることになる。「視点再評価」は、視点移動後においても関係条件が成立しているかをチェック(再判定)するかどうかに関する情報が入る。図4の例では、“成立時のみ”が格納されている。これは、視点変更要件で定義された関係条件が成立して視点移動を行った後は、関係条件の成立状態がその後も継続しているかどうかのチェックは行わないことを意味している。なお、本実施形態では、「視点移動先」と「視点再評価」の2つの情報で「視点情報」が構成されるが、「視点移動時の経路」や「移動速度」といった情報を含めてもよい。これら各情報について、ユーザは、情報処理装置110が持つ機能に応じて提示される選択肢の中から所望の内容を選んで設定する。
「ステータス」には、“有効”或いは“無効”の情報が入る。ステータス情報が“有効”に設定されている視点変更要件について、判定部115が成立の要否判定を行うことになる。図3のフローの説明に戻る。
上述のような視点変更要件について新規追加や編集がユーザによって指示され、前述の開始リクエストに視点変更要件の更新指示が含まれていた場合はS302に進み、含まれていなければS303に進む。
S302では、視点変更要件の更新処理が実行される。視点変更要件の更新処理の詳細については後述する。更新処理の終了後はS303に進む。
S303では、処理対象とする視点変更要件が決定される。このとき、視点変更要件管理テーブルに複数の視点変更要件が格納されている場合(視点変更要件IDが複数ある場合)は、処理対象の視点変更要件を、その格納順などに従って適宜決定すればよい。或いは、実施形態2で説明するように、個々の視点変更要件に優先度が設定されている場合は、優先度が高いものから順に処理対象の視点変更要件としてもよい。図4の例では、“MOVE-1”の1つしか存在しないので、“MOVE-1”が処理対象の視点変更要件として決定されることになる。
S304では、処理対象の視点変更要件について、そのステータスが有効かを判定する処理(有効性判定処理)が実行される。この有効性判定処理の詳細については後述する。続くS305では、S304での判定結果に応じて次の処理が決定される。処理対象の視点変更要件のステータスが有効であればS306に進み、無効であればS308に進む。
S306では、処理対象の視点変更要件が成立するか否かを判定する処理(成立判定処理)が実行される。この成立判定処理の詳細については後述する。処理対象の視点変更要件が成立していれば、当該視点変更要件で定義される視点情報に従った仮想視点が、S310以降の処理において設定されることになる。続くS307では、S306での判定結果に応じて次の処理が決定される。処理対象の視点変更要件が成立していればS310に進み、不成立であればS308に進む。
S308では、すべての視点変更要件について成立判定処理が実行されたかが判定される。未処理の視点変更要件があればS303に戻り、次の視点変更要件を処理対象に決定して処理が続行される。すべての視点変更要件について処理が完了していれば、S309に進み、現在の視点を維持した仮想視点映像が映像生成部116にて生成される。こうして生成された仮想視点映像のデータは、制御部113を介してユーザ端末120に出力され、本処理を終える。
S310では、処理対象の視点変更要件の「視点情報」で定義されている内容に従って新たな仮想視点(仮想カメラ)が設定される。この際、フィールド面からの高さ、画角、焦点距離といったパラメータについては、予め決定しておいた所定値を適用してもよいし、「視点情報」において個別に定義しておいてもよい。また、設定された新規の仮想視点へ瞬間的に遷移させてもよいし、その間の移動経路を補間処理によって決定して緩やかに遷移するようにしてもよい。こうして設定された新たな仮想視点の情報は映像生成部116に送られ、仮想視点映像の生成に使用されることになる。
そして、S311では、S310で設定された新規の仮想視点からの見えを表す仮想視点映像が映像生成部116にて生成される。こうして生成された仮想視点映像のデータは、制御部113を介してユーザ端末120に出力される。続く、S312では、所定の後処理が実行される。所定の後処理には、例えば以下のような処理が含まれる。
・「視点再評価」にて所定フレーム数後に関係条件のチェックを行うことが設定されて場合における関係条件の再判定処理
・視点変更が短期間に繰り返されることを避けるためのタイマー処理
・次の開始リクエストの発行タイミングを、成立判定処理の結果に基づき決定(成立している場合は数秒後、不成立の場合は数ミリ秒後など)する処理
上記のような内容の後処理が完了すると本処理を終える。
以上が、情報処理装置110における、仮想視点映像の生成・出力処理の概要である。
(視点変更要件の更新処理)
続いて、前述のS303における視点変更要件の更新処理の詳細について、図7のフローチャートを参照して説明する。
S701では、更新指示の内容が、新たな視点変更要件の追加であるのか、既存の視点変更要件の編集であるのかが判定される。新たな視点変更要件の追加であればS702に進み、既存の視点変更要件の編集であればS703に進む。追加の場合のS702では、ユーザ指示に係る新たな視点変更要件が、視点変更要件管理テーブルに追加される。この追加の際のステータスは初期値である“無効”に設定される。追加後はS704に進む。一方、編集の場合のS703では、編集対象となる視点変更要件が、不図示のUI画面を介したユーザ指定に基づき、視点変更要件管理テーブルから取得される。取得後はS704に進む。
S704では、注目オブジェクトの設定処理が実行される。図8は、注目オブジェクト設定処理の詳細を示すフローチャートである。以下、図8のフローに沿って説明する。
<注目オブジェクト設定処理>
S801では、更新指示の内容が、新たな注目オブジェクトの追加であるのか、既存の注目オブジェクトの編集であるのか、それ以外(すなわち、関係条件の追加・編集)であるのかが判定される。新たな視点変更要件の追加であればS802に進み、既存の視点変更要件の変更であればS805に進む。そのどちらでもなければ、本処理を抜ける。
S802では、注目オブジェクトを追加するための不図示のUI画面(以下、「注目オブジェクト追加用UI画面」と呼ぶ。)が描画部114によって生成され、制御部113を介してユーザ端末120に出力される。そして、ユーザ端末120の表示部121に注目オブジェクト追加用UI画面が表示される。注目オブジェクト追加用UI画面には、例えば予め定義された「オブジェクトとその位置情報」を複数含んだリストが表示され、ユーザはリストの中から、追加する視点変更要件における注目オブジェクトを選択する。リストからの選択に代えて、映像保持部112が保持する映像もしくは映像生成部116が生成した仮想視点映像を注目オブジェクト追加用UI画面上に表示し、そこに映っているオブジェクトの中から注目オブジェクトを選択するようにしてもよい。そして、S803では、注目オブジェクト追加用UI画面におけるユーザ選択が受け付けられる。そして、S804では、受け付けたユーザ選択に係るオブジェクトが、注目オブジェクトとしてオブジェクト管理テーブルに追加される。この際、「更新情報」と「位置情報」の項目には、未定義であることを示す所定値が入る。こうして、新たな注目オブジェクトがオブジェクト管理テーブルに追加されると、S808に進む。
一方、S805では、既存の注目オブジェクトを変更するための不図示のUI画面(以下、「注目オブジェクト変更用UI画面」と呼ぶ。)が描画部114によって生成され、制御部113を介してユーザ端末120に出力される。そして、ユーザ端末120の表示部121に注目オブジェクト変更用UI画面が表示される。注目オブジェクト変更用UI画面には、定義済の注目オブジェクトが一覧表示され、ユーザは注目オブジェクトの差し替え等のユーザ操作を行う。そして、S806では、注目オブジェクト変更用UI画面におけるユーザ操作が受け付けられる。こうして、注目オブジェクトの変更が指示されると、S807に進む。S807では、注目オブジェクトの変更がオブジェクト管理テーブルに反映される。
S808では、追加等された注目オブジェクトについて「更新情報」と「位置情報」が設定される。この場合において、対象の注目オブジェクトが静的オブジェクトであってその位置を表す値が事前に定義済みである場合は、当該定義済みの値を保持している判定部115から取得して「位置情報」として設定する。また、対象の注目オブジェクトが動的オブジェクトである場合は、その現在位置を示す値を取得し「位置情報」として設定する。動的オブジェクトの現在位置を示す値の取得には、オブジェクト追跡の手法や各動的オブジェクトに位置センサーを付しておく手法など、公知の手法を適用すればよい。なお、判定部115から、現在の位置を示す値が取得できない場合は「位置情報」を未定義のまま本処理を終了し、他の取得可能なタイミング(例えば、当該注目オブジェクトを参照する視点変更要件の追加や更新もしくは成立判定時)に取得・設定してもよい。
以上が、注目オブジェクト設定処理の内容である。図7のフローの説明に戻る。S705では、関係条件の設定処理が実行される。図9は、関係条件設定処理の詳細を示すフローチャートである。以下、図9のフローに沿って説明する。
<関係条件設定処理>
S901では、更新指示の内容が、新たな関係条件の追加であるのか、既存の関係条件の編集であるのかが判定される。新たな関係条件の追加であればS902に進み、既存の関係条件の編集であればS905に進む。
S902では、関係条件を追加するための不図示のUI画面(以下、「関係条件追加用UI画面」と呼ぶ。)が描画部114によって生成され、制御部113を介してユーザ端末120に出力される。そして、ユーザ端末120の表示部121に関係条件追加用UI画面が表示される。関係条件追加用UI画面には、例えば条件定義を規定済みの関係条件を記載したリストが表示され、ユーザはリストの中から所望の関係条件を選択する。或いは、関係条件追加用UI画面上に、キーボード等を用いて任意の条件定義を入力して、所望の関係条件を設定できるようにしてもよい。そして、S903では、関係条件追加用UI画面におけるユーザ選択(或いはユーザ入力)が受け付けられる。そして、S904では、受け付けたユーザ選択(或いはユーザ入力)に係る関係条件が、新規の関係条件として関係条件管理テーブルに追加される。こうして、新たな関係条件の追加設定が完了すると、本処理を抜ける。
S905では、既存の関係条件を編集するための不図示のUI画面(以下、「関係条件編集用UI画面」と呼ぶ。)が描画部114によって生成され、制御部113を介してユーザ端末120に出力される。そして、ユーザ端末120の表示部121に関係条件編集用UI画面が表示される。関係条件編集用UI画面には、既存の関係条件のリストが表示される。ユーザは、リストの中から編集対象の関係条件を指定し、指定した関係条件の条件定義を、キーボード等を用いて所望の内容に変更する。そして、S906では、関係条件編集用UI画面においてユーザが行った、特定の関係条件に対する条件定義の変更(編集内容)が受け付けられる。そして、S907では、受け付けた編集内容に基づき、指定された関係条件の条件定義の内容が設定変更される。こうして、特定の関係条件における条件定義の設定変更が完了すると、本処理を抜ける。
以上が、S303における視点変更要件更新処理の内容である。なお、本実施形態では編集対象に視点情報を含めていないが、既存の視点変更要件における視点情報についても編集・更新できるようにしてもよい。
(視点変更要件の有効性判定処理)
次に、前述のS304における視点変更要件の有効性判定処理の詳細について、図10のフローチャートを参照して説明する。
S1001では、処理対象の視点変更要件に係る注目オブジェクトが定義済みか否かの判定がなされる。具体的には、注目オブジェクトに対応する更新情報や位置情報がオブジェクト管理テーブルに存在するかどうかがチェックされる。注目オブジェクトが未定義である場合はS1004に進み、処理対象の視点変更要件のステータスが無効に設定される。ステータス設定後は、本処理を抜ける。一方、注目オブジェクトに対応する更新情報や位置情報がオブジェクト管理テーブルに存在し、注目オブジェクトが定義済みの場合はS1002に進む。
S1002では、処理対象の視点変更要件に係る関係条件が定義済みか否かの判定がなされる。具体的には、関係条件管理テーブルに条件定義が存在するかどうかがチェックされる。関係条件が未定義である場合はS1004に進み、処理対象の視点変更要件のステータスが無効に設定される。ステータス設定後は、本処理を抜ける。一方、関係条件管理テーブルに条件定義が存在し、関係条件が定義済みの場合はS1003に進む。
注目オブジェクト及び関係条件が共に定義済みの場合、S1003では、処理対象の視点変更要件のステータスが有効に設定される。ステータス設定後は、本処理を抜ける。
以上が、視点変更要件の有効性判定処理の内容である。
図10のフローでは、注目オブジェクトと関係条件が定義済みであればステータスを有効に設定していたが、これに限定されない。例えば、注目オブジェクトと関係条件が定義済みと判明した後に、ユーザが手動で視点を操作中かどうか判定するステップを加えてもよい。この場合、ユーザが視点を手動で操作中であれば、S1003ではなくS1004に進んでステータスを無効に設定し、一定時間経過後にステータスを有効に設定するステップをS1004の後に加えればよい。
(視点変更要件の成立判定処理)
次に、前述のS306における視点変更要件の成立判定処理の詳細について、図11のフローチャートを参照して説明する。
S1101では、ステータスが有効と判定された処理対象の視点変更要件における各注目オブジェクトについて、その位置情報を更新する必要があるか否かが、オブジェクト管理テーブルを参照して判定される。具体的には、オブジェクト管理テーブル内の「更新情報」を参照し、“定数”であるか“定期更新”であるかがチェックされる。“定数”であれば位置情報の更新は不要なので、S1102をスキップしてS1103へ進む。一方、“定期更新”であれば、現在の位置情報を取得するべくS1102に進む。
S1102では、オブジェクト管理テーブル内の「更新情報」を参照し、そこで定義されている更新タイミングに基づき、注目オブジェクトの現在位置を表す位置情報が取得される。位置情報を取得後、S1103に進む。
S1103では、処理対象の視点変更要件が成立するか否かが判定される。具体的には、当該視点変更要件に係る複数の注目オブジェクトの位置関係が、関係条件において規定する関係性を満たすか否かがチェックされる。この際、関係条件が注目オブジェクト間の距離で規定されている場合には、各注目オブジェクトの三次元空間におけるその位置と形状を各カメラの姿勢に応じた二次元空間に射影変換によってマッピングし、当該マッピングの結果に基づき判定される。複数の注目オブジェクトの位置関係が、関係条件において規定する関係性を満たす場合はS1104に進む。一方、満たさない場合はS1105に進む。
S1104では、処理対象の視点変更要件は成立しているとの判定結果が設定される。その後、本処理を抜ける。一方、S1105では、処理対象の視点変更要件は成立していないとの判定結果が設定される。その後、本処理を抜ける。
以上が、視点変更要件の成立判定処理の内容である。
ここで、本実施形態の手法によって視点が自動で遷移する様子を、前述の図4に示す視点変更要件の場合を例に説明する。図12(a)は自動遷移する前の仮想視点(仮想カメラ)の位置を示す図であり、ゴールAの真後ろから相手方ゴール(ゴールB)の方向を視線方向とした仮想視点1201が設定されている。図12(b)は、仮想視点1201からの見えを表す仮想視点映像を示している。図12(a)で示すように、フィールドプレイヤーはゴールAから離れた位置(Pos1)でボールをドリブルしている。そして、ゴールAに近い位置(Pos2)に向かってドリブルした結果、視点変更要件IDが「Move-1」の関係条件「REL1-(20)」が満たされたとする。図13(a)は、「Move-1」の「視点情報」で定義された「注目オブジェクト間の距離が最大の視点位置」となるように自動遷移した後の仮想視点(仮想カメラ)の位置を示す図である。ペナルティエリア内に入った注目オブジェクトとしてのボールと、同じく注目オブジェクトとしてのゴールAとが最も離間して見える真横からの方向を視線方向とした仮想視点1301が設定されているのが分かる。図13(b)は、新たに設定された仮想視点1301からの見えを表す仮想視点映像を示しており、フィールドプレイヤーによるシュートシーンの観賞に適した映像となっている。このように、予め設定した視点変更要件に従って、仮想視点を自動で切り替えることができる。
(変形例)
本実施形態の上述の内容は、3次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで任意の視点からの映像を出力する視点切換映像にも適用可能である。この場合、前述の「視点情報」における「視点移動先」の情報には、切替後の視点(すなわち、選択するカメラ)を定義しておけばよい。これにより、視点変更要件成立時に注目オブジェクトの観察に適した視点のカメラを自動設定することが可能となる。
本実施形態によれば、事前に用意した視点変更要件に従って3次元空間における視点が自動で変更される。これにより、ユーザが見たい視点からの映像を容易に得ることができる。
[実施形態2]
次に、成立している視点変更要件が複数ある場合にその中から実際に適用する視点変更要件を選択的に決定する態様を、実施形態2として説明する。なお、画像処理システムの基本構成などは実施形態1と共通する事項については説明を省略する。
(仮想視点映像の生成・出力処理)
図14は、本実施形態に係る仮想視点映像を生成・出力する処理の流れを示すフローチャートである。このフローチャートで示す一連の処理も、ユーザ端末120から仮想視点自動設定処理の開始リクエストを受信した情報処理装置110の制御部113が、所定の制御プログラムを実行することで実現される。以下の説明では、実施形態1に係る図3のフローチャートと共通する内容については説明を省略ないしは簡略化し、差異点を中心に説明するものとする。
S1401~S1406は、前述の図3のフローにおけるS301~S306にそれぞれ対応する。すなわち、受信した開始リクエストに視点変更要件の更新指示が含まれているか判定され(S1401)、含まれていれば更新処理が実行される(S1402)。そして、処理対象の視点変更要件が決定されると(S1403)、そのステータスの有効/無効が判定される(S1404)。ステータスが無効であれば(S1405でNo)、未処理の視点変更要件の有無を判定する処理(S1407)に進む。一方、ステータスが有効であれば(S1405でYes)、続いて当該視点変更要件の成立/不成立が判定される(S1406)。そして、本実施形態の場合、たとえ処理対象の視点変更要件が成立していても、その視点情報に従った視点設定を直ちに行うことなく、未処理の視点変更要件の有無を判定する処理(S1407)に進む。そして、未処理の視点変更要件があれば(S1407でYes)、S1403に戻って次の視点変更要件を処理対象に決定して処理を続行し、未処理の視点変更要件がなくなるまで繰り返す。このような処理によって、本実施形態では、ステータスが有効のすべての視点変更要件について、成立しているかどうかがまず判定される。そして、S1408以降の処理において、成立している視点変更要件の中から、実際に適用する視点変更要件が決定されることになる。以下、詳しく説明する。
S1408では、成立している視点変更要件が存在するか判定される。成立している視点変更要件があればS1409に進む。一方、すべての視点変更要件が不成立であれば、S1409及びS1410をスキップしてS1411に進み、S309と同様、現在の仮想視点を維持したままで仮想視点映像が映像生成部116にて生成される。生成された仮想視点映像のデータは、制御部113を介してユーザ端末120に出力される。
S1409では、成立している視点変更要件が複数存在するかどうかが判定される。ここで、複数の視点変更要件が同時に成立するケースの具体例を説明する。いま、図15に示す視点変更要件管理テーブルが用意されていたとする。図15の視点変更要件管理テーブルには、MOVE-1~MOVE-3まで3つの視点変更要件が格納されている。MOVE-1は、関係条件“REL1-approach”における距離Cの値として“30”を採用した視点変更要件である。「視点情報」には、「視点移動先」として“注目オブジェクト間の距離が最大の視点”が格納され、「視点再評価」として“成立時のみ”が格納されており、さらに、「視点移動先」と「視点再評価」の情報に加えて「優先度」の情報が格納されている。いま、MOVE-1の優先度は、3つの視点変更要件の中で最も低いことを表す“3”となっている。MOVE-2は、MOVE-1と同じ関係条件“REL1-approach”における距離Cの値として“20”を採用した視点変更要件である。その「視点情報」には、「視点移動先」として“注目オブジェクト間の距離が最大の視点”が格納され、「視点再評価」として“5フレーム毎に評価(視点戻しなし)”が格納されている。この場合、関係条件が成立して5フレーム経過後に当該関係条件のチェック(再判定)が行われる。注目オブジェクトであるOBJ4及びOBJ5の位置情報は、前述のとおり5フレーム毎に更新されるので、双方のオブジェクトの移動によって関係条件の成立状態は変化し得る。関係条件の再判定の結果が“成立”である場合には、視点情報に従った新たな視点が設定されることになる。また、“視点戻しなし”は、視点を移動させた後の再判定において当該関係条件が不成立となった場合に、移動前の視点(予め決定された初期視点。例えばフィールドの全体を俯瞰する視点)に戻さずそのまま現在の視点を維持することを規定している。そして、MOVE-2の優先度は“2”となっている。MOVE-3は、注目オブジェクト同士の接触・衝突を表す関係条件“REL2-contact”を採用した視点変更要件である。図16は、本実施形態に係る関係条件管理テーブルの一例であり、上述の“REL1-approach”に加えて“REL2-contact”が格納されている。“REL2-contact”は、注目オブジェクト同士が接触したこと、より詳細には、その形状が筒で表現される注目オブジェクト間の距離が当該筒の半径の和より小さくなることを条件定義とした関係条件である。そして、MOVE-3の「視点情報」には、「視点移動先」として“OBJ4を中心に表示し2倍ズーム”が格納されている。この場合、OBJ4に対応するプレイヤーAの注目オブジェクトを画面内の中心に表示した上で、ズームを2倍に変更した仮想視点が設定されることになる。また、「視点再評価」として“5フレーム毎に評価(視点戻しあり)”が格納されているので、関係条件が成立して5フレーム経過後に当該関係条件の再判定を行なう。再び成立していた場合には、最初に成立したときに設定した仮想視点が維持される。すなわち、関係条件が成立している間は、“OBJ4を中心に表示し2倍ズーム”の視点のままになる。また、“視点戻しあり”なので、視点を移動させた後の再判定において当該関係条件が不成立となった場合に、初期視点に戻ることになる。そして、その優先度は3つの視点変更要件の中で最も高いことを表す“1”になっている。いま、図15に示す通り、MOVE-1のステータスが無効で、MOVE-2とMOVE-3のステータスが有効である。よって、成立判定処理がMOVE-2とMOVE-3とを対象として実行される。そして、例えばOBJ4(プレイヤーA)に対してOBJ5(プレイヤー5)がボールを奪おうとタックルを仕掛けているシーンでは、MOVE-2とMOVE-3とが同時に成立することになる。このように複数の視点変更要件が同時に成立している場合はS1410に進む。一方、1つの視点変更要件しか成立していなければS1412に進む。図14のフローの説明に戻る。
S1410では、同時に成立する複数の視点変更要件のうち適用する視点変更要件が優先度に従って決定される。優先度が“2”のMOVE-2と優先度が“1”のMOVE-3とが同時に成立している先の例では、優先度が高い(優先度の値が小さい)MOVE-3が、適用する視点変更要件として決定されることになる。こうして適用する視点変更要件が決定されると、S1412に進む。
S1412以降は、図3のフローのS310~S312と同様である。すなわち、「視点情報」で定義されている内容に従った新たな仮想視点が設定され(S1412)、当該仮想視点からの見えを表す仮想視点映像が映像生成部116にて生成・出力され(S1413)、所定の後処理が実行される(S1414)。
以上が、本実施形態における仮想視点映像の生成・出力処理の概要である。なお、同時に成立している複数の視点変更要件のうち適用する視点変更要件を選択する際、例えば図17に示すようなUI画面を表示して、ユーザに選択させてもよい。図17の例では、3つの視点変更要件がUI画面内に表示され、そのうちの上の2つが同時に成立していることをユーザが認識できるようにハイライト表示されている。ユーザはハイライト表示されたうち所望の視点変更要件を指定することで、適用する視点変更要件を選択できる。図17の例では全ての視点変更要件を表示しているが、成立している視点変更要件のみを表示するようにしてもよい。また、優先度が同じ視点変更要件が同時に複数成立している場合のみ、このようなユーザ選択に係らしめてもよい。
本実施形態によれば、成立している視点変更要件が複数ある場合、その中から実際に適用する視点変更要件が選択的に決定される。これによって、ユーザが見たいと考える複数の選択肢の中からより適した視点を容易に設定することができる。
上述の各実施形態では、2つのオブジェクトの位置関係が所定の条件を満たした場合(例えば2つのオブジェクトの距離が閾値以下になった場合)に視点を変更する場合の例を中心に説明した。ただしこれに限らず、情報処理装置110は、3以上のオブジェクトの位置関係が所定の条件を満たした場合に視点を変更してもよい。例えば、撮影対象のフィールド内において、半径5メートルの円などの所定の大きさの範囲内に、10人以上の選手など所定数以上のオブジェクトが密集した場合に、上空からフィールドを見下ろすような俯瞰視点に視点を変更してもよい。これにより、オブジェクトが密集した範囲の中心部分など、水平方向からでは見えづらい領域を、ユーザに視認させることができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
110 情報処理装置
113 制御部

Claims (15)

  1. 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
    予め定めた視点変更要件を取得する取得手段と、
    前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
    を備え、
    前記視点変更要件には、前記3次元空間に存在する3次元オブジェクトのうち予め指定した2つ以上の注目する3次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
    前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
    ことを特徴とする情報処理装置。
  2. 前記視点変更要件が成立するかを判定する判定手段をさらに備え、
    前記視点変更要件には、前記判定の対象として有効か無効かを規定するステータス情報をさらに含む、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記ステータス情報における有効又は無効の設定を、ユーザが指定できることを特徴とする請求項2に記載の情報処理装置。
  4. 前記視点変更要件には、優先度の情報をさらに含み、
    前記判定手段は、前記優先度が高い視点変更要件から順に、前記判定を行う、
    ことを特徴とする請求項2又は3に記載の情報処理装置。
  5. 前記視点変更要件には、優先度の情報をさらに含み、
    前記設定手段は、前記判定手段にて成立すると判定された視点変更要件のうち、前記優先度が最も高い視点変更要件を適用して、前記所定の視点を設定する、
    ことを特徴とする請求項2又は3に記載の情報処理装置。
  6. 前記設定手段は、成立すると判定された複数の視点変更要件の中からユーザが選択した視点変更要件を適用して、前記所定の視点を設定する、
    ことを特徴とする請求項1に記載の情報処理装置。
  7. 前記ユーザによる前記選択は、前記成立すると判定された複数の視点変更要件の優先度が同じである場合に可能であることを特徴とする請求項6に記載の情報処理装置。
  8. 前記関係条件は、前記2つ以上の注目する3次元オブジェクト間の距離を用いて規定されていることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記関係条件は、前記2つ以上の注目する3次元オブジェクトそれぞれを表現した図形の重なり度合いを用いて規定されていることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  10. 前記視点情報には、成立すると判定された後に再判定するか否かを規定する情報をさらに含むことを特徴とする請求項6又は7に記載の情報処理装置。
  11. 前記視点情報には、前記再判定によって成立しないと判定された場合に、予め決められた初期視点に戻すか否かを規定する情報をさらに含むことを特徴とする請求項10に記載の情報処理装置。
  12. 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
    予め定めた視点変更要件を取得する取得手段と、
    前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
    を備え、
    前記視点変更要件には、前記3次元空間に存在するオブジェクトのうち2つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
    前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定し、
    前記視点移動が可能な映像は、前記3次元空間に設置された複数のカメラの同期撮影によって得られた映像に基づき生成される仮想視点映像であり、
    前記視点は、前記3次元空間における仮想的な視点であり、
    前記視点情報には、前記設定手段が設定する前記所定の視点としての前記仮想的な視点に遷移するまでの移動経路の情報をさらに含む、
    ことを特徴とする情報処理装置。
  13. 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
    予め定めた視点変更要件を取得する取得手段と、
    前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
    を備え、
    前記視点変更要件には、前記3次元空間に存在するオブジェクトのうち2つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
    前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定し、
    前記視点移動が可能な映像は、前記3次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで得られる視点切換映像であり、
    前記視点は、前記3次元空間に設置された実在のカメラのうちいずれかのカメラに対応する視点である、
    ことを特徴とする情報処理装置。
  14. 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理方法であって、
    予め定めた視点変更要件を取得する取得ステップと、
    前記取得ステップにて取得した前記視点変更要件に基づき、所定の視点を設定する設定ステップと、
    を有し、
    前記視点変更要件には、前記3次元空間に存在する3次元オブジェクトのうち予め指定された2つ以上の注目する3次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
    前記設定ステップでは、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
    ことを特徴とする情報処理方法。
  15. コンピュータが、請求項1乃至13のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
JP2019096656A 2019-05-23 2019-05-23 情報処理装置、情報処理方法、及びプログラム Active JP7401196B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019096656A JP7401196B2 (ja) 2019-05-23 2019-05-23 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096656A JP7401196B2 (ja) 2019-05-23 2019-05-23 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020190978A JP2020190978A (ja) 2020-11-26
JP7401196B2 true JP7401196B2 (ja) 2023-12-19

Family

ID=73453790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096656A Active JP7401196B2 (ja) 2019-05-23 2019-05-23 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7401196B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268511A (ja) 2005-03-24 2006-10-05 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
JP2007259990A (ja) 2006-03-27 2007-10-11 Konami Digital Entertainment:Kk ゲーム装置、ゲーム装置の制御方法及びプログラム
JP2018055644A (ja) 2016-09-30 2018-04-05 キヤノン株式会社 画像処理装置及びその制御方法
JP2018092580A (ja) 2016-11-30 2018-06-14 キヤノン株式会社 画像生成装置および方法
JP2019004229A (ja) 2017-06-12 2019-01-10 キヤノン株式会社 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム
JP2019045995A5 (ja) 2017-08-30 2020-10-08

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7030452B2 (ja) 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268511A (ja) 2005-03-24 2006-10-05 Namco Bandai Games Inc プログラム、情報記憶媒体、及び画像生成システム
JP2007259990A (ja) 2006-03-27 2007-10-11 Konami Digital Entertainment:Kk ゲーム装置、ゲーム装置の制御方法及びプログラム
JP2018055644A (ja) 2016-09-30 2018-04-05 キヤノン株式会社 画像処理装置及びその制御方法
JP2018092580A (ja) 2016-11-30 2018-06-14 キヤノン株式会社 画像生成装置および方法
JP2019004229A (ja) 2017-06-12 2019-01-10 キヤノン株式会社 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム
JP2019045995A5 (ja) 2017-08-30 2020-10-08

Also Published As

Publication number Publication date
JP2020190978A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
JP7140487B2 (ja) 情報処理装置、表示制御方法、及び、プログラム
JP5800501B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
JP7045218B2 (ja) 情報処理装置および情報処理方法、プログラム
US20160371888A1 (en) Interactive information display
EP3355576A1 (en) Information processing apparatus, information processing method, and program
CN108805989B (zh) 场景穿越的方法、装置、存储介质和终端设备
US11250633B2 (en) Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time
CN110955329B (zh) 传输方法以及电子设备和计算机存储介质
TW202025719A (zh) 圖像處理方法及裝置、電子設備及儲存介質
JP7446754B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111083464A (zh) 虚拟内容的显示投放系统
CN103785169A (zh) 混合现实的竞技场
JP2021034885A (ja) 画像生成装置、画像表示装置および画像処理方法
EP4054186A1 (en) Information processing apparatus, information processing method, and program
KR20130018004A (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
EP3621300A1 (en) Display control device and display control method
KR20180062867A (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP7401196B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7401199B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020135290A (ja) 画像生成装置、画像生成方法、画像生成システム、及びプログラム
JP2021068057A (ja) プログラム、コンピュータ装置、及び制御方法
EP2919094A1 (en) Interactive information display
JP2022012900A (ja) 情報処理装置、表示方法、及び、プログラム
CN109544698A (zh) 图像展示方法、装置及电子设备
JP7341674B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R151 Written notification of patent or utility model registration

Ref document number: 7401196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151